Apache Hadoop – Resource Manager

Менеджер ресурсов YARN обрабатывает все запросы RPC , которые позволяют клиентам отправлять свои задания на выполнение и получать информацию о кластерах и очередях, и о завершении заданий. Помимо обычных клиентских запросов, он предоставляет отдельные административные задачи, которые имеют более высокий приоритет. Также он отслеживает доступные ресурсы и сервисные запросы от узлов Hadoop. Resource Manager синхронизирован с Application Masters для управления регистрацией / завершением его работы , а также для проверки работоспособности. Resource Manager может принимать сообщения через следующие механизмы:

  • RESTful APIs
  • User interface (New Web UI)
  • Command-line interface (CLI)

Эти API предоставляют такую информацию, как состояние кластера, индекс производительности кластера и информацию о приложении. Диспетчер приложений – это основная точка взаимодействия для управления всеми отправленными приложениями. YARN Schedule в основном используется для планирования заданий с различными стратегиями. (планирование емкости , справедливое планирование ) Еще одна новая функция диспетчера ресурсов – обеспечение аварийного переключения с почти нулевым временем простоя для всех пользователей.