get Oracle SmartView plugin

Apache Hadoop схема компонент

Фреймворк Apache Hadoop работает с кластером узлов. Эти узлы могут быть виртуальными машинами или физическими серверами. Платформа Hadoop разработана для бесперебойной работы со всеми типами этих систем. Ядро Apache Hadoop основано на Java. Каждый из компонентов инфраструктуры Apache Hadoop выполняет разные операции. Apache Hadoop состоит из следующих ключевых модулей, которые работают с HDFS, MapReduce и YARN, чтобы обеспечить действительно распределенное взаимодействие с приложениями. На следующей диаграмме показана общая картина кластера Apache Hadoop с ключевыми компонентами:

Apache Hadoop – Resource Manager

Менеджер ресурсов YARN обрабатывает все запросы RPC , которые позволяют клиентам отправлять свои задания на выполнение и получать информацию о кластерах и очередях, и о завершении заданий. Помимо обычных клиентских запросов, он предоставляет отдельные административные задачи, которые имеют более высокий приоритет. Также он отслеживает доступные ресурсы и сервисные запросы от узлов Hadoop. Resource Manager синхронизирован с Application Masters для управления регистрацией / завершением его работы , а также для проверки работоспособности. Resource Manager может принимать сообщения через следующие механизмы:

  • RESTful APIs
  • User interface (New Web UI)
  • Command-line interface (CLI)

Эти API предоставляют такую информацию, как состояние кластера, индекс производительности кластера и информацию о приложении. Диспетчер приложений – это основная точка взаимодействия для управления всеми отправленными приложениями. YARN Schedule в основном используется для планирования заданий с различными стратегиями. (планирование емкости , справедливое планирование ) Еще одна новая функция диспетчера ресурсов – обеспечение аварийного переключения с почти нулевым временем простоя для всех пользователей.