МенюКонтакты
Обучение
Москва

+7 (495) 913-75-75 доб.221

+7 (495) 668-08-42

Санкт-Петербург

+7 (812) 441-33-15

+7 (901) 374-07-97

Почта

edu@fors.ru

Администрирование Hadoop-кластера

Посмотреть расписание этого курса
  • Код курса: BDHADM
  • Длительность: 5 д.
  • Цена: 90 000 р.
Записаться

Описание курса

Аудитория:

Системные администраторы, системные архитекторы, разработчики Hadoop.

Предварительная подготовка:

  • Начальный опыт работы в Unix.

Аннотация:

Hadoop является наиболее популярной открытой платформой для распределенных вычислений. Курс содержит расширенную информацию по планированию и развертыванию распределенных вычислительных кластеров на базе Hadoop, мониторингу и оптимизации производительности системы, резервному копированию и аварийному восстановлению узлов кластера и отдельных компонент, настройкам безопасности системы на базе Hadoop. Данный курс включает необходимую теоретическую подготовку и наглядные практические примеры развертывания и администрирования Hadoop-кластера, в том числе в облачной инфраструктуре. Практические занятия выполняются в кластерной среде AWS с использованием программного обеспечения Cloudera Manager и подготавливают слушателей к сдаче сертификационного экзамена Cloudera Certified Administrator for Apache Hadoop (CCAH).

 

Программа курса:

  1. Введение в Big Data
    • Что такое Big Data
    • Понимание проблемы Big Data
  2. Hadoop Distributed File System
    • Блоки HDFS
    • Основные команды работы с HDFS
    • Операции чтения и записи, назначения HDFS
    • Архитектура HDFS
  3. Архитектура Apache Hadoop
    • Отказоустойчивость Hadoop
    • Name node
    • YARN
    • Map reduce framework
    • Hadoop daemons
  4. Дизайн кластера Hadoop
    • Дистрибутивы и версии Hadoop: различия и ограничения
    • Требования программного и аппаратного обеспечения
    • Вопросы масштабирования
    • Планирование кластера
    • Оптимизация уровня ядра.
    • Hadoop в облаке.
  5. Установка кластера
    • Установка Hadoop кластера
    • Выбор начальной конфигурации
    • Начальная конфигурация HDFS и MapReduce
    • Файлы логов
    • Установка Hadoop клиентов
    • Установка Hadoop кластера в облаке
    • Выбор вендора и хостинга
    • Установка с использованием виртуального образа
    • Amazon EMR
  6. MapReduce
    • Введение в MapReduce
    • Компоненты MapReduce
    • Работа программы MapReduce
    • YARN MapReduce v2
    • Восстановление после сбоя
  7. Операции обслуживания кластера Hadoop
    • Дисковая подсистема
    • Квоты
    • Остановка, запуск, перезапуск
    • Управление узлами
    • Сетевая топология
    • Настройка высокой доступности кластера и обновлений
    • Импорт(загрузка) данных на HDFS
  8. Управление кластером Hadoop с использованием Cloudera Manager
    • Установка Cloudera Manager
    • Основные операции и задачи Cloudera Manager
    • Мониторинг с Cloudera Manager
    • Диагностика и разрешение проблем с Cloudera Manager
  9. Безопасность при работе с Big Data
    • Многопользовательский режим
    • Аутентификация и авторизация
    • Kerberos, keytabs, principals
    • Установка и конфигурирование Kerberos в Hadoop
  10. Мониторинг
    • Ganglia
    • JMX
    • Logging
    • Clustering
  11. Оптимизация и управление ресурсами
    • Поиск узких мест
    • Производительность
    • Файловая система
    • Worker Node
    • Сетевая производительность
    • FIFO scheduler
    • Планировщик емкости (Capacity scheduler)
    • Гранулярное управление ресурсами (Fair scheduler)
    • Защита очередей и доминантное управление ресурсами
  12. Troubleshooting
    • Data Node
    • Task Tracker
    • Job Tracker
    • Name Node
  13. Резервное копирование (Backup)
    • Репликация данных
    • Резервное копирование и аварийное восстановление
    • Best practices
  14. Импорт данных. 
    • Анализ логов
    • Потоковая обработка
    • Batch процессинг
    • Импорт данных из социальных сетей
  15. Инструментарий Hadoop экосистемы
    • Apache Pig - установка и функционал
    • Apache Hive, понятие Hive таблицы, установка Hive
    • Apache Scoop - установка и функционал
    • Apache Flume - установка и функционал
    • Apache Spark-установка и функционал
    • Apache HBase- установка функционал
Записаться на курс: Администрирование Hadoop-кластера

Начало курса: 16.07.2018



Поделиться
Отправьте другу или начальнику ссылку на почту
Заявка на обучение

Заявка на обучение

Записаться на курс:

Выберите дату начала курса: