0
Вход
Центр компетенций

Основы Apache Hadoop

  • Код курса: FF.HadoopB
  • Длительность: 3 д.
  • Цена: 54 000 Р

Продолжительность курса:

  • Три дня (24 академических часа).
Аудитория:
  • Специалисты, использующие в работе с BigData ПО Hadoop: системные администраторы, системные архитекторы, разработчики и аналитики.
Предварительная подготовка:
  • Минимальное знание GNU/Linux.
Аннотация:
 
Курс знакомит с принципами построения кластеров Hadoop и основными компонентами: файловой системой HDFS, алгоритмом MapReduce и планировщиком задач YARN. Курс знакомит слушателей с архитектурой Hadoop и идеологией его использования. Уделяется внимание важнейшим компонентам экосистемы Hadoop: Hive, Pig, Flume, Sqoop. Также в курсе предоставлен обзор Apache Spark. Лабораторные работы курса выполняются на основе практических примеров в Hadoop кластере. Работа производится на индивидуальных кластерах Hadoop на базе сборки. В процессе курса слушатели работают с ПО управления кластером Cloudera Manager.
Программа курса
  1. ПО Hadoop для работы с Big Data.
    1. Подходы к работе с Big Data. 
    2. Поколения ПО Apache Hadoop. 
    3. Что такое Data Lake.
    4. Архитектура Apache Hadoop
    5. Главные компоненты Hadoop: HDFS, MapReduce и YARN.
    6. Обеспечение высокой доступности.
    7. Пакетная обработка заданий.
    8. Потоковая обработка.
  2. Распределенная файловая система HDFS.
    1. Архитектура HDFS, NameNode и DataNode.
    2. Физическое хранение блоков HDFS. 
    3. Репликация блоков.
    4. Операции чтения и записи в HDFS.
    5. Работы с HDFS в командной строке.  
    6. Дисковые квоты HDFS.
    7. Политики гибридного хранения данных HDFS.
    8. Важнейшие форматы хранения данных и сериализация в HDFS.
    9. Компрессия в HDFS.
    10. Загрузка данных в HDFS.
  3. Инфраструктура MapReduce.
    1. Алгоритм MapReduce. 
    2. Компоненты MapReduce в Hadoop. 
    3. Дизайн программ MapReduce. 
    4. YARN MR2. 
    5. Запуск заданий MapReduce.
  4. Работа с кластером Hadoop.
    1. Обзор платформ Cloudera.
    2. Оптимизация уровня ядра для узлов.
    3. Настройка HDFS.
    4. Конфигурация MapReduce.
    5. Файлы отчетов.
    6. Автоматизация подключения клиентов Hadoop.
    7. Топология кластера.
    8. Организация многоуровневого хранилища.
    9. Политика хранения.
  5. Менеджер ресурсов YARN.
    1. Управление заданиями.
    2. Планирование ресурсов.
    3. Планировщики.
    4. Экосистема Hadoop.
    5. Пользовательская консоль HUE.
    6. Инструмент Pig и язык Pig Latin.
    7. БД Hive и язык запросов HQL.
    8. Экспорт таблиц с помощью Sqoop.
    9. Обработка потоков Flume.
    10. Возможности платформы Spark.
Записаться на курс: Основы Apache Hadoop

Город проведения

* - обязательные поля


Поделиться
Отправьте другу или начальнику ссылку на почту
Заявка на обучение

* - обязательные поля

Заявка на обучение

Записаться на курс:

Город:

Дата:

Город проведения

* - обязательные поля