AF.ADH-A-Core

Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты

Курс «Эксплуатация Arenadata Hyperwave. Часть 1: Базовые компоненты» предназначен для получения фундаментальных знаний и практических навыков по установке, конфигурированию и управлению кластерами Arenadata Hyperwave

 

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

 

Необходимая предварительная подготовка:

  • имел базовые знания Linux (работа с консолью, файловой системой, пользователями, сетевыми настройками);
  • понимал основные принципы сетевых взаимодействий (IP-адресация, DNS, SSH, порты);
  • обладал начальными знаниями об архитектуре распределённых систем и принципах хранения данных;
  • умел читать и редактировать конфигурационные файлы (YAML, XML, INI);
  • имел представление о Big Data-концепциях — что такое Data Warehouse, Data Lake, Data Lakehouse, партиционирование данных, отказоустойчивость;
  • имел базовые знания SQL (SELECT, JOIN, фильтрация, агрегирование);
  • имел представление о Python на уровне чтения и написания простых скриптов (работа с файлами, логами, API, обработка данных);
  • желателен (но не обязателен) опыт работы с системами мониторинга (Prometheus, Grafana) или управления кластерами (Ambari, ADCM).
195 200₽

Длительность

5 дней (40ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Расписание

Дата и место проведения
Начало
Формат
Преподаватель
Стоимость

Кому подойдет этот курс

    Системные администраторы, которые впервые работают с Hadoop-кластером
    Инженеры, которые впервые работают с Hadoop-кластером
    Специалисты по эксплуатации
    DevOps-инженеры
    Архитекторы инфраструктур данных, желающим понять внутреннее устройство и управление кластерами Arenadata Hyperwave.

Участники получат теоретические знания и практический опыт по:

работе с:
  • HDFS;
  • Ozone;
  • SSM (Smart Storage Manager);
  • YARN;
  • ZooKeeper;
  • Arenadata Cluster Manager (ADCM);

    • архитектуре экосистемы Hadoop;
    • планированию инфраструктуры;
    • настройке сети и файловой системы;
    • отказоустойчивости и основам мониторинга с использованием Prometheus и Grafana;
    • установке и первичной настройке кластера;
    • диагностике и устранению проблем в его работе.

    Программа курса

    8 модулей
    Модуль 1. Введение в экосистему Hadoop

    ·        История возникновения Hadoop:

    o   Понятия Big Data, Data Lake, Data Warehouse, Data Lakehouse.

    o   Arenadata Hyperwave. Ключевые отличия от прошлых версий.

    o   История проекта.

    o   Основные компоненты и экосистема.

    ·        Основные проекты Hadoop. HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, ZooKeeper, Impala, Trino, Ozone, HUE, Kyuubi.

    ·        Дистрибутивы Hadoop:

    o   Проект ODPi. Arenadata Hyperwave.

    o   Проект Ambari. Arenadata Cluster Manager.

    ·        Архитектура кластера Hadoop:

    o   HDFS. YARN. Ozone.

    o   Отказоустойчивость.


    Модуль 2. Подготовка окружения к установке Arenadata Hyperwave

    ·        Планирование кластера:

    o   Типы узлов. Профили нагрузки.

    o   Аппаратное обеспечение. Примеры кластеров.

    ·        Настройка параметров окружения:

    o   Подготовка к установке.

    o   Настройка сети и DNS. Лабораторная работа.

    o   Монтирование и настройка файловой системы. Лабораторная работа.


    Модуль 3. Введение в Arenadata Cluster Manager

    ·        Основные понятия и компоненты.

    ·        Развертывание системы управления. Лабораторная работа.

    ·        Подготовка и настройка инфраструктуры с использованием бандла. Лабораторная работа.

    ·        Планирование и первичная конфигурация кластера ADH.

    ·        Установка кластера ADH. Лабораторная работа.

    ·        Мониторинг (Prometheus, Grafana).

    ·        Подходы к конфигурированию сервисов экосистемы ADH.

    ·        Основные конфигурационные файлы и описание.

    ·        Работа с логами сервисов, поиск и выявление проблем работы с сервисами.

    ·        Обзор возможностей ADCM. Интерпретация статусов тестов, сервисов в системе управления ADCM.


    Модуль 4. Пост-настройка кластера Arenadata Hyperwave: HDFS, YARN

    ·        Файловая система HDFS.

    ·        Основные операции в HDFS:

    o   Работа с файлами и каталогами. Balancer.

    o   Распределенное копирование. HttpFS. Лабораторные работы.

    ·        Обслуживание и диагностика HDFS: DataNodes, NameNodes, HA. HDFS UI. Лабораторная работа.

    ·        Политики хранения. Tiering. Erasure Coding. Rack Awareness. Лабораторные работы.

    ·        Квоты HDFS

    ·        Форматы файлов.

    ·        Парадигма Map Reduce.

    ·        Архитектура YARN, HA-режим. Работа с YARN UI.

    ·        Scheduler YARN. Лабораторная работа.

    ·        YARN Preemption - вытеснение ресурсов. Лабораторная работа.

    ·        YARN Node Labels - метки узлов. Лабораторная работа.


    Модуль 5. ZooKeeper

    ·        ZooKeeper. Основные понятия и операции. Работа с ZooKeeper CLI.


    Модуль 6. Smart Storage Manager (SSM)

    ·        Предпосылки создания, история.

    ·        Архитектура SSM, отказоустойчивость.

    ·        Концепция правил и действий.

    ·        Возможности SSM, примеры операций.

    ·        Основные конфигурационные файлы и описание.

    ·        Лабораторная работа (перемещение данных).


    Модуль 7. Ozone

    ·        Назначение и применение Ozone.

    ·        Отличие от HDFS, преимущества.

    ·        Архитектура и компоненты Ozone, отказоустойчивость.

    ·        Установка Ozone.

    ·        Структура хранения данных в Ozone (том, бакет, ключ).Основные операции в Ozone. Лабораторная работа.

    ·        Основные конфигурационные файлы и описание.

    ·        Rack Awareness. Лабораторная работа


    Итоговое тестирование

    Как проходит обучение на платформе ФОРС

    [ 01 ]

    Знакомство с платформой

    Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

    [ 02 ]

    Обучение

    Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

    [ 03 ]

    Обратная связь и поддержка

    Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

    [ 04 ]

    Дипломы и сертификаты

    Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

    Остались вопросы?

    Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

    Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

    WhatsApp
    Telegram