AF.ADS-A-Nifi

Эксплуатация Arenadata Streaming (NiFi)

Курс «Эксплуатация Arenadata Streaming (NiFi)» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет вам получить практические навыки по развертыванию, администрированию и настройке безопасности Apache NiFi в составе кластера Arenadata Streaming

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming.

Курс предназначен для дата-инженеров, системных администраторов, специалистов по информационной безопасности. Он будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных – Apache NiFi в составе Arenadata Streaming.

 

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

 

Предварительная подготовка:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
122 000₽

Длительность

3 дня (24ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Расписание

Дата и место проведения
Начало
Формат
Преподаватель
Стоимость

Кому подойдет этот курс

    IT-специалисты, которые хотят повысить свою квалификацию в области управления ETL-процессами потоковыми данными и обеспечения безопасности кластеров Apache NiFi в составе платформы Arenadata Streaming
    Дата-инженеры
    Системные администраторы
    Специалисты информационной безопасности

Программа курса

7 модулей
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

·        Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager

·        Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka-Manager, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper, KRaft)

·        Arenadata Streaming Control

·        Arenadata Platform Security


Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

·        Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

·        Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.

·        Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.

·        Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).

·        Мониторинг ADS Prometheus/Graphite (Deprecated): архитектура сервиса/кластера мониторинга.


Модуль 3. Архитектура и инструменты Apache NiFi

·        Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение

·        Создание, настройка и управление процессорами, процессорными группами.

·        Flow Files и атрибуты.

·        Подключение источников (File, Apache Kafka, СУБД)

·        FlowFile Repository, Content Repository, Provenance Repository: детальное изучение


Модуль 4. Администрирование и эксплуатация Apache NiFi

·        Инструменты мониторинга и администрирования: (Reporting Tasks, Site-to-Site, REST API, nifi-toolkit).

·        Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей.

·        Управление репликацией и Метадата-driven подход.

·        Apache NiFi Registry версионность и поддержка production deployment (CI/CD).


Модуль 5. Работа с данными и маршрутизация в Apache NiFi

·        Использование процессоров для обработки данных.

·        Шаблоны маршрутизации.

·        Основы Expression Language.


Модуль 6. Управление информационной безопасностью кластера ADS (NiFi)

·        Установка и настройка Arenadata Platform Security (ADPS): основные этапы установки, подготовка инфраструктуры, распределение компонент ADPS.

·        Керберизация ADS/ADPS с MS Active Directory.

·        Настройка LDAP sync source для Ranger User synchronizer.

·        Настройка LDAP/AD auth для Ranger Admin.

·        Настройка SSL ADS/ADPS: Сертификаты и Центры сертификации. Шифрование данных. Основные этапы настройки SSL.

·        Настройка авторизации: Apache NiFi (based authorizer, Apache Ranger Plugin). Настройка политик (processor groups, processors, queues и др.). Парметры безопасности процессоров.


Итоговое тестирование

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

WhatsApp
Telegram