AF.ADS-DEV-NiFi

Основы работы с Apache NiFi на базе платформы Arenadata Streaming

Курс «Основы работы с Apache NiFi на базе платформы Arenadata Streaming» будет полезен дата-инженерам, управляющим ETL-конвейерами на базе инструмента Apache NiFi. Прохождение курса поможет получить практические навыки по созданию и управлению потоками Apache NiFi в составе кластера Arenadata Streaming.

Аудитория курса включает IT-специалистов, которые хотят повысить квалификацию в области разработки ETL-процессов Apache NiFi в составе платформы Arenadata Streaming. Курс предназначен для дата-инженеров и будет полезен как начинающим, так и опытным специалистам, стремящимся расширить свои знания и навыки.

 

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

 

Предварительная подготовка:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
122 000₽

Длительность

3 дня (24ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Расписание

Дата и место проведения
Начало
Формат
Преподаватель
Стоимость

Кому подойдет этот курс

    IT-специалисты, которые хотят повысить свою квалификацию в области разработки ETL-процессов Apache NiFi в составе платформы Arenadata Streaming
    Дата-Инженеры

Программа курса

7 модулей
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

·        Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Prosperity, Arenadata Cluster Manager.

·        Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB Client, ksqlDB, Schema Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper).

·        Arenadata Streaming Control.

·        Arenadata Platform Security.


Модуль 2. Подготовка окружения и установка ADS: ZooKeeper, Apache NiFi

·        Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

·        Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.

·        Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.

·        Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper, Apache NiFi).

·        Мониторинг ADS (Prometheus): архитектура сервиса.


Модуль 3. Архитектура и инструменты Apache NiFi

·        Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.

·        Создание, настройка и управление процессорами, процессорными группами.

·        Flow Files и атрибуты.

·        FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

·        Content/Record-oriented подход.


Модуль 4. Администрирование и эксплуатация Apache NiFi

·        Инструменты мониторинга и администрирования.

·        Горизонтальное масштабирование и отказоустойчивость NiFi. Балансировка очередей. Производительность и оптимизация потоков данных.

·        Использование метадата-driven подхода для разработки потоков.

·        Apache NiFi Registry версионность и поддержка production deployment (CI/CD).


Модуль 5. Работа с данными и маршрутизация в Apache NiFi

·        Использование процессоров для обработки данных.

·        Работа с метаданными и контентом flowfiles.

·        Основы Expression Language.

·        Параметризация DataFlow: параметры, провайдеры.

·        Сериализация и десериализация данных. Схемы данных. AVRO-схемы.

·        Подключение источников (File, Apache Kafka, СУБД, S3, HDFS, возможные Endpoints).

·        Работа с текстом, JSON, XML (jolt, jslt, xslt).

·        Трансформация и фильтрация данных (ConvertRecord, UpdateRecord, QueryRecord, jolt-transform-record, LookupRecord).

·        Разделение, объединение и агрегация данных.

·        Использование процессоров для маршрутизации.

·        Обработка ошибок.

·        Работа с ADB, трансформация и загрузка (ETL).


Модуль 6. Кастомизация Apache NiFi

·        Кастомизация и создание Extensions. Создание собственного процессора (преимущества/недостатки).

·        Использование скриптов.

·        Разработка скрипта трансформации (Scripted-transform-record).


Итоговое тестирование.

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

WhatsApp
Telegram