Введение в NiFi

Аннотация:

Учебный курс предоставляет основы как использования NiFi, так и его администрирования. Курс может быть использован для обучения специалистов, ранее не работавших с NiFi, но имеющих представление о работе систем ETL.

Получаемые знания и навыки

Слушатели:
o   Познакомятся с предназначением, возможностями и составом NiFi.
o   Узнают, как устанавливать и запускать NiFi.
o   Получат навыки работы с пользовательским интерфейсом NiFi.
o   Научатся создавать потоки данных Data Flow в NiFi.
o   Освоят базовые принципы администрирования NiFi.
o   Ознакомятся с отладкой и мониторингом.

Целевая аудитория:
Специалисты, проектирующие и поддерживающие системы и процедуры ETL, а также администраторы систем ETL.

Предварительные требования к слушателям:
Минимальные знания ОС Linux, представление о предназначении и работе систем ETL.

Программа курса.

   1  Введение в NiFi
  o   Предназначение и возможности NiFi.
  o   Базовые концепции NiFi.
  o   Язык NiFi Expression Language.
  o   Обработчик JSONPath.
  o   Обработчик XPath/XQuery. 
   
   2  Установка NiFi.
  o   Системные требования.
  o   Рекомендуемые настройки в ОС Linux.
  o   Установка и запуск NiFi.
  o   Необходимые порты TCP.
  o   Встроенный ZooKeeper.

   3  Начало работы с NiFi. 
  o   Вход в сеанс.
  o   Пользовательский интерфейс NiFi.
  o   Компоненты NiFi.
  o   Размещение компонентов на холсте.
  o   Версии компонентов.
  o   Шаблоны NiFi.
  o   Запуск простого приложения.

    4  Процессоры NiFi. 
  o   Процессоры GetFile и PutFile.
  o   Процессоры вставки данных.
  o   Управление потоком обработки и маршрутизация.
  o   Процессоры для взаимодействия с СУБД.
  o   Извлечение атрибутов.
  o   Процессоры для взаимодействия с ОС.
  o   Процессоры преобразования данных.
  o   Передача данных.
  o   Разделение и агрегация.
  o   Процессоры HTTP.

   5  Работа с NiFi. 
  o   Взаимодействие процессоров.
  o   Работа с Flowfiles.
  o   Очереди Queues.
  o   Группы обработки Process Groups.
  o   Метки Labels.
  o   Конфигурация NiFi.
  o   Создание потоков данных Data Flow.
  o   Шаблоны NiFi.
  o   Слежение за происхождением данных Data Provenance.
  o   Удаленные группы обработки RPG.
  o   Настройки контроллера.
  o   Отчетные задачи Reporting Tasks.

   6  Администрирование NiFi. 
  o   Обновление NiFi.
  o   Настройка безопасности.
  o   Аутентификация пользователей.
  o   Многопользовательская аутентификация Multi-Tenant.
  o   Шифрование.
  o   Шифрованные пароли в потоках данных.
  o   Шифрованные пароли в конфигурационных файлах.
  o   Инструментарий NiFi Toolkit Administrative Tools.
  o   Настройка кластеризации.
  o   Управление State Management.
  o   Настройка загрузки Bootstrap.
  o   Службы нотификации.
  o   Настройка прокси.
  o   Настройка Kerberos.
  o   Встроенная аналитика.
  o   Системные свойства.
  o   Настройка опций размещения процессоров.

   7  Отладка и мониторинг. 
  o   Диагностика в UI.
  o   Журналы NiFi.
  o   Политики Backpressure.
  o   Отслеживание происхождения данных.