AF.ADS-A-Kafka

Эксплуатация Arenadata Streaming (Kafka)

Курс «Эксплуатация Arenadata Streaming (Kafka)» поможет получить практические навыки по развертыванию, администрированию и пост-настройке безопасности кластера Arenadata Streaming

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными и обеспечения безопасности кластера Apache Kafka в составе платформы Arenadata Streaming. Курс предназначен для системных администраторов, специалистов по информационной безопасности и разработчиков в области больших данных. Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области администрирования и обслуживания распределенной системы потоковой обработки данных − Arenadata Streaming.

 

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

 

Предварительная подготовка:

  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
161 040₽

Длительность

4 дня (32ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Расписание

Дата и место проведения
Начало
Формат
Преподаватель
Стоимость

Кому подойдет этот курс

    IT-специалисты, которые хотят повысить свою квалификацию в области управления потоковыми данными и обеспечения безопасности кластера Apache Kafka в составе платформы Arenadata Streaming
    Системные администраторы
    Специалисты информационной безопасности
    Разработчики БД

Участники получат теоретические знания и практический опыт по:

  • подготовке окружения и установке Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
  • архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Cruise Control, Kafka Connect, MirrorMaker, Kafka REST Proxy, ksqlDB);
  • Arenadata Streaming Control (ADS Control);
  • обеспечению информационной безопасности для кластера Arenadata Streaming с применением инструментов Arenadata Platform Security.

Программа курса

7 модулей
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

o   Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager

o   Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper)

o    Arenadata Streaming Control

o    Arenadata Platform Security


Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

o   Планирование кластера

o   Настройка параметров окружения:

·        Подготовка к установке. Настройка сети и DNS. Монтирование и настройка файловой системы.

·        Лабораторная работа

o   Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание:

·        Лабораторная работа (опционально)

o   Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka):

·        Лабораторная работа

o   Мониторинг ADS Prometheus: архитектура сервиса мониторинга. Настройка/добавление JMX-метрик:

·        Лабораторная работа

o   Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI


Модуль 3. Архитектура и инструменты Apache Kafka

o   Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas

o   Topics Kafka:

·        Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).

·        Гарантии надежности Kafka (доставка/потребление).

·        ADS Control: базовые операции (View/Produce Messages, Topics, Brokers, Consumer groups).

·        Лабораторная работа

o   Контроллер Kafka. ZooKeeper/KRaft.

o   Producers Kafka:

·        Настройка Producers.

·        Console Producer

o   Consumers Kafka:

·        Настройка Consumers

·        Сonsumer groups, ребалансировка разделов.

·        Console Consumer

o   Изменение параметров компонентов и объетов Kafka:

·        ADS Control.

·        Console CLI.

·        Лабораторная работа.

o   Kafka Cruise Control:

·        Назначение, архитектура и компоненты (Goals, Monitor, Analyzer, Detector, Metrics).

·        Лабораторная работа (опционально)

o   Schema Registry:

·        Schema compatibility.

·        Настройка и управление в ADS Control

o   Kafka Tiered Storage:

·        Основные возможности. Настройка


Модуль 4. Kafka Connect

o   Основные понятия, компоненты и инструменты. API. Установка Plugin's Connectors

o   FileStream Connectors:

·        Лабораторная работа

o    Мультикластерные архитектуры (MirrorMaker, Mirror Connectors)

o    ADS Control: управление и добавление коннекторов (MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector, пользовательских, Debezium):

·        Mirror Maker connector.

·        CDC Debezium.

·        Kafka ADB Connectors.

·        Лабораторные работы

 


Модуль 5. Kafka REST Proxy, ksqlDB

o   Основные возможности и примеры использования


Модуль 6. Управление информационной безопасностью кластера ADS

o   Механизмы аутентификации/авторизации в Kafka. Шифрование. kTLS

o   Установка и настройка Arenadata Platform Security (ADPS):

·        Основные этапы установки.Подготовка инфраструктуры. Распределение компонент ADPS.

·        Лабораторная работа

o   Керберизация ADS/ADPS/ADS Control с MS Active Directory:

·        Лабораторная работа

o    Настройка LDAP sync source для Ranger User synchronizer:

·        Лабораторная работа

o   Настройка LDAP/AD auth для Ranger Admin:

·        Лабораторная работа

o   Настройка LDAP/AD auth для ADS Control:

·        Лабораторная работа

o    Настройка network authentication/domain membership для узлов на примере Active Directory (SSSD/realmd):

·        Лабораторная работа

o   Настройка SSL ADS/ADPS/ADS Control:

·        Сертификаты и Центры сертификации.

·        Шифрование данных. Основные этапы настройки SSL.

·        Лабораторная работа

o   Настройка авторизации:

·        Apache Kafka (ACL, Ranger Plugin)

·        ADS Control Service (Ranger Plugin)

·        Лабораторная работа


Итоговое тестирование

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

WhatsApp
Telegram