AF.ADS-DEV-Kafka

Основы работы с Apache Kafka на базе платформы Arenadata Streaming

Курс «Основы работы с Apache Kafka на базе платформы Arenadata Streaming» − трехдневный практический тренинг, посвящённый использованию Apache Kafka в среде Arenadata Streaming, а также разработке и запуску приложений с использованием Kafka API на Java.

Аудитория курса включает в себя IT-специалистов, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming.

Курс предназначен для начинающих разработчиков, инженеров данных и архитекторов.

Курс будет полезен как для начинающих, так и для опытных специалистов, стремящихся расширить свои знания и умения в области работы с распределенной системой потоковой обработки данных − Arenadata Streaming.

 

Сертификация

  • Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
  • Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

 

Предварительная подготовка:

  • опыт в программирования на современном языке (предпочтительно Java);
  • знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);
  • опыт работы с SQL.
122 000₽

Длительность

3 дня (24ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Расписание

Дата и место проведения
Начало
Формат
Преподаватель
Стоимость

Кому подойдет этот курс

    IT-специалисты, которые хотят повысить свою квалификацию в области управления потоковыми данными кластеров Apache Kafka в составе платформы Arenadata Streaming
    Инженеры данных
    Архитекторы

В рамках курса участники получат теоретические знания и практический опыт по:

  • архитектуре Arenadata Streaming, Arenadata Streaming Control и Arenadata Platform Security;
  • архитектуре и инструментам Apache Kafka (Consumers, Producers, Topics, Kafka Connect, Debezium, MirrorMaker, Schema Registry, Kafka REST Proxy, KSQL DB, Kafka Streams);
  • использованию Arenadata Streaming Control (ADS Control) для управления кластерами Arenadata Streaming;
  • пониманию принципов подготовки окружения, установки, настройки и мониторинга (Prometheus) кластера Kafka;
  • пониманию принципов работы Arenadata Cluster Manager, включая развертывание и конфигурирование кластеров Arenadata Streaming и Arenadata Streaming Control;
  • использованию средств IDE для работы с Kafka API (Consumer, Producer, Admin Client, Kafka Streams), включая настройку и использование инструментов сборки, таких как Maven;
  • использованию Schema Registry для управления схемами и обеспечения совместимости;
  • настройке Kafka Connect и созданию собственных плагин-коннекторов;
  • использованию Debezium и MirrorMaker для репликации данных;
  • интеграции и применению Kafka REST Proxy и KSQL DB для обработки потоков данных;
  • пониманию возможностей Kafka Streams API.

Программа курса

7 модулей
Модуль 1. Обзор Arenadata Enterprise Data Platform и Arenadata Streaming

·        Экосистема EDP: Arenadata Streaming, Arenadata Hyperwave, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager

·        Arenadata Streaming: основные компоненты и назначение (Kafka Broker, Kafka Connect Worker, Kafka REST Proxy, ksqlDB, Schema-Registry, NiFi Registry, NiFi Server, MiNiFi, ZooKeeper)

·        Arenadata Streaming Control

·        Arenadata Platform Security


Модуль 2. Подготовка окружения и установка ADS: ZooKeeper/KRaft, Apache Kafka, Monitoring, ADS Control

·        Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

·        Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы. Лабораторная работа.

·        Введение в Arenadata Cluster Manager: основные понятия, компоненты и возможности, развертывание.

·        Установка и настройка ADS: планирование и первичная конфигурация кластера, мониторинг, установка Arenadata Streaming, конфигурирование сервисов (ZooKeeper/KRaft, Apache Kafka)

·        Мониторинг ADS Prometheus: архитектура сервиса/кластера мониторинга. Лабораторная работа

·        Arenadata Streaming Control (ADS Control): планирование кластера, настройка параметров окружения и установка, обзор UI, базовые операции.


Модуль 3. Архитектура и инструменты Apache Kafka

·        Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.

·        Topics Kafka:

o   Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compression, retention).

o   Настройка программных инструментов: Java IDE (IntelliJ IDEA CE, OpenIDE), Build Tool (Apache Maven).

o   AdminClient API. Примеры программного использования. Лабораторная работа.

·        Гарантии надежности Kafka (доставка/потребление).

·        Контроллер Kafka. ZooKeeper/KRaft.

·        Producers Kafka:

o   Запись сообщений в Kafka, console Producer.

o   Настройка Producers

o   Producer API. Пример настройки Auth.

·        Consumers Kafka:

o   Сonsumer groups, ребалансировка разделов.

o   Настройка Consumers.

o   Consumer API. Пример настройки Auth.

·        Schema Registry:

o   Архитектура. Типы схем. Lifecycle. Schema compatibility. Пример эволюции схем (Kafka Java Clients).

·        Kafka REST Proxy:

o   Основные возможности и примеры использования.


Модуль 4. Kafka Connect

·        Основные понятия и инструменты. API. Установка Self-Managed Connectors. Пример использования (FileStream Connectors).

·        Создание собственных Plugin Connectors. Пример создания, упаковки и тестирования собственного Plugin Connector (Maven, Java).

·        Основные операции ADS Control: управление и добавление коннекторов. Настройка MirrorMaker, Mirror Connectors. Пример настройки. Лабораторная работа.

·        CDC Debezium: архитектура; пример использования (MS SQL); JDBC sink. Лабораторная работа.

·        SMT (Single Message Transforms). Основные возможности. Debezium Transformation/собственный класс трансформации. Примеры реализации.


Модуль 5. ksqlDB

·        Основные возможности и примеры использования. Управление потоками.


Модуль 6. Kafka Streaming API

·        Основные понятия, архитектура и инструменты.

·        Пример приложения Kafka Streams c использованием SpringBoot API (Java).


Итоговое тестирование

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

WhatsApp
Telegram