Построение потоковых систем с Apache Kafka

Главная

Курсы

DevOps

FD.AK.02

Построение потоковых систем с Apache Kafka

Курс посвящён изучению платформы Apache Kafka и её применению для построения распределённых систем обработки данных в реальном времени.
Слушатели познакомятся с архитектурой Kafka, принципами работы с топиками, продюсерами и консьюмерами, а также освоят методы настройки, масштабирования и оптимизации.

Предварительные требование:

• Базовое понимание принципов программирования
• Знание основ работы с операционными системами - Linux/Windows, работа с командной строкой
• Общее представление о сетевых технологиях (TCP/IP, клиент-серверная архитектура)
• Понимание баз данных и принципов хранения данных

75 000₽

Длительность

2 дня (16ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Количество слушателей

Укажите чтобы рассчитать скидку

Не подходит расписание? Выберите дату и форму обучения удобную для вас!

Выбрать свою дату

Для корпоративных клиентов

Введение в Apache Kafka

• Подготовка окружения: установка и настройка Kafka, Zookeeper и Kafdrop
• Базовые концепции: сообщения, топики и партиции
• Репликация и механизмы обеспечения отказоустойчивости
• Гарантии доставки сообщений
• Обзор API Kafka
• Практика: развертывание Kafka-кластера под руководством преподавателя

Работа с Kafka Producer API

• Структура и параметры Producer Record
• Реализация пользовательской логики партиционирования
• Использование временных меток (timestamp)
• Конфигурирование Producer API
• Работа с KafkaProducer: отправка сообщений и обработка callback
• Практика: разработка Producer с различными настройками

Работа с Kafka Consumer API

• Подходы к распределению партиций между потребителями
• Механизм ребалансировки (rebalance)
• Управление смещениями (offset)
• Настройка Consumer API
• Использование KafkaConsumer для чтения данных
• Практика: реализация потребителя сообщений

Использование Admin API

• Управление топиками и партициями
• Администрирование потребителей и сообщений
• Настройка прав доступа (ACL) и квот
• Практика: управление кластером с помощью Admin API

Транзакции и гарантии в Kafka

• Обеспечение надежности доставки сообщений
• Idempotent Producer
• Семантика Exactly Once
• Работа с транзакциями
• Практика: создание транзакционных Producer и Consumer

Обработка потоков с Kafka Streams

• Основы Kafka Streams
• Управление состоянием приложений
• Операции объединения потоков данных
• Использование KTable и GlobalKTable
• Работа с Processor API
• Практика: разработка потокового приложения

Kafka Schema Registry и форматы данных

• Подходы к описанию схем сообщений
• Использование формата Avro
• Сравнение Avro, Protobuf и JSON
• Работа со Schema Registry
• Практика: интеграция сериализации Avro

Взаимодействие через Confluent REST API

• Обзор возможностей REST API
• Развертывание и настройка
• Выполнение запросов к Kafka
• Практика: работа с Kafka через REST API

У этого курса пока нет отзывов. Ниже представлены отзывы по другим курсам учебного центра.

Анонимно

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс, конечно, вводный, но преподаватель отвечал и на вопросы не только в рамках курса. За что ему отдельное спасибо!

Максим Дворянинов

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Огромное спасибо авторам и предоавателю курса! Закрыли большую часть вопросов, которые у меня были, а так же открыли для меня неочевидные ранее пути решения проблем с кластером Postgres! С огромным удовольствием посещу следующие курсы данного цикла.

Дмитрий Борисович

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс супер: всё четко, по делу и с отличной практикой по Postgres!

Анонимно

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Базовый курс по администрированию PostgreSQL оказался очень содержательным, с отличными учебными материалами и практической базой. Спасибо преподавателю Олегу Иванову за понятные объяснения и свои комментарии как от очевидного профессионала в данной сфере.

Инна Мурашова

О курсе "PostgreSQL 16. Оптимизация запросов"

Отличный курс "PostgreSQL 16. Оптимизация запросов", материала очень много, как теоретического, так и практического. Курс дает возможность изучить темы быстро. Тем более, что преподаватель курса(Иванов Олег) очень большой профессионал своего дела.

Елена Замикула

О курсе "PostgreSQL 16. Оптимизация запросов"

Интересный курс. Качественные материалы. Преподаватель Олег Иванов - профессионал своего дела и очень интересный лектор.

Юлия Шаланова

О курсе "PostgreSQL 16. Оптимизация запросов"

Курс очень информативный, полезный и интересный, с углубленным изучением того, как работает планировщик запросов, на что лучше обратить внимание при построении запросов, как правильно и эффективно создавать индексы. Курс полезен для разработчиков БД и также для администраторов в качестве инструмента для поиска узких мест при выявлении проблем производительности и нагрузки на сервер.

Олег Казанин

О курсе "Администрирование Astra Linux Special Edition 1.8"

Отличный курс: материал объясняется ясно, много практических примеров, темп комфортный. Преподаватель Аркадий давал полезную обратную связь и отвечал на все вопросы. Спасибо!

Гайденко Михаил

О курсе "Автоматизация с использованием Ansible: Полное погружение"

Отличный курс для понимания основных моментов и концепций, подойдет для начала работы с инструментом

Эвальд Гайденрайх

О курсе "PostgreSQL 16. Оптимизация запросов"

Курс очень полезный и интересный как для разработчиков Postgresql, так и для администраторов.

Андрей Смирнов

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

Спасибо большое, все очень доступно, наглядно, интересно и очень полезно будет в работе

Максим Макаров

О курсе "Безопасность в ОС Astra Linux Special Edition 1.8"

Полезный курс, многое прояснилось в плане как реализована система защиты и разграничение прав доступа в Astra Linux

Алексей Забелин

О курсе "Практический курс «Администрирование кластера YDB»"

В целом для начинающих кто не знаком с YDB курс хороший. Но мне как уже знакомому с настройкой и администрированием хотелось бы более углубленный вещи которые не очевидны из документации сложные кейсы и т.д. Возможно например создать отдельный курс.

Ирина Балабанова

О курсе "Безопасная разработка программного обеспечения"

Благодарю, курс объемный, много информации. Благодарю за шаблоны документов.

Даниил Жаринов

О курсе "Автоматизация с использованием Ansible: Полное погружение"

Было очень интересно и лично для меня полезно. Единственный минус - то, что всё это проходит на буднях в рабочее время. Конфликтует сильно с рабочими обязанностями

Никита Авакумов

О курсе "Автоматизация с использованием Ansible: Полное погружение"

Хороший курс. Всё очень понятно и доступно. Много практики на удобном стенде. Было интересно.

Виктор Ломов

О курсе "Курс по нейросетям: LLM Alchemy - Высшее искусство обучения локальных моделей"

Очень объёмный и структурированный курс. Охватывает все необходимые аспекты для самостоятельного применения технологий.

Андрей Крупин

О курсе "Безопасная разработка программного обеспечения"

Курс понравился. Примеры документов в раздаточном материале особенно полезны

Виктор Шульгин

О курсе "Основы SQL: создание переносимого кода"

Курс был полезен, больше подходит для новичков, так как это основа. Но при этом преподаватель, когда рассказывал углублял и разворачивал темы.

Станислав Сивов

О курсе "Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс"

Курс был полезен. Показал проблемы и методы решение при миграции с Oracle на PostgerSQL

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.