FD.AK.01

Apache Kafka с нуля: архитектура, настройка, интеграция

Этот курс — полное практическое введение в Apache Kafka, одну из ключевых технологий современной потоковой обработки и обмена сообщениями в распределённых системах.
Курс разработан специально для системных администраторов, инженеров сопровождения и специалистов, только начинающих погружение в мир событийно-ориентированной архитектуры. Он не требует предварительных знаний в области DevOps или работы с брокерами сообщений.
Обучение начинается с основ — зачем нужна Kafka, как она устроена и как решает реальные задачи распределённых приложений. Участники последовательно осваивают архитектуру брокеров, топиков, продюсеров и консьюмеров, получают практический опыт работы с Kafka API, CLI, настройками безопасности, мониторингом и отказоустойчивостью.

Предварительная подготовка:
• Уверенные навыки работы в Linux: установка, настройка, управление сервисами;
• Базовое понимание принципов сетевого взаимодействия и клиент-серверных приложений (TCP, порты, DNS);
• Знание форматов логов и представление об очередях или системах обмена сообщениями будет плюсом;

Все эти знания Вы можете получить на наших курсах:

AL-1802 Администрирование Astra Linux Special Edition 1.8

AL-1803 Расширенное администрирование ОС Astra Linux Special Edition 1.8

Или
RS.101.24 Основы администрирования РЕД ОС. 2024

RS.103.24 Расширенное администрирование РЕД ОС. 2024

75 000₽

Длительность

5 дней (40ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Кому подойдет этот курс

    Системные администраторы, которым необходимо внедрить или сопровождать Kafka-кластеры
    Инженеры по эксплуатации и мониторингу, работающие с распределёнными системами
    Специалисты, переходящие от классических очередей сообщений к потоковым решениям
    Начинающие разработчики, желающие понять архитектуру Kafka и научиться взаимодействовать с ней через API и CLI
    Обучающие специалисты, разрабатывающие курсы по работе с брокерами сообщений и event-driven архитектурами

Слушатели научатся:

  • Понимать принципы работы Kafka и задачи, которые она решает в распределённых системах
  • Устанавливать, настраивать и масштабировать Kafka-кластеры с учётом производительности и отказоустойчивости
  • Работать с Producer и Consumer API: отправка, получение, сериализация, управление оффсетами
  • Управлять топиками, партициями, ACL и конфигурацией через Admin API и CLI
  • Подключать внешние источники и приёмники данных через Kafka Connect и REST Proxy
  • Настраивать безопасное взаимодействие: SSL/TLS, SASL, Kerberos, ACL
  • Мониторить и отлаживать работу Kafka с помощью Prometheus, Grafana и Kafdrop
  • Организовывать геораспределённую архитектуру и межкластерную репликацию с MirrorMaker 2

Программа курса

11 модулей
Модуль 1
• Что такое Kafka и зачем она нужна
• История развития и причины популярности Kafka
• Модель работы Kafka как распределённого commit log
• Типовые задачи, которые решает Kafka в современном IT


Модуль 2
• Архитектура Kafka: брокеры, топики, партиции, оффсеты
• Как Kafka обеспечивает масштабирование и отказоустойчивость
• Коммуникация между компонентами Kafka
• Особенности хранения и обработки данных в Kafka


Модуль 3
• Kafka без Zookeeper и с ним: что выбрать
• Структура конфигурационных файлов Kafka и их ключевые параметры
• Типичные ошибки при установке и запуске кластера
• Подготовка ОС и ресурсов под продакшн-инсталляцию Kafka


Модуль 4
• Создание топиков: параметры, настройка хранения, retention
• Управление партициями: увеличение числа, переназначение
• Репликация и лидерство внутри топиков
• Сжатие логов, compaction и очистка


Модуль 5
• Producer API: что такое запись в Kafka на практике
• Выбор сериализации: JSON, Avro, Protobuf
• Семантика отправки сообщений: async, sync, fire-and-forget
• Идемпотентность и надёжная доставка сообщений


Модуль 6
• Consumer API: как читать данные из Kafka
• Группы потребителей и балансировка нагрузки между ними
• Управление оффсетами: автоматическое и ручное
• Реакция на перебалансировку и падения


Модуль 7
• Admin API: создание и удаление топиков, ACL, квоты
• Kafka CLI: базовые команды для администрирования
• Статистика и текущее состояние кластера через интерфейсы
• Интерфейсы: Kafdrop, Control Center, Redpanda GUI


Модуль 8
• Мониторинг Kafka через Prometheus и Grafana
• Какие метрики собирать у брокеров, продюсеров и консьюмеров
• Зоны риска: задержки, лаги, падения репликаторов
• Построение алертов на основе метрик Kafka


Модуль 9
• Интеграция Kafka с внешними системами через Kafka Connect
• Типы коннекторов: source и sink
• Kafka REST Proxy: работа через HTTP-запросы
• Интеграция с базами, хранилищами, API и очередями


Модуль 10
• Безопасность Kafka: SSL и TLS, настройка шифрования
• Аутентификация через SASL и Kerberos
• Механизмы авторизации: ACL и контроль доступа
• Организация безопасного подключения приложений


Модуль 11
• Репликация между кластерами: зачем и как
• Работа с MirrorMaker 2: конфигурация, фильтрация, ограничения
• Подходы к геораспределённой Kafka-инфраструктуре
• Типовые сценарии отказоустойчивости и восстановления


Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

WhatsApp
Telegram