Курс Введение в Airflow в авторизованном центре обучения ФОРС.

Главная

Курсы

DevOps

Введение в Airflow

PF.Airflow

Введение в Airflow

Курс предназначен для практического ознакомления с основами Airflow - системы управления конвейеров обработки данных.

Предварительные требования к слушателям:

Минимальные владение Python и ОС Linux.

48 000₽

Длительность

3 дня (24ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Количество слушателей

Укажите чтобы рассчитать скидку

Не подходит расписание? Выберите дату и форму обучения удобную для вас!

Выбрать свою дату

Для корпоративных клиентов

Кому подойдет этот курс

Аналитики систем обработки БД

Разработчики систем обработки БД

Специалисты в области Data Science и MachineLearning

Слушатели:

Узнают для чего используется Airflow и получат обзор его возможностей.
Познакомятся с принципами ациклических направленных графов DAG и их применением для создания и управления конвейеров обработки данных.
Научатся настраивать и использовать календарное планирование задач в Airflow.
Познакомятся с шаблонами заданий с использованием контекста
Поймут суть определения зависимостей.
Научатся запускать рабочие процессы.
Ознакомятся с принципами создания потоков обработки.
Узнают основы разработки пользовательских компонент.
Освоят подходы к тестированию.
Научатся использовать контейнеры Docker с Airflow.
Познакомятся с лучшими практиками использования Airflow.
Освоят базовые подходы обеспечения безопасности Airflow.

Введение в Airflow.

Для чего нужны конвейеры обработки данных.
Airflow - средство построения конвейеров.
Применение Airflow.

Устройство DAG.

DAG - направленный ациклический граф.
Процесс сборки и обработки данных.
Создание Airflow DAG.
Выполнение Airflow DAG в среде Python.
Выполнение Airflow DAG в контейнере Docker.
Запуск по календарю на регулярной основе.
Обработка отказов заданий.

Календарное планирование выполнения.

Запуск на регулярной основе.
Инкрементальная обработка данных.
Даты выполнения Airflow.
Запуск DAG для данных из прошлых периодов - backfilling.
Дизайн заданий.

Шаблоны заданий.

Исследование данных для обработки.
Контекст задания и шаблоны Jinja.
Взаимодействие операторов с внешними системами - hooks.

Зависимости.

Зависимости между заданиями.
Ветвление.
Условные задания.
Триггерные правила.
Обобществление данных между задачами.
Связывание в цепь задач Python.

Потоки обработки.

Выборка условий с помощью сенсоров.
Запуск внешних DAG.
Запуск потоков обработки с помощью REST/CLI.

Разработка пользовательских компонент.

Использование PythonOperator.
Написание собственного оператора hook.
Написание собственного сенсора.
Пакетирование компонент.

Тестирование.

Как выполняется тестирование.
Работа с DAG и контекстом в тестах.
Использование тестов в разработке.
Использование Whirl.
Создание DTAP сред.

Запуск задач в контейнерах.

Проблемы взаимодействия множества операторов.
Использование конвейеров.
Запуск задач в Docker.
Запуск задач в Kubernetes.

Практика использования Airflow.

Грамотное создание DAG.
Разработка воспроизводимых повторно задач.
Эффективная обработка данных.
Управление ресурсами.

Эксплуатация Airflow.

Архитектуры Airflow.
Установка исполнителей.
Сборка отчетов о выполнении процессов Airflow.
Визуализация и мониторинг метрик Airflow.
Нотификация о невыполненных заданиях.

Безопасность Airflow.

Безопасность WEB интерфейса.
Шифрование хранимых данных.
Подключение к LDAP.
Шифрование трафика.

Дмитрий Виноградов

О курсе "Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс"

Преподаватель грамотный, обладает большим опытом работы в данной области.

Лариса Шкелева

О курсе "Администрирование PostgreSQL 16. Настройка и мониторинг"

Курс интересен и полезен для любого уровня администратора. Я обнаружила и обозначила для себя приоритетные темы для более детального изучения. Другие вопросы, с которыми сталкивалась в работе, в результате получили упорядоченность и более глубокое понимание. Спасибо!

Олег Пелипас

О курсе "Безопасность в ОС Astra Linux 1.7"

Лектор прочитал курс с "огоньком": с примерами и отступлениями сверх программы, что помогло лучшему пониманию материала. Презентации подготовлены лаконично и по существу. Тестовые материалы так же понятны, и вместе с тем не прямолинейны, а требуют действительных знаний. Просто так, поиском в Интернет ответы не найти.

Алексей Кулешов

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс мне очень понравился своей содержательностью и последовательностью подачи материала. Преподаватель Тимофей очень все доступно объясняет. Радует то что всегда можно спросить его помощи. Хотелось бы конечно чуть чуть побольше практических примеров из жизненного опыта при разборе тем. Не просто теория, а где как и для чего она применяется на практике. В остальном все на высшем уровне! Организация, материал, преподаватель - все супер!

Илья Любич

О курсе "Безопасная разработка программного обеспечения"

Все прошло хорошо.
+ Много полезной информации;
+ Хороший лектор, который всегда готов ответить на вопросы;
+ Материалы лекций и дополнительные материалы для документов.

- Мало практики;
- Очень много теории без закрепления материала.

Татьяна Червякова

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Все на высшем уровне.

Ирина Нигматуллина

О курсе "Создание информационных систем на платформе XSQUARE"

Курс по платформе XSQUARE был пройден с огромным любопытством. Программа курса позволила вникнуть в суть работы платформы, получить навыки работы и разобраться в некоторых нюансах продуктов XSQUARE. Преподаватель на курсе все подробно и терпеливо рассказывал и помогал найти ошибки, что позволило лучше понять программу.

Анна Нахманович

О курсе "Создание информационных систем на платформе XSQUARE"

Курс был проведен на высоте! Большой объем информации, учебного материала и практики мастерски уложили в 3 учебных дня. Все задания разбирали и обсуждали. На возникающие вопросы подробно и доступно получали ответы. Выражаю благодарность за прекрасную работу педагогу - Денису Хлебнову, а так же за оперативную техническую поддержку Андрею Тахтаулову.

Александр Найденов

О курсе "Администрирование Astra Linux Special Edition 1.8"

Большое спасибо за предоставленное обучение.
Преподаватель Керимов Г.О. показал свой профессионализм. Информация была предоставлена понятным языком и легко воспринималась.

Ольга Барановская

О курсе "Создание информационных систем на платформе XSQUARE"

Спасибо большое Денису за подробный курс по продуктам, терпение и безусловно обратную связь. Все было очень доступно изложено, предоставлен хороший формат обучения.

Также спасибо Андрею и Марии за поддержку и желание помочь в каждой даже самой простой ситуации.
Процветания Вам и быть может еще встретимся)

Лабазов Игорь

О курсе "Безопасная разработка программного обеспечения"

Курс хорош для ознакомления с РБПО. В сроки данного курса не уместить более обширную практику, однако его хватает познакомиться с инструментами для самостоятельного приобретения знаний. Помимо этого, курса достаточно для понимания того, что нужно учитывать для внедрения/следования практикам РБПО в компании и прохождения сертификации ИБ продуктов.

Анонимно

О курсе Администрирование PostgreSQL 16. Резервное копирование и репликация

Очень много систематизированной информации.
Смог собрать воедино разрозненные знания и увидел методы решения имеющихся пробелов в резервировании

Анонимно

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Спасибо центру за интересный курс и хорошую организацию. Перед началом курса выслали подробную инструкцию, все было понятно, вируталка у меня работала без проблем.
Большое спасибо лектору Олегу Иванову. Лектор отзывчивый, ответил на все вопросы слушателей. Изложение материала было доступным и понятным. Видно, что лектор эксперт в области PostgreSQL и Oracle.
Материал курса оказался для меня полезным и актуальным.

Алексей Шинкаренко

О курсе "Oracle Database 19c/18c/12cR2: Administration Workshop"

Интересная подача, не только собственно содержимое курса, но и история появления нововведений их полезность или бесполезность на практике. Много практики, что тоже полезно.
В целом понравилось, произошла некоторая систематизация знаний, узнал кое-что новое для себя. При наличии возможностей посещу другие курсы по этой тематике.

Дмитрий Пинаев

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

Курс отличается полнотой и доступностью, живостью подачи материала. Преподаватель-эксперт в области postgreSql(и не только) и великолепный рассказчик. Благодаря этому, курс можно рекомендовать тем, кому требуется разработать надёжное и производительное приложение на основе PostgreSql

К сожалению, не удалось выполнить в полном объёме практические задания.

Дмитрий Ерошин

О курсе "Администрирование PostgreSQL 16. Настройка и мониторинг"

Очень содержательный курс. Рассматриваются действительно необходимые темы для погружения во внутреннюю механику PostgreSQL.

Сергей Рыбаков

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Хотя курс был для меня совершенно новым и не все материалы усвоились сразу, я получил главное – четкое понимание дальнейших шагов в изучении PostgreSQL, включая необходимые ресурсы и ПО. Особо хочу отметить преподавателя: его глубокие знания и педагогические навыки впечатляют. Он смог адаптировать программу под уровень каждого слушателя, что было очень ценно. Примеры и аналогии были подобраны точно, а ответы на вопросы – максимально понятными.

Анонимно

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

В целом курс удачный. Большим плюсом является живой рассказ преподавателя, а не чтение по бумажке. Можно задать дополнительные вопросы. Преподаватель хорошо владеет темой

Алексей Шлыков

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Благодарю Дмитрия Головицина и УЦ Fors за организацию и проведение курса. Материалы просматривал заранее так как они были в открытом доступе, но ценной была возможность задавать свои вопросы и слушать ответы на вопросы других слушателей. Надеюсь удалось немного систематизировать свои знания и продвинуться к цели сертификации. Планирую посещение других курсов по PostgreSQL и по Linux. Очень бы хотелось получить записи занятий

Апенов Иван

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс понравился, помогает понять основные сущности PostgreSQL и как они взаимодействуют между собой. Почти все, с чем можно столкнуться в PostgreSQL при полном цикле работ, разбирается в данном курсе. Полезен как администраторам, так и инженерам, работающим напрямую с БД.
Преподаватель подробно разъясняет нюансы по каждой теме. Теория своевременно разбавляется практикой для закрепления знаний.

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

Свяжитесь с нами

Вы можете написать нам по любому интересующему вас вопросу: от обучения до сотрудничества