Основы работы с Apache Spark в экосистеме Arenadata Hyperwave

Главная

Курсы

ADH Arenadata Hyperwave

AF.ADH-DEV

Основы работы с Apache Spark в экосистеме Arenadata Hyperwave

Курс «Основы работы с Apache Spark в экосистеме Arenadata Hyperwave» поможет получить актуальные знания по основам работы с Apache Spark и успешно применять их на практике

Слушатели курса без предварительных знаний научатся использовать современные инструменты для разработки (IDE, интерактивные), сборки (Maven, sbt) и запуска приложений Apache Spark на языке программирования Scala (Python, Java), включая различные режимы и способы размещения приложений в Arenadata Hyperwave.

Сертификация

Слушателям, успешно прошедшим сертификацию, выдается именной вендорский сертификат.
Слушателям курса предоставляется 2 попытки для прохождения проверки знаний.

161 040₽

Длительность

4 дня (32ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Дата и место проведения

Начало

Формат

Преподаватель

Стоимость

08 июня 2026 , Москва или Online

10:00

161 040₽

21 сентября 2026 , Москва или Online

10:00

161 040₽

07 декабря 2026 , Москва или Online

10:00

161 040₽

08 июня 2026 , Москва или Online

Дата и место проведения

08 июня

Начало

10:00

Формат

Стоимость

161 040₽

21 сентября 2026 , Москва или Online

Дата и место проведения

21 сентября

Начало

10:00

Формат

Стоимость

161 040₽

07 декабря 2026 , Москва или Online

Дата и место проведения

07 декабря

Начало

10:00

Формат

Стоимость

161 040₽

Количество слушателей

Укажите чтобы рассчитать скидку

Не подходит расписание? Выберите дату и форму обучения удобную для вас!

Выбрать свою дату

Для корпоративных клиентов

Кому подойдет этот курс

Разработчики

Аналитики

Архитекторы в области Data Sciencе, которые хотят получить знания и опыт по основам разработки Apache Spark на языке Scala в экосистеме продуктов Arenadata.

Участники получат теоретические знания и практический опыт:

ознакомятся с основам языка Scala и инструментами разработки;
начнут разбираться в архитектуре Apache Spark и её базовых возможностях — RDD, DataFrame, DataSet;
смогут настраивать производительность и управлять памятью;
получат знания по обработке данных из различных источников (файлы, СУБД, потоки);
изучат дополнительные возможности обработки и алгоритмы Spark GraphX и Spark MLlib.

Модуль 1. Обзор экосистемы Arenadata Enterprise Data Platform (EDP).

Экосистема Arenadata Hyperwave (HDFS, MR, YARN, Hive, Tez, HBase, Phoenix, Solr, Spark, Zookeeper, AirFlow, Zeppelin).
Экосистема EDP: Arenadata Streaming, Arenadata DB, Arenadata QuickMarts, Arenadata Postgres, Arenadata Cluster Manager.

Модуль 2. Apache Spark: работа с большими данными.

Введение в Apache Spark. Архитектура и рабочий процесс. Абстракции. Компоненты. RDD, DataFrame, DataSet..
Настройка окружения и запуск приложений:

- инструменты разработки и сборки (PyCharm, IntelliJ Idea, Maven, sbt)
- среды исполнения (IDE, Livy, Zeppelin, spark-shell, spark-submit (Python, Java, Scala);
- способы запуска программ (client/cluster).

Основы Scala: синтаксис, классы и объекты, иерархия классов, основные конструкции.
Потребление данных из файлов: CSV, XML, JSON, Avro, ORC и Parquet. API абстракций. Схемы данных.
Потребление данных из СУБД (MySQL, PostgreSQL). Apache Spark SQL. Потребление данных из экосистемы Arenadata EDP.
Управление памятью и производительностью в Apache Spark. DataFrame API: SparkSession. Кеширование и копирование данных.
Преобразование структурированных данных. Выполнение соединений. Использование пользовательских функций (UDF, UDAF).
Apache Spark Streaming. Работа с потоками. Структуры. Примеры.
MLlib: использование Apache Spark для ML. Модели. Pipelines. Примеры.
GraphX: работа с графами в Apache Spark. Объекты и операции. Примеры.

Итоговое тестирование

У этого курса пока нет отзывов. Ниже представлены отзывы по другим курсам учебного центра.

Александр Лебедев

О курсе "АМА-сессия с Романом Фроловым: Инструменты и средства настройки производительности PostgreSQL"

Отличный курс!

Виктор Новиков

О курсе "Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс"

В целом было интересно, узнал про разные варианты переноса данных и нюансы на которые стоит обращать внимание при миграции с оракла на пострес

Максим Аникин

О курсе "Разработка серверной части приложений PostgreSQL 16. Базовый курс"

Понравилось сочетание практики и теории. Углубленно рассматривались интересные мне темы. Преподаватель понятно и подробно объясняет материал.

Анонимно

О курсе "Администрирование PostgreSQL 16. Базовый курс"

Курс прекрасно освещает поставленные темы

Анонимно

О курсе "АМА-сессия с Романом Фроловым: Инструменты и средства настройки производительности PostgreSQL"

Курс насыщен деталями оптимизации производительности PG, рассказано про средства диагностики.

Дмитрий Гордеев

О курсе "Автоматизация с использованием Ansible: Полное погружение"

Всё супер! Хороший лектор, доступно объясняет. Удобный стенд для лабораторных работ.

Флинк Александр

О курсе "PostgreSQL 16. Оптимизация запросов"

Отличный курс с глубоким погружением в тему. Подробное рассмотрение теории и нюансов ее использования на практике.

Дмитрий Стельмашук

О курсе "СУБД PostgreSQL в Astra Linux Special Edition 1.7: установка, администрирование и мониторинг/"

Я был первый раз в московском офисе УКЦ Форс. До этого слушал курсы по Oracle в СПб филиале (2010 г.) Лёгкая организационная неразбериха в первый день вполне объяснима и не критична. Сам курс мне понравился и соответствовал ожиданиям. Он позволил мне свести воедино знания и практики по PostgreSQL и Astra Linux с учётом особенностей эксплуатации в защищённом режиме. Преподаватель ответил на все мои вопросы, возникшие в ходе обучения. Надеюсь, приехать в УКЦ ещё не раз.
В качестве пожеланий мне хотелось бы, чтобы на рабочих станциях слушателей было по два монитора. Это позволит одновременно видеть учебные материалы курсов и окно виртуальной машины учебного стенда. Впрочем, это наверняка можно оперативно организовать по просьбе слушателя в ходе учебного процесса (но мы не догадались). Также мне было бы удобнее смотреть демонстрации преподавателя не только на проецируемом экране, но и на экране монитора ПК (там отображается более ярко и чётко). Повторюсь, что это не более чем мои личные пожелания и размышления, а вовсе не критика учебного процесса.

Анонимно

О курсе "Кластерные технологии, системы высокой доступности и надежности на основе БД Postgres"

Курс позволяет понять основы построения кластеров postgresql не зависимо от технологии(pacemaker, etcd и т.д.), неплохая практическая часть по настройке таких кластеров. Преподаватель хорошо объясняет и главное отвечает на вопросы

Анонимно

О курсе "Разработка серверной части приложений PostgreSQL 16. Расширенный курс"

В целом материал курса интересен и актуален, но лично для меня его материал в ближне и, возможно, в среднесчрочной перспективе будет не востребован. Поэтому я выставил более низкую оценку в поле с приобретением нужного опыта. Это исключительно мой промах, что я недостаточно внимательно прочитал аннотацию к курсу. А так в целом к курсу у меня претензий нет.

Полина Рубан

О курсе "R12.2 Oracle General Ledger Management Fundamentals"

Хороший обзорный курс. Много полезной информации по программному продукту.

Виталий Серых

О курсе "Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс"

Неплохой курс. Недостаточно, показалось, уделено внимания методологии миграции. В целом оказался полезным, как практическое руководство для подготовки к миграции. Отдельно хочется отметить отличную организацию онлайн курсов, качество связи и доходчивость изложения. Спасибо.

Павел Лотарев

О курсе "Миграция с Oracle на Postgres: Подходы, проблемы и решения. Практический курс"

Полезный курс со множеством полезных практических советов

Анонимно

О курсе "Основы SQL: создание переносимого кода"

Спасибо за курс!
Полученные знания пригодятся в работе.
Преподаватель преподносил знания легко и понятно.

Михаил Чугунов

О курсе "Автоматизация с использованием Ansible: Полное погружение"

Отличный курс.
У меня был небольшой опыт работы c Ansible.
Курс построен от простого к сложному, интересные и понятные лабораторные работы. Эти знания точно пригодятся в работе.
Отличный преподаватель Аркадии информативно и понятно подает материал и подробно объясняет информацию.

Дмитрий Мокеев

О курсе "Oracle Linux 8: System Administration I"

Отличный курс, от простого к сложному, понятные лабораторные работы. Все понравилось.

Анонимно

О курсе "Zabbix - полное погружение"

Курс очень познавательный: узнал много нового, и эти знания точно пригодятся в работе. Также хочу поблагодарить преподавателя Алексея за понятную, информативную подачу материала и подробные объяснения.

Кирилл Прокопенков

О курсе "Oracle Linux 8: System Administration I"

Курс хороший. У меня был небольшой опыт работы в GNU/Linux - этот курс помог упорядочить разрозненные знания и дал некоторые новые. Лектор Георгий - компетентный и живой преподаватель. Из‑за плотного объёма информации занятия даются тяжеловато; было бы здорово сочетать теорию с практикой в рамках одного занятия. Спасибо!

Артем Федюкович

О курсе "Oracle Linux 8: System Administration I"

Курс отличный, подойдёт для новичков, которые хотят окунуться в работу с ОС Linux. В целом и опытные пользователи смогут для себя узнать что-то новое.

Анонимно

О курсе "Kubernetes: от основ до CI/CD"

Курс неплохой. Всё по делу, без лишней теории. Научили создавать поды, сервисы, деплои.

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных

Свяжитесь с нами

Вы можете написать нам по любому интересующему вас вопросу: от обучения до сотрудничества