F.PBD

Обработка больших объемов структурированной и неструктурированной информации из различных источников (Big Data)

Цели обучения

Получение знаний о технологиях и инструментарии Big Data.
Приобретение компетенций по формированию информационных ресурсов с большим объемом данных и использованию инструментария Big Data в прикладных целях.
Совершенствование компетенций использования современных методов накопления, хранения, обработки, анализа и представления данных и результатов расчета на их основе неструктурированной и структурированной информации.
Повышение эффективности работы: сокращение времени выполнения заданий, уменьшение риска ошибок.




40 000 ₽

Длительность

2 дня (16ч в неделю)

Доступ к курсу

Навсегда в личном кабинете

Документы

Удостоверение о повышении квалификации

Основные вопросы:

Описание методов и задач обработки Big Data.
Методы машинного обучения (задача классификации и кластеризации, в частности задача формирования статистических выборок).
Области применения технологий Big Data.
Основные характеристики больших данных и их влияние на сбор, хранение, обработку и анализ данных.
Критерии аналитических задач, решение которых предпочтительно с использованием технологий Big Datа.
Обзор методов бизнес-аналитики.
Введение в бизнес-аналитику с использованием методов класса machine learning.
Языки и модели программирования, используемые в технологиях Big Data.
Средства визуализации в стеке Big Data.
Верхнеуровневая архитектура Big Data решений.
Ограничения текущих технологий Big Data.
Организационные аспекты внедрения бизнес-аналитики на Big Data.

Программа курса

6 модулей
Введение
  • Цели и содержание курса 
  • Домашняя страница виртуальной машины Oracle Big Data Lite используемая в данном курсе 
  • Старт виртуальной машины Oracle Big Data Lite 

Большие данные
  • Обзор 
  • Big Data 
  • Характеристики Big Data 
  • Значение Big Data
  • Возможности Big Data: Примеры 
  • «Вызовы» Big Data 
  • Расширение границ управления информацией 
  • Простая функциональная модель для Big Data 
  • Концептуальная архитектура логики управления информацией от Oracle 
  • Шаблон разработки архитектуры управления данными
  • Лаборатория данных 
  • Шаблон разработки архитектуры управления данными: информационная платформа 
  • Шаблон разработки архитектуры управления данными: применение данных 
  • Шаблон разработки архитектуры управления данными : информационное решение 
  • Шаблон разработки архитектуры управления данными: события в реальном времени 
  • Шаблоны проектирования и карта использования компонент 
  • Адаптация Big Data и шаблоны внедрения 
  • Подходы к архитектуре управления данными: Схема на запись и Схема на чтение 

Экосистема больших данных
  • Цели 
  • Компьютерные кластеры 
  • Распределенные вычисления 
  • Apache Hadoop 
  • Виды аналитики, используемые в Hadoop 
  • Экосистема Apache Hadoop 
  • Основные компоненты Apache Hadoop 
  • Ключевые определения HDFS 
  • NameNode (NN) 
  • DataNodes (DN) 
  • Платформа MapRedu    
  • Преимущества MapReduce 
  • MapReduce Job 
  • MapReduce пример: простой счетчик слов в тексте MapReduce различия версий  
  • Apache Spark 
  • Введение в Spark  - Spark: компоненты для распределенной работы 
  • Resilient 
  • Distributed Dataset (RDD) 
  • Операции RDD     - Свойства RDD      - Система обработки Directed Acyclic Graph –
  • Поставка дистрибутива Cloudera,включающая Apache Hadoop(CDH) 
  • CDH Архитектура - CDH Компоненты - CDH Архитектура - CDH компоненты 

Способы интеграции Больших Данных - Обзор
  • Унификация данных: типичные требования             
  • Интеграция данных по разным шаблонам                
  • Введение в опции унификации данных                       
  • Унификация данных: 
    • Пакетная загрузка Sqoop 
    • Oracle Loader для Hadoop (OLH) Copy to BDA         
  • Унификация данных: Пакетная и динамическая загрузка 
  • Oracle SQL Connector для Hadoop                     
  • Унификация данных: ETL и синхронизация       
  • Oracle Data Integrator for Big Data 
  • Oracle GoldenGate for Big Data 
  • Унификация данных: 
    • Динамический доступ 
    • Барьеры на пути эффективного внедрения технологий Big Data
  • Преодоление барьеров перед началом использования Big Data 
  • Oracle Big Data SQL 
  • Цели и преимущества        
  • Oracle Big Data SQL 
  • Когда использовать какие технологии Oracle? 

Углубленная Аналитика
  • Цели 
  • Oracle Advanced Analytics (OAA)      
  • OAA: Oracle Data Mining 
  • Что такое Data Mining?                    
  • Возможности применения Data Mining                     
  • Определение основных свойств Data Mining               
  • Контролируемые (Supervised) методы Data Mining 
  • Контролируемые алгоритмы Data Mining                        
  • Неконтролируемые (Unsupervised) методы Data Mining 
  • Oracle Data Mining: Обзор 
  • OAA: Oracle R Enterprise 
  • Что такое R? 
  • Кто использует R?    
  • Почему статистики, аналитики, ученые по данным используют R? 
  • Ограничения R 
  • Стратегия Oracle для R-сообщества 
  • Oracle R Enterprise 
  • ORE: Возможности программы 
  • ORE: Целевая среда  
  • ORE: Источники данных 
  • ORE и Hadoop           
  • ORAAH:                     
    • Архитектура 

Big Data Discovery
  • Обзор 
  • Big Data Discovery     
  • Поиск данных            
  • Просмотр данных      
  • Преобразование и обогащение данные     
  • Поиск информации
  • Обмен мнениями 
  • BDD: Технические инновации в Hadoop 

Как проходит обучение на платформе ФОРС

[ 01 ]

Знакомство с платформой

Платформа учебного центра ФОРС предназначена для удобного и комфортного обучения. Доступ к материалам будет открыт сразу после приобретения курса, а также навсегда доступен в личном кабинете.

[ 02 ]

Обучение

Каждый раздел содержит уроки с теоретическими материалами в видео и текстовых форматах, а так же демонстрацию практических примеров от преподавателей. Самостоятельная работа поможет закрепить полученные знания.

[ 03 ]

Обратная связь и поддержка

Мы поддерживаем онлайн-ресурс, где слушатели всегда могут задать вопрос преподавателю или коллективно обсудить возможные проблемы с другими студентами. Вы всегда сможете получить необходимую информацию в личном кабинете.

[ 04 ]

Дипломы и сертификаты

Все документы об окончании курсов собраны в одном месте в электронном формате — вы всегда можете посмотретьи скачать их в личном кабинете.

Остались вопросы?

Оставьте свои контактные данные — мы с вами свяжемся и все расскажем

Нажимая на кнопку «Отправить», я принимаю условия Политики конфиденциальности, и даю согласие на обработку персональных данных