Core Spark - основы для разработчиков

Программа курса

Ознакомьтесь с программой курса «Core Spark - основы для разработчиков» от Школа Больших Данных - bigdataschool.ru

1. Обзор Apache Spark - 3 часа. Архитектура Spark Обзор компонентов Spark и их назначения Spark API и разработка программ.
2. Основные абстракции — знакомство со Spark RDD и Dataframe - 3 часа. Low Level API, использование Resilient Distributed Dataset Structured API и основная абстракция Spark – Dataframe Основные трансформации и действия.
3. Работа с источниками данных - 3 часа. Ввод и вывод данных в Spark Работа с файлами и базами данных Совместная работа с Apache Hive.
4. Apache Spark SQL - 3 часа. Получение данных из SQL-источников Обработка данных с помощью Spark SQL Интероперабельность Dataframe и SQL.
5. Основы настройки и конфигурирования - 4 часа. Знакомство с основными Shell Запуск приложений с помощью spark-submit Конфигурирование Spark Планы запросов и Web GUI.
6. junior - 1 час. Дистанционный.

Чему вы научитесь

• Освоите и сможете применять: получение данных из sql источников обработка данных с помощью spark sql интероперабельность dataframe и sql.
• Научитесь уверенно работать с темой: ввод и вывод данных в spark работа с файлами и базами данных совместная работа с apache hive.
• Архитектура Spark Обзор компонентов Spark и их назначения Spark API и разработка программ.
• Разберётесь в теме: дистанционный.