Анализ данных с помощью современного Apache Spark

Программа курса

Ознакомьтесь с программой курса «Анализ данных с помощью современного Apache Spark» от Школа Больших Данных - spark-school.ru

1. Обзор Apache Spark - 2 часа. Архитектура Spark. Обзор компонентов Spark и их назначения.
2. Основные абстракции Apache Spark - 2 часа. Трансформации и действия, Lazy Evaluation.
3. Знакомство с Dataframes - 2 часа. Structured API и основная абстракция Spark – Dataframe.
4. Знакомство со Spark RDD - 3 часа. Low Level API, использование Resilient Distributed Dataset.
5. Apache Spark SQL - 2 часа. Получение данных из SQL-источников и обработка данных с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL Spark SQL и Hadoop.
6. Работа с источниками данных - 3 часа. Ввод и вывод в Apache Spark Работа с файлами и базами данных.
7. Производительность и параллелизм в Apache Spark - 2 часа. Планы выполнения запроса: логические и физические.
8. Конфигурирование Apache Spark - 3 часа. Принципы конфигурирования и основные настройки.
9. Spark Streaming - 3 часа. Виды потоковой обработки в Apache Spark Особенности исполнения streaming кода Checkpoint в Spark Streaming.
10. GraphX и ML - 3 часа. Место и особенности графовых моделей в программировании Задачи машинного обучения и проблематика больших данных Основные возможности Spark ML.
11. Обработка слабоструктурированных данных - 3 часа. Работа с JSON и XML файлами, особенности и возможности.
12. Современный Spark - 4 часа. pandas API в spark Spark Connect: долгоживущие сессии Spark on Kubernetes (будущее в настоящем) Delta Lake — технологическая основа LakeHouse.
13. middle - 1 час. Дистанционный.

Чему вы научитесь

• Научитесь уверенно работать с темой: получение данных из sql источников и обработка данных с помощью spark sql отправка данных в sql субд и работа с hive ql spark sql и hadoop.
• Освоите и сможете применять: pandas api в spark spark connect долгоживущие сессии spark on kubernetes (будущее в настоящем) delta lake технологическая основа lakehouse.
• Освоите и сможете применять: виды потоковой обработки в apache spark особенности исполнения streaming кода checkpoint в spark streaming.
• Научитесь уверенно работать с темой: ввод и вывод в apache spark работа с файлами и базами данных.
• Научитесь уверенно работать с темой: low level api, использование resilient distributed dataset.