Основы Apache Spark

Программа курса

Ознакомьтесь с программой курса «Основы Apache Spark» от Учебный центр IBS - ibs-training.ru

1. Концепции и архитектура Spark. Map/Reduce и Spark в Hadoop. Примеры Spark в Lambda-архитектуре Кластеры для распределенной обработки данных Как запустить Spark Исполнители, задания, задачи в Spark.
2. Программирование с помощью RDD: трансформации и действия. В чем разница между SparkSession и SparkContext Как создавать и распараллеливать RDD Как трансформировать RDD Как анализировать и управлять обработкой RDD (план и DAG) Как сохранять и хранить RDD в HDF…
3. Программирование с помощью DataFrame. В чем разница между RDD и DataFrame Как создавать и распараллеливать DataFrame Как анализировать и управлять выполнением DataFrame (план и DAG) Как сохранять DataFrame в HDFS.
4. Загрузка данных с внешних хранилищ и во внешние хранилища. Как читать/писать данные с файлового хранилища (HDFS, S3, FTP, локальной файловой системы) Какой формат данных выбрать Как распараллеливать чтение/запись в JDBC Как создать DataFrame из MPP (Cassandra…
5. Написание логики с использованием Spark DSL. Как считать строки Как обрабатывать математические агрегации Как группировать строки Как правильное соединять DataFrames.
6. Написание логики с использованием Spark SQL. Как и зачем переключаться на Spark SQL Как работать с таблицей EXTERNAL Как работать с таблицей MANAGED.
7. Использование функций Window и UDF. Какие оконные функции существуют и как их использовать в Spark Когда не следует использовать оконные функции Что такое UDF, UDAF и как их использовать Как оптимизировать UDFs в PySpark.
8. Типы Spark. Логические: как добавить фильтр Численные: как подсчитать сумму, произведение, статистику Строковый: как использовать регулярные выражения Комплексные: как работать со структурами, массивами Как работать с данными.
9. Примеры оптимизации Spark. Недостаточно памяти Маленькие файлы в HDFS Асимметричные данные Медленные соединения Трансляция больших таблиц Совместное использование ресурсов Новые механизмы оптимизации: AQE и DPP.
10. Запуск Spark в Airflow. Оркестраторы Устройство Airflow Встроенные операторы Airflow SparkSubmitOperator.
11. Всего: теория – 13 ч. (50%), практика и демонстрация – 13 ч. (50%).

Чему вы научитесь

• Освоите и сможете применять: написание логики с использованием spark sql. как и зачем переключаться на spark sql как работать с таблицей external как работать с таблицей managed.
• Научитесь уверенно работать с темой: использование функций window и udf. какие оконные функции существуют и как их использовать в spark когда не следует использовать оконные функции что такое udf, udaf и как их исполь…
• Освоите и сможете применять: концепции и архитектура spark. map/reduce и spark в hadoop. примеры spark в lambda архитектуре кластеры для распределенной обработки данных как запустить spark исполнители, задания, задачи…
• Освоите и сможете применять: типы spark. логические как добавить фильтр численные как подсчитать сумму, произведение, статистику строковый как использовать регулярные выражения комплексные как работать со структурами,…
• Освоите и сможете применять: написание логики с использованием spark dsl. как считать строки как обрабатывать математические агрегации как группировать строки как правильное соединять dataframes.