Анализ данных с помощью современного Apache Spark
Программа курса
Ознакомьтесь с программой курса «Анализ данных с помощью современного Apache Spark» от Школа Больших Данных - bigdataschool.ru
- Обзор Apache Spark - 2 часа. Архитектура Spark. Обзор компонентов Spark и их назначения.
- Основные абстракции Apache Spark - 2 часа. Трансформации и действия, Lazy Evaluation.
- Знакомство с Dataframes - 2 часа. Structured API и основная абстракция Spark – Dataframe.
- Знакомство со Spark RDD - 3 часа. Low Level API, использование Resilient Distributed Dataset.
- Apache Spark SQL - 2 часа. Получение данных из SQL-источников и обработка данных с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL Spark SQL и Hadoop.
- Работа с источниками данных - 3 часа. Ввод и вывод в Apache Spark Работа с файлами и базами данных.
- Производительность и параллелизм в Apache Spark - 2 часа. Планы выполнения запроса: логические и физические.
- Конфигурирование Apache Spark - 3 часа. Принципы конфигурирования и основные настройки.
- Spark Streaming - 3 часа. Виды потоковой обработки в Apache Spark Особенности исполнения streaming кода Checkpoint в Spark Streaming.
- GraphX и ML - 3 часа. Место и особенности графовых моделей в программировании Задачи машинного обучения и проблематика больших данных Основные возможности Spark ML.
- Обработка слабоструктурированных данных - 3 часа. Работа с JSON и XML файлами, особенности и возможности.
- Современный Spark - 4 часа. pandas API в spark Spark Connect: долгоживущие сессии Spark on Kubernetes (будущее в настоящем) Delta Lake — технологическая основа LakeHouse.
- middle - 1 час. Дистанционный.
Чему вы научитесь
- Научитесь уверенно работать с темой: получение данных из sql источников и обработка данных с помощью spark sql отправка данных в sql субд и работа с hive ql spark sql и hadoop.
- Освоите и сможете применять: pandas api в spark spark connect долгоживущие сессии spark on kubernetes (будущее в настоящем) delta lake технологическая основа lakehouse.
- Освоите и сможете применять: виды потоковой обработки в apache spark особенности исполнения streaming кода checkpoint в spark streaming.
- Научитесь уверенно работать с темой: ввод и вывод в apache spark работа с файлами и базами данных.
- Научитесь уверенно работать с темой: low level api, использование resilient distributed dataset.
Подробная информация о курсе
8ми-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют Spark SQL, потоковую обработку Spark Streaming, машинное обучение MLLib и построение графов Spark GraphX.
Цены и сроки
- Стоимость50 700 ₽
- Старая цена102 400 ₽
- Дата началаc Invalid Date
Содержание
- Формат обученияв группе с наставником
По окончанию курса
- Диплом или сертификатсертификат
Отзывы о курсе
Я прошл обучение на курсе "Анализ данных с помощью современного Apache Spark". Хороший курс для тех, кто как и я хочет систематизировать имеющиеся знания и лучше разобраться в том, как эффективно использовать Spark для анализа больших данных. Но довольно интенсивный: в течение 6 дней каждый день онл…
Прослушал курс "Анализ данных в Apache Spark". Курс достаточно интенсивный с коротким перерывом на 10 минут, хотелось бы чуть более долгой передышки (не хватало времени на обед). В курсе хватает практики и теории. Курс дал возможность поэкспериментировать с лабораторными работами, закрепить теоретич…
