Data Engineer: проектирование, автоматизация и обработка данных в корпоративных системах

Name: Data Engineer: проектирование, автоматизация и обработка данных в корпоративных системах
Brand: Академия Информационных Систем
SKU: 167527
Price: 99000 RUB

Программа курса ориентирована на специалистов, стремящихся повысить уровень компетентности в области автоматизации подготовки данных для их эффективного анализа. Процесс обучения построен на системе практико-ориентированного подхода. Цель – научиться проектировать процессы (ETL/ELT-процессы) обработки данных в различных датах инструментах (Apache Spark, AirFlow), работать с большими данными в Hadoop и Spark, составлять сложные SQL-запросы в Apache Hive.

Обучение 5 дней

сертификат

-32%

Стоимость курса

99 000 ₽ 75 000 ₽

Рассрочка ₽/мес

Перейти на сайт

Программа курса
Чему вы научитесь
Мой рейтинг
Подробная информация о курсе
Отзывы

Программа курса

Ознакомьтесь с программой курса «Data Engineer: проектирование, автоматизация и обработка данных в корпоративных системах» от Академия Информационных Систем - infosystems.ru

Модуль 1. Организация работы с данными... - 8 часов. Архитектуры хранилища и витрин данных, озера данных Структуры данных и их применение 3NF, ROLAP, flat, Data Vault Anchor и их применение Примеры структур данных источников для тестовой витрины и тестового а…
Модуль 2. Экосистема больших данных... - 8 часов. Распределённая файловая система HDFS SQL поверх больших данных Hive и Impala Пример создания и реструктуризации витрины данных в HDFS/Impala Оперативный механизм распределённой обработки данных Spark Модель вы…
Модуль 3. Автоматизация извлечения, преобразова... - 8 часов. Механизмы ETL и ELT Airflow как инструмент: Набор библиотек Executor, worker и операторы-сенсоры Репозиторий Airflow, мониторинг процессов Планировщик задач Airflow Графовое описание процессов DAG…
Модуль 4. Проверка и повышение качества данных... - 8 часов. Характеристики и метрики качества данных Профилирование, контроль качества и очистка данных Инструменты обеспечения качества данных Пример реализации контроля для тестового набора данных.

Ознакомиться со всей программой

Чему вы научитесь

Освоите и сможете применять: распределённая файловая система hdfs sql поверх больших данных hive и impala пример создания и реструктуризации витрины данных в hdfs/impala оперативный механизм распр…
Механизмы ETL и ELT Airflow как инструмент Набор библиотек Executor, worker и операторы сенсоры Репозиторий Airflow, мониторинг процессов Планировщик зада…
Освоите и сможете применять: проверка и повышение качества данных.