Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация

Name: Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация
Brand: Академия Информационных Систем
SKU: 112749
Price: 76800 RUB

Программа предназначена для изучения одного из ключевых инструментов дата инженеров - Apache Airflow; знакомство с его архитектурой и интерфейсом. На базе практических прикладных примеров удастся освоить работу основных компонентов, научиться строить усложненные пайплайны, производить интеграцию с иными системами.

Обучение 3 дня

удостоверение

-18%

Стоимость курса

76 800 ₽ 65 000 ₽

Рассрочка ₽/мес

Перейти на сайт

Программа курса
Чему вы научитесь
Мой рейтинг
Подробная информация о курсе
Отзывы

Программа курса

Ознакомьтесь с программой курса «Apache Airflow для Data Engineers: проектирование, разработка, эксплуатация» от Академия Информационных Систем - infosystems.ru

Модуль 1 - 8 часов. Программа курса / модули:.
Модуль 1.1 - 8 часов. Введение в ETL. Структура и типы источников данных.
Модуль 1.2 - 8 часов. Введение в Apache Airflow.
Модуль 1.3 - 8 часов. Настройка, установка Airflow.
Модуль 1.4 - 8 часов. Основные абстракции и компоненты. DAG.
Модуль 1.5 - 8 часов. Принципы работы DAG.
Модуль 1.6 - 8 часов. Установка интервала расписания (Schedule Interval).Как выстраивать DAG и стадии во времени и контролировать их исполнение (Execution Date).
Модуль 1.7 - 8 часов. Мониторинг и дебаггинг процессов DAG.
Модуль 1.8 - 8 часов. Более совершенные техники и сценарии использования AirFlow: работа с XComs, sub-DUGs, пуллинг, параллелизм и др.
Модуль 1.9 - 8 часов. Лучшие практики по использованию AirFlow: интеграция с системами (Hadoop, Spark, Impala, ClickHouse, SuperSet и т.д), бекапы конфигурирование и масштабирование.
Модуль 1.10 - 8 часов. Разработка. Плагины и нотификация. Операторы и хуки.
Модуль 1.11 - 8 часов. Установка и запуск Airflow в контейнерах Docker.
Модуль 1.12 - 8 часов. Тестирование. Использование тестов в разработке.
Модуль 1.13 - 8 часов. Итоговая аттестация.

Ознакомиться со всей программой

Чему вы научитесь

Научитесь уверенно работать с темой: более совершенные техники и сценарии использования airflow работа с xcoms, sub dugs, пуллинг, параллелизм и др.
Освоите и сможете применять: лучшие практики по использованию airflow интеграция с системами (hadoop, spark, impala, clickhouse, superset и т.д), бекапы конфигурирование и масштабирование.
Освоите и сможете применять: установка интервала расписания (schedule interval).как выстраивать dag и стадии во времени и контролировать их исполнение (execution date).
Научитесь настраивать и организовывать: настройка, установка airflow.
Освоите и сможете применять: установка и запуск airflow в контейнерах docker.