Apache AirFlow: эффективная оркестрация задач

Программа курса

Ознакомьтесь с программой курса «Apache AirFlow: эффективная оркестрация задач» от Учебный центр IBS - ibs-training.ru

1. Введение в Apache Airflow. Что такое ETL Оркестрация вручную - Cron и скрипты Первый оркестратор для Hadoop - Oozie Введение в AirFlow Локальная установка AirFlow Установка в Docker Настройка подключений к внешним сервисам REST API & CLI Практика 1. Установка…
2. Описание и выполнение заданий в AirFlow. Запускаемое задание - граф задач (DAG) Оператор (operator) Процесс исполнения задания Состояния задач (task) Веб-интерфейс Практика 2. Планирование, ручной запуск и мониторинг выполнения заданий.
3. Компоненты AirFlow. Планировщик (Scheduler) Исполнитель заданий (Executor) Исполнитель задач (Worker) Веб-сервер База метаданных Конфигурация Практика 3. Настройка исполнителей для заданий.
4. Операторы и их композиции. Виды операторов PythonOperator Bash Operator Http Operator *SQL Operator Практика 4. Описание простых заданий. Последовательное выполнение Параллельное выполнение Проверка условий Передача данных между операторами: переменные Шаблон…
5. Условия срабатывания заданий. Готовые сенсоры Практика 6. Задание условий срабатывания заданий. Хуки Триггеры Прослушиватели Backfill & catchup Практика 7. Установка хуков. Мониторинг и отладка заданий.
6. Разработка для AirFlow. Плагины и нотификации. Сенсоры и branch операторы. Операторы и хуки. Практика 8. Разработка и использование оператора.
7. Лучшие практики использования. Оптимизация заданий Взаимодействие заданий (XCom) Динамические задания Управление параллелизмом и пулингом Тестирование заданий Примеры практических задач и их решений Практика 9. Тестирование и оптимизация заданий.
8. Интеграция Airflow с другими системами. Обращение к файловой системе HDFS Пошаговое выполнение отдельными сессиями Spark Выполнение в одной сессии через Spark REST API Практика 10. Запуск заданий Spark. Выполнение запросов Impala Практика 11. Запуск запросов…
9. Промышленное развертывание AirFlow. Многоузловой кластер AirFlow в Docker Развертывание в Kubernetes Аутентификация, шифрование, управление доступом Журналы Мониторинг Обновление версий Практика 13. Выполнение заданий на многоузловом кластере.
10. Итого на курс: 24 академических часа: теория – 4,5 ч (19%), практика – 19,5 ч (81%).

Чему вы научитесь

• Освоите и сможете применять: операторы и их композиции. виды операторов pythonoperator bash operator http operator *sql operator практика 4. описание простых заданий. последовательное выполнение параллельное выполнени…
• Освоите и сможете применять: условия срабатывания заданий. готовые сенсоры практика 6. задание условий срабатывания заданий. хуки триггеры прослушиватели backfill & catchup практика 7. установка хуков. мониторинг и от…
• Освоите и сможете применять: промышленное развертывание airflow. многоузловой кластер airflow в docker развертывание в kubernetes аутентификация, шифрование, управление доступом журналы мониторинг обновление версий пр…
• Освоите и сможете применять: лучшие практики использования. оптимизация заданий взаимодействие заданий (xcom) динамические задания управление параллелизмом и пулингом тестирование заданий примеры практических задач и…
• Освоите и сможете применять: интеграция airflow с другими системами. обращение к файловой системе hdfs пошаговое выполнение отдельными сессиями spark выполнение в одной сессии через spark rest api практика 10. запуск…