Data-инженер

Программа курса

Ознакомьтесь с программой курса «Data-инженер» от Слёрм

1. Вы покажете на практике сопровождение данных на всех этапах жизненного цикла, сможете сделать проект на собственных данных. Также затронем вопрос улучшения оценки качества данных.
2. Вы получите базовое понимание принципов организации данных в реляционных базах данных, а также узнаете пару инструментов и подходов для решения задач DE с применением SQL.
3. Вы узнаете, как устроен один из самых популярных инструментов для распределенной обработки данных и научитесь его применять как для пакетных, так и для потоковых задач.
4. Инженер данных помогает в разработке и реализации систем оптимизации и анализа данных для финансовых институтов, позволяя им лучше понимать и управлять своими данными.
5. Цель: освоить работу с Apache Alrflow для автоматизации задач. ка: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни.
6. Вы поймете, как использовать программный проект Apache NiFi для управления и преобразования потоков данных в проектах и задачах обработки информации.
7. Вы изучите способы настройки платформы Kafka для задач пакетной (батчинга) и поточной (стриминга) обработки данных, поработаете с компонентами.
8. Практика: построить витрину торговых партнеров как по импорту, так и по экспорту по каждому из представленных в данных временных диапазонов.
9. Освоите метод распределённых вычислений MapReduce и распределите данные в файловой системе HDFS с использованием платформ Hadoop или Spark.
10. Освоите работу с программным обеспечением Apache Airflow для автоматизации задач в контексте процессов извлечения и загрузки данных (ETL).

Чему вы научитесь

• Освоите работу с программным обеспечением Apache Airflow для автоматизации задач в контексте процессов извлечения и загрузки данных (ETL).
• Вы узнаете, как устроен один из самых популярных инструментов для распределенной обработки данных и научитесь его применять как для пакетных, так и для потоковых задач.
• Вы изучите способы настройки платформы Kafka для задач пакетной (батчинга) и поточной (стриминга) обработки данных, поработаете с компонентами.
• Освоите метод распределённых вычислений MapReduce и распределите данные в файловой системе HDFS с использованием платформ Hadoop или Spark.
• Вы получите базовое понимание принципов организации данных в реляционных базах данных, а также узнаете пару инструментов и подходов для решения задач DE с применением SQL.