Симулятор Инженер данных

Программа курса

Ознакомьтесь с программой курса «Симулятор Инженер данных» от Симулейтив - simulative.ru

1. Введение в профессию. Узнаете, как быстро войти в профессию Инженер Данных, как расти по карьерной лестнице, какие есть карьерные возможности, какие навыки и опыт нужны будут на Senior-позициях, какие зарплатные вилки, что спрашивают на собеседованиях, как из…
2. SQL и базы данных. Вы научитесь писать сложные запросы, решая аналитические кейсы из ритейла, финтеха и онлайн-платформ с помощью SQL, проектировать реляционные базы данных с учетом правил нормализации и разворачивать их на сервере с нуля, администрировать ба…
3. Визуализация в Metabase. Вы научитесь быстро визуализировать результат SQL-запросов, строить графики без написания кода с помощью визуального конструктора, собирать дашборды с сложными фильтрами, разворачивать и базово администрировать Metabase на сервере.
4. Git/Github. Вы научитесь внедрять в свои проекты Git с учетом лучших практик, синхронизировать локальный и удаленный репозиторий, грамотно контрибьютить в проекты коллег, работать с pull request-ами и обрабатывать реквесты ваших коллег. Вы научитесь разрешать…
5. Python. Вы научитесь писать код на Python и использовать его для решения прикладных задач: написание скриптов для сбора данных, написание коннекторов к различным базам данных, написание скриптов для сбора данных по API, написание скриптов для обработки и очис…
6. Объектно-ориентированное программирование в Python (ООП в Python). Вы глубоко разберетесь в концепции объектно-ориентированного программирования и особенностях ее реализации в Python5, будете писать код с использованием классов, методов, атрибутов и контроля…
7. Python для анализа данных. В результате прохождения курса вы научитесь считать метрики MAU/DAU/WAU/retention, автоматизировать обработку чеков в сети магазинов с разных касс с помощью Python, анализировать активность пользователей, настраивать интеграцию с Go…
8. Linux. Вы научитесь работать с операционной системой Linux с нуля до уровня продвинутого пользователя, настраивать и администрировать серверы через командную строку (настройка пользователей, прав доступа, работа с ресурсами), будете решать прикладные задачи с…
9. Docker. Вы научитесь ус, разворачивать аналитическую инфраструктуру (Clickhouse, Superset, Metabase, Minio, Hadoop) на сервере с помощью Docker, работать с внутренностями контейнеров и администрировать взаимодействие между изолированными контейнерами.
10. Airflow. Airflow - это инструмент автоматизации и оркестрации скриптов, и он используется практически любым дата инженером во время работы. Вы научитесь разворачивать и администрировать Airflow, писать dag-и для автоматизации скриптов, создавать ETL/ELT-пайпл…
11. Продвинутый SQL для работы с большими данными. При работе с большими данными дата инженеру недостаточно знать SQL - нужно владеть специфическими навыками. Вы научитесь создавать функции и процедуры - например, для переливки данных между таблицами или для запо…
12. Хранилища данных (DWH) - Clickhouse. В компаниях с развитой аналитической культурой данные собираются в специальные хранилища - Data Warehouse (DWH). И работа с DWH - одна из ключевых задач дата инженера. На примере DWH Clickhouse вы разберетесь в архитектурн…
13. Hadoop и озера данных (Data lake). Вы научитесь собирать данные по API социальных сетей (например, ВК) и хранить их в виде JSON в Hadoop, а также извлекать их из файлового хранилища с помощью Python и сохранять в DWH. Вы научитесь работать с HDFS с помощью Do…
14. Spark / pySpark. Вы освоите pySpark, функциональное программирование, RDD, Spark UDF и другие специализированные темы, параллельно отрабатывая их на реальных кейсах. Например, вы будете анализировать активность пользователей на онлайн-платформе, вычисляя метр…
15. Дипломная работа. Дипломная работа, в которой нужно будет применить все полученные знания.

Чему вы научитесь

• SQL и базы данных. Вы научитесь писать сложные запросы, решая аналитические кейсы из ритейла, финтеха и онлайн платформ с помощью SQL, проектировать реляционные базы данных с учетом правил нормализации и разворачивать…
• Визуализация в Metabase. Вы научитесь быстро визуализировать результат SQL запросов, строить графики без написания кода с помощью визуального конструктора, собирать дашборды с сложными фильтрами, разворачивать и базов…
• Python. Вы научитесь писать код на Python и использовать его для решения прикладных задач написание скриптов для сбора данных, написание коннекторов к различным базам данных, написание скриптов для сбора данных по AP…
• Python для анализа данных. В результате прохождения курса вы научитесь считать метрики MAU/DAU/WAU/retention, автоматизировать обработку чеков в сети магазинов с разных касс с помощью Python, анализировать активность…
• Git/Github. Вы научитесь внедрять в свои проекты Git с учетом лучших практик, синхронизировать локальный и удаленный репозиторий, грамотно контрибьютить в проекты коллег, работать с pull request ами и обрабатывать рек…