Инженер данных

Программа курса

Ознакомьтесь с программой курса «Инженер данных» от KARPOVCOURSES - karpov.courses

1. Проектирование DWH (хранилища данных). Data Warehouse — централизованное хранилище данных из разных источников. Познакомимся с его верхнеуровневой логической архитектурой, рассмотрим её основные компоненты и разберём на практике разные подходы к проектировани…
2. Реляционные и MPP (массово-параллельные) СУБД. Начнём погружение в инженерию данных со знакомства с базами данных: реляционными и MPP (с массово-параллельной обработкой данных). Рассмотрим их архитектуру, обсудим популярные решения и узнаем, в каких случаях M…
3. Автоматизация ETL-процессов. ETL — это процесс извлечения, преобразования и загрузки, который является ключевым в управлении хранилищами данных. Рассмотрим принципы и основные этапы его построения. Познакомимся с популярным инструментом Airflow, подробно разб…
4. Большие данные (big data). Познакомимся с механизмами распределённого хранения больших данных на базе Hadoop, разберём основные паттерны реализации их распределённой обработки. Рассмотрим вопросы отказоустойчивости и восстановления после сбоев. Поговорим о по…
5. Промежуточный проект. Для эффективной отработки навыков в курсе «Инженер данных» есть промежуточный практический проект, который воссоздает процессы извлечения, преобразования и загрузки (etl-процессы) в Airflow крупной двухуровневой платформы данных. Проект…
6. Облачное хранилище. Рассмотрим облачные решения и инструменты для построения хранилища (DWH) и озера (Data Lake) данных. Познакомимся с Kubernetes и научимся применять его для работы с данными. Поработаем с облаком на практике, рассмотрим процесс установки и…
7. Визуализация данных. Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau — гибким и мощным BI-инструментом. Узнаем, как он взаимодействует с базами данных, и…
8. BIG ML (Машинное обучение). Познакомимся с теорией распределённого машинного обучения. Научимся работать с популярным модулем Spark ML и рассмотрим подходы к обучению и применению моделей на больших данных.
9. Управление моделями. В работе инженеры часто сталкиваются с подготовкой данных для обучения моделей машинного обучения. Рассмотрим инструменты для построения циклов машинного обучения (ML-пайплайнов), версионирования набора данных, организации учёта и трекинг…
10. Управление данными. На практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. Познакомимся с популярными подходами к управлению данными, обсудим инструменты для контрол…

Чему вы научитесь

• Освоите и сможете применять: промежуточный проект. для эффективной отработки навыков в курсе «инженер данных» есть промежуточный практический проект, который воссоздает процессы извлечения, преобразования и загрузки (…
• Освоите и сможете применять: управление данными. на практике часто приходится иметь дело с разными данными и огромным числом интеграций и процессов, выполняющих над ними те или иные преобразования. познакомимся с попу…
• Освоите и сможете применять: реляционные и mpp (массово параллельные) субд. начнём погружение в инженерию данных со знакомства с базами данных реляционными и mpp (с массово параллельной обработкой данных). рассмотрим…
• Визуализация данных. Рассмотрим основные принципы работы с данными с точки зрения их визуализации и научимся смотреть на данные глазами их потребителя. Познакомимся с Tableau гибким и мощным BI инструментом. Узнаем,…