Курсы по направлению «Data Engineering»
- Все курсы категории (1754)
- Аналитика для руководителей (50)
- Аналитика на Power BI (56)
- Аналитика на Python (22)
- Аналитика на Tableau (3)
- Бизнес-аналитика (62)
- Аналитик данных (90)
- Инвестиционная аналитика (41)
- Искусственный интеллект (420)
- Математика для Data Science (87)
- Машинное обучение (52)
- Нейронные сети (60)
- Продуктовая аналитика (22)
- Работа с презентациями (67)
- Работа с Excel и Google таблицами (213)
- Системная аналитика (70)
- Data Engineering (130)
- Data Science (80)
- Deep Learning (89)
- SQL для анализа данных (140)
- bi разработчик
- big data analyst
- big data engineer
- data engineer
- data mining specialist
- ico аналитик
- master data specialist
- senior data engineer
- аналитик big data
- аналитик базы данных
- аналитик больших данных
- аналитик компьютерных систем
- инженер аналитик
- консультант sap bi
- начальник отдела аналитики
- работа с базами данных
- разработчик dwh
- разработчик etl
- разработчик баз данных
- разработчик моделей big data
- руководитель отдела аналитики
- специалист отдела аналитики
Курсы
















- Разработаете систему аналитики для учёта и планирования отпусков. Проверите статистическую гипотезу, что вы хорошо планируете отпуск. Подготовите отчёт и визуализируете результаты.
- Мы обучаем по государственной лицензии. Вы получите удостоверение о повышении квалификации , которое сможете добавить к резюме и показать при устройстве на работу.
- Научитесь думать как аналитик и формулировать гипотезы для проверки. Поймёте, что аналитика строится вокруг данных.
- Мы разработали платформу для смартфонов , чтобы вы могли учиться в спортзале, самолёте, на даче или в пути.
- Познакомитесь с базовым инструментом аналитика и сможете проводить в нём простой анализ данных.
- Разберёте вопросы по программе с экспертом курса. Подготовитесь к выполнению итогового задания.
- Оценивать значимость математически и понимать, где действительно есть закономерность.
- Научитесь рассказывать о себе без стресса и правильно реагировать на вопросы.
- Изучите расширенные инструменты работы с google-таблицами.
- Научитесь выгодно презентовать свои сильные стороны.
- Научитесь думать как аналитик и формулировать гипотезы для проверки. Поймёте, что аналитика строится вокруг данных.
- Научитесь рассказывать о себе без стресса и правильно реагировать на вопросы.
- Научитесь выгодно презентовать свои сильные стороны.
- Познакомитесь с базовым инструментом аналитика и сможете проводить в нём простой анализ данных.
- Разработаете систему аналитики для учёта и планирования отпусков. Проверите статистическую гипотезу, что вы хорошо планируете отпуск. Подготовите отчёт и визуализируете результаты.


- Основы Greenplum: Greenplum как реляционная MPP СУБД - 8 часов. Введение в Greenplum Архитектура Greenplum Партиционирование таблиц, индексы Транзакции и блокировки Оптимизация и планы запросов Лабораторная работа.
- Внешние данные и код: Greenplum как агрегатор данных и исполнитель кода - 8 часов. Механизм внешних таблиц, протоколы, PXF Загрузка данных в Greenplum Механизм UDF Работа с JSON, XML Экосистема и дополнительные библиотеки Лабораторная работа.
- Greenplum в современных хранилищах данных - 7 часов. Архитектура озера данных ETL, ELT и подготовка данных GPSS и интеграция Greenplum с Kafka и Nifi Обработка данных из Greenplum с помощью Spark Построение многоуровневого хранилища на Greenplum Лабораторная…
- middle - 1 час. Дистанционный.
- Научитесь настраивать и организовывать: архитектура озера данных etl, elt и подготовка данных gpss и интеграция greenplum с kafka и nifi обработка данных из greenplum с помощью spark построение многоуровн…
- Научитесь уверенно работать с темой: механизм внешних таблиц, протоколы, pxf загрузка данных в greenplum механизм udf работа с json, xml экосистема и дополнительные библио…
- Разберётесь в теме: дистанционный.


- Введение в Apache Kafka: ключевые концепции и архитектура - 3 часа. Введение в Apache Kafka: Архитектура и история возникновения Kafka. Основные компоненты: брокеры, Zookeeper, KRAFT mode. Основные API Apache Kafka и принципы их взаимодействия и killer featur…
- Взаимодействие с Kafka: producer и consumer API - 3 часа. Producer API: Настройка и использование Producer API для публикации сообщений. Consumer API: Принципы работы Consumer API Consumer Group для параллельной обработки. Сериализация данных. Комплексная пра…
- Потоковая обработка: Kafka Streams DSL - 3 часа. Потоковая обработка: Архитектура Kafka Streams. Основные абстракции Kafka Streams Изучение декларативного DSL для описания трансформаций. Обзор stateless и stateful операций (фильтрация, агрегация, оконные функ…
- Продвинутая обработка: Processor API - 3 часа. Прием сообщений point-to-point Kafka Broadcasting и группы. Гибкий процесс приема сообщений.
- Processor API: Изучение низкоуровневого Processor API для создания кастомных топологий. Работа с State Store и использование Punctuator для задач по расписанию. Комплексная практика: Кастомная логика на Processor API: Реализация сложной логики обработки с пом…
- junior / middle - 1 час. Дистанционный.
- Научитесь настраивать и организовывать: producer api настройка и использование producer api для публикации сообщений. consumer api принципы работы consumer api consumer group для параллельной обраб…
- Освоите и сможете применять: прием сообщений point to point kafka broadcasting и группы. гибкий процесс приема сообщений.
- Processor API Изучение низкоуровневого Processor API для создания кастомных топологий. Работа с State Store и использование Punctuator для задач по расписанию. Комплексная практика Кастомная логика на Processor API …
- Разберётесь в основах apache kafka архитектура и история возникновения kafka. основные компоненты брокеры, zookeeper, kraft mode. основные api apache kafka и…
- Разберётесь в теме: дистанционный.


- Обзор Apache Spark - 2 часа. Архитектура Spark. Обзор компонентов Spark и их назначения.
- Основные абстракции Apache Spark - 2 часа. Трансформации и действия, Lazy Evaluation.
- Знакомство с Dataframes - 2 часа. Structured API и основная абстракция Spark – Dataframe.
- Знакомство со Spark RDD - 3 часа. Low Level API, использование Resilient Distributed Dataset.
- Apache Spark SQL - 2 часа. Получение данных из SQL-источников и обработка данных с помощью Spark SQL Отправка данных в SQL СУБД и работа с Hive QL Spark SQL и Hadoop.
- Работа с источниками данных - 3 часа. Ввод и вывод в Apache Spark Работа с файлами и базами данных.
- Производительность и параллелизм в Apache Spark - 2 часа. Планы выполнения запроса: логические и физические.
- Конфигурирование Apache Spark - 3 часа. Принципы конфигурирования и основные настройки.
- Spark Streaming - 3 часа. Виды потоковой обработки в Apache Spark Особенности исполнения streaming кода Checkpoint в Spark Streaming.
- GraphX и ML - 3 часа. Место и особенности графовых моделей в программировании Задачи машинного обучения и проблематика больших данных Основные возможности Spark ML.
- Обработка слабоструктурированных данных - 3 часа. Работа с JSON и XML файлами, особенности и возможности.
- Современный Spark - 4 часа. pandas API в spark Spark Connect: долгоживущие сессии Spark on Kubernetes (будущее в настоящем) Delta Lake — технологическая основа LakeHouse.
- middle - 1 час. Дистанционный.
- Научитесь уверенно работать с темой: получение данных из sql источников и обработка данных с помощью spark sql отправка данных в sql субд и работа с hive ql spark sql и hadoop.
- Освоите и сможете применять: pandas api в spark spark connect долгоживущие сессии spark on kubernetes (будущее в настоящем) delta lake технологическая основа lakehouse.
- Освоите и сможете применять: виды потоковой обработки в apache spark особенности исполнения streaming кода checkpoint в spark streaming.
- Научитесь уверенно работать с темой: ввод и вывод в apache spark работа с файлами и базами данных.
- Научитесь уверенно работать с темой: low level api, использование resilient distributed dataset.


- Обзор Apache Spark - 3 часа. Архитектура Spark Обзор компонентов Spark и их назначения Spark API и разработка программ.
- Основные абстракции — знакомство со Spark RDD и Dataframe - 3 часа. Low Level API, использование Resilient Distributed Dataset Structured API и основная абстракция Spark – Dataframe Основные трансформации и действия.
- Работа с источниками данных - 3 часа. Ввод и вывод данных в Spark Работа с файлами и базами данных Совместная работа с Apache Hive.
- Apache Spark SQL - 3 часа. Получение данных из SQL-источников Обработка данных с помощью Spark SQL Интероперабельность Dataframe и SQL.
- Основы настройки и конфигурирования - 4 часа. Знакомство с основными Shell Запуск приложений с помощью spark-submit Конфигурирование Spark Планы запросов и Web GUI.
- junior - 1 час. Дистанционный.
- Освоите и сможете применять: получение данных из sql источников обработка данных с помощью spark sql интероперабельность dataframe и sql.
- Научитесь уверенно работать с темой: ввод и вывод данных в spark работа с файлами и базами данных совместная работа с apache hive.
- Архитектура Spark Обзор компонентов Spark и их назначения Spark API и разработка программ.
- Разберётесь в теме: дистанционный.


- Основы Clickhouse - 1 час. Назначение и архитектура ClickHouse Логическая структура базы данных Преимущества и ограничения колоночных СУБД Сценарии использования и развертывания кластера (облако, on-premises, Docker) Лабораторная работа: Создание кластера Cli…
- Структура БД в Clickhouse - 4 часа. Движки баз данных и таблиц (семейство MergeTree, Log, Memory, Buffer) Констрейнты, индексы и проекции для ускорения запросов Простые и материализованные представления Внешние и внутренние словари Лабораторная работа: Проект…
- Основы Clickhouse SQL - 4 часа. Специфические типы данных (включая вложенные структуры) Команды DDL и DML Эффективное написание SQL-запросов и best practices Пользовательские функции (UDF) Лабораторная работа: Пишем быстрые SQL-запросы и учимся их оптимизиров…
- Оптимизация b производительностm - 4 часа. Профилирование запросов с помощью EXPLAIN и system.query_log Партиционирование и кластеризация данных Стратегии предварительной агрегации и кэширования Лабораторная работа: Находим и ускоряем «тяжёлые» запросы, прово…
- Распределённые системы - 4 часа. Шардирование и репликация данных для масштабирования и надежности Настройка отказоустойчивого кластера Балансировка нагрузки при обработке запросов Лабораторная работа: Настраиваем собственный отказоустойчивый кластер.
- Интеграция и расширенные возможности - 3 часа. Работа с JSON, массивами и геоданными Потоковая обработка больших данных с помощью ClickPipes Интеграция с Kafka, PostgreSQL Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase Лабораторная…
- Администрирование и безопасность Clickhouse (Факультатив в видео формате) - 3 часа. Материалы данного модуля предоставляются в формате видеоматериалов, с комплектом лабораторных работ, которые вы можете выполнить дополнительно, в свободное время, и при необхо…
- middle - 1 час. Дистанционный.
- Освоите и сможете применять: специфические типы данных (включая вложенные структуры) команды ddl и dml эффективное написание sql запросов и best practices пользовательские функции (udf) лабораторная работа пишем б…
- Научитесь настраивать и организовывать: шардирование и репликация данных для масштабирования и надежности настройка отказоустойчивого кластера балансировка нагрузки при обработке запросов лабораторная работа настраива…
- Освоите и сможете применять: движки баз данных и таблиц (семейство mergetree, log, memory, buffer) констрейнты, индексы и проекции для ускорения запросов простые и материализованные представления внешние и внут…
- Освоите и сможете применять: профилирование запросов с помощью explain и system.query_log партиционирование и кластеризация данных стратегии предварительной агрегации и кэширования лабораторная работа н…
- Освоите и сможете применять: материалы данного модуля предоставляются в формате видеоматериалов, с комплектом лабораторных работ, которые вы можете выполнить допо…


- Введение и архитектура Apache Flink - 3 часа. Потоковая и Batch обработка Основные понятия и особенности потоковой обработки Встречаем Flink: компоненты и первое приложение Основные API.
- Datastream API: Базовые трансформации и работа с источниками данных - 3 часа. Основные операторы (трансформации) Роллинг агрегации и reduce Работа с источниками (Apache Kafka, файловые источники).
- Datastream API: Работа с учетом времени - 3 часа. Архитектура Apache Flink Event Time Processing Оконные операции и джойны.
- Datastream API: Работа с состоянием - 4 часа. Низкоуровневые «process» функции и управление состоянием Checkpoints, savepoints.
- Другие API, языки и системы - 3 часа. Flink Table API и SQL Flink и python Сравнение Flink с Kafka Streams и Spark Structured Streaming.
- junior / middle - 1 час. Дистанционный.
- Освоите и сможете применять: flink table api и sql flink и python сравнение flink с kafka streams и spark structured streaming.
- Освоите и сможете применять: потоковая и batch обработка основные понятия и особенности потоковой обработки встречаем flink компоненты и первое приложение основные api.
- Освоите и сможете применять: низкоуровневые «process» функции и управление состоянием checkpoints, savepoints.
- Освоите и сможете применять: архитектура apache flink event time processing оконные операции и джойны.
- Разберётесь в теме: дистанционный.


- Освоите и сможете применять: медалисты и дипломанты i и ii степени олимпиады для студентов и выпускников ниу вшэ «высшая лига» по направлениям «прикладная математика», «бизнес информатика»
- «прикладная математика и ин…
- Освоите и сможете применять: медалисты, победители и призёры олимпиады «я профессионал» по направлениям «математика», «математическое моделирование», «искусственный интеллект», «информационная и кибербезопасность», «п…
- Освоите и сможете применять: посещайте семинары, практикуйтесь на данных из разных сфер бизнеса, работайте в настоящем рабочем окружении и закрепляйте навыки на реальных задачах индустрии.
- Освоите и сможете применять: выберите дату прохождения тестирования имейте в виду, что сдать его можно только один раз. даты проведения вступительного тестирования будут объявлены позже.
- Освоите и сможете применять: выбирайте сами дополнительные курсы на онлайн ресурсах ниу вшэ, расписание и интенсивность обучения. в среднем на обучение потребуется от 15 часов в неделю.
- Проектирует системы отчетности для структурных подразделений компании, разрабатывает интерактивные дашборды в BI системах, помогает бизнес заказчикам принимать решения.
- Взяли научный опыт одного из крупнейших вузов России, добавили понимание требований рынка и получили прикладную программу обучения на базе фундаментальных знаний.
- Освоите и сможете применять: думаете о будущей карьере и хотите получить комплексное представление о сфере анализа данных как одной из наиболее перспективных.
- Освоите и сможете применять: здесь вы найдете новости, полезные материалы и кейсы из мира аналитики. подписывайтесь и будьте в курсе актуальной информации!
- Освоите и сможете применять: обратите внимание, что дату и время прохождения тестирования вы также выбираете при заполнении заявки на программу в лк.


- Освоите и сможете применять: ищете способы ускорить работу с данными? знание clickhouse поможет вам быстро готовить данные для моделей и оптимизировать ваши эксперименты, экономя время на предобработке.
- Освоите и сможете применять: да, после успешного окончания курса и защиты проекта выдаётся сертификат. навыки, подтверждённые проектом в портфолио, ценятся работодателями больше формального сертификата.
- Освоите и сможете применять: главная задача курса дать практические навыки для работы с clickhouse от написания эффективных запросов до создания производительных аналитических решений.
- Освоите и сможете применять: да, обучение построено на реальных кейсах и рабочих задачах, аналогичных тем, что решают в ит компаниях. финальный проект также моделирует реальную задачу.
- Освоите и сможете применять: курс сочетает разные форматы, чтобы вы эффективно усваивали материал подробные текстовые уроки. возвращайтесь к ним в любой момент, чтобы освежить теорию.
- Освоите и сможете применять: вы не останетесь один на один с курсом преподаватели и команда поддержки ответят на вопросы, пояснят задания и помогут разобраться в сложной теме.
- Освоите и сможете применять: полученные навыки помогут вам не только решать задачи быстрее, но и стать экспертом в одном из самых востребованных инструментов на рынке.
- Освоите и сможете применять: преподаватели и команда поддержки отвечают на вопросы, поясняют задания и помогают разобраться в сложных темах в рамках учебного процесса.
- Освоите и сможете применять: курс предоставит вам как необходимую фундаментальную базу, так и глубокое погружение в технические детали и продвинутые темы clickhouse.
- Научитесь строить эффективные запросы, использовать индексы и профилировать выполнение, что позволит анализировать данные в разы быстрее даже на больших объемах.


- Оценка применимости технологий больших данных в предметной области заказчика - 32 часа. Оценка применимости технологий больших данных в предметной области заказчика.
- Формализация и согласование требований к результатам аналитического исследования - 40 часов. Формализация и согласование требований к результатам аналитического исследования.
- Анализ аналогичных решений: использование опыта внедрения Big Data в схожих задачах - 40 часов. Анализ аналогичных решений: использование опыта внедрения Big Data в схожих задачах.
- Разработка технического предложения по созданию Big Data- инфраструктуры - 32 часа. Разработка технического предложения по созданию Big Data- инфраструктуры.
- Промежуточная аттестация - 2 часа. Промежуточная аттестация.
- Внедрение и мониторинг аналитических решений: от прототипа к эксплуатации - 34 часа. Внедрение и мониторинг аналитических решений: от прототипа к эксплуатации.
- Формирование команды проекта: компетенции и состав группы для анализа больших данных - 32 часа. Формирование команды проекта: компетенции и состав группы для анализа больших данных.
- Разработка и согласование плана аналитических работ: сроки, этапы, контрольные точки - 34 часа. Разработка и согласование плана аналитических работ: сроки, этапы, контрольные точки.
- Выявление бизнес-потребностей через интервью и анализ функций подразделений - 40 часов. Выявление бизнес-потребностей через интервью и анализ функций подразделений.
- Каталогизация задач и процессов, пригодных для применения анализа больших данных - 40 часов. Каталогизация задач и процессов, пригодных для применения анализа больших данных.
- Аттестационная работа - 40 часов. Аттестационная работа.
- Итоговая аттестация - 2 часа. Итоговая аттестация.
- Постановка задачи в проектах анализа больших данных: от потребностей заказчика к аналитическим требованиям - 32 часа. Постановка задачи в проектах анализа больших данных: от потребностей заказчика к аналитическим требованиям.
- Научитесь анализировать и применять: выявление бизнес потребностей через интервью и анализ функций подразделений.
- Освоите и сможете применять: постановка задачи в проектах анализа больших данных от потребностей заказчика к аналитическим треб…
- Освоите и сможете применять: формирование команды проекта компетенции и состав группы для анализа больших данных.
- Освоите и сможете применять: формализация и согласование требований к результатам аналитического исследования.
- Анализ аналогичных решений использование опыта внедрения Big Data в схожих задачах.


























