Основы Hadoop

Name: Основы Hadoop
Brand: Учебный центр IBS
SKU: 167081
Price: 4999 RUB

Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.

Обучение 24 часа

сертификат

Стоимость курса

47 500 ₽ 47 500 ₽

Рассрочка ₽/мес

Перейти на сайт

Программа курса
Чему вы научитесь
Мой рейтинг
Подробная информация о курсе
Отзывы

Программа курса

Ознакомьтесь с программой курса «Основы Hadoop» от Учебный центр IBS - ibs-training.ru

Основные концепции современной архитектуры данных. ⠀.
HDFS: Hadoop Distributed File System. Архитектура, репликация, чтение и запись данных, команды HDFS. Практика: подключение к кластеру, работа с файловой системой из shell и Hue.
Парадигма MapReduce и ее реализация на Java и в Hadoop Streaming. Практика: запуск приложений.
YARN: управление распределенным выполнением приложений. Архитектура YARN, запуск приложений в YARN. Практика: запуск приложений и наблюдение за кластером через UI.
Введение в Hive. Архитектура, метаданные таблиц, форматы файлов, язык запросов HiveQL. Практика (Hue, hive, beeline, Tez UI): создание таблиц, чтение и запись CSV, Parquet, ORC, партиционирование, SQL-запросы с агрегацией и соединениями.
Введение в Spark. DataFrame/SQL, метаданные, форматы файлов, источники данных, RDD. Практика (Zeppelin, Spark UI): чтение и запись из БД (JDBC), CSV, Parquet, партиционирование, SQL-запросы с агрегацией и соединениями, планы выполнения запросов, мониторинг.
Введение в потоковую обработку данных. Spark Streaming, Spark Structured Streaming, Flink. Практика: чтение/обработка/запись потоков между Kafka, реляционной БД и файловой системой.
Введение в HBase. Архитектура, язык запросов. Практика (HBase shell): запись и чтение данных.
Итого на курс 24 часов: теория – 13 ч ( 54%), практика – 11ч ( 46%).

Ознакомиться со всей программой

Чему вы научитесь

Научитесь уверенно работать с темой: hdfs hadoop distributed file system. архитектура, репликация, чтение и запись данных, команды hdfs. практика подключение к кластеру, работа с файловой системой из shell и hue.
Освоите и сможете применять: парадигма mapreduce и ее реализация на java и в hadoop streaming. практика запуск приложений.
Освоите и сможете применять: yarn управление распределенным выполнением приложений. архитектура yarn, запуск приложений в yarn. практика запуск приложений и наблюдение за кластером через ui.
Освоите и сможете применять: основные концепции современной архитектуры данных. ⠀.
Разберётесь в основах hive. архитектура, метаданные таблиц, форматы файлов, язык запросов hiveql. практика (hue, hive, beeline, tez ui) создание таблиц, чтение и запись csv, parquet, orc, партиционирование, sql запрос…