Apache Kafka с нуля: архитектура, настройка, интеграция

Программа курса

Ознакомьтесь с программой курса «Apache Kafka с нуля: архитектура, настройка, интеграция» от Учебный центр ФОРС - edu.fors.ru

1. Модуль 1 - 13 часов. • Что такое Kafka и зачем она нужна
2. • История развития и причины популярности Kafka
3. • Модель работы Kafka как распределённого commit log
4. • Типовые задачи, которые решает Kafka в современном IT
5. .
6. Модуль 2 - 13 часов. • Архитектура Kafka: брокеры, топики, партиции, оффсеты
7. • Как Kafka обеспечивает масштабирование и отказоустойчивость
8. • Коммуникация между компонентами Kafka
9. • Особенности хранения и обработки данных в Kafka
10. .
11. Модуль 3 - 13 часов. • Kafka без Zookeeper и с ним: что выбрать
12. • Структура конфигурационных файлов Kafka и их ключевые параметры
13. • Типичные ошибки при установке и запуске кластера
14. • Подготовка ОС и ресурсов под продакшн-инсталляцию Kafka
15. .
16. Модуль 4 - 13 часов. • Создание топиков: параметры, настройка хранения, retention
17. • Управление партициями: увеличение числа, переназначение
18. • Репликация и лидерство внутри топиков
19. • Сжатие логов, compaction и очистка
20. .
21. Модуль 5 - 13 часов. • Producer API: что такое запись в Kafka на практике
22. • Выбор сериализации: JSON, Avro, Protobuf
23. • Семантика отправки сообщений: async, sync, fire-and-forget
24. • Идемпотентность и надёжная доставка сообщений
25. .
26. Модуль 6 - 13 часов. • Consumer API: как читать данные из Kafka
27. • Группы потребителей и балансировка нагрузки между ними
28. • Управление оффсетами: автоматическое и ручное
29. • Реакция на перебалансировку и падения
30. .
31. Модуль 7 - 13 часов. • Admin API: создание и удаление топиков, ACL, квоты
32. • Kafka CLI: базовые команды для администрирования
33. • Статистика и текущее состояние кластера через интерфейсы
34. • Интерфейсы: Kafdrop, Control Center, Redpanda GUI
35. .
36. Модуль 8 - 13 часов. • Мониторинг Kafka через Prometheus и Grafana
37. • Какие метрики собирать у брокеров, продюсеров и консьюмеров
38. • Зоны риска: задержки, лаги, падения репликаторов
39. • Построение алертов на основе метрик Kafka
40. .
41. Модуль 9 - 13 часов. • Интеграция Kafka с внешними системами через Kafka Connect
42. • Типы коннекторов: source и sink
43. • Kafka REST Proxy: работа через HTTP-запросы
44. • Интеграция с базами, хранилищами, API и очередями
45. .
46. Модуль 10 - 13 часов. • Безопасность Kafka: SSL и TLS, настройка шифрования
47. • Аутентификация через SASL и Kerberos
48. • Механизмы авторизации: ACL и контроль доступа
49. • Организация безопасного подключения приложений
50. .
51. Модуль 11 - 13 часов. • Репликация между кластерами: зачем и как
52. • Работа с MirrorMaker 2: конфигурация, фильтрация, ограничения
53. • Подходы к геораспределённой Kafka-инфраструктуре
54. • Типовые сценарии отказоустойчивости и восстановления
55. .

Чему вы научитесь

• Научитесь настраивать и организовывать: kafka без zookeeper и с ним что выбрать
• • структура конфигурационных файлов kafka и их ключевые параметры
• • типичные ошибки при установке и запуске кластера
• • подготовка ос и ре…
• Научитесь создавать и применять: admin api создание и удаление топиков, acl, квоты
• • kafka cli базовые команды для администрирования
• • статистика и текущее состояние кластера через интерфейсы
• • интерфейсы kafdrop, con…
• Научитесь настраивать и организовывать: безопасность kafka ssl и tls, настройка шифрования
• • аутентификация через sasl и kerberos
• • механизмы авторизации acl и контроль доступа
• • организация безопасного подключения пр…
• Освоите и сможете применять: что такое kafka и зачем она нужна
• • история развития и причины популярности kafka
• • модель работы kafka как распределённого commit log
• • типовые задачи, которые решает kafka в современном it.
• Освоите и сможете применять: producer api что такое запись в kafka на практике
• • выбор сериализации json, avro, protobuf
• • семантика отправки сообщений async, sync, fire and forget
• • идемпотентность и надёжная доставк…