Высоконагруженный Python-бэкенд: производительность и масштабирование

Программа курса

Ознакомьтесь с программой курса «Высоконагруженный Python-бэкенд: производительность и масштабирование» от Учебный центр IBS - ibs-training.ru

1. Серверы приложений и Worker-модели. Как Python обрабатывает HTTP-запросы в проде. WSGI vs ASGI: различия и сценарии использования. Настройка Gunicorn + Uvicorn: выбор типа и количества воркеров под железо. Жизненный цикл воркера и утечки памяти.
2. Asyncio и GIL под нагрузкой. Деградация Event Loop при тысячах конкурентных запросов. Паттерн Backpressure: отказ клиентам для защиты сервиса. Free-threading (Python 3.13) vs традиционный Multiprocessing. Вынос CPU-bound задач за пределы Event Loop.
3. Нагрузочное тестирование и профилирование. Инструментарий: Locust, Yandex.Tank. Эксперименты: определение RPS и деградации Latency. Flame Graphs (графы пламени) с работающего сервиса. Выявление узких мест: CPU, память, I/O, сеть.
4. Оптимизация работы с базами данных. Почему ORM убивает производительность при Highload. Connection Pooling: настройка PgBouncer для PostgreSQL. Репликация БД (Master-Slave) и маршрутизация запросов чтения/записи на уровне Python. Борьба с Deadlocks (взаимными…
5. Стратегии кэширования. Уровни кэширования: локальная память (in-memory) vs распределённый кэш (Redis). Проблема инвалидации кэша и состояние гонки (race condition). Защита от лавинообразных запросов к БД: Dogpile effect, Thundering Herd.
6. Очереди, Rate Limiting и защита инфраструктуры. Очереди (RabbitMQ/Kafka) для сглаживания пиковых нагрузок (Load Shedding). Алгоритмы ограничения трафика: Token Bucket, Leaky Bucket. Паттерн Circuit Breaker при интеграции микросервисов.
7. System Design и масштабирование. Горизонтальное vs вертикальное масштабирование Python-приложений. Stateless-архитектура и проблемы хранения пользовательских сессий. Балансировка нагрузки (Nginx, HAProxy). Вынос тяжёлых частей за пределы Python: микросервисы…
8. ИИ-ассистент для работы с Python: делегирование рутины и безопасность. ИИ в работе: поиск багов, шаблоны кода, регулярные выражения, тестовые данные. Корпоративная безопасность: что нельзя передавать в публичные нейросети. Галлюцинации ИИ и обязательный аудит…
9. Итоговый практикум: Спасение падающего сервиса. Подача экстремального трафика на кластер сервисов студентов. Экстренный поиск узких мест и применение паттернов оптимизации. Защита архитектурного решения.
10. Итого на курс 40 ак. ч.: теория — 15 ак. ч. (38 %), практика — 25 ак. ч. (62%).

Чему вы научитесь

• Освоите и сможете применять: asyncio и gil под нагрузкой. деградация event loop при тысячах конкурентных запросов. паттерн backpressure отказ клиентам для защиты сервиса. free threading (python 3.13) vs традиционный m…
• Освоите и сможете применять: ии ассистент для работы с python делегирование рутины и безопасность. ии в работе поиск багов, шаблоны кода, регулярные выражения, тестовые данные. корпоративная безопасность что нельзя пе…
• Научитесь настраивать и организовывать: оптимизация работы с базами данных. почему orm убивает производительность при highload. connection pooling настройка pgbouncer для postgresql. репликация бд (master slave) и мар…
• Освоите и сможете применять: нагрузочное тестирование и профилирование. инструментарий locust, yandex.tank. эксперименты определение rps и деградации latency. flame graphs (графы пламени) с работающего сервиса. выявле…
• Освоите и сможете применять: стратегии кэширования. уровни кэширования локальная память (in memory) vs распределённый кэш (redis). проблема инвалидации кэша и состояние гонки (race condition). защита от лавинообразных…