Инфохакер: парсинг на Python

Программа курса

Ознакомьтесь с программой курса «Инфохакер: парсинг на Python» от EasyPro Academy - easypro.academy

1. Введение в парсинг: основные термины и инструменты - 1 час. Познакомимся с понятием парсинга: разберём основные термины (парсер, веб‑скрейпинг, HTTP‑запросы). Изучим правовые и этические аспекты парсинга. Ознакомимся с инструментами и библиотеками для Python.
2. Основы библиотеки Requests: отправка HTTP‑запросов - 2 часа. Освоим библиотеку Requests: научимся отправлять GET‑ и POST‑запросы, передавать параметры и заголовки. Разберём обработку ответов сервера (статус‑коды, содержимое).
3. Поиск и извлечение данных с помощью BeautifulSoup и XPath - 4 часа. Изучим BeautifulSoup и XPath: научимся искать элементы по тегам, классам, ID. Освоим извлечение текста, атрибутов и ссылок. Разберём парсинг таблиц и списков.
4. Навигация по пагинации и сбор данных со страниц - 3 часа. Научимся работать с пагинацией: анализировать URL‑параметры, автоматически переходить на следующие страницы. Реализуем сбор данных с нескольких страниц в единый набор.
5. Оптимизация парсинга: кеширование и настройка таймаутов - 2 часа. Изучим методы оптимизации парсинга: кеширование ответов, настройку таймаутов и повторных запросов. Научимся снижать нагрузку на сервер и ускорять выполнение задач.
6. Обработка исключений и логирование ошибок - 2 часа. Разберём обработку исключений: ошибки подключения, тайм‑ауты, некорректный HTML. Научимся вести логирование ошибок и создавать отчёты о сбоях.
7. Ускорение работы с помощью многопоточности - 3 часа. Освоим многопоточный парсинг: используем threading или asyncio для параллельного выполнения запросов. Сравним производительность и разберём нюансы синхронизации.
8. Настройка заголовков запросов и имитация браузера - 2 часа. Научимся настраивать заголовки запросов (User‑Agent, Referer) для имитации браузера. Разберём обходные пути для защиты от блокировки (ротация IP, задержка между запросами).
9. Использование регулярных выражений для обработки текста - 2 часа. Изучим регулярные выражения (regex): синтаксис, шаблоны для поиска email, телефонов, дат. Научимся извлекать и очищать данные из текста с помощью re‑модуля.
10. Парсинг данных через API: работа с REST и JSON - 2 часа. Познакомимся с API: отправим запросы к REST‑сервисам, получим данные в формате JSON. Научимся парсить JSON‑ответы и преобразовывать их в структуры Python.
11. Автоматизация действий в браузере с помощью Selenium - 2 часа. Освоим Selenium: установим WebDriver, настроим браузер. Научимся автоматизировать действия (клики, ввод текста, скроллинг) и ждать загрузки элементов.
12. Цепочки действий и взаимодействие с элементами страницы - 2 часа. Реализуем цепочки действий: заполнение форм, переход по ссылкам, обработка всплывающих окон. Разберём взаимодействие с динамическими элементами (выпадающие списки, чекбоксы).
13. Работа с всплывающими окнами и фреймами - 1 час. Научимся работать со всплывающими окнами (alerts, pop‑ups) и фреймами (iframe). Разберём переключение контекста и извлечение данных из вложенных элементов.
14. Выполнение JavaScript‑кода и динамический парсинг - 1 час. Изучим выполнение JavaScript‑кода через Selenium. Научимся получать данные, генерируемые скриптами, и парсить динамически загружаемый контент.
15. Финальный проект: создание парсера для маркетплейса - 3 часа. Создадим парсер для маркетплейса: реализуем полный цикл (отправка запросов, извлечение данных, сохранение в CSV/JSON). Протестируем на реальных примерах, оптимизируем и подготовим отчёт о работе.

Чему вы научитесь

• Освоите и сможете применять: реализуем цепочки действий заполнение форм, переход по ссылкам, обработка всплывающих окон. разберём взаимодействие с динамическими элементами (выпада…
• Познакомимся с API отправим запросы к REST‑сервисам, получим данные в формате JSON. Научимся парсить JSON‑ответы и преобразовывать их в структуры Python.
• Освоим многопоточный парсинг используем threading или asyncio для параллельного выполнения запросов. Сравним производительность и разберём нюансы синхронизации.
• Научимся настраивать заголовки запросов (User‑Agent, Referer) для имитации браузера. Разберём обходные пути для защиты от блокировки (ротация IP, задержка ме…
• Познакомимся с понятием парсинга разберём основные термины (парсер, веб‑скрейпинг, HTTP‑запросы). Изучим правовые и этические аспекты парсинга. Ознакомимся…