Парсинг HTML на Pythonруководство по библиотекам 2025

Beautiful Soup 4 (bs4)

Позиционирование: дружелюбная обёртка, которая может использовать в качестве бэкенда lxml, html.parser или html5lib. Предоставляет CSS-селекторы через метод select.

Когда использовать: когда нужно быстро получить результат на реальном хаотичном HTML при низком пороге входа. Команда ценит читаемость кода, а не предельную скорость.

Компромисс: это тонкая абстракция поверх лежащего в основе парсера. Поведение и производительность зависят от выбранного вами бэкенда.

Предпочитайте CSS-селекторы, при необходимости откатывайтесь к XPath

CSS-селекторы вроде div.product > span.price читаемы и справляются с большинством задач извлечения. Когда вам нужно подниматься вверх по дереву, проверять несколько условий или использовать сложные предикаты, применяйте XPath.

Нормализуйте ввод перед разбором

Многие сайты указывают неверную кодировку в Content-Type, поэтому проверяйте и переопределяйте кодировку ответа, опираясь на фактическое содержимое. Перед разбором нормализуйте пробелы и HTML-сущности, чтобы избежать ошибок извлечения ниже по конвейеру.

Используйте устойчивые селекторы

Избегайте хрупких позиционных селекторов вроде nth-child(3), которые ломаются при малейшем изменении структуры страницы. Ориентируйтесь на устойчивые class или ID. Добавьте зонд или оповещение, чтобы при пустом результате select фиксировать это в журнале, а не обнаруживать проблему, когда хранилище уже забито пустыми данными.

Мыслите записями, а не страницами

Определяйте контейнерные элементы, содержащие повторяющиеся сущности - карточки товаров, строки статей, блоки списков. Извлекайте все поля каждого элемента в словарь. Проверяйте данные сразу же, чтобы уловить изменения структуры до того, как некорректные данные попадут в конвейер.

Контролируйте извлечение и оповещайте при сбоях

Быстро завершайте работу с ошибкой, когда отсутствуют обязательные поля. Выводите ошибки разбора в систему мониторинга. Тихие сбои извлечения со временем ухудшают качество данных.

Сначала измеряйте, потом оптимизируйте

В веб-скрапинге основное время обычно занимают сетевая задержка и защита от ботов. Время разбора чаще всего пренебрежимо мало. Прежде чем микрооптимизировать выбор парсера, профилируйте свою реальную нагрузку.

Потоковая обработка больших XML-лент

Используйте iterparse из lxml для инкрементальной обработки гигантских XML-дампов. Это снижает пики памяти за счёт обработки элементов по мере их поступления. Возможности настоящей потоковой обработки HTML ограничены - большинство HTML-ответов достаточно малы, чтобы разбирать их в памяти.

Ограничение по вводу-выводу против ограничения по CPU

GIL в Python не блокирует операции ввода-вывода. Используйте ThreadPoolExecutor для параллельных HTTP-запросов - разбор остаётся достаточно быстрым. Переходите к многопроцессности только тогда, когда профилирование докажет, что в вашей нагрузке разбор ограничен CPU.

Кэшируйте скомпилированные селекторы

Предварительно компилируйте часто используемые XPath-выражения в lxml и переиспользуйте их. Централизуйте логику селекторов, а не разбрасывайте её по кодовой базе. Это повышает и производительность, и удобство сопровождения.

Репутация IP и CGNAT

NAT операторского уровня означает, что тысячи реальных мобильных пользователей делят один публичный IP-адрес. Системы защиты от парсинга знают этот паттерн и могут соответствующим образом корректировать репутационную оценку.

IP-адреса мобильных операторов способны раствориться в массе реальных пользователей, но обращаются с ними разные платформы очень по-разному. Не думайте, что мобильный IP обходит любое обнаружение.

Сигналы помимо IP

Сегодня платформы смотрят не только на IP, но и на множество характеристик запроса: отпечаток TLS (JA3/JA4), форму заголовков, ритм, сигналы согласованности. Не сообщайте с мобильного IP информацию о браузере с явно десктопным User-Agent - платформы соотносят UA с типом IP и разрешением экрана, и всё должно рассказывать одну и ту же историю.

Сохраняйте единый отпечаток TLS в рамках сессии. Смена версии OpenSSL или набора шифров посреди сессии помечает вас как инструмент автоматизации.

Стратегия ротации

• •Ротацию лучше привязывать к событиям, а не чисто ко времени, - меняйте IP после входа в систему, оформления заказа или иных операций повышенного риска.
• •В рамках всей логической сессии сохраняйте один и тот же IP: просмотр, добавление в корзину, оформление. Смена IP посреди сессии выглядит как поведение бота.
• •Добавляйте джиттер к интервалам между запросами, случайный в диапазоне 2-10 секунд. Жёстко заданные паузы порождают обнаруживаемый паттерн.