Сбор данных Yellow PagesПравовые границы и практические методы
Реальность сбора данных Yellow Pages: ограничения robots.txt, требования ToS, легальные альтернативы, практические рекомендации по надёжности.Для команд, которые собирают данные из каталогов, - что можно делать, о чём нужно договариваться заранее, а что требует юридической проверки.
Содержание
Предисловие
Yellow Pages (в разных странах это разные операторы, поэтому robots и ToS нужно смотреть отдельно) и похожие каталоги содержат богатые данные о списках компаний. Сначала о реальности: правила сайтов и современные защиты от скрейпинга нужно воспринимать всерьёз.
В этой статье речь в основном о том, что можно делать, о чём нужно договариваться заранее, что требует юридической проверки и какие практические варианты уважают эти границы.
Обратите внимание: «Yellow Pages» в разных странах обозначает несколько независимых организаций - yellowpages.com (США), yellowpages.com.au (Австралия), yellowpages.ca (Канада) и другие. У каждого свои правила robots.txt, свой ToS и свой оператор. Единого универсального решения не существует.
1) Что такое данные Yellow Pages (и почему это непросто)
Страницы каталога обычно содержат название компании, адрес, телефон, категорию, часы работы, рейтинги, ссылки и фотографии. Сами по себе данные весьма ценны.
Но при практической работе нужно учитывать два аспекта: первый - права доступа, второй - живучесть. Интерфейс динамический, с постраничной навигацией, зависит от местоположения и часто меняется; стоит поменяться CSS/DOM - и хрупкий экстрактор ломается.
Что важнее, современные защиты смотрят не только на IP. Используются JavaScript-челленджи, поведенческий анализ, отпечатки TLS (JA3/JA4), поэтому живучесть - это не только вопрос селекторов; гигиена сессий и согласованность запросов важны не меньше.
2) Проверка реальностью (право и robots)
robots.txt (протокол исключения для роботов)
Файл robots на YellowPages.com прямо запрещает ключевые разделы (включая /search) и блокирует поимённо названных краулеров (например, scrapy, 008). У разных сайтов Yellow Pages (например, yellowpages.com.au, yellowpages.ca) свои файлы robots.txt и свои правила - проверять нужно каждый по отдельности.
Сам по себе robots.txt (протокол исключения для роботов) лишь сообщает краулеру «как лучше собирать данные», а не ставит настоящую преграду. Но в корпоративных проектах его обычно трактуют как жёсткое правило, если только нет письменного разрешения. Согласно документации для разработчиков Google, это действительно рекомендательный сигнал. Однако игнорировать его - значит заведомо знать, что владелец сайта не хочет, чтобы вы собирали данные, а это увеличивает юридические риски. Рекомендуемый подход: без письменного разрешения относитесь к нему как к жёсткой границе.
Условия использования (ToS)
ToS Yellow Pages / Thryv прямо запрещает скрейпинг, интеллектуальный анализ данных и прочий автоматизированный сбор без предварительного письменного согласия.
Это условия договора. Их нарушение может привести к блокировке аккаунта, направлению юридической претензии и даже судебному иску. Компаниям следует идти по каналам с разрешением, а не пробиваться силой.
Официального публичного API нет
YellowPages.com не публикует общедоступного API для сторонних разработчиков.
На рынке есть немало неофициальных «Yellow Pages API», но они никак не связаны с официальным Yellow Pages; прежде чем применять их в корпоративном проекте, нужно пройти юридическую проверку. Иначе, как только другая сторона обновит сайт или направит юридическую претензию, пострадают и сервис, и соответствие требованиям.
Итог: чтобы вести масштабный автоматизированный скрейпинг, нормальный путь - сначала получить у сайта разрешение / канал сотрудничества, а уже потом запускать сбор; так издержки на соответствие минимальны. При этом нужно соблюдать robots.txt и ToS.
Это не юридическая консультация. Конкретика зависит от того, как это регулируется в вашей стране/регионе, и от требований юридического отдела вашей компании.
3) Сценарии применения (легальные, высокоценные)
При условии корректного получения и наличия лицензии (или разрешения на сбор) данные каталога могут поддерживать:
Обогащение лидов и дедупликация
Используйте проверенные адреса, телефоны и категории компаний, чтобы повысить точность CRM, сократить дубликаты и улучшить качество контактов.
Карта локального рынка
Измеряйте плотность категорий по городам или почтовым индексам для регионального планирования и конкурентного анализа.
Ландшафт конкурентов
Отслеживайте по регионам открытия, закрытия компаний и изменения линеек услуг, сохраняя преимущество в понимании рынка.
Соответствие требованиям и мониторинг бренда
Проверяйте точность списков франчайзи или дилеров и единообразие наименований в разных каталогах.
Контроль качества локатора магазинов
Убедитесь, что списки ваших собственных точек продаж точны, чтобы не потерять поток клиентов.
Проверка франчайзинговых территорий
Выявляйте пересечения территорий или неавторизованные точки франшизы, нарушающие соглашения.
Наборы данных для исследований
Формируйте корпус данных для анализа трендов, академических исследований или отчётов по рыночной аналитике.
Эти результаты в большей степени зависят от ясных прав, надёжных источников и сильного контроля качества (кодировка, стабильность селекторов, дедупликация), а не от «трюков скрейпинга».
4) Варианты получения данных уровня Yellow Pages
Сначала спросите у источника (наиболее соответствует требованиям)
Рассмотрите прямое лицензирование или сотрудничество с Yellow Pages / Thryv. Это самый чистый путь к масштабному доступу к данным.
Если вы уже размещаете у них рекламу, проверьте, доступны ли права на данные в рамках существующих деловых отношений.
API сторонних поставщиков данных / агрегаторов
Надёжные поставщики объединяют несколько источников и берут на себя сложности лицензирования. Обычно они предоставляют API или пакетную выгрузку с чёткими условиями использования.
Проведите комплексную проверку:
- •Актуальность: как часто обновляются данные?
- •Происхождение: откуда берутся данные? Это легальный источник?
- •Объём лицензии: разрешено ли вам использование в предполагаемых целях?
- •Охват: включены ли нужные вам географии и категории?
- •Поддержка: можно ли получить помощь по вопросам схемы или качества?
Неофициальные инструменты «Yellow Pages API» (высокий риск)
На маркетплейсах вроде RapidAPI и Apify есть немало скрейперов с пометкой «Yellow Pages API», но они не официальные и, как правило, собирают данные без разрешения оператора каталога.
Большинство таких сторонних «Yellow Pages API» не официальны; прежде чем применять их в бизнесе компании, нужно пройти юридическую проверку. Иначе, как только другая сторона обновит сайт или направит юридическую претензию, пострадают и сервис, и соответствие требованиям.
Компаниям стоит быть осторожными. Многие компании из-за рисков соответствия вообще не связываются с неофициальными источниками.
Альтернативные источники
Там, где это применимо, государственные реестры или отраслевые каталоги предлагают более понятные условия использования и проверенные данные:
- •Базы данных секретарей штатов (США): корпоративная регистрация и зарегистрированные адреса
- •Реестр компаний Великобритании (Companies House): сведения о регистрации компаний и директорах
- •Отраслевые ассоциации: отраслевые каталоги с более мягкими условиями
Эти источники дают проверенную, соответствующую требованиям альтернативу для B2B-сценариев, хотя им может недоставать детализации потребительских списков.
5) Если по бизнесу вам действительно нужно собирать данные (и юристы согласовали)
Приведённые ниже рекомендации по сбору исходят из того, что вы уже получили разрешение / имеете признанное юристами законное основание; только после этого читайте дальше.
Уважайте robots.txt и ToS
Хотя технически robots.txt (протокол исключения для роботов) носит рекомендательный характер, в корпоративных проектах его обычно трактуют как жёсткую границу. Игнорировать его - значит заведомо знать, что владелец сайта не хочет, чтобы вы собирали данные, а это увеличивает юридический риск. Консервативный подход: не трогайте запрещённые пути и не используйте поимённо названные краулерные UA. Для масштабной автоматизации сначала получите письменное согласие. То, что технически можно обойти, не означает, что это допустимо по требованиям соответствия, - и ToS, и закон могут вас остановить.
Ограничение скорости и отступление (backoff)
Регулируйте темп запросов по человекоподобному паттерну и соблюдайте заголовок Retry-After, когда сервер его присылает. Случайный джиттер помогает избежать механических паттернов и снижает нагрузку на сервер. Это концептуальное руководство - реализацию следует адаптировать под ваши конкретные нужды.
Кэширование и условные запросы
Используйте подсказки об актуальности (If-Modified-Since, ETag), чтобы не перезагружать неизменённые страницы. Это вежливо по отношению к серверу и экономит расходы на вашу инфраструктуру.
Гигиена сессий (согласованность крайне важна)
На протяжении всей сессии UA, язык, тип IP и cookie должны рассказывать историю одного и того же «персонажа». Несогласованные сигналы легко распознаются. Ключевые точки согласования:
- •Ни в коем случае не сочетайте мобильный IP с десктопным user-agent - несовпадение выдаст вас
- •В рамках одной логической сессии cookie должны сохранять непрерывность
- •Заголовки Accept и предпочтения кодировки должны быть стабильны, не скачите туда-сюда
- •Следуйте естественному потоку навигации (поиск → список → детали), не телепортируйтесь
Реальность отпечатков (JA3/JA4)
Отпечатки TLS (JA3/JA4) и поведенческие сигналы между запросами помогают защитным системам распознавать небраузерных клиентов.
Несовпадение TLS-характеристик и заявленного браузера - распространённый сигнал детекции. Современные защиты от скрейпинга анализируют множество сигналов, а не только IP-адрес, - включая TLS-рукопожатие, выполнение JavaScript и временны́е паттерны.
Контроль качества данных
Отдавайте приоритет стабильным атрибутам, а не позиционным селекторам. Отслеживайте дрейф селекторов с помощью проверок работоспособности и оповещений. Проверяйте кодировку символов и структуру схемы до того, как данные попадут в продакшн-системы. Стройте утверждения (assertions), чтобы как можно раньше ловить разрушительные изменения.
6) Варианты прокси для гигиены сессий
Когда лицензированный сбор требует ротации IP и управления сессиями, существует несколько типов прокси. Выбор зависит от сложности защиты цели и вашего бюджета:
Резидентные прокси
Маршрутизация через домашние/корпоративные IP, выделенные ISP. Обычно имеют лучшую репутацию, чем IP дата-центров, с умеренными паттернами ротации. Подходят для потребительских сайтов с умеренной защитой.
Прокси дата-центров (хорошая ротация)
Быстрые и экономичные, но ASN дата-центра легко распознаётся. Подходят для сайтов с лёгкой детекцией скрейпинга. Обычно блокируются сложными защитами.
Мобильные прокси (IP операторов 4G/5G)
Маршрутизируют трафик через сети операторов связи (мобильные ASN) и пулы CGNAT, которые делят множество легитимных пользователей. Мобильные IP обычно перемешаны с большим объёмом легитимного пользовательского трафика, поэтому их репутация относительно неплоха.
IP - лишь один из сигналов; сейчас многие сайты одновременно смотрят на отпечатки TLS (JA3/JA4), JS-челленджи и поведенческий ритм, поэтому прокси - лишь одно звено общей гигиены, а не универсальное средство обхода. Выбирайте исходя из конфигурации защиты от скрейпинга на целевом сайте.
Чего прокси не меняют
Современные защиты взвешивают множество сигналов помимо IP-адреса:
- •Заголовки запросов и паттерны согласованности
- •Поведенческие сигналы и тайминг
- •Отпечатки TLS (JA3/JA4)
- •Выполнение JavaScript и челленджи
Рассматривайте ротацию IP (любого типа) как один из входных параметров более широкой стратегии надёжности и соответствия, а не как механизм обхода. Одна лишь репутация IP не перекрывает поведенческую детекцию.
7) Руководство для команд (модель принятия решений)
Определите законное основание и путь получения разрешения
Варианты, которые стоит рассмотреть:
- •Лицензированный фид от оператора каталога
- •Партнёрское соглашение с чётко определёнными правами на данные
- •Исследовательское исключение (в коммерческих масштабах редко встречается; уточните у юридического советника)
Если вы не уверены, остановитесь и проконсультируйтесь с юридическим советником, прежде чем продолжать.
Проверьте соответствие требованиям по географии
Списки каталога могут содержать персональные данные (например, имена индивидуальных предпринимателей, фотографии, контактные данные).
Что сделать:
- •Сопоставьте поля данных с категориями «персональные» и «неперсональные»
- •Минимизируйте сбор (собирайте только то, что вам нужно)
- •Установите политику хранения и процедуры удаления
- •Обеспечьте соглашения об обработке данных с поставщиками
Выберите источник
По убыванию уверенности в соответствии требованиям:
- 1.Лицензированный фид напрямую от оператора каталога
- 2.Зрелый агрегатор с ясным происхождением данных и условиями
- 3.Публичные реестры / отраслевые каталоги с чётко определёнными правами использования
- 4.Неофициальные инструменты (крайняя мера, самый высокий риск)
Определите схему и валидацию
Ключевые поля для стандартизации:
- •Каноническое название компании плюс распространённые варианты
- •Компоненты адреса (улица, город, штат/область, почтовый индекс, страна)
- •Телефонные номера с нормализацией формата
- •Таксономия классификации по категориям/отраслям
- •Флаги статуса (работает / закрыто / переехало)
Спланируйте мониторинг дрейфа селекторов (если HTML разрешён)
- •Версионируйте свои селекторы и отслеживайте изменения в журнале изменений схемы
- •Настройте проверки работоспособности и оповещения о доле успешных извлечений
- •Держите запасные селекторы для ключевых полей
- •Оповещайте, когда доля успеха падает ниже порога (например, 90%)
Установите SLO по надёжности
- •Ритм актуальности: как часто должны обновляться данные? (ежедневно, еженедельно, ежемесячно)
- •Бюджет ошибок: допустимая доля сбоев до эскалации
- •Оповещения: показывайте дежурной команде сбои, изменения ToS и ошибки ограничения скорости
8) Откуда взять код
Эта статья сфокусирована на концепциях, правилах и стратегических решениях, а не на деталях реализации.
Вот пример паттерна селекторов в качестве отправной точки (подвержен изменениям вёрстки):
# Пример псевдокода - при изменении вёрстки YP нужно обновлять
business_name = page.select('.business-name')
phone = page.select('.phone')
address = page.select('.street-address, .locality, .region')
# Проверка успешности извлечения
if not business_name or not phone:
log_extraction_failure(page_url)
alert_team()Важно: при редизайне сайта селекторы ломаются. Отслеживайте долю успешных извлечений и версионируйте свои селекторы.
Когда вам нужен продакшн-код - логика ограничения скорости, обработка сессий, проверки контроля качества - обратитесь к инструментам для кодинга ChatGPT или Claude и попросите сгенерировать примеры под ваши конкретные страницы, библиотеки и ограничения по соответствию.
Они могут сгенерировать минимальные, современные фрагменты кода и тесты, которые вы сможете встроить в свой конвейер, - адаптированные под ваши точные потребности.
9) Итог
Права - в первую очередь, техника - во вторую.
robots.txt (протокол исключения для роботов) и ToS Yellow Pages ограничивают автоматизированный сбор. Чтобы вести масштабный автоматизированный скрейпинг, нормальный путь - сначала получить у сайта разрешение / канал сотрудничества; так издержки на соответствие минимальны.
Отдавайте приоритет лицензированным или официальным каналам.
Сторонние агрегаторы или альтернативные реестры обычно соответствуют требованиям лучше и стабильнее, чем самодельный скрейпинг.
Если сбор действительно необходим (и юристы согласовали), ключевое - гигиена сессий.
Ограничение скорости, кэширование, условные запросы и мониторинг качества - всё это обязательно. Выбор прокси (резидентные, дата-центров, мобильные) определяется конфигурацией защиты от скрейпинга на целевом сайте. Какой бы IP вы ни использовали, в современных системах детекции больший вес имеют такие сигналы, как отпечатки TLS (JA3/JA4) и поведенческий ритм.
Самый трудный вопрос - не «как распарсить страницу».
А как сделать это ответственно, надёжно и в рамках правовых и договорных границ.
Источники
https://www.yellowpages.com/robots.txt
https://www.yellowpages.com/about/legal/terms-conditions
https://developers.google.com/search/docs/crawling-indexing/robots/intro
https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/
https://blog.cloudflare.com/ja4-signals/
https://requests.readthedocs.io/
https://rapidapi.com/ и https://apify.com/store
Обратите внимание: неофициальные сторонние инструменты и API не одобрены Yellow Pages / Thryv и могут противоречить условиям использования. Эти ссылки приведены исключительно для справки и не являются одобрением. Оценивайте юридические риски под руководством юридического советника.
Нужна инфраструктура для соответствующего требованиям сбора данных?
Мы предоставляем мобильные прокси (IP операторов 4G/5G), резидентные прокси и прокси дата-центров. Выбирайте исходя из конфигурации защиты от скрейпинга на вашем целевом сайте и бюджета.
Экспертная консультация поможет вам оценить типы прокси, спроектировать стратегию ротации, конфигурацию заголовков запросов и систему мониторинга в соответствии с вашими юридическими и техническими требованиями.