Руководство
Мониторинг цен на Black Friday: как использовать прокси для отслеживания цен в интернет-магазинах?
Отслеживание цен в e-commerce — это регулярное считывание цены, наличия и условий акции со страниц магазинов с записью в журнал с датами. Прокси распределяет запросы и открывает страницу из страны покупателя. Выбор типа прокси, пример на Python с JSON-LD, проверка скидки Black Friday по правилу 10 дней, частые ошибки и правовые рамки.
Коротко
- Отслеживание цен в e-commerce — это регулярное считывание цены, наличия и условий акции по конкретным товарам со страниц магазинов с записью в журнал с метками времени.
- При мониторинге цен прокси распределяет запросы, чтобы они не шли с одного IP, и открывает страницу из страны или города покупателя; цены, привязанные к аккаунту, вроде скидки по подписке или цены в приложении, он не меняет.
- Для магазинов, принимающих датацентровые IP, подходит rotating datacenter, для крупных маркетплейсов, блокирующих датацентровые IP, — rotating residential, а для многошаговых сценариев вроде корзины и доставки — sticky-сессия.
- Если брать цену не из HTML-селекторов, а из разметки schema.org Product и Offer (JSON-LD), парсер реже ломается в день запуска праздничного оформления к Black Friday.
- В Турции с 1 августа 2026 года ценой до скидки считается самая низкая цена за последние 10 дней перед скидкой, в ЕС этот период не короче 30 дней, поэтому мониторинг нужно начинать до старта акции.
Отслеживание цен в e-commerce — это регулярное считывание цены, наличия и условий акции по конкретным товарам со страниц магазинов с записью результатов в журнал с датой и временем. Прокси решает здесь две задачи: распределяет запросы, чтобы они не шли с одного офисного IP, и позволяет открыть страницу из той страны или города, где находится покупатель. В неделю Black Friday магазины чаще меняют цены и жёстче включают защиту от ботов, поэтому полнота данных зависит от того, какой тип прокси вы выбрали и насколько разумна частота запросов.
Цены отслеживают продавцы, которые следят за положением своего магазина относительно конкурентов, команды брендов, проверяющие, соблюдают ли авторизованные продавцы ценовую политику, и исследователи, которые хотят ответить на вопрос «а скидка на Black Friday вообще настоящая?» с цифрами в руках. Всем трём группам нужно одно и то же: регулярно измерять один и тот же товар в одинаковых условиях.
Зачем нужен прокси для мониторинга цен?
Если вы раз в день проверяете несколько товаров, прокси не нужен, хватит браузера. Потребность появляется, когда растёт число товаров и частота запросов. Сотни карточек товара, которые каждый час открываются с одного IP, быстро упираются в лимит скорости магазина. Сначала сайт отвечает 429 Too Many Requests, затем перенаправляет IP на страницу с CAPTCHA или на время блокирует его. С этого момента в данных видны часы блокировок, а реальные изменения цены теряются.
Вторая причина — локация. Многие магазины показывают цену, стоимость доставки, срок доставки и наличие в зависимости от страны посетителя, а иногда и от города. Скрипт, который открывает турецкий магазин с зарубежного сервера, может получить другую страницу, чем видит покупатель в Турции: другую валюту, предупреждение «доставка в этот регион недоступна» или редирект. Прокси с выходным IP на целевом рынке позволяет измерять цену глазами покупателя.
Третья причина — непрерывность. Ценность ценового ряда в том, что один и тот же товар каждый день измеряется одним и тем же способом. Когда меняется IP офисного подключения, отключается VPN или блокируется адрес, в ряду появляются пропуски. Прокси-инфраструктура отделяет измерения от вашего личного подключения. Общая схема таких задач описана на странице прокси для маркетинговых исследований.
Почему на Black Friday сложнее отслеживать цены?
Black Friday в 2026 году приходится на 27 ноября, а многие магазины запускают акции за несколько дней или даже недель. В этот период одновременно происходит несколько вещей, которые усложняют мониторинг:
- Цены меняются несколько раз в день. Из-за предложений, которые открываются каждый час, товаров с ограниченным запасом и купонов, применяемых в корзине, замер раз в сутки пропускает большую часть акции.
- Магазины усиливают защиту от ботов. Чтобы инфраструктура выдержала пиковый трафик, лимиты скорости снижают, а порог CAPTCHA опускают. Скрипт, который в обычные дни работал без проблем, на этой неделе начинает получать
403и429. - Меняется вёрстка страниц. Появляются баннеры акций, таймеры обратного отсчёта и новые блоки с ценой. Парсер, который читает цену из HTML по CSS-селектору, в день запуска праздничного оформления может вернуть пустое значение.
- Цена зависит от покупателя. Цена только в приложении, скидка для участников программы лояльности, купон в корзине: такие цены, зависящие от условий, отличаются от той, что видит посетитель без входа в аккаунт.
Последний пункт показывает и предел возможностей прокси. Прокси меняет только IP, а значит, сетевые сигналы вроде страны и города. Скидка по подписке, цена в приложении или персональный купон привязаны к аккаунту, поэтому измерить их через прокси нельзя. Пишите в отчёте, какую именно цену вы измеряли, например: «без входа в аккаунт, с турецкого IP, на десктопной версии страницы».
Какой тип прокси подходит для отслеживания цен?
Выбор зависит от того, как целевой сайт относится к датацентровым IP, от объёма запросов и от того, как долго нужно удерживать одну сессию.
| Задача | Рекомендуемый продукт | Почему |
|---|---|---|
| Сканирование каталога большого объёма в магазинах, которые принимают датацентровые IP | Rotating Datacenter IPv4 | Оплата за ГБ, IP меняется с каждым запросом, при необходимости sticky-сессия на 1–5 минут |
| Мониторинг цен и наличия на крупных маркетплейсах, которые блокируют датацентровые IP | Rotating Residential IPv4 | IP домашних подключений, таргетинг по стране и городу, sticky или ротация на каждый запрос |
| Сценарии, где нужна долгая sticky-сессия (например, добавить товар в корзину и увидеть стоимость доставки) | Premium Rotating Residential | Время sticky настраивается от 1 до 1440 минут, без дополнительного коэффициента квоты за таргетинг по городу |
| Непрерывное сканирование очень большого объёма всю неделю акций | Unlimited Rotating Residential IPv4 | Помесячная оплата за порт, гигабайты не считаются, sticky на 1–120 минут и неограниченное число одновременных подключений |
| Замеры небольшого числа товаров всегда с одного адреса, постоянная точка контроля из Турции | Статический Residential IPv4 | IP не меняется весь срок пакета, 11 стран, включая Турцию, безлимитный трафик на каждый IP |
Если вместо собственной связки прокси и парсинга вам нужны готовые данные с крупных маркетплейсов вроде Amazon, EveryInfra по одному API-ключу возвращает публичные данные Amazon и ещё 100+ платформ в структурированном JSON.
Выбор между rotating и sticky зависит от того, снимается ли замер одним запросом или цепочкой из нескольких шагов. Если карточку товара вы читаете за один запрос, IP, меняющийся с каждым запросом, распределяет нагрузку. Если нужно положить товар в корзину и посмотреть стоимость доставки, все шаги должны идти с одного IP, иначе сайт может сбросить сессию. Подробно эта разница разобрана в статье sticky vs rotating proxy. Почему целевые сайты по-разному реагируют на резидентные и датацентровые IP, смотрите в сравнении residential vs datacenter.
В пакетах с оплатой за ГБ купленный трафик не ограничен по сроку: он остаётся на балансе, пока вы его не израсходуете, и не сгорает в конце месяца. Для мониторинга, который пару раз в год резко усиливается, как на Black Friday, это значит, что в остальные месяцы вы не платите за неиспользованный трафик. Если хотите сначала проверить работу на своём целевом магазине, для Premium Rotating Residential есть бесплатный пробный доступ на 1 ГБ.
Как настроить мониторинг цен в интернет-магазинах пошагово?
Надёжный мониторинг цен начинается с пяти решений: какие товары, какой источник, какая частота, какая локация и как хранить данные.
- Зафиксируйте список товаров. Для каждого товара сохраните прямой URL карточки и, если возможно, артикул магазина (SKU). Страницы поиска при каждом запросе выглядят по-разному из-за сортировки и рекламы, и ряд из них получается рваным.
- Берите цену из структурированных данных. Большинство интернет-магазинов размечают карточки товара для поисковиков с помощью schema.org Product и Offer. Поля
price,priceCurrencyиavailabilityобычно остаются на месте, даже когда меняется внешний вид страницы. Так меньше шансов, что парсер сломается в день запуска праздничного оформления. - Подберите частоту под важность товара. На неделе акций для большинства задач достаточно измерять приоритетные товары каждый час, а остальные один-два раза в день. Помните, что каждый запрос нагружает целевой сайт: замеры чаще, чем нужно, повышают и риск блокировки, и расход трафика.
- Зафиксируйте локацию. Турецкие магазины измеряйте с турецкого IP, зарубежные рынки — с IP соответствующей страны, и в каждой записи сохраняйте страну и город замера. Какие продукты для Турции доступны и с каким способом подключения, перечислено на странице прокси в Турции. Чем отличается таргетинг по стране, городу и ASN, объясняется в статье геотаргетинг прокси.
- Сохраняйте каждый замер с меткой времени. Вместе с ценой записывайте валюту, наличие, HTTP-код ответа и заметку об ошибке. «Цена не найдена» и «сайт вернул 403» — разные пропуски, и если их не разделять, ряд невозможно интерпретировать.
Пример на Python ниже реализует эти шаги в одном файле. Он открывает карточку товара через прокси, читает предложение Product из JSON-LD и дописывает результат в CSV-файл. Адреса магазинов здесь условные; вместо USER и PASSWORD подставьте данные прокси из личного кабинета.
import csv
import json
import re
import time
from datetime import datetime, timezone
import requests
PROXY = "http://USER:[email protected]:8989"
PROXIES = {"http": PROXY, "https": PROXY}
HEADERS = {
"User-Agent": "PriceWatch/1.0 (+https://example.com/bot)",
"Accept-Language": "tr-TR,tr;q=0.9",
}
PRODUCTS = [
"https://shop.example/product/headphones-x1",
"https://shop.example/product/vacuum-s5",
]
LD_JSON = re.compile(r'<script[^>]*application/ld\+json[^>]*>(.*?)</script>', re.S | re.I)
def offer_from_html(html):
for block in LD_JSON.findall(html):
try:
data = json.loads(block)
except json.JSONDecodeError:
continue
items = data if isinstance(data, list) else data.get("@graph", [data])
for item in items:
types = item.get("@type") if isinstance(item, dict) else None
if types == "Product" or (isinstance(types, list) and "Product" in types):
offer = item.get("offers") or {}
if isinstance(offer, list):
offer = offer[0] if offer else {}
price = offer.get("price") or offer.get("lowPrice")
return price, offer.get("priceCurrency"), offer.get("availability")
return None, None, None
with open("prices.csv", "a", newline="", encoding="utf-8") as f:
writer = csv.writer(f)
for url in PRODUCTS:
ts = datetime.now(timezone.utc).isoformat(timespec="seconds")
try:
r = requests.get(url, proxies=PROXIES, headers=HEADERS, timeout=30)
except requests.RequestException as exc:
writer.writerow([ts, url, "", "", "", type(exc).__name__])
continue
if r.status_code != 200:
writer.writerow([ts, url, "", "", "", f"HTTP {r.status_code}"])
else:
price, currency, stock = offer_from_html(r.text)
writer.writerow([ts, url, price, currency, stock, "ok" if price else "no-price"])
time.sleep(5)
Если запускать скрипт по расписанию (cron в Linux, Планировщик заданий в Windows), файл prices.csv превращается в ценовой ряд с датами по каждому товару. Пауза time.sleep(5) между запросами стоит намеренно: замеры, которые не перегружают целевой сайт, нужны и из этических соображений, и чтобы не попасть под блокировку. Если страница подгружает цену только через JavaScript, JSON-LD может прийти пустым, и тогда понадобится автоматизация браузера. Как настроить прокси в requests, httpx и aiohttp и как работать через SOCKS5, описано в руководстве прокси в Python.
Перед первым запуском убедитесь через инструмент «Мой IP», что прокси выходит из нужной страны. Если у вас несколько строк прокси, все их можно проверить разом в proxy checker.
Настоящая ли скидка на Black Friday? Как читать историю цен?
Чаще всего от мониторинга цен ждут ответа на один вопрос: действовала ли на самом деле «цена до скидки», которую показывают в акции. Чтобы на него ответить, замеры нужно начать до старта акции. Мониторинг, запущенный уже в неделю Black Friday, ответа не даст: сравнивать не с чем.
В Турции, где эта распродажа называется «Efsane Cuma», Министерство торговли внесло изменения в Положение о коммерческой рекламе и недобросовестной торговой практике (Ticari Reklam ve Haksız Ticari Uygulamalar Yönetmeliği; Официальная газета от 1 июля 2026 года, № 33297). С 1 августа 2026 года в рекламе распродаж ценой до скидки обязательно считается самая низкая цена, действовавшая в последние десять дней перед датой начала скидки (сообщение Министерства торговли). В Европейском союзе статья 6a Директивы 98/6/EC берёт за ориентир самую низкую цену за период не короче 30 дней до скидки.
| Рынок | Референсная цена | Когда начинать мониторинг |
|---|---|---|
| Турция | Самая низкая цена за последние 10 дней до скидки | Минимум за 10 дней до начала акции |
| Страны ЕС | Самая низкая цена минимум за 30 дней до скидки | Минимум за 30 дней до начала акции |
Найдите в своём ряду минимальную цену за период до начала скидки и сравните её с зачёркнутой ценой: так видно, сходится ли заявление магазина с фактами. Учтите две вещи. Во-первых, правило касается собственной цены магазина, поэтому не смешивайте цены разных продавцов на маркетплейсе. Во-вторых, пропуски в замерах искажают результат: если в ряду есть три дня блокировки, низкую цену за эти дни вы могли пропустить. Такой анализ носит информационный характер и не заменяет юридической оценки; если собираетесь подавать жалобу или обращение, опирайтесь на официальные каналы и актуальный текст нормативных актов.
Типичные ошибки при парсинге цен и как их исправить
Скрипты мониторинга на неделе акций ломаются обычно по одним и тем же причинам. Таблица читается от симптома к причине:
| Симптом | Возможная причина | Решение |
|---|---|---|
429 Too Many Requests | Слишком частые запросы с одного IP или из одной сессии | Снизьте частоту, перейдите на ротацию на каждый запрос, добавьте паузы между запросами |
403 Forbidden или страница с CAPTCHA | Датацентровый IP заблокирован или у IP низкая репутация | Перейдите на резидентный пул, держите заголовки запроса согласованными с настоящим браузером |
407 Proxy Authentication Required | Логин или пароль прокси указан неверно или не указан | Проверьте данные в личном кабинете, спецсимволы в URL кодируйте процентной кодировкой |
| Цена приходит в другой валюте | Выходной IP находится в другой стране | Проверьте таргетинг по стране, настройте заголовок Accept-Language под рынок |
| Поле цены пустое, страница отдаёт 200 | Сменилось праздничное оформление или цена подгружается через JavaScript | Перейдите на JSON-LD; если его нет, используйте автоматизацию браузера |
| Сессия обрывается на шаге корзины или доставки | IP сменился посреди сценария | Используйте sticky-сессию и ставьте время sticky больше длительности сценария |
Когда понятно, от кого пришёл код ошибки, от прокси или от целевого сайта, решение ищется в нужном месте. На каком уровне возникают коды вроде 407 и 502, по каждому разобрано в руководстве по кодам ошибок прокси.
Ещё одна частая ошибка — считать CAPTCHA «препятствием, которое надо обойти». CAPTCHA — это просьба сайта сбавить темп. Снизить частоту, расставить приоритеты среди измеряемых товаров и растянуть нагрузку по часам обычно надёжнее. Особенности отслеживания цен и рестоков у кроссовок и товаров с ограниченным запасом разобраны на странице sneaker-прокси.
Законно ли отслеживать цены конкурентов через прокси?
Чтение цены на общедоступной карточке товара лежит в основе мониторинга, а границы определяет то, каким способом вы её читаете. На практике стоит придерживаться таких правил:
- Прочитайте условия использования целевого сайта. Некоторые магазины ограничивают в них автоматический доступ или предлагают для ценовых данных официальный API либо партнёрскую выгрузку. Если официальный канал есть, используйте его.
- Соблюдайте правила
robots.txt. Этот файл, стандартизированный в RFC 9309, сообщает, к каким разделам сайт не хочет пускать автоматических посетителей. - Не собирайте персональные данные. Предмет мониторинга цен — товар. Имена авторов отзывов, личные контакты продавцов и подобные сведения подпадают под KVKK и GDPR, и в этой работе им не место.
- Не заходите автоматически в разделы, требующие входа. Регистрировать фейковые аккаунты ради цен для участников клуба значит нарушать условия сайта и подрывать достоверность замеров.
- Ограничивайте нагрузку. Паузы между запросами, разумная частота и отказ от загрузки ненужных ресурсов (изображений, видео) снижают нагрузку на инфраструктуру целевого сайта.
Использование сервисов WeProxy регулируется политикой допустимого использования. Она запрещает деятельность, нарушающую закон, несанкционированный доступ к аккаунтам и трафик атакующего характера вроде DDoS. Запустите мониторинг к Black Friday минимум за десять дней до акции с низкой частотой, а в неделю распродаж увеличьте частоту только для приоритетных товаров: так данные останутся сопоставимыми, и вы не испортите отношения с целевым сайтом.
Частые вопросы
Какой тип прокси выбрать для мониторинга цен?
Посмотрите, как целевой магазин относится к датацентровым IP. Если сайт их принимает, для сканирования большого объёма хватит rotating datacenter прокси с оплатой за ГБ. Крупные маркетплейсы часто блокируют датацентровые IP, поэтому стабильнее работает rotating residential. Для многошаговых сценариев вроде добавления в корзину и просмотра стоимости доставки нужна sticky-сессия, а для замеров небольшого числа товаров всегда с одного адреса подойдёт статический резидентный IP.
Как понять, настоящая ли скидка на Black Friday?
Начните регулярно измерять цену товара до старта акции. В Турции с 1 августа 2026 года ценой до скидки считается самая низкая цена, действовавшая в последние 10 дней перед началом скидки. Сравните минимальную цену за этот период из своих записей с зачёркнутой ценой. В странах ЕС референсный период составляет не менее 30 дней. Такое сравнение носит информационный характер и не заменяет юридической оценки.
Как часто отправлять запросы при мониторинге цен?
Подбирайте частоту под важность товара и под то, как часто меняется его цена. На неделе акций для большинства задач достаточно измерять приоритетные товары каждый час, а остальные один-два раза в день. Более частые замеры нагружают целевой сайт и повышают риск ошибки 429 и CAPTCHA. Делайте паузы между запросами и измеряйте один и тот же товар каждый раз из одной и той же страны.
Почему скрипт мониторинга цен получает ошибку 403 или 429?
Код 429 означает, что вы слишком часто отправляете запросы с одного IP или из одной сессии: снизьте частоту, добавьте паузы между запросами и включите ротацию IP на каждый запрос. Код 403 или страница с CAPTCHA обычно говорят о том, что датацентровый IP заблокирован или у него низкая репутация; как правило, помогают переход на резидентный пул и заголовки, согласованные с браузером. Код 407 означает неверные учётные данные прокси.
Законно ли отслеживать цены конкурентов через прокси?
Чтение цен на общедоступных карточках товаров лежит в основе мониторинга, но при этом нужно соблюдать условия использования целевого сайта и правила robots.txt. Если есть официальный API или выгрузка данных, используйте их, не собирайте персональные данные, не заходите автоматически в разделы, требующие входа, и не перегружайте сайт. Сервисы WeProxy регулируются политикой допустимого использования. Эта информация не является юридической консультацией.









