Black FridaySpecial - USA & Europe - 100 MBPS: $999.00 вместо $2,000.00. Купон: BLACKFRIDAY, до 27 ноября.Смотреть тариф
WeProxy

Руководство

Репутация IP и блэклисты: как понять, чистый ли IP прокси?

10 мин чтения

Чистый ли IP у прокси, можно понять, проверив выходной IP в DNSBL, посмотрев ASN и тип IP и проведя небольшую пробу на целевом сайте. Сигналы, которые определяют репутацию IP, проверка по блэклистам через dig и Python, значение кодов ответа Spamhaus, что делать с грязным IP и выбор продукта под задачу.

Коротко

  • Репутация IP — это то, насколько сайты, почтовые серверы и сервисы безопасности доверяют IP-адресу, исходя из трафика, который с него приходил раньше.
  • При проверке прокси запрашивают не адрес шлюза, а выходной IP, полученный через прокси; затем смотрят запись в DNSBL, ASN и тип IP, а также долю 403, 429 и CAPTCHA на целевом сайте.
  • В Spamhaus ZEN запись в SBL и XBL означает злоупотребления или взломанное устройство; запись в PBL нормальна для домашних и мобильных диапазонов IP и веб-задачам не мешает.
  • На запросы с публичных DNS-резолверов Spamhaus возвращает 127.255.255.254; это не листинг, а код ошибки, и проверку нужно повторить через собственный резолвер.
  • В ротационном продукте от IP из списка вы уходите при следующем запросе; статический IP проверяйте сразу после покупки, до привязки к аккаунту, а при записи в SBL или XBL пишите в поддержку.

Репутация IP — это то, насколько сайты, почтовые серверы и сервисы безопасности доверяют IP-адресу, исходя из трафика, который с него приходил раньше. Чтобы понять, чистый ли IP у прокси, нужно узнать выходной IP, проверить его в DNS-блэклистах (DNSBL), посмотреть ASN и тип IP и провести небольшую пробу на целевом сайте. Наличие в блэклисте не всегда означает, что IP использовали для злоупотреблений; важно, в каком списке и с каким кодом он значится.

В прокси-тематике выражение «чистый IP» встречается часто, но единой мерки за ним нет. IP может быть чистым в почтовых списках и при этом вызывать подозрения у соцсети из-за своей истории. Поэтому проверять IP стоит под ту задачу, для которой вы собираетесь его использовать.

Что такое репутация IP и что значит попасть в блэклист?

У каждого IP-адреса есть история: к какой сети он относится, кто им пользовался, на какие сайты и как часто отправлял запросы и были ли на него жалобы. Сервисы безопасности собирают эти данные и присваивают IP репутацию. Сайты по этой репутации решают, что делать с входящим запросом: пропустить, показать CAPTCHA или заблокировать.

Блэклист (чёрный список) — это опубликованный список IP, связанных со злоупотреблениями. Лучше всего известны почтовые DNSBL. Почтовый сервер проверяет IP входящего подключения по этим спискам и, если IP там есть, отклоняет письмо или отправляет его в спам. Как запрашивать DNSBL и в каком формате они отвечают, описано в RFC 5782.

Репутационные данные, которыми пользуются веб-сайты, обычно закрыты. Сервисы защиты от ботов и предотвращения мошенничества ведут собственные замеры, и увидеть со стороны, какой балл у IP в их системе, нельзя. Поэтому публичные списки полезны как предварительная проверка. Окончательный ответ даёт реакция целевого сайта, на котором вы будете работать с этим IP.

Почему IP попадает в чёрный список?

Чаще всего IP оказывается в блэклисте по таким причинам:

  • Рассылка спама. Если с IP уходили массовые нежелательные письма или почта приходила на адреса-ловушки (spam trap), он попадает в почтовые списки.
  • Взломанное устройство. Компьютер, модем или сервер с вредоносной программой отправляет трафик ботнета без ведома владельца. Такие IP собирают списки вроде Spamhaus XBL.
  • Атаки и сканирование. IP, с которых шли попытки перебора паролей, сканирование портов или попытки эксплуатации уязвимостей, попадают в базы жалоб, которые наполняет сообщество.
  • Предыдущий пользователь. До того как статический IP выдали вам, им мог пользоваться кто-то другой. В ротационных пулах один IP за день обслуживает многих пользователей, и действия одного отражаются на всех остальных.
  • Сетевая политика. Некоторые списки отмечают не злоупотребления, а тип сети. Spamhaus PBL перечисляет диапазоны IP, с которых не должна напрямую отправляться почта, например домашние и мобильные подключения. Если IP есть в этом списке, это не значит, что он «грязный».

На последнем пункте пользователи прокси ошибаются чаще всего. Большая часть резидентных и мобильных IP видна в PBL, потому что это домашние и операторские подключения. На веб-скрапинг, отслеживание цен или работу в соцсетях это не влияет.

Какие сигналы определяют репутацию IP?

Сайты не смотрят на какой-то один список, а оценивают несколько сигналов вместе. В таблице ниже собраны эти сигналы и способы проверить каждый из них:

СигналЧто показываетКак проверить
Запись в DNSBLЕсть ли IP в списках спама, ботнетов или политикDNS-запрос через dig или страница проверки самого списка
Жалобы сообщества на злоупотребленияСообщалось ли об атаках, сканировании или переборе паролей с этого IPПоиск IP в базах жалоб
ASN и тип IPПринадлежит ли IP дата-центру, домашнему интернет-провайдеру или мобильному операторуДанные об ISP и организации в инструменте IP lookup
Согласованность геолокацииСовпадают ли страна и город IP с ожидаемой локациейИнструмент IP lookup и страна, которую показывает целевой сайт
Обратная DNS-запись (PTR)Похоже ли имя, с которым связан IP, на сервер или на домашнее подключениеdig -x <IP>
История на целевом сайтеУпирался ли IP раньше в лимиты запросов на этом сайтеПроба на небольшом объёме; доля 403, 429 и CAPTCHA

ASN часто значит больше, чем списки. Многие сайты строже относятся к трафику из ASN дата-центров, даже если IP нет ни в одном блэклисте. Как по-разному сайты встречают резидентные и серверные IP, разобрано в сравнении residential vs datacenter.

Как проверить, есть ли IP прокси в блэклисте?

Проверка идёт в три шага: найдите реальный выходной IP прокси, проверьте его по спискам, затем проведите небольшую пробу на целевом сайте.

Адрес шлюза, к которому вы подключаетесь, не совпадает с IP, который видят сайты. Поэтому сначала узнайте выходной IP:

curl -s -x "http://USER:[email protected]:8989" https://api.ipify.org

Введите полученный IP в инструмент IP lookup и проверьте страну, город, ISP и организацию. Если вы купили резидентный продукт, в поле ISP должен быть домашний интернет-провайдер. Чтобы сравнить с IP собственного подключения, воспользуйтесь инструментом My IP.

Дальше проверьте IP в DNSBL. Для запроса октеты IP записывают в обратном порядке и ставят перед доменом списка. Для адреса 203.0.113.25 запрос к Spamhaus ZEN выглядит так:

dig +short 25.113.0.203.zen.spamhaus.org A

Пустой ответ (NXDOMAIN) значит, что IP в этом списке нет. Ответ вида 127.0.0.x значит, что IP в списке, а последнее число указывает на подсписок. Чтобы убедиться, что запрос работает, используйте адрес 127.0.0.2, который списки всегда держат у себя: dig +short 2.0.0.127.zen.spamhaus.org A должен вернуть ответ.

На запросы с публичных DNS-резолверов вроде Google или Cloudflare Spamhaus не отдаёт настоящий результат и возвращает 127.255.255.254. Бесплатные запросы разрешены только для некоммерческого использования. Поэтому проверяйте через собственный резолвер или DNS своего интернет-провайдера, а правила смотрите на странице Spamhaus об использовании DNSBL.

Если IP несколько, хватит короткого скрипта на Python, который делает то же самое средствами стандартной библиотеки:

import ipaddress
import socket

LISTS = ["zen.spamhaus.org", "bl.spamcop.net"]

def check(ip: str) -> dict:
    reversed_ip = ".".join(reversed(str(ipaddress.IPv4Address(ip)).split(".")))
    results = {}
    for zone in LISTS:
        try:
            answer = socket.gethostbyname(f"{reversed_ip}.{zone}")
            results[zone] = answer
        except socket.gaierror:
            results[zone] = None  # нет в списке
    return results

for ip in ["203.0.113.25", "198.51.100.7"]:
    print(ip, check(ip))

Скрипт выводит для каждого IP, какой код вернул каждый список. None означает, что IP в списке нет. Если вы проверяете ротационный пул, одного IP мало, нужна выборка: получите выходной IP 20–30 раз и проверьте каждый, так картина по пулу будет точнее.

Как читать результат проверки по блэклисту?

Spamhaus ZEN одним запросом отвечает сразу по нескольким спискам. Коды ответа по таблице самого Spamhaus читаются так:

ОтветСписокЗначениеЧто делать при работе с прокси
Пусто (NXDOMAIN)НетIP нет в этих спискахПереходите к небольшой пробе на целевом сайте
127.0.0.2, 127.0.0.9SBL, DROPОтмечен как источник спама или вредоносная сетьНе используйте IP для аккаунтов и чувствительных задач
127.0.0.3CSSПочтовая рассылка с низкой репутациейВне почты влияние может быть ограниченным; проверьте на целевом сайте
127.0.0.4XBLВзломанное устройство или трафик ботнетаНе используйте для входа в аккаунты и долгих сессий
127.0.0.10, 127.0.0.11PBLДомашний или динамический диапазон, с которого не должна уходить почтаДля резидентных и мобильных IP это нормально; веб-задачам не мешает
127.255.255.252–.255ОшибкаНеверный запрос, публичный резолвер или слишком много запросовНичего не говорит об IP; повторите запрос через собственный резолвер

Попасть в один список и сразу в несколько — разные вещи. IP с записью в SBL или XBL, скорее всего, имеет низкий балл и в закрытых репутационных системах, которыми пользуются веб-сайты. А резидентный IP, который есть только в PBL, для веб-трафика остаётся обычным домашним подключением.

Отсутствие в списках тоже не гарантирует, что IP будет без проблем работать на любом сайте. Закрытые репутационные системы опираются на другие данные. Поэтому окончательное решение принимайте по пробе на целевом сайте: запросите несколько страниц и посмотрите на долю 403, 429 и CAPTCHA. Понять, пришли эти ошибки от прокси или от целевого сайта, поможет руководство по кодам ошибок прокси.

Что делать, если IP прокси в чёрном списке?

Всё зависит от типа продукта.

В ротационном продукте (rotating residential, rotating datacenter, ротационный мобильный) запись в списке у одного IP из пула почти ничего не меняет. При следующем запросе или по истечении sticky-интервала вы перейдёте на другой IP. Если вы работаете со sticky-сессией, новый IP можно получить, сменив идентификатор сессии. Как длительность сессии влияет на выбор IP, описано в руководстве по sticky и rotating прокси.

В статическом продукте (статический residential, статический datacenter, ISP-прокси) IP остаётся за вами весь срок тарифа. Поэтому проверяйте его сразу после покупки, до того как привяжете к аккаунту. Если увидите запись в SBL или XBL, напишите в поддержку, пока не начали пользоваться IP; варианты замены IP можно обсудить с ними. Запись только в PBL не повод менять резидентный IP.

Если IP попал в список, когда вы уже какое-то время им пользовались, сначала посмотрите на собственный трафик. Репутация статического IP во многом зависит от того, что с него отправляете вы. Слишком частые запросы, слишком много одновременных подключений или повторяющиеся неудачные попытки входа быстро приводят к тому, что IP помечают. Если сменить IP, не снизив частоту запросов, новый IP закончит тем же.

В большинстве списков есть процедура удаления записи (delisting). Ей занимается сеть, которой принадлежит IP; от вас как пользователя прокси не ждут, что вы будете подавать заявку сами.

Какой тип прокси выбрать для задач, где важна репутация?

Влияние репутации IP зависит от задачи. При сборе данных с общедоступных страниц история отдельных IP почти не важна, смотрят на общую долю успешных запросов по пулу. А в задачах со входом в аккаунт, работой в рекламном кабинете или долгими сессиями история конкретного IP напрямую влияет на результат.

ЗадачаРекомендуемый продуктПочему с точки зрения репутации
Аккаунты, в которые долго входят с одного IPСтатический Residential IPv4IP выделен вам и не меняется весь срок тарифа; его репутацию определяет ваш трафик
Задачи в США, которым нужен стабильный постоянный IP, зарегистрированный за ISPISP ProxyСтатический IPv4, зарегистрированный за интернет-провайдером; для долгих сессий и проверки рекламы
Сбор данных на сайтах с частыми блокировками, мониторинг выдачи (SERP) и ценRotating Residential IPv4Если попался грязный IP, при следующем запросе вы перейдёте на другой
Сайты, принимающие IP дата-центров, и постоянный адрес для белого спискаСтатический Datacenter IPv4Быстрый и постоянный; но ASN дата-центра некоторые сайты проверяют строже
Тесты мобильных приложений и соцсетейМобильный проксиIP операторов из-за CGNAT делят многие пользователи; сайты осторожнее блокируют такие IP целиком

Резидентные IP в WeProxy поступают из партнёрской SDK-программы на основе согласия. Статические резидентные пакеты для Турции работают в сетях Türk Telekom и Vodafone. ISP Proxy сейчас доступен в локации США, в пакетах Retail ISP и Mobile ISP. Чем различаются ISP и datacenter IP, подробно разобрано в статье ISP proxy vs datacenter proxy.

IP из открытых прокси-листов в эту таблицу не входят. Такими адресами одновременно пользуется множество людей, и большинство из них быстро оказывается в списках. Почему так происходит, объясняется в статье бесплатный или платный прокси.

Как сохранить репутацию IP?

Даже IP, чистый по всем спискам, при неправильном использовании быстро получает пометку. Работая со статическими и sticky IP, соблюдайте несколько правил:

  1. Подстраивайте частоту запросов под целевой сайт. Получив 429, увеличивайте паузу и соблюдайте заголовок Retry-After. Десятки запросов в секунду с одного IP упрутся в лимит, даже если этого IP нет ни в одном списке.
  2. Разделяйте задачи. Не используйте статический IP, с которого входите в аккаунт, для массового сбора данных. Блокировка в одной задаче скажется и на другой задаче на том же IP.
  3. Привязывайте IP к сессии. Если входить в аккаунт каждый раз с IP из другой страны, это вызовет проверку безопасности, даже когда IP чистый. Для задач, которым нужна постоянная локация, берите статический или sticky IP.
  4. Защищайте доступ. Если ваши данные прокси попадут к кому-то ещё, репутацию вашего IP будет определять и его трафик. Храните логин и пароль в переменных окружения, а не в коде скриптов; если продукт поддерживает белый список IP, используйте его. Какой способ есть в каком продукте, перечислено в руководстве по аутентификации прокси.
  5. Проверяйте регулярно. Статические IP прогоняйте через Python-скрипт выше раз в неделю или перед привязкой к новому аккаунту. Если записывать результаты с датой и IP, будет видно, когда началась проблема.

Отправка почты через прокси вредит репутации IP быстрее всего, а рассылки спама запрещены политикой допустимого использования. При сборе данных соблюдайте условия целевого сайта и правила robots.txt, а если обрабатываете персональные данные, учитывайте требования GDPR и применимого законодательства о персональных данных.

Частые вопросы

Как узнать, есть ли IP прокси в блэклисте?

Сначала отправьте через прокси запрос на адрес вроде api.ipify.org и узнайте выходной IP. Запишите октеты этого IP в обратном порядке, поставьте их перед доменом списка, например zen.spamhaus.org, и выполните запрос через dig: пустой ответ значит, что IP в списке нет, ответ 127.0.0.x — что он там есть. Затем посмотрите ASN в инструменте IP lookup и проведите небольшую пробу на целевом сайте.

Плохо ли, что IP резидентного прокси есть в Spamhaus PBL?

Нет. PBL перечисляет диапазоны IP, с которых не должна напрямую отправляться почта, например домашние и мобильные подключения, и злоупотреблений не означает. Большая часть резидентных и мобильных IP видна в этом списке. На веб-скрапинг, отслеживание цен или работу в соцсетях это не влияет. Проблему указывают записи в SBL, CSS и XBL.

Что значит ответ 127.255.255.254 при запросе к Spamhaus?

Это не листинг, а код ошибки. На запросы с публичных DNS-резолверов вроде Google или Cloudflare Spamhaus не отдаёт настоящий результат и возвращает этот код. Ответ 127.255.255.252 указывает на ошибку в имени списка, а 127.255.255.255 — на слишком большое число запросов. Повторите проверку через собственный резолвер или DNS своего интернет-провайдера.

Будет ли IP, которого нет в блэклистах, работать на любом сайте?

Гарантии нет. Публичные списки в основном отражают злоупотребления в почте, а веб-сайты пользуются собственными данными защиты от ботов и предотвращения мошенничества и смотрят ещё и на тип ASN. Поэтому IP, чистый по спискам, проверьте на целевом сайте на нескольких страницах и следите за долей 403, 429 и CAPTCHA.

Что делать, если купленный статический IP прокси в блэклисте?

До привязки IP к аккаунту посмотрите, в каком списке и с каким кодом он значится. Если есть запись о злоупотреблениях, например в SBL или XBL, напишите в поддержку и спросите о вариантах замены IP. Запись только в PBL не повод менять резидентный IP. Если IP попал в список после того, как вы им уже пользовались, сначала проверьте собственную частоту запросов.

Начать

Проверьте Прокси Уже Сегодня

Проверьте связность бесплатными инструментами или выберите пакет с продажами.