Руководство
Репутация IP и блэклисты: как понять, чистый ли IP прокси?
Чистый ли IP у прокси, можно понять, проверив выходной IP в DNSBL, посмотрев ASN и тип IP и проведя небольшую пробу на целевом сайте. Сигналы, которые определяют репутацию IP, проверка по блэклистам через dig и Python, значение кодов ответа Spamhaus, что делать с грязным IP и выбор продукта под задачу.
Коротко
- Репутация IP — это то, насколько сайты, почтовые серверы и сервисы безопасности доверяют IP-адресу, исходя из трафика, который с него приходил раньше.
- При проверке прокси запрашивают не адрес шлюза, а выходной IP, полученный через прокси; затем смотрят запись в DNSBL, ASN и тип IP, а также долю 403, 429 и CAPTCHA на целевом сайте.
- В Spamhaus ZEN запись в SBL и XBL означает злоупотребления или взломанное устройство; запись в PBL нормальна для домашних и мобильных диапазонов IP и веб-задачам не мешает.
- На запросы с публичных DNS-резолверов Spamhaus возвращает 127.255.255.254; это не листинг, а код ошибки, и проверку нужно повторить через собственный резолвер.
- В ротационном продукте от IP из списка вы уходите при следующем запросе; статический IP проверяйте сразу после покупки, до привязки к аккаунту, а при записи в SBL или XBL пишите в поддержку.
Репутация IP — это то, насколько сайты, почтовые серверы и сервисы безопасности доверяют IP-адресу, исходя из трафика, который с него приходил раньше. Чтобы понять, чистый ли IP у прокси, нужно узнать выходной IP, проверить его в DNS-блэклистах (DNSBL), посмотреть ASN и тип IP и провести небольшую пробу на целевом сайте. Наличие в блэклисте не всегда означает, что IP использовали для злоупотреблений; важно, в каком списке и с каким кодом он значится.
В прокси-тематике выражение «чистый IP» встречается часто, но единой мерки за ним нет. IP может быть чистым в почтовых списках и при этом вызывать подозрения у соцсети из-за своей истории. Поэтому проверять IP стоит под ту задачу, для которой вы собираетесь его использовать.
Что такое репутация IP и что значит попасть в блэклист?
У каждого IP-адреса есть история: к какой сети он относится, кто им пользовался, на какие сайты и как часто отправлял запросы и были ли на него жалобы. Сервисы безопасности собирают эти данные и присваивают IP репутацию. Сайты по этой репутации решают, что делать с входящим запросом: пропустить, показать CAPTCHA или заблокировать.
Блэклист (чёрный список) — это опубликованный список IP, связанных со злоупотреблениями. Лучше всего известны почтовые DNSBL. Почтовый сервер проверяет IP входящего подключения по этим спискам и, если IP там есть, отклоняет письмо или отправляет его в спам. Как запрашивать DNSBL и в каком формате они отвечают, описано в RFC 5782.
Репутационные данные, которыми пользуются веб-сайты, обычно закрыты. Сервисы защиты от ботов и предотвращения мошенничества ведут собственные замеры, и увидеть со стороны, какой балл у IP в их системе, нельзя. Поэтому публичные списки полезны как предварительная проверка. Окончательный ответ даёт реакция целевого сайта, на котором вы будете работать с этим IP.
Почему IP попадает в чёрный список?
Чаще всего IP оказывается в блэклисте по таким причинам:
- Рассылка спама. Если с IP уходили массовые нежелательные письма или почта приходила на адреса-ловушки (spam trap), он попадает в почтовые списки.
- Взломанное устройство. Компьютер, модем или сервер с вредоносной программой отправляет трафик ботнета без ведома владельца. Такие IP собирают списки вроде Spamhaus XBL.
- Атаки и сканирование. IP, с которых шли попытки перебора паролей, сканирование портов или попытки эксплуатации уязвимостей, попадают в базы жалоб, которые наполняет сообщество.
- Предыдущий пользователь. До того как статический IP выдали вам, им мог пользоваться кто-то другой. В ротационных пулах один IP за день обслуживает многих пользователей, и действия одного отражаются на всех остальных.
- Сетевая политика. Некоторые списки отмечают не злоупотребления, а тип сети. Spamhaus PBL перечисляет диапазоны IP, с которых не должна напрямую отправляться почта, например домашние и мобильные подключения. Если IP есть в этом списке, это не значит, что он «грязный».
На последнем пункте пользователи прокси ошибаются чаще всего. Большая часть резидентных и мобильных IP видна в PBL, потому что это домашние и операторские подключения. На веб-скрапинг, отслеживание цен или работу в соцсетях это не влияет.
Какие сигналы определяют репутацию IP?
Сайты не смотрят на какой-то один список, а оценивают несколько сигналов вместе. В таблице ниже собраны эти сигналы и способы проверить каждый из них:
| Сигнал | Что показывает | Как проверить |
|---|---|---|
| Запись в DNSBL | Есть ли IP в списках спама, ботнетов или политик | DNS-запрос через dig или страница проверки самого списка |
| Жалобы сообщества на злоупотребления | Сообщалось ли об атаках, сканировании или переборе паролей с этого IP | Поиск IP в базах жалоб |
| ASN и тип IP | Принадлежит ли IP дата-центру, домашнему интернет-провайдеру или мобильному оператору | Данные об ISP и организации в инструменте IP lookup |
| Согласованность геолокации | Совпадают ли страна и город IP с ожидаемой локацией | Инструмент IP lookup и страна, которую показывает целевой сайт |
| Обратная DNS-запись (PTR) | Похоже ли имя, с которым связан IP, на сервер или на домашнее подключение | dig -x <IP> |
| История на целевом сайте | Упирался ли IP раньше в лимиты запросов на этом сайте | Проба на небольшом объёме; доля 403, 429 и CAPTCHA |
ASN часто значит больше, чем списки. Многие сайты строже относятся к трафику из ASN дата-центров, даже если IP нет ни в одном блэклисте. Как по-разному сайты встречают резидентные и серверные IP, разобрано в сравнении residential vs datacenter.
Как проверить, есть ли IP прокси в блэклисте?
Проверка идёт в три шага: найдите реальный выходной IP прокси, проверьте его по спискам, затем проведите небольшую пробу на целевом сайте.
Адрес шлюза, к которому вы подключаетесь, не совпадает с IP, который видят сайты. Поэтому сначала узнайте выходной IP:
curl -s -x "http://USER:[email protected]:8989" https://api.ipify.org
Введите полученный IP в инструмент IP lookup и проверьте страну, город, ISP и организацию. Если вы купили резидентный продукт, в поле ISP должен быть домашний интернет-провайдер. Чтобы сравнить с IP собственного подключения, воспользуйтесь инструментом My IP.
Дальше проверьте IP в DNSBL. Для запроса октеты IP записывают в обратном порядке и ставят перед доменом списка. Для адреса 203.0.113.25 запрос к Spamhaus ZEN выглядит так:
dig +short 25.113.0.203.zen.spamhaus.org A
Пустой ответ (NXDOMAIN) значит, что IP в этом списке нет. Ответ вида 127.0.0.x значит, что IP в списке, а последнее число указывает на подсписок. Чтобы убедиться, что запрос работает, используйте адрес 127.0.0.2, который списки всегда держат у себя: dig +short 2.0.0.127.zen.spamhaus.org A должен вернуть ответ.
На запросы с публичных DNS-резолверов вроде Google или Cloudflare Spamhaus не отдаёт настоящий результат и возвращает 127.255.255.254. Бесплатные запросы разрешены только для некоммерческого использования. Поэтому проверяйте через собственный резолвер или DNS своего интернет-провайдера, а правила смотрите на странице Spamhaus об использовании DNSBL.
Если IP несколько, хватит короткого скрипта на Python, который делает то же самое средствами стандартной библиотеки:
import ipaddress
import socket
LISTS = ["zen.spamhaus.org", "bl.spamcop.net"]
def check(ip: str) -> dict:
reversed_ip = ".".join(reversed(str(ipaddress.IPv4Address(ip)).split(".")))
results = {}
for zone in LISTS:
try:
answer = socket.gethostbyname(f"{reversed_ip}.{zone}")
results[zone] = answer
except socket.gaierror:
results[zone] = None # нет в списке
return results
for ip in ["203.0.113.25", "198.51.100.7"]:
print(ip, check(ip))
Скрипт выводит для каждого IP, какой код вернул каждый список. None означает, что IP в списке нет. Если вы проверяете ротационный пул, одного IP мало, нужна выборка: получите выходной IP 20–30 раз и проверьте каждый, так картина по пулу будет точнее.
Как читать результат проверки по блэклисту?
Spamhaus ZEN одним запросом отвечает сразу по нескольким спискам. Коды ответа по таблице самого Spamhaus читаются так:
| Ответ | Список | Значение | Что делать при работе с прокси |
|---|---|---|---|
| Пусто (NXDOMAIN) | Нет | IP нет в этих списках | Переходите к небольшой пробе на целевом сайте |
127.0.0.2, 127.0.0.9 | SBL, DROP | Отмечен как источник спама или вредоносная сеть | Не используйте IP для аккаунтов и чувствительных задач |
127.0.0.3 | CSS | Почтовая рассылка с низкой репутацией | Вне почты влияние может быть ограниченным; проверьте на целевом сайте |
127.0.0.4 | XBL | Взломанное устройство или трафик ботнета | Не используйте для входа в аккаунты и долгих сессий |
127.0.0.10, 127.0.0.11 | PBL | Домашний или динамический диапазон, с которого не должна уходить почта | Для резидентных и мобильных IP это нормально; веб-задачам не мешает |
127.255.255.252–.255 | Ошибка | Неверный запрос, публичный резолвер или слишком много запросов | Ничего не говорит об IP; повторите запрос через собственный резолвер |
Попасть в один список и сразу в несколько — разные вещи. IP с записью в SBL или XBL, скорее всего, имеет низкий балл и в закрытых репутационных системах, которыми пользуются веб-сайты. А резидентный IP, который есть только в PBL, для веб-трафика остаётся обычным домашним подключением.
Отсутствие в списках тоже не гарантирует, что IP будет без проблем работать на любом сайте. Закрытые репутационные системы опираются на другие данные. Поэтому окончательное решение принимайте по пробе на целевом сайте: запросите несколько страниц и посмотрите на долю 403, 429 и CAPTCHA. Понять, пришли эти ошибки от прокси или от целевого сайта, поможет руководство по кодам ошибок прокси.
Что делать, если IP прокси в чёрном списке?
Всё зависит от типа продукта.
В ротационном продукте (rotating residential, rotating datacenter, ротационный мобильный) запись в списке у одного IP из пула почти ничего не меняет. При следующем запросе или по истечении sticky-интервала вы перейдёте на другой IP. Если вы работаете со sticky-сессией, новый IP можно получить, сменив идентификатор сессии. Как длительность сессии влияет на выбор IP, описано в руководстве по sticky и rotating прокси.
В статическом продукте (статический residential, статический datacenter, ISP-прокси) IP остаётся за вами весь срок тарифа. Поэтому проверяйте его сразу после покупки, до того как привяжете к аккаунту. Если увидите запись в SBL или XBL, напишите в поддержку, пока не начали пользоваться IP; варианты замены IP можно обсудить с ними. Запись только в PBL не повод менять резидентный IP.
Если IP попал в список, когда вы уже какое-то время им пользовались, сначала посмотрите на собственный трафик. Репутация статического IP во многом зависит от того, что с него отправляете вы. Слишком частые запросы, слишком много одновременных подключений или повторяющиеся неудачные попытки входа быстро приводят к тому, что IP помечают. Если сменить IP, не снизив частоту запросов, новый IP закончит тем же.
В большинстве списков есть процедура удаления записи (delisting). Ей занимается сеть, которой принадлежит IP; от вас как пользователя прокси не ждут, что вы будете подавать заявку сами.
Какой тип прокси выбрать для задач, где важна репутация?
Влияние репутации IP зависит от задачи. При сборе данных с общедоступных страниц история отдельных IP почти не важна, смотрят на общую долю успешных запросов по пулу. А в задачах со входом в аккаунт, работой в рекламном кабинете или долгими сессиями история конкретного IP напрямую влияет на результат.
| Задача | Рекомендуемый продукт | Почему с точки зрения репутации |
|---|---|---|
| Аккаунты, в которые долго входят с одного IP | Статический Residential IPv4 | IP выделен вам и не меняется весь срок тарифа; его репутацию определяет ваш трафик |
| Задачи в США, которым нужен стабильный постоянный IP, зарегистрированный за ISP | ISP Proxy | Статический IPv4, зарегистрированный за интернет-провайдером; для долгих сессий и проверки рекламы |
| Сбор данных на сайтах с частыми блокировками, мониторинг выдачи (SERP) и цен | Rotating Residential IPv4 | Если попался грязный IP, при следующем запросе вы перейдёте на другой |
| Сайты, принимающие IP дата-центров, и постоянный адрес для белого списка | Статический Datacenter IPv4 | Быстрый и постоянный; но ASN дата-центра некоторые сайты проверяют строже |
| Тесты мобильных приложений и соцсетей | Мобильный прокси | IP операторов из-за CGNAT делят многие пользователи; сайты осторожнее блокируют такие IP целиком |
Резидентные IP в WeProxy поступают из партнёрской SDK-программы на основе согласия. Статические резидентные пакеты для Турции работают в сетях Türk Telekom и Vodafone. ISP Proxy сейчас доступен в локации США, в пакетах Retail ISP и Mobile ISP. Чем различаются ISP и datacenter IP, подробно разобрано в статье ISP proxy vs datacenter proxy.
IP из открытых прокси-листов в эту таблицу не входят. Такими адресами одновременно пользуется множество людей, и большинство из них быстро оказывается в списках. Почему так происходит, объясняется в статье бесплатный или платный прокси.
Как сохранить репутацию IP?
Даже IP, чистый по всем спискам, при неправильном использовании быстро получает пометку. Работая со статическими и sticky IP, соблюдайте несколько правил:
- Подстраивайте частоту запросов под целевой сайт. Получив
429, увеличивайте паузу и соблюдайте заголовокRetry-After. Десятки запросов в секунду с одного IP упрутся в лимит, даже если этого IP нет ни в одном списке. - Разделяйте задачи. Не используйте статический IP, с которого входите в аккаунт, для массового сбора данных. Блокировка в одной задаче скажется и на другой задаче на том же IP.
- Привязывайте IP к сессии. Если входить в аккаунт каждый раз с IP из другой страны, это вызовет проверку безопасности, даже когда IP чистый. Для задач, которым нужна постоянная локация, берите статический или sticky IP.
- Защищайте доступ. Если ваши данные прокси попадут к кому-то ещё, репутацию вашего IP будет определять и его трафик. Храните логин и пароль в переменных окружения, а не в коде скриптов; если продукт поддерживает белый список IP, используйте его. Какой способ есть в каком продукте, перечислено в руководстве по аутентификации прокси.
- Проверяйте регулярно. Статические IP прогоняйте через Python-скрипт выше раз в неделю или перед привязкой к новому аккаунту. Если записывать результаты с датой и IP, будет видно, когда началась проблема.
Отправка почты через прокси вредит репутации IP быстрее всего, а рассылки спама запрещены политикой допустимого использования. При сборе данных соблюдайте условия целевого сайта и правила robots.txt, а если обрабатываете персональные данные, учитывайте требования GDPR и применимого законодательства о персональных данных.
Частые вопросы
Как узнать, есть ли IP прокси в блэклисте?
Сначала отправьте через прокси запрос на адрес вроде api.ipify.org и узнайте выходной IP. Запишите октеты этого IP в обратном порядке, поставьте их перед доменом списка, например zen.spamhaus.org, и выполните запрос через dig: пустой ответ значит, что IP в списке нет, ответ 127.0.0.x — что он там есть. Затем посмотрите ASN в инструменте IP lookup и проведите небольшую пробу на целевом сайте.
Плохо ли, что IP резидентного прокси есть в Spamhaus PBL?
Нет. PBL перечисляет диапазоны IP, с которых не должна напрямую отправляться почта, например домашние и мобильные подключения, и злоупотреблений не означает. Большая часть резидентных и мобильных IP видна в этом списке. На веб-скрапинг, отслеживание цен или работу в соцсетях это не влияет. Проблему указывают записи в SBL, CSS и XBL.
Что значит ответ 127.255.255.254 при запросе к Spamhaus?
Это не листинг, а код ошибки. На запросы с публичных DNS-резолверов вроде Google или Cloudflare Spamhaus не отдаёт настоящий результат и возвращает этот код. Ответ 127.255.255.252 указывает на ошибку в имени списка, а 127.255.255.255 — на слишком большое число запросов. Повторите проверку через собственный резолвер или DNS своего интернет-провайдера.
Будет ли IP, которого нет в блэклистах, работать на любом сайте?
Гарантии нет. Публичные списки в основном отражают злоупотребления в почте, а веб-сайты пользуются собственными данными защиты от ботов и предотвращения мошенничества и смотрят ещё и на тип ASN. Поэтому IP, чистый по спискам, проверьте на целевом сайте на нескольких страницах и следите за долей 403, 429 и CAPTCHA.
Что делать, если купленный статический IP прокси в блэклисте?
До привязки IP к аккаунту посмотрите, в каком списке и с каким кодом он значится. Если есть запись о злоупотреблениях, например в SBL или XBL, напишите в поддержку и спросите о вариантах замены IP. Запись только в PBL не повод менять резидентный IP. Если IP попал в список после того, как вы им уже пользовались, сначала проверьте собственную частоту запросов.









