Бесплатный или платный прокси? Риски бесплатных прокси-листов

О бесплатном прокси неизвестно, кто владелец сервера, записывает ли он ваш трафик, встраивает ли код в страницы и для чего этот IP использовали раньше. У платного сервиса ответы на эти вопросы прописаны в договоре, на странице продукта и в канале поддержки.

Что такое бесплатный прокси и откуда берутся списки?

Бесплатные прокси-листы обычно составляются сканированием. Сайты со списками опрашивают IP-адреса в интернете на типичных прокси-портах (например, 8080, 3128, 1080), находят серверы, которые принимают подключения без аутентификации, и добавляют их в таблицу. Поэтому большая часть адресов в списке — вовсе не сервис, открытый намеренно. Чаще всего источники такие:

• Неправильно настроенные серверы. Squid или похожий прокси, который компания поставила для внутренней сети, остался открытым в интернет, потому что про правило доступа забыли. Владелец не знает, что через его сервер идёт ваш трафик.
• Взломанные устройства. Необновлённые модемы, IP-камеры или серверы вредоносная программа превращает в прокси. В этом случае вы, сами того не зная, пользуетесь чужим устройством.
• Серверы, открытые намеренно. Одни поднимают с добрыми намерениями, другие — чтобы собирать проходящий через них трафик. По списку не отличить одно от другого.

Метки страны, скорости и «анонимности» в списках тоже, как правило, отражают замер сканера на момент последней проверки. Через несколько часов тот же адрес может закрыться, замедлиться или начать вести себя иначе. Инструмент WeProxy бесплатный список прокси тоже показывает адреса, собранные из открытых источников; он нужен для поиска и сравнения, и за безопасность или время работы этих адресов никаких обязательств нет.

Какие риски несут бесплатные прокси-листы?

Прокси находится посередине вашего трафика. Тот, кто им управляет, видит метаданные трафика, а нешифрованный трафик может и прочитать целиком, и изменить. У бесплатного прокси вы не знаете, кто этот оператор, отсюда и все риски.

Одно из самых подробных исследований на эту тему — работа An Extensive Evaluation of the Internet’s Open Proxies, опубликованная на ACSAC 2018. Исследователи 50 дней тестировали более 107 000 открытых прокси с сайтов-списков и выяснили, что больше 92% прокси из списков вообще не отвечали на запросы. Среди работающих нашлись прокси, которые встраивали в страницы код для майнинга криптовалюты, проводили атаки «человек посередине» (MitM) на TLS-соединения и добавляли трояны удалённого доступа в скачиваемые программы.

На практике встречаются такие риски:

1. Подмена содержимого. В обычные HTTP-страницы может попасть реклама, код отслеживания или скрипт майнинга. Скачиваемый файл могут по дороге заменить другим.
2. Утечка учётных данных. Данные форм, cookie и заголовки Authorization, отправленные по HTTP, доходят до владельца прокси открытым текстом. На HTTPS-сайтах содержимое остаётся зашифрованным, но видно, к каким доменам вы подключаетесь.
3. Поддельный сертификат. Прокси может попытаться встать посередине со своим сертификатом. Браузер выдаст предупреждение; если его проигнорировать или запустить скрипт с отключённой проверкой сертификата (curl -k, verify=False), вы сами снимаете эту защиту.
4. Ведение логов. Какие сайты вы открывали и когда, может храниться вместе с вашим IP-адресом. Спросить, где и сколько хранятся эти записи, не у кого.
5. Грязная история IP. Тот же адрес могли использовать тысячи людей для спама, перебора паролей или автоматической регистрации. Целевые сайты часто блокируют такие IP или отправляют на CAPTCHA. Сайт может и связать с вами трафик других людей, приходящий с этого IP.
6. Нестабильность. Прокси может перестать работать через несколько часов. Задача скрапинга обрывается на середине, а сессии с выполненным входом приходится продолжать с нового IP из другой страны.

Трафик, выходящий со взломанного устройства, использует интернет-подключение владельца без его согласия. Помимо технического риска, это этическая и юридическая проблема. Источник прокси, который используется в работе, должен быть объяснимым.

Сравнительная таблица бесплатных и платных прокси

Каждая строка в столбце платного прокси у разных провайдеров выглядит по-разному. То, что сервис платный, само по себе не говорит о его безопасности; те же вопросы стоит задать и платному провайдеру.

Когда можно пользоваться бесплатным прокси?

Случаев, когда бесплатный прокси разумен, немного, и общее у них одно: трафик, который не страшно, если его прочитают или изменят по пути.

• Разобраться, как в клиенте настраивается прокси, пока вы только знакомитесь с самим понятием.
• Посмотреть, как ведёт себя написанный вами парсер или код обработки ошибок на медленных и обрывающихся соединениях.
• Один раз взглянуть, как выглядит из другой страны общедоступная страница, не требующая входа.

В этих случаях бесплатный прокси использовать нельзя:

• Вход в любой аккаунт (почта, соцсети, рекламный кабинет, банк, админ-панель).
• Работа от имени клиента и любые потоки с персональными данными. С точки зрения KVKK и GDPR пропускать данные через сервер неизвестной третьей стороны — решение, которое невозможно обосновать.
• Скачивание программ, драйверов или пакетов.
• Длительный скрапинг, мониторинг выдачи (SERP) или отслеживание цен. IP быстро отваливаются, большинство из них заблокированы, и работа постоянно прерывается.

Если вы не можете решить, какой тип IP нужен для задачи, загляните в статью о сценариях использования прокси: там отдельно разобраны SEO, сбор данных и реклама.

Как проверить бесплатный прокси?

Перед использованием прокси проверьте три вещи: работает ли он, с какого IP на самом деле выходит и добавляет ли что-то в ваш запрос. Во время этих проверок не отправляйте никаких учётных данных.

Начните с выходного IP. В команде ниже 203.0.113.10:8080 обозначает адрес из списка:

curl -s --max-time 10 -x "http://203.0.113.10:8080" https://api.ipify.org

Если вернулся IP, не совпадающий с адресом из списка, или ваш собственный IP, прокси работает не так, как вы ожидаете. Свой IP заранее запишите с помощью инструмента My IP.

Затем посмотрите, какие заголовки прокси добавляет к запросу:

curl -s --max-time 10 -x "http://203.0.113.10:8080" http://httpbin.org/headers

Если в выводе ваш реальный IP виден в заголовке X-Forwarded-For или Via, прокси передаёт вашу личность целевому сайту. Этот тест мы намеренно делаем по обычному HTTP: заголовки прокси может добавлять только в нешифрованный трафик. Тем же способом можно скачать страницу через прокси и без него, сравнить обе версии через sha256sum и увидеть подмену содержимого.

Для массовой проверки вставьте список в proxy checker. Инструмент покажет, какие адреса отвечают. Ответ прокси ещё не означает, что он безопасен. Если вы работаете через SOCKS5, выбирайте схему socks5h://, чтобы DNS-запросы тоже шли через прокси; как проверить утечки DNS и WebRTC в браузере, описано в руководстве по DNS-утечкам.

Для бесплатного прокси, прошедшего проверки, правило то же: никогда не игнорируйте предупреждение о сертификате и не отключайте проверку TLS в скриптах.

На что смотреть при покупке платного прокси?

Оплата сама по себе не делает прокси надёжным. До покупки вы должны найти на сайте провайдера ответы на такие вопросы:

1. Что это за компания? Юридическое название, адрес и договор должны быть в открытом доступе. WeProxy управляет WE1TOWN Pazarlama ve Bilişim Teknolojileri Ltd. Şti., компания зарегистрирована в ETBİS.
2. Откуда берутся IP? Источник резидентных IP должен быть раскрыт. В WeProxy резидентные адреса поступают из партнёрской SDK-программы на основе согласия: участников информируют, и они получают за это оплату.
3. Как защищён доступ? Прокси должен быть доступен только вам по логину и паролю или по белому списку IP. Какой способ поддерживается в каком продукте, перечислено по продуктам в руководстве по аутентификации прокси.
4. Понятны ли протокол и локации? Поддержка HTTP, SOCKS5 и UDP, список стран и поведение ротации должны быть указаны на странице продукта. Например, статические резидентные тарифы для Турции работают по HTTP и SOCKS5, UDP у них нет.
5. Есть ли политика допустимого использования? Политика допустимого использования, запрещающая злоупотребления, ограничивает использование IP из того же пула для спама или атак. А от этого напрямую зависит репутация IP.
6. Каковы условия пробного доступа и возврата? В WeProxy для Premium Rotating Residential есть бесплатный пробный доступ на 1 ГБ. Условия возврата прописаны в договоре оказания услуг; по резидентным тарифам деньги не возвращаются, поэтому сначала протестируйте сервис на пробном доступе или маленьком пакете.

Какой платный прокси выбрать вместо бесплатного?

Большинство пользователей, переходящих с бесплатных списков на платный сервис, ищут самый дешёвый вариант. Смотреть стоит на общую стоимость в расчёте на задачу, а не только на цену: дешёвый, но часто блокируемый IP из-за повторных попыток расходует больше трафика. Как это посчитать через стоимость успешного запроса, объясняется на странице дешёвый прокси.

В пакетах с оплатой за ГБ купленный трафик не ограничен по сроку: он остаётся на балансе, пока вы его не израсходуете, и не сгорает в конце месяца. Для небольших проектов, которые работают нерегулярно, это значит, что вы не платите за неиспользованный трафик. Подробнее о разнице между резидентными и серверными IP читайте в сравнении residential vs datacenter, а продукты бок о бок по сценариям использования собраны на странице купить прокси.

Платный прокси при первой настройке проверяйте так же: посмотрите выходной IP, а затем запустите задачу на небольшом объёме.

curl -s -x "http://USER:[email protected]:8989" https://api.ipify.org

Если получили ошибку вроде 407 или 502, понять, пришла она от прокси или от целевого сайта, поможет руководство по кодам ошибок прокси.

Несут ли бесплатный VPN и бесплатный прокси одинаковые риски?

В основном да. В обоих случаях трафик идёт через чужой сервер, а бесплатный сервис должен откуда-то покрывать расходы: реклама, сбор данных или перепродажа трафика другим клиентам. Разница в охвате. Бесплатный прокси видит только трафик приложения, в котором вы его указали, а бесплатный VPN пропускает через себя весь трафик устройства или его большую часть. Поэтому вредоносное VPN-приложение может увидеть больше данных. С другой стороны, у бесплатного VPN от известной компании есть политика конфиденциальности и есть к кому обратиться; у адреса из открытого прокси-листа нет ни того, ни другого.

Для каких задач используется каждая из двух технологий и почему они работают по-разному, разобрано в статье прокси или VPN. Если выбираете протокол, статья HTTP vs SOCKS5 описывает различия двух протоколов по безопасности и совместимости.

Бесплатные прокси-листы используйте только для проверок без входа в аккаунты, персональных данных и скачивания файлов и не отправляйте через них учётные данные. Когда речь идёт об аккаунтах, клиентах или регулярной работе, берите платный прокси с известным источником и защищённым доступом и соблюдайте условия целевого сайта, правила robots.txt и политику допустимого использования.