Black FridaySpecial - USA & Europe - 100 MBPS: $999.00 thay vì $2,000.00. Mã: BLACKFRIDAY, đến hết 27 tháng 11.Xem gói
WeProxy

Hướng dẫn

Uy tín IP và blacklist: làm sao biết IP proxy có sạch không?

đọc 10 phút

Muốn biết một IP proxy có sạch không, hãy tra IP đầu ra trong các DNSBL, xem ASN và loại IP, rồi chạy thử một lượng nhỏ trên trang đích. Các tín hiệu quyết định uy tín IP, cách kiểm tra blacklist bằng dig và Python, ý nghĩa mã trả về của Spamhaus, cách xử lý IP bẩn và chọn sản phẩm theo công việc.

Tóm tắt nhanh

  • Uy tín IP là mức độ mà các trang web, máy chủ email và dịch vụ bảo mật tin tưởng một địa chỉ IP, dựa trên lưu lượng mà IP đó đã gửi đi trong quá khứ.
  • Khi kiểm tra IP proxy, cần tra IP đầu ra lấy qua proxy chứ không phải địa chỉ gateway; sau đó xem bản ghi DNSBL, ASN và loại IP, cùng tỷ lệ 403, 429 và CAPTCHA trên trang đích.
  • Trong Spamhaus ZEN, bản ghi SBL và XBL nghĩa là lạm dụng hoặc thiết bị bị chiếm quyền; còn bản ghi PBL là bình thường với dải IP hộ gia đình và di động, không phải vấn đề với việc trên web.
  • Spamhaus trả về 127.255.255.254 cho các truy vấn từ DNS resolver công cộng; đây là mã lỗi chứ không phải bản ghi trong danh sách, và cần truy vấn lại từ resolver của riêng bạn.
  • Với sản phẩm rotating, IP có tên trong danh sách sẽ được thay ở request tiếp theo; với sản phẩm tĩnh, hãy kiểm tra ngay sau khi mua, trước khi gắn IP vào tài khoản, và liên hệ đội hỗ trợ nếu thấy bản ghi SBL hoặc XBL.

Uy tín IP là mức độ mà các trang web, máy chủ email và dịch vụ bảo mật tin tưởng một địa chỉ IP, dựa trên lưu lượng mà IP đó đã gửi đi trong quá khứ. Để biết một IP proxy có sạch không, bạn tìm IP đầu ra, tra IP đó trong các blacklist dựa trên DNS (DNSBL), xem ASN và loại IP, rồi chạy thử một lượng nhỏ trên trang đích. Có tên trong blacklist không phải lúc nào cũng có nghĩa là IP đã bị lạm dụng; điều quan trọng là IP xuất hiện trong danh sách nào và với mã trả về nào.

Trong ngành proxy, cụm từ “IP sạch” được dùng rất nhiều, nhưng nó không ứng với một thước đo duy nhất. Một IP có thể sạch trên các danh sách email nhưng lại bị một nền tảng mạng xã hội nghi ngờ vì lịch sử trước đó. Vì vậy, việc kiểm tra cần làm theo đúng công việc mà bạn định dùng IP.

Uy tín IP là gì, bị đưa vào blacklist nghĩa là sao?

Mỗi địa chỉ IP đều có lịch sử của nó: thuộc mạng nào, ai đang dùng, gửi request tới những trang nào và với tần suất ra sao, có từng bị khiếu nại hay không. Các dịch vụ bảo mật thu thập những dữ liệu này và gán cho IP một mức uy tín. Dựa vào mức uy tín đó, trang web sẽ cho request đi qua ngay, hiện CAPTCHA hoặc chặn hẳn.

Blacklist (danh sách đen) là danh sách công bố những IP bị gắn với hành vi lạm dụng. Loại được biết đến nhiều nhất là các DNSBL trong lĩnh vực email. Máy chủ thư tra IP của kết nối gửi đến trong các danh sách này; nếu IP có tên, email sẽ bị từ chối hoặc bị chuyển vào thư mục spam. Cách truy vấn DNSBL và định dạng câu trả lời được quy định trong RFC 5782.

Còn dữ liệu uy tín mà các trang web sử dụng thì phần lớn không công khai. Các dịch vụ chống bot và chống gian lận tự lưu kết quả đo của riêng họ; từ bên ngoài, bạn không thể thấy đầy đủ điểm số của một IP trong mắt họ. Vì thế, các danh sách công khai chỉ có tác dụng như một bước kiểm tra sơ bộ. Kết quả thực sự là phản ứng của chính trang đích mà bạn định dùng IP.

Vì sao một IP bị đưa vào blacklist?

Những lý do phổ biến nhất khiến một IP bị đưa vào blacklist là:

  • Gửi spam. Nếu IP từng phát đi email hàng loạt không được yêu cầu, hoặc thư từ IP đó rơi vào các địa chỉ bẫy (spam trap), IP sẽ bị đưa vào các danh sách email.
  • Thiết bị bị chiếm quyền. Một máy tính, modem hoặc máy chủ nhiễm phần mềm độc hại sẽ gửi lưu lượng botnet mà chủ thiết bị không hề hay biết. Những danh sách như Spamhaus XBL thu thập các IP này.
  • Lưu lượng tấn công và quét. Những IP thử đăng nhập kiểu brute force, quét port hoặc thử khai thác lỗ hổng sẽ bị báo cáo lên các cơ sở dữ liệu do cộng đồng đóng góp.
  • Người dùng trước. Một IP tĩnh có thể đã được người khác dùng trước khi được cấp cho bạn. Trong các pool rotating, cùng một IP phục vụ nhiều người dùng trong ngày; việc một người làm sẽ ảnh hưởng đến những người khác cũng dùng IP đó.
  • Chính sách mạng. Một số danh sách không đánh dấu hành vi lạm dụng mà đánh dấu loại mạng. Spamhaus PBL liệt kê các dải IP không nên gửi email trực tiếp, như kết nối hộ gia đình và kết nối di động. Có tên trong danh sách này không có nghĩa là IP “bẩn”.

Điểm cuối cùng là chỗ người dùng proxy hay hiểu sai nhất. Phần lớn IP residential và mobile xuất hiện trong PBL, vì đó là kết nối hộ gia đình và kết nối của nhà mạng. Với web scraping, theo dõi giá hay công việc mạng xã hội, điều này không gây ảnh hưởng gì.

Những tín hiệu nào quyết định uy tín IP?

Trang web đánh giá nhiều tín hiệu cùng lúc, trong đó các danh sách chỉ là một phần. Bảng dưới đây liệt kê các tín hiệu đó và cách bạn có thể tự kiểm tra từng tín hiệu:

Tín hiệuCho biết điều gìCách kiểm tra
Bản ghi DNSBLIP có nằm trong danh sách spam, botnet hoặc danh sách chính sách hay khôngTruy vấn DNS bằng dig hoặc trang tra cứu riêng của từng danh sách
Báo cáo lạm dụng từ cộng đồngIP có từng bị báo cáo tấn công, quét hoặc thử brute force hay khôngTra cứu IP trên các cơ sở dữ liệu báo cáo
ASN và loại IPIP thuộc trung tâm dữ liệu, nhà cung cấp internet hộ gia đình hay nhà mạng di độngThông tin ISP và tổ chức qua công cụ tra cứu IP
Tính nhất quán về vị trí địa lýQuốc gia và thành phố của IP có khớp với vị trí bạn mong đợi hay khôngCông cụ tra cứu IP và quốc gia mà trang đích hiển thị
Bản ghi DNS ngược (PTR)IP được gắn với một tên giống máy chủ hay giống kết nối hộ gia đìnhdig -x <IP>
Lịch sử trên trang đíchIP đã từng bị giới hạn tốc độ trên trang đó hay chưaChạy thử với khối lượng nhỏ; xem tỷ lệ 403, 429 và CAPTCHA

Thông tin ASN thường có sức nặng hơn các danh sách. Nhiều trang web xử lý lưu lượng từ ASN của trung tâm dữ liệu chặt chẽ hơn, kể cả khi IP không có tên trong bất kỳ blacklist nào. Cách các trang web đối xử khác nhau với IP residential và datacenter được trình bày trong bài so sánh residential vs datacenter.

Kiểm tra IP proxy có bị blacklist không như thế nào?

Việc kiểm tra gồm ba bước: tìm IP đầu ra thực sự của proxy, tra IP này trong các danh sách, rồi chạy thử một lượng nhỏ trên trang đích.

Địa chỉ gateway mà bạn kết nối tới không phải là IP mà các trang web nhìn thấy. Vì vậy, trước tiên hãy lấy IP đầu ra:

curl -s -x "http://USER:[email protected]:8989" https://api.ipify.org

Nhập IP trả về vào công cụ tra cứu IP và kiểm tra quốc gia, thành phố, ISP và tổ chức. Nếu bạn mua sản phẩm residential, ô ISP phải hiện tên một nhà cung cấp internet hộ gia đình. Để so sánh với IP của chính kết nối bạn đang dùng, hãy dùng công cụ IP của tôi.

Sau đó, tra IP trong DNSBL. Truy vấn được tạo bằng cách đảo ngược thứ tự các octet của IP rồi ghép vào trước tên miền của danh sách. Với địa chỉ 203.0.113.25, truy vấn Spamhaus ZEN như sau:

dig +short 25.113.0.203.zen.spamhaus.org A

Nếu không có câu trả lời (NXDOMAIN), IP không nằm trong danh sách này. Nếu nhận được câu trả lời dạng 127.0.0.x, IP đang có tên trong danh sách; số cuối cho biết IP nằm trong danh sách con nào. Để thử xem truy vấn có chạy đúng không, hãy dùng địa chỉ 127.0.0.2, địa chỉ mà các danh sách luôn giữ trong danh sách: lệnh dig +short 2.0.0.127.zen.spamhaus.org A phải trả về một câu trả lời.

Spamhaus không trả kết quả thật cho các truy vấn đến từ DNS resolver công cộng như Google hay Cloudflare, mà trả về 127.255.255.254. Truy vấn miễn phí chỉ dành cho mục đích phi thương mại. Vì vậy, hãy chạy thử từ resolver của riêng bạn hoặc DNS của nhà cung cấp internet, và đọc quy định trên trang hướng dẫn sử dụng DNSBL của Spamhaus.

Nếu cần kiểm tra nhiều IP, một script Python ngắn chỉ dùng thư viện chuẩn là đủ để làm cùng việc này:

import ipaddress
import socket

LISTS = ["zen.spamhaus.org", "bl.spamcop.net"]

def check(ip: str) -> dict:
    reversed_ip = ".".join(reversed(str(ipaddress.IPv4Address(ip)).split(".")))
    results = {}
    for zone in LISTS:
        try:
            answer = socket.gethostbyname(f"{reversed_ip}.{zone}")
            results[zone] = answer
        except socket.gaierror:
            results[zone] = None  # không có trong danh sách
    return results

for ip in ["203.0.113.25", "198.51.100.7"]:
    print(ip, check(ip))

Với mỗi IP, script in ra danh sách nào trả về mã nào. None nghĩa là IP không có trong danh sách đó. Nếu bạn đang kiểm tra một pool rotating, đừng chỉ nhìn một IP mà hãy lấy mẫu: lấy IP đầu ra 20–30 lần rồi tra từng IP sẽ cho bạn hình dung chính xác hơn về tình trạng chung của pool.

Đọc kết quả blacklist thế nào?

Spamhaus ZEN trả về nhiều danh sách cùng lúc trong một truy vấn. Theo bảng mã của chính Spamhaus, các mã trả về được đọc như sau:

Câu trả lờiDanh sáchÝ nghĩaNên làm gì khi dùng proxy
Trống (NXDOMAIN)Không cóIP không nằm trong các danh sách nàyChuyển sang chạy thử nhỏ trên trang đích
127.0.0.2, 127.0.0.9SBL, DROPBị đánh dấu là nguồn spam hoặc mạng có ý đồ xấuKhông dùng IP cho tài khoản và việc nhạy cảm
127.0.0.3CSSGửi email có uy tín thấpẢnh hưởng có thể hạn chế với việc ngoài email; hãy thử trên trang đích
127.0.0.4XBLThiết bị bị chiếm quyền hoặc lưu lượng botnetKhông dùng để đăng nhập tài khoản và giữ phiên dài
127.0.0.10, 127.0.0.11PBLDải IP hộ gia đình hoặc IP động không nên gửi emailBình thường với IP residential và mobile; không phải vấn đề với việc trên web
127.255.255.252–.255LỗiTruy vấn sai, dùng resolver công cộng hoặc truy vấn quá nhiềuKhông cho biết gì về IP; hãy truy vấn lại từ resolver của riêng bạn

Có tên trong một danh sách khác với có tên trong nhiều danh sách cùng lúc. Một IP có bản ghi SBL hoặc XBL nhiều khả năng cũng bị chấm điểm thấp trong các hệ thống uy tín khép kín mà trang web sử dụng. Còn một IP residential chỉ xuất hiện trong PBL thì, xét về lưu lượng web, vẫn là một kết nối hộ gia đình bình thường.

Không có tên trong danh sách cũng không có nghĩa là IP sẽ chạy trơn tru trên mọi trang. Các hệ thống uy tín khép kín dùng dữ liệu khác. Vì vậy, quyết định cuối cùng dựa trên lần chạy thử ở trang đích: request vài trang, rồi xem tỷ lệ 403, 429 và CAPTCHA. Để phân biệt các mã lỗi này đến từ proxy hay từ trang đích, bạn có thể xem hướng dẫn mã lỗi proxy.

IP proxy bị blacklist thì phải làm gì?

Cách xử lý phụ thuộc vào loại sản phẩm.

Với sản phẩm rotating (rotating residential, rotating datacenter, rotating mobile), một IP trong pool có tên trong danh sách không phải là vấn đề lớn. Ở request tiếp theo, hoặc khi hết thời gian sticky, bạn sẽ chuyển sang một IP khác. Nếu đang dùng phiên sticky, bạn có thể đổi mã phiên (session ID) để nhận IP mới. Thời lượng phiên ảnh hưởng thế nào đến việc chọn IP được giải thích trong hướng dẫn proxy sticky và rotating.

Với sản phẩm tĩnh (static residential, static datacenter, ISP proxy), IP đi cùng bạn suốt thời hạn gói. Vì vậy, hãy kiểm tra ngay sau khi mua, trước khi gắn IP vào bất kỳ tài khoản nào. Nếu thấy bản ghi SBL hoặc XBL, hãy liên hệ đội hỗ trợ trước khi bắt đầu dùng IP; bạn có thể trao đổi với họ về các lựa chọn đổi IP. Riêng bản ghi PBL không phải là lý do để đổi một IP residential.

Nếu IP bị đưa vào danh sách sau một thời gian bạn sử dụng, hãy xem lại lưu lượng của chính mình trước. Uy tín của một IP tĩnh phụ thuộc phần lớn vào lưu lượng do bạn gửi đi. Request quá nhanh, quá nhiều kết nối cùng lúc hoặc những lần đăng nhập thất bại lặp đi lặp lại sẽ khiến IP bị đánh dấu trong thời gian ngắn. Đổi IP mà không giảm tốc độ request thì IP mới cũng sẽ rơi vào kết cục tương tự.

Phần lớn danh sách có quy trình gỡ tên (delisting). Quy trình này do mạng sở hữu IP thực hiện; với tư cách người dùng proxy, bạn không cần tự mình nộp yêu cầu.

Nên chọn loại proxy nào cho việc cần uy tín IP?

Mức ảnh hưởng của uy tín IP thay đổi theo từng công việc. Khi thu thập dữ liệu từ các trang công khai, lịch sử của từng IP riêng lẻ không quá quan trọng; người ta nhìn vào tỷ lệ thành công chung của pool. Ngược lại, với việc đăng nhập tài khoản, bảng quản lý quảng cáo hoặc công việc cần giữ phiên dài, lịch sử của một IP ảnh hưởng trực tiếp đến kết quả.

Công việcSản phẩm đề xuấtLý do xét về uy tín
Tài khoản đăng nhập lâu dài bằng cùng một IPStatic Residential IPv4IP dành riêng cho bạn, không đổi suốt thời hạn gói; uy tín do lưu lượng của bạn quyết định
Việc cần IP cố định, ổn định, đăng ký với ISP tại MỹISP ProxyIPv4 tĩnh đăng ký với nhà cung cấp dịch vụ internet; dùng cho phiên dài và xác minh quảng cáo
Thu thập dữ liệu, theo dõi SERP và giá trên trang hay chặn IPRotating Residential IPv4Nếu gặp phải IP bẩn, bạn chuyển sang IP khác ở request tiếp theo
Trang đích chấp nhận IP datacenter và địa chỉ cố định để thêm vào whitelistStatic Datacenter IPv4Nhanh và cố định; nhưng ASN trung tâm dữ liệu bị một số trang kiểm tra chặt hơn
Kiểm thử ứng dụng di động và mạng xã hộiMobile proxyIP nhà mạng được nhiều người dùng chia sẻ do CGNAT; trang web thận trọng hơn khi chặn hàng loạt các IP này

Ở WeProxy, IP residential đến từ một chương trình hợp tác SDK dựa trên sự đồng ý. Các gói static residential Thổ Nhĩ Kỳ đến từ mạng Türk Telekom và Vodafone. ISP Proxy hiện có ở vị trí Mỹ, với các gói Retail ISP và Mobile ISP. Khác biệt giữa IP ISP và IP datacenter được so sánh chi tiết trong bài ISP proxy vs datacenter proxy.

IP lấy từ các danh sách proxy mở nằm ngoài bảng này. Những địa chỉ đó bị rất nhiều người dùng cùng lúc và phần lớn nhanh chóng bị đưa vào các danh sách. Lý do được trình bày trong bài proxy miễn phí hay proxy trả phí.

Cần chú ý gì để giữ uy tín IP?

Một IP sạch trên các danh sách vẫn có thể bị đánh dấu nhanh chóng nếu dùng sai cách. Khi dùng IP tĩnh và IP sticky, hãy lưu ý những điểm sau:

  1. Điều chỉnh tốc độ request theo trang đích. Khi nhận 429, hãy tăng thời gian chờ và tuân theo header Retry-After. Gửi hàng chục request mỗi giây từ cùng một IP sẽ khiến bạn chạm giới hạn tốc độ, kể cả khi IP không có tên trong danh sách nào.
  2. Tách riêng các công việc. Đừng dùng IP tĩnh mà bạn đăng nhập tài khoản để thu thập dữ liệu hàng loạt. Bị chặn ở việc này sẽ ảnh hưởng cả việc kia trên cùng IP.
  3. Gắn IP với phiên. Mỗi lần đăng nhập vào một tài khoản lại dùng IP từ một quốc gia khác sẽ kích hoạt xác minh bảo mật, kể cả khi IP sạch. Với việc cần vị trí cố định, hãy dùng IP tĩnh hoặc IP sticky.
  4. Bảo vệ quyền truy cập. Nếu thông tin proxy của bạn rơi vào tay người khác, lưu lượng của họ cũng sẽ quyết định uy tín IP của bạn. Thay vì ghi cứng tên người dùng/mật khẩu trong script, hãy lưu chúng trong biến môi trường; nếu sản phẩm hỗ trợ, hãy dùng IP whitelist. Sản phẩm nào có phương thức nào được liệt kê trong hướng dẫn xác thực proxy.
  5. Kiểm tra định kỳ. Tra các IP tĩnh hằng tuần, hoặc trước khi gắn vào một tài khoản mới, bằng script Python ở trên. Nếu ghi kết quả kèm ngày và IP, bạn sẽ biết một vấn đề bắt đầu từ lúc nào.

Dùng proxy để gửi email là việc làm hỏng uy tín IP nhanh nhất, và việc gửi thư mang tính spam bị cấm theo chính sách sử dụng được chấp nhận. Khi thu thập dữ liệu, hãy tuân thủ điều khoản của trang đích và quy tắc robots.txt; nếu xử lý dữ liệu cá nhân, hãy đáp ứng các nghĩa vụ theo KVKK (Thổ Nhĩ Kỳ) và GDPR.

Câu hỏi thường gặp

Làm sao biết IP proxy có bị blacklist không?

Trước tiên, gửi request qua proxy tới một địa chỉ như api.ipify.org để lấy IP đầu ra. Đảo ngược các octet của IP này, ghép vào trước tên một danh sách như zen.spamhaus.org rồi truy vấn bằng dig; không có câu trả lời nghĩa là IP không có trong danh sách, còn câu trả lời dạng 127.0.0.x nghĩa là IP có tên. Sau đó, xem ASN bằng công cụ tra cứu IP và chạy thử một lượng nhỏ trên trang đích.

IP residential proxy xuất hiện trong Spamhaus PBL có phải vấn đề không?

Không. PBL liệt kê các dải IP không nên gửi email trực tiếp, như kết nối hộ gia đình và di động, và không có nghĩa là lạm dụng. Phần lớn IP residential và mobile đều xuất hiện trong danh sách này. Với web scraping, theo dõi giá hay công việc mạng xã hội, điều này không gây ảnh hưởng gì. Những bản ghi đáng lo là SBL, CSS và XBL.

Câu trả lời 127.255.255.254 khi truy vấn Spamhaus nghĩa là gì?

Đây là mã lỗi chứ không phải bản ghi trong danh sách. Spamhaus không trả kết quả thật cho các truy vấn đến từ DNS resolver công cộng như Google hay Cloudflare mà trả về mã này. 127.255.255.252 cho biết tên danh sách bị viết sai, còn 127.255.255.255 cho biết truy vấn quá nhiều. Hãy truy vấn lại từ resolver của riêng bạn hoặc DNS của nhà cung cấp internet.

IP không có trong blacklist có chạy trơn tru trên mọi trang không?

Không có gì bảo đảm điều đó. Các danh sách công khai chủ yếu đo hành vi lạm dụng email; còn trang web dùng dữ liệu chống bot và chống gian lận của riêng họ và cũng xét cả loại ASN. Vì vậy, với một IP sạch trên các danh sách, hãy chạy thử vài trang trên trang đích và theo dõi tỷ lệ 403, 429 và CAPTCHA.

IP proxy tĩnh vừa mua bị blacklist thì phải làm gì?

Trước khi gắn IP vào tài khoản, hãy xem IP xuất hiện trong danh sách nào và với mã nào. Nếu có bản ghi lạm dụng như SBL hoặc XBL, hãy liên hệ đội hỗ trợ và hỏi về các lựa chọn đổi IP. Riêng bản ghi PBL không phải là lý do để đổi một IP residential. Nếu IP bị đưa vào danh sách sau một thời gian sử dụng, hãy kiểm tra lại tốc độ request của chính bạn trước.

Bắt Đầu

Kiểm tra thiết lập proxy của bạn ngay hôm nay

Kiểm tra khả năng kết nối bằng các công cụ miễn phí hoặc trao đổi với bộ phận bán hàng để chọn gói phù hợp.