Mobile proxy hoạt động thế nào? 4G/5G, CGNAT và IP rotation

Việc chọn sản phẩm, thời gian sticky và cách kiểm tra dựa trên ba câu hỏi: IP được cấp ở đâu trong mạng nhà mạng, CGNAT chia một địa chỉ cho bao nhiêu người và sự kiện nào làm IP thay đổi.

Mobile proxy là gì, lưu lượng đi qua đường nào?

Một yêu cầu qua mobile proxy đi qua năm điểm dừng:

1. Client (trình duyệt, script hoặc ứng dụng) kết nối tới gateway của proxy bằng tên người dùng và mật khẩu.
2. Gateway chuyển yêu cầu tới một modem hoặc điện thoại có SIM. Thiết bị này kết nối vào mạng nhà mạng như một thuê bao bình thường.
3. Thiết bị đến trạm phát sóng qua kết nối vô tuyến: eNodeB ở 4G, gNodeB ở 5G.
4. Trạm phát sóng chuyển lưu lượng vào mạng lõi của nhà mạng. Cổng gói dữ liệu được gọi là P-GW ở 4G và UPF ở 5G; địa chỉ IP của thiết bị được quản lý tại đây.
5. CGNAT ở lối ra của mạng lõi dịch địa chỉ nội bộ của thiết bị sang một trong các địa chỉ IPv4 công khai của nhà mạng, và yêu cầu đến trang đích bằng địa chỉ đó.

Trang đích chỉ thấy bước cuối: một IP công khai thuộc nhà mạng. Trong cơ sở dữ liệu IP, chủ sở hữu IP này được ghi là nhà mạng di động và loại kết nối hiển thị là “cellular” hoặc “mobile”. Công cụ IP lookup cho biết cổng ra thuộc mạng nào qua ASN và tên nhà cung cấp.

Thiết bị có thể là một trong những modem xếp trên giá trong trung tâm dữ liệu, cũng có thể là một chiếc điện thoại hoạt động ngoài thực địa. Ở cả hai trường hợp, phía nhà mạng thấy cùng một thứ: một thuê bao có SIM, kết nối vào mạng di động.

Địa chỉ IP trong mạng di động đến từ đâu?

Khi điện thoại bật dữ liệu di động, nó thiết lập một phiên dữ liệu với nhà mạng. Ở 4G gọi là kết nối PDN, ở 5G gọi là phiên PDU. Phiên được mở qua một APN (Access Point Name) và nhà mạng cấp cho thiết bị một địa chỉ cho phiên đó. Địa chỉ giữ nguyên trong suốt phiên; khi phiên đóng và mở lại, thiết bị có thể nhận địa chỉ mới.

Địa chỉ cấp cho thiết bị thường không định tuyến được trên internet. Với IPv4, nhà mạng phần lớn cấp địa chỉ từ khối 100.64.0.0/10 được RFC 6598 dành cho sử dụng nội bộ của nhà mạng, hoặc từ các dải địa chỉ riêng. Thiết bị thấy địa chỉ nội bộ này trên giao diện mạng của mình. Còn với lưu lượng đi ra từ proxy, địa chỉ trang đích nhìn thấy là IP công khai do CGNAT gán.

Với IPv6 thì khác. Nhiều nhà mạng cấp cho thiết bị một tiền tố IPv6 riêng, và lưu lượng IPv6 đi ra mà không qua NAT. Một số mạng chỉ cấp IPv6 cho thuê bao; việc truy cập các trang IPv4 được thực hiện bằng các phương pháp chuyển đổi như 464XLAT, định nghĩa trong RFC 6877. Vì vậy cùng một SIM có thể hiện ra với địa chỉ IPv6 trên trang hỗ trợ IPv6, và với địa chỉ IPv4 của CGNAT trên trang chỉ dùng IPv4. Khác biệt giữa hai giao thức ở phía proxy được trình bày trong bài IPv4 vs IPv6.

Vì sao CGNAT khiến IP di động trở thành IP dùng chung?

Địa chỉ IPv4 khan hiếm, và nhà mạng không thể cấp cho mỗi thuê bao trong hàng triệu thuê bao một IPv4 công khai. CGNAT giải quyết vấn đề này bằng cách chia sẻ cổng. Kết nối của nhiều thuê bao cùng lúc đi ra từ một IP công khai; thiết bị NAT phân biệt kết nối nào thuộc thuê bao nào dựa vào số cổng nguồn. RFC 6888 định nghĩa các quy tắc chung mà NAT của nhà mạng phải tuân theo, chẳng hạn giữ cùng một IP bên ngoài cho một thuê bao qua các kết nối trong chừng mực có thể và giới hạn việc một thuê bao dùng hết toàn bộ cổng.

Việc dùng chung có hai hệ quả đối với trang đích.

Thứ nhất, chỉ riêng địa chỉ IP không xác định được một người. Nếu máy chủ chỉ ghi lại IP, nó không thể phân biệt hàng trăm thuê bao cùng lúc truy cập từ IP đó. Vì lý do này, RFC 6302 khuyến nghị các máy chủ công khai trên internet ghi thêm cổng nguồn và dấu thời gian chính xác bên cạnh IP. Nếu một nền tảng chặn hoàn toàn một IP phía sau CGNAT, nó cũng chặn luôn những người dùng thật đang dùng địa chỉ đó vào lúc ấy. Do đó, việc chặn vĩnh viễn IP di động ít khi được áp dụng; nền tảng dựa nhiều hơn vào tín hiệu tài khoản, thiết bị và hành vi.

Thứ hai, hành vi của một thuê bao khác dùng chung IP có thể ảnh hưởng đến yêu cầu của bạn. Lưu lượng dày đặc và đáng ngờ từ cùng địa chỉ trong cùng một phút có thể dẫn đến xác minh bổ sung hoặc CAPTCHA cho tất cả những ai truy cập từ địa chỉ đó.

IP di động tự nó không làm một tài khoản hay một yêu cầu trở nên “an toàn”. Các yêu cầu dồn dập mang dấu vân tay trình duyệt desktop vẫn trông không nhất quán dù đến từ IP di động. Dù dùng loại IP nào, vẫn phải tuân thủ cơ chế kiểm soát tài khoản và hành vi của nền tảng; tại WeProxy, khuôn khổ này được ghi trong quy định sử dụng được chấp nhận.

Giữa 4G và 5G, điều gì thay đổi đối với mobile proxy?

Hành vi IP mà trang đích nhìn thấy ở 4G và 5G phần lớn giống nhau. Ở cả hai công nghệ, nhà mạng cấp địa chỉ trong mạng lõi và lưu lượng IPv4 phần lớn đi ra qua CGNAT. Khác biệt nằm ở lớp vô tuyến và cấu trúc mạng lõi.

Hiện nay nhiều mạng 5G hoạt động ở chế độ NSA (non-standalone): kết nối vô tuyến dùng 5G nhưng mạng lõi là mạng lõi của 4G. Ở chế độ này, việc cấp IP đi theo cùng con đường như 4G. Ở 5G SA (standalone), mạng lõi cũng là 5G và cổng gói dữ liệu là UPF; với thuê bao, địa chỉ vẫn được cấp theo từng phiên.

Trên thực tế, thứ 5G mang lại cho người dùng proxy là băng thông cao hơn. Độ trễ vẫn dao động theo chất lượng tín hiệu, tải của trạm phát sóng và việc chuyển qua lại giữa 4G/5G. Không thể đoán tốc độ chỉ dựa vào tên công nghệ; hãy đo trên đích của chính bạn.

IP rotation trên mobile proxy được thực hiện thế nào?

IP của thiết bị di động đổi khi phiên dữ liệu đóng và mở lại. Mọi phương pháp rotation đều kích hoạt sự kiện này theo những cách khác nhau.

Ở bốn phương pháp đầu, IP mới đến từ pool địa chỉ của cùng nhà mạng. ASN, quốc gia và thường cả khu vực không đổi; chỉ địa chỉ thay đổi. Vì pool của nhà mạng có hạn, việc một IP bạn từng thấy quay lại sau vài lần làm mới là bình thường. Nếu nhà mạng làm mới phiên trong quá trình bảo trì của họ, IP cũng có thể đổi ngoài ý muốn của bạn. Vì vậy, thay vì gắn một phiên dài vào một IP di động duy nhất, hãy lên kế hoạch trước cho cách phiên tiếp tục khi IP thay đổi.

Link reset thường là một địa chỉ lấy từ bảng điều khiển và được gọi bằng một yêu cầu HTTP đơn giản. Trong ví dụ dưới đây, RESET_LINK là chỗ giữ cho địa chỉ hiển thị trong bảng điều khiển:

# Làm mới IP, chờ mạng kết nối lại, in ra IP đầu ra mới
curl -s "RESET_LINK"
sleep 15
curl -s -x "http://USER:[email protected]:8989" https://api.ipify.org

Thời gian chờ là để thiết bị kết nối lại với mạng. Trong lúc làm mới, proxy có thể không phản hồi trong chốc lát; script của bạn nên xử lý lỗi trong khoảng này bằng cách thử lại.

Rotation trong pool là một mô hình khác. Phía sau gateway có nhiều thiết bị di động; ở chế độ rotating, mỗi yêu cầu đi tới một thiết bị khác, ở chế độ sticky, yêu cầu đi tới cùng một thiết bị trong một khoảng thời gian nhất định. Chi tiết về lựa chọn sticky hay rotating có trong hướng dẫn sticky vs rotating.

Mobile proxy SIM thật và pool mobile rotating khác nhau thế nào?

WeProxy có hai sản phẩm mobile, tương ứng với hai mô hình ở trên.

Mobile 5G Proxy (SIM thật) cấp cho bạn một kết nối 5G dành riêng. IP đổi bằng auto-rotate theo khoảng thời gian bạn đặt hoặc bằng link reset vào lúc bạn muốn; khi bạn chưa kích hoạt, cổng ra vẫn nằm trên cùng một kết nối. Gói Lite gồm Israel, Anh, Áo và Ý; gói Premium gồm các nước đó và thêm Texas, Florida và New York ở Mỹ. Vị trí được chọn từ bảng điều khiển mà không cần đổi gói. Gói theo tuần hoặc tháng, không giới hạn băng thông. Giao thức chỉ có HTTP, và kết nối chỉ được thiết lập bằng tên người dùng và mật khẩu.

Rotating Mobile IPv4 Proxy là một pool gồm các IP nhà mạng 4G/5G. Pool có hơn 180 vị trí; bạn có thể đổi IP ở mỗi yêu cầu hoặc mở phiên sticky ngắn. Sản phẩm hỗ trợ HTTP và SOCKS5, tính phí theo GB, và GB đã mua được giữ trong số dư, không giới hạn thời gian.

Lựa chọn phụ thuộc vào việc ai nên quản lý việc đổi IP. Nếu bạn muốn giữ một luồng ứng dụng trên cùng IP nhà mạng hàng giờ và tự kích hoạt việc đổi IP, sản phẩm SIM thật là phù hợp. Nếu bạn cần chạy nhiều lần kiểm tra độc lập từ các quốc gia khác nhau, pool hiệu quả hơn. Quyết định chung giữa mobile và residential có trong bài mobile vs residential, còn so sánh mọi loại proxy có trong hướng dẫn residential, mobile, datacenter và ISP proxy.

Làm sao xác minh một IP của mobile proxy?

Bạn có thể kiểm tra trong vài phút xem cổng ra bạn mua hoặc đang dùng thử có thực sự đến từ nhà mạng di động hay không, và rotation có hoạt động như mong đợi hay không. Script Python dưới đây gửi các yêu cầu liên tiếp qua cùng một proxy và in ra IP đầu ra cùng thời gian của từng yêu cầu:

import time
import requests

proxy = "http://USER:[email protected]:8989"
proxies = {"http": proxy, "https": proxy}

seen = []
for i in range(10):
    start = time.perf_counter()
    try:
        ip = requests.get("https://api.ipify.org", proxies=proxies, timeout=(10, 30)).text
    except requests.RequestException as exc:
        print(f"{i + 1}. yêu cầu  lỗi: {exc.__class__.__name__}")
        time.sleep(5)
        continue
    elapsed_ms = (time.perf_counter() - start) * 1000
    seen.append(ip)
    print(f"{i + 1}. yêu cầu  IP: {ip}  thời gian: {elapsed_ms:.0f} ms")
    time.sleep(3)

print("số IP khác nhau:", len(set(seen)))

Thay USER, PASSWORD, host và port bằng giá trị trong bảng điều khiển. Các thiết lập khác ở phía Python được trình bày trong hướng dẫn dùng proxy trong Python.

Thứ tự kiểm tra:

1. Ghi lại IP của bạn khi không dùng proxy bằng công cụ My IP. Không IP nào trong kết quả của script được trùng với địa chỉ này.
2. Tra các IP trả về bằng công cụ IP lookup. ASN phải thuộc một nhà mạng di động, quốc gia phải khớp với vị trí bạn đã chọn.
3. Kiểm tra rotation. Ở chế độ rotating của pool, IP phải đổi ở mỗi yêu cầu; ở chế độ sticky, IP phải giữ nguyên. Với sản phẩm SIM thật, IP phải giữ nguyên cho đến khi bạn gọi link reset hoặc đến khoảng auto-rotate.
4. Đọc thời gian. Trên kết nối di động, thời gian dao động; hãy xem trung vị và các yêu cầu chậm nhất thay vì một lần đo duy nhất.
5. Nếu không kết nối được, trước hết hãy xác nhận proxy có phản hồi bằng proxy checker. 407 chỉ ra vấn đề thông tin xác thực, còn 502 và timeout chỉ ra vấn đề ở phía cổng ra; chi tiết có trong hướng dẫn mã lỗi proxy.

Vì sản phẩm SIM thật chỉ hỗ trợ HTTP, đừng kiểm tra bằng công cụ yêu cầu SOCKS5; công cụ sẽ không kết nối được và lỗi bị tưởng là do proxy.

Khi nào cần mobile proxy, khi nào không cần?

IP di động tạo khác biệt ở những công việc mà nền tảng đích mong đợi lưu lượng từ mạng di động hoặc có cách xử lý riêng với mạng của nhà mạng:

• Kiểm thử cách một ứng dụng di động hoạt động trên mạng nhà mạng ở các quốc gia khác nhau, cùng với nội dung theo khu vực và các chuyển hướng.
• Kiểm tra chiến dịch quảng cáo di động hiển thị thế nào ở quốc gia đích, từ IP nhà mạng di động; quy trình được mô tả trên trang xác minh quảng cáo.
• Dùng các tài khoản mạng xã hội được quản lý qua ứng dụng di động từ IP nhà mạng của cùng một quốc gia. Các luồng phía nền tảng có trong tình huống sử dụng proxy mạng xã hội, còn cách chọn riêng cho Instagram có trong hướng dẫn proxy cho Instagram.

Ở những công việc sau, chi phí thêm của IP di động thường không đáng:

• Thu thập dữ liệu khối lượng lớn từ các trang web công khai. Pool rotating residential hoặc datacenter hiệu quả hơn cho việc này.
• Theo dõi kết quả tìm kiếm theo thành phố. Nhắm mục tiêu theo thành phố của pool residential tiện hơn cho việc này.
• Web panel cần cùng một IP trong nhiều ngày. Vì IP di động cũng có thể đổi từ phía nhà mạng, residential tĩnh hoặc ISP proxy cho kết quả dễ dự đoán hơn.

Dù chọn loại IP nào, với công việc liên quan đến dữ liệu cá nhân, các nghĩa vụ theo KVKK và GDPR, điều khoản sử dụng của trang đích và quy tắc robots.txt vẫn được áp dụng.