Black FridaySpecial - USA & Europe - 100 MBPS: $999.00 thay vì $2,000.00. Mã: BLACKFRIDAY, đến hết 27 tháng 11.Xem gói
WeProxy

Hướng dẫn

Proxy với Playwright và Puppeteer: thiết lập đúng cho tự động hóa trình duyệt

đọc 11 phút

Trong Playwright, proxy được khai báo bằng đối tượng proxy trong lời gọi launch hoặc newContext; trong Puppeteer, bằng --proxy-server hoặc createBrowserContext cùng page.authenticate. IP riêng cho từng context, giới hạn SOCKS5 có mật khẩu, sticky session, tiết kiệm lưu lượng và bảng lỗi.

Tóm tắt nhanh

  • Trong Playwright, proxy được truyền vào chromium.launch() hoặc browser.newContext() bằng đối tượng proxy: { server, username, password }; mật khẩu nằm ở trường riêng nên không cần percent-encode.
  • Trong Puppeteer, địa chỉ proxy được truyền qua tham số --proxy-server hoặc createBrowserContext({ proxyServer }); tên người dùng và mật khẩu được nhập bằng page.authenticate() ở từng trang, trước page.goto().
  • Chromium không hỗ trợ SOCKS5 proxy có tên người dùng và mật khẩu: Playwright báo lỗi khi khởi động, Puppeteer trả về ERR_NO_SUPPORTED_PROXIES. Giải pháp là địa chỉ HTTP của gói hoặc cầu nối cục bộ bằng proxy-chain.
  • Khi sai mật khẩu proxy, Puppeteer không ném lỗi mà page.goto() trả về phản hồi có trạng thái 407; vì vậy cần kiểm tra giá trị status() của phản hồi.
  • Với sticky session, mở một context riêng cho mỗi session ID giúp cookie và IP đầu ra nằm chung một đơn vị; với gói trả theo GB, chặn hình ảnh giúp giảm lưu lượng.

Trong Playwright, proxy được khai báo bằng đối tượng proxy: { server, username, password } truyền vào lời gọi chromium.launch() hoặc browser.newContext(). Trong Puppeteer, địa chỉ proxy được đưa cho Chrome qua tham số --proxy-server hoặc qua createBrowserContext({ proxyServer }), còn tên người dùng và mật khẩu được nhập bằng page.authenticate(). Ở cả hai công cụ, Chromium không hỗ trợ SOCKS5 proxy có tên người dùng và mật khẩu; khi gặp trường hợp này, bạn dùng địa chỉ HTTP của gói hoặc một cầu nối cục bộ.

Trong tự động hóa trình duyệt, thiết lập proxy hoạt động khác với các HTTP client như requests hay fetch. Mọi hình ảnh, script và lời gọi API mà trang tải về đều đi ra từ cùng một proxy, và chính trình duyệt đảm nhận việc xác thực. Các ví dụ dùng địa chỉ gateway của WeProxy là gw.weproxy.com.tr:8989. USER và PASSWORD là thông tin đăng nhập trong bảng điều khiển của bạn. Toàn bộ ví dụ đã được chạy với Playwright 1.65, Puppeteer 25 và Chrome 158 trên một proxy test cục bộ.

Viết địa chỉ proxy trong Playwright và Puppeteer như thế nào?

Cả hai công cụ đều nhận proxy server theo dạng scheme://host:port. Dù site đích dùng HTTPS, địa chỉ HTTP proxy vẫn bắt đầu bằng http://; trình duyệt gửi request CONNECT tới proxy và thiết lập kết nối TLS bên trong tunnel đó. Playwright coi địa chỉ viết không có scheme như gw.weproxy.com.tr:8989 là HTTP proxy.

Đừng viết tên người dùng và mật khẩu vào trong địa chỉ. Playwright nhận chúng ở các trường riêng của đối tượng proxy, còn Puppeteer nhận qua page.authenticate(). Vì vậy, dù mật khẩu chứa @ hay :, bạn cũng không cần percent-encode; trên proxy test, mật khẩu p@ss:word chạy được ở cả hai công cụ mà không cần mã hóa. Mật khẩu viết trên dòng lệnh còn hiện ra trong danh sách tiến trình của hệ thống.

Thay vì nhúng thông tin đăng nhập vào code, hãy giữ chúng trong biến môi trường:

export WEPROXY_USERNAME="USER"
export WEPROXY_PASSWORD="PASSWORD"

Nếu bảng điều khiển cho bạn danh sách dạng ip:port:user:pass, công cụ chuyển đổi định dạng proxy sẽ giúp tách các dòng này. Chi tiết về các định dạng có trong hướng dẫn định dạng proxy.

Dùng proxy trong Playwright như thế nào?

Cách ngắn nhất là truyền proxy khi khởi động trình duyệt. Mọi context và trang mở từ trình duyệt này đều đi ra từ cùng một proxy:

import { chromium } from 'playwright';

const browser = await chromium.launch({
  proxy: {
    server: 'http://gw.weproxy.com.tr:8989',
    username: process.env.WEPROXY_USERNAME,
    password: process.env.WEPROXY_PASSWORD,
  },
});

const page = await browser.newPage();
await page.goto('https://api.ipify.org?format=json');
console.log(await page.textContent('body')); // {"ip":"<IP đầu ra của proxy>"}

await browser.close();

Phiên bản Python nhận cùng các trường dưới dạng dictionary:

import os
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(proxy={
        "server": "http://gw.weproxy.com.tr:8989",
        "username": os.environ["WEPROXY_USERNAME"],
        "password": os.environ["WEPROXY_PASSWORD"],
    })
    page = browser.new_page()
    page.goto("https://api.ipify.org?format=json")
    print(page.text_content("body"))
    browser.close()

Nếu một số địa chỉ không được đi qua proxy, hãy ghi các tên miền cách nhau bằng dấu phẩy vào trường bypass, ví dụ bypass: 'localhost, .internal.example'. Thiết lập này tiện cho các dịch vụ cục bộ trong môi trường test. Nếu cần gửi request ngoài trình duyệt bằng Python, hãy xem các ví dụ requests và httpx trong bài dùng proxy trong Python.

Gán proxy riêng cho từng context trong Playwright như thế nào?

Trong Playwright, context là một profile trình duyệt riêng, có cookie và bộ nhớ lưu trữ của nó. Nếu truyền proxy vào lời gọi browser.newContext(), bạn có thể dùng nhiều IP đầu ra chỉ với một tiến trình trình duyệt:

import { chromium } from 'playwright';

const browser = await chromium.launch();

const proxied = await browser.newContext({
  proxy: {
    server: 'http://gw.weproxy.com.tr:8989',
    username: process.env.WEPROXY_USERNAME,
    password: process.env.WEPROXY_PASSWORD,
  },
});
const direct = await browser.newContext();

const p1 = await proxied.newPage();
const p2 = await direct.newPage();
await p1.goto('https://api.ipify.org');
await p2.goto('https://api.ipify.org');
console.log(await p1.textContent('body'), await p2.textContent('body'));

await browser.close();

Trong lúc test, mọi request của context có proxy đều đi qua proxy, còn context thứ hai kết nối trực tiếp. Ở các phiên bản Playwright cũ trên Windows, muốn dùng proxy cho context thì phải truyền thêm một proxy giữ chỗ vào lời gọi launch; với Playwright 1.65 thì không cần nữa. Proxy gán cho context cũng được dùng cho các request API gửi bằng context.request; muốn truy vấn một endpoint JSON mà không mở trang, bạn không phải dựng thêm HTTP client riêng.

Dùng proxy có tên người dùng và mật khẩu trong Puppeteer như thế nào?

Puppeteer nhận proxy qua tham số --proxy-server của Chrome. Thông tin đăng nhập được truyền ở từng trang bằng page.authenticate(), và lời gọi này phải đặt trước page.goto():

import puppeteer from 'puppeteer';

const browser = await puppeteer.launch({
  args: ['--proxy-server=http://gw.weproxy.com.tr:8989'],
});

try {
  const page = await browser.newPage();
  await page.authenticate({
    username: process.env.WEPROXY_USERNAME,
    password: process.env.WEPROXY_PASSWORD,
  });

  const res = await page.goto('https://api.ipify.org?format=json');
  if (res.status() === 407) throw new Error('Proxy từ chối thông tin đăng nhập');
  console.log(await page.evaluate(() => document.body.innerText));
} finally {
  await browser.close();
}

Khi test với mật khẩu sai, page.goto() không ném lỗi mà trả về một phản hồi có mã trạng thái 407; script không kiểm tra status() có thể lưu trang lỗi của proxy như dữ liệu thật. Theo tài liệu Puppeteer, page.authenticate() bật chặn request (request interception) ở phía sau; khi chạy nhiều trang, việc này làm chậm đi một chút.

Với các gói proxy chạy bằng IP whitelist, bạn không cần page.authenticate(), nhưng IP đầu ra của máy chạy code phải được đăng ký trong bảng điều khiển. Phương thức nào áp dụng cho sản phẩm nào được liệt kê thành bảng trong hướng dẫn xác thực proxy. Bản rút gọn của các bước cài đặt có trên trang tích hợp Puppeteer.

Gán proxy khác nhau cho từng context trong Puppeteer như thế nào?

--proxy-server áp dụng cho toàn bộ trình duyệt. Ở các phiên bản Puppeteer hiện tại, lời gọi browser.createBrowserContext() nhận các tùy chọn proxyServer và proxyBypassList; nhờ đó, trong cùng một tiến trình Chrome, mỗi context có thể dùng một proxy khác nhau:

const browser = await puppeteer.launch();

const ctx = await browser.createBrowserContext({
  proxyServer: 'http://gw.weproxy.com.tr:8989',
  proxyBypassList: ['localhost'],
});
const page = await ctx.newPage();
await page.authenticate({
  username: process.env.WEPROXY_USERNAME,
  password: process.env.WEPROXY_PASSWORD,
});
await page.goto('https://api.ipify.org');

Thông tin đăng nhập được truyền ở cấp trang chứ không ở cấp context, nên với mỗi trang mới mở trong context, bạn phải gọi lại page.authenticate(). Nếu phiên bản Puppeteer cũ không có tùy chọn này, bạn cần mở một tiến trình puppeteer.launch() riêng cho mỗi proxy.

Dùng SOCKS5 proxy trong tự động hóa trình duyệt như thế nào?

Chromium không hỗ trợ xác thực bằng tên người dùng và mật khẩu cho SOCKS5 proxy. Trong trường hợp này, Playwright hoàn toàn không khởi động trình duyệt và báo lỗi Browser does not support socks5 proxy authentication. Trong Puppeteer, nếu bạn viết thông tin đăng nhập theo dạng --proxy-server=socks5://user:pass@host:port, trang sẽ không mở được và báo net::ERR_NO_SUPPORTED_PROXIES. SOCKS5 proxy không cần xác thực thì chạy bình thường ở cả hai công cụ.

Nếu gói của bạn cũng cung cấp HTTP, hãy dùng địa chỉ HTTP trong trình duyệt; với lưu lượng của trang web, SOCKS5 không mang lại lợi thế gì. Nếu bắt buộc phải dùng SOCKS5, giải pháp là mở trên máy một cầu nối HTTP cục bộ không cần xác thực. Gói proxy-chain làm việc này chỉ với một dòng:

import puppeteer from 'puppeteer';
import { anonymizeProxy, closeAnonymizedProxy } from 'proxy-chain';

const user = encodeURIComponent(process.env.WEPROXY_USERNAME);
const pass = encodeURIComponent(process.env.WEPROXY_PASSWORD);
const local = await anonymizeProxy(`socks5://${user}:${pass}@gw.weproxy.com.tr:8989`);
// local: http://127.0.0.1:<port>

const browser = await puppeteer.launch({ args: [`--proxy-server=${local}`] });
const page = await browser.newPage();
await page.goto('https://api.ipify.org');
console.log(await page.evaluate(() => document.body.innerText));

await browser.close();
await closeAnonymizedProxy(local, true);

Vì địa chỉ cầu nối là một URL, ở đây mật khẩu được mã hóa bằng encodeURIComponent. Cầu nối cục bộ chỉ lắng nghe trên 127.0.0.1; cách này cũng dùng được trong Playwright dưới dạng server: local. Khác biệt giữa HTTP và SOCKS5 được giải thích trong bài HTTP vs SOCKS5. Mobile 5G Proxy dùng SIM thật chỉ chạy với HTTP, nên với sản phẩm này bạn không cần cầu nối.

So sánh thiết lập proxy giữa Playwright và Puppeteer

Tính năngPlaywrightPuppeteer
Proxy cho toàn trình duyệtlaunch({ proxy: { server } })args: ['--proxy-server=...']
Proxy cho từng contextnewContext({ proxy })createBrowserContext({ proxyServer })
Tên người dùng và mật khẩuproxy.username, proxy.passwordpage.authenticate() ở từng trang
Địa chỉ không đi qua proxybypass: 'a.com, .b.com'proxyBypassList hoặc --proxy-bypass-list
SOCKS5 có mật khẩuKhông hỗ trợ, lỗi khi khởi độngKhông hỗ trợ, ERR_NO_SUPPORTED_PROXIES
Hành vi khi sai mật khẩupage.goto() ném lỗipage.goto() trả về phản hồi 407
Ngôn ngữ hỗ trợJavaScript, Python, Java, .NETJavaScript

Trong Playwright, thông tin đăng nhập là một phần của thiết lập proxy, nên với tác vụ nhiều context, code ngắn hơn. Nếu dự án đã xây trên Puppeteer thì không cần đổi công cụ; createBrowserContext cho bạn sự linh hoạt tương tự.

Loại proxy nào phù hợp cho tự động hóa trình duyệt?

Trình duyệt tạo ra lưu lượng lớn hơn nhiều so với HTTP client. Chỉ một trang sản phẩm, với hình ảnh, font và script, đã có thể nặng vài megabyte. Vì vậy, sản phẩm được chọn theo cả đích lẫn mô hình thanh toán:

Tác vụSản phẩm phù hợpLý do
Scraping nhiều trang, SERP và kiểm tra giáRotating Residential IPv4Session sticky và rotating, nhắm theo quốc gia và thành phố, HTTP và SOCKS5
Đích khối lượng lớn, không có lớp bảo vệRotating Datacenter IPv4Trả theo GB, session sticky 1–5 phút
Phiên dài cần đăng nhập, IP cố định cho mỗi tài khoảnISP Proxy hoặc Static Residential IPv4IP không đổi suốt thời hạn gói; Static Residential không giới hạn lưu lượng
Giao diện di động và test ứng dụngMobile 5G ProxySIM thật, chỉ HTTP và tên người dùng/mật khẩu

Với các sản phẩm trả theo GB, chặn hình ảnh và media giúp giảm lưu lượng rõ rệt. Trong Playwright, một route ở cấp context là đủ:

await context.route('**/*', (route) => {
  const type = route.request().resourceType();
  return ['image', 'media', 'font'].includes(type) ? route.abort() : route.continue();
});

Với các việc như đọc giá hay tồn kho, bạn không cần giao diện của trang; phần lớn trường hợp chỉ cần văn bản và dữ liệu JSON-LD. Cách dựng hệ thống theo dõi giá trong mùa khuyến mãi được trình bày chi tiết trong hướng dẫn theo dõi giá Black Friday. Cách chọn loại IP và kiểu session cho scraping cũng có trên trang web scraping.

Ghép sticky session với context của trình duyệt như thế nào?

Với gateway rotating, địa chỉ proxy giữ nguyên còn IP đầu ra thay đổi theo pool. Nhưng trong luồng đăng nhập, giỏ hàng hay form nhiều bước, mọi bước đều phải đi ra từ cùng một IP. Trong các pool residential của WeProxy, bạn thêm một session ID vào username để làm việc này. Định dạng username và thời lượng session khác nhau theo sản phẩm, hãy lấy từ bảng điều khiển.

Trong tự động hóa trình duyệt, cách ghép gọn nhất là mở một context riêng cho mỗi session. Khi đó cookie, bộ nhớ lưu trữ và IP đầu ra nằm chung trong một đơn vị:

import { chromium } from 'playwright';

// Username được copy từ bảng điều khiển; mỗi profile mang session ID riêng.
const PROFILES = ['USER_WITH_SESSION_1', 'USER_WITH_SESSION_2'];

const browser = await chromium.launch();
for (const username of PROFILES) {
  const context = await browser.newContext({
    proxy: {
      server: 'http://gw.weproxy.com.tr:8989',
      username,
      password: process.env.WEPROXY_PASSWORD,
    },
    locale: 'vi-VN',
    timezoneId: 'Asia/Ho_Chi_Minh',
  });
  const page = await context.newPage();
  await page.goto('https://api.ipify.org');
  console.log(username, await page.textContent('body'));
  await context.close();
}
await browser.close();

locale và timezoneId giúp site hiển thị ngôn ngữ và định dạng ngày phù hợp với quốc gia của proxy; trang mở bằng IP Việt Nam sẽ không hiện ngày theo kiểu tiếng Anh hay một đơn vị tiền tệ khác. Hai context không được dùng chung session ID. Tác vụ nào cần sticky, tác vụ nào cần rotating được trình bày kèm bảng tình huống trong hướng dẫn chọn sticky hay rotating. Các thiết lập đồng bộ tương tự cho trình duyệt antidetect có trong bài trình duyệt antidetect + proxy.

Làm sao xác minh proxy đang hoạt động và các lỗi có nghĩa là gì?

Cách test ngắn nhất là mở hai context, một có proxy và một không, trong cùng trình duyệt rồi so sánh kết quả api.ipify.org. Nếu hai giá trị giống nhau thì thiết lập proxy chưa tới được trình duyệt. Để xem quốc gia và mạng của IP đầu ra, hãy dùng công cụ My IP. Để test proxy độc lập với code, hãy dùng proxy checker; một proxy chạy được ở đó nhưng không chạy trong trình duyệt cho thấy vấn đề nằm ở thiết lập của script.

Các lỗi ghi nhận với Chrome 158 trên proxy test:

Tình huốngPlaywrightPuppeteer
Không truyền thông tin đăng nhậpnet::ERR_INVALID_AUTH_CREDENTIALSnet::ERR_INVALID_AUTH_CREDENTIALS
Sai mật khẩunet::ERR_HTTP_RESPONSE_CODE_FAILUREKhông có lỗi, trạng thái phản hồi 407
Không kết nối được tới proxynet::ERR_PROXY_CONNECTION_FAILEDnet::ERR_PROXY_CONNECTION_FAILED
HTTP proxy viết với https://net::ERR_PROXY_CONNECTION_FAILEDnet::ERR_PROXY_CONNECTION_FAILED
SOCKS5 có mật khẩuBrowser does not support socks5 proxy authenticationnet::ERR_NO_SUPPORTED_PROXIES

Với lỗi xác thực, thử lại không thay đổi kết quả; trước tiên hãy kiểm tra gói còn hoạt động không và username có khớp với bảng điều khiển không. Nếu ERR_PROXY_CONNECTION_FAILED xuất hiện liên tục, có thể mạng bạn đang dùng hoặc nhà cung cấp cloud đang chặn kết nối ra port 8989. Sau khi đã kết nối được tới proxy, các mã như 403 và 429 từ đích đến từ tầng nào được giải thích trong hướng dẫn mã lỗi proxy. Với các mã này, thử lại với khoảng chờ tăng dần và giảm mức đồng thời thường là đủ.

Tuân thủ và bảo mật trong tự động hóa trình duyệt

Nếu bạn viết script thu thập dữ liệu, dù request đi qua proxy, bạn vẫn cần tuân thủ file robots.txt (RFC 9309) và điều khoản sử dụng của website đích, đồng thời giữ số context chạy đồng thời ở mức site chịu được. Nếu bạn xử lý dữ liệu cá nhân, các nghĩa vụ theo quy định bảo vệ dữ liệu cá nhân (ví dụ GDPR) vẫn áp dụng, bất kể có dùng proxy hay không. Những cách sử dụng được phép và không được phép với dịch vụ WeProxy được ghi trên trang chính sách sử dụng chấp nhận được.

Ảnh chụp màn hình và file trace chứa nội dung trang, đôi khi cả cookie của phiên; hãy kiểm tra trước khi chia sẻ. Đừng in mật khẩu proxy ra log hay thông báo lỗi. Với các request ngoài trình duyệt, ví dụ undici và axios trong bài dùng proxy trong Node.js chạy với cùng thông tin proxy như Playwright. Các tùy chọn API chi tiết có trong tài liệu proxy của Playwright và tài liệu BrowserContextOptions của Puppeteer.

Câu hỏi thường gặp

Khai báo proxy có tên người dùng và mật khẩu trong Playwright như thế nào?

Hãy truyền đối tượng proxy vào lời gọi chromium.launch() hoặc browser.newContext(): trường server nhận địa chỉ http://host:port, còn username và password nhận thông tin trong bảng điều khiển của bạn. Vì thông tin đăng nhập không nằm trong địa chỉ, mật khẩu chứa @ hay : cũng không cần mã hóa. Trong Python, các trường này được truyền bằng dictionary p.chromium.launch(proxy={...}). Mọi context và trang mở từ trình duyệt này đều đi ra từ cùng một proxy.

Xác thực proxy trong Puppeteer như thế nào?

Hãy khởi động trình duyệt với tham số --proxy-server=http://host:port và gọi page.authenticate({ username, password }) ở mỗi trang mới, trước page.goto(). Đừng thêm thông tin đăng nhập vào địa chỉ --proxy-server; Chromium không hỗ trợ dạng này và mật khẩu sẽ hiện trong danh sách tiến trình. Khi sai mật khẩu, Puppeteer không ném lỗi mà trả về phản hồi có trạng thái 407, nên hãy kiểm tra giá trị status() của kết quả page.goto().

Trong một trình duyệt, các trang khác nhau có dùng proxy khác nhau được không?

Được, ở cấp context. Trong Playwright, mỗi lời gọi browser.newContext() nhận một đối tượng proxy riêng. Ở các phiên bản Puppeteer hiện tại, browser.createBrowserContext({ proxyServer }) làm cùng việc đó, còn thông tin đăng nhập vẫn được nhập bằng page.authenticate(). Các trang trong cùng một context dùng chung một proxy; nếu muốn mỗi trang có proxy riêng, hãy mở một context riêng cho từng trang.

Tại sao Playwright báo lỗi “Browser does not support socks5 proxy authentication”?

Chromium không hỗ trợ xác thực bằng tên người dùng và mật khẩu cho SOCKS5 proxy, và Playwright phát hiện điều này trước khi khởi động trình duyệt. Nếu gói của bạn cũng cung cấp HTTP, hãy dùng địa chỉ HTTP trong trình duyệt. Nếu bắt buộc dùng SOCKS5, hãy mở một cầu nối HTTP không cần xác thực trên 127.0.0.1 bằng hàm anonymizeProxy của gói proxy-chain, rồi đưa địa chỉ đó cho trình duyệt.

Giảm lưu lượng proxy trong tự động hóa trình duyệt như thế nào?

Hình ảnh, font và video chiếm phần lớn lưu lượng. Trong Playwright, hãy dùng context.route() để abort các request thuộc loại image, media và font; trong Puppeteer, việc tương tự được làm với page.setRequestInterception(true). Với các tác vụ đọc giá, tồn kho hay văn bản, bạn không cần giao diện của trang. Với các gói rotating trả theo GB, thiết lập này giúp giảm lượng tiêu thụ rõ rệt.

Bắt Đầu

Kiểm tra thiết lập proxy của bạn ngay hôm nay

Kiểm tra khả năng kết nối bằng các công cụ miễn phí hoặc trao đổi với bộ phận bán hàng để chọn gói phù hợp.