使用 Puppeteer 进行抓取或搜索时,您的 IP 是否被列入黑名单?你是否厌倦了被 recaptcha 屏蔽?再也不用担心了!
这篇文章将告诉你,如何防止在 Puppeteer 上被检测为僵尸,以及避免在使用 Puppeteer 进行刮擦时被列入黑名单和屏蔽的最佳 IP 解决方案!
目录
什么是 Puppeteer?
puppeteer 是谷歌为网络开发人员打造的一款工具。该工具是一个 Node 库,带有 高级 API 来控制无头和非无头浏览器、chrome 浏览器和 chromium 浏览器。
没有用户界面的网络浏览器被称为无头浏览器,它允许你自动控制网页。在真正的浏览器之上实现自动化,意味着你不再需要运行 javascript、渲染网页或跟踪重定向。
这种方法可以通过监控访问者的 cookie 和标题,成功、准确地访问采用拦截技术的目标网站。
为什么要使用 Puppeteer 这样的无头浏览器进行测试或扫描?
其主要优点是 使用无头浏览器的好处是可以实现测试和刮擦操作的自动化.像 Puppeteer 这样的无头浏览器没有 Flash Player 和其他类型的软件,而这些软件会向目标网站提供用户信息。没有了这些参数的烦恼,也就彻底摆脱了它们、 就能轻松提高成功率、 傀儡廻帮助您 防止在搜索时被列入黑名单.
与其他需要更多专业技术的无头浏览器相比,Puppeteer 是一种易于使用的自动化工具。Puppeteer 专为 Chrome 浏览器设计,通过提供模拟真实用户行为的能力,用于测试和自动化桌面应用程序。它可以测试网站的用户界面,确保其行为符合开发人员的预期。
有了 Puppeteer,你无需打开浏览器,就能轻松生成最终目的地的屏幕截图。Puppeteer 可帮助你使用 隐身模式 提供完全中立的环境,无 cookie、无缓存、无设备 指纹.这意味着每次打开浏览器时,就好像打开了一台全新的机器!
您可能会对以下内容感兴趣
为什么需要 Puppeteer 代理?
使用 Puppeteer 等自动化工具可以对环境的方方面面进行编码,但有一点是无法编码的,那就是 IP 地址。
毫无疑问,网站可以很容易地检测到网络搜刮行为 活动 根据 IP 地址,即使是正常浏览,有时也会要求您继续 验证码验证 因为你被谷歌检测为机器人,不是吗?
在不同国家或城市测试应用程序时需要使用代理。如果需要扫描多个页面,也必须使用代理。代理网络不仅可以让您在需要的地点模拟真实用户,还可以让您保持匿名,并提供所需的实时、准确数据。
使用 Puppeteer 代理,你可以运行 同时使用多个浏览器每个测试都使用一个唯一的 IP,并测试网站/应用程序的性能和速度。
为什么推荐使用 Puppeteer 的 Luminati?
Luminati 提供 4 个独立的网络,包括
它提供多种产品和超过 11 种 IP 类型,可满足您成功搜索和测试所需网站的一切需求。
Luminati 还提供免费的开源代理管理器,只需一个简单的下拉菜单,就能轻松控制代理及其参数。
在 Luminati 代理管理器您可以选择自己喜欢的用户代理,也可以在每个请求中使用随机用户代理。该软件还支持自定义用户代理和标题。
通过使用代理自动运行浏览器,您可以快速、轻松地测试应用程序,生成屏幕截图,并确保获得所需的用户体验!
买不起 Luminati? 这里 是其他一些住宅 IP 代理服务器提供商。
如何将 Puppeteer 与 Luminati 的超级代理连接起来
- 从您的 光辉仪表板 并点击 "创建区域"。
- 选择 "网络类型 "并点击保存。
- 在 Puppeteer 中的 "代理服务器 "值中填写 "代理 IP:端口",例如 zproxy.lum-superproxy.io:22225。
- 在 "page.authenticate "下的 "username "值中输入你的 Luminati 账户 ID 和代理区域名称,例如:lum-customer-CUSTOMER-zone-YOURZONE,以及你在区域设置中找到的区域密码。
例如
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
headless: false、
args: ['-proxy-server=zproxy.lum-superproxy.io:22225']。
});
const page = await browser.newPage();
await page.authenticate({
username: 'lum-customer-USERNAME-zone-YOURZONE'、
密码:"PASSWORD
});
await page.goto('http://lumtest.com/myip.json');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
如何将 Puppeteer 与 Luminati 的代理管理器连接起来
- 创建一个区域,其中包含您希望使用的网络、IP 类型和 IP 数量。
- 安装 Luminati 代理管理器。
- 单击 "添加新代理",选择所需的区域和设置,然后单击 "保存"。
- 在 Puppeteer 的 "代理服务器 "下输入本地 IP 和代理管理器端口(即 127.0.0.1:24000)。
- 本地主机 IP 地址为 127.0.0.1
- 在 Luminati 代理管理器中创建的端口为 24XXX,例如 24000。
- 用户名和密码值留空,因为 Luminati 代理管理器已通过超级代理验证。
例如
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch({
headless: false、
args: [‘–proxy-server=127.0.0.1:24000’]
});
const page = await browser.newPage();
await page.authenticate();
await page.goto('http://lumtest.com/myip.json');
await page.screenshot({path: 'example.png'});
await browser.close();
})();
使用无头浏览器 Puppeteer 和 Luminati 代理服务,可以轻松实现自动化操作。
通过将两者结合起来,您可以操纵发送的每个请求,查看网站/应用程序将如何响应。这样就能提取最准确的网络数据,并真正了解需要测试的应用程序的用户体验。
其他 Prxoy 提供商推荐
Nimbleway 为木偶匠
Nimbleway 是我要推荐的另一个提供商。这里推荐的这个代理网络是最好的 Puppeteer 代理,尤其适合企业使用。无论您是需要代理服务器来进行大规模的 Web 搜索,还是执行一些基于自动化的会话管理任务,他们的代理服务器都能满足您的需求。它有一个大型 IP 地址池供您使用。该网络支持 IP 自动轮换,但比其他供应商提供的服务更进一步。
对 Nimble 而言,人工智能优化引擎用于为每次请求的目标选择最佳 IP 地址,以提高请求成功的几率。虽然它是一个旋转式代理,但在会话管理方面却是最好的代理之一,因为它可以让你控制会话管理,让你能够长期保持会话。同样重要的是,它是市场上速度最快的住宅代理之一。
不过,它也是最昂贵的提供商之一。您至少需要 $600 才能开始使用这项服务,这样您就可以获得 75GB 的流量。对于这项服务,KYC 是强制性的,在 KYC 成功后,企业用户可以免费试用 22GB。
用于 Puppeteer 的 NetNut
NetNut 也是为 Puppeteer 数据和网络搜刮工具提供动力的不错选择。它提供的功能与我们推荐的其他产品大致相同。它提供了 5200 多万个居民 IP,其中 100 万个是静态和专用 IP。您还可以进行国家和城市级别的地理定位,它在 200 多个国家提供了多种产品和代理类型。
NetNut 还有一个非常全面的仪表板,可以监控代理网络上的活动。如果将其与 Puppeteer 自带的本地分析窗口结合起来,你就拥有了一个无与伦比的组合。
API 设计也是 NetNut 软件包的一个强项。将他们的 API 集成到现有的 Puppeteer 设置中是无缝和轻松的。此外,我们还大力支持并鼓励使用 Puppeteer 和其他优秀的网络搜刮工具实现自动化。
也许,NetNut 的与众不同之处在于,如果在使用其平台时遇到困难,他们会指派一名专门的客户经理帮助解决。这一点不容忽视。技术上的事情并不总是如人所愿,所以经验丰富的客户经理会在你最不经意的时候派上用场。
说到代理服务器的定价,我们喜欢他们的 6 级计划结构。这让企业和公司能够很容易地根据自己的需求和预算进行操作。您还可以利用慷慨的 7 天免费试用期来衡量服务的性能是否符合您的期望,特别是在与 Puppeteer 配对时。
您好
我需要帮助。我在哪里可以以低廉的价格获得私人代理?
我需要 Verizon、At&T、Spectrum、Comcast 代理...请帮我找到这些代理...
谢谢
建议您试试 soax.io