您是否计划使用 ScrapeBox 从搜索引擎中抓取 URL? 为了避免 IP 被封,如今旋转代理是绕过 IP 黑名单的最佳解决方案之一。
您想使用这种代理进行搜索吗? 当然!现在,越来越多的人使用旋转代理来使用 scrapeBox。为了让大家更详细地了解这一点,我想让大家知道如何使用带有后向连接代理的 scrapebox,我将使用 smartproxy 作为示例,它是廉价但有效的后向连接代理网络提供商之一。
ScrapeBox 简介

刮网或 网络搜刮 是从网站获取数据的方式。 ScrapeBox 是一个非常有用的工具,如果你想找到对搜索引擎优化有用的信息。例如,您可以抓取网站上所有租房广告的 URL,以找到最优惠的广告。如果网站很大,您就无法手动这样做。
ScrapeBox 是那些没有时间编写复杂脚本的用户的最佳选择。它有很多不错的设置,而且是单次付费程序,因此只需支付一次,无需每月付款。
使用 ScrapeBox 时为什么需要代理?
ScrapeBox 必须使用代理服务器,它有自己的公共代理服务器收集器,但需要时间工作,而且可能会出现死代理服务器。您也可以将自己的代理列表导入 ScrapeBox,如果您 购买专用 IP.
但今天我们要了解 ScrapeBox 是否能与 反向连接代理网络 Smartproxy.
您可以使用 Smartproxy 提供的旋转代理进行搜刮吗?
Smartproxy 说它与 Scrapebox 完全兼容,因此我们首先要设置代理。它使用反向连接代理网络,因此我们无法在 ScrapeBox 中检查代理。
注意:虽然您可以使用 Scrapebox 的代理收割机来获取 免费公共代理效率真的很低!
如何使用 Smartproxy 设置 Scrapebox
代理设置非常简单,我们是这样做的:
-
运行 ScrapeBox。
-
然后,了解"使用代理" 在"选择收割机和代理"然后进行检查。
- 点击 编辑 在同一菜单中设置代理。
-
智能代理使用用户:通行证或白名单 IP 进行身份验证,因此我们 输入验证信息 从我们的用户面板。
新增了 "用户名:密码 "和 "IP 验证 "两种方法!如果您还不知道如何使用住宅代理,可以阅读 使用 smartproxy 的详细指南.
-
节省 代理设置。它们显示在 选择收割机和代理 设置
-
选择我们输入的代理,然后点击 修改.
-
选择"将所有代理标记为非袜子代理".
字母 "N"(无)出现在 "S"(袜子)栏中的每个代理,您必须这样做,因为他们的代理只支持 HTTP(S) 协议!对于 ScrapeBox 来说,HTTP 代理足以抓取 URL。
-
配置 ScrapeBox 的其他设置并进行测试:检查收割机状态是否显示 已启用代理.如果是,我们就可以进行测试了。
请注意: 不要检查 "代理状态!
ScrapeBox 的代理检查程序仅支持静态 IP 代理,这些类型的代理包括 旋转代理也称为反向连接代理 不支持测试,smartproxy 只是提供旋转反向连接代理的代理提供商之一。
Smartproxy 的反向连接代理网络为每个连接轮换 IP因此您将始终拥有一个实时代理。ScrapeBox 检查是为静态代理列表设置的,静态代理列表可能有死代理。Smartproxy 会一直检查其代理,因此您无需在 ScrapeBox 中检查代理。
在 ScrapeBox 上设置代理后,就可以开始搜索目标了。我们将使用 ScrapeBox 附带的免费搜索引擎采集器进行关键字搜索测试。
如何使用 Scrapebox 和 Smartproxy 爬取关键字
这个简单的测试将显示 Smartproxy 是否能与 ScrapeBox 配合使用。我们选择关键词 "Pewdiepie "和 "Pewds"。只需将它们添加到采集器中即可。
我们可以输入更多关键字,但这对测试毫无用处,因此我们只需添加两个关键字。如果效果良好,我们就会有成百上千个相关的 URL 和关键字可用于搜索引擎优化分析。
上传所有关键字后,点击 "开始采集",然后选择要采集的搜索引擎。同样,我们现在添加多少关键词都没有区别,因为 如果代理起作用,它们就会对任何数量的关键字起作用.
我们为两个关键词挑选了六个搜索引擎:谷歌、雅虎搜索、必应和 YouTube,包括 Search.com 和 Ecosia.org 等不太流行的引擎。
在我们了解 Smartproxy 是否能在 ScrapeBox 上与所有这些设备配合使用之前(阅读更多测试 smartproxy 从 我们的评论页面),确保 Harvester 状态显示为 "已启用代理",然后点击 "开始"。
从下面的截图中可以看到,从谷歌抓取近 1,000 个网址大约需要 10 秒钟,平均每秒抓取 119 个网址。
速度不错!最终结果甚至更好,因为我们获得的结果总数是谷歌的三倍。
请看下图,使用智能代理的 ScrapeBox 共搜索到 3,000 多个有关 "pewdiepie "和 "Pewds "的关键词:
我们还检查了我们的 URL 列表,结果显示这次搜刮产生了 3,398 个 URL。不错。现在我们可以继续导出该列表,并将其用于其他搜索和研究等。
结论
如您所见、 ScrapeBox 与 Smartproxy 配合得很好因为我们以非常快的速度取得了成果,而且没有任何障碍。 反向连接旋转代理 与 ScrapeBox 配合使用效果很好,因为每次新连接都会获得一个新的 IP 地址。在 ScrapeBox 中使用 Smartproxy 要比使用代理采集器省事得多,因为代理采集器经常会出现死代理。
Smartproxy 允许您使用代理池中的所有代理(据说有 1,000 多万个 IP),这一点也很好,因为它可以为流量使用定价。举例来说 仅用了不到 10 MB.
我也想听听您对代理服务器的反馈意见,请在下面留言!