如何使用 ScrapeBox 和 Smartproxy 爬取 URL?

您是否计划使用 ScrapeBox 从搜索引擎中抓取 URL? 为了避免 IP 被封,如今旋转代理是绕过 IP 黑名单的最佳解决方案之一。

scrapebox + smartproxy 用于搜索 URL

您想使用这种代理进行搜索吗? 当然!现在,越来越多的人使用旋转代理来使用 scrapeBox。为了让大家更详细地了解这一点,我想让大家知道如何使用带有后向连接代理的 scrapebox,我将使用 smartproxy 作为示例,它是廉价但有效的后向连接代理网络提供商之一。

ScrapeBox 简介

YouTube 视频

刮网或 网络搜刮 是从网站获取数据的方式。 ScrapeBox 是一个非常有用的工具,如果你想找到对搜索引擎优化有用的信息。例如,您可以抓取网站上所有租房广告的 URL,以找到最优惠的广告。如果网站很大,您就无法手动这样做。

ScrapeBox 是那些没有时间编写复杂脚本的用户的最佳选择。它有很多不错的设置,而且是单次付费程序,因此只需支付一次,无需每月付款。


使用 ScrapeBox 时为什么需要代理?

ScrapeBox 必须使用代理服务器,它有自己的公共代理服务器收集器,但需要时间工作,而且可能会出现死代理服务器。您也可以将自己的代理列表导入 ScrapeBox,如果您 购买专用 IP.

但今天我们要了解 ScrapeBox 是否能与 反向连接代理网络 Smartproxy.

您可以使用 Smartproxy 提供的旋转代理进行搜刮吗?

使用旋转代理的数据智能

Smartproxy 说它与 Scrapebox 完全兼容,因此我们首先要设置代理。它使用反向连接代理网络,因此我们无法在 ScrapeBox 中检查代理。

注意:虽然您可以使用 Scrapebox 的代理收割机来获取 免费公共代理效率真的很低!


如何使用 Smartproxy 设置 Scrapebox

代理设置非常简单,我们是这样做的:

  • 运行 ScrapeBox。

  • 然后,了解"使用代理" 在"选择收割机和代理"然后进行检查。

使用代理

  • 点击 编辑 在同一菜单中设置代理。

选择编辑

  • 智能代理使用用户:通行证或白名单 IP 进行身份验证,因此我们 输入验证信息 从我们的用户面板。

新增了 "用户名:密码 "和 "IP 验证 "两种方法!如果您还不知道如何使用住宅代理,可以阅读 使用 smartproxy 的详细指南.

使用 smartproxy

  • 节省 代理设置。它们显示在 选择收割机和代理 设置

  • 选择我们输入的代理,然后点击 修改.

  • 选择"将所有代理标记为非袜子代理".

字母 "N"(无)出现在 "S"(袜子)栏中的每个代理,您必须这样做,因为他们的代理只支持 HTTP(S) 协议!对于 ScrapeBox 来说,HTTP 代理足以抓取 URL。

选择 http 代理

  • 配置 ScrapeBox 的其他设置并进行测试:检查收割机状态是否显示 已启用代理.如果是,我们就可以进行测试了。

已启用代理

请注意: 不要检查 "代理状态!

ScrapeBox 的代理检查程序仅支持静态 IP 代理,这些类型的代理包括 旋转代理也称为反向连接代理 不支持测试,smartproxy 只是提供旋转反向连接代理的代理提供商之一。

智能代理如何工作

Smartproxy 的反向连接代理网络为每个连接轮换 IP因此您将始终拥有一个实时代理。ScrapeBox 检查是为静态代理列表设置的,静态代理列表可能有死代理。Smartproxy 会一直检查其代理,因此您无需在 ScrapeBox 中检查代理。

在 ScrapeBox 上设置代理后,就可以开始搜索目标了。我们将使用 ScrapeBox 附带的免费搜索引擎采集器进行关键字搜索测试。


如何使用 Scrapebox 和 Smartproxy 爬取关键字

这个简单的测试将显示 Smartproxy 是否能与 ScrapeBox 配合使用。我们选择关键词 "Pewdiepie "和 "Pewds"。只需将它们添加到采集器中即可。

我们可以输入更多关键字,但这对测试毫无用处,因此我们只需添加两个关键字。如果效果良好,我们就会有成百上千个相关的 URL 和关键字可用于搜索引擎优化分析。

定制足迹上传所有关键字后,点击 "开始采集",然后选择要采集的搜索引擎。同样,我们现在添加多少关键词都没有区别,因为 如果代理起作用,它们就会对任何数量的关键字起作用.

收获 URL我们为两个关键词挑选了六个搜索引擎:谷歌、雅虎搜索、必应和 YouTube,包括 Search.com 和 Ecosia.org 等不太流行的引擎。

在我们了解 Smartproxy 是否能在 ScrapeBox 上与所有这些设备配合使用之前(阅读更多测试 smartproxy 从 我们的评论页面),确保 Harvester 状态显示为 "已启用代理",然后点击 "开始"。

开始采集 URL从下面的截图中可以看到,从谷歌抓取近 1,000 个网址大约需要 10 秒钟,平均每秒抓取 119 个网址。

速度不错!最终结果甚至更好,因为我们获得的结果总数是谷歌的三倍。

输出收获的结果

请看下图,使用智能代理的 ScrapeBox 共搜索到 3,000 多个有关 "pewdiepie "和 "Pewds "的关键词:

结果1我们还检查了我们的 URL 列表,结果显示这次搜刮产生了 3,398 个 URL。不错。现在我们可以继续导出该列表,并将其用于其他搜索和研究等。

结果2


结论

如您所见、 ScrapeBox 与 Smartproxy 配合得很好因为我们以非常快的速度取得了成果,而且没有任何障碍。 反向连接旋转代理 与 ScrapeBox 配合使用效果很好,因为每次新连接都会获得一个新的 IP 地址。在 ScrapeBox 中使用 Smartproxy 要比使用代理采集器省事得多,因为代理采集器经常会出现死代理。

Smartproxy 允许您使用代理池中的所有代理(据说有 1,000 多万个 IP),这一点也很好,因为它可以为流量使用定价。举例来说 仅用了不到 10 MB.

我也想听听您对代理服务器的反馈意见,请在下面留言!

您喜欢这个代理主题吗?

点击星星即可评分!

平均评分 3.5 /5.计票: 4

目前没有投票!成为第一个给帖子评分的人。

发表评论

zh_CNChinese