你想在不暴露真实 IP 地址的情况下匿名在线从网页中抓取数据吗？那么请阅读下面的指南，了解其中的技巧。
网络搜索对企业、营销人员、研究机构甚至政府都非常有用。有了它，就能以自动化方式快速收集互联网上的网络数据。
然而，这是互联网网站最不支持的任务之一。大多数网站都不喜欢被搜刮，因此都建立了识别网络搜刮者的系统，以阻止他们。
有趣的是，只有在被识别的情况下，你才会被屏蔽。这意味着，如果您能使用 VPN（如 冲浪鲨这样就可以避免被拦截。而检测从你被识别开始。虽然网站在识别网络搜刮者方面正变得越来越智能和有效，但这只适用于低质量的网络搜刮者。
利用正确的工具和技术，你仍然可以隐藏你的网络搜索痕迹，避免被屏蔽。本文将讨论其中涉及的方法。
如何通过匿名避免被屏蔽
要想在网上被识别，首先要知道网站用来识别你的指针。所有网站都会使用的最明显的指针是 IP 地址。这是唯一分配给互联网上每台计算机的数字标识符。大多数网站的反垃圾邮件系统都有一些请求率限制功能。
这主要是指在一段时间内只允许来自单个 IP 地址的特定数量的请求。这个比率被视为正常用户的自然比率。众所周知，网络刮擦程序会发送过多请求，这也是网络刮擦程序容易被阻止的原因。
解决匿名问题的办法是拥有多个 IP 地址并在其中轮流使用。比方说，你需要从 10K 个网页中抓取数据，并能访问 500 个 IP 地址，那么请求将在这 500 个 IP 地址之间共享。
这样，每个 IP 就有 20 个请求，与通过同一 IP 地址发送 10K 个请求相比，这在短时间内是可以接受的。为了提高效率，有一些服务可以为你轮换 IP 地址。让我们来看看这方面的选项。
-
使用轮流 VPN 服务
VPN 服务通过虚拟专用网络为您提供安全、私密的互联网访问。其最显著的特点是可以用一个替代 IP 地址来掩盖你的真实 IP 地址。在默认情况下，大多数 VPN 服务都不会频繁轮换你的 IP 地址，而轮换的频率足以让你执行网络搜刮任务。
一些流行的 VPN 服务支持轮换 IP，但你必须在设置中进行配置。 冲浪鲨, NordVPN和 ExpressVPN 确实支持这一点。设置完成后，你就不必在网络搜刮器中进行任何设置了，因为 VPN 软件会在系统级别上工作，并强制所有网络流量通过它们创建的安全隧道。
关于轮换 VPN，你需要知道的一点是，无论它们轮换得多好，重复使用同一个 IP 地址的几率都相当高。这是因为 VPN 服务不像住宅代理网络那样拥有数以百万计的 IP 地址池。正是由于这个原因，即使你可以使用旋转 VPN 搜刮网页，但这种技术并不为人所知，因为它不是一种有效的网页搜刮方法。
毫无疑问，VPN 在这方面是有用的。但它们并不是真正适合这项工作的工具。旋转式代理服务器更适合这种情况。在大多数情况下，旋转代理都是住宅代理，这使得它们比 VPN 服务更不易被察觉，因为 VPN 服务大多使用数据中心的 IP。与 VPN 服务相比，住宅代理网络还拥有大型 IP 池。在匿名网络搜索时，代理服务器比旋转 VPN 更有效。
在网络搜索时保持匿名的其他方法
虽然隐藏 IP 地址是在网络搜刮时保持匿名的好方法，但它可能对你无效。这是因为许多网站都在使用其他指针来识别潜在的网络搜刮者。因此，你也应该考虑以下技巧，以避免在网络搜刮时被发现。
-
不保存 Cookie
这种技术只适用于使用无头浏览器进行网络搜刮的用户。普通网络搜刮工具甚至不支持 cookie，除非你自定义开发它们来保存 cookie。对于基于无头浏览器的网络搜刮工具，你需要确保浏览器中不保存 cookie。这是因为，继 IP 地址之后，Cookie 是识别用户的又一工具。即使轮换了 IP 地址，如果 cookie 保持不变，机器人也会被发现并阻止进一步访问。
-
设置扫描延迟时间
这种方法不一定有助于保持匿名，它只是阻止反垃圾邮件系统触发。如果在请求之间设置随机延迟，就不太可能出现垃圾邮件。有时，即使使用了代理，网络服务仍会发现你的活动，因为你的请求太多，会给他们提供大量数据进行分析。
-
使用反检测浏览器进行网络抓取
最近，网站开始从有关浏览器数据（如屏幕分辨率、色彩深度、地理位置、字体、插件、画布、WebGL、AudioContext 等）的公开数据中生成独一无二的浏览器指纹。这样，它们就能仅凭浏览器的详细信息就能正确识别你的身份。反检测浏览器要做的就是伪造你的真实浏览器指纹，这样它们就很难生成你的真实浏览器指纹。
大多数反检测浏览器都支持通过 Selenium 实现自动化。你可以利用它进行网络搜刮。我推荐使用 Multilogin、GoLogin 和 Incogniton 进行匿名网络搜刮。它们还支持代理，以便在搜刮时实现更好的匿名性。
结论
由于网站在其平台上识别用户的方法很多，要在网络搜索时保持匿名变得越来越困难。
换句话说，要想保持真正的匿名性，你需要找出网站使用的方法，然后设计出绕过这些方法的技术，以便在执行网络搜刮任务时实现有效的匿名性。
关于网络搜刮，你需要知道的一点是，保持匿名是不可能的--一旦你的身份被识别，你肯定会被发现和阻止。
Chinese 
English