您是否尝试过对一个网站进行抓取，但结果却不尽如人意？搜索并不像大多数人想象的那样简单和容易。今天的指南将概述几个重要的技巧和窍门，以改进你的刮擦游戏。
在我们生活的现代社会，数据在我们的生活中扮演着非常重要的角色，无论是在个人层面还是在职业层面。随着我们上网的时间越来越长，我们产生了更多的数据，而且这些数据只会呈指数级增长。为了说明这一点，下面是一些基于数据的事实。
据估计，一个用户创造了大约 每秒 1.7 兆字节数据全球有一半以上的人可以上网，每天产生约 2.5 万亿字节的数据。据估计，今年的数据量将超过 40 兆字节，即 40 万亿千兆字节（有 12 个零）。
正如您所看到的，数据量非常大，但并非所有数据都是我们在网上发布的无用垃圾。很多数据都可以用于各种用途，这也是网络搜刮如此流行的原因。 网络搜刮 是指从某一来源收集数据以供日后使用的过程。例如，营销公司可以收集数据并对其进行分析，以帮助他们做出某些预测并创建更好的营销活动。
在过去，当在线数据还很少的时候，搜索工作都是手工完成的。人们会复制并粘贴他们需要的信息，而且这并不需要花费太多时间。如今情况不同了。手工抓取数据可能需要数年时间才能完成，这就是为什么我们有自动抓取软件的原因。 刮刀 通过数据源，收集你要求它收集的数据。
尽管使用软件进行搜刮看起来简单易行，但有些方面您还是需要小心谨慎，本文将在这方面为您提供帮助。我们将介绍一些技巧和窍门，以提高你的搜刮能力，避免常见错误。
使用正确的爬虫
对数据的需求越来越大，这就意味着越来越多的工具可以在网上搜索数据。如今，有成百上千种数据搜刮工具，每一种都有自己独特的功能和可能性。
大多数人认为，你应该先获得刮板，然后开始分析数据。这可能是个大错误。由于大多数刮板都是独一无二的，而且有些刮板可以做到其他刮板所不具备的功能，因此您应该首先分析数据，看看您需要刮什么。一旦想清楚这些，就可以开始研究最适合您或您公司需求的刮板。
很多人面临的两个主要障碍是 验证码 或登录，这两者都会让人头疼。
公开信息总是很容易获取，但如果您正在进行搜刮，服务器可能会注意到大量请求，并开始要求您解决验证码问题。在某些情况下，您可能在尝试几次后才开始看到这些验证码，但在其他情况下，您可能从一开始就看到这些验证码。如果您需要抓取数据，并且知道会有验证码，您不必担心；有很多抓取程序可以为您解决验证码问题。
登录是搜索领域的另一个大问题。
不公开的数据意味着你首先需要登录才能访问。就像验证码一样，有很多刮擦工具可以让你设置登录网站并开始获取数据。每次登录时，您都会收到 cookie，这些 cookie 会向服务器显示您已经登录。刮擦器会首次登录，并在会话结束后保留 cookie，这样当它再次刮擦其他数据时，就不必再次登录。
另外一个可选步骤是设置 多账户.如果服务器对 "你 "的行为产生怀疑，它可能会阻止该账户，你的搜索也就结束了。为了避免这种情况，请看看能否创建多个账户，让它们同时运行。这样，即使其中一个账户被封，其他账户也能继续运行。
价格在其中也起着至关重要的作用。有些人可能会认为最贵的才是最好的，但事实并非总是如此。你可能会发现，一些昂贵的服务会让你花费数百美元，但一些免费软件却更符合你的需求。
理想的情况是，你想测试几种入围的应用程序服务，然后再决定选择哪一种。这个过程需要花费更多的时间，但最终还是值得的。
页眉
在互联网上，页眉是向网站提出请求后发送的代码。代码中存储了网站或服务所需的信息，以便为您提供所需的服务。简单地说，每次你想在浏览器中打开 Facebook 时，首先会发出一个请求，要求服务器加载页面，紧接着就会发送包含以下内容的页眉 其他信息如浏览器、版本、操作系统等。
在刮削领域，情况则有所不同。最简单、最常见的刮擦方法是 使用 cURL很多人都在使用它。它的问题在于，如果你不对参数做任何修改就试图从 Facebook 上进行搜刮，你将会一无所获。原因是 Facebook 的服务器会看到标题，并知道你的意图是进行搜刮，而他们并不希望这样。
这个问题有两种解决方案。第一种是模仿普通浏览器的页眉，或者采用无页眉（不，这并不意味着砍掉页眉）。
许多搜刮工具都能让你更改搜刮参数，以获得你想要的结果，头信息就是其中之一。在前一个使用 cURL 的示例中，你可以使用 Chrome 或 Firefox 浏览器中的头信息，即使是用于搜刮，Facebook 也不会反对你访问它。
复制普通浏览器的页眉很容易，但复杂的是，如果不想引起任何怀疑，就需要设置多个不同的页眉，这样才能有效。
第二种选择是无头。在这种情况下，你的请求会被发送，但头不会被发送。无头抓取是一种稍老的技术，很多现代网站都采取了防范措施来对付它，所以除非绝对必要或第一种解决方案失败，否则尽量不要使用。
代理
尽管这不是文章的第一条建议，但可能是最重要的一条。多年来 代理 受到越来越多的关注，应用也越来越多。它们的主要应用是更改你的 IP 地址，让你看起来像是来自其他地方。
那么，代理如何帮助您进行搜索呢？
1.从不同的 IP 地址发送多个请求
当你从网站上抓取数据时，这一过程在一秒钟内会发生多次。刮擦器会向网站发出请求，抓取数据，然后返回到电子表格中存储数据。有些刮擦器能在不到一秒的时间内完成数百次这样的操作。
问题是，很多现代网站都能很容易地识别这些内容，因为，让我们面对现实吧，没有人工作得那么快。这就是代理服务器发挥作用的地方。如果服务器在一秒钟内看到多个请求，但这些请求都来自不同的 IP 地址，那么它们被禁止的可能性就很小。
2.获取地理位置 IP 地址
代理的第二种帮助方式是地理定位。例如，如果您住在欧洲某地，但您想抓取一个美国网站，您可能会遇到网站无法访问的情况，因为您的 IP 地址不是美国的。正如我们之前提到的、 代理可以更改 IP 地址 这意味着，如果你有美国代理，你就可以不受任何限制地搜刮网站。
最常见的代理有两种类型 数据中心和住宅代理.比较便宜的选择是数据中心代理，因为公司会批量购买，并以同样的方式卖给你。缺点是这些代理几乎都被 "标记 "为代理，有些服务器可能已经将它们列入黑名单。
更安全的方法是使用住宅代理。这些代理基本上都是您可以使用的用户家庭 IP 地址，这也是它们成为更安全方法的原因。您可以使用这些人的家庭 IP 地址，它们被列入黑名单的几率非常低。这种方法的缺点是 住宅代理服务器的成本略高.
另一方面，有大量代理服务器提供商同时销售数据中心代理服务器和住宅代理服务器。其中最受欢迎的有 Bright Data (原名Luminati), Smartproxy, Shifter等等。
类人式爬取
这将是一个基于多个小贴士的提示。
大多数刮擦程序难以抓取数据的原因在于，它们的核心是根据你的命令执行指令。你要求它访问网站，并在最短时间内抓取尽可能多的数据。这就是为什么大多数服务器都配备了对付它们的装备。今天给你的最后一个建议是尽量让你的搜刮器更像人，但这意味着什么呢？
每个刮擦程序访问网站并抓取数据的时间都是毫秒级的。因此，如果服务器发现有人每隔 20 毫秒发出一次请求，它就会知道自己正在与一个搜刮者打交道。 为防止出现并发症，请尽量延迟设置刮板。 例如，将其设置为每次抓取数据后随机等待一段时间。作为回报，搜刮器有时会等待 1 毫秒，有时会等待 78 毫秒，具体取决于您的设置。
刮板的另一种更像人的行为是标题。 我们之前已经讨论过它们，但这是一个关于如何让它们像人一样的小贴士。从真实浏览器中获取标题不是问题，但如果在标题中输入您的个人信息，就很难让浏览器认为这是一个刮擦程序。即使要设置多个标题，也要尽量使用真实的姓名和电子邮件地址。
第二个技巧取决于你，但你可以考虑。在导言中，我们提到互联网上有大量的网络搜刮工具，其中很多在价格和功能上都不尽相同。尽管如此，你仍然可以找到一些功能相似、价格相近的搜刮工具，因此这里的建议是尝试使用两种不同的搜刮工具进行搜刮。
原因是，即使两个或更多刮板的功能可能相似，但它们的性能可能不同，因此你的刮板有可能更有效。大多数人不会使用这种技术，但您可以考虑。
抓取大量数据可能是个问题，尤其是当你知道你使用的抓取器无法在几小时内抓取所有数据时。如果要从网站上抓取数百万条记录，建议将数据分成较小的块。但为什么要这样做呢？
当然是服务器。抓取数百万条记录意味着搜索器可能需要运行数天，这反过来可能会使服务器超载，这取决于搜索器的工作速度。 超载服务器的性能通常比非超载服务器差。通常情况下，系统管理员需要进行调查，要么让服务器离线直到 "问题 "得到解决，要么发现有人在清除数据。为避免这种情况，可将数据分成小块，每次刮擦几个小时，中间休息一下
结论
经常刮痧的人会说，这些并不是刮痧的唯一技巧，他们说得没错。这些技巧针对的是过去没有进行过大量搜刮并正在学习的初学者。一旦你掌握了这些技巧，还有更多适合高级用户的搜刮技巧和技术。
我们希望这些技巧能帮助您开始使用，并克服一些最常见的新手刮削问题。
Chinese 
English