我们经常谈论 "搜索"（scraping），其中提到的一个词就是用户代理（user agent）。如果你是第一次接触这个词，在今天的指南中，我们将解释什么是用户代理以及最常用的用户代理有哪些。
生活在一个数码发达的时代，这意味着我们有时会依赖某些优势。由于这种进步，我们今天的一些在线活动比以前进行得更快、更好。
以前，在这些服务出现之前，我们不得不手动完成某些活动。一个很好的例子就是网络搜刮，这是一个从网站上收集数据的过程。传统的做法是复制和粘贴数据，这意味着需要花费更多的时间，出错的几率也更高。
得益于当今现代科技的神奇，我们有很多服务可以让我们更快地实现这一目标，而且不会出错。这些服务被称为 "爬虫"，本质上是为你完成所有工作的数字机器人。用户代理是这些 "爬虫 "的重要组成部分，你可能以前没听说过这个词，今天我们就来讨论一下它。
在今天的指南中，我们将介绍用户代理的几个方面，例如定义什么是用户代理、用户代理的用途、用户代理的工作原理，以及最重要的是，目前最常用的用户代理有哪些。
什么是用户代理？
每当你打开浏览器进入一个网站时，你所关心的只是获取网站上的内容，而不是其他。为了让你有这样的体验，许多事情都是在后台进行的，用户代理就是其中之一。
用户代理 是网站从你的终端接收到的信息，它可以帮助网站以最佳方式显示网站。用户代理包含大量信息，包括您使用的浏览器、操作系统版本，以及您使用的是 32 位还是 64 位版本。除此之外，网站还需要其他一些信息，以便您获得完整的体验。
最常见的用户代理是什么？
说到用户代理，有无数种组合。正如我们之前提到的，用户代理是你所使用设备的多种信息的组合。尽管选项繁多，但有些选项比其他选项更常见。 Rayobyte 列出了一份比较流行的用户代理列表，我们将其概述如下。
- Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36
- Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:53.0) Gecko/20100101 Firefox/53.0
- Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; Trident/5.0)
- Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; Trident/6.0; MDDCJS)
- Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393
- Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)
用户代理为何重要？
最好的解释方式就是网站的桌面版和移动版有不同的布局。当你输入网站地址时，服务器会获取用户代理信息，并据此为特定浏览器显示网站。例如，在移动浏览器上打开桌面网站并不是最好的体验。如果网站看到用户代理来自移动设备，就会以移动布局显示网站。
另一个很好的例子是不同版本的浏览器，即使我们谈论的是桌面网站。比方说，你有一个使用过时浏览器的旧设备，想访问一个现代网站。只要网站的开发能在多种浏览器和设备上运行，用户代理就会告诉服务器你试图通过哪种浏览器和设备访问网站，并以尽可能最佳的方式显示网站。
这意味着，如果某些内容在旧版浏览器上不支持，服务器会尝试使用旧版支持的格式来显示，否则就会收到无法显示该内容的信息。
继上面的例子之后，我们还有一个更常见的例子。我们可以在提供可下载应用程序的网站上看到这种情况，尤其是可用于多个平台的应用程序。网站会读取你的用户代理，特别是操作系统，然后显示你可以下载适用于你的操作系统的应用程序的页面。
浏览器扩展的情况也类似。从火狐浏览器进入 Chrome 浏览器商店后会发现，你无法下载或安装任何扩展。这是因为网站看到了你的用户代理，知道你使用的不是 Chrome 浏览器或基于 Chrome 的浏览器。
为什么用户代理对搜索很重要？
要想最大限度地利用刮擦，刮擦的某些方面是必不可少的。我们常说代理是任何搜索项目的关键，但用户代理的重要性也不遑多让。
无论何时进行刮擦，重要的是要让刮擦数据的网站不知道你的活动。要做到这一点，搜刮者每次向网站发出请求时，都要使用不同的代理进行伪造。这就是用户代理发挥作用的地方、
在需要抓取数据的网站上，每次通过时，刮擦器会使用一个唯一的代理，并为此分配一个不同的用户代理。这样做有什么意义？这样做的目的是让网站上的每个请求看起来都是来自一个唯一的用户。
将不同的用户代理与来自随机地点的不同 IP 地址相结合，网站服务器会将每个请求视为不同的人试图访问网站。这样做可以确保您的刮擦项目不被发现，并在没有任何问题的情况下尽快完成。
我是否应该考虑更改我的用户代理？
到目前为止，我们所讨论的大部分内容都与刮擦有关，而刮擦则需要多个用户代理。在某些情况下，你可能只想使用一个用户代理，主要供个人使用。这就提出了一个问题：是更换用户代理，还是使用浏览器上已有的用户代理？
对于大多数人来说，使用默认用户代理就足够了，尤其是那些上网活动包括浏览网站、社交媒体和一些内容的人。不过，在某些情况下，你可能需要考虑使用不同的用户代理。
您可能需要考虑的最常见情况之一是网站有一些限制。我们所说的限制是指网站限制访客只能通过特定设备访问网站。虽然这种情况很少见，但我们也见过一些这样做的网站。例如，只有使用 Mac OS 设备才能访问网站。如果您尝试从 Windows 设备访问，用户代理会将该信息与网站相关联，您可能无法完全访问该网站。
这时，更改用户代理就派上用场了，主要是因为你可以让网站误以为你使用的是 Mac OS 设备。
如何更改用户代理？
说到更改用户代理，有多种方法，具体取决于使用情况。如果需要在浏览器上一次性更改用户代理，则需要通过浏览器设置。每个常用浏览器都提供这项功能，因此请查看浏览器的帮助部分，了解如何更改用户代理。不同浏览器的步骤各不相同，步骤的复杂程度也不一样。
至于在搜索器上更改用户代理，这完全取决于你使用的是哪种搜索器。这些工具大多提供两种选择。第一个选项，也是最常用的选项，依赖于搜刮工具的内置用户代理。搜刮领域的每个知名品牌都会有一定数量的内置用户代理，这意味着您可以在大多数搜刮项目中使用它们。
第二种方法是添加用户代理。许多脚本选项都可以让你以最适合你的方式自定义每个用户代理。这与为每个会话添加代理相结合，许多流行的 scraper 都提供了创建尽可能多不同会话的选项。
如何获取更多用户代理？
说到创建多个用户代理，你可以考虑以下几种方法。如果你足够精明，你可以手动创建多个用户代理，最重要的是你知道如何设置它们，这样就不会遇到任何潜在问题。
第二种选择，也是我们建议大家采用的一种选择，就是选择为你创建用户代理的服务。互联网上有数不清的网站专门为你创建用户代理，其中一些网站在提供功能障碍的同时，还允许你根据自己的需求进行定制。
在创建自己的用户代理时，重要的是要选择一个更适合自己需要的网站或服务。例如，假设你需要任何类型的用户代理，而不考虑设备操作系统或其中包含的任何其他参数。
在这种情况下，您几乎可以使用网络搜索中出现的第一个网站。另一方面，如果您的需求比较特殊，需要使用特定的操作系统或浏览器，那么最好至少研究一下哪个网站或服务能提供最好的结果，这样您的项目就不会出现任何问题。
结论
现代服务业有很多方面，只要能完成工作，就不会有太多人去关注。刮擦也是如此。在这个过程中，你要从网站上抓取大量数据，尽管你是指挥者，但有些事情你可能并不完全了解。
很多人似乎都很难理解什么是用户代理。这一小段信息决定了某个网站如何显示给你，这取决于你试图访问的设备和浏览器。
从浏览网页到搜索网站，用户代理都是必不可少的，因此至少了解其基本知识是个好主意。有了基本的自杀知识，考虑到我们正在谈论的活动类型，了解更多有关用户代理的知识也是一个好主意。
为了帮助你解决这个问题，我们制作了今天的指南，它涵盖了用户代理的许多方面。其中包括定义什么是用户代理、用户代理如何工作、为什么需要用户代理以及其他一些问题，并列出了当前最常用的用户代理。
Chinese 
English