poxiaoxi博客做 SEO 或网站运维时，服务器日志里经常会出现各种“bot”“spider”“crawler”。有些是正常搜索引擎爬虫，用来发现和索引网页；有些是图片、视频、新闻、广告审核或 AI 搜索相关抓取；还有一些可能只是伪装成搜索引擎的异常访问。
理解常见爬虫的 User-Agent 标识，不是为了把所有爬虫都拦掉，而是为了知道哪些访问对收录、展示、AI搜索可见性有帮助，哪些访问需要限速、验证或屏蔽。对站长来说，爬虫识别是日志分析、robots.txt 配置和服务器安全排查的基础工作。
User-Agent是什么
User-Agent 简称 UA，是访问网站时客户端发送给服务器的一段标识信息。普通浏览器会带上浏览器、系统和版本信息，搜索引擎爬虫也会在 UA 中写明自己的身份，例如 Googlebot、Bingbot、Baiduspider。
在 robots.txt 中使用的 User-agent token，和服务器日志里看到的完整 User-Agent 字符串不一定完全相同。比如 Googlebot 的完整 UA 可能很长，但在 robots.txt 里通常用 User-agent: Googlebot 来指定规则。
需要注意的是，User-Agent 可以被伪造。日志中出现 Googlebot，不代表一定来自 Google。比较可靠的做法，是结合官方 IP 段、反向 DNS、正向 DNS 校验或官方 JSON 文件判断真实来源。
常见搜索爬虫
传统搜索引擎爬虫主要负责发现网页、抓取内容、更新索引。下面这些标识，在中文站和英文站的日志中都比较常见。
| 平台 | 常见标识 | 主要用途 | robots.txt写法示例 |
|---|---|---|---|
| Googlebot | Google网页搜索、Discover等搜索功能抓取 | User-agent: Googlebot | |
| Google图片 | Googlebot-Image | 图片搜索、图片展示、Logo和缩略图相关抓取 | User-agent: Googlebot-Image |
| Google视频 | Googlebot-Video | 视频内容相关搜索功能抓取 | User-agent: Googlebot-Video |
| Bing | bingbot | Bing网页搜索索引抓取，也会影响部分依赖Bing结果的搜索产品 | User-agent: bingbot |
| Bing广告 | AdIdxBot | Microsoft广告相关页面质量检查和广告落地页抓取 | User-agent: AdIdxBot |
| 百度 | Baiduspider | 百度搜索网页抓取和索引 | User-agent: Baiduspider |
| 搜狗 | Sogou web spider | 搜狗搜索网页抓取 | User-agent: Sogou web spider |
| 360搜索 | 360Spider | 360搜索网页抓取 | User-agent: 360Spider |
| DuckDuckGo | DuckDuckBot | DuckDuckGo搜索结果改进和相关抓取 | User-agent: DuckDuckBot |
| Apple | Applebot | Siri、Spotlight、Safari等苹果生态搜索能力 | User-agent: Applebot |
| Yandex | YandexBot | Yandex搜索索引抓取 | User-agent: YandexBot |
这些爬虫不一定每天都会访问所有网站。访问频率和网站权重、内容更新频率、页面质量、服务器响应状态、内链结构、站点地图等因素都有关系。新站如果长期看不到主流搜索爬虫访问，需要先检查 robots.txt、站点地图、页面是否可索引，以及外部入口是否太少。
Google爬虫较复杂
Google 的爬虫体系比较细，不只有 Googlebot。常见的还有 Googlebot-Image、Googlebot-Video、Googlebot-News、GoogleOther、Google-InspectionTool、Google-Extended 等。
其中 Googlebot 主要对应 Google 搜索相关抓取；Googlebot-Image 用于图片相关功能；Googlebot-Video 用于视频相关功能；Google-InspectionTool 常见于 Search Console 的网址检查和富媒体结果测试；GoogleOther 是更通用的公开内容抓取工具，可能服务于不同 Google 产品团队。
Google-Extended 比较特殊。它不是一个独立的 HTTP 请求 User-Agent，而是 robots.txt 中的控制用 token。站长可以用它管理网站内容是否允许用于 Gemini 等相关产品训练和 grounding，但它不会影响网站进入 Google 搜索，也不是 Google 搜索排名信号。
User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Google-Extended Disallow: /
这段配置的意思是允许 Google 搜索和图片抓取，但不允许 Google-Extended 对应的用途。实际配置前要根据网站目标决定，不要直接照抄。
中文搜索爬虫
中文网站日志中，比较常见的是 Baiduspider、Sogou web spider 和 360Spider。它们分别对应百度、搜狗和 360 搜索。
百度官方说明中提到，搜索引擎蜘蛛访问网站前会先检查根目录下的 robots.txt，并按照其中规则确定抓取范围。站长如果不希望某些目录被抓取，可以通过 robots.txt 指定；如果希望全站正常收录，通常不需要额外阻止 Baiduspider。
搜狗资源平台说明中，PC端 UA 为 Sogou web spider，并提醒 UA 区分大小写。360搜索帮助文档中列出的主要标识包括网页搜索 360Spider、图片搜索 360Spider-Image、视频搜索 360Spider-Video。
User-agent: Baiduspider Allow: / User-agent: Sogou web spider Allow: / User-agent: 360Spider Allow: /
如果网站主要面向中文搜索流量，建议不要随意屏蔽这些主流中文搜索蜘蛛。除非爬虫频率明显影响服务器稳定，才需要结合日志、频率和来源验证做更细的控制。
AI搜索爬虫
AI搜索出现后，站长日志里会看到一些新的爬虫标识。它们和传统搜索爬虫不完全一样，有的用于搜索展示，有的用于模型训练，有的是用户在产品内触发访问。
| 平台 | 标识 | 主要用途 | 管理方式 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | 用于 ChatGPT 搜索功能中的网页呈现 | User-agent: OAI-SearchBot |
| OpenAI | GPTBot | 用于抓取可能用于训练生成式AI基础模型的内容 | User-agent: GPTBot |
| OpenAI | ChatGPT-User | 用户在 ChatGPT 或自定义 GPT 中触发访问 | 通常不按自动爬虫理解 |
| Google-Extended | 用于控制部分 Gemini 训练和相关 grounding 用途 | User-agent: Google-Extended | |
| Apple | Applebot-Extended | 用于控制内容是否用于 Apple 生成式基础模型训练 | User-agent: Applebot-Extended |
这里最容易混淆的是 OAI-SearchBot 和 GPTBot。OAI-SearchBot 面向 ChatGPT 搜索展示；GPTBot 则与模型训练相关。站长可以选择允许 OAI-SearchBot，以便内容有机会出现在 ChatGPT 搜索结果中，同时禁止 GPTBot 表示不希望内容用于训练。
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Disallow: /
这类配置适合重视 AI 搜索可见性、但对训练用途比较谨慎的网站。是否这样设置，要看网站的内容策略、版权策略和流量目标。
不要只看UA
很多异常爬虫会伪装成 Googlebot、Bingbot 或 Baiduspider，所以不能只凭 User-Agent 判断访问是否可信。真正做日志分析时，至少要看三类信息：UA、IP来源、访问行为。
如果一个请求声称自己是 Googlebot，但 IP 反查结果和 Google 官方规则对不上，或者访问频率异常高、集中打接口、频繁访问后台路径，就不能按正常搜索爬虫处理。
常见验证方式包括：对 Googlebot 做反向 DNS 和正向 DNS 校验；对 Applebot 查看是否来自 applebot.apple.com 域名或官方 CIDR；对 OpenAI 爬虫可参考官方公开的 IP JSON；对 DuckDuckBot 可参考官方 IP 列表。不同平台验证方式不完全一样，应以官方文档为准。
robots.txt怎么写
robots.txt 应放在网站根目录，例如 https://www.example.com/robots.txt。搜索爬虫访问网站前通常会先读取这个文件，再决定哪些路径可以抓、哪些路径不抓。
一个比较基础的配置可以这样写：
User-agent: * Allow: / Sitemap: https://www.example.com/sitemap.xml
如果不希望爬虫抓取后台、搜索结果页或测试目录，可以增加 Disallow：
User-agent: * Allow: / Disallow: /admin/ Disallow: /search/ Disallow: /test/ Sitemap: https://www.example.com/sitemap.xml
如果想针对不同爬虫设置不同规则，可以分别写：
User-agent: Googlebot Allow: / User-agent: GPTBot Disallow: / User-agent: * Disallow: /admin/ Disallow: /search/ Sitemap: https://www.example.com/sitemap.xml
robots.txt 不是权限系统。它更像是给守规矩爬虫看的访问建议，不能替代登录权限、防盗链、防火墙或接口鉴权。真正不希望公开的数据，不应该只靠 robots.txt 隐藏。
哪些爬虫该放行
如果网站目标是获取搜索流量，Googlebot、bingbot、Baiduspider 这类主流搜索爬虫通常应该放行。图片站、软件下载站、内容站还要注意图片、视频、文件资源是否被误拦，否则可能影响搜索展示效果。
如果网站希望进入 AI 搜索结果，可以考虑允许 OAI-SearchBot、Applebot 等和搜索展示相关的爬虫。对于训练用途的爬虫，例如 GPTBot、Google-Extended、Applebot-Extended，则要结合版权、商业策略和内容开放程度决定。
如果服务器资源紧张，不建议一刀切屏蔽所有爬虫。更好的方式是先分析日志，找出访问频率异常、来源不明、行为不正常的爬虫，再做限速或拦截。正常搜索爬虫被误封，可能会影响收录和页面更新。
站长需要定期检查
爬虫标识不是一成不变的。搜索引擎和 AI 平台会更新 User-Agent、IP段、产品用途和 robots.txt 控制方式。站长不能只收藏一份旧版 UA 表就长期不管。
比较实用的做法是：每隔一段时间查看服务器日志，关注访问量较大的 bot；对重要爬虫去官方文档核对标识；robots.txt 修改后及时用搜索控制台或站长工具测试；如果发现爬虫异常增加，再结合 IP、路径、状态码和访问频率判断是否需要处理。
搜索引擎爬虫不是敌人，也不是越多越好。真正要做的是让重要页面能被正常发现，让不该被抓的路径有清晰规则，让异常访问不要拖垮服务器。把这些基础做好，SEO、GEO 和网站安全排查都会轻松很多。
精彩评论