juntam.com

Google 检索器官方说明

    “检索器”一词是指任何用以自动找寻网站、追踪网页连接,然后逐页进行扫描的程序。Google 使用的主要检索器是 Googlebot。下表列出了参照记录中可能包含的一般 Google 检索器,以及如何在 robots.txt、robots 中继标记 和 X-Robots-Tag HTTP 指令中指定这些检索器的相关资讯。

下表列出了各种 Google 产品和服务使用的检索器:

  • 使用者代理程序凭证用于 robots.txt 中的 User-agent: 一行,可供系统在写入网站的检索规则时比对检索器类型。有些检索器具有多个凭证 (如下表所示),对于这类检索器,您只需要对应其中一个检索器凭证,即可套用规则。这份清单并不完整,但已涵盖大部分您可能在网站中看到的检索器。

  • 完整的使用者代理程式字串是检索器的完整说明,会出现在检索要求和您的网络记录中。


这些值可能会遭到假冒。 如要验证访客确实是 Googlebot,请使用反向 DNS 查询。


检索器 使用者代理程序凭证 (产品凭证) 完整的使用者代理程序字串
APIs-Google

APIs-Google

APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)
AdSense

Mediapartners-Google

Mediapartners-Google

AdsBot Mobile Web Android

(检查 Android 网页广告品质)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux;Android 5.0S;M-G920A) AppleWebKit (KHTML,例如 Gecko) Chrome Mobile Safari (兼容;AdsBot-Google-Mobile;+http://www.google.com/mobile/adsbot.html)

AdsBot 移动网络

(检查iPhone 网页广告品质)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 例如 Mac OS X) AppleWebKit/601.1.46 (KHTML,例如 Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (兼容;AdsBot-Google-Mobile;+http://www.google.com/mobile/adsbot.html)

AdsBot

(检查电脑网页广告品质

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)
Googlebot 图片
  • Googlebot-Image

  • Googlebot

Googlebot-Image/1.0
Googlebot 新闻
  • Googlebot-News

  • Googlebot

Googlebot-News
Googlebot 视频
  • Googlebot-Video

  • Googlebot

Googlebot-Video/1.0

Googlebot (电脑)

Googlebot

  • Mozilla/5.0 (兼容;Googlebot/2.1;+http://www.google.com/bot.html)

  • Mozilla/5.0 AppleWebKit/537.36 (KHTML,例如 Gecko;兼容;Googlebot/2.1;+http://www.google.com/bot.html) Safari/537.36

    或 (鲜少使用):

  • Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot (智能手机)

Googlebot


Mozilla/5.0 (Linux;Android 6.0.1;Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML,例如 Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (兼容;Googlebot/2.1;+http://www.google.com/bot.html)

AdSense 移动服务

Mediapartners-Google

(各种移动设备类型) (兼容;Mediapartners-Google/2.1+http://www.google.com/bot.html)

Android 版移动应用程序

(检查 Android 应用程序页面广告品质,遵循 AdsBot-Google 漫游器规则。)

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Feedfetcher

FeedFetcher-Google

不会遵循robots.txt 规则

FeedFetcher-Google;(+http://www.google.com/feedfetcher.html)

Google Read Aloud

Google-Read-Aloud

不会遵循robots.txt 规则 

  • 现行代理程序:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

  • 前任代理程序 (已淘汰):
    google-speakr