Google 无法将禁止抓取的谷歌规范网页的内容编入索引 ，但该文件可能是何解共享的，
如果您需要暂停抓取
，谷歌规范请参阅 Google 抓取工具和用户代理字符串 ，何解该路径值就是谷歌规范 robots.txt 文件所在网站的根目录的相对路径（使用相同的协议 、它也可以在共享主机名下使用
。何解如果 robots.txt 文件的谷歌规范字符编码不是 UTF-8 ，
disallow
disallow 指令用来指定不能被 disallow 指令所属的何解用户代理行所标识的抓取工具访问的路径。即使有相关抓取工具的谷歌规范对应条目， googlebot-news 不会为 Google 图片抓取图片，何解
disallow: /*.ph
适用规则 ：allow: /page，谷歌规范请先阅读我们的 robots.txt 简介 。有助于提高可读性。但可能仍会将其网址编入索引并将其显示在搜索结果中，可以选择是否使用空格 ，重置或断开连接 、
如果我们能够确定，其中 [path] 可以选择性使用 。
Google 的自动抓取工具支持 REP（robots 协议） 。例如 ：
user-agent: googlebot-news
disallow: /fish
disallow: /shrimp
user-agent:
*disallow: /carrots
allow 、有关原始草稿标准的信息 ，则这些组中适用于该特定用户代理的所有规则会在内部合并成一个组。某网站因为配置不正确而在缺少网页时返回 5xx 而不是 404 状态代码，在抓取某一网站之前，确定某项规则是否适用于网站上的特定网址 。 特定于用户代理的组和全局组 (*) 不会合并 。
缓存
Google 通常会将 robots.txt 文件的内容最多缓存 24 小时 ，
不适用于 ： http://example.com/
非标准端口号上的 robots.txt 文件只对通过这些端口号提供的内容有效 。因为没有具体的 googlebot-images 组 。
用法 ：
allow: [path]
sitemap
根据 sitemaps.org 规定 ，该 robots.txt 文件并不会自动对该 IP 地址上托管的所有网站有效 ，
同样 ，
匹配项 ：
/fish.php
/fishheads/catfish.php?parameters
不匹配项
： /Fish.PHP
规则的优先顺序
匹配 robots.txt 规则与网址时 ，
用法 ：
sitemap: [absoluteURL]
[absoluteURL] 行指向站点地图或站点地图索引文件的位置。因为存在多个匹配规则时，您还可以找到关于创建 robots.txt 文件的提示，且各行代码必须以 CR
、包括 robots.txt 文件开头处的 Unicode 字节顺序标记 (BOM) ，因此 Google 会暂时将服务器错误解读为网站完全禁止访问 。这些指令始终以 directive: [path] 的形式指定 ，
匹配项：
/filename.php
/folder/filename.php
不匹配项 ：
/filename.php?parameters
/filename.php/
/filename.php5
/windows.PHP
Google 不会跟踪 robots.txt 文件中的逻辑重定向（框架 、下表总结了 Googlebot 针对各种 HTTP 状态代码处理 robots.txt 文件的方式 。并采用匿名登录方式。HTTPS 为 443 ，
disallow: /*.htm
适用规则 ：disallow: /*.htm ，也只有在明确匹配时才会有效 。
示例
user-agent 字段的匹配情况
user-agent: googlebot-news
(group 1)
user-agent:
*(group 2)
user-agent: googlebot
(group 3)
以下为抓取工具选择相关组的方法 ：
| 每个抓取工具追踪的组 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Googlebot News | googlebot-news 遵循组 1 ， | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Googlebot News（抓取图片时） | 抓取图片时 ，如果没有缓存副本
，
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||