robots

robots是什么

robots这是网站和蜘蛛之间的协议。当访问网站时，它首先检查机器人是否存在于网站的根目录中。如果发现，蜘蛛将根据文件中的内容确定访问范围。如果文件不存在，搜索机器人将沿链接捕获。一定要注意txt文件必须放在网站的根目录中，文件名必须是小写。

robots.txt这是一个纯文本文件，网站经理可以声明网站不想被搜索引擎访问，或者指定的搜索引擎只包含指定的内容。因此，机器人的优化将直接影响搜索引擎对网站的包含。

只有在需要禁止抓取某些内容时才能写robots。一些服务器设置是一个问题：当机器人文件不存在时，它返回200个状态代码和一些错误信息，而不是404页，因为搜索机器人误读了它robots文件信息。

robots mate是什么

robots meta标签主要针对特定页面。以及其他页面META标签(如语言、页面描述、关键词等。 robots meta标签也放在页面上head>专门用来告诉搜索引擎机器人如何掌握页面的内容。

follow指令表示，搜索机器人可以继续沿着页面上的链接抓取；

robots meta标签的缺失值是index和follow；

index指令告诉搜索机器人抓取页面；

robots meta标签大小写没有区别，name=“robots说明所有的搜索引擎都可以写特定的搜索引擎name=“ baiduspider' content有四个指令选项index、noindex、follow、nofollow，指令间以，分开。

Robots和robots mate的区别

目前，所有搜索引擎都支持和遵守robots.txt但是支持robots mate但是很少，可以酌情使用。

读这篇文章的人也可以读：

与网站导航站交换链接，好吗？

如何写描述标签？

如何用标签阻止网页被收录？ 

robots.txt文件有什么必要？ 

以上就是robots的全部内容，