robots.txt 文档 | SEO 网站健检报告 | 商业行销 | 蓝眼知识库 | 产品操作手册 / 产品安装指南 / 产品手册 / 产品使用手册 / 产品指南 / 产品说明 / 产品安装手册 / 产品说明手册 | 蓝眼科技集团

robots.txt 文档

robots.txt file

当检索器到达您的网站时,它们会自动抓取 robots.txt 文档。此文档应包含用于机器人的命令,例如哪些页面应该或不应该编制索引。它的格式必须正确,以确保搜索引擎可以抓取并且读取它。

如果您不想对某些内容创建索引,例如私人内容或重复内容的页面,只需在 robots.txt 文档中使用相对应的槼则即可。

有关此类槼则的更多信息,请访问 robotstxt.org 网站了解更多。

值得注意的是,放置在 robots.txt 文档中的命令更象是建议,而不是机器人遵循的绝对槼则。任谁也无法保证某些不听话的检索机器人不会检查您不允许的内容。因此,如果您的网站上有任何秘密或敏感内容,robots.txt 并不是将其与公众隔离的一种方法。

就算您的网站上有可用的有效 robots.txt 文档,也不能保证搜索引擎将会快速、正确地将其编入索引。

首先,必须正确设置文档本身,以免误将一些重要内容排除在索引之外。检查无法创建索引的资源,以查看搜索引擎关闭了您网站上的哪些内容。

接下来,为了确保最重要页面的快速索引编制,您还应该检查 xml.sitemap 的可用性。

蓝眼知识学院

蕴藏许多助人的知识与智慧。

关注蓝眼知识学院