当前位置:主页 > SEO优化 >正文

robots.txt文件必须使用吗?(放在哪里)

作者: 丈哥 分类: SEO优化 发布时间: 2019-06-03 00:24

robots信息搜索引擎机器人在互联网上每个页面链接到达,抓取网页。有没有当你访问一个网站上的搜索引擎机器人,它会首先检查该网站的根目录下一个名为机器人。

robots文本文件必须放置在网站的根目录。

在子目录robots.txt文件的搜索引擎无法抓取到,所以不会起到任何作用。

如:

https://www.0471seo.com/robots.txt 有效

https://www.0471seo.com/blog/robots.txt 无效

如果你无法控制robots.txt,那么你可以通过在一个子目录页面中使用标签阻止被索引的网页。

robots.txt文件必须使用吗?(放在哪里)

robots.txt文件必须使用吗?

从搜索引擎优化的角度来看,robots.txt文件必须设置,因为:

1。网站上经常出现这种情况:不同的链接指向相似的网络内容。这不符合搜索引擎优化的“网页内容各向异性原则”。robots.txt文件可以用来阻止二级链接。

2。所有不符合搜索引擎友好性要求的链接都需要在网站修改或网址重写优化期间被阻止。robots.txt文件删除旧链接符合搜索引擎友好性。

3,有些页面没有关键词,屏蔽效果更好。

4。一般来说,最好在站点中筛选出搜索结果页面。


本文链接地址:https://www.0471seo.com/seoyouhua/4195.html
  • 上一篇:<<网站内容页优化小技巧(seo人员必学)

  • 下一篇:百度移动搜索手机站优化要注意什么?>>
  • 如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!