1. 首页
  2. SEO文章

网站robots.txt是什么?robots有什么作用?

网站协议robots.txt ,是搜索引擎在访问一个网站的时候首先要查看的第一个文件。然后搜索引擎就会通过robots.txt文件判断哪些页面可以抓取,哪些页面不能抓取。如果你的网站没有robots.txt,那就是没有网站协议,就等于你的网站对于搜索引擎来说是完全开放的,可以抓取网站的所有内容。对于我们的网站来说一般都是有前台和后台的,我们都是希望搜索引擎多抓取收录网站的前台页面,而我们的后台是不能让他收录的,如果我们的后台被别人知道了,说不定那天我们的网站就被别人悄无声息的给盗取了或者给替换了。所以我们的网站需要一个robots.txt网站协议和告诉搜索引擎应该如何爬行我们的网站

网站robots.txt是什么?robots有什么作用?

如何写robots.txt网站协议?

1、可以自己创建一个记事本直接写

2、可以在网站搜索robots.txt在线生成工具进行

robots.txt网站协议书写语法:

User-agent:定义进制搜索引擎,常见搜索引擎:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。如果用*号则代表全部搜索引擎

Disallow:表示不允许收录

Allow:表示允许收录

常见robots写法举例:

User-agent: * (允许所有搜索引擎抓取,但是禁止搜索引擎抓取以下内容)

Disallow:/seo/(禁止搜索引擎抓取seo栏目下面的所有内容页面)

Disallow:/seo(禁止以seo开头的所有栏目内容页面,比如:seoyouhua栏目同样禁止抓取)

Allow:/seo/youhua/(禁止了搜索引擎抓取seo栏目下面的所有内容页面,但是可以抓取seo栏目下面的youhua栏目文件名)

Disallow:*?*(网站所有带“?”的路径都会禁止抓取,一般带“?”的都是网站动态页面,同时说明:禁止抓取所有的动态页面)

Disallow:/*.php$(网站所有路径以.php结尾全部禁止抓取)

Disallow: .jpg$(不允许搜索引擎抓取.jpg格式图片)

Disallow: .gif$(不允许搜索引擎抓取.gif格式图片)

robots网站协议有什么好处?

1、屏蔽网站死链、2、屏蔽不想让搜索引擎抓取的文件、3、告诉搜索引擎优先抓取的文件、4、提升网站排名:所有的robots协议写好以后,对网站的排名有很多好处总结:对于seo网站优化来说许多细节都很有可能是你网站排名不上的原因,而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题。

原创文章,作者:lichun,如若转载,请注明出处:http://www.lichunseo.com/seowz/1096.html