浅谈robots.txt

作者: lichun 分类: 技术教程 发布时间: 2015-11-21 14:13 ė 62条评论

浅谈robots

上图为石家庄李春seo博客的robots

很多人都知道robots文件是爬虫协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。

但是也有一部分人不清楚,自己站点robots每一行是什么意思,那么下面小编就为大家说一下,这里我就用李春seo博客来举个例子吧

User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符

Disallow: 的意思很简单,就是禁止抓取,那么如果你把写成Disallow: /的话,那么会出现很糟糕的事情,这个意思很简单,禁止收录所有文件。
Sitemap: http://www.lichunseo.com/sitemap.html
Sitemap: http://www.lichunseo.com/sitemap.xml
这2个链接不知道大家有没有注意到,恩,这里小编,就给大家一个学习的空间,大家要学会自己动手自学,所有大家去百度搜索一下,我为什么要加上这个?他们的好处又是什么?

本文出自 石家庄李春SEO博客,转载时请注明出处及相应链接。

本文永久链接: http://www.lichunseo.com/jsjc/417.html

Ɣ回顶部