Robots文件写法+3个实战经验分享 大家看过来
发布时间：2021-09-11 16:43:20 所属栏目：动态 来源：互联网
导读：最近看到高端SEO社群里有同学讨论Robots相关问题，我们从实战的角度，给大家讲讲怎么写Robots写法，以及在实战中可能遇到的问题，都给大家讲一下！希望可以帮助更多不懂的同学！ Robots定义 什么是Robots，简单来讲，其实Robots就是放在网站根目录下的一个TX
|
最近看到高端SEO社群里有同学讨论Robots相关问题，我们从实战的角度，给大家讲讲怎么写Robots写法，以及在实战中可能遇到的问题，都给大家讲一下！希望可以帮助更多不懂的同学！
Robots定义
什么是Robots，简单来讲，其实Robots就是放在网站根目录下的一个TXT文件，但是这个TXT文件对搜索引擎规定，哪些页面可以访问，哪些页面不行。
Robots一般放在网站根目录下，文件名固定为robots.txt的（全部小写）、当搜索引擎要爬取我们网站的时候，会先读一下robots.txt里面的内容，判断哪些URL可以访问，哪些不行，然后进行爬取、收录。
Robots规则
常用的几类语法：
User-agent: 定义搜索引擎的类型
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
Disallow: 定义禁止搜索引擎收录的地址
举个例子来讲：User-agent: * Disallow: /
禁止所有搜索引擎访问网站，(*)为通配符
Allow: 定义允许搜索引擎收录的地址
User-agent: * Disallow: /a/ Allow: /a/b
如上面例子，限制搜索引擎抓取a目录，但允许搜索引擎抓取a目录下的b目录
（编辑：温州站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
