什么是robots?robots.txt有什么用？

“Robots”被一些同行朋友叫作“萝卜丝”，它是搜索引擎的机器协议,全称是“网络爬虫排除协议”我们一般称之为搜索引擎蜘蛛或者爬虫。网站通过Robots协议来告诉搜索引擎，哪些页面可以抓取，哪些页面不能够抓取。

因为网站的很多目录如果被抓取是有风险的，或者是因为利益原因不能被抓取，所以需要告诉蜘蛛人你网站允许与不允许的情况。

Robots是放在网站根目录下面，名称为：robots.txt

转载请注明：⎛蜗牛SEO⎞ » 什么是robots?robots.txt有什么用？