首页>> SEO基础>>什么是robots?robots.txt有什么用?

什么是robots?robots.txt有什么用?

SEO基础 13℃

“Robots”被一些同行朋友叫作“萝卜丝”,它是搜索引擎的机器协议,全称是“网络爬虫排除协议”我们一般称之为搜索引擎蜘蛛或者爬虫。网站通过Robots协议来告诉搜索引擎,哪些页面可以抓取,哪些页面不能够抓取。

因为网站的很多目录如果被抓取是有风险的,或者是因为利益原因不能被抓取,所以需要告诉蜘蛛人你网站允许与不允许的情况。

Robots是放在网站根目录下面,名称为:robots.txt

转载请注明:⎛蜗牛SEO⎞ » 什么是robots?robots.txt有什么用?

本网站的SEO数据就是我们最直观的案例和最有力的实力体现形式(点此查看

业务范围:百度快排,百度快速排名,整站优化,网站建设,IDC代理,app开发,全网营销 微信:XueZhaQiHao    QQ:815666763

办公地址:中国 . 湖北 . 武汉(先排名后付费无异地风险)    Copyright © 2008-2023 百度快速排名版权所有
QQ在线咨询
百度快排移动端右侧添加二维码浮动图标