Robots.txt文件用法举例说明

2019-07-26

Robots.txt文件正常放于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL, or NL作为结束符),每一条记录的格式如下所示:

 " field : optional space value optionalspace "

 

Robots.txt文件用法举例说明如下:

Robots.txt文件用法举例说明(图1)

Robots.txt文件用法举例说明(图2)

阅读本文的人还可以阅读:

什么是百度抓取异常?抓取异常对网站的影响有哪些

robots.txt

Robots.txt 文件应放在哪里?

如何使用Robots避免蜘蛛黑洞?



作者:夫唯学院SEO培训 修订1.0 2019-02-18

搜外专注SEO在线系统培训,10年来超过五万学员在此获得技术提升和人脉圈子。

SEO课程已融入到移动搜索、零基础建站、群站SEO思维、搜外6系统、SEM入门等。

欢迎添加助教微信:seowhy2018,马上获得优秀学员案例。