如何禁止所有搜索引擎蜘蛛的爬行收录
发布网友
发布时间：2022-04-29 11:11
共1个回答
热心网友
时间：2022-06-26 17:46
可使用robots协议：建立robots.txt 文件，上传至网站根目录：
屏蔽所有搜索引擎爬取网站的语法：
User-agent: *
Disallow: /
允许所有搜索引擎爬取网站所有内容
User-agent: *
Disallow:
只禁止百度抓取你网站的内容
User-agent: Baispider
Disallow: /
只允许百度抓取你网站的内容
User-agent: Baispider
Disallow:
User-agent: *
disallow: /
