怎么屏蔽蜘蛛爬取

发布网友发布时间：2022-04-29 11:11

共2个回答

热心网友时间：2022-06-26 17:46

在网站的根目录里面，放入robots.txt文件，这样就可以屏蔽蜘蛛的爬取，不过在文件里面要放入你不想让蜘蛛爬取的地方。详细的内容你打开这个网址可以看到 http://help.baidu.com/question?prod_en=search&class=499

热心网友时间：2022-06-26 17:46

创建robots.txt文件，并将文件放置在网站根目录。
文件的内容如下：
1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
2、、禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com