如何禁止蜘蛛爬行robot

发布网友发布时间：2022-04-29 11:11

共1个回答

热心网友时间：2022-06-26 17:46

这里要说明的是Robots.txt文件只能起到阻止搜索引擎索引。Robots.txt写法1.如果你站点中的所有文件，都可以让蜘蛛爬取、收录的话，那么语法这样写:User-agent: *Disallow:当然，如果你网站中全部的文件都可以让搜索引擎索引的话，你也可以不管这个文件。2.完全禁止搜索引擎来访的Robots.txt文件写法:User-agent: *Disallow: /2.1.要禁止掉某个搜索引擎来访的Robots.txt文件写法:User-agent: GooglebotDisallow: /3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:User-agent: *Disallow: /admin/Disallow: /images/4.禁止Google抓取网站中的图片文件:User-agent: Googlebot

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com