如何看待淘宝调整robots允许百度抓取部分内容
发布网友
发布时间：2024-10-21 22:29
共1个回答
热心网友
时间：2024-11-24 18:21
Disallow: / 虽然他在前面加上了一些allow，但是这最后一条足以说明淘宝对百度的态度：全面禁止
但是既然仍然全面禁止，为什么还要费尽写前面的东西呢，而且百度site数量在1亿以上？我想原因有以下问题。
robots协议首先并不具备强制性，他不是服务器中的一个命令，用以屏蔽某一些列特殊访客ip。所以，百度如果愿意，可以绕过robots，依然抓取淘宝内容。
第二，淘宝在近几年收到了很多电商网站的冲击，必须尽可能多的打开流量来源，百度流量巨大，很多自己的竞争对手都从百度获取流量，而自己不允许的话，则会使自己处在不利的局面。
所以总结一下淘宝的心态，不想让自己平台下具体店铺通过百度获得流量，又不想损失这批流量，所以做法就是通过robots来疏导。这样两人都退一步，淘宝允许百度来抓取，百度也就稍微遵守以下规则。
事情应该大概就这没回事，具体内幕太多，说不清楚的，但是理就是这么个理
（其实关于百度蜘蛛为什么总喜欢绕过robots.txt，自然也是流量作怪，都是这么个理）
