怎样预防网站万能信息采集器及吸血鬼等软件搜取自己网站上的数据_百度...

发布网友发布时间：2022-04-29 07:37

共1个回答

热心网友时间：2022-04-22 05:15

防采集的一些思路的探讨

1、用不同的模板
对于用程序的网站来说，不大可行，一个网站的模板最多也就几套吧。

2、使用robots禁止访问网页目录
这个方法可以有效的防止采集，不过将搜索引擎也封掉了，对于靠搜索引擎吃饭的站长们来说，得不偿失。
一个例子，Disallow 后面就是禁止访问的目录：

User-agent: *
Disallow: /admin
Disallow: /attachments
Disallow: /images
Disallow: /forumdata
Disallow: /include

3、使用HTTP_REFERER禁止采集，发现来自非本站连接就禁止察看叶面，就像前一段落伍im286.net防DDOS那个禁止调用一样。
这个方法可以比较有效的防止采集，不过也一样把搜索引擎封掉了，对于靠搜索引擎吃饭的站长们来说，得不偿失。
对高手无效，因为HTTP_REFERER可以伪造。但对一般使用采集的人来说，已经足够应付了。
例：

php
if(preg_replace("/https?://([^/]+).*/i", "1", $HTTP_SERVER_VARS['HTTP_REFERER']) != $HTTP_SERVER_VARS['HTTP_HOST']) {
exit('警告----你的操作已经被禁止。http://www.ic98.com');
}

4、使用HTTP_REFERER伪造内容
这个方法可以比较有效的防止采集，不过对于搜索引擎来说，查到的东西跟你伪造的东西一样的，可能会影响收录。(如有不对，请高手指出)
同上，对于高手无效。

5、使用java加密内容。
这个可能会比较有效，但是我对java一窍不通，也就不清楚如何入手了。
但我想，既然你这样使得别人采集到乱码，搜索引擎有可能也是收录到乱码的(我不清楚搜索引擎怎么工作，不过我猜测他们是察看网页源代码的。)，也就影响收录。

6、使用java加密网址
同上，有可能让搜索引擎无法搜索到你的网页。

7、生成pdf文件、生成图片
这个方法可以比较有效的防止采集，不过照样让搜索引擎望而却止。

8、加上自己的版权信息
这个方法最大的好处就是不影响搜索引擎，效果马马虎虎，一般上可以让采集者采集到带有自己版权的稿件内容。但是对于可以过滤广告的采集程序来说，不大有效。

以下是作者给俺的PM:

Quote:
你的版权是不是加了你的网站和网址?
只要把网址和网站名替换成他的就可以了啊.这样还让他有了版权功能呢.
反正防采真是头疼....

有点麻烦，我的思路是将网站名称分成一个一个字来显示，他不可能将每个字都替换掉吧？不过要这样我就没办法了。比如说我将我的武侠网拆开，分成

武侠网

，$rand_color*是随机颜色，可以自己控制的，如果是动态网页的话，还配合HTTP_REFERER来搞随机，这样子随机性就更大了。一般上，尽量制造难度就是了。模板也可以制造随机性，几个相似的模板轮流来弄，这样子让人采集的难度更大。

不过说实话，要使他们真要搞，那是没办法的事，不过至少要花他们很多的时间去研究。在此之前，他们可能没耐性转向别的站了。

另外，最好不要让人知道你使用随机函数。一般人只是稍微看一下网页代码，就开始采集了。

其实俺地网站也喜欢采集别家的东东,我感觉只要是好的东东,就应该大家一起分享嘛,要真是机密数据,那就最好在每个页面上加随机密码了,但这样也会使搜索引擎找不到你的,得不偿失呀

参考资料：http://www.flashmayi.com