requests不被封方法
发布网友
发布时间:2022-10-03 12:58
我来回答
共1个回答
热心网友
时间:2023-10-10 11:15
requests不被封的方法如下:1.设置headers
通过Python的requests.get(url)有时候会爬到的内容有时候是空网页。原因是网站检测到你发送的request不正常。
这时候通过设置headers参数来模拟真实浏览器发送的请求,往往能解决问题。
2. 设置proxies
有时候会写一些刷访问量的脚本,如果不设置proxies,每次访问请求都是来自同一ip,很容易被后台检测到。
3.爬虫的技术升级过程。