用python第三方库requests抓取淘宝搜索结果页面,response并不是html...

发布网友发布时间：2022-04-24 14:51

共3个回答

热心网友时间：2022-04-18 03:23

您好，首先，sys.setdefaultencoding is evil。
其次，不会用 Requests 就去看文档，不要乱来。
如果 Requests 检测不到正确的编码，那么你告诉它正确的是什么：
response.encoding = 'gbk'
print response.text
原始内容在 response.content 里，bytes，自己想怎么处理就怎么处理。

单个请求完全没必要用 Session。直接 requests.get(xxx) 就可以了。
最后，弄不明白怎么处理编码错误的字符串就仔细想想，或者用 Python 3.x，不要散弹*编程。
以下是 Python 3。Python 2 在那个字符串前加个 u 告诉它是 unicode 也一样。追问好吧可能是我的描述有问题
我希望返回的是网页源代码不是编码的问题

热心网友时间：2022-04-18 04:41

那是动态网页，不能用这种方法，要是能直接response，那淘宝的反爬虫部门还混个毛线啊。

热心网友时间：2022-04-18 06:16

这个要使用python生成html哦，不是自动生成的哦，能看看wo 的网名吧？》一定能解决的哦！！