Python爬取动态生成的网页(框架)需要具备哪些知识或者使用哪些库?

发布网友发布时间：2022-04-23 19:49

共5个回答

热心网友时间：2023-09-20 18:19

　　1、抓取网页，模拟登陆等背后的通用的逻辑和原理；
　　2、以提取songtaste网页中标题为例，详解如何抓取网站并提取网页内容；
　　3、以模拟登陆百度为例，详解如何模拟登陆网站；
　　4、以抓取网易博客帖子中的最近读者信息为例，详解如何抓取动态网页中的内容；
　　5、详解了在模拟登陆和抓取动态网页过程中，如何用对应的网页分析工具，如IE9的F12，Chrome的Ctrl+Shift+J，Firefox的Firebug，去分析出对应的逻辑；
　　6、针对抓取网站，模拟登陆，抓取动态网页，全部给出了完整的可用的，多种语言的示例代码：Python，C#，Java，Go等。

热心网友时间：2023-09-20 18:19

对于动态生成(前端JS后继运算加载)的页面,只看html源代码是没有用的,需要由webkit等浏览器引擎执行过js代码之后,才能使页面完全展现出来.
可以通过直接使用浏览器内核输出页面的方式来得到最终代码.
我使用的是phantomjs来得到最终页面代码.

热心网友时间：2023-09-20 18:20

需要网页编程基础，懂一些简单的ajax，需要会一种网页抓包调试工具。在Mozilla里有一个firebug。

如果有人教你，几天。我遇到一个人，教了她一个星期也没有弄会。

自己摸索有些难。可能也需要一个星期左右时间。

热心网友时间：2023-09-20 18:20

哦，现在很多网站用了ajax，会动态的加载页面内容。你可以使用python模仿每次动态加载的请求就可以了。

热心网友时间：2023-09-20 18:21

弱弱的问一下楼主有没有什么进展，我也在爬瀑布流网站，可以交流下经验吗？