用Python写网络爬虫怎么样

发布网友发布时间：2022-04-23 16:16

共1个回答

热心网友时间：2022-04-06 01:42

python非常适合写网络爬虫，语法简单，代码简练，可用的库成熟强大。
常用的库有urllib2、 requests 、selenium 、Scrapy框架等，一般简单的网页连接登录用requests就好了，使用简单、功能强大；
HTML内容用BeautifulSoup解析就ok了，lxml、html.parser都是很方便的解析库，和正则表达式搭配使用效果更佳。
处理JavaScript的动态HTML,用selenium+PhantomJS或firefox的网站自动化测试的思路就可以做到。存储数据建议用mongdb数据库，都是超简单的操作。
处理验证码可以训练Tesseract做到。
如果网站有api的话，那将是最快速、最方便的数据采集途径了。
另外，python是进行数据处理最好的编程语言了，数据的采集是数据处理的第一步。