大数据和python有什么区别
发布网友
发布时间：2022-04-23 20:02
共2个回答
懂视网
时间：2022-04-07 16:27
数据就是资产。大数据工程师是现在十分火热、高薪的职位。做大数据开发和分析不仅要用到Java，Python也是较重要的语言。
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（推荐学习：Python视频教程）
为什么是python大数据?
从大数据的百科介绍上看到，大数据想要成为信息资产，需要有两步，一是数据怎么来，二是数据处理。
数据怎么来？
在数据怎么来这个问题上，数据挖掘无疑是很多公司或者个人的优选，毕竟大部分公司或者个人是没有能力产生这么多数据的，只能是挖掘互联网上的相关数据。
网络爬虫是Python的传统强势领域，较流行的爬虫框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能够独当一面的类库。
当然，网络爬虫并不仅仅只是打开网页，解析HTML怎么简单。高效的爬虫要能够支持大量灵活的并发操作，常常要能够同时几千甚至上万个网页同时抓取，传统的线程池方式资源浪费比较大，线程数上千之后系统资源基本上就全浪费在线程调度上了。
Python由于能够很好的支持协程(Coroutine)操作，基于此发展起来很多并发库，如Gevent，Eventlet，还有Celery之类的分布式任务框架。被认为是比AMQP更高效的ZeroMQ也是较早就提供了Python版本。有了对高并发的支持，网络爬虫才真正可以达到大数据规模。
数据处理:
有了大数据，那么也需要处理，才能找到适合自己的数据。而在数据处理方向，Python也是数据科学家较喜欢的语言之一，这是因为Python本身就是一门工程性语言，数据科学家用Python实现的算法，可以直接用在产品中，这对于大数据初创公司节省成本是非常有帮助的。
更多Python相关技术文章，请访问Python教程栏目进行学习
热心网友
时间：2022-04-07 13:35
能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
首先大数据是一个很大的概念，现在很多领域都用到了大数据，比如：互联网、广告、金融、能源、交通等。而Python是一门编程语言，可以用Python处理和分析各个领域产生的数据。很多初学者经常比较哪种语言是最好的，其实：编程语言没有最好，只有最适用，即在某一种中场景下最适用！！！经常会有很多小伙伴们在一些论坛中喊，PHP是世界第一语言；Java是宇宙第一语言；人生苦短，我用Python等等。
客观的说，如果以后想从事大数据开发方向，两种语言都可能会用到，可以先学一门，因为语言是相通的，学了一门后，再学其他的就很快了！！！不要在到底学习哪门语言上纠结，重要的是先行动起来，学好一门编程语言！因为以后你可能还会学新的语言，比如现在Spark很火，还要学Scala呢！
推荐学习《python教程》
以前在一个论坛上有人这样比较Python、Java、C++，我觉得很形象生动：说Python是自行车，拿过来就骑，但是速度最快也就百十公里；Java是大型运输机，体量大，越飞越快；C++是导弹，一按发射按钮，嗖的一下就飞了，可以飞到几倍音速。经过比较，很容易上手，但是Python的性能最差，C++性能最高，但是想驾驭C++，就像控制导弹一样，成本和难度较高，而Java就脱颖而出了，你会发现现在大数据生态圈中的绝大多数框架都是用Java编写或是运行在JVM之上的！！！
互联网企业是这样做的：如果处理的数量比较大，那先用Hadoop或Spark进行一次或多次处理，然后将处理后的结果保存起来。如果数据量较小并且还要做一些数据挖掘或机器学习，会倾向使用Python，因为Python的机器学习算法更多，更完善！但是Hadoop和Spark也有相应的机器学习库了，比如Hadoop的Mahout和Spark MLlib，但是算法相对较少，随着时间的发展，会越来越完善的！所以到底是使用Spark还是Python，要看数据量的多少和业务的复杂度来决定！
就大数据处理和分析而言，python更适用一些，建议先学好python，毕竟现在大数据生态圈中的技术都脱离不了python，以后再学其他语言也很容易！
