新手学习hadoop用什么系统好
发布网友
发布时间：2022-04-26 19:32
我来回答
共1个回答
热心网友
时间：2023-10-24 08:16
目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是选择Hadoop 1.x用。可能很多人会说，Hadoop都出到2.4，为啥还用1.x呢，说这话一听就没玩过hadoop。
理由一： Hadoop 1.x和2.x是完全两个不同的东西，并不是像说单机的webserver从1.0升级到2.0那么简单的事情。也不是说我现在用的mysql 5.0，只要编译一个新版本就直接无缝迁移到5.5的事情。Hadoop从1.0过度到2.0是整个架构体系全部推翻重写的。从实现方式到用户接口完全是两个完全不同的东西，不要简单的认为那不过就像nginx从0.8升级到1.4一样。所以我给的建议是，生产环境用1.x，实验环境部署2.x作为熟悉使用。
理由二： 依然是，Hadoop不是webserver，分布式系统尽管Hadoop实现出来了，但是他仍然是非常复杂的一套体系，单说HDFS存储，以前Hadoop 0.20.2想升级到0.20.203，首先你需要在所有节点部署上新版的Hadoop，然后停止整个集群的所有服务，做好元数据备份，然后做HDFS升级，还不能保证HDFS一定能升级成功。这样升级一次的代价是很大的，停服务不说，万一升级不成功能不能保证元数据完整无误都是不可预知的。远比你想象的麻烦的多得多得多。千万不要以为有了TDH Manager或者其他管理软件你就真的可以自动化运维了，部署Hadoop只是万里长征的第一步而已。
理由三： Hadoop 2.x目前很不稳定，Bug比较多，更新迭代速度太快，如果你想选择2.x，想清楚再做决定，这玩意不是说你选择新的版本就万无一失了，Openssl多少年了，还出现了心脏滴血的漏洞，何况刚出来才不到一年的Hadoop2，要知道，Hadoop升级到1.0用了差不多7，8年的时间，而且经过了无数大公司包括Yahoo，*，BAT这样的公司不停的更新，修补，才稳定下来。Hadoop2才出现不到一年，根本没有经过长期稳定的测试和运行，看最近Hadoop从2.3升级到2.4只用了一个半月，就修复了400多个bug。
新手学习hadoop用什么系统好
目前为止，作为半只脚迈进Hadoop大门的人，我建议大家还是选择Hadoop 1.x用。可能很多人会说，Hadoop都出到2.4，为啥还用1.x呢，说这话一听就没玩过hadoop。理由一： Hadoop 1.x和2.x是完全两个不同的东西，并不是像说单机的webserver从1.0升级到2.0那么简单的事情。也不是说我现在用的mysql...
如何选择正确的Hadoop版本
如果要给hadoop入门级新手做一个hadoop版本的推荐，可以使用DKH的发行版hadoop。DKH标准版有三个不同的子版本：用于开发调试的单机版；支持三节点的学习版；支持五节点以上的标准服务器版。DKH-分布式SQL版有两个子版本：学习版和服务器版。入门级新手可以选择DKH标准版中的支持三节点的学习版。DKH有...
hadoop安哪个版本
Hadoop版本推荐安装Hadoop 3.x系列版本。这是当前最新的稳定版本，具备良好的稳定性和扩展性，适用于大数据处理和分析。此外，这个版本还提供了更好的安全性和资源管理功能。以下是关于该版本选择的 一、Hadoop 3.x系列版本的优势 Hadoop 3.x系列版本在功能和性能上都有了很大的提升。该版本对HDFS、YARN...
现在学习hadoop从哪个版本入手
1、Apache Hadoop2.0版本，有以下模块：Hadoop通用模块，支持其他Hadoop模块的通用工具集；Hadoop分布式文件系统（HDFS），支持对应用数据高吞吐量访问的分布式文件系统；Hadoop YARN，用于作业调度和集群资源管理的框架；Hadoop MapReduce，基于YARN的大数据并行处理系统。Hadoop目前除了社区版，还有众多厂商的发行...
学习hadoop 需要java吗
2.于此，hadoop一般在工业环境大部分是运行在linux环境下，hadoop是用java实现的。所以最好是熟悉linux环境下编程。至于java做到看得懂比较好，遇到问题可以看看源码从而找出问题在哪。所以如果你想操作hadoop的话，需要java知识：比如IO流，JDBC之类，更是要重点掌握。3.其实，如果要进行Hadoop开发领域，那么...
大数据需要学习Linux吗?
你好，要学Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让...
学hadoop需要什么基础
学hadoop需要的基础如下：Linux：① 需要能够熟练操作linux常用命令以及网络配置；② 熟悉用户以及权限管理操作；③ 需要熟悉软件包以及系统命令管理；④ 还需要学习一下shell编程。Java：⑤ 需要具备一定的javase基础知识；⑥ 如果懂java web及各种框架知识那就更好了。虚拟机：⑦ 需要掌握虚拟机；⑧...
学hadoop需要什么基础?
5、使用Hbase进行数据分析：通过扩展性应对大量的写作操作-Facebook构建了基于HBase的实时数据分析系统 .6、机械学习:例如Apache项目 7、搜索引擎:hadoophucene实现 8、数据挖掘:目前流行的广告推荐、9、用户细分特征建模 10、个性化广告推荐、11、智能仪器推荐 携带，小编介绍Hadoop的学习.我希望对初学者...
学习hadoop需要具备哪些基础
开发方面，hadoop首先是个提供大数据存储的平台，因此我们要使用其存储功能，因此需要掌握其数据操作的api（scala api 或者 java api）；其次是hadoop是大数据分析的数据源，熟悉对大数据的 分析/使用 方法（spark/map-reduce技术，都有scala 和 java两种api）。因此，学习hadoop必须掌握scala或者java中的一门...
大数据都是学什么软件
1. Java：对于大数据学习而言，深入掌握Java语言并非必需，了解Java SE基础即可。因为大数据处理框架通常用Java编写，所以具备Java基础能帮助更快上手。2. Linux：大数据相关软件普遍运行在Linux系统上，因此，Linux操作是学习的重点。精通Linux有助于理解Hadoop、Hive、HBase、Spark等软件的运行和网络配置，减少...
