window8.1 64位操作系统 怎么装虚拟机或双系统

发布网友 发布时间：2022-04-14 14:59

我来回答

共2个回答

懂视网 时间：2022-04-14 19:21

工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在如火中天。言归正传： 首先需要下载Apache hadoop 2.4.0的tar.gz包，到本地解压缩到

工作需要，要开始搞hadoop了，又是大数据，自己感觉大数据、云，只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织，Java如果没有它也不会现在如火中天。言归正传：

首先需要下载Apache hadoop 2.4.0的tar.gz包，到本地解压缩到某个盘下，注意路径里不要带空格。否则你配置文件里需要用windows 8.3格式的路径！

第二确保操作系统是64bit，已安装.netframework4.0以上版本，这个你懂的，微软的天下，没有这个怎么混！

第三确保安装了64 bit 版本的JDK1.7，笔者使用的就是JDK1.7.

第四请到github下载hadoop-commin-2.2.zip，官方下载的Apache hadoop 2.4.0的压缩包里，缺少windows下运行的链接库（hadoop.dll，winutils.exe，libwinutils.lib等），这个github的是大佬们编译好的64bit版的链接库包。下载直接解压缩，覆盖掉官方hadoop目录下的bin目录即可。

如果你想在windows下编译安装hadoop，则请直接参考官方原版文档：Hadoop2.X Windows安装指南

接下来进行配置（大部分摘抄自官方文档）：

我的Hadoop解压缩目录是D:Hadoop_2_4_0,以下简称h_home

首先，修改%h_home%etchadoop的hadoop-env.cmd脚本文件，在文件末尾增加环境变量定义。注意找到文件最初的JAVA_HOME设置，改成你的64位JDK路径，这一点一定要注意！比如我的：“set JAVA_HOME=D:OLD_JDKjdk1.7.0_51”

set HADOOP_PREFIX=c:deploy
set HADOOP_CONF_DIR=%HADOOP_PREFIX%etchadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%in

之后在该路径下找到或创建core-site.xml文件，修改内容如下：

 
 fs.default.name
 hdfs://0.0.0.0:19000
 

 
 dfs.replication
 1
 

接下来我们配置一个YARN示例：

还是在该配置文件路径下，修改或者创建一个mapred-site.xml文件，路径下有个同名的模板文件，可以直接复制，然后修改其中的内容。注意替换配置文件中%USERNAME% 为你windows的用户名。

 
 mapreduce.job.user.name
 %USERNAME%
 

 
 mapreduce.framework.name
 yarn
 

 
 yarn.apps.stagingDir
 /user/%USERNAME%/staging
 

 
 mapreduce.jobtracker.address
 local
 

 

最后，创建yarn-site.xml文件，变更内容如下：

 
 yarn.server.resourcemanager.address
 0.0.0.0:8020
 

 
 yarn.server.resourcemanager.application.expiry.interval
 60000
 

 
 yarn.server.nodemanager.address
 0.0.0.0:45454
 

 
 yarn.nodemanager.aux-services
 mapreduce_shuffle
 

 
 yarn.nodemanager.aux-services.mapreduce.shuffle.class
 org.apache.hadoop.mapred.ShuffleHandler
 

 
 yarn.server.nodemanager.remote-app-log-dir
 /app-logs
 

 
 yarn.nodemanager.log-dirs
 /dep/logs/userlogs
 

 
 yarn.server.mapreduce-appmanager.attempt-listener.bindAddress
 0.0.0.0
 

 
 yarn.server.mapreduce-appmanager.client-service.bindAddress
 0.0.0.0
 

 
 yarn.log-aggregation-enable
 true
 

 
 yarn.log-aggregation.retain-seconds
 -1
 

 
 yarn.application.classpath
 %HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*
 

1、切换到etc/hadoop目录，运行hadoop-env.cmd脚本，设置当前命令窗口执行环境变量。

2、格式化HDFS文件系统（建议切换到bin目录然后执行命令）：

%HADOOP_PREFIX%inhdfs namenode -format

3、运行HDFS示例：

%HADOOP_PREFIX%sbinstart-dfs.cmd

热心网友 时间：2022-04-14 16:29

追答是的，版本还是这个，不过下一个完整版就行