Spark 3.0 安装启动流程

发布网友发布时间：2024-09-16 10:11

我来回答

共1个回答

热心网友时间：2024-09-16 10:49

Spark 3.0的安装启动流程如下：

首先，确保你的环境已经安装了Hadoop 3.1，Spark 3.0版本，并且运行在Centos 7系统上。Hadoop的安装为Spark提供了HDFS支持和YARN调度功能。

安装步骤如下：

sudo chown -R hadoop:hadoop /usr/local/spark/spark-3.0

配置环境变量，添加到系统路径：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.0
export SPARK_HOME=/usr/local/spark/spark-3.0
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:${SPARK_HOME}/bin
在conf目录下，编辑spark-env.sh，配置Java、Hadoop路径、Spark Master节点、内存和CPU核心数：

(省略spark-env.sh的具体配置)

设置slaves文件，包含集群节点，如h01、h03和h04：

h01
h03
h04
将Spark目录复制到其他节点，并使用sbin下的start-all.sh命令启动集群。启动成功后，通过浏览器检查Master节点的8080端口，看到三个节点即安装完成。

安装完毕后，你可以通过提交Spark Demo来测试。例如，运行WordCount示例，将root.log上传到HDFS，然后使用spark-submit命令提交任务：

spark-submit --class WordCount --name WordCount --master h01 --deploy-mode cluster com.sparkstudy-1.0-SNAPSHOT.jar /user/hdfs/root.log

执行后，查看Spark的输出结果，验证程序是否运行正常。