问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

分布式系统一定要建立hadoop用户组吗

发布网友 发布时间:2022-04-24 17:48

我来回答

1个回答

热心网友 时间:2023-10-28 04:51

你好,要的。方法如下:
  Ubuntu12.10交换空间4G(内存2G)。具体安装过程不赘述。
  用户名统一为:hadoop;
  组群:hadoop;
  机器名:namenode(主节点),datanode1(从节点1),datanode2(从节点2)。
  在Ubuntu下创建hadoop用户组和用户(也可在安装系统时通过界面配置)

  1. 创建hadoop用户组;
  $ sudo addgroup hadoop
  记下这里为 hadoop 用户设置的密码,后面使用 hadoop 用户登录时需要用到。
  2. 创建hadoop用户;
  $ sudo adser -ingroup hadoop hadoop
  3. 给hadoop用户添加权限,打开/etc/sudoers文件;
  $ sudo gedit /etc/sudoers
  4. 给hadoop用户赋予root用户同样的权限。
  在root ALL=(ALL:ALL) ALL下添加如下内容:
  hadoop ALL=(ALL:ALL) ALL
  在Ubuntu下安装JDK

  配置环境变量:
  $ sudo gedit /etc/profile
  在文件的末尾加上如下内容,保存并关闭文件
  # for java
  export JAVA_HOME=/usr/lib/jvm/jdk1.8.0
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
  export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

  使设置生效:到此部JDK的配置就都完成了
  $ source /etc/profile
  为保证正确性,进行简单的测试
  $ java -version
  输出:
  java version "1.8.0"
  Java(TM) SE Runtime Environment (build 1.8.0)
  Java HotSpot(TM) Server VM

  修改默认JDK:
  sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0/bin/java 300
  sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0/bin/javac 300
  sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.8.0/bin/jar 300
  以下两句可选(最好执行):
  sudo update-alternatives --config java
  sudo update-alternatives --config javac
  修改机器名(这步骤可以省略)

  每当ubuntu安装成功时机器名都默认为:ubuntu ,但为了以后集群中能够容易分辨各台服务器,需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。
  1. 打开/etc/hostname文件;
  $ sudo gedit /etc/hostname
  2. 将/etc/hostname文件中的ubuntu改为对应机器,如主节点中,修改为"namenode"。 重启生效。

  3.修改/etc/hosts文件
  $ sudo gedit /etc/hosts
  改为如下所示,并且将每台机器的IP设置为固定IP:
  安装ssh服务
  
  这里的ssh不是指三大框架:spring,struts,hibernate,而是一种远程登录协议。
  ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看:
  $ sudo ps -ef | grep ssh
  如果只有 ssh-agent 就需要安装openssh-server了。
  $ sudo apt-get install ssh openssh-server
  建立ssh无密码登录本机

  首先要转换成hadoop用户,执行以下命令:
  $ sudo su - hadoop
  
  ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。
  1. 创建ssh-key,,这里我们采用rsa方式;
  $ ssh-keygen -t rsa -P ""
  请注意, ssh-kengen 是用连字符连着的,千万不要分开。问题如下:
  按照您的步骤执行的过程中我在ssh -keygen -t rsa -P ""这边发生的点小状况输入之後终端机显示Bad escape character "ygen"(红字部分就是问题所在,他将 ssh-keygen 分开了。)
  (注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)

  2. 创建授权文件authorized_keys
  进入~/.ssh/目录下,发现开始是没有authorized_keys文件的,可以使用以下两种方法:
  (1) 将id_rsa.pub追加到authorized_keys授权文件中;
  $ cd ~/.ssh
  $ cat id_rsa.pub >> authorized_keys
  (2) 复制 id_rsa.pub 为 authorized_keys
  $ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
  3. 登录localhost;
  $ ssh localhost
  4. 执行退出命令(exit或CTRL+D);
​ 转载,仅供参考。
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
为什么有世界三大男高音,而没有人是世界三大最高男音? 各位,请教一个问题。给一个初次见面的朋友用日文怎么写信? 男友不好意思夸我,怎么办? 结婚不发朋友圈 2023年哈尔滨12月一般多少度-12月份去哈尔滨穿什么合适 《狱中联欢》教案 狱中联欢、赤壁之战、田忌赛马、一夜的工作、石灰吟按时间的先后顺序排... 狱中联欢是按照——顺序来记叙的?文中详写的是——略写的是—— 如何对待轻视你的人? 看透身边这七种人,提升自己格局和认知 Hadoop集群以外的机器如何访问Hadoop集群,进行提交文件,下载文件?_百... 讨论:为什么大四生自学python两个月找不到工作 hadoop 怎么以root身份登录 hadoop中在HDFS中创建一个input目录,然后hadoop fs -ls命令 怎么在ubuntu hadoop上运行apriori程序 熟练Python找不到工作是什么体验 hadoop2.5.2,创建name 和 data文件的权限问题 root@hadoop的安装和转换 linux 请问:没有学历的IT小白学会了python之后会找到工作吗? 怎么将hadoop从2.6换为2.7 知乎上这么多推崇学 Python 入 IT 行的,如果他们学完 Python 这一套找... 学完整套 Python 找不到工作怎么办? 大专学历学python能找到工作吗? 动态路由协议有哪几种类型? 纤维增强的和颗粒增强的复合材料有什么区别 为何Python不好找工作? 纤维增强的和颗粒增强的复合材料有什么区别? 为何有人学Python找不到工作,这是真的吗? 连续纤维增强热塑性复合材料是什么 无线路由器一般包括了什么协议,以支持无线网络用户的网络连接共享? hadoop中怎么创建文件夹? 在hadoop创建ssh无密码登录中,root输入了su - hadoop进行登录hadoop,但是出现的情况不一样,怎么回事? hadoop用户是否可以具有root权限 车备用钥匙丢了怎么办?是去4s店里配1把钥匙,还是换个芯片配把钥匙? 怎么设置配置文件才能使hadoop命令怎么能在哪个目录下都能执行? 配置hadoop时问题 汽车遥控钥匙丢了,备用的也丢了,怎么办? 宝骏730u盘接口是多大的?2.0还是3.0?用多大U盘比较好?谢谢,求解 部署hadoop时,需要在系统中创建哪些属于hadoop组的用户 宝骏73016款支持多大u盘 汽车的钥匙丢了怎么办? hadoop启动时 hadoop-daemon.sh: 权限不够 宝骏730多媒体功能支不支持3.0u盘 为什么namenode只能再root下启动而不能在hadoop账户下启动? 坦克300商品车车钥匙丢了怎么办 linux下安装hadoop创建一个hadoop超级用户而不是用root用户,这样做有... 宝骏730导航仪支持多大容量sd卡 汽车钥匙丢了怎么办,求解决? 宝骏730 1.5排量用的是什么发动机。 微信邮箱地址怎么收不到验证信息