hdfs怎么删除目录下的文件夹
发布网友
发布时间：2022-04-27 05:57
我来回答
共1个回答
热心网友
时间：2022-04-27 00:20
具体步骤
（1）将要删除的datanode加入到dfs.hosts.exclude指定的文件中。（最好使用主机名，IP有时可能不生效）
（2）动态刷新配置，不需要重启namenode
hadoop dfsadmin -refreshNodes
（3）通过hadoop dfsadmin -report或webui，可以看到，该datanode的状态为Decommissioning
（4）等待一段时间，该节点为dead状态。
（5）删除dfs.hosts文件中该节点 即下架目标机器后，再次编辑dfs.hosts.exclude，把刚才下架的机器的ip或机器名移走
（6）
hadoop dfsadmin -refreshNodes
注：按照上面的操作后，如果你想要重新启用该节点为datanode，从dfs.hosts.exclude中删除该节点，refreshNodes，然后，到该节点上，重启启动该datanode：
/usr/local/hadoop/bin/hadoop-daemon.sh stop datanode
/usr/local/hadoop/bin/hadoop-daemon.sh start datanode
注:正确的删除datanode的方法应该是按照上面的方法，使用exclude文件，而不应该直接去datanode上去sotp datanode，这样会造出数据丢失，而且stop以后，webui和hadoop dfsadmin -report都仍然显示该datanode节点。除非重新启动namenode。
之所以重新启用exclude的节点时可以stop datanode，因为此时该datanode不包含在cluster中，所以，stop后不会造成数据丢失。
怎样使用命令行将hdfs上面的目录删除
命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，并开启hadoop) rm -rf /home/mm/lily2（这是删除linux文件系统的文件夹）
HDFS操作命令
通过这个命令可以查看in文件夹中所有文件的内容 通过“-get 文件按1 文件2”命令将HDFS中某目录下的文件复制到本地系统的某文件中,并对该文件重新命名。 命令格式:hadoop dfs -get 文件名 新文件名 -get 命令与-put命令一样,既可以操作目录,也可以操作文件 通过“-rmr 文件”命令删除HDFS下的文件 命令格式:...
hadoop中在HDFS中创建一个input目录,然后hadoop fs -ls命令
从fs -ls从列出来的文件看，这个文件夹/user/root/input是通过root用户创建的。说明你在从本地文件系统拷贝input目录到hdfs系统的时候，不是采用的hadoop用户，而是用root用户执行的拷贝命令，你可能忘记切换用户了，可以删除现在的input目录(采用root用户运行hadoop的删除命令，或者不删除也没关系)，重新使...
如何在spark中删除hdfs的某个文件夹
（5）删除dfs.hosts文件中该节点 即下架目标机器后，再次编辑dfs.hosts.exclude，把刚才下架的机器的ip或机器名移走 （6）hadoop dfsadmin -refreshNodes 注：按照上面的操作后，如果你想要重新启用该节点为datanode，从dfs.hosts.exclude中删除该节点，refreshNodes，然后，到该节点上，重启启动该datanode：/...
HDFS笔记
只用告诉HDFS文件的路径即可。HDFS的指令类似于linux下的指令。 查看文件：hdfs dfs -ls /查询的文件目录 删除文件：hdfs dfs -rm r /删除的文件 创建文件夹：hdfs dfs -mkdir /文件夹名称 上传文件至HDFS：hdfs dfs -put 需要上传的文件 /上传的文件路径 为什么需要学习HDFS结构？
如何把hdfs上的多个目录下的文件合并为一个文件
1 1 这样可以把文件hdfs上 /folderpath目录下的/folder开头的文件，还不合并到/newfolderpath目录下的file一个文件中 注意/folder*必须是文件，而不能是文件夹，如果是文件夹，可以/folder*/ cat test.txt | ssh test@masternode "hadoop dfs -put - hadoopFoldername/"1 1 可以这样把本机的文件...
hdfs回收站清空了怎么恢复
1 设置.Trash文件夹 如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下：<property> <name>fs.trash.interval</name> <value>10080</value> </property> 该配置项在core-site.xml中，fs.trash.interval代表删除的文件保留的时间，时间单位为分钟，默认为0代表不保存...
hadoop fs -mkdir的默认目录是什么?
路径是HDFS文件系统的根目录，这个目录你启动节点后，50070端口进去，本机可以看到，和本地的文件系统是独立的
hadoop命令,hadoop dfs –ls 可以既显示文件夹又显示文件吗?
hadoop dfs –ls是显示指定目录下的所有文件以及目录信息，如果指定的是文件，则显示该文件信息
hdfs集群默认权限
hdfs创建的目录权限由umask、父目录权限决定 hadoop的umask 与linux的umask类似，umask-mode值为022，默认为创建文件夹为755对应rwxr-xr-x，文件为644对应rw-r--r-- 针对上述问题，设置为000则为777 根据hadoop集群版本，如果是3.x 以前只能通过client的 umask决定，无法通过父目继承 hdfs dfs 命令参考...
