hdfs在写数据的过程中datanode死掉怎么办

发布网友发布时间：2022-04-14 04:57

共2个回答

热心网友时间：2022-04-14 06:26

在写入的时候不会重新重新分配datanode。如果写入时，一个datanode挂掉，会将已经写入的数据放置到data queue的顶部，并将挂掉的datanode移出pipline，将数据写入到剩余的datanode.在写入结束后， namenode会收集datanode的信息，发现此文件的replication没有达到配置的要求（default=3）,然后寻找一个datanode保存副本。

热心网友时间：2022-04-14 07:44

文件是按照块来存储的，比如配置的每块大小为64M，那么5G的文件，会分成5*1024/64=80块，每个块会在不同节点上存多份。你上面说的依次写入datanode，是指将每个块依次写入。
读取的时候，也是一块一块来读的，当然，这些都已经被HDFS的客户端封装好了，你看到就是在读一个文件。