请问在Hadoop的HDFS中，是如何把文件分割后的block...

发布网友发布时间：2022-04-21 21:53

共3个回答

热心网友时间：2022-03-31 20:02

（1）文件分割后，会有一个文件 --> block的映射，这个映射是持久化到硬盘中的，具体的映射关系表是在FSNamesystem.java中构建的（该部分的构建使用的是FSDirectory.java的功能，filename - blockset）；
有了文件到块的映射表就可以通过文件找到blocklist；
（2）datanode的选取，hadoop有它本身的机制，一般来说，datanode默认是三个，选取的是不同机架的datanode，同机架里选一台，另一个机架里选取两台（安全性等考虑）；
（3）block写入datanodes，选取的三个datanode，比如说是A、B、C，先写给A，A再写给B，B再写给C；然后B收到C的写入成功，A收到B的写入成功，然后告诉namenode 和 client写入成功；
（4）真正写的并不是block，而是比block更小的好像是chunk ，还包括有各种校验。

给你参考一下。

热心网友时间：2022-03-31 21:20

不是一个一个的写，是以流水线的方式同时写数据副本的

热心网友时间：2022-03-31 22:55

你搞错逻辑了。通过hdfs的client将文件put到hdfs上时，是通过管线的方式，每次client传输一个packet到一个datanode上，datanode在同时传给其他daanode，保证了该块的N副本。等到该datanode上的block size达到 dfs.block.size的时候。再循环传输下个block大小的数据到hdfs，这样最终将数据传输到hdfs