MapReduce中控制Map数量
发布网友
发布时间：2023-03-27 22:57
共1个回答
热心网友
时间：2023-10-24 22:38
问题猜测是由于MapJoin导致了oom，经指点后设置如下参数
Job 成功执行。具体原理经查阅资料后，整理如下：
在进行map计算前，MapRece会根据输入文件计算输入分片(Input Split),每个输入分片针对一个map任务，输入分片存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组
在Hadoop2.x中默认的block大小是128M，在1.x中默认的大小是64M，可是在hdfs-site.xml中自行设置：
分片的大小范围可以在mapred-site.xml中设置
所以，当没有设置分片范围的时候，block块的大小决定了分片的大小，比如把一个258M的文件上传至HDFS，假设block的大小是128M，那么它就会被分成3个block块，与之相对应产生三个split，最终会有三个map task。这样产生一个新的问题，继续上面的例子，第3个block块存的文件大小只有2M，而它的block块的大小是128M，那它实际占用的Linux file system的空间是多大？答案是文件的实际大小；那在这种情况下，block大小的意义在于，当文件通过append操作不断增长时，可以通过block的大小决定何时split 文件。
blockSize：HDFS的文件块大小
totalSize：输入文件大小
inputFileNum：输入文件的数量
除了以上这些配置外，MapRece还要遵循一些原则。MapRece的每一个map处理数据是不能跨越文件的。也就是说minMapNum>=inputFileNum,所以，最终的map个数应该为：
mapNum=max(computeMapNum,inputFileNum)
