mapreduce 输入和输出有多个目录

发布网友发布时间：2024-03-19 01:00

共1个回答

热心网友时间：2024-04-07 01:38

1.MapReduce多路径输入
1.1FileInputFormat.addInputPath(s)
FileInputFormat.addInputPath()是我们最常用的设置MapReduce输入路径的方法了。其实，FileInputFormat有两个这样的方法：

[html] view plain copy
static void addInputPath(Job job, Path path)

static void addInputPaths(Job job, String commaSeperatedPaths)

addInputPath()只能指定一个路径，如果要想添加多个路径需要多次调用该方法：

[java] view plain copy
FileInputFormat.addInputPath(job, new Path(args[0]));
FileInputFormat.addInputPath(job, new Path(args[1]));
FileInputFormat.addInputPath(job, new Path(args[2]));

addInputPaths()可以指定多条路径，而这多条路径是用“,”分隔的一个字符串：

[java] view plain copy
String paths = strings[0] + "," + strings[1];
FileInputFormat.addInputPaths(job, paths);