mapreduce的join方法有哪些
发布网友
发布时间:2022-05-09 18:51
我来回答
共1个回答
热心网友
时间:2023-10-13 13:26
rece side join是一种最简单的join方式,其主要思想如下:
在map阶段,map函数同时读取两个文件File1和File2,为了区分两种来源的key/value数据对,对每条数据打一个标签(tag),比如:tag=0表示来自文件File1,tag=2表示来自文件File2。即:map阶段的主要任务是对不同文件中的数据打标签。
在rece阶段,rece函数获取key相同的来自File1和File2文件的value list, 然后对于同一个key,对File1和File2中的数据进行join(笛卡尔乘积)。即:rece阶段进行实际的连接操作。
REF:hadoop join之rece side join