mapreduce的join方法有哪些
发布网友
发布时间：2022-05-09 18:51
共1个回答
热心网友
时间：2023-10-13 13:26
在map阶段，map函数同时读取两个文件File1和File2，为了区分两种来源的key/value数据对，对每条数据打一个标签（tag）,比如：tag=0表示来自文件File1，tag=2表示来自文件File2。即：map阶段的主要任务是对不同文件中的数据打标签。
在rece阶段，rece函数获取key相同的来自File1和File2文件的value list， 然后对于同一个key，对File1和File2中的数据进行join（笛卡尔乘积）。即：rece阶段进行实际的连接操作。
REF：hadoop join之rece side join
