hive 为什么不能退格
发布网友
发布时间：2022-04-21 19:55
共1个回答
热心网友
时间：2022-06-18 21:57
sql(s"""INSERT OVERWRITE Table $outputTable PARTITION (dt ='$outputDate') select * from result""")
整结数据产需要4钟左右间比式：结textfile存入hdfs：
result.rdd.saveAsTextFile(output_tmp_dir)
由见hive写入操作耗用量间
现象优化文件存符合hive table文件格式使用hive load产结文件直接move指定目录代码：
result.rdd.map { r => r.mkString("\001") }.repartition(partitions).saveAsTextFile(output_tmp_dir)
sql(s"""load data inpath '$output_tmp_dir' overwrite into table $output partition (dt='$dt')""")
F
