SparkSQL对于重复的计算怎么优化
发布网友
发布时间：2022-04-09 01:44
共1个回答
热心网友
时间：2022-04-09 03:13
Spark sql是为了处理结构化数据的一个spark 模块。
不同于spark rdd的基本API，spark sql接口更多关于数据结构本身与执行计划等更多信息。
在spark内部，sql sql利用这些信息去更好地进行优化。
有如下几种方式执行spark sql：SQL，DataFramesAPI与Datasets API。当相同的计算引擎被用来执行一个计算时，有不同的API和语言种类可供选择。
这种统一性意味着开发人员可以来回轻松切换各种最熟悉的API来完成同一个计算工作。
