分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践
发布网友
发布时间：2024-09-29 16:39
共1个回答
热心网友
时间：2024-11-26 05:46
分布式计算引擎 Flink和Spark在Kubernetes（k8s）上的实现和实践对比深入探讨。以前，它们主要依赖Hadoop生态的YARN，但现在转向k8s原生调度器，如Volcano和Yunikorn等。Flink和Spark在Kubernetes上的核心差异在于：
Native支持: Flink和Spark都直接向k8s申请资源，与YARN的AppMaster类似，但需要符合k8s的标准。
Spark on k8s: 提交作业与YARN类似，但命令略有不同，资源清理可通过k8s的owner reference机制自动执行。依赖管理可利用s3中转，PodTemplate支持自定义sidecar容器。
Flink on k8s: Flink的Application Mode无需指定TaskManager数量，资源清理通过JobManager Deployment实现，PodTemplate和RBAC支持与Spark类似。
在实践中，Spark和Flink的生态各有局限。Spark的Pod缺乏容错性，Flink的Deployment语义可能导致JobManager反复重启。作业日志收集方面，Flink作业结束后无日志留存，Spark则保留Driver Pod日志。总的来说，两者在k8s生态中的实现虽然有差异，但都需结合其他工具如Prometheus进行监控和日志管理，以解决特定问题。
