sparkstreaming如何计算最大值

发布网友发布时间：2022-04-26 10:29

共1个回答

热心网友时间：2022-04-14 07:16

如何在执行spark streaming 执行过程中，增加executor数量
客户端提交作业后启动Driver，Driver是park作业的Master。
每个作业包含多个Executor，每个Executor以线程的方式运行task，Spark Streaming至少包含一个receiver task。
Receiver接收数据后生成Block，并把BlockId汇报给Driver，然后备份到另外一个Executor上。
ReceiverTracker维护Reciver汇报的BlockId。
Driver定时启动JobGenerator，根据Dstream的关系生成逻辑RDD，然后创建Jobset，交给JobScheler。
JobScheler负责调度Jobset，交给DAGScheler，DAGScheler根据逻辑RDD，生成相应的Stages，每个stage包含一到多个task。
TaskScheler负责把task调度到Executor上，并维护task的运行状态。
当tasks，stages，jobset完成后，单个batch才算完成。