sparkstreaming 怎么从kafka拉取数据
发布网友
发布时间:2023-05-28 15:11
我来回答
共1个回答
热心网友
时间:2023-10-10 02:35
构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )
使用了receivers来接收数据,利用的是Kafka高层次的消费者api,对于所有的receivers接收到的数据将会保存在spark executors中,然后通过Spark Streaming启动job来处理这些数据,默认会丢失,可启用WAL日志,该日志存储在HDFS上