如何利用Spark Streaming实现UV统计
发布网友
发布时间：2022-05-03 00:17
共2个回答
懂视网
时间：2022-05-03 04:38
应用迁移或者程序升级
在这个过程中，我们把应用升级了一下，比如说某个功能写的不够完善，或者有逻辑错误，这时候都是需要修改代码，重新打jar包的，这时候如果把程序停了，新的应用还是会读取老的checkpoint，可能会有两个问题：
- 执行的还是上一次的程序，因为checkpoint里面也有序列化的代码；
- 直接执行失败，反序列化失败；
其实有时候，修改代码后不用删除checkpoint也是可以直接生效，经过很多测试，我发现如果对数据的过滤操作导致数据过滤逻辑改变，还有状态操作保存修改，也会导致重启失败，只有删除checkpoint才行，可是实际中一旦删除checkpoint，就会导致上一次未完成的任务和消费kafka的offset丢失，直接导致数据丢失，这种情况下我一般这么做。
这种情况一般是在另外一个集群，或者把checkpoint目录修改下，我们是代码与配置文件分离，所以修改配置文件checkpoint的位置还是很方便的。然后两个程序一起跑，除了checkpoint目录不一样，会重新建，都插入同一个数据库，跑一段时间后，把旧的程序停掉就好。以前看官网这么说，只能记住不能清楚明了，只有自己做时才会想一下办法去保证数据准确。
5）日志
日志用的log4j2，本地保存一份，ERROR级别的日志会通过邮件发送到手机。
val logger = LogManager.getLogger(HelperHandle.getClass.getSimpleName)
// 邮件level=error日志
val logger2 = LogManager.getLogger("email")
分享一个大神的人工智能教程。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到人工智能的队伍中来！
点击浏览教程
微信公众号
我的微信公众号，专注于大数据分析与挖掘，感兴趣可以关注，看一看，瞧一瞧！
实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
标签：oda down rmi sum reset 本地 错误 rac 目录
热心网友
时间：2022-05-03 01:46
