大数据分析工程师日常工作有哪些?
发布网友
发布时间：2022-03-02 07:05
共2个回答
热心网友
时间：2022-03-02 08:34
满足业务人员的需求也分淡旺季，旺季就是做月度汇报、年度汇报的时候，或者做促销活动、推广活动的时候。特别是业务人员要做汇报的时候，会疯狂call数据分析的，单身N年的手速这个时候用得上了。
当然，淡季也不会闲着，还得做专题分析呀。得研究研究各领导拍脑门想到的数据需求：比如产品种类会不会太多，要不要精简一下，这个时候得去找数据支撑，比如80%的业绩产生于哪些产品，而长尾品又能产生多少业绩，再了解下竞争对手又是怎样的策略。再比如到了月末的时候，就得预测下一周期的业绩能完成多少，从哪块新业务增收多少，预计引流多少新用户获得多少收益，怎么拉升客单价从而增收多少收益，这时候顺便就把业务的kpi目标定下了。又比如突然有什么异常情况，日活的用户数持续下降了，那就得到业务各个环节里找原因。还比如某个业务环节存在问题没有攻破，如订单满足率还是不理想，就得四处扒拉数据去分析造成多少损失，主要是哪部分造成损失最多，还得想该如何用数据监控，责任方在哪，如何完善等······
综上就是小编整理的数据分析工程师日常工作，希望可以帮您更好的理解这个岗位。
热心网友
时间：2022-03-02 09:52
大数据工程师工作内容取决于你工作在数据流的哪一个环节。
从数据上游到数据下游，大致可以分为：
数据采集 -> 数据清洗 -> 数据存储 -> 数据分析统计 -> 数据可视化 等几个方面
工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。
具体说说吧，
数据采集：
业务系统的埋点代码时刻会产生一些分散的原始日志，可以用Flume监控接收这些分散的日志，实现分散日志的聚合，即采集。
数据清洗：
原始的日志，数据是千奇百怪的
一些字段可能会有异常取值，即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据，需要对这些记录进行过滤或者字段数据回填。
一些日志的字段信息可能是多余的，下游不需要使用到这些字段做分析，同时也为了节省存储开销，需要删除这些多余的字段信息。
一些日志的字段信息可能包含用户敏感信息，需要做脱敏处理。如用户姓名只保留姓，名字用'*'字符替换。
数据存储：
清洗后的数据可以落地入到数据仓库(Hive)，供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高，则可以把日志记录入到kafka。
数据分析统计：
数据分析是数据流的下游，消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据，简单的报表统计可以用sql在kylin或者hive统计，复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。
数据可视化：
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据~
当然，大数据平台(如CDH、FusionInsight等)搭建与维护，也可能是大数据工程师工作内容的一部分喔~
希望对您有所帮助！~
