Apache Doris 在小鹅通的应用实践

发布网友发布时间：2024-08-19 03:58

共1个回答

热心网友时间：2024-08-22 06:01

深圳小鹅通作为知识产品与用户服务的核心技术服务商，已助力众多知名品牌实现业务升级。随着直播带货的兴起，小鹅通直播平台在直播数据分析方面发挥着关键作用。原有架构中，基于Elasticsearch与HBase的系统在数据规模扩大和实时性要求提高时，显现了性能瓶颈。为解决这些问题，小鹅通在2022年引入Apache Doris进行重构，打造全新的直播数据分析平台。

升级后的架构将实时和离线数据处理统一交由Doris处理，显著提升了数据写入和查询性能。通过Flink-Doris-Connector，实时从MySQL和SDK中抽取数据，Doris的高效写入和查询能力支持每秒20万数据更新。此外，Doris的多表Join功能使得用户基础信息与学习数据等关联查询变得快速且准确，极大地缩短了开发周期和运维成本。

在用户画像场景中，Doris通过创建标签表和版本表，以及Bitmap索引加速查询，商家能够快速生成用户标签并进行精准分析。双集群高可用方案的引入，确保了在业务高峰期间的数据稳定性和恢复速度，降低了用户流失的风险。自研的数据可视化平台，整合了Doris的强大查询能力，提供实时数据大屏分析，助力业务决策。

未来，小鹅通计划进一步拓展Apache Doris的应用范围，提升集群性能，并积极参与社区建设。Doris的引入不仅提升了直播数据分析平台的性能，也为小鹅通的业务发展提供了强大支持。