PLE模型优化

发布网友发布时间：2024-05-14 03:55

共1个回答

热心网友时间：2024-06-18 15:40

背景与挑战

面对MMOE在测试集AUC上未能显现显著提升的现实，我们致力于对其优化升级，以突破现有限制。PLE，即Progressive Layered Extraction，作为多任务学习的新颖框架，被视为MMOE的进阶版本，其理论依据可参考这篇论文：https://dl.acm.org/doi/10.1145/3383313.3412236

多任务学习的困境

当前，多任务学习面临着两大问题：一是“跷跷板效应”，即单个任务的优化可能以牺牲其他任务为代价；二是“负迁移”，任务间的潜在相关性可能导致不良影响。

PLE的创新与改进

作为MMOE的升级，PLE在模型设计上独具匠心。首先，它摒弃了MMOE中所有任务共享所有Expert的单一模式，引入了私有Expert，每个任务都有专属的学习路径，如Figure 4所示。其次，PLE还考虑了Expert之间的交互，通过Multi-level Extraction Networks结构，如Figure 5所示，进一步提升模型的灵活性。

实践与结果

在实际应用中，我针对CTR和CTCVR这两个目标任务，使用PLE模型（私有Expert采用AutoInt，公有Expert采用3个DNN层）与ESMM进行了对比。在验证集上，PLE展现出优于ESMM的表现，但在离线用户召回精度方面有所下降。值得注意的是，将公有Experts从1个扩展到3个，模型效果并未带来显著提升，这为后续优化提出了挑战。

优化与难点

未来的优化方向可能包括使用更复杂的网络结构，如AutoInt、DCN或deepFM，替代原有的简单DNN，以挖掘更深的特征表示。同时，自适应的Loss函数设计，赋予不同目标权重，也是提升模型性能的关键。至于代码实现，论文https://dl.acm.org/doi/10.1145/3383313.3412236提供了详细指导。