《Privileged Features Distillation at Taobao Recommendations KDD20 Ali》PDF
淘系推荐提出 PFD 方法，提升 CVR 准确率 ：在离线环境下，同时训练两个模型：一个学生模型和一个教师模型。其中教师模型额外利用了秘密特征（比如 CVR 任务中，在商详页点击评论次数），则准确率更高。将教师模型蒸馏出来的知识传递给学生模型，辅助其训练，提升学生的准确率。线上服务时，只用学生模型进行部署，由于输入中不依赖秘密特征，则保证了线上线下特征的一致性。
主要参考《UNIFYING DISTILLATION AND PRIVILEGED INFORMATION ICLR16》PDF
