RecFound：面向推荐系统的生成式表征学习统一框架

409 0 0

文章摘要

构建能够在多样化任务中表现卓越的单一基座模型是人工智能领域的长期目标。随着通用大模型技术的推进，其影响力已扩展至推荐系统领域。然而，当前针对推荐任务的基座模型研究普遍忽视了表征式任务，并在处理多任务学习的复杂性方面面临挑战。为应对这些局限性，上海交通大学与华为诺亚方舟实验室的研究团队提出了RecFound，一个面向推荐基座模型的生成式表征学习统一框架。该框架通过创新的模型架构与训练策略，成功地在单一模型内统一了生成与表征两类异构任务。

核心挑战在于推荐基座模型中的任务分歧与训练困境。表征学习是现代推荐系统的核心，但许多研究过度侧重于生成式任务，未能充分整合和优化底层的表征学习能力。这导致模型在核心的“猜你喜欢”能力上存在短板。此外，多任务学习的内在复杂性，如知识冲突与负迁移、收敛不一致，也严重制约了模型的综合效能。

RecFound框架通过模型、数据与策略的三维协同，系统性地解决了上述挑战。在模型层，RecFound采用了任务化低秩专家混合（TMoLE）架构，通过动态路由权重向量，为不同类型的任务分配专属的参数子空间以避免冲突，同时通过共享专家促进跨任务的知识迁移。在数据层，步进式收敛导向样本调度器（S2Sched）动态调整各任务的数据采样比例，确保所有任务能够均衡、稳定地收敛。在策略层，模型融合模块采用TIES-Merging技术，对多个优秀检查点的低秩专家参数进行合并，生成一个在所有任务上表现都更均衡、性能更稳健的单一模型。

研究团队构建了首个全面覆盖推荐领域中生成式任务与表征式任务的综合数据集——RecFound Dataset。该数据集整合了来自电商、社交媒体、影音等多个真实场景的数据，为评估和开发统一推荐基座模型提供了坚实的基准。在基于RecFound数据集的广泛实验中，RecFound框架展现出卓越的性能，验证了其设计的有效性。

RecFound框架不仅在理论和实践上成功解决了长期困扰推荐系统多任务学习的知识冲突与收敛失衡问题，也为推荐系统的未来发展开辟了新的方向。该工作为学术界和工业界探索更强大的统一推荐基座模型提供了清晰的路线图和宝贵的工具。