通过大型语言模型实现高效且可部署的知识注入，用于开放世界推荐系统

推荐系统通过引入大语言模型（LLM）外部知识解决闭环环境下的开放世界知识获取难题。提出的REKI框架采用因子化提示技术，分别通过个体和集体知识抽取机制实现用户偏好与商品特征的精准建模，并借助混合专家网络进行高效知识融合与向量压缩。实验表明该框架在华为新闻与音乐推荐平台上线后，A/B测试分别提升7%和1.99%的推荐效果，同时支持在线低延迟推理与离线资源高效利用。

摘要

推荐系统在当今的在线服务中扮演着重要角色，但其封闭式的运作模式（即在特定的封闭领域内进行训练和部署）限制了其对开放世界知识的获取。近年来，大型语言模型（LLMs）的出现为弥补这一差距带来了希望，因为它们能够编码大量的世界知识并展示出高级的推理能力。然而，以往直接将LLMs应用于推荐系统的尝试在满足工业推荐系统的严格要求方面仍存在不足，尤其是在在线推理延迟和离线资源效率方面。在这项工作中，我们提出了一个名为“REKI”的开放世界推荐框架，该框架能够高效且可部署地从大型语言模型中融合知识，以获取关于用户和物品的两种类型的外部信息。具体而言，我们引入了“分解提示”技术来准确推断用户的偏好和物品的特征。通过这种技术，我们开发了适用于不同推荐场景规模的“个体知识提取”和“集体知识提取”方法，有效降低了离线资源的消耗。随后，生成的用户和物品知识通过一个“混合专家集成网络”进行高效转化和浓缩，确保其与推荐任务的兼容性。这些转换后的向量可以直接用于提升任何传统推荐模型的性能。我们还通过对LLM生成的知识进行预处理和预存储来确保高效的推理速度。大量实验表明，REKI的性能显著优于现有的最佳实践，并且可以与多种推荐算法和任务兼容。目前，REKI已被应用于华为的新闻和音乐推荐平台，在在线A/B测试中分别提升了7%和1.99%的推荐效果。