URM

URM – 阿里妈妈推出的世界知识大模型

URM

URM（Universal Recommendation Model）是由阿里妈妈开发的一款先进的全球知识大模型，旨在将通用知识与电商专业知识相结合，以解决传统大语言模型在电商推荐场景中的不足。URM通过知识注入和信息对齐的方式，结合多模态商品表征和高效的生成方法，能够显著提升各种推荐任务的效果，包括多场景推荐和长尾商品推荐等，已经在阿里展示广告中成功应用，提升了商家投放效果和消费者购物体验。

URM是什么

URM（Universal Recommendation Model）是阿里妈妈推出的一款全球知识大模型，旨在通过知识注入和信息对齐，将大语言模型（LLM）的通用知识与电商领域的专业知识结合，从而克服传统LLM在电商推荐中的不足之处。URM采用多模态融合的商品表征方法和高效的Sequence-In-Set-Out生成机制，能够处理多种推荐任务，如多场景推荐和长尾推荐等，显著提高了推荐的效果。目前，URM已在阿里展示广告场景中投入使用，显著改善了商家的投放效果和消费者的购物体验。

URM的主要功能

多任务处理：能够同时处理多种推荐任务，如多场景推荐、多目标推荐和长尾推荐等。
用户兴趣理解：深入理解用户的兴趣和需求，提供更符合用户当前情境的推荐结果。
高效率推荐：在单次前向传播中快速生成高质量的推荐集合，满足工业级推荐系统的低时延和高QPS需求。
多模态融合：结合商品的ID表征和多种语义表征（如文本和图像等），提升商品表达能力和推荐的准确度。
零样本学习能力：在没有大量标注数据的情况下，能够快速适应新任务和新场景，提供有效的推荐。

URM的技术原理

多模态融合表征：
- ID表征：通过分布式哈希表将商品ID映射为独特的嵌入向量，捕捉商品之间的协同信息。
- 语义表征：利用文本编码器和图像编码器，将商品的文本描述和图像信息转化为语义嵌入向量。
- 融合机制：使用MLP层将ID表征和语义表征进行对齐融合，生成多模态商品嵌入向量，从而增强商品表达能力。
Sequence-In-Set-Out生成方式：输入序列由用户行为中的商品ID、任务提示中的文本token及特殊查询符（如UM、LM）组成。输出机制基于用户建模头（hUM）和语言模型头（hLM）分别生成用户表征和文本输出。通过增加UM token数量，使URM在一次前向传播中并行生成多个用户表征，提升召回指标。
任务定义与提示工程：通过文本定义不同的推荐任务，将商品ID作为特殊token注入文本描述，实现用户行为序列的高效表达。设计不同的提示模板，调整推荐结果的分布，使模型根据不同的任务需求和用户行为动态调整推荐策略。
训练方式：结合商品推荐任务的噪声对比估计（NCE）损失和文本生成任务的负对数似然损失，采用完整参数的有监督微调（SFT），仅冻结商品的原始表征，保留LLM的预训练知识。
异步推理链路：为满足低时延和高QPS要求，设计面向用户行为动态捕捉的异步推理链路，将推理结果持久化存储，供在线召回阶段使用。通过多实例在同一容器中部署，将URM推理的并发QPS提升200%。