亚马逊云创新「神经稀疏检索」：仅需要文本匹配就能实现语义搜索

AIGC动态欢迎阅读

原标题：亚马逊云创新「神经稀疏检索」：仅需要文本匹配就能实现语义搜索
关键字：模型,索引,文本,语义,数据
文章来源：机器之心
内容字数：0字

内容摘要：

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是来自 OpenSearch 中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch 是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件超过 5 亿下载量，社区在全球拥有 70 个以上的企业合作伙伴。
自从大模型爆火以来，语义检索也逐渐成为一项热门技术。尤其是在 RAG（retrieval augmented generation）应用中，检索结果的相关性直接决定了 AI 生成的最终效果。
目前市面上绝大部分的语义检索实现方案，都是利用语言模型（Language Model）将一串文本编码为一个高维向量，并利用近似 k – 邻近搜索（k-NN）进行检索。面对 VectorDB 和语言模型部署（需要 GPU

原文链接：亚马逊云创新「神经稀疏检索」：仅需要文本匹配就能实现语义搜索

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台