超越OpenAI，谷歌重磅发布从大模型蒸馏的编码器Gecko

AIGC动态欢迎阅读

原标题：超越OpenAI，谷歌重磅发布从大模型蒸馏的编码器Gecko
关键字：模型,任务,数据,段落,文本
文章来源：夕小瑶科技说
内容字数：6157字

内容摘要：

夕小瑶科技说 原创作者 | Tscom
引言：介绍文本嵌入模型的重要性和挑战文本嵌入模型在自然语言处理（NLP）领域扮演着至关重要的角色。它们将文本转换为密集的向量表示，使得语义相似的文本在嵌入空间中彼此靠近。这些嵌入被广泛应用于各种下游任务，包括文档检索、句子相似度、分类和聚类。然而，创建一个既通用又高效的文本嵌入模型面临着巨大挑战。这些模型需要大量的训练数据来全面覆盖所需的领域和技能，而且，手动标注数据的过程既耗时又昂贵，通常还会带来不希望的偏见和缺乏多样性。近年来，大语言模型（LLMs）因其在各种领域的广泛知识和卓越的少样本学习能力而成为了一种强大的替代方案。
本文介绍了Gecko，一个高效且多功能的文本嵌入模型。如下图，Gecko通过从LLMs中提取知识并将其蒸馏到检索器中，从而实现了强大的检索性能。我们的两步蒸馏过程首先使用LLM生成多样化的合成配对数据。接下来，我们通过检索每个查询的候选段落集，并使用相同的LLM重新标记正面和非常负面的段落，进一步提炼数据质量。Gecko模型在Massive Text Embedding Benchmark（MTEB）上的紧凑性表现出色，2

原文链接：超越OpenAI，谷歌重磅发布从大模型蒸馏的编码器Gecko

联系作者

文章来源：夕小瑶科技说
作者微信：xixiaoyaoQAQ
作者简介：专业、有趣、深度价值导向的科技媒体。聚集30万AI工程师、研究员，覆盖500多家海内外机构投资人，互联网大厂中高管和AI公司创始人。一线作者来自清北、国内外顶级AI实验室和大厂，兼备敏锐的行业嗅觉和洞察深度。商务合作：zym5189