OpenAI新模型用的嵌入技术被网友扒出来了

AIGC动态10个月前发布 机器之心
11 0 0

OpenAI新模型用的嵌入技术被网友扒出来了

AIGC动态欢迎阅读

原标题:OpenAI模型用的嵌入技术被网友扒出来了
关键字:表征,向量,模型,研究者,论文
文章来源:机器之心
内容字数:4099字

内容摘要:


机器之心报道
编辑:蛋酱学起来吧。前几天,OpenAI 来了一波重磅更新,一口气宣布了 5 个新模型,其中就包括两个新的文本嵌入模型。
我们知道,嵌入是表示自然语言或代码等内容中概念的数字序列。嵌入使得机器学习模型和其他算法更容易理解内容之间的关联,也更容易执行聚类或检索等任务。
使用更大的嵌入(比如将它们存储在向量存储器中以供检索)通常要比更小的嵌入消耗更高的成本、以及更多的算力、内存和存储。而 OpenAI 此次推出的两个文本嵌入模型分别是更小且高效的 text-embedding-3-small 模型和更大且更强大的 text-embedding-3-large 模型。
这两个新嵌入模型都使用一种技术进行训练,允许开发人员权衡使用嵌入的性能和成本。具体来说,开发者通过在 dimensions API 参数中传递嵌入而不丢失其概念表征属性,从而缩短嵌入(即从序列末尾删除一些数字)。例如在 MTEB 基准上,text-embedding-3-large 可以缩短为 256 的大小, 同时性能仍然优于未缩短的 text-embedding-ada-002 嵌入(大小为 1536)。这一


原文链接:OpenAI新模型用的嵌入技术被网友扒出来了

联系作者

文章来源:机器之心
作者微信:almosthuman2014
作者简介:专业的人工智能媒体和产业服务平台

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...