余弦相似度可能没用？对于某些线性模型，相似度甚至不唯一

好不容易找了把尺子，结果尺子会随机伸缩。

原标题：余弦相似度可能没用？对于某些线性模型，相似度甚至不唯一
文章来源：机器之心
内容字数：4901字

余弦相似度：并非我们想象的灵丹妙药

机器学习领域广泛使用的余弦相似度，近期受到了来自Netflix和康奈尔大学研究的挑战。该研究指出，余弦相似度在某些情况下会产生任意且毫无意义的结果，并非一直可靠的相似性度量。

1. 研究核心问题：余弦相似度的不可靠性

研究团队发现，在特定场景下，特别是使用线性矩阵分解(MF)模型时，余弦相似度会产生随意结果。这主要源于模型的正则化参数和学习到的嵌入向量之间的关系。 研究重点分析了MF模型的两种常用训练目标，发现其中一种目标会在学习到的嵌入中引入一个关键的度，导致嵌入维度可以任意缩放而不影响模型预测，从而影响余弦相似度计算的结果。

2. 问题根源：正则化与度

研究表明，正则化参数的设置会影响嵌入向量的缩放比例，进而影响余弦相似度的计算结果。 文章举了两个例子说明这种任意性：在全秩MF模型中，可以构造出每个item只与自己相似的结果；通过选择不同的缩放矩阵，user-user相似度可以简化为仅依赖原始数据而不依赖学习到的嵌入。

3. 线性模型之外的挑战

该问题并非仅限于线性模型。在深度学习模型中，多种正则化技术的组合会产生意想不到的影响，使余弦相似度的结果变得不透明和任意。 直接使用点积优化学习嵌入，再应用余弦相似度，也可能导致难以解释的结果。

4. 解决方法与替代方案

研究团队提出了几种解决方法，包括：直接针对余弦相似度训练模型；避免在嵌入空间中工作，先投影回原始空间再计算相似度；在学习过程应用归一化或减少流行度偏差。 此外，博客作者还总结了一些余弦相似度的替代方案，例如欧几里得距离、点积、软余弦相似度和专门训练的语义文本相似度(STS)预测模型。

5. 结论与启示

这项研究提醒我们，不能盲目依赖余弦相似度。 它在简单的线性模型中都可能产生不可靠的结果，在更复杂的深度学习模型中问题可能更严重。 选择相似度度量方法需要根据具体任务、数据和模型进行谨慎选择和测试，不能简单地认为余弦相似度是“足够好”的方法。 研究者建议根据实际情况选择合适的相似性度量方法，并对结果进行充分的验证。

6. 网友观点与回应

部分网友认为相似度指标需要根据嵌入空间量身定制，需要测试不同的指标来进行定性评估。 虽然OpenAI等机构在代码中使用了余弦相似度，但这并不意味着它在所有情况下都是最佳选择。 研究结果表明，余弦相似度并非万能的，需要根据实际情况选择更合适的相似度计算方法。

联系作者

文章来源：机器之心
作者微信：
作者简介：专业的人工智能媒体和产业服务平台