语言模型是如何感知时间的？「时间向量」了解一下

AIGC动态欢迎阅读

原标题：语言模型是如何感知时间的？「时间向量」了解一下
关键字：模型,向量,时间,报告,时间段
文章来源：机器之心
内容字数：9855字

内容摘要：

机器之心报道
编辑：赵阳语言模型究竟是如何感知时间的？如何利用语言模型对时间的感知来更好地控制输出甚至了解我们的大脑？最近，来自华盛顿大学和艾伦人工智能研究所的一项研究提供了一些见解。他们的实验结果表明，时间变化在一定程度上被编码在微调模型的权重空间中，并且权重插值可以帮助自定义语言模型以适应新的时间段。具体来说，这篇论文提出了时间向量（time vectors）的概念，这是一种让语言模型适应新时间段的简单方法。论文发布后立即引起了一些研究者的注意。新加坡海事智能公司 Greywing 联合创始人、CTO Hrishi Olickel 称赞这篇论文是他今年读过最好的论文之一。他将本文的核心步骤概括为：
获取 Twitter 和新闻数据，并按年份和月份进行分类；
选择一个 LLM，并按月或按年对其副本分别进行微调，更新模型权重；
从原始 LLM 的权重中分别减去微调后模型的权重，得到「时间向量」。
权重差值此时可以作为一种向量，用于探索模型在这段时间内学到了什么。那么具体来说能用这个向量做些什么呢？首先，可以检查微调是否有效 —— 从结果来说微调确实有效。模型困惑度和 F1 值强烈表明，

原文链接：语言模型是如何感知时间的？「时间向量」了解一下