73年前，香农已经给大模型发展埋下一颗种子

AIGC动态欢迎阅读

原标题：73年前，香农已经给大模型发展埋下一颗种子
关键字：英语,冗余,字母,语言,单词
文章来源：机器之心
内容字数：0字

内容摘要：

机器之心报道
编辑：泽南、杜伟AI 考古，追溯到了祖师爷头上。当今 AI 领域爆火的大语言模型（LLM），其原理是香农提出来的？
今天，普林斯顿大学教授承现峻（Sebastian Seung）抛出了这样一个观点：1951 年，在贝尔实验室（总部位于新泽西州 Murray Hill）工作的克劳德・香农提出了预测下一个单词的问题，这成为了当前大语言模型（LLM）的种子。
如今很多看似新潮前沿的概念，其实距离提出已经相隔了好几十年，即使在计算机科学这样的新兴领域，例子也屡见不鲜。这个观点以及提到的 Murray Hill 引起热议，图灵奖得主、Meta 首席科学家 LeCun 表示，新泽西州的 Murray Hill、Florham Park 和普林斯顿都「诞生」了很多有影响力的工作。
LeCun 又列举了很多知名的研究成果：
Hopfield 网络（美国科学家 Hopfield 同时在贝尔实验室和普林斯顿大学任职）。
ConvNets
Boosting/Adaboost
非负矩阵分解
支持向量机（SVM）和核机
结构化预测
计算学习理论 / VC 理论中的大量内容那么说在这其中，香农给如今

原文链接：73年前，香农已经给大模型发展埋下一颗种子