MIT对大模型数理原理的强有力证明

AIGC动态欢迎阅读

原标题：MIT对大模型数理原理的强有力证明
关键字：报告,知识产权,人工智能,模型,政策
文章来源：人工智能学家
内容字数：0字

内容摘要：

来源：清熙
笔者去年整理的大模型数理原理，迎来了最强有力的实践证明！
原理回顾
笔者在“GPT4技术原理”系列文章梳理出来大模型数理认知框架如下图：海量的文本或者多模态语料组成了大模型需要认知的外部世界的基本信息；嵌入构建高维概率化的语言空间，用来建模语言文字图像以及音视频，并对连续变量做离散化；
预训练以重整化群流的方式进行，在不同尺度上提炼语料数据中的信息概率分布；重整化群流的每一步流动（自回归预测逼近训练语料概率分布），都沿着最优输运的成本最低方向进行；
重整化群在不动点附近因新语料带来微扰而发生对称性破缺，滑入不同的相空间；不同的相空间，对应某种意义上的范畴，可形象化为信息的结晶；这是大模型从语料中学到的内部世界模型；
在外部感官输入下（被提示置于某种上下文），大模型内部将限定在相应的高维语言概率空间的子空间内推理；推理是在子空间中采样，类比时跨范畴采样；
采样不断进行，基于内部概率化了的世界模型（预训练获得的先验），针对感官输入（提示），做变分推断，最小化能，获取最佳采样分布q*，作为对导致感官输入的外部后验的预测。
可总结为：1、重整化从海量语料中提取出范畴，2、持续重

原文链接：MIT对大模型数理原理的强有力证明