不依赖token，字节级模型来了！直接处理二进制数据

AIGC动态欢迎阅读

原标题：不依赖token，字节级模型来了！直接处理二进制数据
关键字：字节,腾讯,模型,数据,序列
文章来源：量子位
内容字数：5503字

内容摘要：

数字游民投稿量子位 | 公众号 QbitAI最新GPT，不预测token了。
微软亚研院等发布bGPT，仍旧基于Transformer，但是模型预测的是下一个字节（byte）。
通过直接处理原生二进制数据，bGPT将所有输入内容都视为字节序列，从而可以不受限于任何特定的格式或任务。
能预测CPU行为，准确率超过99.99%；还能直接模拟MIDI——一种音乐传输和存储的标准格式。
研究团队认为，传统的深度学习往往忽视了字节——数字世界的构建基石。
不论是信息的形式还是操作，都是通过二进制格式编码和处理的。字节构成了所有数据、设备和软件的基础，从计算机处理器到我们日常使用的电子产品中的操作系统。
这篇论文的标题清晰地指出了其目标：
超越语言模型：将字节模型作为数字世界的模拟器。
模拟CPU行为准确率超99.99%bGPT通过字节级处理，不仅能够应用于常规的AI生成和理解任务，还能处理更多非传统应用。
例如，它能够直接模拟MIDI——一种音乐传输和存储的标准格式，之前的研究由于MIDI的二进制本质而避免了直接对这类数据的建模。
但bGPT天生适合此类任务。它能够准确模拟符号音乐数据转换算法

原文链接：不依赖token，字节级模型来了！直接处理二进制数据