自监督学习(Self-Supervised Learning)是一类不依赖人工标注、让模型从数据本身「出题」再「答题」的训练范式。它把预测任务从人手里挪回数据身上:遮住一句话里的一个词让模型去猜,裁出同一张图的两个局部让模型判断是否同源,掐掉一段音频的频带给模型补全。标签不再是标注员一条条敲进去的,而是从原始数据的结构里自动生成。语言模型、视觉主干、语音编码器,几乎都从这一步起步。
需要先讲清一件事:自监督省掉的是人工标注,不是「监督」这个机制本身。模型依然在明确的损失函数和梯度下训练,只不过监督信号由数据自己提供。理解了这一点,才能理解后面三条路线为什么会分岔、坍缩为什么会成为共同的死穴,以及为什么评估一份自监督表征时,线性探测和全量微调会给出不一样的答案。
自监督学习是什么
一句话定义
给定一批没有任何标注的样本,算法先制造一个「信息缺口」——遮掉一部分、裁出另一个视角、打乱片段顺序、替换若干元素——再要求模型把这个缺口补回来。补得准,说明模型抓住了数据内部的结构;这份结构以参数或向量的形式沉淀下来,随后迁移到真正的下游任务上。
标签从哪来:代理任务
这套人为构造的预测目标叫代理任务(pretext task)。「代理」二字点明了它的地位:任务本身不是目的,甚至在真实业务里没人需要做——预测被遮住的词、判断两张裁剪图是否来自同一张原图,这些事换不来任何直接产出。它只是逼模型去注意词与词的共现、物体的部件、纹理的走向这些线索的手段。代理任务设计得好不好,取决于它逼出来的特征是否恰好是下游需要的。
它学到的到底是什么
产出通常不是一个能直接干活的模型,而是一份表征(representation):把像素、字符或波形映射成向量,使语义相近的输入在向量空间里也彼此靠近。这份向量空间的质量,决定了后面接一个多简单的分类头就能用。表征好,一个线性分类器就能跑出可用结果;表征差,堆几层非线性头也只是在噪声上做拟合。
与「无监督学习」这个旧词的关系
早期文献常把这类方法归入无监督学习(unsupervised learning)。这个说法容易让人误以为训练时没有任何目标函数、没有梯度、没有标签。事实上自监督训练有明确的目标、明确的损失、明确的优化过程,只是标签不来自人。用「自监督」这个词,正是为了纠正这层误解——它更接近「自己给自己造标签的监督学习」。
为什么需要自监督学习:标签是瓶颈
标注的成本结构
监督学习的成本大头不在算力,而在人。一张图框一个目标框只要几秒,一段语音逐字转写要花数倍时长,一份医学影像的像素级勾画得请专科医生来做。成本随精度要求非线性上升:图像级标签便宜,框级昂贵,像素级最贵。更要命的是标注规范一旦调整,旧标签可能整体作废,沉没成本无法回收。
未标注数据的规模优势
互联网上的文本、图片、视频、日志、传感器读数,绝大多数没有标签,而且增长速度远快于标注产能。自监督的价值就在于把这块存量变成训练信号——数据的边际成本接近于零,规模可以一直往上推,直到模型容量成为新的瓶颈。
一次预训练,多处复用
预训练一次得到的表征,可以接分类、检测、分割、检索、聚类等不同任务。复用次数越多,预训练那笔开销被摊得越薄。这也是它相对于「一个任务训一个模型」最实际的吸引力所在。
表征质量决定下游上限
下游能拿到多少,取决于表征里保留了多少信息。如果预训练阶段把关键差异当成噪声丢掉了,后面接再大的分类头也补不回来。所以自监督研究的核心问题从来不是「损失降得多低」,而是「留下来的信息有没有用」。
基本机制:把预测拆成三段
把任何一种自监督方法拆开,都能看到同一套三段结构:造缺口、定目标、做迁移。三条路线的分歧,全部发生在中间那一段。
示意图 1 · 标签从数据自己身上长出来:省掉的是人工标注,不是「监督」本身
第一步:构造信息缺口
缺口有几类造法:遮掉(mask)输入的一部分;对同一输入施加两种随机变换,得到两个视角;把序列的一段挪走、替换或重排;利用数据自带的时间顺序,用前文预测后文。缺口越大,任务越难,模型被迫依赖的上下文就越长;缺口太小,模型可以靠局部插值蒙混过关,学不到长程结构。
第二步:定义预测目标与损失
目标可以是原始内容(像素、词、波形),也可以是抽象表示;可以是还原被遮的部分,也可以只是判断两段输入是否同源。这一选择直接决定了方法属于哪条路线,也决定了损失函数长什么样——重建误差、交叉熵、对比损失、负余弦相似度,各有各的脾气。
第三步:把学到的表征迁移下去
预训练结束后,主干被保留,输出头被替换。迁移方式有冻结、线性探测、全量微调、接轻量适配模块等多种,选哪一种不只是工程偏好,它会直接影响结论怎么读,这一点留到评估协议一节展开。
代理任务与下游任务的关系
两者不是一回事,也不必然正相关。代理任务做得极好、下游却毫无起色的情况在文献里反复出现。原因是代理任务可能被「捷径」解决:模型发现某个低层统计量就足以把损失压低,于是不再去学真正有用的结构。这是自监督设计里最隐蔽的陷阱,也是很多方法换个数据集就失效的根源。
三条技术路线:生成式、对比式、联合嵌入预测式
三条路线的差别,用一句话概括就是「预测什么」。预测内容本身、预测两个样本的关系、预测另一视角的表示——三种选择连带出三种完全不同的工程代价。
示意图 2 · 三条主流路线,差别在「预测什么」:生成式、对比式、联合嵌入预测式
生成式路线:预测被遮住的内容本身
代表做法是掩码语言建模(masked language modeling):把句子里一部分词换成占位符,让模型依据上下文还原。BERT 走的正是这条路。视觉侧的对应做法是掩码自编码(masked autoencoding),MAE 把图像切成小块、遮掉其中大部分再重建。共同点是输出落在原始输入空间,重建误差直接可算,不需要负样本。代价是模型可能把大量容量花在重建纹理细节上,而这些细节对语义任务未必有价值。
对比式路线:判断哪些样本同源
同一张图做两次随机增强,得到一对正样本;同一批次里其他样本都当负样本。训练目标是让正样本在向量空间里靠近、负样本彼此远离,典型损失是 InfoNCE 一类的形式,SimCLR 是这条路线最干净的实现。它只关心「像不像」,不关心「是什么」,因此学到的表征对语义任务友好,但对增强策略极其敏感。
联合嵌入预测式:只预测另一视角的表示
BYOL 与 JEPA 系列既不重建原始内容,也不使用负样本,而是让一个分支去预测另一个分支输出的向量。为了避免所有输入塌到同一点,它们引入不对称结构:一个分支更新更快、另一个更新更慢;或者一侧多一个预测头;或者对一侧停梯度。JEPA 的思路更进一步——预测发生在表示空间,模型不必为像素级细节负责,也就省下了那份容量。
三者的差别到底在哪
生成式预测内容,对比式预测关系,联合嵌入预测式预测表示。这个差别连带出三个后果:生成式不需要负样本,但可能浪费容量;对比式判别力强,但依赖大批次与强增强;联合嵌入预测式结构简洁,但必须精心设计防坍缩机制。三者不是替代关系,选哪条要看数据模态、算力规模与下游需求。
| 路线 | 预测目标 | 是否需要负样本 | 对增强的依赖 | 主要风险 |
|---|---|---|---|---|
| 生成式 | 被遮住的内容本身(像素、词、帧) | 不需要 | 中等,取决于遮挡比例 | 容量耗在低层细节上 |
| 对比式 | 两个视角是否同源(正负关系) | 需要 | 高 | 负样本质量决定上限 |
| 联合嵌入预测式 | 另一视角的表示向量 | 不需要 | 高 | 坍缩,需不对称结构 |
坍缩:三条路线共同的死穴
坍缩是什么
如果训练目标只是「让同一输入的两个视角表示尽量接近」,就存在一个平凡解:把所有输入都映射成同一个常数向量。此时任意两个视角的表示完全相同,损失降到最低,表征里却不含任何可区分的信息。这个现象叫坍缩(collapse),也叫表征塌陷。它之所以危险,是因为损失曲线看起来非常漂亮,光看训练日志几乎发现不了异常。
为什么对比式天然不容易坍缩
负样本项一直在把不同样本推开,等于给「全都一样」这个解加了一个反向的力。只要负样本足够多、足够难,坍缩就不划算。代价是需要大批次或记忆队列来维持负样本数量,显存占用和工程复杂度随之上升,分布式训练的同步开销也变得不可忽视。
联合嵌入预测式怎么防:不对称结构
去掉负样本之后,防坍缩要靠别的手段。常见做法有三种:一是动量更新,教师分支不靠梯度更新,而是学生分支参数的滑动平均,两支节奏不同,平凡解不再稳定;二是在一侧加预测头,制造两支网络表达能力上的不对称;三是停梯度(stop-gradient),只让梯度流过其中一支。三者本质相同——打破对称性,使「全都映射成同一个向量」不再是轻易能达到的最优解。
生成式路线的隐性坍缩
生成式通常不会整体坍缩,因为重建目标要求输出保留输入细节。但它有另一种退化:模型学会了平均值式的模糊重建,输出一片平滑、什么都不像的区域,损失不高,语义也没学到。提高遮挡比例、对目标做归一化、把损失算在特征空间而不是像素空间,都是针对这个问题的应对。
判断坍缩的几个信号
不要只看损失。可以抽查表征分布:如果不同输入的向量余弦相似度普遍接近 1,或者表征的协方差矩阵秩极低,基本可以判定出了问题。也可以在小型下游任务上跑一次线性探测,若准确率贴近随机而预训练损失很低,就是典型征兆。这类检查成本很低,应该写进训练流程而不是等出问题再补。
数据增强就是先验
增强决定了模型忽略什么
对图像做颜色抖动,等于告诉模型「颜色不重要」;做随机裁剪,等于告诉模型「位置和尺度不重要」;做水平翻转,等于告诉模型「左右方向不重要」。这些假设被写进训练目标,模型照着执行。所以增强不是可有可无的预处理,而是把领域知识以代码形式注入模型。
选错增强等于教错东西
在自然图像上无害的翻转,用在文字或医学影像上可能是灾难:翻转后的字符不再是字符,左右颠倒的胸片不符合解剖结构。此时模型被把语义不同的样本拉近,学到的表征会系统性地错。选增强之前先问一句「这个变换会不会改变标签」,会改变的就不能用。
不同模态的增强不一样
文本的增强通常是删词、换词、回译、截断;语音是加噪、变速、掩蔽频带;视频还要额外考虑时间维度,倒放会破坏因果方向;表格与时间序列最难,因为各列语义不同,随便加噪就破坏了业务含义。跨模态方法还需要保证两个模态在增强后依然语义配对,这一条经常被忽略。
增强强度的两难
增强太弱,两个视角几乎一样,任务太简单,学不到不变性;增强太强,两个视角语义已经不同,等于在制造错误的正样本。这个平衡点没有通用答案,只能在验证集上做小规模探测来定。这也是对比式方法出了名地难复现的主要原因之一。
自监督学习的典型应用场景
凡是「数据多、标签少、任务多」的领域,自监督都有落点。以下六类是目前最集中的方向。
自然语言处理:预训练语言模型
BERT 的掩码预测与 GPT 的自回归下一词预测,都属于自监督。前者用双向上下文填空,后者用前文续写后文。两种代理任务塑造了两种能力倾向,也决定了两类模型在理解型任务与生成型任务上的分工。今天所谓「大模型预训练」,底层依然是这两种代理任务在更大的语料上重复。
计算机视觉:识别、检测与分割
视觉自监督主要用于训练主干网络。掩码重建、对比学习、联合嵌入预测三条路线都有成熟实现,产出的主干可以接检测头、分割头、检索头。相比从零训练,它在标注稀少的类别上优势更明显,在长尾分布上尤其能看出差别。
医疗影像与生命科学
医学影像标注需要专科医生,成本高、一致性差,同一病灶不同医生的勾画可能相差不少。自监督可以先在大量未标注影像上学结构,再用少量标注微调。蛋白质序列、基因表达数据也有类似做法——序列本身的海量性,正好弥补标签的稀缺。
视频理解与语音识别
视频自带时间连续性,可以用「预测下一帧」「判断片段顺序」「跨时间对比」构造代理任务。语音则常把掩码预测与对比学习结合,在未转写语料上预训练声学编码器,再用少量转写数据适配到具体语种或口音。
推荐系统与异常检测
用户行为序列本身就是自监督信号:用前若干次点击预测下一次,或用同一用户的不同会话构造正样本。异常检测里,自监督提供了对「正常」的稠密描述,偏离这份描述的样本即为可疑——不需要为每一种异常准备样本,这在故障形态未知的场景里尤其关键。
自动驾驶与机器人
环境感知需要消化大量无标注路测数据。自监督可以用来预训练视觉主干、学习深度与光流、建立场景的紧凑表示。近年的世界模型思路更进一步:先在表示空间里学会预测,再把这份预测能力用于规划与控制。V-JEPA 这类工作在视频表征上的探索,正是沿着这条线索展开的。
评估协议:线性探测与全量微调
一份自监督表征好不好,取决于用什么方式去测。这不是可以略过的细节,而是直接决定结论的变量。同一份权重,换一种适配方式,排名可能整个反过来。
线性探测在测什么
线性探测(linear probe)冻结整个主干,只在表征之上训练一个线性分类器。它测的是「表征里有多少线性可分的语义信息」。因为主干不被改动,结果不会被下游数据量掩盖,是衡量表征本身质量最干净的指标。缺点是它低估了表征的潜力——有些信息以非线性方式编码,线性头取不出来。
全量微调在测什么
全量微调(full fine-tuning)放开所有参数,用下游数据继续训练。它测的是「这份预训练能给下游带来多少最终收益」。此时主干的先验会被下游数据改写,预训练的影响被稀释,结果更贴近实际部署效果,但也更容易被学习率、迭代轮数、正则强度这些训练技巧干扰。
为什么两者可能给出相反的排序
一份表征可能语义信息丰富但分布不够规整,线性探测分数,微调之后却能追平甚至反超;另一份表征可能线性可分性极好,但可塑性差,微调时反而难以适应新任务。此外,微调收益与下游数据量强相关:数据越少,预训练先验越值钱;数据足够多,从零训练也能追上。所以看到「某方法更强」的结论,第一件事该问:在哪种协议下、用了多少下游数据。
示意图 3 · 两段式流程与三种适配方式:预训练给你一个表征,能不能用要看怎么接
冻结主干加轻量头
介于两者之间的第三种做法:冻结主干,只训练一个轻量适配模块。它在参数效率与精度之间取平衡,也是实际部署里最常见的形态。报告结果时把适配方式写清楚,比只报一个孤立的数字有用得多,因为读者需要知道这个数字是在什么条件下取得的。
报告结果时的最低要求
至少要交代三件事:适配方式、下游数据规模、评估用的是哪一份划分。缺了任何一项,「A 比 B 好」这句话都无法被检验。自监督领域里大量看似矛盾的结论,追根究底都出在这三项没对齐上。
与相邻概念的边界
自监督与监督学习
监督学习的标签由外部提供,直接对应目标任务;自监督的标签由数据内部构造,只提供可迁移的先验。二者不是替代关系:把自监督当预训练、把监督当微调,是目前最主流也最稳妥的组合。指望自监督完全取代标注,在需要精确判定边界的任务上仍然不现实。
自监督与无监督学习
无监督学习是一类更宽泛的说法,涵盖聚类、降维、密度估计等没有明确预测目标的方法。自监督有明确的代理任务和损失函数,更像「自己给自己造标签的监督学习」。把两者混为一谈,会掩盖方法之间的实质差别,也会让人低估自监督的工程复杂度。
自监督与半监督学习
半监督学习(Semi-Supervised Learning)面对的是「少量有标签 + 大量无标签」的同一任务场景,目标是把当前任务的边界画准;自监督通常先在一个不关心具体任务的大语料上预训练,再迁移到下游。前者省的是这一次的标注,后者省的是「为每个任务重新标注」。两者的假设不同,不能互相替代。什么是半监督学习(Semi-Supervised Learning) 里有更细的划分,可以对照阅读。
自监督与迁移学习
自监督提供了迁移的载体,迁移学习提供了使用方式。没有高质量表征,迁移无从谈起;没有迁移,预训练的价值兑现不了。这两个词经常被混用,其实一个讲「学到什么」,一个讲「怎么用上」。
工程实现上的几个关键取舍
算力预算
自监督的收益随规模增长,但边际收益递减。小规模下它常常打不过监督预训练,因为代理任务学到的特征还不足以覆盖下游需求。预算有限时,先评估「用现成权重 + 少量标注」是否已经够用,再决定要不要自己训。
数据质量与去重
未标注不等于无需清洗。重复样本会让对比式的正负样本失衡,噪声样本会让重建目标学到无意义的模式。去重、过滤低质、剔除损坏文件,这些看起来琐碎的工作,对最终效果的影响常常大于换一个损失函数。
训练稳定性
大批次、动量更新、混合精度、学习率预热,这些手段在自监督里不是可选优化,而是能否训起来的前提。特别是依赖大批次的对比式方法,批次大小一变,正负样本比例跟着变,效果波动会非常明显。
表征维度与容量
维度太低,装不下语义差异;维度太高,下游小样本上容易过拟合,线性探测也会变得不稳定。通常的做法是先按公开实现的设定起步,再用线性探测在小验证集上试几档,找到适合当前数据规模的位置。
复现与记录
增强策略、遮挡比例、温度系数、批次构成,这些超参数对结果的影响往往大于网络结构本身。做对比实验时把它们连同评估协议一起记录下来,否则结论无法归因,也无法被后来者复现。
边界与不适合的情况
自监督不是。它在某些条件下收益明确,在另一些条件下会变成纯粹的成本。以下六种情形需要特别警惕。
下游分布离预训练数据太远
预训练学到的是数据里的统计规律。如果下游是罕见的成像模态、特殊行业的术语文本、极端工况下的传感器信号,预训练表征可能携带错误先验,反而不如从头训练。判断方法很朴素:先看预训练语料与下游数据在直观上是否「同一种东西」。
算力预算撑不起预训练
从零做一次有意义的自监督预训练,需要的数据量、显存与迭代次数都不低。预算不足时勉强做,得到的表征介于随机初始化与可用之间,收益覆盖不了成本。此时更务实的选择是使用公开权重,或者退回监督学习加数据增强。
需要逐条可解释的判定依据
自监督产出的是分布式向量表示,单个维度通常没有可读含义。在信贷审批、医疗诊断、司法辅助这类需要给出具体依据的场景,仅凭一个向量无法交代「为什么这么判」。可以用它做特征,但必须另配可解释的模型或规则层。
数据本身稀缺或高度敏感
自监督的前提是有大量数据可看。样本只有几百条时,无论怎么设计代理任务都学不到稳定结构。另外,涉及个人隐私的数据即便未标注,也不等于可以随意用于预训练——合规约束往往比技术约束更早成为瓶颈。
任务只做一次、没有复用价值
如果只需要解决一个一次性问题,且已有标注足够,走「预训练再微调」的链路纯属浪费。自监督的经济性建立在复用之上:预训练成本被多个下游任务分摊,这笔账才算得过来。
监管要求标签来源可追溯
部分行业要求训练数据的标签有明确来源与责任主体。自监督生成的「标签」由算法构造,不对应任何人工确认,审计时无法提供逐条依据。这类场景里它只能作为辅助手段,不能充当合规链条的主体。
常见误解澄清
误解一:自监督等于无监督
它有无监督的数据,但有监督的目标。混淆这两个层面,会让人低估其工程复杂度,也会误判它在项目里的位置——它不是一个开箱即用的功能,而是一段需要设计、需要调参、需要评估的训练流程。
误解二:没有人工标签就无法评估
评估用的下游数据集通常是有标签的,只是规模小。表征质量可以用线性探测、少样本微调、检索命中率等多种方式衡量。缺的从来不是标签,而是统一且交代清楚的评估协议。
误解三:预训练越久越好
训练损失持续下降,不代表表征持续变好。过量预训练会让表征过度适应代理任务,反而在下游上退化。这也是为什么严肃的工作要在预训练中途做多次探测,而不是只看最后一代权重。
误解四:换个数据集就能直接用
增强策略、遮挡比例、归一化方式都带着领域假设。把自然图像上训好的配方直接搬到医学影像或工业检测上,通常需要重新调整,否则效果会明显打折,甚至不如监督基线。
自监督学习的官网地址与延伸阅读
为什么没有单一官网
自监督学习是一个学术概念,不是一件产品,因此不存在「自监督学习官网」这样的入口。任何声称是它官方网站的页面,实质上都是某个机构、某个项目或某篇教程的页面,代表不了这个概念本身。要系统地了解它,应该回到论文、综述与开源实现这三类可核验的材料。
可核验的延伸入口
- 原始论文:掩码语言建模、掩码自编码、对比学习、联合嵌入预测各有代表作。读摘要与方法节,就能把握三条路线的差别,不必逐行推公式。
- 综述文章:系统性梳理会给出统一的问题框架与分类维度,适合用来校正自己对术语的理解。
- 开源实现:同一方法在不同框架下的实现差异,往往能暴露论文里没写的工程细节,比如批次怎么组、增强怎么排。
- 站内延伸:联合嵌入预测式路线在视频上的落地,可以看 V-JEPA 2,观察「在表示空间预测」这一思路如何扩展到更大规模。
自监督学习常见问题
自监督学习和监督学习有什么区别
监督学习的标签由人提供,直接对应目标任务;自监督的标签由数据自身构造,只提供可迁移的先验。前者解决「这个任务怎么做」,后者解决「先具备什么样的基础能力」。实践中两者通常串联使用,而不是二选一。
自监督学习的主要优势是什么
能把大规模未标注数据变成训练信号,显著降低标注成本;一次预训练可以在多个下游任务上复用;学到的表征往往比手工特征更通用,在标注稀少的任务上优势尤其明显。
自监督学习面临哪些挑战
代理任务的设计缺乏通用方法,容易被捷径攻破;对比式方法依赖负样本与大批次;联合嵌入预测式要防坍缩;训练算力需求高;评估协议不统一,导致结论难以横向比较。此外,增强策略的选择高度依赖领域知识。
需要多少数据才能做自监督
没有固定门槛,但存在一个经验规律:数据量必须大到让代理任务无法靠记忆解决。数据太少时,模型会把样本背下来,表征没有泛化性。若手上数据有限,更合理的路径是复用公开预训练权重,而不是自己从零训。
小团队值得投入吗
要看复用次数。如果团队只有一两个任务、标注也不算贵,直接做监督学习更划算;如果有多个相关任务、标注成本高、且能拿到领域内的大量未标注数据,那么自监督的前期投入才有摊薄的空间。
OpenI AI时代点评
自监督真正的贡献不是某个损失函数,而是把监督信号从人力密集型环节挪到了数据密集型环节。这一步改变了成本曲线:标注的边际成本近乎固定,数据的边际成本近乎为零,规模因此第一次成为可选项。过去十年里模型能力的跃升,很大一部分要记在这笔账上。
但它也把研究重心从「设计模型」移到了「设计假设」。增强策略、遮挡比例、预测目标,每一个选择都是一条关于「什么该被忽略」的断言。这些断言无法从数据里学出来,只能由人写进去。所谓「无监督」,实际是把人的判断从前台挪到了后台——它没有消除先验,只是让先验变得更隐蔽。
因此评价一条自监督路线,不该只看它在某个榜单上的位置,而该看三件事:写进去的先验与目标领域是否相容,评估协议是否交代清楚,算力受限时是否还站得住。这三件事决定它能不能从论文走进产线。这条从「预测表示」出发的路线仍在快速演化,揭开JEPA的神秘面纱:LeCun推崇的最新AI突破! 提供了一个观察其设计动机的入口。


