弱监督学习(Weakly Supervised Learning)指的是一类训练方式:模型拿到的监督信号并不理想——样本只有一部分带标签,或者标签的粒度比任务要求粗,或者标签本身就掺着错。它要处理的不是「没有数据」,而是「标签不够好」,并试图在标签生成过程有缺陷的前提下,仍然训练出能用的模型。
这个定义听起来温和,落地时却相当具体:先得判断监督信号弱在哪一类,再决定用哪种办法补。把三种「弱」混为一谈,最常见的后果是拿半监督的方法去处理标签噪声,越训越偏,而且偏得很安静。下面从三类划分讲起,一路讲到标注函数、聚合、评估与边界。
弱监督学习是什么
一句话定义
弱监督学习是在监督信号的信息量不足以直接训练一个标准分类器时,仍然把模型训练出来的方法总称。这里的「信息量不足」有三种来源:覆盖不全、粒度不够、真假不可靠。三种来源对应三套完全不同的技术路线,也对应三种完全不同的失败方式。
三类「弱」的共同点
三者共享同一个结构:真实标签存在,但观测不到;能观测到的,只是真实标签经过某种退化过程之后的一个版本。弱监督要做的,是把这个退化过程也建模进去。退化是随机抽样,就是不完全监督;退化是粒度的合并,就是不确切监督;退化是随机的翻转,就是不准确监督。判断退化类型,比选择算法更靠前一步。
它到底在优化什么
理想情况下,弱监督训练出的模型应当逼近用干净标签训练出的那个解。现实里更常见的结局是:模型确实学到了任务相关的模式,同时也学到了退化过程留下的捷径。比如训练集里所有「有病灶」的片子都来自同一台设备,模型可能先学会认设备,再学会认病灶。所以弱监督的第一原则不是「用上更多数据」,而是「别把标注缺陷当成规律」。
一个直观的类比:用一群不专业的评委还原真实分数
假设要评一批作文的真实水平,但请不起专业评委,只能找一群志愿者。每人只看了一部分作文,标准各不相同,还有人敷衍乱打。直接平均一定难看;合理的做法是先估计每个评委在哪些题上靠得住、哪些题上几乎在乱猜,再按可靠度加权,并允许某些评委对某些作文弃权。这就是「标注函数 + 可靠度估计 + 聚合」的雏形。
为什么需要弱监督学习
标注的成本结构决定了它不可能做满
逐条精确标注的成本随任务复杂度上升得非常快。分类只要一个类别,检测要画框,分割要逐像素描边,如果还要求多人交叉复核,成本会再翻一层。工程上通常只能标一部分、标粗一点,或者用规则先糊一遍再抽检。
标注的一致性比成本更难解决
同一批数据交给不同的人,边界案例的判断往往不一致。医学影像里「这个结节算不算可疑」、内容审核里「这句反讽算不算违规」,都不是查表能定的。即便预算充足,标注也带着系统性偏差:规范怎么写,标注员就怎么理解,模型最终学到的是规范,而不是现象。
弱信号其实早就存在于系统里
业务系统通常已经积攒了大量「不完美但免费」的信号:用户的点击与停留、历史规则引擎的判定、旧版本模型的输出、日志里的关键词、外部知识库的条目。这些信号单独看都不足以训练模型,合起来却往往比人工标的那一小部分覆盖面广得多。弱监督的价值,很大一部分是把这些沉没的信号变成可训练的标签。
它换来的是把成本前移,而不是消灭成本
弱监督把「标数据」的成本换成了「写规则、估可靠度、做评估」的成本。前者随数据量线性增长,后者的开销主要是一次性设计加持续维护。数据规模越大、任务口径变化越慢,这笔交换越划算;反过来,数据量很小、或者任务每周都在变的场景,写一套标注函数的投入往往收不回来。
「弱」的三种形态
学术上通常把弱监督切成三类,这个划分来自对「标签退化方式」的归纳,而不是对算法的归纳。同一篇论文里可能同时处理两类,所以不必把它当成互斥的抽屉,而要当成三种必须分别对付的缺陷。
示意图 1 · 「弱」的三种形态:A 只有一部分样本有标签,B 标签粒度比任务粗,C 标签本身可能标错
三张卡片共用一套词汇:标签、粒度、可信度。先看清缺的是哪一样,后面选方法才有依据,也才知道哪些「补数据」的动作根本补不到点上。
不完全监督(incomplete supervision)
只有一部分样本带标签,其余样本完全不知道答案。图像分类里标了一万张、剩下九十万张没标,就是典型形态。要注意这里的「没标」是真的没有信息,而不是「标了但标得粗」——后者属于第二类。应对这类缺陷的主力是半监督学习,以及主动学习(挑最值得标的样本去问人)。
不确切监督(inexact supervision)
标签存在,但粒度比任务要求的粗。整张病理切片只标了「有肿瘤」,任务却是像素级分割;一句评论只标了「负面」,任务却要指出是哪几个词在表达负面;一段视频只标了「有人在打球」,任务却是逐帧定位动作。标签提供的信息是「这些里面至少有一个」,而不是「具体是哪一个」。这类问题在多示例学习框架下被系统研究过。
不准确监督(inaccurate supervision)
标签看起来齐全、粒度也对,但其中一部分是错的。来源很杂:众包标注的随手敷衍、规则引擎的误判、旧系统的历史遗留、把模型预测回填成训练标签造成的自我强化。这类缺陷最隐蔽,因为数据表面上是「完整」的,只有在评估时才会暴露——而且往往被评估集自身的噪声掩盖。
用两个问题判断自己属于哪一类
第一个问题:每条样本是否都有标签?如果没有,先归到不完全监督。第二个问题:有标签的样本,标签是否精确到了任务需要的粒度、并且可信?粒度不够,归到不确切监督;粒度够但可能标错,归到不准确监督。实际项目里三类经常同时出现,此时不要试图一次性全解,先处理影响最大的那一类,因为不同类的补救手段会互相干扰。
弱监督与半监督的包含关系
这两个词在日常讨论里经常被当成同义词,甚至被当成「同一件事的两种叫法」。它们不是并列关系,而是包含关系:半监督学习是弱监督学习的一个分支,只覆盖了「标签缺失」这一种情况。
半监督只解决「缺标签」这一件事
半监督学习(Semi-Supervised Learning)的设定非常明确:一小部分样本有标签,大部分没有,但所有样本的特征是干净的,已有的标签也是可信的。它利用的是数据分布本身的结构——同类样本在特征空间里应当靠近,决策边界应当落在低密度区域。它没有任何机制去处理「标签标粗了」或者「标签标错了」,因为它的前提里这两件事都不存在。
弱监督把「粒度」和「真假」也纳入进来
弱监督的覆盖面更大:不完全监督(半监督的主战场)、不确切监督(粒度粗)、不准确监督(标签有噪声),三类都算。所以正确的说法是「半监督属于弱监督」,而不是「弱监督约等于半监督」。把两者混用会造成一个很实际的错误:明明是标签噪声,却套了半监督的一致性正则,错标签的影响会通过邻域扩散被放大。
包含关系看一眼表就清楚
| 范式 | 标签是否齐全 | 标签粒度 | 标签是否可信 |
|---|---|---|---|
| 全监督 | 齐全 | 与任务一致 | 假定可信 |
| 半监督 | 不齐全 | 与任务一致 | 假定可信 |
| 弱监督 | 可能不齐全 | 可能偏粗 | 可能带噪 |
| 自监督 | 不需要人工标签 | 由代理任务定义 | 由数据自身保证 |
这张表想说明的是一个方向性判断:先确认缺陷类型,再选范式。反过来做——先挑一个热门方法,再想办法把问题塞进它的假设里——是这类项目最常见的翻车方式。
三个常见误解
- 误解一:只要有未标注数据就是弱监督。未标注数据本身不构成监督信号,它只有在与少量标签结合、或者与某种结构假设结合时才起作用。
- 误解二:弱监督一定比全监督差。在标注预算固定的前提下,弱监督常常优于「只用那一点点干净标签」;它输给的是「预算不受限的全监督」,而那个基线在真实项目里基本不存在。
- 误解三:弱监督可以不管标签质量。恰恰相反,弱监督的主要工作量就落在标签质量上,模型结构反而是次要的。
标注函数:把领域知识写成可执行的规则
弱监督从研究走向工程的关键一步,是把各种零散的弱信号统一成同一种可计算的对象——标注函数。有了这层抽象,正则、词典、旧模型、外部库、人工启发式才能放在一起做可靠度估计,否则它们只是一堆格式各异的补丁。
标注函数(labeling function)是什么
一个标注函数是一个很窄的函数:输入一条样本,输出一个类别,或者输出「我不知道」。它不要求高准确率,也不要求覆盖全部样本,只要求「在它敢说话的时候,说得比随机猜好」。这个宽松的准入条件,正是它能大规模堆量的原因——写一条正则、查一个词典,都可以算作一条标注函数。
弃权(abstain)这个设计很关键
允许函数输出「我不知道」,等于允许它只在自己有把握的子空间里发言。没有弃权,所有函数都被迫对每条样本给答案,弱信号里那些明显不适用的部分就会被强行变成噪声。弃权把「覆盖」和「精度」解耦:一条只认「退款」这个词的函数,可以只对百分之几的样本发言,只要在这部分样本上足够准,它就有价值。
冲突是常态,不是缺陷
两条函数对同一条样本给出不同答案,说明它们依赖的证据不同。这种冲突本身携带信息:如果两条函数历史上高度一致,它们的冲突就值得警惕;如果两条函数平时几乎不重叠,冲突可能只是各自看到了不同侧面。聚合模型要利用的正是「谁在什么情况下更可靠」这种结构,而不是把冲突抹平。
四类常见的信号源
- 模式与规则
- 正则、关键词表、模板匹配。写起来最快,覆盖窄,容易被规避。
- 已有模型
- 旧版本分类器、第三方接口、大模型的零样本判断。覆盖面广,但会继承旧模型的偏差。
- 外部知识
- 词典、本体、知识图谱、行业标准。权威性高,往往和具体任务的口径对不齐。
- 行为与元数据
- 点击、停留、复购、举报、设备与来源信息。量大且免费,但只是标签的间接代理。
写标注函数的几条纪律
一条函数只回答一件事;命名要能看出它的证据来源;上线前在人工标注的小样本上单独测一遍,把明显低于随机的删掉;不要用同一份标注数据既调函数又做评估。最后一条最容易被忽略——函数在评估集上调过,评估结果就会系统性偏乐观。
先估可靠度,再聚合
拿到一堆互相冲突的弱标签之后,最直觉的做法是投票。多数投票在函数质量整齐、错误互相时确实能用,但这两个条件在真实项目里几乎不成立,所以工程上的标准做法是先估计、再聚合。
多数投票为什么会坏
三个原因。第一,函数质量参差:一条九成准的函数和一条六成准的函数权重相同,等于主动引入噪声。第二,错误相关:五条函数抄的是同一张关键词表,它们的「五票」其实只是一票。第三,类别不平衡:在正例稀少的任务上,多数投票会系统性地把少数类压掉,而少数类往往正是要抓的那一类。
生成式思路:把每条函数的准确率当成隐变量
Snorkel 这类「用标注函数换标签」的公开做法,核心就是把「每条函数的准确率」和「每条样本的真实标签」一起当成未知量,用观测到的函数输出去反推两者。因为手上没有真实标签,必须借助一个假设才能求解——常见的是条件假设:在给定真实标签的条件下,各函数的输出互不影响。这个假设一旦被违反(函数之间互相抄),估计出的可靠度就会虚高,聚合结果也会跟着失真。
相关性是这套方法最脆弱的地方
实践中真正要花力气的是给函数分组:同一份知识派生出来的函数算一组,组内不重复计票。有的实现会在相关性结构上做建模,让高度相关的函数共享一个可靠度参数。这件事没有一劳永逸的自动化方案,只能靠对信号来源的了解——而这部分知识,通常不在数据里,在人脑子里。
聚合的产物是概率标签
聚合之后得到的不是「这条是正例」,而是「这条有八成概率是正例,接近两成落在负例上,还有一点概率谁都不属于」。这个概率分布比硬标签有用得多:它保留了不确定性,让下游可以选择只用高置信的部分、或者按置信度加权。代价是下游的损失函数与评估口径都要跟着改,不能直接套用为硬标签写的流程。
示意图 2 · 弱信号转成标签的四步:弱信号源 → 标注函数 → 估计与聚合 → 概率标签,关键在第三步先估每个函数的准确率
这四步里最容易省掉的是第三步。直接投票也能跑通,但跑通和跑对是两件事,省下的工作量通常会在评估阶段以另一种形式还回来。
从概率标签到可用模型
概率标签只是中间产物,最终还要变成能对新样本打分的模型。这一步的选择会显著影响效果,却经常被跳过。
把概率直接当软标签训练
用交叉熵配合软目标,是最直接的做法。它保留了标签的不确定性,代价是训练信号变「软」,模型收敛更慢;并且在概率估计本身有系统性偏差时,会把偏差完整学进去。
自训练与伪标签
先用现有信号训一个初始模型,用它给未标注数据打伪标签,挑置信度高的样本加入训练集,再重训。这套流程简单有效,风险是自我强化:模型的错误一旦被写成伪标签,下一轮就会被当成标准答案学得更牢。常见的缓解手段是每轮保留一份人工标注做校验、给伪标签设置置信度门槛、以及限制迭代轮数。
端到端联合训练
把可靠度估计和分类器放进同一个目标里交替更新:固定可靠度训分类器,固定分类器再更新可靠度。好处是两者互相校正,坏处是容易陷入退化解——比如把所有函数的可靠度都估成一样,问题就退化成投票。需要额外约束或合理初始化来避免。
一个可复用的五步流程
- 盘点现有信号,按来源分组,标出哪些是同一份知识的派生。
- 把每组信号写成允许弃权的标注函数,逐条在小样本上做单函数评估。
- 估计可靠度并聚合,产出概率标签,同时记录每条样本的置信度。
- 用概率标签训练下游模型,另留一份人工标注只用于评估,不参与训练。
- 上线后持续监控函数的触发率与一致性,信号源变化时重新估计可靠度。
主要技术路线
下面几条路线经常被并列提起,但它们服务的缺陷类型不同,混着比较意义不大。看的时候先看第二列:它到底在补哪一种「弱」。
| 路线 | 主要针对 | 核心做法 | 主要风险 |
|---|---|---|---|
| 多示例学习 | 不确切监督 | 把一组实例打包成「包」,只学包级标签 | 聚合方式选错会丢掉定位能力 |
| 一致性正则 | 不完全监督 | 对同一输入施加扰动,要求输出稳定 | 扰动破坏语义时等于教错 |
| 噪声鲁棒损失 | 不准确监督 | 抑制大损失样本的梯度,或估计噪声转移 | 把难样本误当噪声丢掉 |
| 弱监督定位与分割 | 不确切监督 | 用分类响应反推位置,再生成伪掩码 | 响应偏向最具判别性的局部 |
| 远程监督 | 不确切与不准确 | 用知识库对齐文本,自动生成标签 | 对齐过程引入大量假阳性 |
多示例学习(multiple instance learning)
把一组实例打包成一个「包」,只给包级标签。模型要学的是包级判别,同时希望反推到实例。聚合函数的选择几乎决定了一切:取最大值偏向「只要有一个阳性实例就判阳」,取平均则要求阳性实例占比足够高。切片级诊断是它最典型的战场。
一致性正则与扰动
核心假设是「输入小幅变化,输出不应大变」。它对增强策略极其敏感:如果增强改变了语义,比如把数字 6 翻转成 9,一致性约束就会把错误固化下来。所以这套方法在图像上比在文本上更容易奏效,文本的扰动很难保证保义。
噪声鲁棒损失与样本重加权
思路是让小损失样本占更大权重、对大损失样本更保守,或者显式估计一个「干净标签到观测标签」的转移矩阵。它的问题是把「难样本」和「错样本」混在一起处理:真正困难但标注正确的边界样本,损失往往也很大,容易被一并降权,导致模型对困难类别越来越没感觉。
弱监督定位与分割
只有图像级标签,却想得到位置。常见做法是把分类网络的响应图当作热力图,阈值化后生成伪掩码,再用伪掩码训练分割头。它的固有偏差是:分类器只需要最具判别性的一小块证据就能判对,所以响应往往集中在局部,而不是覆盖整个物体。想让它铺满,得额外加约束。
远程监督(distant supervision)
用知识库里已有的关系事实去对齐文本,自动生成关系抽取的训练标签。假设是「同时提到两个实体的句子就在表达这个关系」,这个假设明显过强,会带来大量假阳性。后续研究大多在想办法给这些自动标签降噪,本质又回到了不准确监督。
应用场景
下面这些场景的共同点不是「用了某个算法」,而是「精确标注在成本或可行性上不成立」。判断自己的场景是否属于其中,比对照算法清单更有用。
医学影像
病理切片的分辨率极高,逐像素勾画需要专科医生投入大量时间。常见做法是只有切片级或病灶级的粗标签,用多示例学习或弱监督分割先筛出可疑区域,再由医生复核。关键不是替掉医生,而是把医生的注意力集中到少数区域上。
自然语言处理与情感分类
文本标注看似便宜,实际很难:情感极性依赖语境,反讽、否定、领域词都会让标注员分歧。工程上常用词典、规则、星级评分、旧模型输出作为标注函数,聚合出概率标签,再训练分类器。什么是情感分类(Sentiment analysis) 这个条目里有更完整的任务定义,可以对照看弱监督补的是其中哪一段。
计算机视觉与目标检测
画框比打类别贵一个量级,逐像素描边再贵一个量级。于是大量工作转向「只有图像级标签,如何得到框」。什么是目标检测(Object Detection) 描述的常规路线依赖完整的框标注,弱监督路线要解决的是标注缺失下的定位退化,两者的评估口径也不完全一样,不能直接拿检测指标横向比。
推荐系统
推荐系统几乎没有干净的负样本定义:用户没点击,可能是没看到,也可能是看到了不感兴趣。点击、停留、加购这些隐式反馈只能算标签的代理,而且存在严重的曝光偏差。弱监督在这里把多种行为信号聚合成更接近真实偏好的监督。
自动驾驶
道路场景的标注要覆盖长尾:罕见天气、罕见交通参与者、罕见光照。逐帧精标不现实,常见做法是用规则、仿真与车队回传数据构造弱标签,再配合少量精标校验。安全相关的类别不允许完全依赖弱标签,需单独维护一份高质量评估集。
生物信息学
基因功能注释、蛋白质交互预测这类任务实验验证成本极高,公开库里的注释本身就不完整,不同来源还会互相冲突。这正好是弱监督的典型形态:信号很多,没有一个是权威的标准答案。
异常检测与风控
异常样本稀少且定义随业务变化,黑产会主动规避已知规则,所以规则类信号天然带噪。弱监督在这里常表现为「多路规则 + 专家经验 + 少量确认样本」的聚合,输出风险分而非二值判定。
四种监督方式的定位与选型
这四个词经常被并列讨论,但它们的差别其实只有两件事:标签从哪里来,标签有多细。把这两件事说清,选型就不容易错。
全监督
标签由人工按任务粒度精确给出。上限最高,成本也最高,并且受标注规范质量制约。它适合任务定义稳定、错误代价高的场景。
弱监督
标签来自不完美的过程:缺失、粗粒度、有噪声。覆盖面最广,代价是要额外维护信号与可靠度估计,并接受效果上限受信号质量约束。
半监督
标签少而干净,另有大量无标签数据。它只借助数据分布结构,不处理噪声与粒度问题。它是弱监督里最成熟的一支,工程上最容易直接落地。
自监督
标签从数据自身构造:遮住一部分去预测,或者判断两个视角是否同源。它产出的是预训练表征,通常还要接下游适配才能用于具体任务,与前三者不在同一个层次上。
选型时先看约束,不要先看热度
先问三个问题:手上真正可用的信号是什么?错误的代价有多大?评估能不能做得干净?如果评估做不干净,再先进的范式也无法证明有效。如果错误代价极高且样本量不大,老老实实做全监督往往比堆弱监督更划算。
示意图 3 · 四种监督方式的定位:差别只在「标签从哪来」和「标签有多细」两件事
四种方式之间没有高下,只有约束是否匹配。错配的代价通常不会立刻显现,而是在评估阶段变成一团说不清的数字。
为什么弱监督的评估特别难
这是弱监督最容易被低估的部分。方法本身可以照着论文实现,但「怎么知道它有效」没有标准答案,而它决定了项目会不会在错误的路上跑很久。
测试集本身不干净
弱监督项目往往没有的精标测试集——如果有,通常会先被拿去训练。用带噪的测试集评估,得到的指标混着两部分误差:模型误差和测试集噪声。更麻烦的是,测试集噪声的方向通常与训练噪声一致,于是模型在噪声上「对齐」得越好,指标越好看。
指标带着噪声,而且不能简单扣减
假设测试集里有一成标签是错的,模型准确率的估计偏差并不是简单减掉一成。偏差方向取决于模型预测与错误标签是否相关:当模型学到与错标相同的捷径时,指标被高估;当模型纠正了错标时,指标反而被低估。这意味着「指标涨了」既可能是变好,也可能是更贴近噪声。
损失下降不等于学到东西
弱监督训练里一个典型现象是损失平稳下降,下游指标不动甚至变差。原因通常是模型学会了预测聚合后的概率分布,而不是预测真实类别。概率标签里的系统性偏差被完整拟合,训练目标达成,任务目标没达成。
一个能用的评估方案
可行的做法是分层。留一份小规模、双人交叉复核的精标集,只用于最终评估,任何人不得用它调参;同时监控模型在「高置信弱标签」与「低置信弱标签」两个子集上的表现差异,差异突然扩大往往意味着模型在拟合噪声;再补一组分布外样本,看性能衰减的形状。三组数字一起看,比单一指标可靠得多。
边界与不适合的情况
弱监督不是「标注不够时的万能补丁」。下面几种情况下,投入产出比通常很差,甚至会带来额外风险。
类别边界本身就模糊
如果连人类专家对同一批样本都给出不一致的判断,弱监督没有可学习的稳定目标。它能把随机噪声平均掉,但不能凭空造出一个不存在的边界。这类问题要先解决的是标注规范与任务定义,而不是换算法。
错标比例高到无法估计
可靠度估计依赖一个前提:多数信号在多数样本上是可用的。当错标比例高到接近随机、或者错误是系统性而非随机的时候,估计会失效——你无法区分「这条函数不准」和「这批数据全错」。此时聚合出的概率标签可能比单条函数更糟。
下游要求逐条精确判定,且无法人工复核
医疗诊断、司法取证、信贷拒贷这类场景,单条判定的错误代价极高,并且必须给出可追溯的依据。弱监督输出的是概率与聚合结果,天然缺少「这一条为什么这么判」的清晰链条。它可以用于筛查与排序,不适合直接作为最终裁决。
责任与合规无法转移
用了外部规则、旧模型输出或众包标签,责任仍在使用方。数据来源的授权、标签生成的合规性、决策的可解释性,都不会因为「标签是弱监督生成的」而减轻。涉及个人信息的场景,还要额外考虑弱信号本身是否构成二次使用。
团队没有维护函数的余力
标注函数不是写完就完的资产。业务口径变了、黑产换了手法、上游模型升级了,函数的可靠度都会漂移。没有持续监控和定期重估,弱监督系统的效果会缓慢衰减,而且衰减是静默的——指标不会突然崩,只会慢慢变得没意义。
还有一个边界值得单列:弱监督训练出的模型,对刻意构造的输入往往更敏感。原因不神秘——决策边界更贴近训练分布的局部结构,缺乏干净标签带来的稳定约束。这类风险在 什么是对抗样本(Adversarial Examples) 里有系统讨论,安全敏感的场景应当把这一项单独纳入评估,而不是等上线后再补。
弱监督学习的官网地址与延伸阅读
为什么没有单一产品官网
弱监督学习是一个学术范式,不是一款软件,也不是一项云服务,因此不存在「官方站点」这种东西。任何声称它有一个软件官网的说法都是错的。想了解它,应当去找综述、课程与开源实现。
三个可核验的延伸入口
其一是综述:周志华发表的《A Brief Introduction to Weakly Supervised Learning》把三类划分讲得很清楚,是这个概念最常被引用的入口之一。其二是开源实现:Snorkel 系列项目公开了「标注函数 + 生成式聚合」的完整流程,代码与文档都可以直接对照着读。其三是相邻概念:半监督、目标检测、对抗样本这三个条目,分别对应容易被混淆的边界。
怎么继续往下读
建议的顺序是先读半监督,理解「只缺标签」时方法的边界在哪里;再读多示例学习,理解「粒度粗」怎么被形式化;最后读标签噪声相关的工作,理解「标签错」如何被建模。这个顺序正好对应三类缺陷,读完基本能判断自己的问题落在哪一格。
弱监督学习常见问题
弱监督学习和半监督学习到底差在哪?
差在覆盖范围。半监督只处理标签缺失,并且假设已有标签干净;弱监督还处理标签粒度粗和标签有噪声。半监督是弱监督的子集,反过来不成立。判断方法很简单:如果手上的标签没有错、只是数量少,那要解决的是半监督问题。
没有标注函数能直接用弱监督吗?
能,但那样通常已经退化成别的范式了。只有一小批干净标签加大量无标签数据,那是半监督;只有粗粒度标签,那是多示例。标注函数的价值在于把多种异质信号统一成同一种对象,没有这层抽象,多源信号很难一起用。
弱监督模型一定比全监督差吗?
在标注预算相同的前提下通常不差,甚至更好——因为它用上了全监督用不上的信号。它输给的是预算不受限的全监督,而那个基线在真实项目里基本不存在。真正该比较的是「同样的钱标多少条」和「同样的钱写多少条函数」。
标注函数要写多少条才够?
没有阈值。有效数量取决于覆盖与性:能覆盖大部分样本、并且彼此错误不相关的一组函数,远比一堆同源函数有用。实践中的判断标准是边际收益——新加一条函数之后,聚合标签与人工校验的一致性不再提升,就可以停。
众包标注算弱监督吗?
算,属于不准确监督的典型来源。众包的关键不是「人多」,而是能否估计每个标注者的可靠度。多数表决在这里同样会坏,因为标注者的能力分布不均,并且存在互相抄袭与串通。
回归任务也能用弱监督吗?
可以,但现成工具少得多。分类里的弃权、冲突、聚合都有成熟形式,回归里的弱信号往往表现为区间、排序或者带删失的观测,需要针对性设计损失函数。
弱监督和大模型微调是什么关系?
互补。大模型可以充当一条覆盖面很广的标注函数,为零样本场景提供初始标签;可靠度估计则用来判断这条「函数」在哪些子空间上不可信。把大模型的输出无条件当标签用,等于跳过估计直接聚合,风险与依赖任何单一弱信号相同。
怎么判断这一轮弱监督有没有白做?
看三件事:聚合标签与精标小集的一致性是否稳定;模型在高置信与低置信子集上的差距是否可控;信号源变化后指标是否出现静默衰减。三项都过关,才算真正跑通,而不是碰巧在某个测试集上好看。
OpenI AI时代点评
弱监督最容易被当成「标注不够时的权宜之计」,其实它是一种关于证据的态度:承认手上的标签是某个有缺陷过程的产物,然后把过程本身建模。这个转向比任何具体算法都重要。多数团队失败不是因为聚合模型选错,而是因为从头到尾都没有正视「标签是怎么来的」这个问题。
它也是少数「工程纪律比模型结构更决定成败」的方向。同一个聚合算法,函数分组做得好与坏,结果可能天差地别;评估集干不干净,决定你是在优化任务还是在优化噪声。想靠换模型解决问题的人,通常会在这里卡住,而且卡住时看不出原因——指标在涨,业务没动。
判断要不要上,只需要一句实话:瓶颈是标签数量,还是标签质量?如果只是数量,整套器械属于过度设计,写函数的维护成本会长期挂在账上;如果是质量,那它目前仍是少数几个正经答案之一。把这两件事分清,比记住三类划分的定义更有价值——如果你的标签只是少、并不脏也不粗,那就该去读 什么是半监督学习(Semi-Supervised Learning),那条路更窄,也更好走。


