在当前人工智能飞速发展的浪潮中，深度学习模型在计算机视觉、自然语言处理等领域取得了令人瞩目的成就。然而，这些成功的背后通常隐藏着一个不容忽视的挑战：模型训练依赖于海量高质量的标注数据。获取这些数据的成本是极其高昂的，尤其是在医疗影像、异常检测等需要专业知识的领域，大规模人工标注既耗时又费力。相比之下，无标签数据的收集则容易得多。如何让模型“无师自通”或“半师自通”，有效利用海量廉价的无标签数据，同时减少对有标签数据的依赖，已成为机器学习领域一个极具现实意义的研究方向。
半监督学习（Semi-supervised Learning, SSL）正是应对这一挑战的利器。它旨在联合利用少量有标签数据和大量无标签数据，提升模型的泛化能力。在众多SSL方法中，伪标签（Pseudo-labeling）和一致性正则化（Consistency Regularization）是两种主流且有效的范式。伪标签法，又称自训练，简单来说就是让模型给自己的预测“打分”，当它对某个无标签样本的预测置信度足够高时，就将这个预测当作“伪标签”来指导后续训练。FixMatch、FlexMatch、FreeMatch等先进方法都采用了这种思路，并设置了很高的置信度阈值（如0.95）来筛选可靠的伪标签，以降低噪声。
但这种“精英策略”带来了两个明显的副作用。首先，模型容易变得过于自信，即使预测是错误的，它也可能给出很高的置信度。这种“过度自信”会让带有噪声的伪标签混入训练，形成“确认偏差”，污染学习过程，最终损害模型性能。其次，为了追求伪标签的“纯洁性”，高阈值像一道冷酷的闸门，将大量置信度不高的无标签样本拒之门外，导致了宝贵数据资源的严重浪费。一个有趣的现象是，即使一个样本的Top-1预测置信度很低，其真实标签仍有很大概率落在预测概率排名前几的类别中。例如，在CIFAR-100数据集仅有200个有标签样本的极端设定下，无标签数据的Top-5准确率可高达90%。这意味着，我们虽然不能肯定地说“这个样本是A类”，但可以有90%的把握说“它不是 剩下的95类”。这个“它不是什么”的否定性知识，其可靠性远高于模型给出的正面伪标签的准确性。那么，能否利用这种“否定性知识”来指导模型学习呢？
与此同时，模型的“过度自信”问题在SSL中尤为突出。可靠性图表显示，多个强大的SSL基线模型预测的置信度都显著高于其实际准确率。这主要是因为模型产生了过大的类间逻辑值（logit）差距，经过softmax函数转换后，形成了过于尖锐的概率分布，从而夸大了置信度。如何给模型的“自信心”降温，让其预测的把握度与其真实能力相匹配，即提升模型的“校准”能力，是另一个亟待解决的问题。
为了解决过度自信和数据利用不足这两大痛点，本文的研究团队提出了一套组合方案：类感知边界（Class-Aware Margin, CAM）和负类惩罚（Negative Class Penalty, NCP）。CAM的核心思想是为模型“划定边界”，约束各类别逻辑值之间的距离，防止它们分得过开，从而软化概率分布，缓解过自信。更有趣的是，CAM是“因材施教”的：对于模型已经学得比较好的类别，施加更强的约束（更小的边界）；对于还没学好的类别，则放宽限制，给其更大的成长空间。NCP则旨在“变废为宝”，专门处理那些因置信度低而被传统方法丢弃的无标签样本。它借鉴了“负学习”的思想，不告诉模型样本“是什么”，而是告诉它样本“不是什么”。对于低置信度样本，NCP根据其预测分布，划分出“候选类别”和“负类别”，然后强制模型在对应的强增强版本上，将负类别的预测概率压向零。这样，即使无法给样本一个可靠的正向伪标签，它也能通过提供“否定性信息”为训练做出贡献，实现了对无标签数据的近乎100%的利用。
实验表明，在CIFAR-100、STL-10和EuroSAT等多个图像分类基准数据集上，将CAM和NCP集成到FreeMatch等先进SSL框架中，能够显著且稳定地提升模型的分类准确率和校准性能（以预期校准误差ECE衡量）。训练动态分析显示，该方法能产生更准确的伪标签，更有效地缓解确认偏差，并充分利用了几乎所有无标签数据。这项研究为半监督学习开辟了新思路，将其从主要依赖“选择性分类”的模式，推向了一个更全面的、结合“分类排除”的新范式。相关论文《Beyond High-Confidence Sampling: Boosting Data Utilization and Model Calibration in Semi-Supervised Learning》已发表在《IEEE Access》期刊。
主要技术方法概述：
本研究基于标准半监督学习框架，在FreeMatch等方法的基础上引入了两个核心机制。首先，提出了类感知边界（CAM） 约束，通过对强增强样本的类间逻辑值距离施加自适应的不等式约束来缓解模型过自信，其约束强度根据各类别的学习状态（通过指数移动平均预测期望度量）动态调整。其次，提出了负类惩罚（NCP） 机制，对置信度低于阈值的无标签样本应用负学习：基于样本特定Top-k置信度与全局Top-k置信度的比较，动态划分候选类与负类，并对强增强样本在负类上的预测应用均方误差（MSE）损失，从而利用所有无标签数据。实验在CIFAR-100、STL-10和EuroSAT三个标准图像分类数据集上进行，评估指标包括分类准确率和预期校准误差（ECE）。
研究结果：
• 一、 引言部分揭示的关键观察与动机
研究指出，现有SSL方法存在过度自信和大量无标签数据被浪费的问题。通过对FreeMatch在CIFAR-100（200个标签）上的训练动态分析发现，无标签数据的Top-5准确率远高于Top-1准确率和伪标签准确率，这表明低置信度样本蕴含可靠的负类信息。同时，可靠性图表显示FixMatch、FlexMatch和FreeMatch等基线模型均存在显著的预测过自信现象。
• 二、 提出的方法：CAM与NCP
1. 类感知边界（CAM） ：该方法将每个强增强样本的预测类与其他类之间的逻辑值距离约束在一个类别特定的边界内。该边界根据模型对该类别的预测期望进行自适应调整，对学得好的类别施加更强约束。这有效防止了逻辑值过度分散，从而产生更校准、不易过自信的概率分布。
2. 负类惩罚（NCP） ：对于弱增强预测置信度低于阈值的样本，NCP计算其样本特定的Top-k置信度和全局Top-k置信度。通过比较两者，动态确定每个样本的候选类数量ki ，排名ki 之后的类别被视作负类。随后，对相应强增强样本的负类预测应用MSE损失，迫使模型降低对这些类别的预测概率。该设计使得所有无标签样本都能为训练提供监督信号。
• 三、 实验结果
1. 在平衡半监督学习设置下的性能 ：在CIFAR-100、STL-10和EuroSAT数据集上，将CAM和NCP集成到FixMatch、FlexMatch和FreeMatch基线中，均能一致地提升分类准确率并降低ECE，尤其在标签数据极少的设定下（如CIFAR-100每类4个标签）提升显著。
2. 在不平衡半监督学习设置下的性能 ：在遵循长尾分布的CIFAR-100-LT数据集上，CAM+NCP同样能提升基线方法的性能，证明了其在不平衡数据场景下的鲁棒性。
3. 训练动态分析 ：在CIFAR-100（200标签）上对FreeMatch基线与加入CAM+NCP的方法进行比较发现，新方法在整个训练过程中保持了更高的测试准确率和更低的ECE，同时伪标签准确率更高，并且几乎利用了100%的无标签数据，而基线方法因高阈值过滤丢弃了大量数据。
4. 消融研究 ：消融实验证实了CAM和NCP各自的有效性及其互补性。CAM主要提升校准和伪标签质量，NCP则通过利用额外数据提升判别能力。参数敏感性分析表明，所提方法对超参数（如基础边界mbase 、候选类上限K）的变化不敏感，具有较好的鲁棒性。
研究结论与意义：
本研究发现，当前基于伪标签的半监督学习方法普遍面临模型过度自信和低置信度数据利用率低两大局限。为此，研究提出了两种互补的技术：类感知边界（CAM）和负类惩罚（NCP）。CAM通过施加类别自适应的不等式约束来调节逻辑值距离，有效缓解了过自信，提升了模型校准能力和伪标签质量。NCP则创新地将负学习思想引入SSL框架，使传统上被丢弃的低置信度样本能够通过提供“否定性信息”参与训练，近乎完全利用了无标签数据，从而从根本上了扩展了SSL的数据利用范式。
这项工作的重要意义在于，它通过简单的约束和损失设计，巧妙地解决了SSL中的两个核心难题。CAM+NCP框架不依赖于复杂的阈值调度或特定的数据分布假设，易于集成到现有的先进SSL方法中，并能显著且稳定地提升其性能。这不仅在半监督学习领域提供了一种高效提升模型判别力与校准性的实用方案，也为如何在标注成本高昂的现实场景中更充分地挖掘无标签数据的价值提供了新的思路。未来，该方法的理念或可扩展至噪声标签学习、领域自适应等其他缺乏充足可靠监督信号的机器学习任务中。
打赏
