路人书

手机浏览器扫描二维码访问

第961章 AI里的白盒黑盒和正则化（第3页）

操作步骤

：

将数据分为训练集、验证集、测试集；

每次迭代后，计算验证集损失；

若验证集损失连续k次（如10次）未下降，停止训练，保存此时的模型参数。

5.数据增强（dataAugmentation）

原理

：通过对训练数据进行“随机变换”（不改变标签），人工扩大训练集规模，让模型接触更多样化的样本，减少对原始数据噪声的依赖。

常见手段

（以图像数据为例）：

几何变换：随机裁剪、翻转、旋转、缩放；

像素变换：随机调整亮度、对比度、饱和度、添加高斯噪声；

高级变换：mixUp（将两张图像按比例混合）、cutmix（将一张图像的部分区域替换为另一张图像）。

核心优势

：不增加模型复杂度，仅通过数据层面的优化提升泛化能力，是计算机视觉、NLp（如文本同义词替换）中最常用的正则化方法之一。

6.其他深度学习正则化技术

LabelSmoothing（标签平滑）

：将硬标签（如分类任务的[0，1，0]）替换为软标签（如[0.1，0.8，0.1]），避免模型对“正确标签”过度自信，缓解过拟合。

mixUpcutmix

：通过样本混合，让模型学习更通用的特征（如mixUp将“猫”和“狗”的图像混合，标签按比例分配，迫使模型关注“毛发”“耳朵”等通用特征而非噪声）。

知识蒸馏（Knowledgedistillation）

：用“复杂教师模型”的输出指导“简单学生模型”训练，学生模型在继承教师模型泛化能力的同时，保持低复杂度。

四、正则化的关键实践要点

正则化强度的选择是正则化的核心超参数，需通过交叉验证（cross-Validation）确定：

尝试多个值（如0.001，0.01，0.1，1，10）；

对每个，用K折交叉验证（如5折）训练模型，计算验证集平均性能；

选择使验证集性能最优的

过大易导致“欠拟合”，即模型过于简单，无法拟合数据规律）。

数据预处理的影响L1L2正则化对特征尺度敏感（如“收入”（万元级）和“年龄”（十位数）的参数规模差异大，惩罚时会偏向缩小“收入”参数），因此需先对特征进行标准化（Standardization）或归一化（Normalization），使所有特征处于同一尺度。

不同模型的正则化选择

传统线性模型：优先尝试L2（Ridge），若特征冗余多则用L1（Lasso）或ElasticNet；

深度学习模型：基础组合为“权重衰减+dropout+数据增强”，bN通常作为标配，复杂任务可加入LabelSmoothing或mixUp；

小样本任务：数据增强和早停的效果更显着（因数据量少，模型易过拟合）。

五、总结

正则化是机器学习的“防过拟合利器”，其核心是“通过约束模型复杂度，提升泛化能力”。不同场景下需选择合适的正则化方法：

传统模型：L1（特征选择）、L2（抗共线性）、ElasticNet（兼顾两者）；

深度学习：权重衰减、dropout、数据增强、早停等组合使用；

关键超参数

需通过交叉验证优化，避免欠拟合或过拟合。

掌握正则化技术，是从“训练出高准确率模型”到“训练出稳定泛化模型”的关键一步。

请关闭浏览器阅读模式后查看本章节，否则将出现无法翻页或章节内容丢失等现象。