飘天文学

第961章 AI里的白盒黑盒和正则化（第5页）

l2

强度。适用场景：特征维度极高且存在多重共线性的场景（如基因数据，特征数远大于样本数，且基因间存在相关性）。

三、深度学习中的正则化方法

深度学习模型（如

cnn、transformer）参数规模庞大（动辄千万级），过拟合风险更高，除了上述

l1l2，还需针对性的正则化技术。

1.

权重衰减（weight

decay）

本质

：深度学习中

l2

正则化的常用实现方式，通过在优化器中直接对参数进行

“按比例衰减”（如

sgd、adam

优化器均支持weight_decay参数）。

原理

：每次参数更新时，先将参数乘以一个小于

1

的系数（如

0.99），再进行梯度下降，等价于在损失函数中加入

l2

惩罚项。

注意

：权重衰减仅作用于权重参数，不作用于偏置项和

batchnorm

的参数（因这些参数对模型复杂度影响小）。

2.

dropout（随机失活）

原理

（以全连接层为例）：训练时，随机

“关闭”（置为

0）一部分神经元（比例由参数p控制，通常取

0.2~0.5），迫使模型不依赖某一特定神经元，学习更鲁棒的特征；测试时，不关闭任何神经元，而是将所有神经元的输出乘以

就是（或对权重进行缩放），保证输出分布一致。

示例

：一个含

100

请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。

www.baquge.cc www.cwzww.com www.9kutxt.com www.shuhuangxs.com www.du8.org

相邻推荐:我的太公是神医  穿越万界之fate神父  在超神杨卧起坐  四合院：地窖往事  词条返还，一统天下从收徒朱元璋开始  直播算命，同妻被吃绝户  冬夜的黑道生涯  世子妃她手拿白月光剧本  这就是龙之后裔的宿命吗  直播算命太疯狂，鬼王夫君来帮忙  衍衍瑶台月  影帝家的小玫瑰  玄幻，我的神器能进化  盗墓：我，二白长子，炸了青铜门  遇见向阳的你  画令天下  星际大佬在年代文里修仙  悦仙楼  难哄！年下影帝每天求贴贴  超级游戏登录器