飘天文学

第961章 AI里的白盒黑盒和正则化（第6页）

个神经元的全连接层，p=0.5时，每次训练迭代会随机选择

50

个神经元置为

0，仅用剩余

50

个神经元计算；测试时，100

个神经元全部激活，输出乘以

0.5。

核心作用

：避免

“神经元共适应”（即多个神经元依赖彼此的错误特征），模拟

“集成学习”（每次训练都是一个不同的小模型，测试时融合所有小模型的预测）。

3.

batch

normalization（批量归一化，bn）

原理

：对每一层的输入数据进行

“标准化”（使数据均值为

0、方差为

1），并引入可学习的缩放参数和偏移参数，增强模型灵活性。

正则化效果

：训练时，bn

使用

“批次内数据的均值和方差”，测试时使用

“训练过程中移动平均的均值和方差”，这种差异会给模型带来微小的噪声，间接抑制过拟合。

附加价值

：加速模型收敛（避免梯度消失

爆炸），允许使用更高的学习率，是深度学习的

“标配”

技术之一（虽非专门为正则化设计，但正则化效果显着）。

4.

早停（early

stopping）

原理

：训练过程中，持续监控模型在验证集上的性能（如准确率、损失）；当验证集性能不再提升（甚至下降）时，立即停止训练，避免模型继续学习训练数据中的噪声。

本质

：通过限制训练迭代次数，防止模型

请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。

www.baquge.cc www.cwzww.com www.9kutxt.com www.shuhuangxs.com www.du8.org

相邻推荐:词条返还，一统天下从收徒朱元璋开始  我的太公是神医  在超神杨卧起坐  盗墓：我，二白长子，炸了青铜门  世子妃她手拿白月光剧本  遇见向阳的你  难哄！年下影帝每天求贴贴  衍衍瑶台月  影帝家的小玫瑰  直播算命太疯狂，鬼王夫君来帮忙  穿越万界之fate神父  超级游戏登录器  玄幻，我的神器能进化  星际大佬在年代文里修仙  直播算命，同妻被吃绝户  这就是龙之后裔的宿命吗  冬夜的黑道生涯  四合院：地窖往事  悦仙楼  画令天下