飘天文学>职场小聪明 > 第914章 梯度下降（第2页）
第914章 梯度下降（第2页）
?t每次只用一条数据来更新参数。
?t好处：快，而且因为有“随机性”，能跳出局部低谷。
?t坏处：路径会抖动，就像你在碗底不断乱蹦，但平均方向是对的。
3.t小批量梯度下降（mini-batchGradientdescent）
?t折中方案，每次取几十到几百条数据更新。
?t好处：速度和稳定性兼顾。
?t这也是现代深度学习中最常用的做法。
所以你可以把梯度下降想象成：
?t批量：像一个人走路前先把所有地图看清楚。
?t随机：像一个盲人摸索着走，虽然乱七八糟，但大方向对。
?t小批量：像一个人拿着指南针，每次用部分信息修正方向，既快又稳。
?
二、学习率的智慧
在梯度下降里有个很关键的参数：学习率（LearningRate）。
?t如果学习率太大，就像球从碗的一边跳到另一边，永远落不到底，甚至越跳越高。
?t如果学习率太小，就像蚂蚁往碗底爬，虽然方向正确，但走到天荒地老也到不了底部。
所以，人类在调参时，其实就是在控制“学习节奏”。
这跟人学习知识很像：
?t学得太快，不扎实，容易反弹。
?t学得太慢，效率低。
?t最佳的学习率，就是“适度挑战，稳步前进”。
?
三、为什么说“碗”可能不是碗
你一开始用“碗”比喻很好，但在大模型里，真实情况更复杂：
?t损失函数往往不是一个光滑的大碗，而是一个崎岖的山谷。
?t它可能有很多小洼地（局部极小值），还有长长的平地（鞍点）。
?t模型就像一个人在雾中走山路，只能靠脚下的坡度感知方向。
这时，随机梯度下降反而有好处，它带来的“抖动”能让人跳出一些小陷阱，继续往更深的谷底走。
?
四、和人的认知对比
你说“认识猫和狗”特别好，我再帮你扩展一下：
1.t模糊性
?t人类分类不是绝对的，而是“差不多”——这就是概率思维。
?t比如一辆小巧的SUV和一个装甲车，它们都有四个轮子，但我们用特征加权来识别：形状、功能、用途。
2.t迭代修正
?t小孩第一次见到“猫”，可能把“狗”也叫猫。
?t随着父母纠正，小孩在心里不断“调整参数”，逐渐收敛到更准的概念。
?t这就是梯度下降在人脑中的投影。
请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。
www.baquge.cc www.cwzww.com www.9kutxt.com www.shuhuangxs.com www.du8.org相邻推荐:穿越万界之fate神父 画令天下 这就是龙之后裔的宿命吗 玄幻，我的神器能进化 直播算命太疯狂，鬼王夫君来帮忙 词条返还，一统天下从收徒朱元璋开始 悦仙楼 世子妃她手拿白月光剧本 遇见向阳的你 直播算命，同妻被吃绝户 冬夜的黑道生涯 盗墓：我，二白长子，炸了青铜门 在超神杨卧起坐 衍衍瑶台月 我的太公是神医 星际大佬在年代文里修仙 超级游戏登录器 四合院：地窖往事 难哄！年下影帝每天求贴贴 影帝家的小玫瑰
已完结热门小说推荐
