飘天文学>职场小聪明 > 第914章 梯度下降（第3页）
第914章 梯度下降（第3页）
3.t永远不是绝对答案
?t人类也不会给一个“100%确定”的结论。
?t比如看到一只奇怪的宠物，你可能说：“嗯，看起来像猫，但也有狗的特征。”
?t这就是机器学习中的概率输出。
?
五、哲学层面的启示
1.t学习是渐进的
梯度下降提醒我们：学习不是跳跃，而是一次次小步调整。
每次错了，就顺着错误最大的方向修正一点。
2.t最优是虚构的
就像你说的，碗底永远是“无限接近”，人类的理解也永远是不完整的，只能在概率意义下“差不多就行”。
3.t随机性是智慧
没有随机性，人可能会被困在“小谷底”里，以为那就是全部真理。
随机性（犯错、偶然的发现）反而帮助我们跳出来，找到更深的理解。
?
好，那我就再往更深一层走，把“梯度下降”从数学—工程—哲学三个维度继续展开。
?
一、数学视角：为什么非要走“负梯度”？
在高维空间里，函数的梯度（?f）指向上升最快的方向。
?t举例：你站在山坡上，梯度就是告诉你“哪里最陡，往那边走上升最快”。
?t但我们要下山，所以要走“负梯度”。
?t每一步的公式就是：
theta_{new}=theta_{old}-etaablaf（theta_{old}）
其中：
?ttheta是参数（比如神经网络里的权重）。
?teta是学习率。
?tablaf是梯度。
换句话说，每一步都像在地图上用指南针找方向，永远往“下坡最快”的方向走。
?
二、工程视角：梯度下降的改进
在大模型里，光靠最原始的梯度下降其实不够。工程师们发明了很多“加速方法”：
1.t动量法（momentum）
?t类比：滚珠下山时不仅看坡度，还带有惯性。
?t这样就不会在小坑里乱跳，而是能跨过去。
2.t自适应学习率（AdaGrad，RmSprop，Adam等）
?t传统学习率是固定的，但现实中不同方向的地形不一样。
?t比如有的维度很陡，有的很平缓。
?t自适应方法会自动调整步长，让学习更快更稳。
请勿开启浏览器阅读模式，否则将导致章节内容缺失及无法阅读下一章。
www.baquge.cc www.cwzww.com www.9kutxt.com www.shuhuangxs.com www.du8.org相邻推荐:我的太公是神医 直播算命太疯狂，鬼王夫君来帮忙 玄幻，我的神器能进化 悦仙楼 冬夜的黑道生涯 穿越万界之fate神父 词条返还，一统天下从收徒朱元璋开始 影帝家的小玫瑰 直播算命，同妻被吃绝户 在超神杨卧起坐 画令天下 星际大佬在年代文里修仙 四合院：地窖往事 这就是龙之后裔的宿命吗 世子妃她手拿白月光剧本 遇见向阳的你 超级游戏登录器 难哄！年下影帝每天求贴贴 衍衍瑶台月 盗墓：我，二白长子，炸了青铜门
已完结热门小说推荐
