?第一桶水是100升
?第二桶水是200升
?第三桶水是300升
?第四桶水是10亿升
显然,水池无法承受10亿升的水,直接溢出了!
解决方案?
?你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。
比喻2:计算机的“溢出”锅
假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:
?100°C
?200°C
?300°C
?10亿°C
你的炉子最高只能加热到500°C,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!
怎么办?
你可以先把所有锅的温度减去一个基准值(比如减去10亿°C),让温度变成:
?-9.99亿°C
?-9.98亿°C
?-9.97亿°C
?0°C
现在,最高的温度也只是0°C,不会再超出炉子的承受范围。
总结
?Softmax的溢出问题是因为指数运算会导致数值过大,超过计算机的上限。
?解决方案是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。
?就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!
喜欢职场小聪明请大家收藏:(cwzww)职场小聪明
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。
www.baquge.cc www.cwzww.com www.9kutxt.com www.shuhuangxs.com www.du8.org相邻推荐:超级游戏登录器 词条返还,一统天下从收徒朱元璋开始 冬夜的黑道生涯 影帝家的小玫瑰 世子妃她手拿白月光剧本 悦仙楼 玄幻,我的神器能进化 穿越万界之fate神父 直播算命太疯狂,鬼王夫君来帮忙 四合院:地窖往事 盗墓:我,二白长子,炸了青铜门 衍衍瑶台月 画令天下 这就是龙之后裔的宿命吗 遇见向阳的你 星际大佬在年代文里修仙 在超神杨卧起坐 直播算命,同妻被吃绝户 难哄!年下影帝每天求贴贴 我的太公是神医