乐鱼电竞

    教育行业A股IPO第一股（股票代码 003032）

    全国咨询/投诉热线：400-618-4000

    什么是梯度消失或爆炸？

    更新时间:2022年03月03日13时59分 来源:乐鱼电竞 浏览次数:

    什么是梯度消失或爆炸

    根据反向传播算法和链式法则, 梯度的计算可以简化为以下公式:

    其中sigmoid的导数值域是固定的, 在[0, 0.25]之间, 而一旦公式中的w也小于1, 那么通过这样的公式连乘后, 最终的梯度就会变得非常非常小, 这种现象称作梯度消失. 反之, 如果我们人为的增大w的值, 使其大于1, 那么连乘够就可能造成梯度过大, 称作梯度爆炸。

    梯度消失或爆炸的�：�:

    如果在训练过程中发生了梯度消失，权重无法被更新，最终导致训练失败; 梯度爆炸所带来的梯度过大，大幅度更新网络参数，在极端情况下，结果会溢出(NaN值)。



    猜你喜欢：

    Fast算法原理：fastica算法步骤详解

    Shi-Tomasi角点检测原理和实现代码

    人工智能的起源和人工智能发展历程

    英伟达发布Orin系统芯片助力AI加速

    乐鱼电竞Ai人工智能培训

    0 分享到：
    和我们在线交谈！
    【网站地图】【sitemap】