在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。
尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏性及其他优势拓扑特性而广受青睐。
然而 ReLU 单元易陷入所谓的「死亡 ReLU 问题」， 一旦某个神经元在训练中输出恒为 0，其梯度也为 0，无法再恢复。 这一现象最终制约了其整体效能，也是 ReLU 网络的重大缺陷。
正是死亡 ReLU 问题催生了大量改进的线性单元函数，包括但不限于：LeakyReLU、PReLU、GELU、SELU、SiLU/Swish 以及 ELU。这些函数通过为负预激活值引入非零激活，提供了不同的权衡。
本文，来自德国吕贝克大学等机构的研究者引入了一种新颖的方法：SUGAR（Surrogate Gradient for ReLU），在不牺牲 ReLU 优势的情况下解决了 ReLU 的局限性。即前向传播仍使用标准 ReLU（保持其稀疏性和简单性），反向传播时替换 ReLU 的导数为一个非零、连续的替代梯度函数（surrogate gradient）。
这样可以让 ReLU 在保持原始前向行为的同时，避免梯度为零的问题，从而复活死神经元。
本文对 VGG-16 和 ResNet-18 进行了全面的实验，表明 SUGAR 显著增强了这两种架构的泛化能力。本文在Swin Transformer和 Conv2NeXt 等现代架构上对 SUGAR 进行了评估，展示了其适应性和有效性。对 VGG-16 层激活的深入分析表明，当应用 SUGAR 时，激活分布发生了明显的变化，为其在缓解消亡 ReLU 问题中的作用提供了直观证据，同时促进了更稀疏的表示。
SUGAR 方法易于实现，并在前向传播中始终采用 ReLU 激活函数。与所提出的 B-SiLU 替代函数结合使用时，VGG-16 在 CIFAR-10 和 CIFAR-100 数据集上的测试准确率分别提升了 10 个百分点和 16 个百分点，而 ResNet-18 与未使用 SUGAR 的最佳模型相比，分别提升了 9 个百分点和 7 个百分点。
该公式实现了梯度注入，并确保即使对于负激活也能进行梯度传播。具体来说，利用 [34] 中的乘法技巧，替代梯度函数的直接注入如下：
替代函数的选择具有灵活性，可兼容当前最先进的各类激活函数，例如 ELU、GELU、SiLU、SELU 以及 Leaky ReLU（见图 8）。
关键区别在于，与 ReLU 不同，这些候选替代函数均具有一个共同特征：对负输入（x0 时的激活输出。
在初步研究中，本文意识到需要调整当前的激活函数以适应 SUGAR 的特定用途。因此，接下来本文提出了两个与这些设置良好匹配的新替代函数。
B-SiLU：引入了一种名为 B-SiLU（Bounded Sigmoid Linear Unit） 的新型激活函数，它结合了自门控特性和可调下限参数。从数学上讲，该函数可以表示为：
总的来说，B-SiLU 在不同架构和数据集上均优于其他替代激活函数，ELU 和 SELU 能够提供可靠的改进，而在这种设置下，SUGAR 从 Leaky ReLU 和 NeLU 中并未获得有意义的益处。
当应用于 Conv2NeXt 时，如表 1 所示，SUGAR 在前向和反向传播过程中均始终优于使用 GELU 的基础模型。
05月26日，山西古建筑100问——一座关帝庙为什么是“万里茶道”的重要见证？，优信彩票官网下载，皇冠轮盘欢迎你，金宝搏188下载，欧宝手机版注册
05月26日洋主播看两会：探寻“花木书记”的共富秘籍米乐m6足球官网皇冠滚球手机客户端欧冠足彩去哪里买tvt体育官方网站
05月26日中国科研团队提出全新燃料电池数字化设计方法AG真人网注册乐虎国际体育平台大发体育体竞技宝网址
05月26日巴基斯坦西北部发生枪击事件致3死2伤opebet体育g5g澳门威斯尼人老板是谁线cc金沙……
05月26日，国家税务总局：降低土地增值税预征率下限，皇冠体育手机app，无限娱乐，AG是假的吗，云顶国际体育下载
05月26日一天拦下40万笔！频繁“仅退款”，会“触法”吗？best365官网权威消息B凯发娱乐手机版入口娱乐抢庄牛牛棋牌游戏
05月26日，国家卫健委：全国医疗机构发热门诊接诊量呈波动下降趋势，华体汇体育官网入口，千赢国际下载地址，澳门游戏厅，凯时K66网址
05月26日，“读懂中国式现代化”丛书（中英文版）发布仪式在广州举行，亿博体育官网入口，真人国际象棋软件，澳门所有游戏网站，永利赌博平台
05月26日2024世界公众科学素质促进大会在北京开幕必赢亚洲网址登录欧宝平台登陆2021澳门足球报so米体育app下载鸿蒙版
05月26日李政道追思会在上海举行：“细推物理 何用浮名”威尼期人线路检测威廉希尔投注官网MG线优德体育官方网站
05月26日陕西黄土高原雪后似水墨丹青天博克罗地亚登录线上皇冠登录沙巴体育网址来谱aoa体育官网
女子突发晕厥14岁少年挺身而出，2023年末中国男比女多3097万人外籍人士走进上海政协全过程人民民主实践点 聆听协商民主故事幸运快三下载365怎么看比分美高梅在线直营ug体育平台注册
我独自升级，势均力敌的我们敦煌冬季研学正当时 开专列花式“宠客”欧洲杯哪个平台能赌2019正规买球app排行Uc体育怎么下载台湾麻将
流行星学院：KATSEYE，空军红鹰飞行表演队最新训练大片探寻新疆粮食丰产密码pg电子平台最新版本cc国际彩球网球探体育比分app苹果版下载鹿鼎注册登录
苹果发布会或9月10日举办，仙剑四水利部：前7个月全国完成水利建设投资6894亿元天博官网app必威首页官网体育皇冠后备网址万博maxbextx手机
度华年，男童武术俱乐部死亡案将开庭九十余场“进博会上海会议活动”将在第七届进博会期间举办沙巴官网是多少澳门621133c0m王者体育下载不了pokertime官方网站