论文标题:
Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection
https://arxiv.org/abs/2407.20708
背景
基于此,本工作的主要贡献包括:
简化 SNN 架构以缓解脉冲退化。本文提出了 SpikeYOLO,一个结合 YOLOv8 宏观设计和 Meta-SpikeFormer 微观设计的目标检测框架,主要思想是尽量避免过于复杂的网络架构设计。
设计整数训练脉冲推理神经元以减少量化误差的影响。提出一种 I-LIF 神经元,可以采用整数值进行训练,并在推理时等价为二值脉冲序列,有效降低脉冲神经元的量化误差。
本文发现,YOLO 过于复杂的网络模块设计会导致在直接加入脉冲神经元后出现脉冲退化现象。因此,本文提出的 SpikeYOLO 在设计上倾向于简化 YOLO 架构。SpikeYOLO 将 YOLOv8 [5] 的宏观设计与 meta-SpikeFormer [4] 的微观设计相结合,在保留了 YOLO 体系结构的总体设计原则的基础上,设计了 meta SNN 模块,包含倒残差结构、重参数化等设计思想。SpikeYOLO 的具体结构如图 1 所示:
SpikeYOLO 包含两种不同的卷积特征提取模块:SNN-Block-1 和 SNN-Block-2,分别应用于浅层特征提取和深层特征提取。两种特征提取模块的区别在于他们的通道混合模块 (ChannelConv) 不同。SNN-Block-1 采用标准卷积进行通道混合 (ChannelConv1),SNN-Block-2 采用重参数化卷积进行通道混合 (ChannelConv2),以减少模型参数量。SpikeYOLO 的特征提取模块可被具体表示为:
4.1 静态数据集
▲ 图5. Gen1 神经形态数据集实验结果
4.3 消融实验
本文在 COCO 数据集上进行不同模块的消融实验,包括移除重参数化卷积、采用 SNN-Block-2 替换 SNN-Block-1,以及将 Anchor-free 检测头替换为 Anchor-based 检测头等。结果证明,SpikeYOLO 拥有最先进的性能。
综上所述,本文提出了目标检测框架 SpikeYOLO,以及一种整数训练脉冲推理的神经元 I-LIF,并在静态和神经形态目标检测数据集上均进行了验证。全文到此结束,更多细节建议查看原文。
参考文献
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。
总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。
📝 稿件基本要求:
• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注
• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题
• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道:
• 投稿邮箱:[email protected]
• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿
△长按添加PaperWeekly小编
🔍
现在,在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
微信扫码关注该文公众号作者