Removing the Compute Bottleneck for Event-based Visual Place Recognition with Spiking Neural Networks
提出一种两层脉冲神经网络(SNN),利用加性STDP训练使权重强双模态化,支持激进剪枝;推理时仅读取活跃像素对应稀疏权重,且因剩余权重近似等幅,神经元响应退化为整数计数而非加权求和,计算量小到可驻留CPU片上缓存,实现十微秒级事件驱动视觉定位(VPR)查询。
展开解读与证据
提出一种两层脉冲神经网络(SNN),利用加性STDP训练使权重强双模态化,支持激进剪枝;推理时仅读取活跃像素对应稀疏权重,且因剩余权重近似等幅,神经元响应退化为整数计数而非加权求和,计算量小到可驻留CPU片上缓存,实现十微秒级事件驱动视觉定位(VPR)查询。
为什么值得关注
提供将事件稀疏性、权重剪枝与整数运算结合的视觉定位实现思路;作者报告商用 CPU 上十微秒量级推理,不据此推断整机功耗或闭环导航时延。
研究问题
事件相机虽具低延迟、低功耗优势,但现有VPR流水线在事件序列编码后引入帧式密集计算,丧失传感器原始优势。
方法原理
两层SNN + 加性STDP → 强双模态权重 → 幅值剪枝 → 激活像素驱动稀疏访存 → 整数计数替代加权求和 → 全计算驻留CPU片上缓存。
结果与证据
在三事件VPR基准上,召回率超越LENS(现有事件SNN),延迟降低5.5–6.2×至数十微秒;相比自身稠密SNN变体,读取权重数减少10×,召回率持平;相比SAD基线,召回率相当。
阅读边界
已读正文明确涉及 QCR-Event-VPR、Brisbane-Event-VPR、NSAVP 三个事件视觉定位基准。这里的推理延迟不等同于机器人闭环导航时延或整机能耗;本次读取有截断,尚未完整核验真机闭环实验、能耗及高密度事件流的性能边界。
评论 · —
昵称自填。评论会展示给其他读者,请勿填写私人信息。
正在读取评论…