在人工智能蓬勃发展的当下，机器学习取得了前所未有的进步，像 GPT-4、SORA 等成果令人瞩目。然而，这些基于数字计算机运行的模型，与人类大脑相比，在能效和适应性方面仍存在较大差距。主流人工智能系统采用数字值计算，与人类大脑使用的稀疏、抗噪且节能的脉冲信号表示方式不同；在优化方式上，当前人工智能主要聚焦于精细调整突触权重，而大脑则通过结构可塑性，去除不重要的连接来优化；运行时可重构性方面，传统人工神经网络（ANNs）是静态的，而人类大脑能根据任务需求动态调整计算深度；硬件架构上，主流 AI 硬件基于冯・诺依曼架构，将存储和计算分离，能耗大、效率低，大脑的神经细胞通过突触连接进行计算和存储，高度节能且并行。为了缩小这些差距，探索更高效、智能的计算模式，研究人员开展了针对输入感知动态忆阻脉冲神经网络的剪枝优化（PRIME）研究。该研究成果发表在《SCIENCE ADVANCES》上，具有重要的科学意义和应用价值。
研究人员采用了多种关键技术方法。在硬件方面，使用 40-nm 技术制造了具有 512×512 交叉 bar 配置的忆阻芯片，并将其与 Xilinx ZYNQ 片上系统（SoC）集成，构建了混合模拟 - 数字硬件系统。在模型构建上，运用迭代漏积分发放（LIF）脉冲神经元模型，并采用剪枝拓扑优化和动态置信度阈值方法对模型进行优化和推理控制。
下面介绍该研究的主要结果：
- PRIME：输入感知动态忆阻 SNN 的拓扑剪枝优化：PRIME 受人类大脑结构突触可塑性启发进行拓扑剪枝优化，利用忆阻器编程的随机性生成随机权重，通过保留重要突触、去除冗余突触来优化网络拓扑，避免了忆阻器电导的精细调整。在推理阶段，受大脑动态计算深度启发，引入输入感知动态早期停止策略，根据置信度阈值动态调整计算负载，减少延迟和能耗。
- 使用 PRIME 对神经形态数据集进行图像分类：在 N - MNIST 数据集分类任务中，PRIME 与软件基线相比，在 timestep 10 时准确率相近，但能大幅降低计算成本和能耗。例如，在阈值为 0.5 时，准确率达 97.60%，计算成本降低约 59%；在阈值为 0.3 时，准确率为 94.9%，计算成本降低约 77%，且能效提高 37.83 倍。与其他优化方法相比，PRIME 性能优异，对忆阻器编程噪声具有鲁棒性。在 DVS128 Gesture 数据集上的实验表明，PRIME 在更大的忆阻神经网络上具有良好的扩展性，计算成本可降低 87.15%，能耗降低 238.74 倍。
- 使用 PRIME 进行图像修复：研究人员将 PRIME 应用于图像修复任务，使用脉冲变分自编码器（spiking - VAE）对 MNIST 和 Fashion - MNIST 数据集进行实验。在 MNIST 数据集上，PRIME 与软件基线在不同阈值下的重建精度一致，随着阈值增加，延迟约降低 12.5%，且能保持重建质量。PRIME 的生成图像质量和多样性与权重优化模型相当，能耗降低 62.5 倍。在 Fashion - MNIST 数据集上，PRIME 同样表现出色，能有效处理更复杂的数据集，计算成本降低 8.46%，能耗降低 102.82 倍。
- 忆阻器读取噪声的影响：忆阻器存在编程和读取噪声，PRIME 通过输入感知动态早期停止机制有效减轻读取噪声的影响。在典型忆阻器读取噪声范围（0.01 - 0.03）内，PRIME 的模型性能稳定。在高噪声场景下，对分类任务影响较小，对图像修复任务影响相对较大，但通过调整早期停止阈值，PRIME 能在不同噪声条件下平衡时间步长和网络性能。
研究结论和讨论部分指出，PRIME 通过硬件 - 软件协同设计，为未来神经形态计算提供了一个精确、节能且低延迟的框架。在硬件上，忆阻神经形态计算机模仿大脑的内存计算，并通过受生物结构可塑性启发的剪枝优化，对忆阻器的编程和读取噪声具有鲁棒性；在软件上，受大脑动态调整计算深度的启发，引入基于置信度分数的输入感知动态早期停止策略，进一步提高了能效和推理速度。PRIME 在神经形态数据集评估中，与软件中静态权重优化的 SNN 准确率相当，但在能耗和推理速度上具有显著优势，在复杂任务中也展现出良好的扩展性和鲁棒性。这一研究成果为未来神经形态计算的发展提供了重要的参考和方向，有望推动人工智能向更高效、智能的方向发展。
生物通微信公众号
