[LG]《Topographical sparse mapping: A neuro-inspired sparse training framework for deep learning models》M Kamelian Rad, F Neri, S Moschoyiannis, R Bauer [University of Surrey] (2025)
在当今人工智能迅猛发展的背景下，深度学习模型参数数量激增，带来了高昂的计算成本和能耗挑战。本文提出了一种全新且高效的神经启发稀疏训练框架——拓扑稀疏映射（TSM）及其增强版ETSM，突破了传统稀疏训练方法的局限。
核心观点如下：
1. 神经启发的拓扑稀疏连接设计
TSM受脊椎动物视觉系统拓扑结构启发，模拟视网膜中稀疏、局部且有序的神经连接，实现输入层稀疏化设计。每个输入特征对应唯一的连接，连接数仅与输入特征数量相关，独立于接收层神经元数。这种结构消除了随机连接引发的索引和优化复杂度，显著降低参数量和计算需求。
2. 增强版ETSM结合动态剪枝
ETSM在TSM基础上引入训练早期的动态剪枝策略，通过权重幅度门槛实现用户指定稀疏率，无需传统方法中的连接再生（regrowth）阶段，避免复杂计算和额外内存消耗，训练更高效且稳定。
3. 性能与效率优势显著
- 在MNIST、Fashion-MNIST、CIFAR-10及CIFAR-100等多种数据集上，ETSM在极高稀疏率（93%-98.9%）下均超越或持平现有领先稀疏训练方法的准确率。
- 在CIFAR-100上，ETSM比最佳对比方法准确率提升约14%，且训练周期减少5-20倍。
- TSM/ETSM通过结构化稀疏连接加速收敛，减少训练所需FLOPs和能耗，TSM训练能耗仅为传统稠密网络的0.00019%-0.00095%，极大提升了绿色AI的可行性。
4. 拓扑稀疏映射优于随机稀疏策略
系统比较了拓扑映射、全局随机和局部随机三种稀疏连接方式，结果表明拓扑映射不仅提升准确率3%-4%，且训练过程更稳定、结果方差更小，体现了生物启发结构的优势。
5. 避免信息丢失，保持全特征利用
与传统特征剪枝不同，TSM设计保证所有输入特征均被映射，无需复杂的特征选择或降维，避免了信息损失，提高了泛化能力。
6. 生物学启发与计算效率的结合
ETSM的设计理念源自大脑发育过程——初期密集连接随后剪枝，映射至ANN即为先稀疏初始化加早期剪枝微调。此策略打破了稀疏性与准确率的传统权衡，实现两者兼顾。
7. 应用前景广阔
由于多层感知机（MLP）是众多现代模型（包括CNN、Transformer等）的基础组件，ETSM框架具备广泛适用性。未来可将其拓展至更大规模模型和其他架构，实现AI训练和推理的节能减排。
总结来说，TSM和ETSM用结构化、拓扑化的神经连接策略，结合动态剪枝，提供了一条高效、低能耗且不牺牲性能的深度学习稀疏训练新路径。该研究不仅推动了神经启发AI设计理念的发展，也为实现可持续AI技术奠定了坚实基础。
详细内容和实验数据请见原文链接：
elsevier.com/locate/neucom/article/pii/S0925231225024129
