摘要:为提升边缘设备上深度神经网络的训练速度、降低资源消耗,量化训练方法被广泛研究。相比浮点数或混合精度方案,全整型量化因其硬件适配性强和计算效率高的优势,在边缘训练场景下具有巨大潜力。但是,传统整型量化难以应对训练过程中数据分布的动态变化,导致显著的模型准确率损失。为了解决这个问题,提出一种基于数据分布感知的全整型量化训练框架,采用分段量化方法精细处理长尾数据分布,同时引入自适应搜索方法,根据数据分布动态调整量化参数。该框架在多个数据集上训练典型的深度神经网络模型ResNet的实验结果表明,与浮点数训练相比,模型准确率损失不超过2.44%;与现有的整型训练方法相比,准确率损失最多减少了90.61%。此外,将框架在FPGA上进行了部署,实验结果显示,与基于浮点数的训练框架相比,分别节省了27%的存储资源、53%的DSP计算资源和53%的执行时间。