运用正则化手段减小神经网络模型量化误差的方法及装置与流程

本发明涉及人工智能，具体而言，涉及一种运用正则化手段减小神经网络模型量化误差的方法及装置。

背景技术：

1、感知模块在智能驾驶域控制器中，有着举足轻重的地位，感知模块接收摄像头等传感器采集的视频、点云等信号，通过神经网络模型的预处理、推理和解码等操作，输出对周围环境的感知结果，供后续融合和规划控制使用。

2、通常，在pc端用浮点型(float32)数据表征的模型，会通过一个名为“量化”的操作，转化为以整型(int8)数据表征的模型，并部署到嵌入式设备上。量化过程会造成精度截断(32位->8位)，从而造成量化损失，影响模型部署精度和后续环节的效果。而目前尚无手段可提升模型对量化误差的抗干扰能力。

技术实现思路

1、本发明实施例提供了一种运用正则化手段减小神经网络模型量化误差的方法及装置，以解决现有技术中模型在量化过程中会造成精度截断，从而造成量化损失，进而影响模型部署精度和后续环节的效果，而目前尚无有效手段可以提升模型对量化误差的抗干扰能力的技术问题。

2、为解决上述技术问题，本发明实施例提供了如下技术方案：

3、一方面，本发明实施例提供了一种运用正则化手段减小神经网络模型量化误差的方法，所述运用正则化手段减小神经网络模型量化误差的方法包括：

4、对模型目标区间进行分析，确定模型目标区间；

5、运用正则化手段和线性变换算法对待量化的模型进行量化改造；

6、对量化改造后的模型进行训练，将模型训练至收敛；

7、对训练好的模型进行量化部署，以利用部署后的模型，根据车载摄像头采集的车外环境图像，实现车辆在智能驾驶场景中的环境感知任务。

8、进一步地，所述对模型目标区间进行分析，确定模型目标区间，包括：

9、对模型目标区间进行分析，确定模型的目标区间；其中，所述目标区间包括分类头的目标区间和回归头的目标区间；对于分类头，其目标区间为[-127,128]；对于回归头，其目标区间需要在精度和取值范围之间做权衡，以期实现在不过多损失取值范围的前提下，控制相邻可表示数值的最大间隔。

10、进一步地，所述运用正则化手段和线性变换算法对待量化的模型进行量化改造，包括：

11、按照不同的输出值范围，将模型的头拆分成多个，实现模型头部改造；

12、在模型的原始解码过程头部，插入线性变换操作；其中，所述线性变换操作以模型的输出为输入，所述线性变换操作用于对模型的输出进行线性变换，将模型的输出对应的数据的值域范围从区间[-127,128]，线性地映射到目标区间；而后将映射的结果输出给原始解码过程；

13、在模型的原损失函数之外，以线性加权的方式添加正则化损失函数，以针对线性变换之前的原始推理结果，惩罚结果中溢出区间[-127,128]的部分。

14、进一步地，所述运用正则化手段和线性变换算法对待量化的模型进行量化改造，还包括：

15、用正则化思想改造原损失函数：在贴近目标区间的边界处，应用正则化思想，对原损失函数做退化处理，以避免将模型的推理结果推离目标区间。

16、进一步地，所述待量化的模型为预设类型的目标检测模型、目标识别分类模型以及目标预测模型中的任意一种或多种的组合。

17、另一方面，本发明还提供了一种运用正则化手段减小神经网络模型量化误差的装置，所述运用正则化手段减小神经网络模型量化误差的装置包括：

18、目标区间分析模块，用于对模型目标区间进行分析，确定模型目标区间；

19、量化改造模块，用于运用正则化手段和线性变换算法对待量化的模型进行量化改造；

20、量化训练模块，用于对量化改造后的模型进行训练，将模型训练至收敛；

21、模型部署与应用模块，用于对训练好的模型进行量化部署，以利用部署后的模型，根据车载摄像头采集的车外环境图像，实现车辆在智能驾驶场景中的环境感知任务。

22、进一步地，所述目标区间分析模块具体用于：

23、对模型目标区间进行分析，确定模型的目标区间；其中，所述目标区间包括分类头的目标区间和回归头的目标区间；对于分类头，其目标区间为[-127,128]；对于回归头，其目标区间需要在精度和取值范围之间做权衡，以期实现在不过多损失取值范围的前提下，控制相邻可表示数值的最大间隔。

24、进一步地，所述量化改造模块具体用于：

25、按照不同的输出值范围，将模型的头拆分成多个，实现模型头部改造；

26、在模型的原始解码过程头部，插入线性变换操作；其中，所述线性变换操作以模型的输出为输入，所述线性变换操作用于对模型的输出进行线性变换，将模型的输出对应的数据的值域范围从区间[-127,128]，线性地映射到目标区间；而后将映射的结果输出给原始解码过程；

27、在模型的原损失函数之外，以线性加权的方式添加正则化损失函数，以针对线性变换之前的原始推理结果，惩罚结果中溢出区间[-127,128]的部分。

28、进一步地，所述量化改造模块具体还用于：

29、用正则化思想改造原损失函数：在贴近目标区间的边界处，应用正则化思想，对原损失函数做退化处理，以避免将模型的推理结果推离目标区间。

30、进一步地，所述待量化的模型为预设类型的目标检测模型、目标识别分类模型以及目标预测模型中的任意一种或多种的组合。

31、再一方面，本发明还提供了一种电子设备，其包括处理器和存储器；存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

32、又一方面，本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述方法。

33、本发明提供的技术方案带来的有益效果至少包括：

34、本发明通过运用正则化手段和线性变换算法对待量化的模型进行量化改造，优化神经网络模型的训练过程，解决了模型因量化造成过大的精度损失的问题。从而可提升模型对量化误差的抗干扰能力，进而提升量化后模型的精度，以此实现在智能驾驶场景中高精度的环境感知，具有重大应用场景。

技术特征：

1.一种运用正则化手段减小神经网络模型量化误差的方法，其特征在于，所述运用正则化手段减小神经网络模型量化误差的方法包括：

2.根据权利要求1所述的运用正则化手段减小神经网络模型量化误差的方法，其特征在于，所述对模型目标区间进行分析，确定模型目标区间，包括：

3.根据权利要求1所述的运用正则化手段减小神经网络模型量化误差的方法，其特征在于，所述运用正则化手段和线性变换算法对待量化的模型进行量化改造，包括：

4.根据权利要求3所述的运用正则化手段减小神经网络模型量化误差的方法，其特征在于，所述运用正则化手段和线性变换算法对待量化的模型进行量化改造，还包括：

5.根据权利要求1-4任一项所述的运用正则化手段减小神经网络模型量化误差的方法，其特征在于，所述待量化的模型为预设类型的目标检测模型、目标识别分类模型以及目标预测模型中的任意一种或多种的组合。

6.一种运用正则化手段减小神经网络模型量化误差的装置，其特征在于，所述运用正则化手段减小神经网络模型量化误差的装置包括：

7.根据权利要求6所述的运用正则化手段减小神经网络模型量化误差的装置，其特征在于，所述目标区间分析模块具体用于：

8.根据权利要求6所述的运用正则化手段减小神经网络模型量化误差的装置，其特征在于，所述量化改造模块具体用于：

9.根据权利要求8所述的运用正则化手段减小神经网络模型量化误差的装置，其特征在于，所述量化改造模块具体还用于：

10.根据权利要求6-9任一项所述的运用正则化手段减小神经网络模型量化误差的装置，其特征在于，所述待量化的模型为预设类型的目标检测模型、目标识别分类模型以及目标预测模型中的任意一种或多种的组合。

技术总结
本发明提供了一种运用正则化手段减小神经网络模型量化误差的方法及装置，属于人工智能技术领域，该方法包括：对模型目标区间进行分析，确定模型目标区间；运用正则化手段和线性变换算法对待量化的模型进行量化改造；对量化改造后的模型进行训练；对训练好的模型进行量化部署，以利用部署后的模型，根据车载摄像头采集的车外环境图像，实现车辆在智能驾驶场景中的环境感知任务。本发明可以提升模型对量化误差的抗干扰能力，进而提升量化后模型的精度，以此实现在智能驾驶场景中高精度的环境感知。

技术研发人员：刘孟白,王子收
受保护的技术使用者：清智汽车科技（苏州）有限公司
技术研发日：
技术公布日：2024/3/27