基于关键点前端实时检测的量化误差补偿方法及系统与流程

1.本发明涉及误差优化处理的技术领域，特别涉及一种基于关键点前端实时检测的量化误差补偿方法及系统。


背景技术：

2.现有的关键点前端实时检测算法多采用回归坐标的方法进行检测。为了保证前端推理速度，模型很少使用上采样操作丰富感受野组合。与heatmap-based方法相比，直接采用回归的方法不需要维持高分辨率的特征，其能够节省前端算力资源，提高模型运行速度。
3.regression-based方法通过l1或l2 loss直接回归坐标，不需要上采样过程，推理耗时短。但是，regression中的全连接层将位置信息转化为坐标值，丢失了特征的空间信息，非线性强，因此不好训练和收敛。


技术实现要素：

4.发明目的：提出一种基于关键点前端实时检测的量化误差补偿方法及系统，以解决现有技术存在的上述问题。通过量化误差补偿算子，弥补了由于softmax造成的积分量化误差，从而无需维持高分辨率的热图，就可以极大降低前端计算内存开销以及推理时间，同时，有效提高模型检测精度。
5.技术方案：第一方面，提出了一种基于关键点前端实时检测的量化误差补偿方法，该方法包括以下步骤：
6.步骤1、构建关键点检测模型；该模型包含由3个采样模块构成的下采样模块、head层、全连接层。
7.其中，下采样模块由步长为2的卷积与bn层构成，在数据处理的过程中，对接收到的目标图像执行尺寸压缩操作；head层与全连接层连接，head层中包括1
×
1卷积，用于改变输出特征的维度，并将输出特征作为全连接层的输入特征。
8.步骤2、接收待分析的目标图像，并输入关键点检测模型中；
9.步骤3、关键点检测模型对目标图像进行分析，输出图像特征；
10.步骤4、对步骤3中输出的图像特征求积分，获得坐标均值；
11.步骤5、利用余弦相似度对坐标均值执行归一化操作，获得期望坐标均值；进一步包括以下步骤：
12.步骤5.1、接收head层输出的输出特征；
13.步骤5.2、读取全连接层参数；
14.步骤5.3、利用余弦相似度对步骤5.1中的输出特征和步骤5.2中的参数进行运算；
15.步骤5.4、在预设维度上，为步骤5.3中的运算结果做归一化操作，获得离散概率分布；
16.步骤5.5、构建尺度因子β，并基于尺度因子β超参锐化分布；
[0017][0018]
式中，β表示尺度因子；表示全连接层中输入特征与参数内积；f表示f与w之间的余弦相似度。将f与尺度因子β相乘，尺度因子β能够拉大响应幅度，使得softmax的输入保持在合适的精度范围，与此同时，余弦相似度归一化增加了特征的非线性程度，因此，尺度因子β的作用不会随着梯度下降而被其他参数稀释。
[0019]
步骤5.6、基于步骤5.5的分布情况，在预设维度的情况下，将网格距离离散化与离散概率分布相乘再积分，获得期望坐标均值。
[0020]
步骤6、构建量化误差补偿算子，对期望坐标均值进行补偿；当关键的坐标为(x0,y0)时，通过补偿获得最终关键点坐标的过程，包括以下步骤：
[0021]
步骤6.1、读取经过余弦相似度归一化操作后的输出特征f
out
；
[0022]
步骤6.2、将步骤6.1中的输出特征进行维度转换；
[0023]
步骤6.3、基于步骤6.2中的转换结果，分别在维度2和维度3上对特征求和；
[0024]
步骤6.4、基于步骤6.3的处理结果对步骤6.1中的输出特征f
out
进行降维，获得坐标两个方向上的输出特征，即xf
out
和yf
out
；
[0025]
步骤6.5、将步骤6.4中的输出特征映射成一维向量；
[0026]
步骤6.6、对步骤6.5中的一维向量执行softmax操作；
[0027]
当处理对象为xf
out
时，运算表达式为：
[0028][0029]
式中，p表示xf
out
的坐标；p’表示在ω区域中所有可能出现的坐标点；ω表示总的映射分析区域。其中，为了便于表述，令
[0030]
步骤6.7、根据soft-argmax运算方式，对关键点的期望坐标执行表达方式的转换；
[0031][0032]
式中，xr表示第一区域ω1的期望值加上第二区域ω2的期望值；p表示特征坐标索引；p
val
(p)表示当前坐标索引的归一化坐标值；表示xf
out
执行softmax后的数值；
[0033]
步骤6.8、结合映射关系对步骤6.7中转换后的期望坐标进行再次转换，获得关键点获取表达式；其中，xr等同于两个点的加权和，同时结合在映射区域的响应值为0，因此，经过转换后，x0的表达式为：
[0034][0035]
同理，y0的表达式为：
[0036][0037]
式中，
[0038]
步骤6.9、输出最终的关键点坐标。
[0039]
步骤7、输出最终的补偿后的图像数据。
[0040]
在第一方面的一些可实现方式中，使用积分姿态回归的方式检测关键点，模型骨干网络不添加上采样操作，输出特征保持低分辨率尺寸，通过对输出特征求积分获取坐标均值，并利用余弦相似度归一化输出特征，提高softmax操作前后特征的非线性程度，同时，设计量化误差补偿算子，弥补由于softmax造成的积分量化误差。无需维持高分辨率的热图，极大降低前端计算内存开销以及推理时间，并能有效提高模型检测精度。
[0041]
第二方面，提出一种基于关键点前端实时检测的量化误差补偿系统，用于实现量化误差补偿方法，该系统包括：模型构建模块、数据传输模块、特征提取模块、运算模块、归一化模块、补偿模块和数据输出模块。
[0042]
其中，模型构建模块用于构建关键点检测模型；数据传输模块用于接收待分析的目标图像，并将其输出构建的关键点检测模型中；特征提取模块用于接收待分析的目标图像，并将其输出构建的关键点检测模型中；运算模块用于对特征提取模块输出的图像特征求积分，获得对应的坐标均值；归一化模块用于对运算模块获得的均值，执行归一化输出特征的操作；补偿模块用于根据预设的量化补偿算子，对坐标均值进行补偿，弥补积分量化误差；数据输出模块用于输出最终经过补偿后的图像数据。
[0043]
第三方面，提出一种基于关键点前端实时检测的量化误差补偿设备，该设备包括：处理器以及存储有计算机程序指令的存储器；其中，处理器读取并执行所述计算机程序指令，以实现量化误差补偿方法。
[0044]
第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，其中计算机程序指令被处理器执行时实现量化误差补偿方法。
[0045]
有益效果：本发明提出了一种基于关键点前端实时检测的量化误差补偿方法及系统，通过量化误差补偿算子，弥补了由于softmax造成的积分量化误差，从而无需维持高分辨率的热图，就可以极大降低前端计算内存开销以及推理时间，同时，有效提高模型检测精度。相比于现有技术中采用的分析模型，本发明中构建的模型没有人造高斯分布以及上采样操作，因此推理速度快于现有的heatmap-based方法，与此同时，量化误差补偿算子能够有效减少由于下采样以及softmax构成的量化误差，提高模型检测精度。
附图说明
[0046]
图1为本发明实施例中的数据处理流程图。
[0047]
图2为本发明实施例中的模型处理示例图。
[0048]
图3为本发明实施例中将xf
out
映射成一维向量的示意图。
具体实施方式
[0049]
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
[0050]
申请人认为在关键点前端实时检测过程中，为了保证前端推理的速度，很少采用
包含上采样操作的模型，使得感受野不够丰富。实际应用的过程中，直接采用回归的方法不需要维持高分辨率特征，例如heatmap-based方法输出特征的尺寸为64
×
64，regression-based方法输出特征的尺寸为8
×
8，进而可以节省前端算力资源，提高模型运行速度。
[0051]
在实际应用中，regression-based方法通过l1或l2 loss直接回归坐标，不需要上采样过程，推理耗时短。但是，regression中的全连接层将位置信息转化为坐标值，丢失了特征的空间信息，非线性强，因此不好训练和收敛。因此，regression-based方法的检测精度低于heatmap-based方法。
[0052]
针对实际应用过程中存在的问题，本发明提出一种基于关键点前端实时检测的量化误差补偿方法及系统，使用积分姿态回归的方式检测关键点，构建不执行上采样操作的检测模型，从而输出保持低分辨率特征的数据；随后对输出特征求积分，从而获取坐标均值，并利用余弦相似度归一化输出特征，提高softmax操作前后特征的非线性程度；最后，设计量化误差补偿算子，达到弥补由于softmax造成积分量化误差的目的。
[0053]
在一个实施例中，提出一种基于关键点前端实时检测的量化误差补偿方法，如图1所示，该方法包括以下步骤：
[0054]
步骤1、构建关键点检测模型；
[0055]
步骤2、接收待分析的目标图像，并输入关键点检测模型中；
[0056]
步骤3、关键点检测模型对目标图像进行分析，输出图像特征；
[0057]
步骤4、对步骤3中输出的图像特征求积分，获得坐标均值；
[0058]
步骤5、利用余弦相似度对坐标均值执行归一化操作，获得期望坐标均值；
[0059]
步骤6、构建量化误差补偿算子，对期望坐标均值进行补偿；
[0060]
步骤7、输出最终的补偿后的图像数据。
[0061]
在进一步的实施例中，如图2所示，构建的关键点检测模型执行关键点分析的过程中，采用的骨干网络包含3个由步长为2卷积与bn层组成的下采样模块，用于将输入的目标图像尺寸从n
×
256
×
256
×
3，压缩成n
×c×8×
8。随后，在关键点检测模型的head层，通过1
×
1卷积，输出尺寸为n
×j×8×
8的输出特征。接着，将输出特征与全连接层参数进行余弦相似度求取，并将获得的余弦相似度特征在8
×
8维度，即wh维度上，做softmax归一化操作获得离散概率分布。基于获得的离散概率分布，添加尺度因子β超参锐化分布，将8
×
8网格距离离散化与离散概率分布相乘再积分，从而获得期望坐标均值。
[0062]
其中，利用使用softmax函数来获取离散概率分布特征的过程中，由于softmax函数会将特征中趋于0的值增大，使得概率分布过于平滑，导致soft-argmax的结果趋近于分布的中央，不能正确反映最大值位置。因此，本实施例提出构建量化误差补偿算子，对期望坐标均值进行补偿，用于减少softmax带来的误差以及输入分辨率与输出分辨率差异带来的量化误差。优选实施例中，在通过构建的量化误差补偿算子补偿期望坐标均值量化误差的过程中，获得的关键点坐标值尺寸为n
×j×
2，其中n表示batch-size(单次用于训练的样本数量)；c表示输出维度，优选为96；j表示关键点个数，β作为尺度因子，优选为15。
[0063]
在进一步的实施例中，通过head层离散概率分布特征与离散距离相乘并积分，获得期望坐标均值的过程中，采用了softmax函数来获取离散概率分布特征，因此为减少softmax带来的误差以及输入分辨率与输出分辨率差异带来的量化误差，构建量化误差补偿算子补偿期望坐标均值的量化误差。
[0064]
具体的，首先将head层输出尺寸为n
×j×8×
8特征的维度修改至n
×j×
64；然后，构建输入维度为64，输出维度也为64的全连接层，并将head层维度修改后的输出特征作为全连接层的输入。在经过全连接层的处理后，获得全连接输出特征f，其对应的尺寸为n
×j×
64。
[0065]
基于获得的head层输出特征中的64层特征，以及构建的全连接层，采用l2范数进行归一化处理，获得head层l2归一化特征||f||，以及全连接归一化参数||w||。其中，head层中采用余弦相似度归一化获得特征f的表达式为：
[0066][0067]
式中，表示全连接层中输入特征与参数内积；fi表示第i个特征；wi表示第i个参数值；f表示f与w之间的余弦相似度，f的输出区间被压缩至[-1,1]，对应的输出表达式为：
[0068][0069]
式中，β表示尺度因子，能够拉大响应幅度，使得softmax的输入保持在合适的精度范围，与此同时，余弦相似度归一化增加了特征的非线性程度，因此，尺度因子β的作用不会随着梯度下降而被其他参数稀释。
[0070]
随后，将尺寸为n
×j×
64的f
out
输出维度重新修改为n
×j×8×
8，并分别在维度2与维度3上对特征求和，将f
out
降维获得xf
out
和yf
out
，其中，xf
out
对应尺寸为n
×j×
8，yf
out
对应的尺寸为n
×j×
8。
[0071]
优选实施例中，已知关键点坐标(x0,y0)，假设xf
out
响应值符合高斯分布，将xf
out
映射成一维向量，如图3所示，其中w表示xf
out
向量的归一化长度，该方法中向量长度为8，归一化后w等于1，每个格子间隔为1/8。随后，对xf
out
进行softmax操作，即：
[0072][0073]
式中，p表示xf
out
的坐标；p’表示ω区域中所有可能出现的坐标点；ω表示总的映射分析区域。其中，为了便于表述，令
[0074]
当ω2区域的响应值都为0时，因为分子部分为1，所以划分区域后的结果可以表示为：
[0075][0076]
按照soft-argmax的计算公式，期望坐标值的表达式为：
[0077]
[0078]
式中，xr表示第一区域的期望值加上第二区域的期望值；p表示特征坐标索引；p
val
(p)表示当前坐标索引的归一化坐标值。另外，xr同等可以表示两个点的加权和，即：
[0079]
xr＝w1x1+w2x2[0080]
同时，
[0081][0082]
因此，xr可以等同为：
[0083][0084]
由于加权权重和等于1，因此，用w2来表示w1，此时xr可以等同为：
[0085][0086]
因此，x0可以表示为：
[0087][0088]
同时本实施例对w进行了归一化处理，因此w＝1，此时x0的表达式为：
[0089][0090]
同理，可以获得y0的表达式为：
[0091][0092]
上述数据处理的过程中，通过余弦相似归一化特征与坐标值乘积的积分获得。由于x0，y0建立在ω1符合高斯分布，ω2区域的响应值都为0的基础之上，因此弥补了softmax函数将特征中接近0的值增大，使得概率分布过于平滑，带来的积分误差。同时，余弦相似度归一化增加了特征的非线性程度，尺度因子β使概率分布尖锐的作用不会随着梯度下降而被其他参数稀释。
[0093]
本实施例提出的误差补偿方法，通过量化误差补偿算子，弥补了由于softmax造成的积分量化误差，从而无需维持高分辨率的热图，就可以极大降低前端计算内存开销以及推理时间，同时，有效提高模型检测精度。另外，由于模型中没有人造高斯分布以及上采样操作，该方法推理速度快于现有技术中的heatmap-based方法。
[0094]
优选实施例中，在无人机配网架空线路巡检中，针对关键点的实时检测技术，由于算法部署在前端设备中，一般采用低分辨率的高斯热图进行关键点回归操作。这种方案在推理过程中，因为预测关键点特征图尺寸与输入图片尺寸相差较大(一般输入图片尺寸256*256，而输出特征尺寸64*64)，将输出特征最大值的索引坐标映射回输入图片存在较大的量化误差。本发明针对上述量化误差提出量化误差补偿方法，通过对输出特征积分直接回归出关键点坐标，从而有效改善由于映射产生的量化误差，与此同时，误差补偿算子弥补了由于softmax造成的积分量化误差，结合余弦相似度归一化提高关键点检测精度。在实验中，原模型检测绝缘子关键点的map：0.71，使用量化误差补偿方法可以将map提升至0.73，
且前端运行速度不变。
[0095]
在一个实施例中，提出一种基于关键点前端实时检测的量化误差补偿系统，用于实现基于关键点前端实时检测的量化误差补偿方法，该系统包括以下模块：模型构建模块、数据传输模块、特征提取模块、运算模块、归一化模块、补偿模块和数据输出模块。
[0096]
其中，模型构建模块用于构建关键点检测模型；数据传输模块用于接收待分析的目标图像，并将其输出构建的关键点检测模型中；特征提取模块用于接收待分析的目标图像，并将其输出构建的关键点检测模型中；运算模块用于对特征提取模块输出的图像特征求积分，获得对应的坐标均值；归一化模块用于对运算模块获得的均值，执行归一化输出特征的操作；补偿模块用于根据预设的量化补偿算子，对坐标均值进行补偿，弥补积分量化误差；数据输出模块用于输出最终经过补偿后的图像数据。
[0097]
在进一步的实施例中，模型构建模块构建的关键点检测模型在执行数据处理的过程中，采用shufflenetv2作为骨干网络，其中包含3个由步长为2的卷积与bn层构成的下采样模块，用于压缩图像特征，例如将尺寸为n
×
256
×
256
×
3的输入图片压缩成尺寸为n
×c×8×
8的特征图像。并在head层中经过1
×
1卷积，得到n
×j×8×
8的输出特征。
[0098]
随后，运算模块将输出特征与全连接层参数进行余弦相似度求取，并利用归一化模块将余弦相似度特征在8
×
8维度(wh维度)上做softmax归一化操作获得离散概率分布，同时添加尺度因子β超参锐化分布。
[0099]
最后，采用补偿模块将8
×
8网格距离离散化与离散概率分布相乘再积分获得期望坐标均值，并利用设计的量化误差补偿算子补偿期望坐标均值的量化误差，获得关键点坐标值，对应尺寸为n
×j×
2。并通过据数输出模块将最终经过补偿后的图像数据输出。
[0100]
相比于现有技术中采用的分析模型，本实施例中构建的模型没有人造高斯分布以及上采样操作，因此推理速度快于现有的heatmap-based方法，与此同时，量化误差补偿算子能够有效减少由于下采样以及softmax构成的量化误差，提高模型检测精度。
[0101]
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。