黑体位置检测方法、电子装置以及计算机可读存储介质与流程

[0001]
本发明涉及图像处理技术领域，具体涉及一种黑体位置检测方法、电子装置以及计算机可读存储介质。


背景技术：

[0002]
热成像产品智能测温摄像机为了准确测出人体温度，需要在相机视场内放置一台黑体，用于标定场景中温度，黑体是一个恒温的物体。为了得到场景中准确的温度，需要实时获取黑体目标位置，现有方案是相机配置界面上手绘一个目标框，为了准确获取场景中温度信息，该目标框需要与黑体边界重合，减少外部区域干扰，该框极易受外界条件影响，导致黑体框偏离黑体位置，影响测温精度。因此黑体位置的检测准确性尤为重要。


技术实现要素：

[0003]
本发明提供一种黑体位置检测方法、电子装置以及计算机可读存储介质，用以解决图像帧序列中黑体漏检、误检问题，进而提高黑体位置检测精度。
[0004]
为解决上述技术问题，本发明提供的第一个技术方案为：提供一种黑体位置检测方法，包括：从热成像图像获取装置中获取图像帧序列，图像帧序列由包括黑体影像的若干图像帧组成；采用时域统计方法统计图像帧序列中的前面部分图像帧，以得到黑体在图像帧中的时域位置信息；将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息和时域位置信息进行比较，若比较结果处于预设范围内，则第一检测位置信息为黑体的实际位置信息。
[0005]
其中，采用时域统计方法统计图像帧序列中的前面部分图像帧，以得到黑体在图像帧中的时域位置信息包括：依序获得图像帧序列中前面部分图像帧每帧的第二检测位置信息；将当前帧第二检测位置信息结合前一帧的时域位置信息计算得到黑体在当前帧的时域位置信息，其中，图像帧序列的第一帧的时域位置信息为第一帧对应的第二检测位置。
[0006]
其中，将当前帧第二检测位置信息结合前一帧的时域位置信息计算得到黑体在当前帧的时域位置信息包括：利用加权平均法通过当前帧的第二检测位置信息与前一帧的时域位置信息计算得到黑体在当前帧的时域位置信息。
[0007]
其中，第一检测位置信息及第二检测位置信息的获取方法包括：从每一图像帧序列中获取预定尺寸的输入图像，输入图像包括黑体影像；利用卷积神经网络对输入图像进行处理，以得到图像帧序列中前面部分图像帧的黑体在图像帧中的第一中心点的坐标、图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第二中心点的坐标以及黑体的尺寸；根据第一中心点的坐标以及黑体的尺寸计算得到第二检测位置信息；以及根据第二中心点的坐标以及黑体的尺寸计算得到第一检测位置信息；其中，第一检测位置信息以及第二检测位置信息为黑体的至少一条对角线的端点坐标。
[0008]
其中，利用卷积神经网络对输入图像进行处理包括：利用卷积神经网络的卷积层、池化层对输入图像进行处理，以得到第一处理结果；利用双线性插值的方法对第一处理结
果进行上采样处理，以得到第二处理结果；将第二处理结果与卷积层中的处理结果进行通道拼接，得到第三处理结果；利用卷积层对第三处理结果进行卷积处理，进而输出第四处理结果；利用非极大值抑制算法根据第四处理结果计算得到第一中心点的坐标、第二中心点的坐标以及黑体的尺寸。
[0009]
其中，将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息和时域位置信息进行比较，若比较结果处于预设范围内，则第一检测位置信息为黑体的实际位置信息还包括：若比较结果处于预设范围外，则时域位置信息为黑体的实际位置信息。
[0010]
其中，第一检测位置信息还包括黑体的实际偏移角度；方法还包括：利用黑体的至少一条对角线的端点坐标计算黑体的实际中心点坐标；利用实际中心点坐标、黑体的至少一条对角线的端点坐标以及实际偏移角度计算得到黑体的四个角点的预测角点坐标；根据四个角点的预测角点坐标计算黑体在水平方向及垂直方向的梯度值；计算黑体在水平方向的梯度值以及垂直方向的梯度值的乘积，根据计算结果得到黑体的实际轮廓，实际轮廓的四个角点的坐标作为黑体的实际位置信息。
[0011]
其中，根据计算结果得到黑体的实际轮廓包括：选取水平方向及垂直方向梯度值乘积最大的位置作为黑体的实际轮廓。
[0012]
为解决上述技术问题，本发明提供的第二个技术方案为：提供一种电子装置，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的黑体位置检测方法。
[0013]
为解决上述技术问题，本发明提供的第三个技术方案为：提供计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的黑体位置检测方法。
[0014]
本发明的有益效果，区别于现有技术，本发明采用时域统计的方式统计图像帧序列种的前面部分图像帧，以得到黑体在图像帧种的时域位置信息，并将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息和时域位置信息进行比较，若比较结果处于预设范围内，则第一检测位置信息为黑体的实际位置信息。以此解决图像帧序列中黑体漏检、误检问题，进而提高黑体位置检测精度。
附图说明
[0015]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图，其中：
[0016]
图1为本发明黑体位置检测方法的第一实施的流程示意图；
[0017]
图2为图1中步骤s12的一具体实施例的流程示意图；
[0018]
图3为第一检测位置信息以及第二检测位置信息的获取方法的一具体实施例的流程示意图；
[0019]
图4为输入图像的获取方法的结构示意图；
[0020]
图5为图3中步骤s32的一具体实施例的流程示意图；
[0021]
图6为图5一具体实施例的流程示意图；
[0022]
图7为本发明黑体位置检测方法的第二实施的流程示意图；
[0023]
图8为本发明电子装置的一实施例的结构示意图；
[0024]
图9为本发明计算机可读存储介质的结构示意图。
具体实施方式
[0025]
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0026]
专利《测温方法、装置、电子装置及计算机可读存储介质》中，其方法包括通过可见光相机和热成像相机获取包含有目标对象的图像帧对(包括同一时刻采集的可见光图像和红外图像)；热成像相机的图像采集区域内还设置有黑体；基于图像帧对确定目标对象的测量温度；对红外图像进行黑体检测，得到黑体的检测结果(包括黑体在红外图像中的位置信息)；基于黑体的检测结果和红外图像，确定黑体的测量温度；根据黑体的测量温度以及黑体的预设温度，对目标对象的测量温度进行修正，将修正后的温度作为目标对象的测温结果，可以有效提升温度测量的准确性。该专利设计的主要缺点是：通过预设的神经网络模型对红外图像进行黑体检测，得到黑体的检测结果，检测结果包括位置信息和置信度，神经网络模型对红外图像进行黑体检测，神经网络模型可以基于目标检测算法实现，具体可采用诸如ssd、yolo和卷积神经网络等神经网络模型实现，可以得到黑体的形状和大小，黑体的形状包括圆形或方形等，文案中未详细提出采用何种神经网络结构，未详细说明黑体检测处理方法，未说明黑体检测框精度，对于倾斜的黑体检测可能无法满足。
[0027]
专利《基于深度神经网络的测温红外热像仪标定方法及装置》中，其包括：利用待标定的红外热像仪在不同温度组合条件下采集本底红外图像；构建深度神经网络和样本数据库；利用样本数据库训练深度神经网络并更新深度神经网络参数；利用训练后的深度神经网络标定出红外图像对应的温度场图像。本发明还公开基于深度神经网络的测温热像仪标定装置，利用深度神经网络建立红外镜头温度、探测器焦平面的工作温度、红外图像的像素值三者与温度测量值的映射关系，更新深度神经网络参数，利用更新会后的深度神经网络估计温度测量值，从而使得测温的红外热像仪具有无需机械挡片、测温操作简单、测温精度高的优点。该专利的主要缺点是：通过构建深度神经网络和样本数据库，利用样本数据库训练深度神经网络，利用训练后的深度神经网络标定出红外图像对应的温度场图像，以红外镜头工作温度的实测值、探测器焦平面工作温度的实测值、探测器像元的像素值作为样本数据，对应面源黑体辐射温度实际值作为标签，构建样本数据库，文案中是通过黑体温度来训练红外图像，实现自动测温的目的，未涉及到黑体位置检测相关算法。
[0028]
专利《用于红外热成像测温系统的黑体异常检测方法、装置、设备及系统》中，其对基准温度参考辐射源实现实时监测，分析功能，当黑体发生温度或成像异常时，及时报警，为系统的测温稳定性与可靠性提供智能化检测功能。且其能保证实时黑体的温度和位置发生异常变化时，及时报警通知工作人员进行解决。该专利的主要缺点是从实时红外视频中获取红外图像，选取已知黑体位置的图像块，与预存的红外图像黑体区域的图像块进行匹配，通过黑体上设置的温度传感器实时检测黑体温度，并将温度传感器检测的温度值与预
设的温度参数值进行比较，当差值不处于设定范围内时，则认为黑体温度发生变化，进行黑体温度异常报警。文案主要先通过预先保存的黑体位置图像块与当前黑体位置图像块进行块匹配，通过像素值差异判断黑体温度是否异常，该种方法涉及到一些阈值处理操作，受环境影响较大，不同环境可能需要设定不同的阈值参数，应用性不好。
[0029]
基于上述分析，现有技术针对于黑体的位置检测的准确性方面还有待改进，本发明提供一种黑体位置检测方法、电子装置以及计算机可读存储介质，用以实现黑体位置的精准检测，下面结合附图和实施例对本发明进行详细的说明。
[0030]
请参见图1，为本发明黑体位置检测方法的第一实施的流程示意图，包括：
[0031]
步骤s11：从热成像图像获取装置中获取图像帧序列。
[0032]
具体的，热成像图像获取装置可以为智能测温摄像机、热成像装置等。图像帧序列可以为热成像图像获取装置拍摄形成的视频数据，其包括多个连续的图像帧。需要说明的是，获取的每一图像帧中均包括黑体影像。
[0033]
步骤s12：采用时域统计方法统计图像帧序列中的前面部分图像帧，以得到黑体在图像帧中的时域位置信息。
[0034]
具体的，若图像帧序列共包括m帧，则将前面一至n帧进行时域统计。即采用时域统计方法统计图像帧序列中前面一至n帧图像帧，进而得到黑体在图像帧中的时域位置信息。
[0035]
在一可选实施例中，请结合图2，步骤s12具体包括：
[0036]
步骤s21：依序获得图像帧序列中前面部分图像帧每帧的第二检测位置信息。
[0037]
具体的，依序获取图像帧序列中一至n帧图像帧的第二检测位置信息。在一具体实施例中，在获取一至n帧图像帧的第二检测位置信息后，继续获取第n+1帧至m帧图像的第一检测位置信息。
[0038]
在一具体实施例中，请结合图3，第一检测位置信息以及第二检测位置信息的获取方法包括：
[0039]
步骤s31：从每一从每一图像帧序列中获取预定尺寸的输入图像，输入图像包括黑体影像。
[0040]
具体的，请结合图4，图像帧序列中的每一图像帧为c所示，其为热成像图像获取装置拍摄到的图像。在图像帧c中标记预设区域a，预设区域a包括黑体。具体的，由于热成像图像获取装置例如热成像测温场景中只有一个黑体，因此每一图像帧c中的预设区域a只有一个，该预设区域a是由人工手绘区域，用于标定黑体的区域范围，扩大黑体的检测区域，避免因为外界条件导致黑体偏移出检测区域。在人工手绘出预设区域a后，读取预设区域a的坐标，具体的，该坐标可以为预设区域a中心点的坐标，还可以为预设区域a左上角和/或右下角的坐标，本实施例以预设区域a左上角和/或右下角的坐标为例进行说明。
[0041]
具体的，预设区域a的坐标信息已知，预设要求为卷积神经网络的图像输入要求，例如，在一实施例中，要求卷积神经网络的输入图像的尺寸为200
×
200，则根据预设区域a的坐标信息按照200
×
200的尺寸计算得出卷积神经网络的输入图像b的坐标信息。
[0042]
在一实施例中，假设输入图像b的尺寸大小为h
×
w，每一图像帧c的尺寸大小为h1
×
w1；如果计算得到的输入图像b的尺寸大于图像帧c的尺寸，例如h＞h1或者w＞w1，超出的区域像素值为0，则图像帧c的左上角即右下角的坐标就是预设区域a的左上角坐标及右下角坐标，预设区域a的左上角的坐标的行加上h，列加上w后构成输入图像b。
[0043]
若计算得到的输入图像b的尺寸小于图像帧c的尺寸，例如h＜h1或者w＜w1，说明输入图像b处于图像帧c内，即可按照输入图像b的尺寸利用预设区域a的左上角和右下角的坐标信息计算得出输入图像b的左上角以及右下角的坐标信息。
[0044]
具体的，图像一般包括y、u、v三通道数据，在本实施例中，为了满足需要，获取图像帧c的y通道数据，输入图像b的左上角以及右下角的坐标信息已知，根据输入图像b的左上角以及右下角的坐标信息以及图像帧c的y通道数据将输入图像b从图像帧c中裁剪出来，并将裁剪出的输入图像b作为卷积神经网络的输入。需要说明的是，由于在裁剪输入图像b时，是利用y通道数据进行裁剪的，因此输入图像b为输入图像b的y通道数据。
[0045]
步骤s32：利用卷积神经网络对输入图像进行处理，以得到图像帧序列中前面部分图像帧的黑体在图像帧中的第一中心点的坐标、图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第二中心点的坐标以及黑体的尺寸。
[0046]
具体的，将裁剪得到的图像帧序列对应的所有的输入图像b输入至卷积神经网络中进行处理，进而得到图像帧序列中前面部分图像帧(例如第一帧至第n帧)的黑体在图像帧中的第一中心点的坐标、图像帧序列中剩余至少一张图像帧(例如第n+1帧至第m帧)的黑体在图像帧中的第二中心点的坐标以及黑体的尺寸。
[0047]
具体的，利用卷积神经神经网络对图像帧序列中前面部分图像帧(例如第一帧至第n帧)得到的输入图像b进行处理，以得到第一中心点的坐标，以及前面部分图像帧(例如第一帧至第n帧)的每一图像中黑体对应的尺寸。利用卷积神经神经网络对图像帧序列中剩余至少一张图像帧(例如第n+1帧至第m帧)得到的输入图像b进行处理，以得到第二中心点的坐标，以及剩余至少一张图像帧(例如第n+1帧至第m帧)的每一图像中黑体对应的尺寸。
[0048]
可选的，请结合图5，步骤s32具体包括：
[0049]
步骤s51：利用卷积神经网络的卷积层、池化层对输入图像进行处理，以得到第一处理结果。
[0050]
请结合图6，依序将图像帧序列中得到的每一输入图像b输入卷积神经网络中，利用第一层卷积层依序对每一输入图像b进行第一层卷积处理。例如，第一层卷积层的滤波器大小为r
×
r，r是1～7之间的数，输出c1个通道特征图，c1是8～1024之间的数，第1层卷积输出结果为：
[0051][0052]
其中，表示卷积操作，y表示输入图像b的y通道数据，w
1，j
表示第1层卷积第j个滤波器的权值，b
1，j
表示第1层卷积第j个偏置，f
1，j
表示第1层卷积第j个通道输出结果。
[0053]
对第一层卷积处理的结果进行激活函数处理，激活函数如下：
[0054][0055]
f
1，j
激活后的结果为：
[0056][0057]
其中，
∝
表示增益系数，用于控制f
1，j
小于0的部分，
∝
在0～1之间。
[0058]
利用池化层对激活后的第1层卷积结果进行池化处理，池化处理其实就是将原图进行下采样。具体的，假设激活后的第1层卷积结果大小为w1×
h1×
c1，则池化后的特征图大小为：w1/n
×
h1/n
×
c1，n为池化滤波核大小，池化操作的步长为n。
[0059]
图6所示的第2层卷积层处理、池化处理
……
直至第n层卷积层处理与第一层类似，仅是滤波器的大小和输出特征图通道存在差异，在此不再赘述。其中，第n-1层卷积后的图像进行第n层卷积处理结果如下：
[0060][0061]
其中，f
n-1,i
表示第n-1层第i个通道结果，w
n,i,j
表示第n层第j个通道第i个滤波器，b
n,j
表示第n层第j个通道偏置项，f
n,j
表示第n层第j个通道特征图。
[0062]
f
n,j
激活后的结果为：
[0063][0064]
在第n层卷积层处理结束后，即可得到第一处理结果。
[0065]
步骤s52：利用双线性插值的方法对第一处理结果进行上采样处理，以得到第二处理结果。
[0066]
具体的，结合图6，在第n层卷积层处理结束后，进行上采样处理。具体的，采用双线性插值的方法对第一处理结果进行上采样处理。假设第n层卷积处理后特征图大小为w
n
×
h
n
×
c
n
，则上采样后输出的第二处理结果大小为：w
n
×
n
×
h
n
×
n
×
c
n
，其中n为上采样倍数。
[0067]
步骤s53：将第二处理结果与卷积层中的处理结果进行通道拼接，得到第三处理结果。
[0068]
具体的，上采样处理后需要进行级联操作，级联就是将前面第t层卷积后的结果与上采样结果(即第二处理结果)进行通道拼接，假设第t层卷积后的结果为w
t
×
h
t
×
c
t
，上采样输出结果为w
t
×
h
t
×
c
up1
，则级联后结果(第三处理结果)为：w
t
×
h
t
×
(c
t
+c
up1
)。例如将第1层卷积后的结果与上采样结果(即第二处理结果)进行拼接以得到第三处理结果，将第2层卷积后的结果与上采样结果(即第二处理结果)进行拼接以得到第三处理结果，直至第n层卷积后的结果与上采样结果(即第二处理结果)进行拼接以得到第三处理结果。需要说明的是，本发明中，卷积网络中至少需要1次的上采样和级联操作。
[0069]
步骤s54：利用卷积层对第三处理结果进行卷积处理，进而输出第四处理结果。
[0070]
在级联处理完成后，进行最后一步卷积层处理以得到第四处理结果，最后一步的卷积操作如下：
[0071][0072]
其中，f
n-1,i
表示第n-1层第i个通道结果，w
n,i,j
表示第n层第j个通道第i个滤波器，b
n,j
表示第n层第j个通道偏置项，f
n,j
表示最后一层第j个通道特征图，n表示所有卷积操作个数。
[0073]
步骤s55：利用非极大值抑制算法根据第四处理结果计算得到第一中心点的坐标、第二中心点的坐标以及黑体的尺寸。
[0074]
具体的，利用非极大值抑制算法根据每一图像帧对应的第四处理结果得到每一图像帧中黑体对应的中心点的坐标，及黑体的尺寸。具体的，利用非极大值抑制算法根据图像帧序列中前面部分图像帧(例如第一帧至第n帧)对应的第四处理结果得到每一图像帧中黑体对应的第一中心点的坐标以及黑体的尺寸。利用非极大值抑制算法根据图像帧序列中剩余至少一张图像帧(例如第n+1帧至第m帧)对应的第四处理结果得到每一图像帧中黑体对应的第二中心点的坐标以及黑体的尺寸。
[0075]
在一实施例中，利用非极大值抑制算法根据第四处理结果能够计算出黑体的中心点的坐标以及对应的置信度分数，将置信度最高的黑体的中心点的坐标作为每一图像帧对应的黑体的中心点坐标。具体的，若置信度分数较低，小于一定阈值时，则说明输入图像b中没有黑体；若置信度分数较高，大于一定阈值时，则说明输入图像b中具体黑体。
[0076]
具体的，在一实施例中，若图像帧序列中共包括连续的m帧图像时，则进行时域统计的图像帧序列中前面部分图像帧(例如第一帧至第n帧)占图像帧序列的多半，例如三分之二。以此能够提高时域位置信息的精度，并且提高后续图像帧的黑体位置检测精度。或者，在另一实施例中，进行时域统计的图像帧序列中前面部分图像帧(例如第一帧至第n帧)占图像帧序列的一半，例如二分之一。或者，在另一实施例中，进行时域统计的图像帧序列中前面部分图像帧(例如第一帧至第n帧)占图像帧序列的少半，例如三分之一，具体不做限定，以时域位置信息的统计结果的精确度为准。
[0077]
在一实施例中，在对图像帧序列的输入图像进行卷积神经网络计算时，需要判断当前计算的输入图像是否为第n帧。若不是第n帧，则继续进行下一帧的计算，若当前计算的统计图像为第n帧，则在第n帧图像中黑体的第二检测位置信息计算完成后，进行时域位置统计。
[0078]
在一实施例中，n可以为数据流的总帧数的一半，例如，n＝m/2。在另一实施例中，n还可以为数据流的总帧数的三分之二，例如，n＝2m/3，具体不做限定。
[0079]
本实施例中，利用卷积神经网络计算每一图像帧的黑体的中心点的坐标，并在通过卷积神经网络进行计算时，加入了上采样处理以及级联处理，以使得得到的图像占更加准确，精度更高。
[0080]
步骤s33：根据第一中心点的坐标以及黑体的尺寸计算得到第二检测位置信息；以及根据第二中心点的坐标以及黑体的尺寸计算得到第一检测位置信息。
[0081]
具体的，根据图像帧序列中前面部分图像帧(例如第一帧至第n帧)的每一图像帧对应的第一中心点的坐标以及黑体的尺寸，计算得到黑体在每一图像帧中的第二检测位置信息。根据图像帧序列中剩余至少一张图像帧(例如第n+1帧至第m帧)的每一图像帧对应的第二中心点的坐标以及黑体的尺寸，计算得到黑体在每一图像帧中的第一检测位置信息。
[0082]
具体的，计算方式如下：
[0083][0084]
其中，x
cen
,y
cen
是卷积神经网络检测输出的黑体框的中心点的x坐标和y坐标(即第
一中心点的坐标)，w,h是黑体框宽和高(即黑体的尺寸)；(x
left
,y
left
,x
right
,y
right
)是根据黑体框的中心点的坐标以及宽和高(x
cen
,y
cen
,w,h)计算出的黑体框第一检测位置信息以及第二检测位置信息。具体的，在一实施例中，第一检测位置信息以及第二检测位置信息为黑体的至少一条对角线的端点坐标。即第一检测位置信息以及第二检测位置信息可以为黑体的左上角坐标以及右下角坐标，还可以为左下角坐标以及右上角坐标，具体不做限定。为了更好的说明本申请方案，一下以一条对角线的端点坐标为黑体的左上角坐标以及右下角坐标为例进行说明。
[0085]
步骤s22：将当前帧的第二检测位置信息结合前一帧的时域位置信息计算得到黑体在当前帧的时域位置信息，其中，图像帧序列的第一帧的时域位置信息为第一帧对应的第二检测位置信息。
[0086]
具体的，在一实施例中，利用加权平均法通过当前帧的第二检测位置信息与前一帧的时域位置信息计算得到黑体在当前帧的时域位置信息。具体的，在一实施例中，图像帧序列的第一帧的时域位置信息为第一帧对应的第二检测位置信息。
[0087]
具体的，对于第1帧，其时域位置信息如下：
[0088][0089]
其中，(x
left_1
,y
left_1
,x
right_1
,y
right_1
)是根据卷积神经网络输出的第1帧中黑体的中心点的位置坐标计算得到的第1帧的第二检测位置信息(即黑体框左上角和右下角x坐标和y坐标)，(x
left_td_1
,y
left_td_1
,x
right_td_1
,y
right_td_1
)是统计的第1帧的时域位置信息。
[0090]
对于第2帧，其计算方式如下：
[0091][0092]
其中，(x
left_2
,y
left_2
,x
right_2
,y
right_2
)是根据卷积神经网络输出的第2帧中黑体的中心点的位置坐标计算得到的第2帧的第二检测位置信息(即黑体框左上角和右下角x坐标和y坐标)，(x
left_td_2
,y
left_td_2
,x
right_td_2
,y
right_td_2
)是统计的第2帧的时域位置信息。
[0093]
对于第n帧，其计算方式如下：
[0094][0095]
其中，(x
left_n
,y
left_n
,x
right_n
,y
right_n
)是根据卷积神经网络输出的第n帧中黑体的中心点的位置坐标计算得到的第n帧的第二检测位置信息(即黑体框左上角和右下角x坐标和y坐标)，(x
left_td_n
,y
left_td_n
,x
right_td_n
,y
right_td_n
)是统计的第n帧的时域位置信息，(x
left_td_n-1
,y
left_td_n-1
,x
right_td_n-1
,y
right_td_n-1
)是统计的第n-1帧的时域位置信息。
[0096]
通过统计前n帧的黑体位置，可以产生一个黑体热点位置区域，作为时域统计值，即黑体的时域位置信息。具体的，在本发明中，黑体的时域位置信息即为求出的第n帧的计算结果。即黑体的时域位置信息为(x
left_td_n
,y
left_td_n
,x
right_td_n
,y
right_td_n
)。
[0097]
步骤s13：将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息和时域位置信息进行比较，若比较结果处于预设范围内，则第一检测位置信息为黑体的实际位置信息。
[0098]
具体的，将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息(即黑体在图像帧中的左上角坐标及右下角坐标)和时域位置信息(即(x
left_td_n
,y
left_td_n
,x
right_td_n
,y
right_td_n
))进行比较。若比较结果处于预设范围内，则说明当前帧的黑体的位置检测结果与时域位置信息差异不大，则认为当前帧的黑体的位置检测结果正确，当前帧检测的第一检测位置信息(即黑体在图像帧中的左上角坐标及右下角坐标)即为黑体的实际位置信息。以第n+1帧为例，若根据检测的第n+1帧的黑体的中心点坐标以及黑体尺寸计算得到的第一检测位置信息为(x
left_n+1
,y
left_n+1
,x
right_n+1
,y
right_n+1
)，则实际位置信息为：
[0099][0100]
其中，(x
left_n+1
,y
left_n+1
,x
right_n+1
,y
right_n+1
)是根据卷积神经网络输出的第n+1帧中黑体的中心点的位置坐标计算得到的第n+1帧的第一检测位置信息(即黑体框左上角和右下角x坐标和y坐标)，(x
left_0
,y
left_0
,x
right_0
,y
right_0
)为实际位置信息，即黑体框的实际的左上角和右下角x坐标和y坐标。
[0101]
若比较结果处于预设范围外，则说明当前帧的黑体的位置检测结果与时域位置信息出现异常，此时时域位置信息(x
left_td_n
,y
left_td_n
,x
right_td_n
,y
right_td_n
)即为黑体的实际位置信息。具体的，以第n+1帧为例，第n+1帧中黑体的实际位置信息为：
[0102][0103]
本实施例的黑体的位置检测方法，其采用时域统计的方式，利用卷积神经网络计算出每一图像帧中黑体的中心点的坐标以及黑体的尺寸，利用黑体的中心点的坐标以及尺寸计算出图像帧序列的前面部分图像帧的每一图像帧的第二检测位置信息以及计算出图像帧序列中剩余至少一张图像帧的第一检测位置信息，利用第二检测位置信息计算求出黑体的时域位置信息，通过将第一检测位置信息与时域位置信息进行比较，以得到黑体的实际位置信息。时域统计的方式可以解决图像帧序列中黑体位置漏检和误检的问题，提高黑体检测精度。
[0104]
请参见图7，为本发明黑体检测方法的第二实施例的流程示意图，与上述第一实施例相比，区别在于，步骤s13还包括：
[0105]
步骤s71：利用黑体的至少一条对角线的端点坐标计算黑体的实际中心点坐标。
[0106]
本实施例中，第一检测位置信息还包括黑体的实际偏移角度。具体的，本申请的卷积神经网络在对输入图像进行处理以输出每一图像帧对应的黑体的中心点的坐标以及黑体的尺寸时，还输出黑体的偏移角度θ。具体的，在利用时域统计的方式统计黑体的时域位置信息时，还需要统计黑体的时域偏移角度。具体的，对于第1帧，时域偏移角度即为卷积神经网络输出的第1帧的偏移角度，时域偏移角度θ
td_1
＝θ1；对于第2帧，时域偏移角度通过卷积神经网络输出的第2帧的偏移角度与第1帧的时域偏移角度计算所得，即θ
td_2
＝(θ
td_1
+θ2)/2；对于第n帧，时域偏移角度通过卷积神经网络输出的第n帧的偏移角度与第n-1帧的时域偏移角度计算所得，即θ
td_n
＝(θ
td_n-1
+θ
n
)/2。
[0107]
具体的，将图像帧序列中剩余至少一张图像帧的黑体在图像帧中的第一检测位置信息(即黑体在图像帧中的左上角坐标及右下角坐标)和时域位置信息(即(x
left_td_n
,y
left_td_n
,x
right_td_n
,y
right_td_n
))进行比较。若比较结果处于预设范围内，则说明当前帧的黑体的位置检测结果与时域位置信息差异不大，则认为当前帧的黑体的位置检测结果正确，当前帧检测的第一检测位置信息(即黑体在图像帧中的左上角坐标及右下角坐标)即为黑体的实际位置信息。以第n+1帧为例，第一检测位置信息中的偏移角度即为实际偏移角度，即θ
0_n+1
＝θ
n+1
。
[0108]
具体的，第一位置信息包括黑体的至少一条对角线的端点坐标。例如，黑体的左上角的坐标以及右下角的坐标，或者黑体的左下角的坐标以及右上角的坐标。具体的，以黑体的左上角的坐标以及右下角的坐标为例进行说明。
[0109]
通过黑体的左上角的坐标以及右下角的坐标计算黑体的实际中心点坐标，具体的，以第n+1帧为例，若第n+1帧对应的第一检测位置信息与时域位置信息差异不大时，则第n+1帧实际中心点坐标计算方式如下：
[0110]
x
cen_0_n+1
＝x
left_0_n+1
+(x
right_0_n+1-x
left_0_n+1
)/2；
[0111]
y
cen_0_n+1
＝y
left_0_n+1
+(y
right_0_n+1-y
left_0_n+1
)/2；
[0112]
其中，(x
cen_0_n+1
，y
cen_0_n+1
)为第n+1帧的实际中心点的x坐标以及y坐标，(x
left_n+1
，y
left_n+1
，x
right_n+1
，y
right_n+1
)为第n+1帧的第一检测位置信息中的黑体的左上角、右下角坐标。
[0113]
步骤s72：利用实际中心点坐标、黑体的至少一条对角线的端点坐标以及实际偏移角度计算得到黑体的四个角点的预测角点坐标。
[0114]
具体的，利用实际中心点坐标、黑体的至少一条对角线的端点坐标以及实际偏移角度计算得到黑体的四个角点的预测角点坐标的方式如下：
[0115][0116]
其中，(x
left_top
，y
left_top
)、(x
right_top
，y
right_top
)、(x
right_bot
，y
right_bot
)、(x
left_bot
，y
left_bot
)分别为黑体的左上角、右上角、右下角以及左下角四个角点的预测角点坐标。
[0117]
步骤s73：根据四个角点的预测角点坐标计算黑体在水平方向及垂直方向的梯度值。
[0118]
具体的，利用黑体的左上角、右上角、右下角以及左下角四个角点的预测角点坐标计算黑体在水平方向以及垂直方向的梯度值。计算方式如下：
[0119]
dx(i，j)＝l(i+1，j)-l(i，j)；
[0120]
其中，dx(i，j)为某一位置在水平方向的梯度值，l为图像像素值(如rgb值)，(i，j)为像素坐标。
[0121]
dy(i，j)＝l(i，j+1)-l(i，j)；
[0122]
其中，其中，dy(i，j)为某一位置在处置方向的梯度值，l为图像像素值(如rgb值)，(i，j)为像素坐标。
[0123]
步骤s74：计算黑体在水平方向的梯度值以及垂直方向的梯度值的乘积，根据计算结果得到黑体的实际轮廓，实际轮廓的四个角点的坐标作为黑体的实际位置信息。
[0124]
计算黑体在水平方向的梯度值以及垂直方向的梯度值的乘积，选取梯度值最大的位置作为黑体的实际轮廓，实际轮廓的四个角点的坐标即为黑体的实际位置信息。
[0125]
具体的，计算得到每一位置在水平方向以及垂直方向的梯度值后，根据水平方向以及垂直方向的梯度值得到黑体影像的实际轮廓。在一具体实施例中，计算每一位置在水平方向以及垂直方向的梯度值的乘积，即dx(i，j)
×
dy(i，j)；将梯度值乘积结果最大的位置确定为黑体影像的实际轮廓。实际上，梯度值乘积结果最大的位置一般为黑体影像的四个角点的坐标，以此计算得到的黑体影像的实际轮廓形成的黑体影像的轮廓更趋近于实际黑体影像的轮廓，能够避免黑体倾斜带来的位置检测不精确的问题。
[0126]
在本申请的一实施例中，若所得的黑体的倾斜状态时，还可以在计算梯度值之前，
对黑体进行透视变换，并在在梯度计算完后并获取到黑体的实际轮廓后，对黑体进行逆变换。
[0127]
本实施例的黑体的位置检测方法，其采用时域统计的方式，利用卷积神经网络计算出每一图像帧中黑体的中心点的坐标以及黑体的尺寸，利用黑体的中心点的坐标以及尺寸计算出图像帧序列的前面部分图像帧的每一图像帧的第二检测位置信息以及计算出图像帧序列中剩余至少一张图像帧的第一检测位置信息，利用第二检测位置信息计算求出黑体的时域位置信息，通过将第一检测位置信息与时域位置信息进行比较，以得到黑体的实际位置信息。时域统计的方式可以解决图像帧序列中黑体位置漏检和误检的问题，提高黑体检测精度。
[0128]
本实施例的黑体的位置检测方法，其提出的卷积神经网络还可以预测出黑体位置的偏移角度，通过偏移角度利用梯度计算的方式计算出黑体四个角点坐标，解决黑体倾斜情况下位置检测问题。
[0129]
具体的，本申请的黑体位置检测方法，其通过黑体候选区域(即预设区域a)计算黑体矩形框位置(即输入图像b)，然后检测黑体位置坐标和偏移角度，利用时域统计和梯度计算校正黑体位置信息，解决热成像测温场景下黑体位置检测不准问题；通过黑体候选区域计算黑体矩形框位置，根据相机配置界面绘制的roi区域(即预设区域a)计算出黑体矩形框位置(即输入图像b)，该位置作为卷积神经网络检测黑体的输入区域，可以扩大黑体检测区域，避免因为外界条件导致黑体偏移出检测区域；利用时域统计和梯度计算校正黑体位置信息，通过卷积神经网络检测出的黑体位置坐标和偏移角度，利用时域平滑方法，对前n帧黑体检测位置坐标和偏移角度进行时域统计，产生一个时域位置信息，利用该时域位置信息对后面的n+1至m帧图像帧黑体检测结果校正，可以有效解决漏检和误检问题，提高黑体位置检测精度；在黑体位置范围内计算水平和垂直方向梯度值，找出水平和垂直方向梯度最大值的坐标，作为黑体位置四个角点坐标，可以更精确得到黑体位置，提高测温精度；检测黑体位置坐标和偏移角度，利用卷积神经网络对大量热成像测温场景下的黑体图像进行学习、训练和测试，通过学习得到的模型可以准确检测出黑体位置中心坐标和偏移角度，最后计算出黑体位置四个角点坐标，解决黑体倾斜情况下黑体检测问题。
[0130]
请参见图8，为本发明电子装置的结构示意图。电子装置包括相互连接的存储器102和处理器101。
[0131]
存储器102用于存储实现上述任意一项的黑体检测方法的程序指令。
[0132]
处理器101用于执行存储器102存储的程序指令。
[0133]
其中，处理器101还可以称为cpu(central processing unit，中央处理单元)。处理器101可能是一种集成电路芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0134]
存储器102可以为内存条、tf卡等，可以存储设备的电子装置中全部信息，包括输入的原始数据、计算机程序、中间运行结果和实际运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子装置才有记忆功能，才能保证正常工作。电子装置的存储器按用途存储器可分为主存储器(内存)和辅助存储器(外存),也有分为外
部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
[0135]
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0136]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0137]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0138]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。
[0139]
请参阅图9，为本发明计算机可读存储介质的结构示意图。本申请的存储介质存储有能够实现上述所有黑体位置检测方法的程序文件201，其中，该程序文件201可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0140]
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。