一种温度检测方法、装置及设备与流程

1.本发明涉及通信技术领域，特别是指一种温度检测方法、装置及设备。


背景技术：

2.现有的人脸测温技术，主要采用：手持式测温和红外热成像测量。其中，手持式测温，需要手持测温仪，手动对准人体额头等位置近距离完成测温；红外热成像测量，是通过红外成像设备，测量一定范围内的温度分布。
3.然而，手持式测温需要人为对准待测部位操作，效率较低；红外热成像测量则易受范围内高温物体干扰，无法精确测量所需的人脸温度。


技术实现要素：

4.本发明的目的是提供一种温度检测方法、装置及设备，以实现更快捷、精确的测温。
5.为达到上述目的，本发明的实施例提供一种温度检测方法，包括：
6.获取目标对象的第一关键点信息和第二关键点信息；
7.根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
8.根据所述目标关键点信息，测量所述目标对象的温度。
9.可选地，获取目标对象的第一关键点信息，包括：
10.通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息；
11.其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
12.所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
13.可选地，所述通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息之前，还包括：
14.获取所述目标对象的深度图像和rgb图像；
15.分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
16.确定所述深度图像和所述rgb图像的目标权重；
17.根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
18.可选地，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
19.可选地，获取目标对象的第二关键点信息，包括：
20.通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
21.根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
22.其中，所述参考图像为rgb图像；
23.所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
24.可选地，所述偏移信息为偏移距离；
25.所述根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息，包括：
26.根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
27.根据所述偏移距离，选取目标关键点；
28.根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
29.可选地，所述根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离，包括：
30.在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
31.可选地，所述根据所述偏移距离，选取目标关键点，包括：
32.基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于剩余关键点的偏移距离，n为大于或等于1的整数。
33.可选地，所述根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离，包括：
34.在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
35.可选地，所述根据所述偏移距离，选取目标关键点，包括：
36.计算每个关键点的平均偏移距离；
37.基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
38.可选地，所述根据所述目标关键点的三维坐标信息，确定所述目标关键点信息，包括：
39.根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
40.将所述校正的三维坐标信息作为所述目标关键点信息。
41.可选地，所述根据所述目标关键点信息，测量所述目标对象的温度之后，还包括：
42.通过温度修正模型对测量得到的温度进行修正，得到目标温度；
43.其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
44.为达到上述目的，本发明的实施例提供一种温度检测装置，包括：
45.获取模块，用于获取目标对象的第一关键点信息和第二关键点信息；
46.处理模块，用于根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
47.测量模块，用于根据所述目标关键点信息，测量所述目标对象的温度。
48.可选地，所述获取模块包括：
49.第一处理子模块，用于通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息；
50.其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
51.所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
52.可选地，所述获取模块还包括：
53.获取子模块，用于获取所述目标对象的深度图像和rgb图像；
54.提取子模块，用于分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
55.确定子模块，用于确定所述深度图像和所述rgb图像的目标权重；
56.特征融合子模块，用于根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
57.可选地，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
58.可选地，所述获取模块还包括：
59.第二处理子模块，用于通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
60.第三处理子模块，用于根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
61.其中，所述参考图像为rgb图像；
62.所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
63.可选地，所述偏移信息为偏移距离；
64.所述处理模块包括：
65.第四处理子模块，用于根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
66.选取子模块，用于根据所述偏移距离，选取目标关键点；
67.第五处理子模块，用于根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
68.可选地，所述第四处理子模块还用于：
69.在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
70.可选地，所述选取子模块还用于：
71.基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于
剩余关键点的偏移距离，n为大于或等于1的整数。
72.可选地，所述第四处理子模块还用于：
73.在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
74.可选地，所述选取子模块还用于：
75.计算每个关键点的平均偏移距离；
76.基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
77.可选地，所述第五处理子模块包括：
78.校正单元，用于根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
79.处理单元，用于将所述校正的三维坐标信息作为所述目标关键点信息。
80.可选地，所述装置还包括：
81.修正模块，用于通过温度修正模型对测量得到的温度进行修正，得到目标温度；
82.其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
83.为达到上述目的，本发明的实施例提供一种温度检测设备，包括处理器，所述处理器用于：
84.获取目标对象的第一关键点信息和第二关键点信息；
85.根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
86.根据所述目标关键点信息，测量所述目标对象的温度。
87.可选地，所述处理器还用于：
88.通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息；
89.其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
90.所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
91.可选地，所述处理器还用于：
92.获取所述目标对象的深度图像和rgb图像；
93.分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
94.确定所述深度图像和所述rgb图像的目标权重；
95.根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
96.可选地，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
97.可选地，所述处理器还用于：
98.通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
99.根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
100.其中，所述参考图像为rgb图像；
101.所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
102.可选地，所述偏移信息为偏移距离；
103.所述处理器还用于：
104.根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
105.根据所述偏移距离，选取目标关键点；
106.根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
107.可选地，所述处理器还用于：
108.在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
109.可选地，所述处理器还用于：
110.基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于剩余关键点的偏移距离，n为大于或等于1的整数。
111.可选地，所述处理器还用于：
112.在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
113.可选地，所述处理器还用于：
114.计算每个关键点的平均偏移距离；
115.基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
116.可选地，所述处理器还用于：
117.根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
118.将所述校正的三维坐标信息作为所述目标关键点信息。
119.可选地，所述处理器还用于：
120.通过温度修正模型对测量得到的温度进行修正，得到目标温度；
121.其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
122.为达到上述目的，本发明的实施例提供一种温度检测设备，包括收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令；所述处理器执行所述程序或指令时实现如上所述的温度检测方法。
123.为达到上述目的，本发明的实施例提供一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的温度检测方法中的步骤。
124.本发明的上述技术方案的有益效果如下：
125.本发明实施例的方法，针对温度测量的目标对象，在获取到该目标对象的两组关键点信息后，会根据这两组关键点信息中相关关键点的偏移信息，进一步确定用于测量该目标对象的更准确的目标关键点信息，继而使用该目标关键点信息完成该目标对象的温度测量，这里因该目标关键点信息能够更为准确的指示目标对象的有效测温位置，可实现准确性更高的高效温度测量。
附图说明
126.图1为本发明实施例的温度检测方法的流程图；
127.图2为本发明实施例中关键点的位置示意图；
128.图3为本发明实施例的温度检测装置的结构图；
129.图4为本发明实施例的温度检测设备的结构图；
130.图5为本发明另一实施例的温度检测设备的结构图；
131.图6为本发明实施例的温度检测方法的应用示意图。
具体实施方式
132.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
133.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
134.在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
135.另外，本文中术语“系统”和“网络”在本文中常可互换使用。
136.在本技术所提供的实施例中，应理解，“与a相应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其它信息确定b。
137.如图1所示，本发明实施例的一种温度检测方法，包括：
138.步骤101，获取目标对象的第一关键点信息和第二关键点信息；
139.步骤102，根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
140.步骤103，根据所述目标关键点信息，测量所述目标对象的温度。
141.按照上述步骤，本发明实施例的方法，针对温度测量的目标对象，在获取到该目标对象的两组关键点信息后，会根据这两组关键点信息中相关关键点的偏移信息，进一步确定用于测量该目标对象的更准确的目标关键点信息，继而使用该目标关键点信息完成该目标对象的温度测量，这里因该目标关键点信息能够更为准确的指示目标对象的有效测温位置，可实现准确性更高的高效温度测量。
142.其中，本发明实施例的温度检测方法应用在对人脸测温的场景，即目标对象为人
脸时，由两组关键点信息中相关关键点的偏移信息，确定目标关键点信息后，能够在人脸的有效测温位置进行精确的测温，且效率更高。
143.需要说明的是，该实施例中，关键点是目标对象的测温位置点，例如，目标对象为人脸时，关键点包括额头区域的关键点、眼睛区域的关键点、颈部区域的关键点等等。而关键点信息是关键点的位置信息，对于同一目标对象，第一关键点信息和第二关键点信息中是包括相关关键点的位置信息的，该相关关键点是同区域的关键点，或者同一关键点，例如，第一关键点信息包括关键点a的信息，且关键点a是瞳孔位置，第二关键点信息包括关键点b，而关键点b是瞳孔位置，则关键点a和关键点b为相关关键点。当然，若第二关键点信息未包括瞳孔位置的关键点，但存在眼睛区域的关键点c，则关键点a和关键点c也可称为相关关键点。
144.可选地，该实施例中，获取目标对象的第一关键点信息，包括：
145.通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息；
146.其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
147.所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
148.这里，第一检测模型是由神经网络模型训练构建的，用于目标对象的测温关键点检测，输出关键点的三维坐标信息。而目标对象的深度图像特征和rgb图像特征的融合特征作为图像数据，是该第一检测模型的输入。其中，训练是对该神经网络模型的权重和参数进行微调(fine-tune)更新训练，获得第一检测模型的。
149.为了获得作为第一检测模型输入的图像数据，可选地，该实施例中，所述通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息之前，还包括：
150.获取所述目标对象的深度图像和rgb图像；
151.分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
152.确定所述深度图像和所述rgb图像的目标权重；
153.根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
154.这里，考虑到不同的特征包含着各自特有的影响信息，在获取目标对象的深度图像和rgb图像，并提取各自的图像特征后，会进一步确定适用的目标权重，继而根据该目标权重将深度图像特征和所述rgb图像特征组合，得到融合特征即图像数据。
155.其中，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
156.这里，μ
intra
与μ
inter
的差值越大，σ
intra
+σ
inter
越小，表示该目标权重越大。
157.应该知道的是，该实施例中，可使用深度相机(如结构光深度摄像机)拍摄目标对象的深度图像，使用rgb相机(如可见光相机)拍摄目标对象的rgb图像。即，获取目标对象的深度图像和rgb图像，具体为：从深度相机获取其拍摄目标对象的深度图像，从rgb相机获取
其拍摄目标对象的rgb图像。而由于深度图像会存在深度不连续等问题，在提取深度图像的深度图像特征之前，还会对深度图像进行非对称高斯滤波和像素分块等预处理，消除深度图的空洞和噪声，增强图像的质量。
158.然后提取对应图像的特征。对于深度图像，因球面坐标描述曲线，更易表述特征变化，深度图像的深度信息将转换为球面坐标系下，坐标用来表示，按照一定数量将深度图像分割成不重合的n
×
n个部分，每个部分按照像素点的梯度值分成m份，得到了m个直方图，这样就将每个部分用n
×n×m×
2的维度的特征向量来表示，将深度信息转为了多维度特征向量，完成深度信息转化存储。对于rgb图像，采用suft描述算子，在每个4
×
4的区域单元有4个相对方向的梯度直方图，得到64维特征向量。
159.此外，可选地，该实施例中，获取目标对象的第二关键点信息，包括：
160.通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
161.根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
162.其中，所述参考图像为rgb图像；
163.所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
164.这里，第二检测模型也是由神经网络模型训练构建的，用于目标对象的测温关键点检测，但因参考图像为rgb图像，输出为关键点的二维坐标信息。rgb图像为该第二检测模型的输入。当然，输入该第二检测模型的rgb图像优选是在拍摄目标对象的原始的rgb图像的基础上，先进行目标对象区域粗提取后的图像，提高检测效率。
165.以目标对象是人脸为例，对于人脸的rgb图像，第二检测模型采用mobilenet-v2。该第二检测模型可基于训练集经过预定次数的神经网络模型训练得到，输出层经过全连接层和softmax层得到人脸关键点坐标信息，如眼睛和额头部位输出额为25个关键点的二维坐标信息，如图2所示的图像区域201内。当然，若能检测到颈部位置则再增加对应位置5个关键点。其中，训练集是对人脸密集关键点的数据集预处理所得，这里保留了眼睛、额头、颈部部位的关键点。
166.对于经第二检测模型得到的关键点的二维坐标信息，进一步结合该关键点的深度信息，可得到目标对象的第二关键点信息，转换为三维坐标信息。这里，使用的关键点的深度信息可以是相机拍摄目标对象是采集的。
167.可选地，该实施例中，所述偏移信息为偏移距离；步骤102包括：
168.根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
169.根据所述偏移距离，选取目标关键点；
170.根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
171.如此，在由第一关键点信息中每个关键点的三维坐标信息，以及第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离之后，就能够进一步选取目标关键点，从而由该目标关键点的三维坐标信息确定出所需的目标关键点信息。
172.具体的，第二检测模型输出的关键点的二维坐标信息，结合该关键点的深度信息
可转换到xyz三维坐标下。若第一检测模型输出的是三维球面坐标信息，为便于两组关键点信息之间的处理，会同样映射到xyz坐标下。这样，将得到两个点集，每个点集中包含不同部位多个关键点的三维坐标：m
rgb
＝(x
1i
,y
li
,z
li
,
…
,x
ni
,y
ni
,z
ni
)
t
，表示第二关键点信息的关键点坐标；md＝(x
li
′
,y
li
′
,z
li
′
,
…
,x
ni
′
,y
ni
′
,z
ni
′
)
t
，表示第一关键点信息的关键点坐标。其中，n为关键点的数量。在该实施例中，优选第一检测模型和第二检测模型输出的关键点数量相同，且具有相互存在相关关键点，即共有n组相关关键点。
173.由于相机存在位置差异，两组关键点的坐标需根据以下计算公式使像素坐标的坐标对齐到统一坐标系下，其中θ、s表示旋转和位移关系：
[0174][0175]
其中，(xd，yd，zd)为第一关键点信息中的关键点在xyz下的坐标；(x
rgb
，y
rgb
，z
rgb
)为第二关键点信息中的关键点在xyz下的坐标。
[0176]
可选地，该实施例中，所述根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离，包括：
[0177]
在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
[0178]
相应的，所述根据所述偏移距离，选取目标关键点，包括：
[0179]
基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于剩余关键点的偏移距离，n为大于或等于1的整数。
[0180]
这样，在同一坐标系中，基于第一关键点信息和第二关键点信息中相关关键点的三维坐标信息，可由偏移坐标差计算偏移距离。如相关关键点为第一关键点信息中的关键点a和第二关键点信息中的关键点b，由关键点a的坐标(xi，yi，zi)以及关键点b的坐标(xi′
，yi′
，zi′
)，可得偏移坐标差为δx＝|x
i-xi′
|，δy＝|y
i-yi′
|，δz＝|z
i-zi′
|，则偏移距离δl通过公式计算。
[0181]
在计算得各组相关关键点的偏离距离之后，基于预设数值n，即可选取n个关键点作为目标关键点，且该n个关键点的偏移距离小于剩余关键点的偏移距离。
[0182]
又或者，可选地，所述根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离，包括：
[0183]
在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
[0184]
相应的，所述根据所述偏移距离，选取目标关键点，包括：
[0185]
计算每个关键点的平均偏移距离；
[0186]
基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
[0187]
如此，对于第一关键点信息和第二关键点信息中多组相关关键点，可逐一以一关
键点作为原点构建不同的坐标系，同上述偏移距离的计算方式，计算其他组相关关键点的偏移距离，这样，每组相关关键点将得到多个偏移距离。故，进一步再计算每个关键点的平均偏移距离后，可基于预设数值m，来选取m个关键点作为目标关键点，且该m个关键点的平均偏移距离小于剩余关键点的平均偏移距离。
[0188]
另外，对于选出的目标关键点，都有两组存在偏移的三维坐标，需要对存在的偏移进行校正。可选地，该实施例中，所述根据所述目标关键点的三维坐标信息，确定所述目标关键点信息，包括：
[0189]
根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
[0190]
将所述校正的三维坐标信息作为所述目标关键点信息。
[0191]
即在确定目标关键点后，基于该目标关键点和对应的相关关键点的偏移距离，使用校正参数对目标关键点的三维坐标进行校正。例如，校正参数为σ，则校正位移为s
x
＝σ
·
δx，s
x
＝σ
·
δy，sz＝σ
·
δz，其中，0＜σ＜1，位移方向为对应点的相向方向，校正后的坐标作为目标关键点坐标，也就是目标关键点信息。
[0192]
其中，校正参数根据不同的影响因子确定的，影响因子包括但不限于光照强弱、人脸角度、人脸遮挡、深度图噪声等，因为rgb图像识别的误差原因有光照强弱、人脸角度、人脸遮挡，而深度相机误差来源有视野窄、噪声、无法测量透射材质等，通过采样不同部位多个关键点测温，避免了单点测量很容易带来的不准确现象。
[0193]
确定目标关键点坐标后，就能够将该坐标信息传输到高精度红外测温传感器中，测量温度。然而，测量的温度会受外界因素的影响而存在误差，故，该实施例中，步骤103之后还包括：
[0194]
通过温度修正模型对测量得到的温度进行修正，得到目标温度；
[0195]
其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
[0196]
即根据红外相机测得的不同关键点的相对模板标准温度差、环境温度、到目标深度数据来设置损失函数，训练温度修正模型，模型输出最后得到修正后的温度作为最终测定温度，也就是目标温度，准确性更佳。其中损失函数如下f(ε2x)为温度差函数，t(x)为环境影响单元，s(x)为距离影响单元。
[0197]
下面，结合图6说明本发明实施例的具体应用：
[0198]
首先，结构光深度摄像头拍摄人脸(目标对象)得到深度图像，可见光摄像头(rgb摄像头)拍摄人脸得到rgb图像。
[0199]
之后，深度图像经预处理，与rgb图像进行特征融合。融合特征输入第一检测模型后，输出第一关键点信息，即一组关键点的三维坐标信息。
[0200]
而rgb图像输入第二检测模型后，输出一组关键点的二维坐标信息。该组关键点的二维坐标信息在进一步结合关键点的深度信息后得到第二关键点信息，即另一组关键点的三维坐标信息。
[0201]
在对两组关键点的三维坐标信息处理，得到相关关键点的偏移信息，即可得到目标关键点信息，即用于测温的目标关键点的三维坐标信息。如红外测温传感器测量目标关
键点的温度。
[0202]
考虑到外部因素的影响，对于测量温度还将输入到温度修正模型进行修正，以输出修正后的温度，达到更精准的测量。
[0203]
该实施例中，应用本发明实施例方法的设备，包括计算机处理器，用于存储运行计算机程序，来完成实现以上方法任务；该设备还包括：结构光深度摄像头、可见光摄像头，用来采集深度图像和rgb图像；高精度红外测温传感器，用来测量温度。
[0204]
如图3所示，本发明实施例的一种温度检测装置，包括：
[0205]
获取模块310，用于获取目标对象的第一关键点信息和第二关键点信息；
[0206]
处理模块320，用于根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
[0207]
测量模块330，用于根据所述目标关键点信息，测量所述目标对象的温度。
[0208]
可选地，所述获取模块包括：
[0209]
第一处理子模块，用于通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第一关键点信息；
[0210]
其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
[0211]
所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
[0212]
可选地，所述获取模块还包括：
[0213]
获取子模块，用于获取所述目标对象的深度图像和rgb图像；
[0214]
提取子模块，用于分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
[0215]
确定子模块，用于确定所述深度图像和所述rgb图像的目标权重；
[0216]
特征融合子模块，用于根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
[0217]
可选地，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
[0218]
可选地，所述获取模块还包括：
[0219]
第二处理子模块，用于通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
[0220]
第三处理子模块，用于根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
[0221]
其中，所述参考图像为rgb图像；
[0222]
所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
[0223]
可选地，所述偏移信息为偏移距离；
[0224]
所述处理模块包括：
[0225]
第四处理子模块，用于根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
[0226]
选取子模块，用于根据所述偏移距离，选取目标关键点；
[0227]
第五处理子模块，用于根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
[0228]
可选地，所述第四处理子模块还用于：
[0229]
在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
[0230]
可选地，所述选取子模块还用于：
[0231]
基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于剩余关键点的偏移距离，n为大于或等于1的整数。
[0232]
可选地，所述第四处理子模块还用于：
[0233]
在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
[0234]
可选地，所述选取子模块还用于：
[0235]
计算每个关键点的平均偏移距离；
[0236]
基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
[0237]
可选地，所述第五处理子模块包括：
[0238]
校正单元，用于根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
[0239]
处理单元，用于将所述校正的三维坐标信息作为所述目标关键点信息。
[0240]
可选地，所述装置还包括：
[0241]
修正模块，用于通过温度修正模型对测量得到的温度进行修正，得到目标温度；
[0242]
其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
[0243]
该装置针对温度测量的目标对象，在获取到该目标对象的两组关键点信息后，会根据这两组关键点信息中相关关键点的偏移信息，进一步确定用于测量该目标对象的更准确的目标关键点信息，继而使用该目标关键点信息完成该目标对象的温度测量，这里因该目标关键点信息能够更为准确的指示目标对象的有效测温位置，可实现准确性更高的高效温度测量。
[0244]
需要说明的是，该装置是应用了上述温度检测方法的装置，上述方法实施例的实现方式适用于该装置，也能达到相同的技术效果。
[0245]
如图4所示，本发明实施例的一种温度检测设备400，包括处理器410，所述处理器410用于：
[0246]
获取目标对象的第一关键点信息和第二关键点信息；
[0247]
根据所述第一关键点信息和所述第二关键点信息中相关关键点的偏移信息，确定所述目标对象的目标关键点信息；
[0248]
根据所述目标关键点信息，测量所述目标对象的温度。
[0249]
可选地，所述处理器还用于：
[0250]
通过第一检测模型对所述目标对象的图像数据进行处理，得到所述目标对象的第
一关键点信息；
[0251]
其中，所述图像数据是所述目标对象的深度图像特征和rgb图像特征的融合特征；
[0252]
所述第一检测模型是已构建的基于图像数据确定关键点信息的神经网络模型。
[0253]
可选地，所述处理器还用于：
[0254]
获取所述目标对象的深度图像和rgb图像；
[0255]
分别提取所述深度图像的深度图像特征和所述rgb图像的rgb图像特征；
[0256]
确定所述深度图像和所述rgb图像的目标权重；
[0257]
根据所述目标权重，将所述深度图像特征和所述rgb图像特征组合得到所述融合特征。
[0258]
可选地，所述目标权重通过公式计算得到，其中，w为所述目标权重，μ
intra
为所述深度图像和所述rgb图像的类间距离的均值，σ
intra
为所述深度图像和所述rgb图像的类间距离的方差，μ
inter
为所述深度图像和所述rgb图像的类内距离的均值，σ
inter
为所述深度图像和所述rgb图像的类内距离的方差。
[0259]
可选地，所述处理器还用于：
[0260]
通过第二检测模型对所述目标对象的参考图像进行处理，得到所述目标对象的关键点的二维坐标信息；
[0261]
根据所述二维坐标信息和所述关键点的深度信息，得到所述目标对象的第二关键点信息；
[0262]
其中，所述参考图像为rgb图像；
[0263]
所述第二检测模型是已构建的基于rgb图像确定关键点坐标的神经网络模块。
[0264]
可选地，所述偏移信息为偏移距离；
[0265]
所述处理器还用于：
[0266]
根据所述第一关键点信息中每个关键点的三维坐标信息，以及所述第二关键点信息中每个关键点的三维坐标信息，得到相关关键点的偏移距离；
[0267]
根据所述偏移距离，选取目标关键点；
[0268]
根据所述目标关键点的三维坐标信息，确定所述目标关键点信息。
[0269]
可选地，所述处理器还用于：
[0270]
在同一坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离。
[0271]
可选地，所述处理器还用于：
[0272]
基于预设数值n，选取n个关键点作为目标关键点，所述n个关键点的偏移距离小于剩余关键点的偏移距离，n为大于或等于1的整数。
[0273]
可选地，所述处理器还用于：
[0274]
在不同坐标系内，基于所述第一关键点信息和所述第二关键点信息中相关关键点的三维坐标信息，计算偏移距离，其中所述不同坐标系的原点为不同的关键点。
[0275]
可选地，所述处理器还用于：
[0276]
计算每个关键点的平均偏移距离；
[0277]
基于预设数值m，选取m个关键点作为目标关键点，所述m个关键点的平均偏移距离
小于剩余关键点的平均偏移距离，m为大于或等于1的整数。
[0278]
可选地，所述处理器还用于：
[0279]
根据校正参数和所述目标关键点的偏移距离，对所述目标关键点的三维坐标信息进行校正，得到校正的三维坐标信息；
[0280]
将所述校正的三维坐标信息作为所述目标关键点信息。
[0281]
可选地，所述处理器还用于：
[0282]
通过温度修正模型对测量得到的温度进行修正，得到目标温度；
[0283]
其中，所述温度修正模型的损失函数是基于标准温度差、环境温度和所述目标对象的深度信息设置的。
[0284]
可选地，所述温度检测设备400还包括收发器420，在处理器410的控制下进行数据收发。该实施例的温度检测设备针对温度测量的目标对象，在获取到该目标对象的两组关键点信息后，会根据这两组关键点信息中相关关键点的偏移信息，进一步确定用于测量该目标对象的更准确的目标关键点信息，继而使用该目标关键点信息完成该目标对象的温度测量，这里因该目标关键点信息能够更为准确的指示目标对象的有效测温位置，可实现准确性更高的高效温度测量。
[0285]
本发明另一实施例的一种温度检测设备，如图5所示，包括收发器510、处理器500、存储器520及存储在所述存储器520上并可在所述处理器500上运行的程序或指令；所述处理器500执行所述程序或指令时实现上述应用于温度检测方法。
[0286]
所述收发器510，用于在处理器500的控制下接收和发送数据。
[0287]
其中，在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器510可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的设备，接口530还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
[0288]
处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。
[0289]
本发明实施例的一种可读存储介质，其上存储有程序或指令，所述程序或指令被处理器执行时实现如上所述的温度检测方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0290]
其中，所述处理器为上述实施例中所述的温度检测设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0291]
进一步需要说明的是，此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
[0292]
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地
位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
[0293]
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
[0294]
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(vlsi)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
[0295]
上述范例性实施例是参考该些附图来描述的，许多不同的形式和实施例是可行而不偏离本发明精神及教示，因此，本发明不应被建构成为在此所提出范例性实施例的限制。更确切地说，这些范例性实施例被提供以使得本发明会是完善又完整，且会将本发明范围传达给那些熟知此项技术的人士。在该些图式中，组件尺寸及相对尺寸也许基于清晰起见而被夸大。在此所使用的术语只是基于描述特定范例性实施例目的，并无意成为限制用。如在此所使用地，除非该内文清楚地另有所指，否则该单数形式“一”、“一个”和“该”是意欲将该些多个形式也纳入。会进一步了解到该些术语“包含”及/或“包括”在使用于本说明书时，表示所述特征、整数、步骤、操作、构件及/或组件的存在，但不排除一或更多其它特征、整数、步骤、操作、构件、组件及/或其族群的存在或增加。除非另有所示，陈述时，一值范围包含该范围的上下限及其间的任何子范围。
[0296]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。