一种基于热成像的智慧治安信息系统的制作方法

1.本发明涉及治安信息领域，特别涉及一种基于热成像的智慧治安信息系统。


背景技术：

2.近年来受到流感病毒的侵扰，由于这类疾病容易交叉感染，特别是在人口密集和流动性大的公共场所,治病防控难度比较大，进而可能导致发生治安恐慌，因此，对人体温度的测量就显得尤为重要，一般常见温度测量方式，是采用的红外点温仪进行测量，但是其无法成像并且只能单点测温，采用的手持式红外成像测温仪依赖人工操作，采用的热红外测温仪需要被测物保持较近的距离，在复杂环境下运动的物体，难以快速、准确地测量物体表面温度，并且，由于特殊人员所处的环境不同，对应采用的治安手段也应该是不一样的。因此，本发明提出了一种基于热成像的智慧治安信息系统温度行人体温测量，便于对特殊人员进行管理，防止干扰治安。


技术实现要素：

3.本发明提供一种基于热成像的智慧治安信息系统，用以解决上述提出的技术问题。
4.本发明提供一种图像识别的方法包括：
5.采集模块：用于对预设区域进行可见光采集和红外线采集，获得预设位置的可见光视频和红外线图像视频；
6.体温识别模块：用于对预设区域的可见光图像数据和红外线图像数据进行识别确定行人的额头区域温度，并且在行人的额头区域温度异常时报警；
7.环境识别模块：基于可见光图像数据，获得所述预设位置的当前环境信息；
8.治安管理模块，用于根据异常报警信息以及当前环境信息，对对应行人以及预设位置执行相关的治安管理。
9.在一种可实现的方式中，
10.所述采集模块，包括：
11.采集单元：用于对预设区域进行可见光采集和红外线采集，获得预设位置的可见光视频和红外线信号，对可见光视频进行亮度调整，并对红外线信号进行滤波，对滤波后的红外线数据进行数模转换，获得红外热图像，并对红外热图像进行颜色渲染，获得红外线视频。
12.在一种可实现的方式中，
13.所述体温识别模块，包括：
14.预处理单元：用于将可见光视频中的可见光子图像分为s
×
s个网格，并对每个子网格进行卷积运算，获得可见光子图像的特征信息，并对特征信息进行池化处理，提取主要特征，从而获得待检测可见光子图像；
15.人脸检测单元：用于对所有检测可见光子图像进行预测，获得若干第一子人脸位
置区域和对应的子置信度，并对子置信度进行排序，选择子置信度最高的第一子人脸位置区域作为第二子人脸位置区域，遍历剩余的第一子人脸位置区域，将与第二子人脸位置区域的交叉面积小于预设阈值的第一子人脸位置区域和第二子人脸位置区域视为第三子人脸位置区域；
16.模糊处理单元：用于基于预设的模板窗口分别对若干第三子人脸位置区域进行滑动截取，获得若干子窗口图像集合，并计算每一子窗口图像的像素均值，并基于每一子窗口图像的像素均值对子窗口图像进行像素替换，将同一集合内的子窗口图像进行重组，获得对应的模糊可见光子图像；
17.识别单元：用于基于预设的人脸朝向分类算法对模糊可见光子图像进行分类，获得第三子人脸位置区域中人脸的子朝向，并将每一第三子人脸位置区域的中心点作为基准点，基于子朝向确定第三子人脸位置区域中额头的偏移距离，并基于子朝向对预设的标准额头长度、标准额头宽度进行调整，获得第三子人脸位置区域中额头所对应的子额头长度、子额头宽度，并根据基准点和偏移距离以及子额头长度、子额头宽度，确定第三子人脸位置区域的额头区域。
18.在一种可实现的方式中，
19.所述体温识别模块，包括：
20.提取单元：用于对可见光视频的图像和红外线视频的图像进行尺寸统一，并对统一后的可见光图像数据和红外线图像数据进行滤波，并基于预设升阶算法计算可见光图像数据和红外线图像数据中每一子像素在三维空间中的二阶导数，从而获得每一子像素的特征矩阵，并求取每一子像素的特征矩阵的行列式近似值，从而获得变换可见光图像数据和变换红外线图像数据，将变换可见光图像数据和变换红外线图像数据中每一子像素点分别与其邻域相邻点进行比较，若子像素点为邻域相邻点中的最大值或最小值，则保留该子像素点作为子特征点，从而获得可见光视频的第一子特征点和红外线视频的第二子特征点；
21.构建单元：基于第一子特征点和第二子特征点构造第一子特征描述和第二子特征描述，并基于特征矩阵对第一子特征描述和第二子特征描述进行配对，获得若干子特征对，并确定对子特征对中点位在统一后的可见光视频和红外线视频中各自的相对位置，获得第一相对位置和第二相对位置，从而获得子特征对的误差值，选取误差值大于预设阈值的子特征对作为匹配对，并基于匹配对，构建可见光视频和红外线视频的变换模型，并基于变换模型，获得所述第二子人脸位置区域中的额头区域在红外线子图像中所对应的子额头区域；
22.测温单元：将子额头区域分割为若干子窗口，并计算每一子窗口内的平均温度，剔除子窗口内温度低于平均温度的像素点，获得无遮挡像素点温度集合，并将无遮挡像素点温度集合中的众数作为子窗口的代表温度，从而获得代表温度集合，将代表温度集合的平均数作为子额头区域的第一温度；
23.校正单元：用于获取所述采集模块中预设黑体的测量温度和图像大小，并基于测量温度和预设黑体的绝对温度，确定黑体校正系数，基于黑体校正系数对第一温度进行校正，获得第二温度，基于黑体的图像大小和子额头区域大小，确定子额头区域与所述采集单元的距离系数，并对照预设的距离基准表，获得距离校正系数，基于距离校正系数对第二温度进行校正，获得第三温度；
24.若所述第三温度大于预设值，则进行体温异常报警，并标记第三温度所对应的额头区域；
25.若所述第三温度不大于预设值，则不进行体温异常报警。
26.在一种可实现的方式中，
27.所述预设位置为小区的出入口以及电气室、水暖室。
28.在一个可实现的方式中，
29.所述所述环境识别模块，包括：
30.获取单元：用于当检测到存在异常温度时，基于所述可见光图像数据检测并获取所述预设位置的环境信息；
31.分割单元：用于对每一子网格中的像素点的灰度进行统计，获取每个子网格对应的灰度分布表，并在子网格中随机选取一初始点，并将初始点在子网格中以预设的轨迹进行移动，获得若干子移动点，并根据灰度分布表分别获得每一子移动点与初始点的平均灰度，获得若干子平均灰度，并统计每一子平均灰度出现的次数，并排列为方阵，从而获得子网格的纹理特征矩阵，将纹理特征矩阵作为建筑物第一特征，并对可见光视频进行轮廓分割，获得所述建筑物的轮廓线，并将轮廓线作为建筑物的第二特征；
32.比对单元：用于将建筑物的第一特征和第二特征与预设数据库中的标准第一特征和标准第二特征进行比对，获得所述建筑物的第一变化特征，并基于第一特征将所述建筑物进行区域划分，得到建筑物的变化区域，获取所述变化区域的标准色彩信息；
33.处理单元：根据标准色彩信息对变化区域进行颜色填充，并对颜色填充后的变化区域进行形态学处理，获得建筑物的最终变化特征，并判断所述最终变化特征对所述环境信息的影响情况；
34.所述处理单元，还用于根据所述影响情况，向治安管理模块发送对应的建筑变化对治安的干扰结果。
35.在一个可实现的方式中，
36.构建单元基于匹配对，构建可见光视频和红外线视频的变换模型，包括：
37.随机选取三对子匹配组成若干子匹配对集合，基于每一子匹配对集合对变换模型进行构建，获得若干子变换模型，并将其余子匹配对中的一点代入初始变换模型，获得对应的理论匹配点，从而获得理论点位与实际匹配点间的若干子误差距离，统计子误差距离小于预设阈值的匹配对数量，从而获得匹配对集合，重复上述步骤，选择匹配对集合中匹配对数量最多的匹配对集合所对应的子变换模型作为可见光视频和红外线视频的变换模型。
38.在一个可实现的方式中，
39.治安管理模块，包括：
40.生成单元：基于异常报警信息以及当前环境信息，生成对应的处理方案，并基于处理方案外派工作人员进行处理，并在工作人员发送任务回执后，生成对应的事件报告，并储存；
41.查询单元：用于接收用户发送的报告查询请求，并提取查询请求中的关键词，基于关键词在事件报告中进行关键词匹配获得第一事件报告列表，并将所述第一事件报告列表发送至用户终端，完成用户对违规信息流程报告的查询。
42.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变
得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
43.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
44.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
45.图1为本发明实施例提供的一种基于热成像的智慧治安信息系统结构图；
46.图2为本发明实施例提供的采集模块的结构图；
47.图3为本发明实施例提供的体温识别模块的结构图；
48.图4为本发明实施例提供的环境识别模块的结构图；
49.图5为本发明实施例提供的治安管理模块的结构图.
具体实施方式
50.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
51.实施例1
52.一种基于热成像的智慧治安信息系统，如图1所示，包括：
53.采集模块：用于对预设区域进行可见光采集和红外线采集，获得预设位置的可见光图像视频和红外线图像视频；
54.体温识别模块：用于对预设区域的可见光图像数据和红外线图像数据进行识别确定行人的额头区域温度，并且在行人的额头区域温度异常时报警；
55.环境识别模块：基于可见光图像数据，获得所述预设位置的当前环境信息；
56.治安管理模块，用于根据异常报警信息以及当前环境信息，对对应行人以及预设位置执行相关的治安管理。
57.在本实施例中，预设位置为公共场所的出入口，以及围墙；
58.在本实施例中，额头区域温度异常为温度低于36
°
和高于37.5
°
；
59.在本实施例中，预设位置的当前环境信息为建筑物现在的形状颜色与标准形状，标准颜色的差异。
60.上述设计方案的有益效果是：通过对预设区域进行可见光采集和红外线采集，并进行体温识别和环境识别，无接触的测量行人的体温，满足了在复杂场景下快速筛选行人体温的要求，并且基于环境的变化特征判断环境是否发生结构性变化，并在体温异常和环境异常时进行报警，对对应行人以及预设位置执行相关的治安管理。
61.实施例2
62.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，如图2所示，所述采集模块，包括：
63.采集单元：用于对预设区域进行可见光采集和红外线采集，获得预设位置的可见光视频和红外线信号，对可见光视频进行亮度调整，并对红外线信号进行滤波，对滤波后的红外线数据进行数模转换，获得红外热图像，并对红外热图像进行颜色渲染，获得红外线视
频。
64.上述设计方案的有益效果是：基于可见光和红外线结合的方法，搭建红外测温系统，为后续快速准确的识别行人体温提供了必要条件，也为工作人员掌控预设区域的安全隐患提供了基础。
65.实施例3
66.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，如图3所示，所述体温识别模块，包括：
67.预处理单元：用于将可见光视频中的可见光子图像分为s
×
s个网格，并对每个子网格进行卷积运算，获得可见光子图像的特征信息，并对特征信息进行池化处理，提取主要特征，从而获得待检测可见光子图像；
68.人脸检测单元：用于对所有检测可见光子图像进行预测，获得若干第一子人脸位置区域和对应的子置信度，并对子置信度进行排序，选择子置信度最高的第一子人脸位置区域作为第二子人脸位置区域，遍历剩余的第一子人脸位置区域，将与第二子人脸位置区域的交叉面积小于预设阈值的第一子人脸位置区域和第二子人脸位置区域视为第三子人脸位置区域；
69.模糊处理单元：用于基于预设的模板窗口分别对若干第三子人脸位置区域进行滑动截取，获得若干子窗口图像集合，并计算每一子窗口图像的像素均值，并基于每一子窗口图像的像素均值对子窗口图像进行像素替换，将同一集合内的子窗口图像进行重组，获得对应的模糊可见光子图像；
70.识别单元：用于基于预设的人脸朝向分类算法对模糊可见光子图像进行分类，获得第三子人脸位置区域中人脸的子朝向，并将每一第三子人脸位置区域的中心点作为基准点，基于子朝向确定第三子人脸位置区域中额头的偏移距离，并基于子朝向对预设的标准额头长度、标准额头宽度进行调整，获得第三子人脸位置区域中额头所对应的子额头长度、子额头宽度，并根据基准点和偏移距离以及子额头长度、子额头宽度，确定第三子人脸位置区域的额头区域。
71.在本实施例中，主要特征为对可见光子图像的特征信息进行池化处理后，获得的压缩特征信息；
72.在本实施例中，第一子人脸位置区域为包含人脸的候选框；
73.在本实施例中，交叉面积为第一子人脸位置区域与第二子人脸位置区域重合部分的面积；
74.在本实施例中，中心点为第三子人脸位置区域的几何中心；
75.在本实施例中，卷积运算为对子网格进行傅里叶变换，将图像由图像空间转换倒频域空间，然后再频域中队图像的频谱分析，获得可见光子图像的特征信息；
76.在本实施例中，池化处理为去除特征信息中的冗余信息，对特征信息进行压缩；
77.在本实施例中，子置信度为在待检测可见光图像数据生成候选框的可靠度；
78.在本实施例中，预设的人脸朝向分类算法为rcnn网络算法；
79.在本实施例中，子朝向包含左方、左前方、前方、右前方、右方、上方、正方、下方；
80.在本实施例中，偏移距离为第二子人脸位置区域中额头相对于正方的偏离值；
81.上述设计方案的有益效果是：通过对预设区域进行可见光采集和红外线采集，并
识别人脸的朝向，从而确定了额头区域，从而可以对照红外线数据，获得行人的额头温度，简化了测温流程，提高了测温效率，节省了人力，并且避免了直接接触，提高了安全性。
82.实施例4
83.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，如图3所示，所述体温识别模块，包括：
84.提取单元：用于对可见光视频的图像和红外线视频的图像进行尺寸统一，并对统一后的可见光图像数据和红外线图像数据进行滤波，并基于预设升阶算法计算可见光图像数据和红外线图像数据中每一子像素在三维空间中的二阶导数，从而获得每一子像素的特征矩阵，并求取每一子像素的特征矩阵的行列式近似值，从而获得变换可见光图像数据和变换红外线图像数据，将变换可见光图像数据和变换红外线图像数据中每一子像素点分别与其邻域相邻点进行比较，若子像素点为邻域相邻点中的最大值或最小值，则保留该子像素点作为子特征点，从而获得可见光视频的第一子特征点和红外线视频的第二子特征点；
85.构建单元：基于第一子特征点和第二子特征点构造第一子特征描述和第二子特征描述，并基于特征矩阵对第一子特征描述和第二子特征描述进行配对，获得若干子特征对，并确定对子特征对中点位在统一后的可见光视频和红外线视频中各自的相对位置，获得第一相对位置和第二相对位置，从而获得子特征对的误差值，选取误差值大于预设阈值的子特征对作为匹配对，并基于匹配对，构建可见光视频和红外线视频的变换模型，并基于变换模型，获得所述第二子人脸位置区域中的额头区域在红外线子图像中所对应的子额头区域；
86.测温单元：将子额头区域分割为若干子窗口，并计算每一子窗口内的平均温度，剔除子窗口内温度低于平均温度的像素点，获得无遮挡像素点温度集合，并将无遮挡像素点温度集合中的众数作为子窗口的代表温度，从而获得代表温度集合，将代表温度集合的平均数作为子额头区域的第一温度；
87.校正单元：用于获取所述采集模块中预设黑体的测量温度和图像大小，并基于测量温度和预设黑体的绝对温度，确定黑体校正系数，基于黑体校正系数对第一温度进行校正，获得第二温度，基于黑体的图像大小和子额头区域大小，确定子额头区域与所述采集单元的距离系数，并对照预设的距离基准表，获得距离校正系数，基于距离校正系数对第二温度进行校正，获得第三温度；
88.若所述第三温度大于预设值，则进行体温异常报警，并标记第三温度所对应的额头区域；
89.若所述第三温度不大于预设值，则不进行体温异常报警。
90.在本实施例中，尺寸统一为对可见光图像数据和红外线图像数据进行分辨率统一和形状统一；
91.在本实施例中，最大值或最小值为周围子像素的特征矩阵的行列式近似值的最大值或最小值；
92.在本实施例中，子特征对为第一子特征点和第二子特征点做组成的一对点位；
93.在本实施例中，点位为子特征对中包含的两个子特征点；
94.在本实施例中，预设升阶算法为surf算法，先对子像素进行高斯平滑，然后求二阶导数；
95.在本实施例中，特征矩阵为hessian矩阵，由子像素在各个方向的二阶导数构成；
96.在本实施例中，第一子特征描述为第一子特征点附检邻域内高斯图像梯度统计结果的一种表示；
97.在本实施例中，第二子特征描述为第二子特征点附检邻域内高斯图像梯度统计结果的一种表示；
98.在本实施例中，相对位置为子特征对中两点，分别在各自图像中的所处位置；
99.在本实施例中，误差值为一个子特征对中的两个点位各自相对位置的差值；
100.在本实施例中，变换模型为可见光图像数据和红外线图像数据的对应关系；
101.在本实施例中，预设黑体为红外线采集器中的配件，用于对温度进行标定；
102.在本实施例中，距离基准表为目标与红外线采集器直接距离所对应的补偿系数所组成的表格；
103.上述设计方案的有益效果是：对可见光图像数据和红外线图像数据进行提取、处理，构建可见光图像数据和红外线图像数据的变换模型，从而获得行人额头温度。解决了测温过程中需要手动测量，以及测温不准的问题。
104.实施例5
105.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，所述预设位置为小区的出入口以及电气室、水暖室。
106.实施例6
107.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，所述环境识别模块，如图4所示，包括：
108.获取单元：用于当检测到存在异常温度时，基于所述可见光图像数据检测并获取所述预设位置的环境信息；
109.分割单元：用于对可见光图像分割后的每一子网格中的像素点的灰度进行统计，获取每个子网格对应的灰度分布表，并在子网格中随机选取一初始点，并将初始点在子网格中以预设的轨迹进行移动，获得若干子移动点，并根据灰度分布表分别获得每一子移动点与初始点的平均灰度，获得若干子平均灰度，并统计每一子平均灰度出现的次数，并排列为方阵，从而获得子网格的纹理特征矩阵，将纹理特征矩阵作为建筑物第一特征，并对可见光视频进行轮廓分割，获得所述建筑物的轮廓线，并将轮廓线作为建筑物的第二特征；
110.比对单元：用于将建筑物的第一特征和第二特征与预设数据库中的标准第一特征和标准第二特征进行比对，获得所述建筑物的第一变化特征，并基于第一特征将所述建筑物进行区域划分，得到建筑物的变化区域，获取所述变化区域的标准色彩信息；
111.处理单元：根据标准色彩信息对变化区域进行颜色填充，并对颜色填充后的变化区域进行形态学处理，获得建筑物的最终变化特征，并判断所述最终变化特征对所述环境信息的影响情况；
112.所述处理单元，还用于根据所述影响情况，向治安管理模块发送对应的建筑变化对治安的干扰结果。
113.特征不大于预设值时，则不向治安管理模块发送结构损坏报警。
114.本实施例中，预设的轨迹为对角线型运动轨迹；
115.本实施例中，色彩信息是指色彩饱和度、色彩表现情况。
116.上述技术方案的有益效果是：当检测到存在异常温度时，基于所述可见光图像数据检测并获取所述预设位置的环境信息，并进行分割、比对、处理，获得建筑物的最终变化特征，并判断所述最终变化特征对所述环境信息的影响情况，向治安管理模块发送对应的建筑变化对治安的干扰结果，从而提高了治安的稳定性。
117.实施例7
118.基于实施例4的基础上，一种基于热成像的智慧治安信息系统，所述构建单元，基于匹配对，构建可见光视频和红外线视频的变换模型，包括：
119.随机选取三对子匹配组成若干子匹配对集合，基于每一子匹配对集合对变换模型进行构建，获得若干子变换模型，并将其余子匹配对中的一点代入初始变换模型，获得对应的理论匹配点，从而获得理论点位与实际匹配点间的若干子误差距离，统计子误差距离小于预设阈值的匹配对数量，从而获得匹配对集合，重复上述步骤，选择匹配对集合中匹配对数量最多的匹配对集合所对应的子变换模型作为可见光视频和红外线视频的变换模型。
120.上述方案的有益效果为：基于子匹配对构建最优可见光视频和红外线视频的变换模型，使得可见光视频和红外线视频可以相互对应，方便获取额头区域的温度。
121.实施例8
122.基于实施例1的基础上，一种基于热成像的智慧治安信息系统，如图5所示，治安管理模块，包括：
123.生成单元：基于异常报警信息以及当前环境信息，生成对应的处理方案，并基于处理方案外派工作人员进行处理，并在工作人员发送任务回执后，生成对应的事件报告，并储存；
124.查询单元：用于接收用户发送的报告查询请求，并提取查询请求中的关键词，基于关键词在事件报告中进行关键词匹配获得第一事件报告列表，并将所述第一事件报告列表发送至用户终端，完成用户对违规信息流程报告的查询。
125.上述方案的有益效果为：方便管理人员查询报警信息，以及相应的处理结果，提高了治安管理系统的智能性，提高了信息归类的能力，使得管理人员无需查找纸质的事件报告，大大提高了工作效率。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。