一种基于计算机视觉目标检测的智慧电厂管控系统的制作方法

1.本发明提出了一种基于计算机视觉目标检测的智慧电厂管控系统，属于智能电厂技术领域。


背景技术：

2.随着电力工业的发展，提高电厂的智慧化越来越重要。在相关的技术中，电厂的管控系统由设备终端层数据采集模块、控制模块组成，由数据采集模块对设备采集数据，人工对设备采集数据进行分析，根据分析结果人工的触发控制模块的控制指令，对智慧电厂中的设备进行控制。在现有的电厂管控系统进行智能化电厂管控的过程中，仍然存在需要人工监控视频画面进行电厂运行状况的管控，由于需要人工控制电厂设备的运行，降低了系统的智能化程度，同时，容易出现因管控人员遗漏观察造成的管控漏洞和监控疏漏的问题发生。


技术实现要素：

3.本发明提供了一种基于计算机视觉目标检测的智慧电厂管控系统，用以解决现有智慧电厂管控系统存在因管控人员遗漏观察造成的管控漏洞和监控疏漏的问题，所采取的技术方案如下：
4.一种基于计算机视觉目标检测的智慧电厂管控系统，所述系统包括：
5.图像获取模块，用于针对智慧电厂中的各种场景进行图像拍摄，获取各种场景对应的图像画面和视频信息；
6.retinex图像增强模块，用于利用ssr算法对所述图像画面中需要的图像信息进行增强，并减弱或消除不需要的图像信息，获得增强处理后的图像；
7.深度学习目标检测模块，用于通过单阶段与双阶段相结合的方式，利用rpn网络、fpn算法和ssd算法针对增强处理后的图像进行目标检测；
8.深度学习的人脸识别模块，用于通过深度卷积神经网络的人脸识别算法，采用resnet方式针对所述增强处理后的图像提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果；
9.人员跌倒检测模块，用于利用训练图像集学习出关节相对于人体上半身的先验分布，对增强处理后的图像进行人体姿态估计；然后利用人体上半身检测器检测上半身，并根据关节的先验分布确定关节的分布区域计算人体关节的最终定位概率，并确定关节的最终定位；根据检测到的人员的关节的最终定位对应的位置，判断人员是否跌倒；
10.图像检索模块，用于通过哈希函数将每张增强处理后的图像映射成二进制码，与数据库中所有图片的二进制码比较汉明距离，按汉明距离从小到大排序获取本次图像检索的结果。
11.进一步地，所述retinex图像增强模块包括：
12.转换模块，用于读原始图像s(x,y)，判断原始图像s(x,y)是否为灰度图；若原始图
像为灰度图，则将图像各像素的灰度值由整数型(int)转换为浮点数(float)，并转换到对数域；若原始图像为彩色图，则将颜色分通道处理，每个分量像素值由整数型(int)转换为浮点数(float)，并转换到对数域；
13.尺度获取模块，用于输入高斯环绕尺度，并将积分运算离散化转为求和运算，利用输入高斯环绕尺度以及尺度满足条件，获取尺度λ；
14.最终形成图像获取模块，用于通过反射光进入人眼形成的图像模型获取最终形成图像，如果原始图像为灰度图，则只产生一个最终形成图像；如果原始图像为彩色图，则每一个通道都形成一个对应的最终形成图像；
15.输出图像获取模块，用于将最终形成图像从对数域转换到实数域获得输出图像；
16.显示模块，用于对所述输出图像进行线性拉伸并转换成相应的格式输出显示。
17.进一步地，所述retinex图像增强模块的图像处理过程包括：
18.步骤1、读原始图像s(x,y)，判断原始图像s(x,y)是否为灰度图；若原始图像为灰度图，则将图像各像素的灰度值由整数型(int)转换为浮点数(float)，并转换到对数域；若原始图像为彩色图，则将颜色分通道处理，每个分量像素值由整数型(int)转换为浮点数(float)，并转换到对数域；
19.步骤2、输入高斯环绕尺度c，把积分运算离散化转为求和运算，通过如下公式确定λ的值；
[0020][0021]
∫∫f(x,y)dxdy＝1
[0022]
其中，f(x,y)表示中心环绕函数；x，y表示图像中每个点在x轴和y轴上的坐标值；c表示高斯环绕尺度，λ表示一个尺度，且λ取值对应的尺度满足条件为：∫∫f(x,y)dxdy＝1；
[0023]
步骤3、由反射光进入人眼形成的图像模型获取最终形成图像，如果原始图像为灰度图，则只产生一个最终形成图像；如果原始图像为彩色图，则每一个通道都形成一个对应的最终形成图像，其中，所述反射光进入人眼形成的图像模型如下：
[0024][0025]
其中，r(x,y)表示最终形成图像，s(x,y)表示原始图像；k是高斯中心环绕函数的个数，且k取值为1、2、3；且有：
[0026]
步骤4、将r(x,y)从对数域转换到实数域，得到输出图像r(x,y)；
[0027]
步骤5、对所述输出图像r(x,y)进行线性拉伸并转换成相应的格式输出显示。
[0028]
进一步地，所述深度学习目标检测模块包括
[0029]
候选区域模块，用于针对增强后的图像产生候选区域，所述候选区域包括目标的位置信息；
[0030]
框信息获取模块，用于通过rpn网络获取一级框信息，并通过回归分支方式对所述粗的框信息进行进一步回归，获得与一级框信息对应的二级框信息；其中，所述一级框信息是一个粗的框信息，所述二级框信息是粗的框信息对应的更加准确的框信息；
[0031]
检测模块，用于通过ssd框架的检测网络结合二级框信息，对增强后的图像进行目标检测。
[0032]
进一步地，所述ssd框架的检测网络包括锚框细化模块、目标检测模块和传输连接结构；
[0033]
所述锚框细化模块，用于对所述锚框的尺度和长宽比进行参数设置，然后将锚框与真实目标框进行匹配，将与真实目标框匹配度最高的锚框标记为正样本；将未匹配的锚框与真实目标框值进行匹配，如果iou的数值大于预先设置的阈值th，则将该锚框作为正样本，其中，阈值th为0.5；
[0034]
传输连接结构，用于通过卷积层对应卷积层的元素，将锚框细化模块的低层输出特征融合高层特征转换为输出特征，并将所述输出特征作为目标检测模块的输入特征；
[0035]
目标检测模块，用于以固定框架镶嵌模块生成的镶嵌锚框架作为输入，利用传输连接结构的输出特征返回到更精确的对象位置。
[0036]
进一步地，所述对所述锚框的尺度和长宽比进行参数设置的过程包括：
[0037]
第一步、通过如下公式获取锚框的尺度：
[0038][0039]
其中，s
k
表示第k个锚框的尺度；s
min
表示最底层的锚框尺度，一般取值为0.2；s
max
表示最高层的锚框尺度，一般取值为0.9；m表示锚框的总个数
[0040]
第二步，通过如下公式获取锚框的宽度和长度：
[0041][0042][0043]
其中，w
ka
表示锚框的宽度；h
ka
表示锚框的长度；a
r
表示锚框的长宽比。
[0044]
进一步地，所述ssd框架的检测网络的损失函数包括锚框细化模块和目标检测模块的损失，所述损失函数的形式为：
[0045][0046]
其中，n
arm
表示锚框细化模块中前景目标，即正样本的数量，n
odm
表示目标检测模块中正样本的数量，p
i
表示置信度，x
i
代表经过锚框优化模块细化后预测的前景目标的坐标，c
i
代表经过目标检测模块中预测的物体的类别，t
i
代表目标检测模块预测的物体的坐标，l
i*
代表目标的真实类别标签，g
i*
代表目标的真实位置和大小；l
b
表示锚框优化模块中的二分类损失函数；l
r
(xi，g
i*
)表示锚框优化模块中的回归损失函数；l
m
表示目标检测模块中的多类别分类损失；l
r
(t
i
，g
i*
)表示目标检测模块中的回归损失函数。
[0047]
进一步地，所述ssd框架的检测网络的模型训练过程包括：
[0048]
步骤a1、整理5000张封样入侵样本图像作为数据集，其中，4000张封样入侵样本图像作为训练样本，1000张封样入侵样本图像作为测试样本；
[0049]
步骤a2、对所述数据集中的每张封样入侵样本图像进行标记，标记出所述封样入侵样本图像中的目标所在边界框，其中，所述边界框包括[y
min
,x
min
,y
max
,x
max
]四个浮点数；
[0050]
步骤a3、引入一阶动量进行算法参数更新，所述算法参数更新如下：
[0051]
v
dw
＝βv
dw
+(1
‑
β)dw
[0052]
v
db
＝βv
db
+(1
‑
β)db
[0053]
w＝w
‑
αv
dw
,b＝b
‑
αv
db
[0054]
其中，v
dw
、v
db
分别表示指数加权平均参数；w表示高斯中心环绕函数；α表示学习率；β表示指数加权平均数，且β＝0.9；
[0055]
步骤a4、每次训练最多迭代50次，直至找到最优模型，并输出训练日志。
[0056]
进一步地，所述深度学习的人脸识别模块包括视频读取模块、人脸检测模块、人脸校准模块和人脸识别模块：
[0057]
所述视频读取模块，用于读取视频信息中的视频流，并针对所述视频流提取与所述视频对应的多个关键帧；
[0058]
所述人脸检测模块，用于针对关键帧对应的视频图像进行人脸识别，判断关键帧对应的视频图像中是否存在人脸；如果所述关键帧对应的视频图像中存在人脸，则启动人脸校准模块；
[0059]
所述人脸校准模块，用于通过68点人脸校准方法将人脸映射为正脸，并判断人脸校正是否成功，如果人脸校正成功则启动人脸识别模块，如果人脸校正没有成功，则重新对所述视频图像对应的关键帧进行关键帧提取；
[0060]
人脸识别模块，用于提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果，并将所述识别结果进行存储。
[0061]
进一步地，所述人员跌倒检测模块包括：
[0062]
先验分布模块，用于利用训练图像集学习出关节相对于人体上半身的先验分布；
[0063]
估计模块，用于在对待处理图像进行人体姿态估计时，利用人体上半身检测器检测上半身，并根据关节的先验分布确定关节的分布区域，从而将关节的搜索空间从整幅图像减小为一个较小的图像区域，达到减小关节搜索空间的目的；
[0064]
定位概率获取模块，用于通过关节外观模型度关节的分布区域进行卷积计算，获取关节在关节分布区域内的定位概率；
[0065]
关节定位模块，用于利用人体模型计算关节最终定位概率，并确定关节最终定位，其中所述定位概率为：
[0066][0067]
其中，p
i
(x)表示关节在像素点x的定位概率，为假设关节u位于图像中心时关节i条件分布概率；所述分布概率可根据训练图像中两个关节的相对位置来学习。p
u
(x)表示关节u在像素点x的定位概率；肘关节和腕关节可采用相同的方式来求解定位概率。
[0068]
判断模块，用于根据检测到的人员的关节的最终定位对应的位置，判断人员是否跌倒。
[0069]
本发明有益效果：
[0070]
本发明提出的一种基于计算机视觉目标检测的智慧电厂管控系统，实现对监控区域中目标设备、人员、场景等要素图像特征的自动提取、异常情况的自动检测能，有效地提
高工作人员的工作效率，同时，有效提高监控质量，无需监控人员长时间盯着视频画面进行人工监控，通过本发明提出的基于计算机视觉目标检测的智慧电厂管控系统进行自动监控，能够有效降低因人工监控时间较长，导致注意力降低而产生的监控疏忽的问题发生。有效提高电厂运行的监控力度和监控准确性，并极大程度上降低监控错误率和监控疏忽率。
附图说明
[0071]
图1为本发明所述系统的系统框图；
[0072]
图2为本发明所述深度学习目标检测模型的网络结构示意图；
[0073]
图3为本发明所述resnet模块的结构示意图；
[0074]
图4为本发明所述传输连接结构的结构示意图；
[0075]
图5为本发明所述人脸识别的原理流程图；
[0076]
图6为本发明所述人员跌倒检测模块对应的网络结构示意图。
具体实施方式
[0077]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0078]
本发明实施例提出了一种基于计算机视觉目标检测的智慧电厂管控系统，如图1所示，所述系统包括：
[0079]
图像获取模块，用于针对智慧电厂中的各种场景进行图像拍摄，获取各种场景对应的图像画面和视频信息；
[0080]
retinex图像增强模块，用于利用ssr算法对所述图像画面中需要的图像信息进行增强，并减弱或消除不需要的图像信息，获得增强处理后的图像；
[0081]
深度学习目标检测模块，用于通过单阶段与双阶段相结合的方式，利用rpn网络、fpn算法和ssd算法针对增强处理后的图像进行目标检测；其中，所述图像中的目标可以是设备、人员以及指定场景，通过对设备、人员和指定场景的目标检测，配合后续的目标识别，能够有效实现针对设备、人员以及指定场景(例如，火灾，漏水等运行环境)的实时监控；
[0082]
深度学习的人脸识别模块，用于通过深度卷积神经网络的人脸识别算法，采用resnet方式针对所述增强处理后的图像提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果；
[0083]
人员跌倒检测模块，用于利用训练图像集学习出关节相对于人体上半身的先验分布，对增强处理后的图像进行人体姿态估计；然后利用人体上半身检测器检测上半身，并根据关节的先验分布确定关节的分布区域计算人体关节的最终定位概率，并确定关节的最终定位；根据检测到的人员的关节的最终定位对应的位置，判断人员是否跌倒；
[0084]
图像检索模块，用于通过哈希函数将每张增强处理后的图像映射成二进制码，与数据库中所有图片的二进制码比较汉明距离，按汉明距离从小到大排序获取本次图像检索的结果。
[0085]
上述技术方案的工作原理为：所述基于计算机视觉目标检测的智慧电厂管控系统，首先，利用图像获取模块针对智慧电厂中的各种场景进行图像拍摄，获取各种场景对应的图像画面和视频信息；然后，通过retinex图像增强模块利用ssr算法对所述图像画面中
需要的图像信息进行增强，并减弱或消除不需要的图像信息，获得增强处理后的图像；并，利用深度学习目标检测模块通过单阶段与双阶段相结合的方式，利用rpn网络、fpn算法和ssd算法针对增强处理后的图像进行目标检测；然后，采用深度学习的人脸识别模块通过深度卷积神经网络的人脸识别算法，采用resnet方式针对所述增强处理后的图像提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果；随后，通过人员跌倒检测模块利用训练图像集学习出关节相对于人体上半身的先验分布，对增强处理后的图像进行人体姿态估计；然后利用人体上半身检测器检测上半身，并根据关节的先验分布确定关节的分布区域计算人体关节的最终定位概率，并确定关节的最终定位；根据检测到的人员的关节的最终定位对应的位置，判断人员是否跌倒；最后，利用图像检索模块通过哈希函数将每张增强处理后的图像映射成二进制码，与数据库中所有图片的二进制码比较汉明距离，按汉明距离从小到大排序获取本次图像检索的结果。
[0086]
上述技术方案的效果为：实现对监控区域中目标设备、人员、场景等要素图像特征的自动提取、异常情况的自动检测能，有效地提高工作人员的工作效率，同时，有效提高监控质量，无需监控人员长时间盯着视频画面进行人工监控，通过本发明提出的基于计算机视觉目标检测的智慧电厂管控系统进行自动监控，能够有效降低因人工监控时间较长，导致注意力降低而产生的监控疏忽的问题发生。有效提高电厂运行的监控力度和监控准确性，并极大程度上降低监控错误率和监控疏忽率。
[0087]
本发明的一个实施例，所述retinex图像增强模块包括：
[0088]
转换模块，用于读原始图像s(x,y)，判断原始图像s(x,y)是否为灰度图；若原始图像为灰度图，则将图像各像素的灰度值由整数型(int)转换为浮点数(float)，并转换到对数域；若原始图像为彩色图，则将颜色分通道处理，每个分量像素值由整数型(int)转换为浮点数(float)，并转换到对数域；
[0089]
尺度获取模块，用于输入高斯环绕尺度，并将积分运算离散化转为求和运算，利用输入高斯环绕尺度以及尺度满足条件，获取尺度λ；
[0090]
最终形成图像获取模块，用于通过反射光进入人眼形成的图像模型获取最终形成图像，如果原始图像为灰度图，则只产生一个最终形成图像；如果原始图像为彩色图，则每一个通道都形成一个对应的最终形成图像；
[0091]
输出图像获取模块，用于将最终形成图像从对数域转换到实数域获得输出图像；
[0092]
显示模块，用于对所述输出图像进行线性拉伸并转换成相应的格式输出显示。
[0093]
其中，所述retinex图像增强模块的图像处理过程包括：
[0094]
步骤1、读原始图像s(x,y)，判断原始图像s(x,y)是否为灰度图；若原始图像为灰度图，则将图像各像素的灰度值由整数型(int)转换为浮点数(float)，并转换到对数域；若原始图像为彩色图，则将颜色分通道处理，每个分量像素值由整数型(int)转换为浮点数(float)，并转换到对数域；
[0095]
步骤2、输入高斯环绕尺度c，把积分运算离散化转为求和运算，通过如下公式确定λ的值；
[0096]
[0097]
∫∫f(x,y)dxdy＝1
[0098]
其中，f(x,y)表示中心环绕函数；x，y表示图像中每个点在x轴和y轴上的坐标值；c表示高斯环绕尺度，λ表示一个尺度，且λ取值对应的尺度满足条件为：∫∫f(x,y)dxdy＝1；
[0099]
步骤3、由反射光进入人眼形成的图像模型获取最终形成图像，如果原始图像为灰度图，则只产生一个最终形成图像；如果原始图像为彩色图，则每一个通道都形成一个对应的最终形成图像，其中，所述反射光进入人眼形成的图像模型如下：
[0100][0101]
其中，r(x,y)表示最终形成图像，s(x,y)表示原始图像；k是高斯中心环绕函数的个数，且k取值为1、2、3；且有：
[0102]
步骤4、将r(x,y)从对数域转换到实数域，得到输出图像r(x,y)；
[0103]
步骤5、对所述输出图像r(x,y)进行线性拉伸并转换成相应的格式输出显示。
[0104]
上述技术方案的工作原理为：单尺度retinex算法ssr的实现流程可以概括如下：
[0105]
(1)读原图s(x,y)：若原图为灰度图：将图像各像素的灰度值由整数型(int)转换为浮点数(float)，并转换到对数域；若原图为彩色图：将颜色分通道处理，每个分量像素值由整数型(int)转换为浮点数(float)，并转换到对数域；
[0106]
(2)输入高斯环绕尺度c，把积分运算离散化，转为求和运算，通过上式(4)(5)确定λ的值；
[0107]
(3)由得r(x,y)；若原图是灰度图，则只有一个r(x,y)；若原图为彩色图，则每个通道都有一个对应的r(x,y)；
[0108]
(4)将r(x,y)从对数域转换到实数域，得到输出图像r(x,y)；
[0109]
(5)此时的r(x,y)值的范围并不是0
–
255，所以还需要进行线性拉伸并转换成相应的格式输出显示。
[0110]
其中，中心环绕函数f(x,y)用的是低通函数，通过低通函数能够在算法中估计出入射图像对应原始图像的低频部分。从原始图像中除去低频照射部分，就会留下原始图像所对应的高频分量。高频分量很有价值，在人类的视觉系统中，人眼对边缘部分的高频信息相当敏感，所以ssr算法可以较好的增强图像中的边缘信息。
[0111]
同时，由于ssr算法中所选用的高斯函数特点，对于动态范围大幅度压缩和对比度增强两个指标，增强后的图像不能同时保证。但是为了平衡两种增强效果，就必须选择一个较为恰当的高斯尺度常量c。c值一般取值在80
–
100之间。
[0112]
进一步考虑同时保持图像高保真度与对图像的动态范围进行压缩，实现色彩增强、颜色恒常性、局部动态范围压缩、全局动态范围压缩，将图像增强公式改进为：
[0113][0114]
式中，k是高斯中心环绕函数的个数。当k＝1时，图像增强公式改退化为ssr公式。通常来讲，为了保证兼有ssr高、中、低三个尺度的优点来考虑，k取值通常为3，且有：
[0115][0116]
上述技术方案的效果为：通过上述方式能够有效增强图像中的边缘信息，进而提
高后续目标提取的精确度和准确度。同时，通过对图像增强公式的改进，能够有效提高图像高保真度与对图像的动态范围进行压缩的压缩效率，实现色彩增强、颜色恒常性、局部动态范围压缩和全局动态范围压缩。并且，能够有效太高动态范围大幅度压缩和对比度增强两个指标之间的平衡程度，使两个指标均具有较高的增强效果。
[0117]
本发明的一个实施例，所述深度学习目标检测模块包括：
[0118]
候选区域模块，用于针对增强后的图像产生候选区域，所述候选区域包括目标的位置信息；
[0119]
框信息获取模块，用于通过rpn网络获取一级框信息，并通过回归分支方式对所述粗的框信息进行进一步回归，获得与一级框信息对应的二级框信息；
[0120]
检测模块，用于通过ssd框架的检测网络结合二级框信息，对增强后的图像进行目标检测。
[0121]
上述技术方案的工作原理为：首先，通过候选区域模块针对增强后的图像产生候选区域，所述候选区域包括目标的位置信息；然后，利用框信息获取模块通过rpn网络获取一级框信息，并通过回归分支方式对所述粗的框信息进行进一步回归，获得与一级框信息对应的二级框信息；其中，所述一级框信息是一个粗的框信息，所述二级框信息是粗的框信息对应的更加准确的框信息；最后，采用检测模块通过ssd框架的检测网络结合二级框信息，对增强后的图像进行目标检测。其中，所述ssd框架的检测网络的模型如图2所示。
[0122]
上述技术方案的效果为：双阶段目标检测算法可以有效提高检测速度。单阶段目标检测算法可以利用速度优势不断提高模型的检测精度，满足对检测速度和精度的要求。结合rpn网络、fpn算法和ssd算法，结合第一阶段和第二阶段目标检测算法，大大提高了检测精度。并且，在第二阶段目标检测算法中，可以通过对框的粗到细的回归思想，即通过rpn网络获取粗的框信息，然后通过一般回归分支进行进一步回归，获得更准确的框信息。引入fpn网络等功能融合操作，可以有效提高小对象的检测效果，以便进行网络检测，避免检测疏漏情况的发生率。同时，检测网络以ssd为框架，能够有效提高模型的检测速度。
[0123]
本发明的一个实施例，所述ssd框架的检测网络包括锚框细化模块、目标检测模块和传输连接结构；
[0124]
所述锚框细化模块，用于对所述锚框的尺度和长宽比进行参数设置，然后将锚框与真实目标框进行匹配，将与真实目标框匹配度最高的锚框标记为正样本；将未匹配的锚框与真实目标框值进行匹配，如果iou的数值大于预先设置的阈值th，则将该锚框作为正样本，其中，阈值th为0.5；
[0125]
传输连接结构，用于通过卷积层对应卷积层的元素，将锚框细化模块的低层输出特征融合高层特征转换为输出特征，并将所述输出特征作为目标检测模块的输入特征；
[0126]
目标检测模块，用于以固定框架镶嵌模块生成的镶嵌锚框架作为输入，利用传输连接结构的输出特征返回到更精确的对象位置。
[0127]
上述技术方案的工作原理为：网络结构主要包括三个模块，分别为锚框细化模块、目标检测模块和传输连接结构。另外，所述网络结构还包括网络共用特征提取模块，具体采用resnet34模块，并移除掉传统resnet34模块最后的池化层和全连接层，如图3所示为resnet模块，改进后的resnet模块通过采用恒等映射和残差映射有效的解决了卷积层数增加带来的梯度弥散或梯度爆炸的问题。传输连接结构主要进行特征转换，通过卷积层对应
卷积层的元素，将锚帧微调到模块的低层输出特征，融合高层特征，然后转换为目标检测模块的输入特征。目标检测模块基于传输连接结构的输出特征，使用固定框架镶嵌模块生成的镶嵌锚框架作为输入，返回到更精确的对象位置。其中，具体的：
[0128]
针对锚框细化模块：目标检测算法通常对输入图像中的许多区域进行采样，然后检查要搜索的目标是否包含在该区域中，并调整区域边缘，以便更准确地预测目标的实际边界框。根据模型的不同，使用的区域取样方法可能不同，边界框的大小和长宽比也可能不同。这些边界框通常称为“锚框”(anchor box)。算法中的锚帧细化模块的处理对象是初始锚框。
[0129]
在锚框细化模块中，网络基础模块为resnet34特征提取网络，锚框的大小和长宽比设置取决于“实际框”(ground truth)的更改范围。锚箱和实际箱的匹配程度越高越好，这样可以避免重复的背景噪音对精度的影响。另外，锚框和实际箱的差异越小，位置回归就越容易。这是因为锚框和实际箱子接近时是线性回归模型，所以如果差异很大，就需要设置复杂的非线性回归模型来解决。
[0130]
将锚框与实际框相匹配的过程是为锚框添加标签的过程。锚框架是正样本还是负样本，是通过两个框的交点(iou)测量的，如果用正样本评估，则用于学习位置回归关系。
[0131]
具体的应对规则如下：
[0132]
a)将与真实目标框最匹配度最高的锚框，标记为正样本；
[0133]
b)将未匹配的锚框依次与真实目标框值做匹配，若iou>th(th通常设置为0.5)，则将该标锚框为正样本。如果阈值th设置过小，容易带来背景噪声，从而影响检测准确率(precision)；阈值th设置过大，则会导致召回率(recall)太低。
[0134]
针对目标检测模块：目标检测模块的作用是进一步生成对象类别和精确的对象位置。本实施例采用卷积对不同的特征图来进行提取检测结果。所述目标检测模块，对网络模型(如图2所示)中的convp4、convp5和convp6这三个卷积层的输出分别采用两个3
×
3的卷积核进行卷积，其中一个输出用于分类的预测值，每个锚框包含2个预测值；另一个输出用于回归定位信息，每个锚框产生目标的4个坐标值(x，y，w，h)。
[0135]
将锚框细化模块中conv4_3、conv5_3、fc7产生的预测框结合起来，根据置信度阈值的大小进行排序，过滤掉较低的预测框，保留前500个预测框，将剩下的预测框进行解码。最后通过非极大抑制方法(non
‑
maximum suppression,nms)剔除掉重叠或者不正确的预测框，从而得到最终检测结果。
[0136]
非最大抑制方法假定预测边界框b，模型通过计算每个类别的预测概率来工作。如果将其中最大的预测概率设置为p，则与该概率相对应的类别是b的预测类别，p被称为预测边界框b的可信度。在同一图像中，将预测边界框(而不是预测类别背景)按可信度从高到低排序，得到列表l。然后从l中选取置信度最高的预测边界框b1作为基准，将所有与b1的交并比大于某阈值的非基准预测边界框从l中移除。这里的阈值是预先设定的超参数。此时，l保留了置信度最高的预测边界框并移除了与其相似的其他预测边界框。接下来，从l中选取置信度第二高的预测边界框b2作为基准，将所有与b2的交并比大于某阈值的非基准预测边界框从l中移除。重复这一过程，直到l中所有的预测边界框都曾作为基准。此时l中任意一对预测边界框的交并比都小于阈值，输出列表l中的所有预测边界框。最后，输出置信度值最高的检测结果。
[0137]
针对传输连接结构，具体结构如图4所示，该传输连接结构通过在锚框细化和目标检测这两个模块之间建立连接，将锚框细化模块各个层的特性转换成目标检测模块所需的形式，以达到目标检测模块共享锚框细化模块的特性的目标。为了匹配它们之间的维数，该模块使用了反卷积模块deconv来扩大高维特征图。所述传输连接结构使用了eltwise模块来直接关联上下文的语义信息，将卷积层与反卷积层的元素对应相加，增加样本的特征参数，以增强网络对样本的学习能力，提高训练精度。其中eltwise层所支持的三种基本操作包括点乘、求和以及取最大值。求和为默认操作，将上下文信息进行融合，增加特征参数，增强网络的学习能力。
[0138]
上述技术方案的效果为：通过上述方式能够有效提高图像中的目标检测的准确率和目标检测效率。进而能够有效提取出所述增强后的图像中的待识别目标。
[0139]
本发明的一个实施例，所述对所述锚框的尺度和长宽比进行参数设置的过程包括：
[0140]
第一步、通过如下公式获取锚框的尺度：
[0141][0142]
其中，s
k
表示第k个锚框的尺度；s
min
表示最底层的锚框尺度，一般取值为0.2；s
max
表示最高层的锚框尺度，一般取值为0.9；m表示锚框的总个数
[0143]
第二步，通过如下公式获取锚框的宽度和长度：
[0144][0145][0146]
其中，w
ka
表示锚框的宽度；h
ka
表示锚框的长度；a
r
表示锚框的长宽比。
[0147]
所述ssd框架的检测网络的损失函数包括锚框细化模块和目标检测模块的损失，所述损失函数的形式为：
[0148][0149]
其中，n
arm
表示锚框细化模块中前景目标，即正样本的数量，n
odm
表示目标检测模块中正样本的数量，p
i
表示置信度，x
i
代表经过锚框优化模块细化后预测的前景目标的坐标，c
i
代表经过目标检测模块中预测的物体的类别，t
i
代表目标检测模块预测的物体的坐标，l
i*
代表目标的真实类别标签，g
i*
代表目标的真实位置和大小；l
b
表示锚框优化模块中的二分类损失函数；l
r
(xi，g
i*
)表示锚框优化模块中的回归损失函数；l
m
表示目标检测模块中的多类别分类损失；l
r
(t
i
，g
i*
)表示目标检测模块中的回归损失函数。通过上述损失函数能够有效提高锚框的细化精确度和准确度。
[0150]
上述技术方案的工作原理为：
[0151]
锚框需要进行尺度和长宽比两个参数的设置，尺度设置应当遵循线性递增规则，特征图尺寸减小，锚框的尺度应当线性增加，规则定义如下式：
[0152][0153]
其中，s
min
表示最底层的尺度是，取值一般设置为0.2，s
max
代表了最高层的尺度，取值一般设置为0.9。以a
r
来表示锚框的长宽比，本实施例中设置了0.5、1.0和2，这3种不同程度的长宽比，锚框的宽度w和长度h可以通过下式计算得到。
[0154][0155][0156]
通常每个特征图存在一个a
r
＝1且尺度为s
k
的锚框，此外还会再设置一个尺度为的锚框，这样每个特征图都设置了两个长宽比为1，但大小不同的正方形锚框。因此，每个特征图一共有4个锚框，每个锚框的位置都是固定的且每个锚框的尺寸不同。
[0157]
在进行训练前，抽取图2中的conv4_3、conv5_3、fc7这三层特征图，分别在这些特征图上以每个像素为中心生成4个尺度长宽比不同的锚框，将每个锚框视为一个训练样本。然后对锚框的四个偏置值进行预测分析，并得出候选框的分类得分。将背景置信度值较大的候选框删除，保留下前景置信度高的候选框和不确定是否为背景的候选框，然后将这些候选框传递给目标检测模块进行进一步的筛选。
[0158]
上述技术方案的效果为：通过上述方式能够有效提高锚框的获取准确度和获取速度，摈弃有效提高候选区域的获取精度和准确度，降低候选框内干扰图像的存在率，进一步提高后续目标检测的准确度和目标检测效率。
[0159]
本发明的一个实施例，所述ssd框架的检测网络的模型训练过程包括：
[0160]
步骤a1、整理5000张封样入侵样本图像作为数据集，其中，4000张封样入侵样本图像作为训练样本，1000张封样入侵样本图像作为测试样本；
[0161]
步骤a2、对所述数据集中的每张封样入侵样本图像进行标记，标记出所述封样入侵样本图像中的目标所在边界框，其中，所述边界框包括[y
min
,x
min
,y
max
,x
max
]四个浮点数；
[0162]
步骤a3、引入一阶动量进行算法参数更新，所述算法参数更新如下：
[0163]
v
dw
＝βv
dw
+(1
‑
β)dw
[0164]
v
db
＝βv
db
+(1
‑
β)db
[0165]
w＝w
‑
αv
dw
,b＝b
‑
αv
db
[0166]
其中，v
dw
、v
db
分别表示指数加权平均参数；w表示高斯中心环绕函数；α表示学习率；β表示指数加权平均数，且β＝0.9；
[0167]
步骤a4、每次训练最多迭代50次，直至找到最优模型，并输出训练日志。
[0168]
上述技术方案的工作原理为：本实施例中，为了训练模型，首先整理出封样入侵样本图像作为数据集，本实施例一共采集了5000张图片，其中4000张用来训练，1000张用来做测试。数据集中的每张图片都先进行了人工标注，标记出了图中目标所在的边界框，该边界框由[ymin,xmin,ymax,xmax]四个浮点数组成。为了降低样本少造成训练无法收敛的问题，通过上述步骤a3的内容进行模型训练和参数更新。每次训练最多迭代50次，直至找到最优模型。同时输出训练日出，该日志输出了训练中的loss值，loss值越低表示模型越接近收敛。
[0169]
上述技术方案的效果为：本实施例中，首先构建这些待检测目标的样本数据集，然后利用上述目标检测神经网络训练出目标检测模型。部署时，针对输入图像，利用训练好的模型进行检测，平均检测准确率达到98％以上。同时，通过上述方式能够使训练模型进行快速收敛，提高模型训练效率和训练速度。
[0170]
本发明的一个实施例，所述深度学习的人脸识别模块包括视频读取模块、人脸检测模块、人脸校准模块和人脸识别模块：
[0171]
所述视频读取模块，用于读取视频信息中的视频流，并针对所述视频流提取与所述视频对应的多个关键帧；
[0172]
所述人脸检测模块，用于针对关键帧对应的视频图像进行人脸识别，判断关键帧对应的视频图像中是否存在人脸；如果所述关键帧对应的视频图像中存在人脸，则启动人脸校准模块；
[0173]
所述人脸校准模块，用于通过68点人脸校准方法将人脸映射为正脸，并判断人脸校正是否成功，如果人脸校正成功则启动人脸识别模块，如果人脸校正没有成功，则重新对所述视频图像对应的关键帧进行关键帧提取；
[0174]
人脸识别模块，用于提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果，并将所述识别结果进行存储。
[0175]
其中，所述视频读取模块针对关键帧的提取可以通过视频监控的时间点进行关键帧提取，具体包括：
[0176]
设置提取相邻两个关键帧的时间点对应的时间间隔，其中，所述时间间隔通过如下公式获取：
[0177][0178]
其中，t表示电厂运行当前一个自然天24小时内(凌晨0时至夜晚24时)的关键帧采集的时间间隔，t0为预先设定的初始时间间隔，通常设定为1min；c表示电厂运行的前一个自然天内，出现监控异常画面的次数；s表示所述智慧电厂管控系统监控电厂运行过程中，出现监控异常画面的天数；s
z
表示所述智慧电厂管控系统监控电厂运行的总天数；λ1、λ2和λ3为时间调整系数，λ1的取值范围为0.82
‑
0.97，优选为，0.89；λ2的取值范围为0.41
‑
0.53，优选为，0.43；λ3的取值范围为0.36
‑
0.43，优选为，0.39；c
i
表示电厂运行第i天时，第i天内出现监控异常画面的次数。
[0179]
上述时间间隔设置能够通过电厂前一天的监控出现的异常情况，对当前监控的视频图像关键帧的采集时间间隔进行调整。通过上述时间间隔调整，能够使当前图像采集的监控过程结合电厂整体运行出现异常的情况进行自适应调整，使关键帧的采集频率符合电厂运行的实际情况，防止电厂监控过程中统一频率的关键帧采集造成的与电厂设备的运行
实况及人员实际工作状态与图像采集频率不匹配而造成的视频关键帧采集不准确的情况发生，进而有效避免监控疏漏的发生概率。同时，通过上述公式获取的时间间隔，能够有效提高电厂当天关键帧的采集频率的合理性，提高关键帧的捕捉效率，有效防止关键帧的采集频率不合理而造成的关键视频图像捕捉不到的情况发生，进而提高电厂运行安全监控的力度。同时，通过上述公式进行的时间调整，能够在保证关键帧的合理采集频率的同时，有效控制关键帧的采集数量，防止视频图像处理过多而造成的系统数据处理响应降低的问题发生。使关键帧的采集频率既符合当天设备及人员运行监控的合理性，又能够有效降低图像处理的数据量，进而保证系统监控力度和监控效率的双提高。
[0180]
上述技术方案的工作原理为：所述人脸识别模块的检测原理如图5所示，首先，通过所述视频读取模块读取视频信息中的视频流，并针对所述视频流提取与所述视频对应的多个关键帧；然后，利用所述人脸检测模块针对关键帧对应的视频图像进行人脸识别，判断关键帧对应的视频图像中是否存在人脸；如果所述关键帧对应的视频图像中存在人脸，则启动人脸校准模块；随后，采用所述人脸校准模块通过68点人脸校准方法将人脸映射为正脸，并判断人脸校正是否成功，如果人脸校正成功则启动人脸识别模块，如果人脸校正没有成功，则重新对所述视频图像对应的关键帧进行关键帧提取；最后，采用人脸识别模块提取待识别的人脸特征，采用余弦距离作为度量函数与样本库中的人脸特征进行比较，找出最相似的人脸作为识别结果，并将所述识别结果进行存储。
[0181]
上述技术方案的效果为：通过上述方式能够有效提高人脸识别的速度和效率。同时，通过68点人脸校准方法结合关键帧重新提取的策略，能够有效提高人脸识别的准确度和正确率，极大程度上避免人脸识别错误的问题发生。
[0182]
本发明的一个实施例，所述人员跌倒检测模块包括：
[0183]
先验分布模块，用于利用训练图像集学习出关节相对于人体上半身的先验分布；
[0184]
估计模块，用于在对待处理图像进行人体姿态估计时，利用人体上半身检测器检测上半身，并根据关节的先验分布确定关节的分布区域，从而将关节的搜索空间从整幅图像减小为一个较小的图像区域，达到减小关节搜索空间的目的；
[0185]
定位概率获取模块，用于通过关节外观模型度关节的分布区域进行卷积计算，获取关节在关节分布区域内的定位概率；
[0186]
关节定位模块，用于利用人体模型计算关节最终定位概率，并确定关节最终定位，其中所述定位概率为：
[0187][0188]
其中，p
i
(x)表示关节在像素点x的定位概率，为假设关节u位于图像中心时关节i条件分布概率；所述分布概率可根据训练图像中两个关节的相对位置来学习。p
u
(x)表示关节u在像素点x的定位概率；肘关节和腕关节可采用相同的方式来求解定位概率。
[0189]
判断模块，用于根据检测到的人员的关节的最终定位对应的位置，判断人员是否跌倒。
[0190]
上述技术方案的工作原理为：所述人员跌倒检测模块对应的网络结构如图6所示，人体由四肢、躯干和头部等部位通过关节连接在一起，不管姿态如何变换，关节都会分布在
躯干周围一个相对固定的范围内。基于这一点，利用训练图像集学习出关节相对于人体上半身的先验分布，在对待处理图像进行人体姿态估计时，首先利用人体上半身检测器检测上半身，然后根据关节的先验分布确定关节的分布区域，从而将关节的搜索空间从整幅图像减小为一个较小的图像区域，达到减小关节搜索空间的目的。
[0191]
上述技术方案的效果为：通过上述方式能够有效降低关节搜索空间，通过关节搜索空间的缩小，能够有效提高关节搜索效率和关节搜索的准确性，进而提高人体姿势的识别效率和识别准确性，从而提高人体摔倒的检测速度和检测正确率，避免因工作人员摔倒并起身的动作过快而导致的人员摔倒姿势识别不及时而产生的摔倒识别遗漏的问题发生。
[0192]
本发明的一个实施例，所述图像检索模块的运行过程包括：
[0193]
首先提取隐层h的输出作为图片标签，用out(h)表示。隐层的激活通过一个门限，二进制化，得到二进制码。对于每一个位j＝1```h(h是隐层节点的个数)，输出隐层h的二进制编码如下：
[0194][0195]
假设有n幅待选图片{i1,i2,...,i
n
}，相关联的二进制码{h1,h2,...,h
n
}，h
i
∈{0,1}。给定一个查询图像i
q
和它的二进制码h
q
，能识别出它的m个候选图片{i
1c
,i
2c
,...,i
mc
}，如果h
q
和{h1,h2,...,h
n
}中的汉明距离小于某一个门限。
[0196]
给定一个待检索图片i
q
和候选集p，通过f7层的特征提取找出前k个最相似的图片，v
q
表示待检索图片的f7层特征，表示候选集的f7层特征，是通过比较待检索图片和候选集中的图片的欧氏距离得到相似性。距离越小越相似。
[0197][0198]
欧氏距离越小，两幅图像的相似度越高。各候选图片按相似度升序排列；因此，排名前k的图像被识别。
[0199]
上述技术方案的效果为：通过上述方式进行图像检索，能够有效就降低图像检索过程的运算量，并有效提高图像的检索效率。
[0200]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。