一种基于目标跟踪算法的智慧工厂监控系统的制作方法

1.本发明涉及智能监控技术领域，特别涉及一种基于目标跟踪算法的智慧工厂监控系统。


背景技术：

2.高度重视制造业的发展，工厂作为其中一重要组成部分，对安全防范提出了非常高的要求。工厂面积大，仓储地点分散与环境复杂，人车混流、车辆移动频繁，仅靠人力进行监控，无法实时掌握工厂环境情况，同时效率低、出现问题无法及时处理。智慧工厂无疑是现代工业、制造业的大势所趋，将智能监控作为一种高效便捷的安防措施已被部分工厂所采用的，一方面它能实时的获取工厂各个重要监控区域的情况，更有利于工厂的安全管理，另一方面又能够减少不必要的人力、物力，更高效实时地监控工厂环境，便于即使应付出现的紧急情况。
3.在智慧工厂的实时监控中，当面对紧急情况时需要对出现的可疑目标进行实时的跟踪，跟踪的鲁棒性与准确定是智能监控高效运行的重要因素，现如今流行的目标跟踪方法siamrpn不仅满足实时性的要求，同时具有不错的准确性，但面对工厂如此复杂的环境仍存在一些局限性：一是siamrpn的网络在离线训练时所使用的损失没有关注到数据不平衡的问题，导致了跟踪的准确性难以提升，因此面对工厂复杂的环境难以准确跟踪是一个需要解决的问题；二是利用了余弦窗作为位置惩罚去筛选目标，这是基于目标距离上一帧目标距离较近的可能性比较大的假设，在工厂环境中待跟踪的可疑目标运动难以确定，有很大的可能运动较快，那么就打破了目标距离上一帧目标距离较近的可能性比较大的这一假设，这时跟踪容易出现丢失，因此面对可疑目标运动较快容易跟踪失败是第二个需要解决的问题，些问题影响着跟踪的鲁棒性，进而影响着工厂的安全。


技术实现要素：

4.本发明针对上述问题，提出了一种基于目标跟踪算法的智慧工厂监控系统，并提出一种查询引导的目标跟踪方法，该跟踪方法通过对损失函数的改进以提高跟踪的准确性，同时改进了原跟踪算法的约束以提高跟踪的鲁棒性，通过该跟踪方法可以有效的定位可疑目标，进而进一步保证了工厂的安全。
5.为了解决上述技术问题，本发明提供如下技术方案：
6.一种基于目标跟踪算法的智慧工厂监控系统，包括终端服务器、视频图像采集模块和视频图像处理模块；所述的视频图像采集模块包含多个监控摄像头，用于实时采集工厂不同区域的环境视频图像数据，然后将采集到的工厂环境视频图像数据输出至图像处理模块；所述视频图像处理模块用于实时读取视频图像数据并进行处理，首先实时检测工厂环境中是否出现可疑目标，当出现可疑目标时生成报警信号输出值终端服务器，终端服务器接收到报警信号后进行报警；同时，根据检测到的目标位置信息利用设计的查询引导的目标跟踪方法跟踪可疑目标，当跟踪的可疑目标从当前摄像头的拍摄范围内消失时，利用
设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标进行持续性跟踪。
7.进一步地，所述的图像采集模块，相邻摄像头之间的拍摄范围有一定重合，会出现可疑目标在两个摄像头拍摄范围内的情况。
8.进一步地，所述的视频图像处理模块，在检测出工厂环境处出现可疑目标的同时给出可疑目标的位置信息。
9.进一步地，所述的视频图像处理模块，所述设计的查询引导的目标跟踪方法包括两个部分，第一部分是利用设计的重要性感知损失函数离线训练跟踪网络，第二部分是利用离线训练的网络进行在线跟踪。
10.进一步地，所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，其特征在于，离线训练的网络选择的是siamrpn的主干网络，网络尾部有两个分支，分别是分类分支和回归分支。
11.进一步地，所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，离线训练跟踪网络使用的数据是imagenet数据集和在工厂采集的视频图像数据制作成的数据集，在工厂采集的视频图像数据是先由每个摄像头拍摄得到视频图像数据，然后将视频图像数据分成一系列图像在进行人工标注，标注完成即完成了将工厂视频数图像数据集制作成数据集；
12.离线训练网络所使用的损失是设计的重要性感知损失：
13.l
rc
＝t(l
reg
)+t(l
cls
)
14.该损失由l
cls
是分类分支的损失函数和回归分支的损失函数l
reg
组成，t(
·
)是用于调整损失大小的函数，其作用是当损失较小时，进一步减小其影响，当损失较大时，进一步增大其影响，网络前向传播时网络尾部的分类分支和回归分支分别计算损失，再利用t(
·
)调整两分支损失大小，最后分类分支和回归分支的损失相加即为最终的损失将最终的损失送入网络一学习网络参数；
15.用于调整损失大小的函数t(
·
)的表达式为：
[0016][0017]
其中，th是一个阈值，用于根据当前损失l的大小判断其对应的训练样本是否为简单负样本，若l大于阈值th，说明其对应的训练样本是困难负样本或正样本，通过函数e
l
将当前损失l增大，若l小于阈值th，说明其对应的训练样本是简单负样本，通过(e
l-c)将当前损失l减小，c是一个超参数；
[0018]
l
reg
是回归分支的损失函数，采用归一化坐标的smooth l1损失进行回归，设a
x
、ay表示锚盒的中心点坐标，aw和ah表示锚盒的形状，即宽和高，t
x
、ty表示真实目标坐标的中心点坐标，tw和th表示真实目标的形状，即宽和高，然后将各中心点及形状之间的距离进行归一化：
[0019]
[0020][0021][0022][0023]
δ[0]和δ[1]是锚盒和真实目标坐标的中心点坐标归一化后的距离，δ[2]和δ[3]是锚盒和真实目标宽和高归一化后的距离，将这些归一化后的距离送入smooth l1损失函数中进行回归，经过smooth l1损失回归后各归一化后的距离可以写为：
[0024][0025]
其中，x是上述归一化后的各点及形状之间的距离δ[0]、δ[1]、δ[2]和δ[3]，σ是一个超参数，最终采用归一化坐标的smooth l1损失进行回归后的回归损失定义为：
[0026][0027]
l
cls
是分类分支的损失函数，为交叉熵损失：
[0028][0029]
其中，n为样本的个数，yi是设定的标签值，y
′
是网络的分类分支的输出值，即网络的分类分支的预测值。
[0030]
进一步地，所述的第二部分利用离线训练的网络进行在线跟踪，在线跟踪步骤如下：
[0031]
步骤一：利用检测所获取的可疑目标的位置信息，截取出可疑目标图像作为目标模板z1，设置给出可疑目标位置的那一帧图像为第一帧；
[0032]
步骤二：在后续帧中截取出搜索区域图像x
t
，t为视频图像的帧索引，将目标模板图像和搜索区域图像分别输入离线训练到的网络分别提取特征图，然后将两个特征图分别输入到离线训练得到的网络的分类分支与回归分支中；
[0033]
步骤三：在分类分支输出得分图后，将设计的一个目标查询的惩罚与分类分支的输出得分图相结合得到最终的分类得分图；
[0034]
步骤四：通过分类得分图与回归分支的输出相结合，筛选找到目标位置。
[0035]
进一步地，所述的目标查询的惩罚，目标查询的惩罚是两种惩罚的结合，一种是考虑到目标运动信息的目标速度指导的位置惩罚，一种是考虑到目标自身颜色信息的目标颜色指导的位置惩罚，目标速度指导的位置惩罚定义为：
[0036][0037]
其中coswindow是余弦窗，使用余弦窗是基于目标距离上一帧目标位置更近的可
能性更大的假设，余弦窗能将远离上一帧目标中心区域的区域赋予较低的权值，d是前两帧目标中心位置的距离：
[0038][0039]
其中，x
t-1
与y
t-1
是上一帧预测的目标中心点坐标，x
t-2
与y
t-2
是隔上一帧的预测的目标中心点坐标，d越大说明两帧之间目标的距离越远，则证明目标移动越快，目标距离上一帧目标位置更近的可能性更大的假设就会被打破，随着d的增大ed越大，余弦窗的权值被降低，进而其的位置惩罚能力就越弱，相反，d越小说明两帧之间目标的距离越近，目标距离上一帧目标位置更近的可能性更大的假设就不会被打破，余弦窗的权值越强，进而其的位置惩罚能力就越强；
[0040]
目标颜色指导的位置惩罚由目标颜色直方图提供得到颜色信息所决定，目标颜色指导的位置惩罚定义为：
[0041]
cf＝w*x
t
[0042]
其中*表示互相关操作，x
t
是当前搜索图像的颜色直方图，w是利用目标颜色直方图学习到的相关滤波器，相关滤波器的学习公式如下：
[0043][0044]
其中z
t
是利用预测得到的跟踪结果提取到的新的目标颜色直方图，λ是一个正则化参数，y是标签，该公式可以通过快速傅里叶变换进行加速计算，可求得最终的相关滤波器如下：
[0045][0046]
其中是元素积，符号^表示傅里叶变换，是的复共轭；
[0047]
将目标速度指导的位置惩罚cp与目标颜色指导的位置惩罚cf加权融合得到目标查询的惩罚：
[0048]
c＝αcf+(1-α)cp
[0049]
其中α是一个超参数用于平衡目标速度指导的位置惩罚cp与目标颜色指导的位置惩罚cf，最终将目标查询的惩罚与分类分支的分类得分图相乘便得到最终的分类得分图。
[0050]
进一步地，所述的利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标，在下一个摄像头内寻找目标所使用的模板图像发生了改变，变成了从上一个摄像头拍到的视频图像中跟踪方法在最后一帧定位到的目标图像，在下一个摄像头内开始寻找目标是将查询引导的目标跟踪方法中的搜索图像设置为下一个摄像头拍摄的整张图片，即全局搜索目标，找到目标后根据预测的目标位置再缩小搜索图像，在局部搜索目标。
[0051]
本发明的有益效果在于，提出了一种基于目标跟踪算法的智慧工厂监控系统，在智慧工厂的监控系统中引入了设计的查询引导的目标跟踪方法，该跟踪方法设计了一个重要性感知损失函数，压缩简单负样本的损失，增大正样本的损失，使得跟踪方法的网络更有效的识别出待跟踪的可疑目标，此外设计了一个目标查询的惩罚，利用目标运动信息与颜色信息防止目标距离上一帧目标距离较近的可能性比较大的这一假设带来的跟踪失败问
题，提高了跟踪的鲁棒性，进而提高了智慧工厂监控系统的高效性，保证了工厂的安全运行。
附图说明
[0052]
利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
[0053]
图1是本发明监控系统工作流程图。
具体实施方式
[0054]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055]
参见图1，一种基于目标跟踪算法的智慧工厂监控系统，包括终端服务器、视频图像采集模块和视频图像处理模块；所述的视频图像采集模块包含多个监控摄像头，用于实时采集工厂不同区域的环境视频图像数据，然后将采集到的工厂环境视频图像数据输出至图像处理模块；所述视频图像处理模块用于实时读取视频图像数据并进行处理，首先实时检测工厂环境中是否出现可疑目标，当出现可疑目标时生成报警信号输出值终端服务器，终端服务器接收到报警信号后进行报警；同时，根据检测到的目标位置信息利用设计的查询引导的目标跟踪方法跟踪可疑目标，当跟踪的可疑目标从当前摄像头的拍摄范围内消失时，利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标进行持续性跟踪。
[0056]
优选地，所述的图像采集模块，相邻摄像头之间的拍摄范围有一定重合，会出现可疑目标在两个摄像头拍摄范围内的情况。
[0057]
优选地，所述的视频图像处理模块，在检测出工厂环境处出现可疑目标的同时给出可疑目标的位置信息。
[0058]
优选地，所述的视频图像处理模块，所述设计的查询引导的目标跟踪方法包括两个部分，第一部分是利用设计的重要性感知损失函数离线训练跟踪网络，第二部分是利用离线训练的网络进行在线跟踪。
[0059]
优选地，所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，其特征在于，离线训练的网络选择的是siamrpn的主干网络，网络尾部有两个分支，分别是分类分支和回归分支。
[0060]
现有的基于孪生网络的跟踪方法siamrpn离线训练主干网络，在线跟踪时不更新网络，因此具有较高的实时性，同时创新的引入区域建议网络提高了跟踪的准确性，兼具跟踪的准确性与实时性，因此满足智慧工厂监控系统的基本要求，但siamrpn在离线训练主干网络时会面临样本不均衡的问题，大量的简单负样本起主要贡献作用，会主导梯度的更新方向，网络很难有效学到有用的信息，因此跟踪的准确性有待提高，针对这个问题提出了一个重要性感知损失函数，在网络上的离线训练阶段，压缩简单负样本的损失，增大正样本的
损失，使得跟踪方法的网络更有效的识别出待跟踪的可疑目标，具体为：
[0061]
离线训练跟踪网络使用的数据是imagenet数据集和在工厂采集的视频图像数据制作成的数据集，在工厂采集的视频图像数据是先由每个摄像头拍摄得到视频图像数据，然后将视频图像数据分成一系列图像在进行人工标注，标注完成即完成了将工厂视频数图像数据集制作成数据集；
[0062]
离线训练网络所使用的损失是设计的重要性感知损失：
[0063]
l
rc
＝t(l
reg
)+t(l
cls
)
[0064]
该损失由l
cls
是分类分支的损失函数和回归分支的损失函数l
reg
组成，t(
·
)是用于调整损失大小的函数，其作用是当损失较小时，进一步减小其影响，当损失较大时，进一步增大其影响，网络前向传播时网络尾部的分类分支和回归分支分别计算损失，再利用t(
·
)调整两分支损失大小，最后分类分支和回归分支的损失相加即为最终的损失，最终的损失送入网络一学习网络参数；
[0065]
用于调整损失大小的函数t(
·
)的表达式为：
[0066][0067]
其中，th是一个阈值，用于根据当前损失l的大小判断其对应的训练样本是否为简单负样本，若l大于阈值th，说明其对应的训练样本是困难负样本或正样本，通过函数e
|l|
将当前损失l增大，若l小于阈值th，说明其对应的训练样本是简单负样本，通过(e
|l|-c)将当前损失l减小，c是一个超参数；
[0068]
l
reg
是回归分支的损失函数，采用归一化坐标的smooth l1损失进行回归，设a
x
、ay表示锚盒的中心点坐标，aw和ah表示锚盒的形状，即宽和高，t
x
、ty表示真实目标坐标的中心点坐标，tw和th表示真实目标的形状，即宽和高，然后将各中心点及形状之间的距离进行归一化：
[0069][0070][0071][0072][0073]
δ[0]和δ[1]是锚盒和真实目标坐标的中心点坐标归一化后的距离，δ[2]和δ[3]是锚盒和真实目标宽和高归一化后的距离，将这些归一化后的距离送入smooth l1损失函数中进行回归，经过smooth l1损失回归后各归一化后的距离可以写为：
[0074][0075]
其中，x是上述归一化后的各点及形状之间的距离δ[0]、δ[1]、δ[2]和δ[3]，σ是一个超参数，最终采用归一化坐标的smooth l1损失进行回归后的回归损失定义为：
[0076][0077]
l
cls
是分类分支的损失函数，为交叉熵损失：
[0078][0079]
其中，n为样本的个数，yi是设定的标签值，y
′
是网络的分类分支的输出值，即网络的分类分支的预测值。
[0080]
优选地，所述的第二部分利用离线训练的网络进行在线跟踪，在线跟踪步骤如下：
[0081]
步骤一：利用检测所获取的可疑目标的位置信息，截取出可疑目标图像作为目标模板z1，设置给出可疑目标位置的那一帧图像为第一帧；
[0082]
步骤二：在后续帧中截取出搜索区域图像x
t
，t为视频图像的帧索引，将目标模板图像和搜索区域图像分别输入离线训练到的网络分别提取特征图，然后将两个特征图分别输入到离线训练得到的网络的分类分支与回归分支中；
[0083]
步骤三：在分类分支输出得分图后，将设计的一个目标查询的惩罚与分类分支的输出得分图相结合得到最终的分类得分图；
[0084]
步骤四：通过分类得分图与回归分支的输出相结合，筛选找到目标位置。
[0085]
siamrpn在线跟踪时会在分类分支上增加一个基于目标距离上一帧目标位置更近的假设的余弦窗作为位置惩罚，当待跟踪的可疑目标运动过快会打破这个假设，那么基于目标距离上一帧目标位置更近的假设的余弦窗反而会造成跟踪失败，针对这个问题设计了一个目标查询的惩罚，不同于原始余弦窗作为位置惩罚，设计的惩罚利用目标运动信息与颜色信息防止目标距离上一帧目标距离较近的可能性比较大的这一假设带来的跟踪失败问题，提高了跟踪的鲁棒性，具体为：
[0086]
所述的目标查询的惩罚，目标查询的惩罚是两种惩罚的结合，一种是考虑到目标运动信息的目标速度指导的位置惩罚，一种是考虑到目标自身颜色信息的目标颜色指导的位置惩罚，目标速度指导的位置惩罚定义为：
[0087][0088]
其中coswindow是余弦窗，使用余弦窗是基于目标距离上一帧目标位置更近的可能性更大的假设，余弦窗能将远离上一帧目标中心区域的区域赋予较低的权值，d是前两帧目标中心位置的距离：
[0089][0090]
其中，x
t-1
与y
t-1
是上一帧预测的目标中心点坐标，x
t-2
与y
t-2
是隔上一帧的预测的
目标中心点坐标，d越大说明两帧之间目标的距离越远，则证明目标移动越快，目标距离上一帧目标位置更近的可能性更大的假设就会被打破，随着d的增大ed越大，余弦窗的权值被降低，进而其的位置惩罚能力就越弱，相反，d越小说明两帧之间目标的距离越近，目标距离上一帧目标位置更近的可能性更大的假设就不会被打破，，余弦窗的权值越强，进而其的位置惩罚能力就越强；
[0091]
目标颜色指导的位置惩罚由目标颜色直方图提供得到颜色信息所决定，目标颜色指导的位置惩罚定义为：
[0092]
cf＝w*x
t
[0093]
其中*表示互相关操作，x
t
是当前搜索图像的颜色直方图，w是利用目标颜色直方图学习到的相关滤波器，相关滤波器的学习公式如下：
[0094][0095]
其中z
t
是利用预测得到的跟踪结果提取到的新的目标颜色直方图，λ是一个正则化参数，y是标签，该公式可以通过快速傅里叶变换进行加速计算，可求得最终的相关滤波器如下：
[0096][0097]
其中是元素积，符号^表示傅里叶变换，是的复共轭；
[0098]
将目标速度指导的位置惩罚cp与目标颜色指导的位置惩罚cf加权融合得到目标查询的惩罚：
[0099]
c＝αcf+(1-α)cp
[0100]
其中α是一个超参数用于平衡目标速度指导的位置惩罚cp与目标颜色指导的位置惩罚cf，最终将目标查询的惩罚与分类分支的分类得分图相乘便得到最终的分类得分图。
[0101]
优选地，所述的利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标，其特征在于，在下一个摄像头内寻找目标所使用的模板图像发生了改变，变成了从上一个摄像头拍到的视频图像中跟踪方法在最后一帧定位到的目标图像，在下一个摄像头内开始寻找目标是将查询引导的目标跟踪方法中的搜索图像设置为下一个摄像头拍摄的整张图片，即全局搜索目标，找到目标后根据预测的目标位置再缩小搜索图像，在局部搜索目标。
[0102]
本优选实例视频图像处理模块采用了目标跟踪方法对视频图像数据进行了分析处理，设计了一种查询引导的目标跟踪方法，提高跟踪的准确性的同时提高了跟踪的鲁棒性，进而提供智慧工厂监控系统的高效性以保障工厂环境的安全；现有的基于孪生网络的跟踪方法siamrpn离线训练主干网络，在线跟踪时不更新网络，因此具有较高的实时性，同时创新的引入区域建议网络提高了跟踪的准确性，兼具跟踪的准确性与实时性，因此满足智慧工厂监控系统的基本要求，但siamrpn仍然存在一些局限性，一是在离线训练主干网络时会面临样本不均衡的问题，大量的简单负样本起主要贡献作用，会主导梯度的更新方向，网络很难有效学到有用的信息，因此跟踪的准确性有待提高，二是在线跟踪时会在分类分支上增加一个基于目标距离上一帧目标位置更近的假设的余弦窗作为位置惩罚，当待跟踪的可疑目标运动过快会打破这个假设，那么基于目标距离上一帧目标位置更近的假设的余
弦窗反而会造成跟踪失败；针对以上第一个问题，设计了一种查询引导的目标跟踪方法，该方法提出了一个重要性感知损失函数，在网络上的离线训练阶段，当网络前向传播输出预测值时，利用回归损失函数与分类损失函数分别计算出各自的损失值，然后将计算后的损失值送入调整损失大小的函数中进行调整，调整损失大小的函数将简单负样本的损失进一步减小，困难负样本及正样本的损失进一步增大，然后利用调整后的损失进行反向传播学习网络参数。设计后的损失可以有效减少简单负样本起主要贡献作用，增强困难负样本及正样本的贡献，防止了样本不均衡带来的网络难以有效学习到有用信息的问题，提高了跟踪的准确性。针对以上第二个问题，设计了一个目标查询的惩罚，将考虑到目标运动信息的目标速度指导的位置惩罚和考虑到目标自身颜色信息的目标颜色指导的位置惩罚相结合，目标速度指导的位置惩罚首先计算出上一帧目标中心位置与隔上一帧目标中心位置之间的距离，该距离反映了目标运动的快慢，然后利用该距离与余弦窗相结合获得最终的目标速度指导的位置惩罚，目标颜色指导的位置惩罚利用目标颜色直方图学习一滤波器，滤波器与搜索图像的颜色直方图进行互相关获得目标颜色指导的位置惩罚，目标速度指导的位置惩罚与目标颜色指导的位置惩罚加权融合得到最终的目标查询的惩罚，将目标查询的惩罚与分类分支的得分图相乘，便得到了最终的分类得分图，设计的目标查询的惩罚通过目标运动信息和目标颜色信息的相结合来替代原始的余弦窗，打破了目标距离上一帧目标距离较近的可能性比较大的这一假设，在目标运动快速时能够有效定位目标，提高了跟踪的鲁棒性。
[0103]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。