一种基于目标检测信度动态融合的目标识别方法

1.本发明涉及计算机视觉、机器学习等领域，具体涉及一种基于目标检测信度动态融合的目标识别方法。


背景技术：

2.目前大部分的目标识别模型是先将输入图像划分为网格形式，再通过训练好的神经网络提取当前时刻图像的特征，并对每个网格进行图像分类和定位，获得预测对象的边界框以及对应类的识别置信度，最后将识别置信度与预设信度阈值进行比较，判断目标是否出现。
3.虽然现在关于目标识别已经有很多研究，但是还是存在一些未解决好的问题。在实际中，天气变化、局部目标遮挡等原因都会造成每个时刻获取的信度值出现不确定性变化，间歇或长期的低于信度阈值，导致真实存在的目标暂时或长期丢失。
4.所以，如何提高目标在复杂场景下的识别信度，进而提升目标识别的可靠性和稳定性是有待解决的问题。


技术实现要素：

5.为了解决上述的技术问题，本发明的目的就在于提高识别目标的置信度，提升目标识别的可靠性和稳定性，提供一种基于目标检测信度动态融合的目标识别方法。
6.本发明所采用的技术方案是：
7.(1)获取监控视频，将视频文件截取成图片流。
8.(2)建立yolo目标识别模型，对图片中的目标施加预测框进行标定。
9.(3)利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度。
10.(4)基于目标检测信度动态融合规则，将目标检测信度动态融合。
11.(5)将单一目标准确的预测框和动态融合信度标记在图片上。
12.上述的技术方案，其中，所述步骤(1)中获取监控视频，将视频文件截取成图片流包括如下步骤：
13.对于监控摄像头捕获的关于待识别目标的视频文件，利用python中的opencv库将视频文件截取成图片流，记为p1,...,p
t
,...,p
t
，t＝1,2,...,t，t表示图片采样时刻，t表示获取图片的总个数，2《t《+∞。
14.上述的技术方案，其中，所述步骤(2)中建立yolo目标识别模型，对图片中的目标施加预测框进行标定包括如下步骤：
15.建立yolo目标识别模型，它是由n个权值参数构成的一个特征提取网络，权值参数集合记为q＝{qn|n＝1,2
…
,n}，qn表示第n个权值参数，且0≤qn≤1，将步骤(1)中图片p
t
输入yolo模型变换为416像素
×
416像素的三原色数据矩阵，对该三原色数据矩阵进行12次卷积计算提取图像中的目标特征，并对识别出的单一目标施加预测框进行标定。
16.上述的技术方案，其中，所述步骤(3)中利用非极大值抑制算法得到单一目标准确
的预测框和目标检测信度包括如下步骤：
17.将步骤(2)中的预测框进行堆叠，并利用非极大抑制算法得到单一目标准确的预测框和目标检测信度，将目标检测信度记为c
t
，0≤c
t
≤1。
18.上述的技术方案，其中，所述步骤(4)中基于目标检测信度动态融合规则，将目标检测信度动态融合包括如下步骤：
19.基于目标检测信度动态融合规则，将当前t时刻的目标检测信度与历史时刻的目标检测信度进行融合，得到当前t时刻的动态融合信度，记为b
t
，具体步骤如下：
20.(4-1)设定目标检测信度c
t
的重要性权重为w
t
，且有0.7≤w
t
≤1(t＝1,2
…
,t)，目标检测信度c
t
的可靠性为r
t
，通过如下公式计算：
[0021][0022]
其中，r0＝0.5是可靠性初值，f是可靠性标志函数，通过如下公式计算：
[0023][0024]
设定a＝(1,0,0)，b
t*
＝(b
t
,0,1-b
t
)，c
t*
＝(c
t
,0,1-c
t
)，λ是可靠性变化系数，通过如下公式计算：
[0025][0026]
其中，cosθ1和cosθ2通过如下公式计算：
[0027][0028][0029]
·
表示求向量的内积，|a|
×
|c
t*
|中||表示对向量取模；
[0030]
式(3)中的为可靠性的平均值通过如下公式计算：
[0031][0032]
(4-2)当t＝2时，通过步骤(3)获得t＝2时刻的目标检测信度c2，将c2与b1进行融
合，得到融合信度
[0033][0034]
其中ξ
t-1,t
和通过如下的目标检测信度动态融合规则公式获得：
[0035]
ξ
t-1,t
＝[(1-r
t
)w
tct
+(1-r
t-1
)w
t-1bt-1
]+c
tbt-1
+c
t
(1-b
t-1
)+(1-c
t
)b
t-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0036][0037]
即把t＝1时刻和t＝2时刻的目标检测信度融合得到t＝2时刻的融合信度，再将融合信度m
t
进行pignistic概率转换，得到目标的动态融合信度b
t
，通过如下公式计算：
[0038][0039]
(4-3)当3≤t≤t时，重复以上步骤(4-1)和(4-2)，即可获得该时刻目标的动态融合信度b
t
。
[0040]
上述的技术方案，其中，所述步骤(5)中将单一目标准确的预测框和动态融合信度标记在图片上包括如下步骤：
[0041]
当t时刻的动态融合信度b
t
＞0.8时，则认为该目标确实存在，并利用python中的pil(python imaging library)库将预测框和动态融合信度标记在p
t
上。
[0042]
本发明的有益效果：
[0043]
1、本发明采用基于yolo的目标识别模型，避免试用复杂的数学模型和辨识框架，快速检测出待识别目标，满足监控系统实时处理的要求。
[0044]
2、本发明采用基于目标检测信度动态融合规则，相较于传统的yolo模型能有效提高目标在天气变化、局部目标遮挡等情况下的置信度，进而提升目标识别的可靠性和稳定性。
附图说明
[0045]
图1是本发明方法的步骤图；
[0046]
图2是本发明方法的流程图；
[0047]
图3(a)和图3(b)是实例中所提的港口识别图；
[0048]
图4是本发明方法实例中c
t
和b
t
的数据图。
具体实施方案
[0049]
以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。
[0050]
如图1和图2，本发明的实现步骤如下：
[0051]
a获取监控视频，将视频文件截取成图片流。
[0052]
在某港口的监控云台设有监控摄像头，摄像头从俯视角度观测港口吊机、轿车、集装箱等目标，并实时的将图像传入监控计算机，记为p1,...,p
t
,...,p
t
，t＝1,2,...,t，t表示图片采样时刻，t表示获取图片的总个数，2《t《+∞。
[0053]
b建立yolo目标识别模型，对图片中的目标施加预测框进行标定。
[0054]
将步骤(1)中图片p
t
输入已训练好的yolo模型，将图片变换为416像素
×
416像素
的三原色数据矩阵，对该三原色数据矩阵进行12次卷积计算提取图像中的目标特征，并对识别出的单一目标施加预测框进行标定。
[0055]
c利用非极大值抑制算法得到单一目标准确的预测框和目标检测信度。
[0056]
将步骤(2)中的预测框进行堆叠，并利用非极大抑制算法得到某一轿车准确的预测框和目标检测信度，不同时刻目标检测信度分别为c1,c2,...,c
45
，如表1所示：
[0057]
表1目标识别信度表
[0058][0059]
在本案例中，由于存在局部目标遮挡和光线问题，目标的识别置信度出现不确定性变化，导致目标丢失。图3(a)为某时刻该港口的识别结果图，其中箭头所指示的轿车，由于被部分遮挡，使得其识别置信度低于阈值，导致目标无法被识别。
[0060]
d基于目标检测信度动态融合规则，将目标检测信度动态融合。
[0061]
根据步骤(4)，基于目标识别信度动态融合规则，将当前时刻的目标识别信度与历史时刻的目标识别信度进行动态融合。
[0062]
按照步骤(4)可以分别计算出这45个时刻的动态置信度如下：
[0063]
当t＝1时，根据步骤(4-1)可得，b1＝c1＝0.791；
[0064]
当t＝2时，根据步骤(4-2)，取w1＝w2＝1，r1＝0.5计算2时刻置信度的可靠性r2：通过公式(2)计算出f＝1，通过公式(4)计算出cosθ1＝0.970，通过公式(5)计算出cosθ2＝0.967，进而通过公式(3)计算出λ＝0.477，把可靠性初值r0、可靠性标志f、可靠性变化系数λ代入公式(1)中得到r2＝0.738，根据步骤(4-3)利用公式(7)～(9)对b1进行更新可以得到更新后的融合置信度m2＝0.888，最后利用公式(10)对融合置信度进行pignistic概率转换
得到动态置信度b2＝0.944。
[0065]
重复步骤(4)可以得到所有45个时刻的动态融合信度，如表2所示：
[0066]
表2动态融合信度表
[0067][0068]
其数据图如图4中b
t
所示。
[0069]
e将单一目标准确的预测框和动态融合信度标记在图片上。
[0070]
当t时刻的动态融合信度b
t
＞0.8时，则认为该目标确实存在，并利用python中的pil(python imaging library)库将预测框和动态融合信度标记在p
t
上。
[0071]
识别结果如表3所示：
[0072]
表3识别结果表
[0073]
[0074]
[0075][0076]
其中，目标在t＝1至t＝45时刻，由于部分遮挡和光线等原因导致识别置信度下降，利用普通的yolo模型会导致目标丢失，识别准确率为8.89％，而本发明方法的在目标被遮挡时能稳定的识别出目标，识别准确率为97.78％。利用本发现动态融合后的动态融合信度取代目标识别信度后，可以将图3(a)中的目标车辆识别出来，如图3(b)所示，可见本发明可以有效提高目标识别的准确度。