基于高位视频监控的阴影检测方法以及系统与流程

本发明涉及图像处理，特别是涉及一种基于高位视频监控的阴影检测方法以及系统。

背景技术：

1、近年来，高位视频技术发展迅速，通过在路侧安装高位视频摄像头进行数据采集，利用视觉算法对采集的数据可实现车辆检测、车牌识别、车辆跟踪、行人检测、泊位线检测等多种任务，有利于对路侧停车实现更加精细且准确的管理，从而为车路协同技术的部署与发展提供数据，从而对于城市的交通管理、行车安全等各个方面都具有积极地促进作用。在一年的不同季节以及一天的不同光照时间段中，监控视频镜头拍摄记录的视频图像中行人、车辆等目标的阴影也会随之变换，目标的阴影检测也具有重要的意义。

2、传统阴影检测方法采用边缘信息检测算法，通过对图像中的低阶边缘部分进行划分，获取阴影部分的边缘，实现从图像中分类出阴影部分，获得阴影区域。然而，传统阴影检测方法的边缘定位不准确，导致阴影区域的检测精度低，无法准确地将阴影区域检测出来。

技术实现思路

1、本发明的目的是解决传统阴影检测方法检测精度低的技术问题。为实现上述目的，本发明提供一种基于高位视频监控的阴影检测方法以及系统。

2、本发明提供一种基于高位视频监控的阴影检测方法，包括：

3、构建目标级阴影图像数据集；

4、将所述目标级阴影图像数据集输入至初始阴影检测模型的阴影检测提取网络中进行特征提取，输出目标级阴影图像特征集；

5、将所述目标级阴影图像特征集输入至所述初始阴影检测模型的阴影检测分类回归网络中进行学习，输出各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置；

6、将所述目标级阴影图像特征集输入至所述初始阴影检测模型的目标阴影掩码学习网络中进行学习，输出各个候选区域框的预测二值化掩码；

7、根据所述各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置与所述各个候选区域框的预测二值化掩码，构建模型损失函数对所述初始阴影检测模型进行模型优化与参数更新，获得阴影检测模型；

8、根据所述阴影检测模型对待测路侧监控场景图像进行检测，获得阴影区域与所述阴影区域对应的目标区域。

9、在一个实施例中，所述将所述目标级阴影图像数据集输入至初始阴影检测模型的阴影检测提取网络中进行特征提取，输出目标级阴影图像特征集，包括：

10、将所述目标级阴影图像数据集输入至所述阴影检测提取网络的特征压缩结构中进行特征压缩，输出全局压缩特征集；

11、将所述全局压缩特征集输入至所述阴影检测提取网络的重新建模结构中进行重建，输出所述目标级阴影图像特征集。

12、在一个实施例中，所述将所述目标级阴影图像特征集输入至所述初始阴影检测模型的阴影检测分类回归网络中进行学习，输出各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置，包括：

13、将所述目标级阴影图像特征集输入至多层第一卷积模块和第一全连接层中进行类别分类学习，输出所述各个检测框的所述预测目标类别、所述预测阴影类别以及所述预测背景类别；

14、将所述目标级阴影图像特征集输入至多层第二卷积模块和第二全连接层中进行二维检测框坐标位置学习，输出所述各个检测框的所述预测目标位置与所述预测阴影位置。

15、在一个实施例中，所述将所述目标级阴影图像特征集输入至所述初始阴影检测模型的目标阴影掩码学习网络中进行学习，输出各个候选区域框的预测二值化掩码，包括：

16、将所述目标级阴影图像特征集输入至两阶段掩码分支网络的区域提取网络中进行区域提取，获得多个候选区域框；

17、将所述多个候选区域框输入至所述两阶段掩码分支网络的候选框对齐层中进行尺寸调整，获得多个同尺寸候选区域框；

18、将所述多个同尺寸候选区域框输入至所述两阶段掩码分支网络的掩码预测层，获得所述各个候选区域框的所述预测二值化掩码。

19、在一个实施例中，所述目标级阴影图像数据集包括目标标注数据，所述目标标注数据包括所述各个检测框的真实目标类别、真实阴影类别、真实背景类别、真实目标位置、真实阴影位置以及真实二值化掩码；

20、所述根据所述各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置与所述各个候选区域框的预测二值化掩码，构建模型损失函数对所述初始阴影检测模型进行模型优化与参数更新，获得阴影检测模型，包括：

21、根据所述各个检测框的真实目标类别、真实阴影类别、真实背景类别、所述预测目标类别、所述预测阴影类别以及所述预测背景类别，形成分类损失函数；

22、根据所述真实目标位置、所述真实阴影位置、所述预测目标位置以及所述预测阴影位置，形成位置回归损失函数；

23、根据所述真实目标位置与所述真实阴影位置，获得阴影检测框中心点相对于目标检测框中心点的真实阴影偏移量，根据所述预测目标位置与所述预测阴影位置，获得阴影检测框中心点相对于目标检测框中心点的预测阴影偏移量，并根据所述真实阴影偏移量与所述预测阴影偏移量，形成阴影偏移损失函数；

24、根据所述真实二值化掩码与所述预测二值化掩码，形成掩码损失函数；

25、根据所述分类损失函数、所述位置回归损失函数、所述阴影偏移损失函数以及所述掩码损失函数，构建所述模型损失函数。

26、在一个实施例中，一种基于高位视频监控的阴影检测系统，包括：

27、数据集构建模块，用于构建目标级阴影图像数据集；

28、阴影检测提取网络模块，用于将所述目标级阴影图像数据集输入至初始阴影检测模型的阴影检测提取网络中进行特征提取，输出目标级阴影图像特征集；

29、阴影检测分类回归网络模块，用于将所述目标级阴影图像特征集输入至所述初始阴影检测模型的阴影检测分类回归网络中进行学习，输出各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置；

30、目标阴影掩码学习网络模块，用于将所述目标级阴影图像特征集输入至所述初始阴影检测模型的目标阴影掩码学习网络中进行学习，输出各个候选区域框的预测二值化掩码；

31、阴影检测模型生成模块，用于根据所述各个检测框的预测目标类别、预测阴影类别、预测背景类别、预测目标位置以及预测阴影位置与所述各个候选区域框的预测二值化掩码，构建模型损失函数对所述初始阴影检测模型进行模型优化与参数更新，获得阴影检测模型；

32、阴影区域检测模块，用于根据所述阴影检测模型对待测路侧监控场景图像进行检测，获得阴影区域与所述阴影区域对应的目标区域。

33、在一个实施例中，所述阴影检测提取网络模块包括：

34、特征压缩模块，用于将所述目标级阴影图像数据集输入至所述阴影检测提取网络的特征压缩结构中进行特征压缩，输出全局压缩特征集；

35、重新建模模块，用于将所述全局压缩特征集输入至所述阴影检测提取网络的重新建模结构中进行重建，输出所述目标级阴影图像特征集。

36、在一个实施例中，所述阴影检测分类回归网络模块包括：

37、分类学习模块，用于将所述目标级阴影图像特征集输入至多层第一卷积模块和第一全连接层中进行类别分类学习，输出所述各个检测框的所述预测目标类别、所述预测阴影类别以及所述预测背景类别；

38、位置回归模块，用于将所述目标级阴影图像特征集输入至多层第二卷积模块和第二全连接层中进行二维检测框坐标位置学习，输出所述各个检测框的所述预测目标位置与所述预测阴影位置。

39、在一个实施例中，所述目标阴影掩码学习网络模块包括：

40、区域提取网络模块，用于将所述目标级阴影图像特征集输入至两阶段掩码分支网络的区域提取网络中进行区域提取，获得多个候选区域框；

41、候选框对齐层模块，用于将所述多个候选区域框输入至所述两阶段掩码分支网络的候选框对齐层中进行尺寸调整，获得多个同尺寸候选区域框；

42、掩码预测层模块，用于将所述多个同尺寸候选区域框输入至所述两阶段掩码分支网络的掩码预测层，获得所述各个候选区域框的所述预测二值化掩码。

43、在一个实施例中，所述目标级阴影图像数据集包括目标标注数据，所述目标标注数据包括所述各个检测框的真实目标类别、真实阴影类别、真实背景类别、真实目标位置、真实阴影位置以及真实二值化掩码；

44、所述阴影检测模型生成模块包括：

45、分类损失函数形成模块，用于根据所述各个检测框的真实目标类别、真实阴影类别、真实背景类别、所述预测目标类别、所述预测阴影类别以及所述预测背景类别，形成分类损失函数；

46、位置回归损失函数形成模块，用于根据所述真实目标位置、所述真实阴影位置、所述预测目标位置以及所述预测阴影位置，形成位置回归损失函数；

47、阴影偏移损失函数形成模块，用于根据所述真实目标位置与所述真实阴影位置，获得阴影检测框中心点相对于目标检测框中心点的真实阴影偏移量，根据所述预测目标位置与所述预测阴影位置，获得阴影检测框中心点相对于目标检测框中心点的预测阴影偏移量，并根据所述真实阴影偏移量与所述预测阴影偏移量，形成阴影偏移损失函数；

48、掩码损失函数形成模块，用于根据所述真实二值化掩码与所述预测二值化掩码，形成掩码损失函数；

49、模型损失函数形成模块，用于根据所述分类损失函数、所述位置回归损失函数、所述阴影偏移损失函数以及所述掩码损失函数，构建所述模型损失函数。

50、上述基于高位视频监控的阴影检测方法以及系统中，构建了始阴影检测模型的阴影检测提取网络、阴影检测分类回归网络以及目标阴影掩码学习网络，对目标级阴影图像数据集中标注的目标及对应的阴影进行成对的学习，并从目标类别、阴影类别、背景类别、目标位置、阴影位置以及二值化掩码多个维度方向对目标及阴影进行区分检测识别，可以更加准确地对各个目标区域以及阴影区域进行定位，将监控视频图像中的目标及其对应的阴影检测出来，有助于后续对每个目标的阴影进行针对性的处理，进行路侧停车管理并给出更加准确的判断依据。通过本发明提供的基于高位视频监控的阴影检测方法，将图像中阴影区域检测出来后，可以对图像中无关目标的阴影位置进行隐私保护，且可以根据检测到的阴影位置及形状来判断光照方向，为后续实现更加全面智能的交通管理提供更多的判断依据。