摄像头移动和/或遮挡的检测方法及装置与流程

1.本发明涉及图像处理技术，尤其涉及一种摄像头移动和/或遮挡的检测方法及装置。


背景技术：

2.智慧社区作为智慧城市中最重要的组成部分，是城镇化发展的新战略，也是社区管理与服务的创新模式。智慧社区为人们创造安全，舒适，便利，愉悦的社区生活环境，提高居民生活舒适度，归属感和幸福感。
3.智慧社区是指充分利用物联网、云计算、移动互联网等新一代信息技术，形成基于信息化、智能化社会管理与服务的新型管理模式的社区。而这些的实施，需要依托于庞大且稳定的监控系统，随着应用的扩展，需要部署的摄像头越来越多，而摄像头的工作状态是否正常成为了所有功能的最基础也是最重要的因素。
4.但很多摄像头因为外界或者人为因素发生移动或者遮挡，不仅会影响采集到的画面，进一步会影响后期的智能视频的分析，很有可能导致功能完全失效。尤其在面对越来越多的摄像头，由于数量庞大无法安排足够的人员检查每个摄像头的工作状态时，会严重影响监控效果。


技术实现要素：

5.本发明实施例提供一种摄像头移动和/或遮挡的检测方法及装置，通过逐步累积未发生移动和/或遮挡的历史图像的边缘信息，逐步加强图像中固定物体的稳定边缘信息，从而减少因光线、可移动物体的位置变化带来的误报问题，保障摄像头的正常工作状态。通过提取摄像头采集画面的边缘信息，并与历史信息进行比对，从而能够准确检测到摄像头是否发生了移动或遮挡，提高摄像头拍摄等监控效率。
6.本发明实施例的第一方面，提供一种摄像头移动和/或遮挡的检测方法，包括：
7.根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像；
8.基于所述边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡；
9.其中，所述历史图像为基于预设规则，对确定摄像头未发生移动和/或遮挡的所述边缘图像进行累计处理得到的。
10.可选地，在第一方面的一种可能实现方式中，在所述根据vgg16模型对摄像头获取到的图像进行处理之前，还包括：
11.基于初始vgg16模型构建所述vgg16模型。
12.可选地，在第一方面的一种可能实现方式中，所述基于初始vgg16模型构建所述vgg16模型，包括：
13.删除所述初始vgg16中的全连接层和最后的最大值池化；
14.将每个stage的所有层的feature map通过element-wisesum进行聚合，获取多个
聚合结果；
15.将每个所述聚合结果通过concatenate进行聚合，构建所述vgg16模型。
16.可选地，在第一方面的一种可能实现方式中，在所述获取多个聚合结果之后，还包括：
17.连接一个1x1x1的卷积，经过sigmoid激活后获取第一损失函数；
18.在所述将每个所述聚合结果通过concatenate进行聚合之后，还包括：
19.连接一个1x1x1的卷积，经过sigmoid激活后获取第二损失函数；
20.其中，所述第一损失函数和所述第二损失函数均为交叉熵损失函数。
21.可选地，在第一方面的一种可能实现方式中，所述预设规则如下：
22.t＝(1-α)
×
edge+α
×
history
23.其中，t代表历史图像，α代表可调的超参数，edge代表当前图像的边缘图像信息，history表示累积的历史图像信息。
24.可选地，在第一方面的一种可能实现方式中，所述根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像，包括：
25.根据所述vgg16模型获取图像中每个像素点是目标边缘的概率值，基于所述概率值，获取初始边缘图像；
26.对所述初始边缘图像进行灰度化处理，获取所述边缘图像。
27.可选地，在第一方面的一种可能实现方式中，在所述基于所述边缘图像和历史图像的边缘信息重合比之前，还包括：
28.对所述边缘图像和所述历史图像进行二值化处理，并基于处理结果获取所述边缘图像和所述历史图像的边缘信息重合比。
29.可选地，在第一方面的一种可能实现方式中，所述确定摄像头是否发生移动和/或遮挡，包括：
30.将所述边缘信息重合比和阈值比较；
31.若所述边缘信息重合比大于阈值，确定摄像头未发生移动和/或遮挡；
32.若所述边缘信息重合比小于阈值，确定摄像头发生移动和/或遮挡。
33.可选地，在第一方面的一种可能实现方式中，在所述确定摄像头是否发生移动和/或遮挡之后，还包括：
34.生成报警信息，基于所述报警信息报警。
35.本发明实施例的第二方面，提供一种摄像头移动和/或遮挡的监测装置，包括：
36.边缘模块，用于根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像；
37.判断模块，用于基于所述边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡；
38.其中，所述历史图像为基于预设规则，对确定摄像头未发生移动和/或遮挡的所述边缘图像进行累计处理得到的。
39.本发明实施例的第三方面，提供一种摄像头移动和/或遮挡的监测设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能涉及的所述方法。
40.本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能涉及的所述方法。
41.本发明提供的一种摄像头移动和/或遮挡的检测方法及装置，方法包括：根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像；基于边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡。本发明通过逐步累积未发生移动和/或遮挡的历史图像的边缘信息，逐步加强图像中固定物体的稳定边缘信息，从而减少因光线、可移动物体的位置变化带来的误报问题，保障摄像头的正常工作状态。通过提取摄像头采集画面的边缘信息，并与历史信息进行比对，从而能够准确检测到摄像头是否发生了移动或遮挡，提高摄像头拍摄等监控效率。
附图说明
42.图1是本发明实施例提供的一种应用场景示意图；
43.图2是本发明实施例提供的一种摄像头移动和/或遮挡的检测方法的流程图；
44.图3为本发明实施例提供的边缘图像的示意图；
45.图4为本发明实施例提供的摄像头发生移动和/或遮挡后的示意图；
46.图5为本发明实施例提供的一种摄像头移动和/或遮挡的检测装置的结构示意图；
47.图6是本发明实施例提供的一种摄像头移动和/或遮挡的检测设备的硬件结构示意图。
具体实施方式
48.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
50.应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
51.应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
52.应当理解，在本发明中，“多个”是指两个或两个以上。“和和/或或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和和/或或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“和/或”一般表示前后关联对象是一种“或”的
关系。“包含a、b和c”、“包含a、b、c”是指a、b、c三者都包含，“包含a、b或c”是指包含a、b、c三者之一，“包含a、b和和/或或c”是指包含a、b、c三者中任1个或任2个或3个。
53.应当理解，在本发明中，“与a对应的b”、“与a相对应的b”、“a与b相对应”或者“b与a相对应”，表示b与a相关联，根据a可以确定b。根据a确定b并不意味着仅仅根据a确定b，还可以根据a和和/或或其他信息确定b。a与b的匹配，是a与b的相似度大于或等于预设的阈值。
54.取决于语境，如在此所使用的“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。
55.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
56.图1是本发明实施例提供的一种应用场景示意图。如图1所示，智能社区摄像头未发生移动和/或遮挡的监控画面，其中获得居民楼1和居民楼2，若摄像头因为外界或者人为因素发生移动或者遮挡，不仅会影响采集到的画面，进一步会影响后期的智能视频的分析，很有可能导致功能完全失效。尤其在面对越来越多的摄像头，由于数量庞大无法安排足够的人员检查每个摄像头的工作状态时，会严重影响监控效果。因此本发明通过根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像；基于所述边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡；其中，所述历史图像为基于预设规则，对确定摄像头未发生移动和/或遮挡的所述边缘图像进行累计处理得到的。
57.本发明通过逐步累积未发生移动和/或遮挡的历史图像的边缘信息，逐步加强图像中固定物体的稳定边缘信息，从而减少因光线、可移动物体的位置变化带来的误报问题，保障摄像头的正常工作状态。通过提取摄像头采集画面的边缘信息，并与历史信息进行比对，从而能够准确检测到摄像头是否发生了移动或遮挡，提高摄像头拍摄等监控效率。
58.图2是本发明实施例提供的一种摄像头移动和/或遮挡的检测方法的流程图，如图2所示，本实施例包括步骤s101至步骤s102，具体如下：
59.s101，根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像。其中，vgg16模型相对现有的vgg16模型进行改进从而可以更加准确确定摄像头是否发生移动和/或遮挡。
60.本实施例中通过相对现有的vgg16改进后，对摄像头获取到的图像进行处理，得到图像中的边缘图像。相对于现有的传统提取图像边缘信息，利用颜色强度和颜色梯度，比如canny，或者基于特征学习，通过手动提取特征，例如强度、梯度、纹理来区分边缘和非边缘等更加高效和准确。
61.本实施通过vgg16模型对摄像头获取到的图像进行处理，例如卷积、激活等，从而更加准确、高效得获取图像的边缘图像，参见图3，图3为本发明实施例提供的边缘图像的示意图，如图3中的边缘图像包括居民楼a。
62.在一些实施例中，在所述根据vgg16模型对摄像头获取到的图像进行处理之前，还包括：基于初始vgg16模型构建所述vgg16模型。
63.具体地，删除所述初始vgg16模型中的全连接层和最后的最大值池化；将每个stage的所有层的feature map通过element-wisesum进行聚合，获取多个聚合结果；
64.将每个所述聚合结果通过concatenate进行聚合，构建所述vgg16模型。
65.其中，初始vgg16模型即表示现有的vgg16模型，例如包含13个卷积层、3个全连接
层以及5个池化层。本实施例中基于该初始vgg16模型构建vgg16模型，通过删除初始vgg16模型中的全连接层和最后的max pooling(最大池化)，将每个stage的所有层的feature map通过element-wisesum进行聚合，获取多个聚合结果；将每个所述聚合结果通过concatenate进行聚合，构建所述vgg16模型。
66.在一些实施例中，在所述获取多个聚合结果之后，还包括：
67.连接一个1x1x1的卷积，经过sigmoid激活后获取第一损失函数；
68.在所述将每个所述聚合结果通过concatenate进行聚合之后，还包括：
69.连接一个1x1x1的卷积，经过sigmoid激活后获取第二损失函数；
70.其中，所述第一损失函数和所述第二损失函数均为交叉熵损失函数。
71.具体地，vgg16模型删除了初始vgg16模型中的全连接层和最后的最大值池化；每个卷积层都与一个1x1x21的卷积相连，并且每个stage的所有层的feature map通过element-wisesum的方式进行聚合，连接一个1x1x1的卷积操作，再经过sigmoid激活后获得该stage的第一损失函数。每个stage的聚合(element-wise sum)结果通过concatenate操作进行聚合，经过1x1 x1的卷积及sigmoid后获得聚合后的第二损失函数。这里的第一损失函数和第二损失函数均为交叉熵损失函数，英文为cross-entropy loss。
72.经过验证，采用vgg16模型中通过融合多个stage的feature map，不仅可以获取比较明显的边界信息，还可以获取比较复杂的精细的细节信息。因此可以提高获取边缘图像的高效性和可靠性。
73.进而，根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像，包括：
74.根据vgg16模型获取图像至每个像素点是目标边缘的概率值，基于所述概率值，获取初始边缘图像；
75.对初始边缘图像进行灰度化处理，获取所述边缘图像。
76.具体地，vgg16模型可以获取图像中每个像素点是目标边缘的概率，基于像素点对应的概率值，获取初始边缘图像；进而对初始边缘图像进行灰度化处理，获得边缘图像。
77.本实施例中根据vgg16模型通过rcf(全称：richer convolutional features for edge detection)算法获得每个像素点是目标边缘的概率值，其中概率值为0～1之间的数值,基于概率值获取初始边缘图像；进而对初始边缘图像进行灰度化处理(分布到0～255),即对初始边缘图像进行灰度化处理,作为目标边缘的强度信息,获取边缘图像。
78.s102，基于所述边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡；其中，所述历史图像为基于预设规则，对确定摄像头未发生移动和/或遮挡的所述边缘图像进行累计处理得到的。其中，所述预设规则如下：
79.t＝(1-α)
×
edge+α
×
history
80.其中，t代表历史图像，α代表可调的超参数，edge代表当前图像的边缘图像信息，history表示累积的历史图像信息。
81.现实场景中，随着光线、风向、或者一些可移动物体的位置变化，这些都会使得提取到的边缘信息发生改变，从而影响边缘重合比例的计算结果，产生一些我们不需要的误报。因此我们可以加强摄像头画面中一些固定物体的稳定的边缘信息，采取的方法是逐渐累积未发生移动和/或遮挡的历史图片的边缘信息，即历史图像为基于预设规则，对确定摄
像头未发生移动和/或遮挡的边缘图像进行累计处理得到的。
82.具体的累积方案是(1-α)
×
edge+α
×
history,其中α是可调的超参数，edge表示当前图像的边缘信息，history表示累积的历史边缘信息，即可以表示为预设规则t。
83.本实施例中将该边缘图像与历史图像都进行二值化处理(二值化的阈值可以不一样)，即大于阈值的判定为边缘，设置1；否则为0。再将两个结果执行为“与”操作，计算边缘图像与历史图像的边缘信息重合比。将该重合比例与所设置的移动和/或遮挡的报警阈值进行比较，如果大于阈值，则说明重合度很高，摄像头未发生移动和/或遮挡，则将该图片累积到历史图片做进一步的边缘信息的加强；否则，则说明重合度较低，摄像头发生了移动和/或遮挡，需要输出该重合比例值，给报警模块做相应的报警处理。
84.在一些实施例中，在所述基于所述边缘图像和历史图像的边缘信息重合比之前，还包括：
85.对所述边缘图像和所述历史图像进行二值化处理，并基于处理结果获取所述边缘图像和所述历史图像的边缘信息重合比。
86.本实施例中将该边缘图像与历史图像都进行二值化处理(二值化的阈值可以不一样)，即大于阈值的判定为边缘，设置1；否则为0。再将两个结果执行为“与”操作，计算边缘图像与历史图像的边缘信息重合比。
87.在一些实施例中，所述确定摄像头是否发生移动和/或遮挡，包括：
88.将所述边缘信息重合比和阈值比较；
89.若所述边缘信息重合比大于阈值，确定摄像头未发生移动和/或遮挡；
90.若所述边缘信息重合比小于阈值，确定摄像头发生移动和/或遮挡。
91.本实施例中，将该重合比例与所设置的移动和/或遮挡的报警阈值进行比较，如果大于阈值，则说明重合度很高，摄像头未发生移动和/或遮挡，则将该图片累积到历史图片做进一步的边缘信息的加强；否则，则说明重合度较低，摄像头发生了移动和/或遮挡，需要输出该重合比例值，给报警模块做相应的报警处理。
92.在一些实施例中，在所述确定摄像头是发生移动和/或遮挡之后，还包括：
93.生成报警信息，基于所述报警信息报警。
94.本实施例中，利用部署的服务器，向用户提供方便使用的web界面，便于相关人员快速、高效的对摄像头的工作状态进行掌控与调整。例如，vgg16模型可以设定1小时检测一次，当检测摄像头发生了移动和/或遮挡时，会发出报警，并同时提供移动和/或遮挡的对比图片。参考图4，图4为本发明实施例提供的摄像头发生移动和/或遮挡后的示意图，如图4中居民楼a右侧的窗户图像未能显示。
95.本发明通过逐步累积未发生移动和/或遮挡的历史图像的边缘信息，逐步加强图像中固定物体的稳定边缘信息，从而减少因光线、可移动物体的位置变化带来的误报问题，保障摄像头的正常工作状态。通过提取摄像头采集画面的边缘信息，并与历史信息进行比对，从而能够准确检测到摄像头是否发生了移动或遮挡，提高摄像头拍摄等监控效率。
96.图5为本发明实施例提供的一种摄像头移动和/或遮挡的检测装置的结构示意图，如图5所示，本实施例的装置10可以包括：
97.边缘模块11，用于根据vgg16模型对摄像头获取到的图像进行处理，获取图像中的边缘图像；
98.判断模块12，用于基于所述边缘图像和历史图像的边缘信息重合比，确定摄像头是否发生移动和/或遮挡；
99.其中，所述历史图像为基于预设规则，对确定摄像头未发生移动和/或遮挡的所述边缘图像进行累积处理得到的。
100.图5所示实施例的装置对应地可用于执行图2所示方法实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。
101.图6是本发明实施例提供的一种摄像头移动和/或遮挡的检测设备的硬件结构示意图，该设备20包括：处理器21、存储器22和计算机程序；其中
102.存储器22，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
103.处理器21，用于执行所述存储器存储的计算机程序，以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
104.可选地，存储器22既可以是独立的，也可以跟处理器21集成在一起。
105.当所述存储器22是独立于处理器21之外的器件时，所述设备还可以包括：
106.总线23，用于连接所述存储器22和处理器21。
107.本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
108.其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(application specific integrated circuits，简称：asic)中。另外，该asic可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(rom)、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
109.本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
110.在上述设备的实施例中，应理解，处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
111.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。