画面区域变化检测方法、装置、电子设备和存储介质与流程

文档序号:31538643发布日期:2022-09-16 23:15阅读:364来源:国知局
画面区域变化检测方法、装置、电子设备和存储介质与流程

1.本技术涉及计算机视觉和图像处理领域,尤其涉及一种画面区域变化检测方法、装置、电子设备和存储介质。


背景技术:

2.随着计算机视觉技术的发展,计算机视觉算法在智慧交通、安防监控等领域的应用越来越多。在一些应用场景中,需要预设图像处理区域(例如对图像中的地铁口设置检测范围,或者划定监控场景中的路面范围等),用以固定算法处理的区域,但是预设区域的前提是摄像头不会发生意外的变动,一旦变动后可能导致预设区域无效,例如当摄像头遭遇晃动后,摄像头所拍摄的画面区域会发生偏移,导致原先设定的区域发生改变,从而影响后续算法精度。因此有必要对摄像画面区域是否发生变化进行检测,以便在检测到变化后及时进行相应的维护处理。
3.相关技术中,使用帧差法检测摄像画面区域是否发生变化,然而帧差法需要对两帧画面进行逐像素相减,存在准确性和鲁棒性较低的问题,例如在画面中有动态物体的情况下容易误判,在两帧间的天气或光照发生变化的情况下难以保持检测精度,并且计算量大导致检测速度较慢。


技术实现要素:

4.本技术提供一种画面区域变化检测方法、装置、电子设备和存储介质,可以提高检测的准确性、稳定性和速度。
5.第一方面,本技术实施例提供了一种画面区域变化检测方法,所述方法包括:
6.获取第一图像和第二图像;
7.分别对所述第一图像和所述第二图像进行关键点提取,获得所述第一图像中各第一关键点的特征信息和位置信息,以及所述第二图像中各第二关键点的特征信息和位置信息;
8.基于各所述第一关键点和各所述第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,每一所述关键点对中包括一个第一关键点和一个第二关键点;
9.根据各所述关键点对的匹配度信息对各所述关键点对进行筛选,获得至少一个第一目标关键点对;
10.根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
11.上述实施例中,通过对两图像进行关键点提取和匹配获得匹配的关键点对及其匹配度信息,根据关键点对的匹配度信息筛选出正确匹配的第一目标关键点对,再根据第一目标关键点对中两个关键点的位置信息判断两图像的画面区域是否发生相对变化。据此,仅利用图像中的关键点信息进行画面区域变化检测,计算量较小,有利于提高检测速度以
达到实时检测画面区域变化的效果,并且不容易受到画面中的动态物体影响,对于天气、光照变化也不敏感,有利于提高检测准确性和鲁棒性。
12.在一些可能的实施方式中,所述基于各所述第一关键点和各所述第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,包括:
13.根据各所述第一关键点和各所述第二关键点的特征信息,获得各所述第一关键点与各所述第二关键点之间的特征距离;
14.基于各所述第一关键点与各所述第二关键点之间的特征距离进行关键点匹配,获得匹配的关键点对,所述匹配度信息包括匹配距离,所述匹配距离为所述关键点对中的第一关键点与第二关键点之间的特征距离。
15.上述实施方式中,利用特征距离能够较为准确地表征第一关键点与第二关键点的相似度,基于特征距离进行关键点匹配,有利于提高匹配的成功率,得到更可靠的关键点对。
16.在一些可能的实施方式中,所述根据各所述关键点对的匹配度信息对各所述关键点对进行筛选,获得至少一个第一目标关键点对,包括:
17.从各所述关键点对的匹配距离中选取最小匹配距离,基于所述最小匹配距离确定匹配距离阈值;
18.根据匹配距离小于或等于所述匹配距离阈值的关键点对,获得至少一个第一目标关键点对。
19.上述实施方式中,引入匹配距离阈值对关键点对的匹配度进行评估,通过直接比较匹配距离与匹配距离阈值的大小,可以快速判断关键点对的匹配度高低,继而去除匹配度较低的关键点对,保留匹配度较高的关键点对用于后续计算,有助于提高检测准确性。
20.在一些可能的实施方式中,所述基于所述最小匹配距离确定匹配距离阈值,包括:将所述最小匹配距离乘以预设倍数,获得匹配距离阈值,所述预设倍数的范围为2至4。
21.上述实施方式中,利用最小匹配距离与预设倍数的乘积获得的匹配距离阈值,可以将匹配距离大的关键点对尽可能筛除,使得保留的关键点对的都为正确匹配的关键点对的概率更高。
22.在一些可能的实施方式中,所述根据匹配距离小于或等于所述匹配距离阈值的关键点对,获得至少一个第一目标关键点对,包括:
23.在匹配距离小于或等于所述匹配距离阈值的关键点对的数量小于或等于预设数量的情况下,将所有的匹配距离小于或等于所述匹配距离阈值的关键点对,确定为第一目标关键点对;或,
24.在匹配距离小于或等于所述匹配距离阈值的关键点对的数量大于所述预设数量的情况下,按照匹配距离从小到大的顺序,对所有的匹配距离小于或等于所述匹配距离阈值的关键点对进行排序,将其中排序靠前的所述预设数量的关键点对,确定为第一目标关键点对。
25.上述实施方式中,通过预设第一目标关键点对的最大数量,可以避免过多的第一目标关键对进入后续计算中影响判断,有利于提高检测准确性,同时减小计算量。
26.在一些可能的实施方式中,所述根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,确定所述第一图像与所述第二图像的画面区域是否发生相对变
化,包括:
27.根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对的位置偏差;
28.根据各所述第一目标关键点对的位置偏差对各所述第一目标关键点对进行筛选,获得第二目标关键点对;
29.基于所述第一目标关键点对和所述第二目标关键点对的数量,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
30.上述实施方式中,根据第一目标关键点对的位置偏差筛选出其中位置偏差较小的第二目标关键点对,再根据第一目标关键点对和第二目标关键点对的数量,能够快速且准确地判断两图像的画面区域是否发生相对变化。
31.在一些可能的实施方式中,所述根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对的位置偏差,包括:
32.根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对中的第一关键点与第二关键点之间的欧式距离,作为各所述第一目标关键点对的位置偏差。
33.上述实施方式中,使用欧式距离计算各第一目标关键点对中的第一关键点和第二关键点的位置偏差,能够有效地反映画面区域变化。
34.在一些可能的实施方式中,所述根据各所述第一目标关键点对的位置偏差对各所述第一目标关键点对进行筛选,获得第二目标关键点对,包括:
35.将位置偏差小于或等于预设的位置偏差阈值的第一目标关键点对,确定为第二目标关键点对。
36.上述实施方式中,引入位置偏差阈值对第一目标关键点对的位置偏差进行评估,通过直接比较位置偏差与位置偏差阈值的大小,可以快速且准确地判断相互匹配的两个关键点的位置变化情况。
37.在一些可能的实施方式中,所述基于所述第一目标关键点对和所述第二目标关键点对的数量,确定所述第一图像与所述第二图像的画面区域是否发生相对变化,包括:
38.根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度,其中,所述数量差为所述第一目标关键点对与所述第二目标关键点对的数量差;
39.根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
40.上述实施方式中,通过计算第一目标关键点对与第二目标关键点对的数量差,根据数量差与第一目标关键点对的数量的比值的平方值获得置信度,用以判断两图像的画面区域是否发生相对变化,据此能够更注重正确匹配的且位置不变的关键点对对于判断结果的贡献度,减少画面中动态物体对于判断结果的影响,使得判断结果更接近于真实情况,有利于提高检测准确性。
41.在一些可能的实施方式中,所述根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度,包括:
42.将数量差与所述第一目标关键点对的数量的比值的平方值,确定为第一置信度,所述置信度包括所述第一置信度;
43.所述根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化,包括:
44.在所述第一置信度大于或等于预设的第一置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域发生了相对变化;或,
45.在所述第一置信度小于所述第一置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域未发生相对变化。
46.上述实施方式中,引入第一置信度阈值对第一置信度进行评估,通过直接比较第一置信度与第一置信度阈值的大小,可以快速且准确地判断画面区域的变化情况。
47.在一些可能的实施方式中,所述根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度,包括:
48.使用预设数值减去数量差与所述第一目标关键点对的数量的比值的平方值,获得第二置信度,所述置信度包括所述第二置信度;
49.所述根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化,包括:
50.在所述第二置信度大于或等于预设的第二置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域未发生相对变化;或,
51.在所述第二置信度小于所述第二置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域发生了相对变化。
52.上述实施方式中,引入第二置信度阈值对第二置信度进行评估,通过直接比较第二置信度与第二置信度阈值的大小,可以快速且准确地判断画面区域的变化情况。
53.在一些可能的实施方式中,所述获取第一图像和第二图像,包括:
54.从摄像头实时拍摄的视频画面中,获取相邻的两帧画面;
55.分别从所述相邻的两帧画面中提取预设区域,获得第一图像和第二图像,所述预设区域包括静态区域。
56.上述实施方式中,通过设置预设区域,基于画面中的预设区域进行后续图像处理和画面区域变化检测,有利于减小计算量,提高检测速度。此外,预设区域可以设置为静态区域,即不容易出现动态物体的区域,据此有利于减少画面中的动态物体对画面区域变化检测的影响,提高检测准确性。
57.第二方面,本技术实施例提供了一种画面区域变化检测装置,所述装置包括:
58.获取单元,用于获取第一图像和第二图像;
59.关键点提取单元,用于分别对所述第一图像和所述第二图像进行关键点提取,获得所述第一图像中各第一关键点的特征信息和位置信息,以及所述第二图像中各第二关键点的特征信息和位置信息;
60.关键点匹配单元,用于基于各所述第一关键点和各所述第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,每一所述关键点对中包括一个第一关键点和一个第二关键点;
61.筛选单元,用于根据各所述关键点对的匹配度信息对各所述关键点对进行筛选,获得至少一个第一目标关键点对;
62.确定单元,用于根据各所述第一目标关键点对中的第一关键点和第二关键点的位
置信息,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
63.在一些可能的实施方式中,所述关键点匹配单元具体用于:
64.根据各所述第一关键点和各所述第二关键点的特征信息,获得各所述第一关键点与各所述第二关键点之间的特征距离;
65.基于各所述第一关键点与各所述第二关键点之间的特征距离进行关键点匹配,获得匹配的关键点对,所述匹配度信息包括匹配距离,所述匹配距离为所述关键点对中的第一关键点与第二关键点之间的特征距离。
66.在一些可能的实施方式中,所述筛选单元具体用于:从各所述关键点对的匹配距离中选取最小匹配距离,基于所述最小匹配距离确定匹配距离阈值;根据匹配距离小于或等于所述匹配距离阈值的关键点对,获得至少一个第一目标关键点对。
67.在一些可能的实施方式中,所述筛选单元在基于所述最小匹配距离确定匹配距离阈值时,具体用于:将所述最小匹配距离乘以预设倍数,获得匹配距离阈值,所述预设倍数的范围为2至4。
68.在一些可能的实施方式中,所述筛选单元在根据匹配距离小于或等于所述匹配距离阈值的关键点对,获得至少一个第一目标关键点对时,具体用于:
69.在匹配距离小于或等于所述匹配距离阈值的关键点对的数量小于或等于预设数量的情况下,将所有的匹配距离小于或等于所述匹配距离阈值的关键点对,确定为第一目标关键点对;或,
70.在匹配距离小于或等于所述匹配距离阈值的关键点对的数量大于所述预设数量的情况下,按照匹配距离从小到大的顺序,对所有的匹配距离小于或等于所述匹配距离阈值的关键点对进行排序,将其中排序靠前的所述预设数量的关键点对,确定为第一目标关键点对。
71.在一些可能的实施方式中,所述确定单元具体用于:
72.根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对的位置偏差;
73.根据各所述第一目标关键点对的位置偏差对各所述第一目标关键点对进行筛选,获得第二目标关键点对;
74.基于所述第一目标关键点对和所述第二目标关键点对的数量,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
75.在一些可能的实施方式中,所述确定单元在根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对的位置偏差时,具体用于:根据各所述第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各所述第一目标关键点对中的第一关键点与第二关键点之间的欧式距离,作为各所述第一目标关键点对的位置偏差。
76.在一些可能的实施方式中,所述确定单元在根据各所述第一目标关键点对的位置偏差对各所述第一目标关键点对进行筛选,获得第二目标关键点对时,具体用于:将位置偏差小于或等于预设的位置偏差阈值的第一目标关键点对,确定为第二目标关键点对。
77.在一些可能的实施方式中,所述确定单元在基于所述第一目标关键点对和所述第二目标关键点对的数量,确定所述第一图像与所述第二图像的画面区域是否发生相对变化
时,具体用于:根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度,其中,所述数量差为所述第一目标关键点对与所述第二目标关键点对的数量差;根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化。
78.在一些可能的实施方式中,所述确定单元在根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度时,具体用于:将数量差与所述第一目标关键点对的数量的比值的平方值,确定为第一置信度,所述置信度包括所述第一置信度;
79.所述确定单元在根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化时,具体用于:在所述第一置信度大于或等于预设的第一置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域发生了相对变化;或,在所述第一置信度小于所述第一置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域未发生相对变化。
80.在一些可能的实施方式中,所述确定单元在根据数量差与所述第一目标关键点对的数量的比值的平方值,获得置信度时,具体用于:使用预设数值减去数量差与所述第一目标关键点对的数量的比值的平方值,获得第二置信度,所述置信度包括所述第二置信度;
81.所述确定单元在根据所述置信度,确定所述第一图像与所述第二图像的画面区域是否发生相对变化时,具体用于:在所述第二置信度大于或等于预设的第二置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域未发生相对变化;或,在所述第二置信度小于所述第二置信度阈值的情况下,确定所述第一图像与所述第二图像的画面区域发生了相对变化。
82.在一些可能的实施方式中,所述获取单元具体用于:从摄像头实时拍摄的视频画面中,获取相邻的两帧画面;分别从所述相邻的两帧画面中提取预设区域,获得第一图像和第二图像,所述预设区域包括静态区域。
83.第三方面,本技术实施例提供了一种电子设备,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能的实现方式的方法。
84.第四方面,本技术实施例提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能的实现方式的方法。
85.第五方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能的实现方式的方法。
86.第六方面,本技术实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行如上述第一方面及其任意一种可能的实现方式的方法。
87.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开的技术方案。
附图说明
88.为了更清楚地说明本技术实施例或背景技术中的技术方案,下面将对本技术实施例或背景技术中所需要使用的附图进行说明。
89.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本技术的实施例,并与说明书一起用于说明本技术的技术方案。
90.图1是一示例性的画面区域发生变化前后的对比图;
91.图2是本技术实施例提供的一种画面区域变化检测方法的流程示意图;
92.图3是本技术实施例提供的匹配的关键点对的示意图;
93.图4是本技术实施例提供的一种画面区域变化检测装置的结构示意图;
94.图5是本技术实施例提供的一种画面区域变化检测装置的硬件结构示意图。
具体实施方式
95.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
96.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
97.应当理解,在本技术中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:只存在a,只存在b以及同时存在a和b三种情况,其中a,b可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
98.在本技术中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
99.随着计算机视觉技术的发展,计算机视觉算法在智慧交通(例如车道识别、车牌识别、行人识别)、安防监控(例如区域入侵检测)等领域的应用越来越多。在一些应用场景中,需要预设图像处理区域(例如对图像中的地铁口设置检测范围,或者划定监控场景中的路面范围等),用以固定算法处理的区域,但是预设区域的前提是摄像头不会发生意外的变动,一旦变动后可能导致预设区域无效,例如当摄像头遭遇晃动后,摄像头所拍摄的画面区域会发生偏移,导致原先设定的区域发生改变。
100.请参阅图1,图1是一示例性的画面区域发生变化前后的对比图,图1中的左图为摄
像头发生变动前拍摄的画面,图1中的右图为摄像头发生变动后导致拍摄的画面区域发生偏移后的画面,对比可见,右图中的画面区域相对于左图中的画面区域发生了变化,这可能导致原先设定的区域有一部分或者全部未出现在右图中,从而影响后续算法精度。
101.因此,有必要对摄像画面区域是否发生变化进行检测,以便在检测到变化后及时进行相应的维护处理,从而保证后续算法精度。在另外一些应用场景中,不需要进行后续算法处理,仅考虑摄像画面区域的稳定情况,同样也需要检测画面区域变化。
102.相关技术中,使用传感器法或者帧差法检测摄像画面区域是否发生变化。其中,传感器法通过在摄像头内安装传感器,用以感知摄像头的运动,从而判断画面区域是否发生变化。然而,传感器法需要接入额外的传感器设备,导致成本升高并且增加了系统复杂度,实用性不高。
103.帧差法通过对两帧画面进行逐像素相减,获得两帧画面的像素差,从而判断画面区域是否发生变化。然而,帧差法存在较多局限性,例如:难以设置通用的帧间隔、检测频率等参数;检测时容易受到画面中的物体运动干扰,在画面中有动态物体的情况下容易误判,例如在道路监控场景下当画面中有人或车经过时容易误判;受天气和光照的影响较大,在两帧间的天气或光照发生变化的情况下难以保持检测精度;计算量偏大,需要较多耗时。以上局限性导致帧差法检测的准确性、鲁棒性和速度较低。
104.基于此,本技术实施例提供了一种画面区域变化检测方法,可以提高检测的准确性、鲁棒性和速度,同时无需接入额外的传感器设备,从而避免增加硬件成本和系统复杂度,实用性更高。
105.画面区域变化检测方法的执行主体可以是画面区域变化检测装置,例如,画面区域变化检测方法可以由终端设备或服务器或其它处理设备执行,其中,终端设备可以为用户设备(user equipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该画面区域变化检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
106.请参阅图2,图2是本技术实施例提供的一种画面区域变化检测方法的流程示意图,该画面区域变化检测方法包括以下步骤s201至步骤s205。
107.s201,获取第一图像和第二图像。
108.第一图像和第二图像是指需要检测画面区域是否发生相对变化的图像,具体可以是同一摄像头在不同时间采集的图像,该摄像头可以是固定安装于某处,用于监控某一目标区域的摄像头。举例来说,在安防场景下,摄像头可以安装于门口上方,拍摄的目标区域为门口区域,该场景下第一图像和第二图像的画面区域即为门口区域。
109.可以理解的是,在摄像头的拍摄视角没有发生变化的情况下,第二图像与第一图像的画面区域相同;在摄像头的拍摄视角发生了变化的情况下(例如受到狂风暴雨等恶劣天气的影响导致拍摄视角发生了变化,或者被人为转换了拍摄视角),第二图像的画面区域相对于第一图像的画面区域会发生变化。因此,通过检测第一图像和第二图像的画面区域是否发生相对变化,可以判断摄像头的拍摄视角是否发生改变,进而判断摄像头是否发生了变动,以便对摄像头进行维护。
110.可选地,从摄像头针对目标区域实时拍摄的视频画面中,获取相邻的两帧画面,将
其中的前一帧画面作为第一图像,将其中的后一帧画面作为第二图像。可以设置取帧间隔(例如5分钟),每隔5分钟取一帧画面,相邻的两帧画面之间做一次变化检测。例如,在18:00、18:05、18:10各取一帧画面,18:00和18:05对应的两帧画面之间可以做一次变化检测,此时将18:00对应的画面作为第一图像,将18:05对应的画面作为第二图像;18:05和18:10对应的两帧画面之间也可以做一次变化检测,此时将18:05对应的画面作为第一图像,将18:10对应的画面作为第二图像。
111.在一种可能的实施方式中,获取第一图像和第二图像,具体可以包括以下步骤:从摄像头实时拍摄的视频画面中,获取相邻的两帧画面;分别从相邻的两帧画面中提取预设区域,获得第一图像和第二图像,预设区域包括静态区域,即不容易出现动态物体的区域。
112.预设区域可以理解为感兴趣区域(region of interest,roi),即需要进行后续图像处理的区域。相邻的两帧画面中的预设区域的位置和尺寸相同。预设区域在画面中的位置和尺寸可以预先确定,例如,预设区域处于画面中央,预设区域的尺寸为画面整体尺寸的一半。
113.可选地,将画面中不容易出现动态物体的区域作为预设区域。不容易出现动态物体的区域,可以是人、车等动态目标不容易经过的区域(例如高处的建筑物、树木等所在的局部区域),也可以是包含了不容易移动的静态物体的区域(例如固定部署的陈列物所在的局部区域)。
114.在一示例中,通过人工选取预设区域。用户对拍摄画面中出现的内容进行观察,选取其中不容易出现动态物体的区域作为预设区域。
115.在另一示例中,通过目标检测自动选取预设区域。可利用已有目标检测算法对拍摄画面中的物体进行检测,以识别出其中的静态物体,将该静态物体所在的局部区域作为预设区域。
116.在又一示例中,通过帧间变化检测自动选取预设区域。从拍摄视频中提取相邻帧画面,通过检测相邻帧画面之间像素值的变化,以检测出其中像素值变化较小的区域,将该像素值变化较小的区域作为预设区域。
117.上述实施方式中,通过设置预设区域,基于画面中的预设区域进行后续图像处理和画面区域变化检测,有利于减小计算量,提高检测速度。此外,预设区域可以设置为不容易出现动态物体的区域,据此有利于减少画面中的动态物体对画面区域变化检测的影响,提高检测准确性。
118.s202,分别对第一图像和第二图像进行关键点提取,获得第一图像中各第一关键点的特征信息和位置信息,以及第二图像中各第二关键点的特征信息和位置信息。
119.关键点可以理解为图像中相对比较突出的像素点,也可以称为特征点。例如,将一个像素点与其周围的像素点比较,如果该像素点与其周围的大部分像素点都有较大差别,那么可认为该像素点是一个关键点。
120.示例性地,可以使用任一已有的图像特征点提取算法进行关键点提取,例如尺度不变特征变换算法(scale-invariant feature transform,sift)、加速稳健特征算法(speeded up robust features,surf)、快速特征点提取和描述算法(oriented fast and rotated brief,orb)。进一步考虑到实时性,可以选用orb算法,有利于加快关键点的提取速度。
121.第一关键点是指从第一图像中提取的关键点,第二关键点是指从第二图像中提取的关键点。关键点的特征信息用于描述关键点的特征,例如可以是特征描述向量。关键点的位置信息用于表征关键点在图像中的位置,例如可以是像素坐标。
122.s203,基于各第一关键点和各第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,每一关键点对中包括一个第一关键点和一个第二关键点。
123.基于各第一关键点和各第二关键点的特征信息,可以计算各第一关键点与各第二关键点的相似度,然后根据各第一关键点与各第二关键点的相似度,找出匹配的关键点对。关键点对中的第一关键点和第二关键点为相互匹配的两个关键点。关键点对的匹配度可以理解为该关键点对中的第一关键点与第二关键点的相似度,关键点对中的第一关键点与第二关键点的相似度越高,可认为该键点对的匹配度越高。
124.示例性地,可以使用任一已有的特征点匹配算法进行关键点匹配,例如暴力匹配算法(brute force matcher,bfmatcher)。举例来说,从第一图像中提取出a个第一关键点,从第二图像中提取出b个关键点,计算各第一关键点与各第二关键点的相似度,得到a*b的匹配矩阵,使用bfmatcher算法找到每一对最佳匹配,从而得到匹配的关键点对。
125.通过关键点匹配得到的是1对1的匹配,可以理解为每一关键点对中只包括一个第一关键点和一个第二关键点,且每一关键点对中的第一关键点和第二关键点也只出现在该关键对中。例如,假设有1个第二关键点(记为q)是至少两个第一关键点的最佳匹配,那么会从这至少两个第一关键点中选择与q最匹配的1个第一关键点(记为p),从而p与q匹配成功得到一个关键点对,之后p与q不再参与后续匹配。
126.请参阅图3,图3是本技术实施例提供的匹配的关键点对的示意图,图3中的左图和右图分别为第一图像和第二图像,左图中的圆点表示第一关键点,右图中的圆点表示第二关键点,横跨左右两图的线段代表关键点之间的匹配,每一条线段两端的圆点组成一个匹配的关键点对。
127.s204,根据各关键点对的匹配度信息对各关键点对进行筛选,获得至少一个第一目标关键点对。
128.第一目标关键点对可以理解为匹配度较高的关键点对,也可以认为是正确匹配的关键点对。具体地,根据各关键点对的匹配度信息对各关键点对进行筛选,可以从匹配的关键点对中去除匹配度较低的关键点对,保留匹配度较高的关键点对作为第一目标关键点对,用于后续计算。
129.应理解,第一目标关键点对与匹配的关键点对的关系如下:若将所有匹配的关键点对组成的集合记为第一集合,将所有第一目标关键点对组成的集合记为第二集合,则第二集合是第一集合的子集。
130.s205,根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,确定第一图像与第二图像的画面区域是否发生相对变化。
131.第一目标关键点对的匹配度较高,说明第一目标关键点对中的第一关键点和第二关键点的相似度较高,可认为第一目标关键点对是正确匹配的关键点对,从而可认为第一目标关键点对中的第一关键点和第二关键点对应同一对象。
132.若第一图像与第二图像的画面区域未发生相对变化,则对应同一对象的第一关键点和第二关键点在各自图像中的位置应该是接近的;若第一图像与第二图像的画面区域发
生了相对变化,则对应同一对象的第一关键点和第二关键点在各自图像中的位置应该是有偏移的。即,对应同一对象的第一关键点和第二关键点的相对位置会受到画面区域变化的影响,其能够反映第一图像与第二图像的画面区域是否发生相对变化。因此,可利用各第一目标关键点对中的第一关键点和第二关键点的位置信息,来判断第一图像与第二图像的画面区域是否发生相对变化。
133.可选地,先根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,计算各第一目标关键点对中的第一关键点与第二关键点的位置偏差,然后根据各第一目标关键点对中的第一关键点与第二关键点的位置偏差,判断第一图像与第二图像的画面区域是否发生相对变化。
134.上述实施例中,通过对两图像进行关键点提取和匹配获得匹配的关键点对及其匹配度信息,根据关键点对的匹配度信息筛选出正确匹配的第一目标关键点对,再根据第一目标关键点对中两个关键点的位置信息判断两图像的画面区域是否发生相对变化。据此,仅利用图像中的关键点信息进行画面区域变化检测,计算量较小,有利于提高检测速度以达到实时检测画面区域变化的效果,并且不容易受到画面中的动态物体影响,对于天气、光照变化也不敏感,有利于提高检测准确性和鲁棒性。
135.在一种可能的实施方式中,基于各第一关键点和各第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,具体可以包括以下步骤:根据各第一关键点和各第二关键点的特征信息,获得各第一关键点与各第二关键点之间的特征距离;基于各第一关键点与各第二关键点之间的特征距离进行关键点匹配,获得匹配的关键点对,匹配度信息包括匹配距离,匹配距离为关键点对中的第一关键点与第二关键点之间的特征距离。
136.两关键点之间的特征距离用于表征两关键点的相似度。示例性地,两关键点之间特征距离越小,说明两关键点的相似度越高;两关键点之间特征距离越大,说明两关键点的相似度越低。
137.可选地,特征距离使用汉明距离(hamming distance)来度量,两特征之间的汉明距离是指将其中一个特征变成另一个特征需要变动的最小位数。例如,第一关键点的特征f1为10111,第二关键点的特征f2为00101,则将特征f1变为特征f2,需要将第1位变为0以及将第4位变为0,即需要变动的最小位数为2,因此该第一关键点与该第二关键点的特征距离为2。
138.上述实施方式中,利用特征距离能够较为准确地表征第一关键点与第二关键点的相似度,基于特征距离进行关键点匹配,有利于提高匹配的成功率,得到更可靠的关键点对。
139.在一种可能的实施方式中,根据各关键点对的匹配度信息对各关键点对进行筛选,获得至少一个第一目标关键点对,具体可以包括以下步骤:从各关键点对的匹配距离中选取最小匹配距离,基于最小匹配距离确定匹配距离阈值;根据匹配距离小于或等于匹配距离阈值的关键点对,获得至少一个第一目标关键点对。
140.最小匹配距离是指所有关键点对的匹配距离中的最小值,可以基于该最小匹配距离确定一个合适的匹配距离阈值,用以评估各关键点对是否为正确匹配的关键点对。
141.将各关键点对的匹配距离与匹配距离阈值进行比较,若关键点对的匹配距离小于
或等于匹配距离阈值,则认为该关键点对的匹配度较高,从而认为该关键点对是正确匹配的关键点对;若关键点对的匹配距离大于匹配距离阈值,则认为该关键点对的匹配度较低,从而认为该关键点对是误匹配的关键点对。
142.上述实施方式中,引入匹配距离阈值对关键点对的匹配度进行评估,通过直接比较匹配距离与匹配距离阈值的大小,可以快速判断关键点对的匹配度高低,继而去除匹配度较低的关键点对,保留匹配度较高的关键点对用于后续计算,有助于提高检测准确性。
143.在一种可能的实施方式中,基于最小匹配距离确定匹配距离阈值,具体可以是:将最小匹配距离乘以预设倍数,获得匹配距离阈值,预设倍数的范围为2至4。
144.匹配距离阈值可以通过以下公式计算:match
thre
=λ*match
min
,其中,match
thre
表示匹配距离阈值,match
min
表示最小匹配距离,λ表示预设倍数。可选地,λ设为3。
145.预设倍数的大小会影响匹配距离阈值的大小,而匹配距离阈值用于与各关键点对的匹配距离进行比较,以判断各关键点对是否正确匹配,因此预设倍数的大小可能会影响判断关键点对是否正确匹配的准确性。例如,若预设倍数过大,则导致匹配距离阈值过大,继而可能导致原本不是正确匹配的关键点对会被判定为正确匹配的关键点对。基于此,需要确定一个合适的预设倍数。
146.可以预先通过实验来确定合适的预设倍数。具体地,对两张图像进行关键点提取和匹配得到匹配的关键点对及其匹配距离之后,设置大量不同的实验值,对于每个实验值,将其乘以最小匹配距离得到匹配距离阈值,将匹配距离阈值与各关键点对的匹配距离进行比较,以判断各关键点对是否正确匹配,将判断结果与对应的真实结果进行对比,获得每个实验值所对应的判断结果准确率,从中选取较高的判断结果准确率所对应的实验值作为合适的预设倍数。实验表明,当实验值在(2,4)范围内时,所对应的判断结果准确率较高,因此确定预设倍数的范围为(2,4)。
147.上述实施方式中,利用最小匹配距离与预设倍数的乘积获得的匹配距离阈值,可以将匹配距离大的关键点对尽可能筛除,使得保留的关键点对的都为正确匹配的关键点对的概率更高。
148.在一种可能的实施方式中,根据匹配距离小于或等于匹配距离阈值的关键点对,获得至少一个第一目标关键点对,具体可以包括以下步骤:在匹配距离小于或等于匹配距离阈值的关键点对的数量小于或等于预设数量的情况下,将所有的匹配距离小于或等于匹配距离阈值的关键点对,确定为第一目标关键点对;或,在匹配距离小于或等于匹配距离阈值的关键点对的数量大于预设数量的情况下,按照匹配距离从小到大的顺序,对所有的匹配距离小于或等于匹配距离阈值的关键点对进行排序,将其中排序靠前的预设数量的关键点对,确定为第一目标关键点对。
149.预设数量是指第一目标关键点对的最大数量,记为c。将匹配距离小于或等于匹配距离阈值的关键点对的数量记为d。若d≤c,则将所有的匹配距离小于或等于匹配距离阈值的关键点对确定为第一目标关键点对,此时第一目标关键点对的数量为d。若d>c,则按照匹配距离从小到大的顺序,对所有的匹配距离小于或等于匹配距离阈值的关键点对进行排序,将其中排在前c位的关键点对确定为第一目标关键点对,此时第一目标关键点对的数量为c。据此,保证从匹配的关键点对中保留的第一目标关键点对的数量不超过预设数量。
150.上述实施方式中,通过预设第一目标关键点对的最大数量,可以避免过多的第一
目标关键对进入后续计算中影响判断,有利于提高检测准确性,同时减小计算量。
151.在一种可能的实施方式中,根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,确定第一图像与第二图像的画面区域是否发生相对变化,具体可以包括以下步骤:根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对的位置偏差;根据各第一目标关键点对的位置偏差对各第一目标关键点对进行筛选,获得第二目标关键点对;基于第一目标关键点对和第二目标关键点对的数量,确定第一图像与第二图像的画面区域是否发生相对变化。
152.第一目标关键点对的位置偏差,是指第一目标关键点对中的第一关键点与第二关键点的位置偏差,能够反映相互匹配的两个关键点的位置变化情况。例如,若相互匹配的两个关键点的位置不变,则对应的位置偏差理论上为0,考虑到实际可能产生的误差(例如,由于关键点提取和匹配算法的精度有限,可能导致相互匹配的两个关键点的位置信息不完全相同,从而产生一些误差),则对应的位置偏差可以在[0,k]区间内,其中,k表示一个较小值,例如5像素。
[0153]
第二目标关键点对可以理解为正确匹配的且位置不变的关键点对。具体地,根据各第一目标关键点对的位置偏差对各第一目标关键点对进行筛选,可以从第一目标关键点对中去除位置偏差较大的关键点对(记为第三目标关键点对,第三目标关键点对可以理解为正确匹配的且位置变化的关键点对),保留位置偏差较小的关键点对作为第二目标关键点对,用于后续判断。
[0154]
应理解,第二目标关键点对、第三目标关键点对与第一目标关键点对的关系如下:若将所有第一目标关键点对组成的集合记为第二集合,将所有第二目标关键点对组成的集合记为第三集合,将所有第三目标关键点对组成的集合记为第四集合,则第三集合和第四集合都是第二集合的子集。第二目标关键点对的数量小于或等于第一目标关键点对的数量,第三目标关键点对的数量也小于或等于第一目标关键点对的数量,第二目标关键点对的数量加上第三目标关键点对的数量等于第一目标关键点对的数量。
[0155]
可选地,通过比较第一目标关键点对和第二目标关键点对的数量,判断第一图像与第二图像的画面区域是否发生相对变化。示例性地,若第二目标关键点对的数量接近于第一目标关键点对的数量,说明正确匹配的关键点对中大多数的位置偏差较小,则可认为第一图像与第二图像的画面区域未发生相对变化的概率较高;若第二目标关键点对的数量远小于第一目标关键点对的数量,说明正确匹配的关键点对中大多数的位置偏差较大,则可认为第一图像与第二图像的画面区域发生相对变化的概率较高。
[0156]
上述实施方式中,根据第一目标关键点对的位置偏差筛选出其中位置偏差较小的第二目标关键点对,再根据第一目标关键点对和第二目标关键点对的数量,能够快速且准确地判断两图像的画面区域是否发生相对变化。
[0157]
需要说明的是,在其它实施方式中,也可以通过比较第一目标关键点对和第三目标关键点对的数量,判断第一图像与第二图像的画面区域是否发生相对变化。示例性地,若第三目标关键点对的数量接近于第一目标关键点对的数量,说明正确匹配的关键点对中大多数的位置偏差较大,则可认为第一图像与第二图像的画面区域发生相对变化的概率较高;若第三目标关键点对的数量远小于第一目标关键点对的数量,说明正确匹配的关键点对中大多数的位置偏差较小,则可认为第一图像与第二图像的画面区域未发生相对变化的
概率较高。
[0158]
在一种可能的实施方式中,根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对的位置偏差,具体可以是:根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对中的第一关键点与第二关键点之间的欧式距离,作为各第一目标关键点对的位置偏差。
[0159]
可选地,位置信息为像素坐标,用(x,y)表示,对于每一个第一目标关键点对,使用欧式距离计算其位置偏差的公式可以如下:
[0160][0161]
其中,offset表示第一目标关键点对的位置偏差,x1和y1表示第一目标关键点对中的第一像素点的像素坐标,x2和y2表示第一目标关键点对中的第二像素点的像素坐标。
[0162]
需要说明的是,除了欧氏距离,还可以使用其它可能的距离度量方式来计算位置偏差,例如曼哈顿距离,此处不做限定。
[0163]
上述实施方式中,使用欧式距离计算各第一目标关键点对中的第一关键点和第二关键点的位置偏差,能够有效地反映画面区域变化。
[0164]
在一种可能的实施方式中,根据各第一目标关键点对的位置偏差对各第一目标关键点对进行筛选,获得第二目标关键点对,具体可以是:将位置偏差小于或等于预设的位置偏差阈值的第一目标关键点对,确定为第二目标关键点对。
[0165]
位置偏差阈值可以理解为在表征位置不变的情况下可接受的位置偏差最大值,记为dist
thre
。在一示例中,位置偏差阈值为一个较小的值,例如固定设为5像素。在另一示例中,位置偏差阈值也可以根据画面尺寸来设定,例如设为画面的长度(或宽度)的1/20。
[0166]
将各第一目标关键点对的位置偏差与位置偏差阈值进行比较,若第一目标关键点对的位置偏差小于或等于位置偏差阈值,则可认为该第一目标关键点对中相互匹配的两个关键点的位置未发生变化;若第一目标关键点对的位置偏差大于位置偏差阈值,则可认为该第一目标关键点对中相互匹配的两个关键点的位置发生了变化。
[0167]
上述实施方式中,引入位置偏差阈值对第一目标关键点对的位置偏差进行评估,通过直接比较位置偏差与位置偏差阈值的大小,可以快速且准确地判断相互匹配的两个关键点的位置变化情况。
[0168]
在一种可能的实施方式中,基于第一目标关键点对和第二目标关键点对的数量,确定第一图像与第二图像的画面区域是否发生相对变化,具体可以包括以下步骤:根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度,其中,数量差为第一目标关键点对与第二目标关键点对的数量差;根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化。
[0169]
第一目标关键点对与第二目标关键点对的数量差,可以理解为正确匹配的且位置变化的关键点对的数量,也即第三目标关键点对的数量。数量差与第一目标关键点对的数量的比值,可以理解为正确匹配的且位置变化的关键点对在所有正确匹配的关键点对中的占比。该占比越高,可认为两图像的画面区域发生相对变化的概率越高(也即两图像的画面区域未发生相对变化的概率越低);该占比越低,可认为两图像的画面区域发生相对变化的概率越低(也即两图像的画面区域未发生相对变化的概率越高)。
[0170]
数量差与第一目标关键点对的数量的比值(记为r)的范围为[0,1],若0<r<1,则
对该比值取平方得到的比值平方值会比该比值更小,相应地,两图像的画面区域发生相对变化的概率会更低(也即两图像的画面区域未发生相对变化的概率会更高)。这意味着,通过对该比值取平方,提高了第二目标关键点对的权重,降低了第三目标关键点对的权重,这里的权重可以理解为对于判断两图像的画面区域是否发生相对变化的重要程度或者贡献度。从而,在第一目标关键对中存在第二目标关键对的情况下,即便第二目标关键对的数量较少,两图像的画面区域也有一定概率是没有发生相对变化的。
[0171]
具体而言,第二目标关键点对为正确匹配的且位置不变的关键点对,第三目标关键点对为正确匹配的且位置变化的关键点对,考虑到画面中可能存在动态物体,使得一部分的第三目标关键点对可能是对应动态物体的关键点对,其并不能反映画面区域变化。因此,对于以下两种判断结果:正确匹配的两个关键点的位置发生变化从而说明两图像的画面区域发生相对变化,正确匹配的两个关键点的位置不变从而说明两图像的画面区域未发生相对变化,前者的真实性要低于后者的真实性。因此,第三目标关键点对对于判断两图像的画面区域是否发生相对变化的重要程度或者贡献度要低于第二目标关键点对。
[0172]
置信度可以理解为画面区域发生变化的概率,也可以理解为画面区域未发生变化的概率,根据置信度判断第一图像与第二图像的画面区域是否发生相对变化。
[0173]
上述实施方式中,通过计算第一目标关键点对与第二目标关键点对的数量差,根据数量差与第一目标关键点对的数量的比值的平方值获得置信度,用以判断两图像的画面区域是否发生相对变化,据此能够更注重正确匹配的且位置不变的关键点对对于判断结果的贡献度,减少画面中动态物体对于判断结果的影响,使得判断结果更接近于真实情况,有利于提高检测准确性。
[0174]
在一种可能的实施方式中,根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度,具体可以是:将数量差与第一目标关键点对的数量的比值的平方值,确定为第一置信度,置信度包括第一置信度;根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化,具体可以是:在第一置信度大于或等于预设的第一置信度阈值的情况下,确定第一图像与第二图像的画面区域发生了相对变化;或,在第一置信度小于第一置信度阈值的情况下,确定第一图像与第二图像的画面区域未发生相对变化。
[0175]
第一置信度是指画面区域发生变化的概率,第一置信度的计算公式可以如下:
[0176][0177]
其中,score1表示第一置信度,n表示第一目标关键点对的数量,m表示第二目标关键点对的数量。score1的范围为[0,1],score1越接近1,说明画面区域发生变化的概率越高,score1越接近0,说明画面区域发生变化的概率越低。
[0178]
第一置信度阈值可以理解为在表征画面区域发生变化的情况下可接受的置信度最小值,记为score1
thre
。第一置信度阈值可以根据实际情况进行设置,在一示例中,第一置信度阈值设为0.6。将第一置信度与第一置信度阈值进行比较,若第一置信度大于或等于第一置信度阈值,则确定第一图像与第二图像的画面区域发生了相对变化;若第一置信度小于第一置信度阈值,则确定第一图像与第二图像的画面区域未发生相对变化。
[0179]
上述实施方式中,引入第一置信度阈值对第一置信度进行评估,通过直接比较第一置信度与第一置信度阈值的大小,可以快速且准确地判断画面区域的变化情况。
[0180]
在一种可能的实施方式中,根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度,具体可以是:使用预设数值减去数量差与第一目标关键点对的数量的比值的平方值,获得第二置信度,置信度包括第二置信度;根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化,具体可以是:在第二置信度大于或等于预设的第二置信度阈值的情况下,确定第一图像与第二图像的画面区域未发生相对变化;或,在第二置信度小于第二置信度阈值的情况下,确定第一图像与第二图像的画面区域发生了相对变化。
[0181]
第二置信度是指画面区域未发生变化的概率,预设数值为1,第二置信度的计算公式可以如下:
[0182][0183]
其中,score2表示第二置信度,n表示第一目标关键点对的数量,m表示第二目标关键点对的数量。score2的范围为[0,1],score2越接近1,说明画面区域未发生变化的概率越高,score2越接近0,说明画面区域未发生变化的概率越低。
[0184]
第二置信度阈值可以理解为在表征画面区域未发生变化的情况下可接受的置信度最小值,记为score2
thre
。第二置信度阈值可以根据实际情况进行设置,在一示例中,第二置信度阈值设为0.4。将第二置信度与第二置信度阈值进行比较,若第二置信度大于或等于第二置信度阈值,则确定第一图像与第二图像的画面区域未发生相对变化;若第二置信度小于第二置信度阈值,则确定第一图像与第二图像的画面区域发生了相对变化。
[0185]
上述实施方式中,引入第二置信度阈值对第二置信度进行评估,通过直接比较第二置信度与第二置信度阈值的大小,可以快速且准确地判断画面区域的变化情况。
[0186]
在一个示例中,假设对两图像进行关键点提取和匹配得到6个匹配的关键点对,其匹配距离分别为10、12、16、19、28、58,其位置偏差分别为0、0、1、6、7、10,预设倍数λ为3,预设的第一目标关键对的最大数量c为4,预设的位置偏差阈值dist
thre
为5,预设的第二置信度阈值score2
thre
为0.4。
[0187]
先基于最小匹配距离和预设倍数λ获得匹配距离阈值match
thre
为30,根据匹配距离和匹配距离阈值match
thre
对匹配的关键点对进行筛选,得到符合要求(匹配距离小于或等于匹配距离阈值match
thre
)的关键点对为前5个关键点对;再根据预设的第一目标关键对的最大数量c,保留前4个关键点对作为第一目标关键对,即第一目标关键对的数量n为4;然后根据位置偏差和位置偏差阈值dist
thre
对第一目标关键对进行筛选,得到符合要求(位置偏差小于或等于位置偏差阈值dist
thre
)的关键点对为前3个关键点对,作为第二目标关键对,即第二目标关键对的数量m为3;根据m和n计算得到第二置信度score2为0.9375,大于第二置信度阈值score2
thre
,从而判定两图像的画面区域未发生相对变化。
[0188]
可见,基于关键点提取和匹配获得的关键点对信息进行画面区域变化检测,只需要设置少量用于筛选关键点对的参数即可准确判断画面区域变化情况,参数设置简单,便于使用。
[0189]
应理解,上述方法实施例可以应用于多种场景。例如,在视频采集场景下(如入侵检测、人体动作检测、车牌识别、车辆识别、安全帽识别等场景),可以使用上述方法实施例对视频画面区域的变化进行实时检测,以便及时处理因为摄像头偏移导致监控画面区域偏移继而对视频采集效果造成的负面影响。举例来说,在入侵检测场景下,摄像头拍摄的画面
区域为门口区域,若检测到画面区域发生变化,则有可能是入侵者移动了摄像头使得画面区域不再是门口区域,以此躲避拍摄。本方案在检测到画面区域发生变化后,可以向用户终端发送警报信息,以提醒相关用户进行相应处理,例如及时到场检查是否有入侵者,以及后续重置摄像头拍摄的画面区域、增加隐蔽摄像头等,用以增强对入侵者的防范。
[0190]
又例如,在室外摄像头场景中,可以使用上述方法实施例对摄像头的视角状态进行定期检测,以便在有外在因素(如刮风下雨,物体触碰)影响到摄像头拍摄视角时可以及时上报并进行相应处理。再例如,在机器人摄像头场景中,可以使用上述方法实施例对摄像头遭遇的人为恶意的移动或干扰进行定期检测,以便对摄像头进行及时维护。
[0191]
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0192]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
[0193]
请参阅图4,图4是本技术实施例提供的一种画面区域变化检测装置的结构示意图,该画面区域变化检测装置400包括:获取单元401、关键点提取单元402、关键点匹配单元403、筛选单元404和确定单元405,其中:
[0194]
获取单元401,用于获取第一图像和第二图像;
[0195]
关键点提取单元402,用于分别对第一图像和第二图像进行关键点提取,获得第一图像中各第一关键点的特征信息和位置信息,以及第二图像中各第二关键点的特征信息和位置信息;
[0196]
关键点匹配单元403,用于基于各第一关键点和各第二关键点的特征信息进行关键点匹配,获得匹配的关键点对及其匹配度信息,每一关键点对中包括一个第一关键点和一个第二关键点;
[0197]
筛选单元404,用于根据各关键点对的匹配度信息对各关键点对进行筛选,获得至少一个第一目标关键点对;
[0198]
确定单元405,用于根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,确定第一图像与第二图像的画面区域是否发生相对变化。
[0199]
在一些可能的实施方式中,关键点匹配单元403具体用于:根据各第一关键点和各第二关键点的特征信息,获得各第一关键点与各第二关键点之间的特征距离;基于各第一关键点与各第二关键点之间的特征距离进行关键点匹配,获得匹配的关键点对,匹配度信息包括匹配距离,匹配距离为关键点对中的第一关键点与第二关键点之间的特征距离。
[0200]
在一些可能的实施方式中,筛选单元404具体用于:从各关键点对的匹配距离中选取最小匹配距离,基于最小匹配距离确定匹配距离阈值;根据匹配距离小于或等于匹配距离阈值的关键点对,获得至少一个第一目标关键点对。
[0201]
在一些可能的实施方式中,筛选单元404在基于最小匹配距离确定匹配距离阈值时,具体用于:将最小匹配距离乘以预设倍数,获得匹配距离阈值,预设倍数的范围为2至4。
[0202]
在一些可能的实施方式中,筛选单元404在根据匹配距离小于或等于匹配距离阈值的关键点对,获得至少一个第一目标关键点对时,具体用于:在匹配距离小于或等于匹配距离阈值的关键点对的数量小于或等于预设数量的情况下,将所有的匹配距离小于或等于
匹配距离阈值的关键点对,确定为第一目标关键点对;或,在匹配距离小于或等于匹配距离阈值的关键点对的数量大于预设数量的情况下,按照匹配距离从小到大的顺序,对所有的匹配距离小于或等于匹配距离阈值的关键点对进行排序,将其中排序靠前的预设数量的关键点对,确定为第一目标关键点对。
[0203]
在一些可能的实施方式中,确定单元405具体用于:根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对的位置偏差;根据各第一目标关键点对的位置偏差对各第一目标关键点对进行筛选,获得第二目标关键点对;基于第一目标关键点对和第二目标关键点对的数量,确定第一图像与第二图像的画面区域是否发生相对变化。
[0204]
在一些可能的实施方式中,确定单元405在根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对的位置偏差时,具体用于:根据各第一目标关键点对中的第一关键点和第二关键点的位置信息,获得各第一目标关键点对中的第一关键点与第二关键点之间的欧式距离,作为各第一目标关键点对的位置偏差。
[0205]
在一些可能的实施方式中,确定单元405在根据各第一目标关键点对的位置偏差对各第一目标关键点对进行筛选,获得第二目标关键点对时,具体用于:将位置偏差小于或等于预设的位置偏差阈值的第一目标关键点对,确定为第二目标关键点对。
[0206]
在一些可能的实施方式中,确定单元405在基于第一目标关键点对和第二目标关键点对的数量,确定第一图像与第二图像的画面区域是否发生相对变化时,具体用于:根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度,其中,数量差为第一目标关键点对与第二目标关键点对的数量差;根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化。
[0207]
在一些可能的实施方式中,确定单元405在根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度时,具体用于:将数量差与第一目标关键点对的数量的比值的平方值,确定为第一置信度,置信度包括第一置信度;确定单元405在根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化时,具体用于:在第一置信度大于或等于预设的第一置信度阈值的情况下,确定第一图像与第二图像的画面区域发生了相对变化;或,在第一置信度小于第一置信度阈值的情况下,确定第一图像与第二图像的画面区域未发生相对变化。
[0208]
在一些可能的实施方式中,确定单元405在根据数量差与第一目标关键点对的数量的比值的平方值,获得置信度时,具体用于:使用预设数值减去数量差与第一目标关键点对的数量的比值的平方值,获得第二置信度,置信度包括第二置信度;确定单元405在根据置信度,确定第一图像与第二图像的画面区域是否发生相对变化时,具体用于:在第二置信度大于或等于预设的第二置信度阈值的情况下,确定第一图像与第二图像的画面区域未发生相对变化;或,在第二置信度小于第二置信度阈值的情况下,确定第一图像与第二图像的画面区域发生了相对变化。
[0209]
在一些可能的实施方式中,获取单元401具体用于:从摄像头实时拍摄的视频画面中,获取相邻的两帧画面;分别从相邻的两帧画面中提取预设区域,获得第一图像和第二图像,预设区域包括静态区域。
[0210]
关于画面区域变化检测装置的具体限定可以参见上文中对于画面区域变化检测
方法的限定,在此不再赘述。上述画面区域变化检测装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个单元对应的操作。
[0211]
请参阅图5,图5是本技术实施例提供的一种画面区域变化检测装置的硬件结构示意图,可包括:
[0212]
处理器501、存储器502和收发器503。处理器501、存储器502和收发器503通过总线504连接,该存储器502用于存储指令,该处理器501用于执行该存储器502存储的指令,以实现上述方法中的步骤。
[0213]
处理器501用于执行该存储器502存储的指令,以控制收发器503接收和发送信号,完成上述方法中的步骤。存储器502可以集成在处理器501中,也可以与处理器501分开设置。
[0214]
作为一种实现方式,收发器503的功能可以考虑通过收发电路或者收发的专用芯片实现。处理器501可以考虑通过专用处理芯片、处理电路、处理器或者通用芯片实现。
[0215]
作为另一种实现方式,可以考虑使用通用计算机的方式来实现本技术实施例提供的画面区域变化检测装置。即将实现处理器501、收发器503功能的程序代码存储在存储器502中,通用处理器通过执行存储器502中的代码来实现处理器501、收发器503的功能。
[0216]
该装置所涉及的与本技术实施例提供的技术方案相关的概念、解释和详细说明及其他步骤请参见前述方法或其他实施例中关于该装置执行的方法步骤的内容的描述,此处不做赘述。
[0217]
本技术实施例还提供了一种电子设备,包括:处理器和存储器,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,在处理器执行计算机指令的情况下,电子设备执行如上述方法实施例中的方法。
[0218]
本技术实施例还提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,在处理器执行计算机指令的情况下,电子设备执行如上述方法实施例中的方法。
[0219]
本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,计算机程序包括程序指令,在程序指令被处理器执行的情况下,使处理器执行如上述方法实施例中的方法。
[0220]
本技术实施例还提供了一种计算机程序产品,计算机程序产品包括计算机程序或指令,在计算机程序或指令在计算机上运行的情况下,使得计算机执行如上述方法实施例中的方法。
[0221]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种
形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。
[0222]
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0223]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1