1.本发明涉及图像处理领域，特别涉及一种图像采集设备偏移检测方法、图像匹配方法、系统和设备。
背景技术：
2.图像匹配可以用来检查两个图像是否具有相同的视觉内容，是可以用于对象识别、运动跟踪、计算机视觉等应用中的基本技术。一个旋转后的图像或从不同视角拍摄的图像，在与旋转前的图像比较时，尽管在两个图像中有不同的变化，但是他们仍然可能包含有相同的内容、场景或对象。因此，可以使用不同的图像匹配技术来有效地进行图像匹配。而且在一个图像中，根据图像的主题特征可以分为前景和背景，例如人物图像，前景就是人物，其他的就是背景。
3.图像匹配技术同样应用于智慧交通领域中，例如高速公路或者十字路口的图像采集设备(云台相机)经常会因为人为控制或者自然原因发生偏移，导致依赖人为标记特征的事件检测产生误差，甚至误报。假如十字路口的云台相机拍摄的路口车道线和人行道作为人为标记特征，用于检测路口车辆或者行人是否违规，但是由于云台相机偏移，往往使得检测产生误差，造成误报现象。
4.现有的云台相机在现实场景中拍摄的画面中的物体(高速行驶的车辆)大多数属于除了“背景”之外的“前景”，在进行图像匹配时，现有的匹配方法是将图像所有区域进行特征点检测，然后基于检测出的特征点进行匹配，往往云台相机未发生偏移，但是由于前景特征较多且变化较大，很容易造成检测结果误判。
技术实现要素：
5.鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的图像采集设备偏移检测方法、图像匹配方法、系统和设备。
6.作为本发明实施例的一个方面，涉及一种图像采集设备偏移检测方法，可以包括：
7.确定由图像采集设备获取的图像帧；
8.对所述图像帧设定检测区域；从所述图像帧中选取参考图像帧和当前图像帧；
9.在所述检测区域中分别对所述参考图像帧和所述当前图像帧生成预设数量的特征点；
10.将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离；
11.根据所述相匹配的特征点的数量和所述相匹配的特征点之间的连线距离判断所述图像采集设备是否发生偏移。
12.作为本发明实施例的第二方面，涉及一种图像匹配方法，可以包括：
13.在第一图像和第二图像上设定相应的检测区域；
14.在所述检测区域中对所述第一图像和所述第二图像分别生成预设数量的特征点；
15.将所述第一图像的特征点与所述第二图像的特征点进行特征点匹配；
16.根据所述特征点匹配的匹配结果确定所述第一图像与所述第二图像的匹配关系。
17.作为本发明实施例的第三方面，涉及另一种图像采集设备偏移检测方法，可以包括：
18.从由图像采集设备拍摄的视频流中读取参考图像帧和当前图像帧；
19.在所述参考图像帧和所述当前图像帧的背景区域中设定相应的检测区域；
20.在所述检测区域中对所述参考图像帧和所述当前图像帧分别生成预设数量的特征点；
21.将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配；
22.根据所述特征点匹配的匹配结果判断所述图像采集设备是否发生偏移。
23.作为本发明实施例的第四方面，涉及一种图像采集设备偏移检测装置，可以包括：
24.确定模块，用于确定由图像采集设备获取的图像帧；
25.设定模块，用于对所述图像帧设定检测区域；
26.选取模块，用于从所述图像帧中选取参考图像帧和当前图像帧；
27.生成模块，用于在所述检测区域中分别对所述参考图像帧和所述当前图像帧生成预设数量的特征点；
28.匹配模块，用于将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离；
29.判断模块，用于根据所述相匹配的特征点的数量和所述相匹配的特征点之间的连线距离判断所述图像采集设备是否发生偏移。
30.作为本发明实施例的第五方面，涉及一种图像匹配装置，可以包括：
31.检测区域设定模块，用于在第一图像和第二图像上设定相应的检测区域；
32.特征点生成模块，用于在所述检测区域中对所述第一图像和所述第二图像分别生成预设数量的特征点；
33.特征点匹配模块，用于将所述第一图像的特征点与所述第二图像的特征点进行特征点匹配；
34.匹配关系确定模块，用于根据所述特征点匹配的匹配结果确定所述第一图像与所述第二图像的匹配关系。
35.作为本发明实施例的第六方面，涉及另一种图像采集设备偏移检测装置，包括：
36.图像帧读取模块，用于从由图像采集设备拍摄的视频流中读取参考图像帧和当前图像帧；
37.区域设定模块，用于在所述参考图像帧和所述当前图像帧的背景区域中设定相应的检测区域；
38.特征点生成模块，用于在所述检测区域中对所述参考图像帧和所述当前图像帧分别生成预设数量的特征点；
39.特征点匹配模块，用于将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配；
40.判断模块，用于根据所述特征点匹配的匹配结果判断所述图像采集设备是否发生偏移。
41.作为本发明实施例的第七方面，涉及一种图像处理系统，包括：图像采集设备和服务器；
42.所述图像采集设备用于实时采集图像数据，并发送给所述服务器；
43.所述服务器包括上述装置。
44.作为本发明实施例的第八方面，涉及一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法。
45.作为本发明实施例的第九方面，涉及一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
46.本发明实施例至少实现了如下技术效果：
47.本发明实施例基于图像采集设备拍摄的视频流读取图像帧，并对图像帧设定检测区域；然后在检测区域中分别对图像帧中的参考图像帧和当前图像帧生成预设数量的特征点；使用生成的特征点进行特征点匹配后，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离，最终根据上述相匹配的特征点的数量和相匹配的特征点之间的连线距离判断图像采集设备是否发生偏移。由于本发明针对检测区域生成预设数量的特征点，避免了在图像的前景图像和背景图像中均生成特征点，消除了除图像采集设备偏移之外由其他图像区域中物体本身移动造成的特征点匹配不准确的问题，并且基于相匹配的特征点的数量和相匹配的特征点之间的连线距离综合判断出图像采集设备是否发生偏移，从而大大节省了人力判断，利用图像特征点匹配算法达到实时预警或事后判断的效果，与现有未区分检测区域的技术方案相比兼具准确性更高、计算更快速、应用场景更广的优点。
48.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所记载的结构来实现和获得。
49.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
50.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
51.图1为本发明实施例1提供的图像采集设备偏移检测方法的流程图；
52.图2a为本发明实施例1提供的一种视频流读取的图像帧的示意图；
53.图2b为针对图2a设定仅包含背景图像的检测区域的示意图；
54.图3为本发明实施例1提供的一个具体的图像采集设备偏移检测的流程图；
55.图4a为图2b中检测区域1和检测区域2中生成特征点的示意图；
56.图4b为图像采集设备偏移后图2b中检测区域1和检测区域2中生成特征点的示意图；
57.图5为本发明实施例1提供的图像采集设备偏移检测装置的结构示意图；
58.图6为本发明实施例1提供的另一种图像采集设备偏移检测装置的结构示意图；
59.图7为本发明实施例2提供的图像匹配方法的流程图；
60.图8为本发明实施例2提供的图像采集设备偏移检测方法的流程图；
61.图9为本发明实施例2提供的图像匹配装置的结构示意图；
62.图10为本发明实施例2提供的图像采集设备偏移检测装置的结构示意图；
63.图11为本发明实施例3提供的图像处理系统的结构示意图。
具体实施方式
64.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
65.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
66.实施例1
67.本发明实施例1提供了一种图像采集设备偏移检测方法，参照图1所示，可以包括以下步骤：
68.步骤s11、确定由图像采集设备获取的图像帧。
69.步骤s12、对图像帧设定检测区域。
70.步骤s13、从图像帧中选取参考图像帧和当前图像帧。
71.步骤s14、在检测区域中分别对参考图像帧和当前图像帧生成预设数量的特征点。
72.步骤s15、将参考图像帧的特征点与当前图像帧的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离。
73.步骤s16、根据相匹配的特征点的数量和相匹配的特征点之间的连线距离判断图像采集设备是否发生偏移。
74.本发明实施例针对检测区域生成预设数量的特征点，避免了在图像的前景图像和背景图像中均生成特征点，消除了除图像采集设备偏移之外由其他图像区域中物体本身移动造成的特征点匹配不准确的问题，并且基于相匹配的特征点的数量和相匹配的特征点之间的连线距离综合判断出图像采集设备是否发生偏移。
75.本发明实施例上述步骤详细介绍如下：
76.本发明实施例可以是针对智慧交通领域中常用的图像采集设备(云台相机、摄像头等)进行检测判断，因为云台相机或摄像头经常会由于人为因素(例如人为控制旋转，人为破坏等)或者自然原因(如刮风、震动等)造成偏移，即原先拍摄方向发生偏转或者平移，导致原拍摄时标记的特征时间检测产生误差，甚至误报。而现有技术中由人为实地检测效率差且精度不高。当然，本发明实施例中针对图像采集设备应用的其他应用场景还可以是视频监控和视频分析的其他多个应用场景，例如道路交通监控、地铁、轻轨、高铁站点、汽车站、码头港口、物流站点等交通枢纽的视频监控，以及大型活动、演唱会、工业生产、农业种植养殖、安全监控等多种应用场景，分析的图像内容除了停机坪的保障车辆、工作人员和高速车辆外，还可以包括道路交通机动车流、物流车、船只、飞行器、电动车等其他对象。
77.上述步骤s11是确定由图像采集设备获取的图像帧，本发明实施例可以应用于对
云台图像采集设备或摄像头拍摄角度实时检测的场景，将实时获取的视频流通过现有的视频读取技术和视频帧处理技术提取出图像帧。需要说明的是，在执行此步骤之前需要读取图像采集设备的参数信息，例如图像采集设备空间坐标、图像采集设备拍摄角度、图像采集设备拍摄图像的大小、图像采集设备拍摄图像的分辨率等等。从上述图像采集设备的参数信息可以推断出视频流地址或者视频的本地地址，然后针对获取的视频流读取出图像帧，参照图2a所示，为一个由图像采集设备拍摄的道路上的视频流读取的图像帧，其中，建筑物、草地、隔离带以及路面为背景图像，一般为静止不动的；车辆、行人等为前景图像，大多时间都在保持移动。
78.上述步骤s12是对图像帧设定检测区域。本步骤是由于现有技术中图像匹配时，是对整个图像进行匹配，这样容易将前景物体本身移动造成匹配不准确而误判为图像匹配不成功，进而造成匹配误差。所以设定一定的检测区域能够提高匹配准确度。
79.优选的，本步骤可以对图像帧设定仅包含背景图像的检测区域，本技术发明人发现：将检测区域设定在不移动的背景图像上，且每次只使用设定同样位置、角度的检测区域(即检测区域不变)进行图像匹配，就能够避免由于前景物体移动而带来的误判。
80.其中，本步骤中上述检测区域是指用于检测图像中特征点的区域。所述特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够完成图像的匹配。
81.本发明实施例中，上述检测区域可以根据背景区域的实际情况进行调整，可以通过图像识别技术将大多时间不移动的物体识别为背景图像，然后基于背景图像所在区域的大小、范围等设定仅包含背景图像的检测区域。当然，设定的检测区域可以为一个，也可以为多个，一般情况下检测区域为多边形区域。参照图2b所示，为针对图2a所示的图像设定的四个检测区域的示意图，设定完检测区域之后，需要记录检测区域的坐标，以备对视频流中每一帧图像进行检测区域设定，从而保证被检测图像的检测区域标准相同，匹配图像的成功率就会显著提高。
82.上述步骤s13从图像帧中选取参考图像帧和当前图像帧。本发明实施例可以应用于对图像采集设备(云台相机或摄像头)拍摄角度实时检测的场景，将实时获取的视频流通过现有的视频读取技术和视频帧处理技术提取出图像帧。然后从图像帧中选取参考图像帧和当前图像帧作为匹配的图像。
83.其中，所述参考图像帧为视频流中图像采集设备拍摄时间较早的图像，也可以为图像采集设备拍摄的图像或者图像采集设备提前拍摄的只包含背景图像的图像。所述当前图像帧为作为比较的图像帧，需要说明的是，本发明实施例中的当前图像帧并不仅仅是一张图像，而是时刻更新的图像，每次执行完下述判断步骤之后，就会更新一张当前图像帧，从而保证实时检测实时判断的目的。
84.在此需要说明的是，本发明实施例中上述步骤s12和步骤s13执行不分先后，先执行步骤s12再执行步骤s13，或先执行步骤s13再执行步骤s12都可以，当然也可以同时执行，本发明实施例对此不作具体限定。
85.上述步骤s14是在检测区域中分别对参考图像帧和当前图像帧生成预设数量的特征点。
86.本发明实施例中使用相同的特征点检测方法在检测区域对参考图像帧和当前图像帧生成预设数量的特征点。而且生成预设数量的特征点的数量也是相同的，保证的匹配标准相同，从而判断图像采集设备是否发生偏移的精度会显著提高。
87.其中，本发明实施例中使用的特征点检测方法包括但不限于以下方法：orb算法、sift(尺度不变特征变换)算法、surf算法、哈里斯角点检测算法、ransac算法。
88.orb(oriented fast and rotated brief)算法是一种快速特征点提取和描述的算法，分为特征点提取和特征点描述。特征提取是由fast(features from accelerated segment test)算法发展来的，特征点描述是根据brief(binary robust independentelementary features)特征描述算法改进的。orb特征是将fast特征点的检测方法与brief特征描述子结合起来，并在它们原来的基础上做了改进与优化，orb算法最大的特点就是计算速度快。首先，fast检测特征点，使特征点具有方向性，并采用具有旋转不变性的brief算法计算描述子，该描述子特有的2进制串的表现形式不仅节约了存储空间，而且大大缩短了匹配的时间。fast和brief都是非常快速的特征计算方法，因此orb相比传统特征点检测方法如sift等具有非同一般的性能优势。
89.sift(scale-invariant feature transform，尺度不变特征变换)算法是描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。sift特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。
90.surf(speeded up robust features)算法是对sift算法的一种改进，主要特点是快速。对于一幅灰度的图像，积分图像中的任意一点(x,y)的值是指从图像的左上角到这个点的所构成的矩形区域内所有的点的灰度值之和积分图像是surf算法减小计算量的关键，从sift到surf算法的性能提升很大程度归功于积分图像的使用。
91.哈里斯角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点。
92.ransac(random sample consensus)算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。ransac算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时ransac也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
93.在一个可选的实施例中，当检测区域有多个，在检测区域中分别对参考图像帧和当前图像帧生成预设数量的特征点包括：在多个检测区域中的每个检测区别中分别对参考图像帧和当前图像帧生成预设数量的特征点。例如，参照图2b所示，设定了4个检测区域，均在上述4个检测区域内生成预设数量的特征点。本发明实施例可以根据上述检测区域的面积大小设定特征点的数量，也可以随机在上述检测区域内生分别对参考图像帧和当前图像帧成总数量一致的特征点，本发明实施例对此不作具体限定。
94.上述步骤s15是将参考图像帧的特征点与当前图像帧的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离。
95.本发明实施例中，将参考图像帧的特征点与当前图像帧的特征点进行特征点匹配时可以使用现有的匹配方法，例如bf(brute force，暴风)算法、flann匹配算法等匹配算
法。
96.其中，bf(brute force，暴风)算法是将目标串s的第一个字符与模式串t的第一个字符进行匹配，若相等，则继续比较s的第二个字符和t的第二个字符；若不相等，则比较s的第二个字符和t的第一个字符，依次比较下去，直到得出最后的匹配结果，bf算法是一种蛮力算法。
97.flann(fast library for approximate nearest neighbors，快速最近邻搜索包)匹配算法是一个对大数据集和高维特征进行最近邻搜索的算法的集合。利用近似k近邻算法去寻找一致性，flann方法比bf(brute-force)方法快的多。
98.本发明实施例中使用上述匹配算法可以将检测区域内特征点(角点)大致一样，就会将图片中的特征点进行配对。例如上述图2b中检测区域2和检测区域3中的均是绿地，且两片绿地生长的相似度极高，通过orb特征点检测算法生成的特征点较为相似，通过上述暴力匹配算法，很有可能将不同图像中的检测区域2中的特征点与检测区域3中的特征点匹配成功。因此，匹配结果中会存在错误匹配的特征点。本发明实施例中还需要对上述错误匹配的特征点之间的配对关系进行过滤删除。
99.在一个可选的实施例中，将参考图像帧的特征点与当前图像帧的特征点进行特征点匹配之后还包括：使用过滤算法从匹配结果中过滤掉误匹配的特征点。例如，本发明实施例中使用gms过滤算法对上述匹配结果进行过滤，从而过滤掉误匹配的特征点。
100.其中，gms(grid-based motion statistics for fast，基于网格的快速运动统计)过滤算法是一种将运动平滑度作为统计量进行局部区域的匹配的消除错误匹配的过滤方法。相对于传统的ransac(random sample consensus)算法运行速度增快，并且在去除错误匹配的特征点时节约了更多的计算机资源。
101.上述步骤s16是根据相匹配的特征点的数量和相匹配的特征点之间的连线距离判断图像采集设备是否发生偏移。
102.具体的，当相匹配的特征点的数量小于第一预定值且相匹配的特征点之间的连线距离的平均值大于第二预定值时，判断为图像采集设备发生了偏移；否则，判断为图像采集设备未发生偏移。
103.例如，本发明实施例中在上述步骤s14中生成的特征点的预设数量为n，通过上述步骤s15进行特征点匹配后确定相匹配的特征点的数量为n(n为匹配点位)、相匹配的特征点之间的连线距离为{l1,l2,
……
,ln}(l是每一对匹配点位在参考图像帧和当前图像帧坐标的连线，以矢量标记)。
104.本发明实施例中的上述第一预定值是相匹配的特征点的数量为n与预设数量n的比值决定的，上述第二预定值是连线距离的平均值决定的。例如，计算匹配点位连线矢量集的平均位移，r＝(|l1|+|l2|+
……
+|ln|)/n；当n/n小于某一比例(如n/n<0.3)且r大于某值(如r>(w+h)/70,w和h分别为图像的宽和高，70为图像宽高之和的经验值)，则判断当前图像帧相比参考图像帧已经发生偏移。
105.在执行完上述步骤s16之后，本发明实施例还当基于持续多个当前图像帧判断为图像采集设备未发生偏移时，更新参考图像帧。因为时间环境等因素的影响，图像采集设备拍摄的图像的灰度值会根据周围环境的变化产生变化，例如凌晨和中午图像采集设备拍摄的图像亮度会明显不同。因此，当基于持续多个当前图像帧判断为图像采集设备未发生偏
移时，更新参考图像帧。例如本发明实施例中，当参考图像帧和当前图像帧连续m帧(如m＝5)判断为图像采集设备未发生偏移时，则利用当前图像帧更新参考图像帧。
106.本发明实施例能够针对仅包含背景图像的检测区域生成预设数量的特征点，避免了在图像的前景图像和背景图像中均生成特征点，消除了除图像采集设备偏移之外由其他图像区域(例如前景区域)物体本身移动造成的特征点匹配不准确的问题，并且基于相匹配的特征点的数量和相匹配的特征点之间的连线距离综合判断出图像采集设备是否发生偏移，从而大大节省了人力判断，利用图像特征点匹配算法达到实时预警或事后判断的效果，与现有未区分检测区域的技术方案相比兼具准确性更高、计算更快速、应用场景更广的优点。
107.在一个更为具体的实施例中，参照图3所示，针对高速公路上的某一ptz云台相机进行偏移检测，获取云台相机的视频流地址或任意视频的本地地址，对读取拍摄该视频的相机进行相机偏移检测。首先设置初始化参数，例如：设置只包含背景图像的检测区域、设置检测区域内生成的特征点的数量以及视频流的地址等等，具体的，可以将多边形圈闭起的一个背景区域作为检测区域，也可以将多个背景区域作为检测区域，存储多边形顶点以备对每一帧图像进行背景区域选取；然后执行选取图像帧，将预置位图像帧(一般为视频流的第一帧图像)作为判断相机偏移的参考图像帧和每一帧新图像(当前图像帧)进行匹配；读取最新图像帧(当前图像帧)和参考图像帧，并在检测区域中对参考图像帧和当前图像帧使用orb特征点检测算法生成预设数量的特征点；然后使用bf匹配再进行gms错误匹配消除得到相匹配的特征点的数量和相匹配的特征点之间的连线矢量集{l1,l2,
……
,ln}；进而使用得到的相匹配的特征点的数量和相匹配的特征点之间的连线矢量集判断当前图像帧相比参考图像帧是否发生偏移，并发出相应的提示信息。
108.当需要适应光照变化等客观因素时，还可以利用渐变更新机制，当基于历史图像帧(参考图像帧)和当前图像帧连续m帧(如m＝5)不提示报警，则利用当前图像帧更新历史图像帧(不更新情况下历史图像帧一直是预置位图像帧)，使得检测相机偏移更加符合实际情形。
109.参照图4a和图4b所示，在图2b中的检测区域1和检测区域2通过orb特征点检测算法生成预设数量的特征点，图中黑色十字为生成的特征点的示意图。若图4b显示的图像未发生偏移，则生成的特征点与图4a中几乎是相同的，且第一预定值特征点的数量为n与预设数量n的比值接近1，第二预定值匹配点位连线矢量集的平均位移(特征点之间的连线距离的平均值)接近0；但是图4b所示的图像发生了偏移之后，相匹配的特征点的数量就会明显减少，同时相匹配的特征点之间的连线距离不为0，且偏移的距离越大，相匹配的特征点的数量会越少。
110.基于同一发明构思，本发明实施例还提供了一种图像采集设备偏移检测装置，参照图5所示，该装置包括：读取模块11、设定模块12、选取模块13、生成模块14、匹配模块15和判断模块16，其工作原理如下：
111.确定模块11确定由图像采集设备获取的图像帧。
112.设定模块12对所述图像帧设定仅包含背景图像的检测区域。
113.选取模块13从所述图像帧中选取参考图像帧和当前图像帧。
114.生成模块14在所述检测区域中分别对所述参考图像帧和所述当前图像帧生成预
设数量的特征点。可选的，当所述检测区域有多个时，生成模块14在多个所述检测区域中的每个检测区别中分别对所述参考图像帧和所述当前图像帧生成预设数量的特征点。
115.匹配模块15将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离。可选的，匹配模块15还使用过滤算法从匹配结果中过滤掉误匹配的特征点。
116.判断模块16根据所述相匹配的特征点的数量和所述相匹配的特征点之间的连线距离判断所述图像采集设备是否发生偏移。具体的，当所述相匹配的特征点的数量小于第一预定值且所述相匹配的特征点之间的连线距离的平均值大于第二预定值时，判断模块16判断为所述图像采集设备发生了偏移；否则，判断模块16判断为所述图像采集设备未发生偏移。
117.在一个可选的实施例中，参照图6所示，该装置还可以包括更新模块17，当基于持续多个当前图像帧判断为所述图像采集设备未发生偏移时，更新模块17更新所述参考图像帧。
118.本发明实施例所述装置的具体说明、有益效果及相关举例参照上述方法部分，在此不再赘述。
119.实施例2
120.本发明实施例提供了一种图像匹配方法，参照图7所示，该方法可以包括以下步骤：
121.步骤s21、在第一图像和第二图像上设定相应的检测区域。
122.其中的第一图像和第二图像可以为分别取自不同图像采集设备的图像。
123.步骤s22、在检测区域中对第一图像和第二图像分别生成预设数量的特征点。
124.步骤s23、将第一图像的特征点与第二图像的特征点进行特征点匹配。
125.步骤s24、根据特征点匹配的匹配结果确定第一图像与第二图像的匹配关系。
126.本发明实施例提供的上述图像匹配方法，将需要匹配的图像设定检测区域，避免了在所有图像中生成特征点，只需对检测区域生成预设数量的特征点，再对检测区域生成的特征点进行图像匹配，这样就可以完成了对图像的分割和最小单元匹配，能够提高图像匹配效率，消除其他因素(例如匹配背景时，前景图像是其他因素；匹配前景时，背景图像是其他因素)干扰，提高了图像匹配的准确度。
127.本发明实施例上述步骤详细介绍如下：
128.上述步骤s21是在第一图像和第二图像上设定相应的检测区域，该步骤可以参照上述实施例1步骤s12的描述。需要说明的是，在实施例1是为了检测图像采集设备偏移所以只是针对仅包含的背景图像设定为检测区域，而本实施例中的检测区域并不局限于实施例1中的背景区域，而是根据目标所在区域确定的检测区域。具体的，所述检测区域仅包含所述第一图像和所述第二图像中的前景图像，或者仅包含所述第一图像和所述第二图像中的背景图像。
129.例如，在进行对象识别和运动跟踪时，目标可以是已知的人物对象、车辆等，通过采集不同交通路口的图像采集设备(云台相机或者摄像头)拍摄到监控画面，对画面中的人物、车辆图像进行图像识别，而人物图像属于前景图像，所以此时的检测区域为仅包含所述第一图像和所述第二图像中的前景图像，可以对前景图像中不同区域进行划分。这样与参
考图像(例如是第一图像)中出现涉案嫌疑人的检测区域进行逐一对比，缩小了图像特征点布设范围，进而过滤出大量错误特征点，使得匹配更加准确。
130.上述步骤s22是在检测区域中对第一图像和第二图像分别生成预设数量的特征点。该步骤参照实施例1步骤s14的描述。上述步骤s23是将第一图像的特征点与第二图像的特征点进行特征点匹配。以及，步骤s24是根据特征点匹配的匹配结果确定第一图像与第二图像的匹配关系。分别参照实施例1步骤s15和步骤s16的描述。
131.需要说明的是，实施例1中步骤s15是进行特征点匹配之后确定相匹配的特征点的数量和相匹配的特征点之间的连线距离。进而步骤s16根据步骤s15确定的相匹配的特征点的数量和相匹配的特征点之间的连线距离判断图像采集设备是否发生偏移。而本实施例中步骤s23进行特征点匹配之后，也可以确定相匹配的特征点的数量和相匹配的特征点之间的连线距离；相应的，根据所述特征点匹配的匹配结果确定所述第一图像与所述第二图像的匹配关系，包括：当所述相匹配的特征点的数量小于第一预定值且所述相匹配的特征点之间的连线距离的平均值大于第二预定值时，判断为所述第一图像与所述第二图像相匹配；否则，判断为所述第一图像与所述第二图像不相匹配。
132.当然，本发明实施例步骤s23进行特征点匹配之后并不局限于确定相匹配的特征点的数量和相匹配的特征点之间的连线距离。所以，步骤s24可以根据步骤s23任何确定的特征点匹配的匹配结果确定第一图像与第二图像的匹配关系。
133.本发明实施例通过在第一图像和第二图像上设定相应的检测区域，根据对图像识别、运动跟踪、图像匹配等不同特性的应用而对图像区域进行划分；进而在相应的检测区域中对图像生成预设数量的特征点，从而进行特征点匹配确定图像之间的匹配关系。由于生成特征点所在检测区域是目标检测区域，避免了非目标检测区域特征点匹配时的干扰，并且减少了计算机运算量，提高了检测效率和工作效率。
134.基于同一发明构思，本发明实施例还提供了一种图像匹配装置，参照图8所示，该装置可以包括：检测区域设定模块21、特征点生成模块22、特征点匹配模块23和匹配关系确定模块24，其工作原理如下：
135.检测区域设定模块21在第一图像和第二图像上设定相应的检测区域。具体的，所述检测区域仅包含所述第一图像和所述第二图像中的前景图像，或者仅包含所述第一图像和所述第二图像中的背景图像。特征点生成模块22在所述检测区域中对所述第一图像和所述第二图像分别生成预设数量的特征点。特征点匹配模块23将所述第一图像的特征点与所述第二图像的特征点进行特征点匹配。匹配关系确定模块24根据所述特征点匹配的匹配结果确定所述第一图像与所述第二图像的匹配关系。
136.具体的，特征点匹配模块23将所述第一图像的特征点与所述第二图像的特征点进行特征点匹配，确定相匹配的特征点的数量和相匹配的特征点之间的连线距离；匹配关系确定模块24根据所述特征点匹配的匹配结果确定所述第一图像与所述第二图像的匹配关系，包括：当所述相匹配的特征点的数量小于第一预定值且所述相匹配的特征点之间的连线距离的平均值大于第二预定值时，匹配关系确定模块24判断为所述第一图像相对于所述第二图像发生了偏移；否则，匹配关系确定模块24判断为所述第一图像相对于所述第二图像未发生偏移。
137.本实施例所述装置的技术效果及相关举例说明可参见上述方法中的相关内容，此
处不再赘述。
138.在一个具体的实施例中，参照图9所示，本发明实施例中的图像匹配方法应用到智慧交通领域，用于图像采集设备偏移检测时，相应的图像采集设备偏移检测方法包括以下步骤：
139.步骤s31、从由图像采集设备拍摄的视频流中读取参考图像帧和当前图像帧；
140.步骤s32、在所述参考图像帧和所述当前图像帧的背景区域中设定相应的检测区域；
141.步骤s33、在所述检测区域中对所述参考图像帧和所述当前图像帧分别生成预设数量的特征点；
142.步骤s34、将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配；
143.步骤s35、根据所述特征点匹配的匹配结果判断所述图像采集设备是否发生偏移。
144.本发明实施例中上述步骤的技术效果及相关举例说明可参见上述实施例1和实施例2的图像匹配方法的相关内容，在此不再赘述。
145.基于同一发明构思，本具体实施例中也提供了一个具体的图像采集设备偏移检测装置，参照图10所示，该装置包括：图像帧读取模块31、区域设定模块32、特征点生成模块33、特征点匹配模块34和判断模块35，其工作原理如下：
146.图像帧读取模块31从由图像采集设备拍摄的视频流中读取参考图像帧和当前图像帧；区域设定模块32在所述参考图像帧和所述当前图像帧的背景区域中设定相应的检测区域；特征点生成模块33在所述检测区域中对所述参考图像帧和所述当前图像帧分别生成预设数量的特征点；特征点匹配模块34将所述参考图像帧的特征点与所述当前图像帧的特征点进行特征点匹配；判断模块35根据所述特征点匹配的匹配结果判断所述图像采集设备是否发生偏移。
147.实施例3
148.本发明实施例提供了一种图像处理系统，参照图11所示，该系统包括：图像采集设备1和服务器2。所述图像采集设备1用于实时采集图像数据，并发送给所述服务器2；所述服务器2包括上述图像采集设备偏移检测装置，用于接收所述图像采集设备发送的图像数据，并对图像数据中包含的图像进行匹配。
149.需要说明的是，本发明实施例提供的上述图像处理系统，当需要实现实施例1中的方法时，该系统即可以称为图像采集设备偏移检测系统，，服务器中包括的装置即为实施例1中的图像采集设备偏移检测装置。
150.当需要实现实施例2中图像匹配方法时，该系统即可以称为图像匹配系统，该系统的图像采集设备可以是提供给实施例2中的图像的任何图像采集设备，例如相机、手机、摄像头、车载终端等，服务器中包括的装置即为实施例2中的图像匹配装置。
151.本实施例所述系统的技术效果及相关举例说明可参见上述实施例1和实施例2中的相关内容，此处不再赘述。
152.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机
可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
153.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
154.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
155.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
156.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。