一种图像预处理方法

1.本发明属于图像处理领域，涉及一种图像预处理方法，具体涉及一种图像特征点提取的前置处理方法。


背景技术：

2.近年来，图像特征点的提取与匹配被广泛地应用于计算机视觉、机器人控制等领域。例如，小车上安装有相机，相机跟随小车移动的同时进行拍摄，连续获取图像。我们可以利用相机拍摄的图像获取小车的位姿。该过程中，首先需要提取每一帧图像的特征点；然后，通过相邻帧之间特征点的匹配来获取特征点的位置变化，从而能够推算出相机的位姿变化，进而也就获得了小车的位姿变化。图像特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，例如图1中的瓷砖的接缝的交叉点、瓷砖花纹的角点。图像的特征点提取和相邻两帧图像的特征点匹配(下称“图像特征点操作”)有orb算法、surf算法、sift算法等。相机拍摄的图像称为原始图像。通常，原始图像中存在很多不良特征的图像区域。
3.常见的不良特征的图像区域举例如下：
4.(1)原始图像中存在特征相似的区域。例如，在图1的原始图像中，规则铺设的瓷砖墙面上存在大量的瓷砖的接缝交叉点和瓷砖的花纹(如图1)。瓷砖的接缝交叉点、花纹的角点等是典型的图像特征点。原始图像中存在大量的相似图像特征点，因此，图像特征点操作容易混淆特征点，导致特征点匹配错误。如图2所示，相似的图像特征点导致了两帧图像的图像特征点操作产生了多个错误的特征点匹配。图中的实线画出了这些错误的特征点匹配。作为参考，图中用虚线画出了正确的特征点匹配。
5.(2)原始图像中存在特征不明显的区域(例如，白色的墙面)。在这样的图像区域里，缺少图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。对这样的区域进行特征点提取会获得不稳定的特征点，例如，在前一帧图像能提取到的特征点，在后一帧图像里就提取不到了。在这样的图像区域里进行图像特征点操作会浪费大量的计算时间且白白地消耗很多计算资源。
6.(3)当图像中存在运动的物体(例如，随风摆动的树叶、行走的人和物等)时，运动物体的像素在原始图像中处于变化的状态，这会增加特征点的提取的难度，同时也会产生特征点匹配的错误。
7.现有图像特征点操作往往需要遍历图像中的每一个像素，而图像中大量存在的不良特征区域往往会导致计算耗时长，且计算量较大。


技术实现要素：

8.针对现有技术的不足，本发明提供一种图像预处理方法，采用该方法对原始图像进行预处理，可以在后续图像特征点操作中大幅降低计算量、提高特征点操作效率和匹配的精度。
9.本发明采用如下的技术方案：
10.一种图像预处理方法，该方法包括去除原始图像中的部分或全部不良特征图像区域，生成新图像，将所得到的新图像用于后续的图像特征点操作；
11.所述去除原始图像中部分或全部不良特征图像区域，可以是在原始图像中划定一个图像框，保留图像框内的图像区域成为新图像；也可以是在原始图像中划定一个以上的图像框，保留各图像框内的图像区域，每个图像框内的图像区域分别成为一个新图像，所有的新图像被共同用于后续的图像特征点操作；还可以是去除原始图像中运动物体所在图像区域，如使用稠密光流来识别运动物体并去除运动物体的图像区域，在去除运动物体所在区域后再用一种颜色充填该去除区域，将颜色充填后的图像作为新图像；还可以是保留原始图像中的指定颜色阈值范围内的图像区域，用另一种颜色(指所述指定颜色阈值范围以外的任一种颜色)来充填指定颜色阈值范围以外的图像区域，将颜色充填后的图像作为新图像，在该方法中，还可以通过放置一个或多个标志物，使标志物的颜色在指定颜色阈值范围内，且所述标志物的部分或全部被包含在原始图像中，这样处理后部分或全部的标志物将被保留在新图像中；还可以是获得原始图像的像素深度，用一种颜色充填指定像素深度范围内的像素，颜色充填后的原始图像成为新图像，新图像用于后续的图像特征点操作。
12.采用本发明的方法对图像进行预先处理，可以大幅降低后续特征点处理的计算量，极大的提高效率和精度。
附图说明
13.图1为存在不良特征图像区域的实例示意图，图中存在多处特征相似的区域；
14.图2为图1所示实例可能的特征点匹配结果示意图；
15.图3为采用一个图像框去除不良特征图像区域的实例示意图；
16.图4为图3方法中图像框设置不合理的一种实例示意图；
17.图5为图3方法中图像框设置不合理的一种实例示意图；
18.图6为采用三个图像框去除不良特征图像区域的实例示意图；
19.图7为含有移动物体的连续两帧原始图像；
20.图8为图7所示两帧图像的稠密光流表示；
21.图9为采用稠密光流提取出的运动物体的图像区域；
22.图10为在图8中采用黑色填充图9中所提取出的运动物体对应图像区域；
23.图11为拍摄到的原始图像；
24.图12为图11经保留蓝色和红色其他区域用黑色替代后的图像；
25.图13为具有像素深度差异的原始图像；
26.图14为采用黑色填充小于深度阈值的像素后的图像。
具体实施方式
27.下面结合附图和具体实施例来进一步说明本发明方法。本发明的方法可以用于图像特征点操作或相关的图像处理领域中，本发明通过去除原始图像的不良特征图像区域来提高图像特征点操作的效率和准确度。以背景技术中所提到的利用相机拍摄的图像获取小车的位姿这一具体应用场景为例，一个相机安装在小车上，相机拍摄周围的场景，并利用拍
摄的图像获取小车的位姿。结合以下实例对本发明方法进行详细说明：
28.实施例1
29.小车在一个瓷砖环境里运动。图2是相机拍摄到的两帧连续的图像。原始图像中有下述不良特征图像区域：(1)规则铺设的瓷砖墙面上存在大量特征相同或相似的瓷砖接缝交叉点；(2)原始图像中存在花纹相同的瓷砖，因此存在特征相同或相似的花纹的边角点。
30.如图2所示，相似的图像特征点导致了两帧图像的图像特征点操作产生了多个错误的特征点匹配。图中的实线画出了这些错误的特征点匹配。作为参考，图中用虚线画出了正确的特征点匹配。并且，图像中的相似特征点越多，特征点提取和匹配的错误发生率就越高。为了改善后续的图像特征点操作的效果，本实施例把原始图像进行如下的图像预处理。
31.首先，利用相机拍摄原始图像。然后，在原始图像上划定一个图像框。该图像框在原始图像中的位置是固定不变的。如图3所示，图像框将原始图像分成两个图像子区域：图像框内的图像区域和图像框外的图像区域。本方法去除图像框外的图像区域，保留图像框内的图像区域。被保留的图像框内的图像成为新图像，被用于后续的图像特征点操作处理。图像框的大小和形状的设定原则是确保图像框内的图像区域中不存在或尽可能少地存在相似的图像特征点。以图3的图像框，图像框的尺寸小于一块瓷砖的尺寸，这可以有效地避免框内图像区域里出现相似的特征点。此外，本方法只采用图像框内的图像区域进行后续的图像特征点操作，后续的图像特征点操作的像素计算量远小于原始图像的像素计算量，这能够降低图像特征点操作的计算时间和计算资源。
32.图4和图5是图像框的设定不合理的例子。图像框太小的话(图4)，图像框内的图像区域没有明显的特征，这会导致在进行后续的图像特征点操作时特征点提取失败和匹配错误。而如果图像框太大的话(图5)，图像框内的图像区域存在很多相似的特征点，也会导致在进行后续的图像特征点操作时特征点匹配错误。
33.实施例2
34.实施例1只设置了一个图像框。以图3为例，利用框内的图像区域来进行后续的图像特征点操作。如果在某一段时间里框内的图像区域缺少特征点，后续的图像特征点操作无法从框内的图像区域中提取特征点，这就会导致小车的位姿计算失败。为了避免这样的问题，本实施例在原始图像中划定多个图像框。例如，在图6中划定了三个图像框，分别记为图像框1、图像框2和图像框3。三个图像框内的图像区域被保留，生成三个新图像，被用于后续的图像特征点操作。并且，每个新图像单独进行后续的图像特征点操作，这样能避免新图像之间的特征点的错误匹配。例如，图像框1和图像框3都存在一个相似的特征点(即瓷砖接缝的交点)，但是，因为两个框内的图像是单独进行图像特征点操作，所以。图像框1的相似特征点和图像框3的相似特征点不会发生误匹配。
35.本实施例通过增加图像框来增加后续图像特征点操作的新图像的数量，能够大大降低特征点提取失败的概率。例如，当图像框1内无法提取特征点时，图像框2和图像框3能够提取到特征点，那么，小车的位姿计算仍然能够顺利进行。三个图像框同时出现特征点提取失败的概率是非常低的。
36.实施例3
37.在本实施例中，原始图像中存在运动的物体。图7是相机拍摄到的连续两帧原始图像，图中的汽车是运动的物体。原始图像中有下述不良特征图像区域：运动的汽车的像素在
原始图像中处于变化的状态，这会增加特征点的提取的难度，同时也会产生特征点匹配的错误。
38.为了消除原始图像中的运动物体(即移动的汽车)对图像特征点操作的影响，本实施例采用下述方法。
39.首先，利用相机拍摄来获取原始图像。然后，使用稠密光流进行筛选并剔除运动物体。我们可以通过光流矩阵运算很快速地获得连续的两帧图像的稠密光流表示(如图8)。图8中包含了由于相机自身运动带来的运动信息和图中汽车的运动带来的运动信息。接着，将由汽车运动引起的光流变化提取出来，如图9所示。接着，用一种单纯的颜色来充填图9的对应像素的图像区域。本实施例采用黑色来充填，如图10所示。图10成为新图像，被用于后续的图像处理操作。图9对应的区域的像素被黑色充填后，不存在特征点，后续的图像处理操作也不会在这一区域提取和匹配特征点，这就避免了移动像素对特征点提取和匹配的影响，能提高特征点提取操作的准确性和降低计算时间和计算资源。
40.实施例4
41.图11是摄像头拍摄到的原始图像。原始图像中有下述不良特征图像区域：(1)原始图像中存在大量尺寸相同、花纹相近的瓷砖，且瓷砖排列整齐，从而产生了大量的相似的特征点。这些相似的特征点会导致后续的图像特征点操作产生错误匹配。(2)原始图像的下部还存在灰白色的、无明显纹理特征的水泥地区域，该区域没有明显的特征点，对这一区域进行图像特征点操作会消耗大量的计算时间和计算资源，但是无法提取出稳定的、有效的特征点。
42.为了改善图像特征点操作的效果，本实施例把原始图像进行如下的图像预处理。
43.原始图像中存在蓝色和红色的图像区域。并且，不良特征图像区域不具有这两种颜色。因此，用蓝色和红色来对原始图像进行颜色筛选处理，仅保留指定颜色的图像区域。在本实施例中，我们可以利用颜色的rgb值来筛选出蓝色和红色的像素，并保持这些像素的颜色不变。不是蓝色和红色的图像区域的颜色替换成一种单纯的颜色。在本实施例中，替换颜色采用黑色。图12是颜色替换后的新图像。因为原始图像的不良特征图像区域不包含蓝色和红色，所以不良特征图像区域被完全替换成了黑色。也就是说，不良特征图像区域被去除了，从而不会影响后续的图像特征点操作。后续的图像特征点操作可以很容易在新图像(图12)中提取到特征点(例如，蓝色、红色区域的角点)并在下一帧图像中进行准确的匹配。
44.此外，当场景中出现移动物体时，移动物体上的特征点也是移动的，这样的特征点是不稳定的，会对后续的图像特征点操作产生不良的影响。因此，移动物体的图像区域是不良特征图像区域。在本实施例中，只要移动物体的像素不是红色或蓝色，移动物体的所有像素都会被替换成黑色，于是，移动物体对后续图像特征点操作的影响就能够被完全消除。
45.实施例5
46.本实施例是实施例4的一个改进。我们在相机拍摄的场景里放置设置一个或多个具有特定颜色的标志物，例如，红色的圆形色块或是三角形色块。标志物的颜色应选择不良特征图像区域里没有的颜色。接着，重复实施例3的方法，我们就能够去除不良特征图像区域，获得特征明显的新图像。例如，在图11的场景里，我们设置若干个红色的三角形的标志物。于是，新图像中就会出现该标志物，能够丰富新图像的图像特征，有利于提高后续的图像特征点操作的特征点提取的效率和匹配的准确度。
47.实施例6
48.一个双目相机安装在小车上，使用双目相机拍摄到的原始图像进行机小车的位置和姿态的计算。图13是相机拍摄到的一张原始图像。原始图像中存在不良特征区域，瓷砖壁面上存在大量的接缝交叉点，这些接缝交叉点都非常相似，容易导致特征点提取操作的特征点错误匹配。
49.为了改善图像特征点操作的效果，本实施例把原始图像进行如下的图像预处理。
50.利用双目相机拍摄获取原始图像并获得原始图像的像素的深度信息，如图13所示。瓷砖的接缝交叉点距离双目相机近，设定一个深度阈值，深度小于该阈值的像素用单一颜色充填，生成新图像。本实施例用黑色充填，如图14所示。新图像被用于后续的图像特侦点操作。
51.本方法具有以下优点：(1)在新图像中，瓷砖的接缝交叉点大幅减少，因此，后续的图像特征点操作能够有效避免图像特征点的错误匹配；(2)因为被单一颜色充填的图像区域不存在特征点，所以该图像区域不会占用后续图像特征点操作的计算时间和资源，这有助于提高计算速度、节约计算资源。