图像匹配的方法和图像处理装置与流程

以下总体涉及数字图像处理。更具体地讲，涉及一种使用图像处理装置的图像匹配的方法。

背景技术：

1、数字图像处理是指使用计算机通过算法或处理网络来编辑数字图像。在一些情况下，图像处理软件可用于各种图像处理任务(诸如，图像编辑、图像生成等)。

2、图像匹配是图像处理过程的子领域，并且可包括多级处理的初步筛选(例如，目标检测)。然而，传统的图像匹配方法受到光照、遮挡、噪声等的影响。此外，传统的方法鲁棒性低，并且可能无法准确地对图像进行匹配。

3、因此，现有技术中存在对具有提高的准确性的鲁棒的图像匹配方法的需求。

技术实现思路

1、提供本
技术实现要素：
以简要的形式介绍在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。

2、本公开描述用于图像处理的系统和方法。公开的实施例包括一种图像匹配的方法。在一些情况下，所述图像匹配的方法包括：获得参考图像和待匹配图像，然后确定参考图像中的模板图像块，其中，模板图像块是参考图像中的位于匹配窗口内的图像块。此外，所述方法包括：确定待匹配图像中的第一图像块，其中，第一图像块是待匹配图像中的与模板图像块的绝对差值和sad最小的图像块；然后，确定待匹配图像中的第二图像块，其中，第二图像块是待匹配图像中的与模板图像块的梯度信息差最小的图像块；最后基于第一图像块和第二图像块，确定待匹配图像中的匹配图像块。

3、确定第二图像块的步骤可包括：分别确定与第一图像块相关联的k个图像块中的每个图像块以及模板图像块的梯度信息，其中，梯度信息包括图像块的主方向和沿主方向的梯度值，其中，k是大于1的整数。此外，可基于以下步骤来确定第二图像块：分别将所述k个图像块中的每个图像块的梯度信息与模板图像块的梯度信息进行比较；将所述k个图像块之中的图像块的主方向与模板图像块的主方向相同并且沿主方向的梯度值与模板图像块的沿主方向的梯度值之差最小的图像块确定为第二图像块。

4、图像块的主方向可包括沿多个方向的梯度值之中的最大梯度值所沿的方向。

5、所述k个图像块包括与第一图像块存在重叠的图像块的集合之中的前k个图像块，其中，所述k个图像块按照与模板图像块的sad的升序排序，其中，通过将匹配窗口滑过第一图像块来获得与第一图像块存在重叠的图像块的集合。

6、确定匹配图像块的方法可包括：基于第一图像块与第二图像块是同一图像块，将第一图像块或第二图像块确定为匹配图像块。此外，所述方法包括：基于第一图像块的位置、第二图像块的位置和梯度差变化率来确定匹配图像块的位置，其中，第一图像块与第二图像块是不同的图像块。

7、根据一些实施例，梯度差变化率越大，匹配图像块可越靠近第二图像块；根据一些实施例，梯度差变化率越小，匹配图像块可越靠近第一图像块。在一些情况下，当梯度差变化率小于预定阈值时，第一图像块可被确定为匹配图像块。

8、匹配图像块的位置可基于第一图像块的位置和第二图像块的位置的加权和来确定。在一些情况下，计算所述加权和所使用的权重与梯度差变化率相关联。

9、梯度差变化率越大，与第一图像块的位置对应的权重可小于第二图像块，与第二图像块的位置对应的权重可大于第一图像块。

10、确定梯度差变化率的方法可包括：计算所述k个图像块和第一图像块之中的图像块对沿模板图像块的主方向的梯度值之差。此外，所述方法包括：基于计算的所述梯度值之差的最大值和最小值计算梯度差变化率。

11、确定第一图像块的方法可包括：计算待匹配图像中的一部分图像块(即，部分图像块)与模板图像块之间的sad值，其中，所述一部分图像块的中心位于待匹配图像中的搜索区域。在一些情况下，所述搜索区域与模板图像块在参考图像中的位置相关联。

12、确定第一图像块的方法可包括：从待匹配图像确定搜索区域；然后基于搜索区域中的多个子区域中的每个子区域的局部最小sad来确定第一图像块，其中，所述多个子区域中的每个子区域的局部最小sad是中心分别位于所述多个子区域中的每个子区域的图像块与模板图像块之间的sad值的最小值。

13、基于搜索区域中的每个子区域的局部最小sad来确定第一图像块的方法可包括：计算所述多个子区域中的每个子区域的局部最小sad；然后基于局部最小sad确定全局最小sad，其中，全局最小sad是局部最小sad之中的最小值。此外，所述方法包括：确定包括全局最小sad的子区域是否是当前搜索区域中的所述多个子区域中的最外围的子区域；然后，当包括全局最小sad的子区域不是所述最外围的子区域时，将与全局最小sad对应的图像块确定为第一图像块。

14、所述方法还可包括：当包括全局最小sad的子区域是所述最外围的子区域，更新搜索区域，然后确定第一图像块。在一些情况下，基于根据所述更新的搜索区域中的所述多个子区域中的每个子区域的局部最小sad来确定第一图像块，其中，更新后的搜索区域还包括扩展区域，扩展区域是位于所述最外围的子区域外部并围绕所述最外围的子区域的子区域。

15、所述方法还可包括：在更新搜索区域之前，确定中心位于所述最外围的子区域中并且到达待匹配图像的边界的图像块。此外，所述方法包括：响应于中心位于所述最外围的子区域中并且到达待匹配图像的边界的至少一个图像块，将与全局最小sad对应的图像块确定为第一图像块。

16、确定的搜索区域可包括从内向外依次嵌套的多个子区域。在一些情况下，所述多个子区域之中的在最内部的第一子区域位于待匹配图像中的与模板图像块在参考图像中的位置对应的区域，并且第一子区域的大小与匹配窗口的大小相同。

17、根据本公开的一些实施例，一种图像处理装置包括：存储器；以及处理器，被配置为：获得参考图像和待匹配图像；确定参考图像中的模板图像块，其中，模板图像块是参考图像中的位于匹配窗口内的图像块；确定待匹配图像中的第一图像块，其中，第一图像块是来自待匹配图像的与模板图像块的绝对差值和sad最小的图像块；确定待匹配图像中的第二图像块，其中，第二图像块是来自待匹配图像的与模板图像块的梯度信息差最小的图像块；基于第一图像块和第二图像块，确定待匹配图像中的匹配图像块。

18、根据一些实施例，处理器可被配置为：分别确定与第一图像块相关联的k个图像块中的每个图像块以及模板图像块的梯度信息，其中，梯度信息包括图像块的主方向和沿主方向的梯度值，其中，k是大于1的整数；分别将所述k个图像块中的每个图像块的梯度信息与模板图像块的梯度信息进行比较；将所述k个图像块之中的图像块的主方向与模板图像块的主方向相同并且沿主方向的梯度值与模板图像块的沿主方向的梯度值之差最小的图像块确定为第二图像块。

19、在一些示例中，图像块的主方向可以是图像块沿多个方向的梯度值之中的最大梯度值所沿的方向。

20、所述k个图像块可包括与第一图像块存在重叠的图像块的集合之中的前k个图像块，其中，所述k个图像块按照与模板图像块的sad的升序排序，其中，通过将匹配窗口滑过第一图像块来获得与第一图像块存在重叠的图像块。

21、根据一些实施例，处理器可被配置为：基于第一图像块与第二图像块是同一图像块，将第一图像块或第二图像块确定为匹配图像块。此外，处理器可基于第一图像块的位置、第二图像块的位置和梯度差变化率来确定匹配图像块的位置，其中，第一图像块与第二图像块是不同的图像块。

22、在一些示例中，梯度差变化率越大，匹配图像块可比第一图像块更靠近第二图像块。此外，梯度差变化率越小，匹配图像块可比第二图像块更靠近第一图像块。在一些情况下，当梯度差变化率小于预定阈值时，第一图像块可被确定为匹配图像块。

23、匹配图像块的位置可基于第一图像块的位置和第二图像块的位置的加权和来确定。此外，计算所述加权和所使用的权重与梯度差变化率相关联。

24、梯度差变化率越大，与第一图像块的位置对应的权重可比与第二图像块的位置对应的权重小。类似地，与第二图像块的位置对应的权重可比与第一图像块的位置对应的权重大。

25、根据一些实施例，处理器可被配置为：计算所述k个图像块和第一图像块之中的图像块对沿模板图像块的主方向的梯度值之差。此外，处理器被配置为基于计算的所述梯度值之差的最大值和最小值计算梯度差变化率。

26、处理器可被配置为：通过计算待匹配图像中的一部分图像块(即，部分图像块)与模板图像块之间的sad值来确定第一图像块，其中，所述一部分图像块的中心位于待匹配图像中的搜索区域。在一些情况下，所述搜索区域与模板图像块在参考图像中的位置相关联。

27、处理器可被配置为：从待匹配图像确定搜索区域；基于搜索区域中的多个子区域中的每个子区域的局部最小sad来确定第一图像块，其中，所述多个子区域中的每个子区域的局部最小sad是中心分别位于所述多个子区域中的每个子区域的图像块与模板图像块之间的sad值的最小值。

28、根据一些实施例，处理器可被配置为：计算所述多个子区域中的每个子区域的局部最小sad；基于局部最小sad确定全局最小sad，其中，全局最小sad是局部最小sad之中的最小值；确定包括全局最小sad的子区域是否是当前搜索区域中的多个子区域中的最外围的子区域。此外，当包括全局最小sad的子区域不是所述最外围的子区域时，处理器将与全局最小sad对应的图像块确定为第一图像块。

29、根据一些实施例，处理器还可被配置为：当包括全局最小sad的子区域是所述最外围的子区域时，更新搜索区域，然后基于根据所述更新的搜索区域中的多个子区域中的每个子区域的局部最小sad来确定第一图像块，其中，更新后的搜索区域还包括作为子区域的扩展区域。在一些情况下，扩展区域位于所述最外围的子区域外部并围绕所述最外围的子区域。

30、根据一些实施例，处理器还可被配置为：在更新搜索区域之前，确定中心位于所述最外围的子区域中并且到达待匹配图像的边界的图像块，响应于中心位于所述最外围的子区域中并且到达待匹配图像的边界的至少一个图像块，将与全局最小sad对应的图像块确定为第一图像块。

31、确定的搜索区域可包括从内向外依次嵌套的多个子区域。在一些情况下，所述多个子区域之中的在最内部的第一子区域位于待匹配图像中的与模板图像块在参考图像中的位置对应的区域，并且第一子区域的大小与匹配窗口的大小相同。

32、根据一些示例实施例，一种非暂时性计算机可读存储介质存储指令，所述指令在被处理器执行时，使处理器执行上面公开的方法。

33、根据本公开的实施例的图像匹配的方法和图像处理装置可在进行图像匹配时考虑sad信息和纹理信息(例如，梯度信息)。通过考虑sad信息和纹理信息二者，本公开的实施例可避免噪声、光照、遮挡等因素对图像匹配的影响，同时提高图像匹配的准确性、鲁棒性和实时性。此外，通过分区域计算sad值，可加速搜索过程，减少冗余计算，提高图像匹配的实时性。

34、本发明构思另外的方面和/或优点将在接下来的描述中阐述，并且通过描述将是清楚的，和/或可以通过各种示例实施例和权利要求的实施而得知。