一种高分辨率图像匹配方法及系统与流程

本发明属于图像处理技术领域，尤其涉及一种高分辨率图像匹配方法及系统。

背景技术：

基于视觉的深度感知是一种在自动驾驶、工业检测、机器人、增强现实、无人机等许多领域有着普遍应用的底层通用支撑技术。相较于其他深度感知手段，视觉深度感知具有可以得到稠密数据、精度高、成本低、适用性好等优势。但由于涉及到图像之间的匹配问题，视觉深度感知也存在计算量大的问题，在普遍要求实时响应的诸多领域的应用面临较大问题。当前视觉深度感知技术的应用中，为保证实时性普遍只能支持低分辨率图像的匹配，导致无法充分利用目前高分辨率摄像设备的性能，只能得到较低精度和较小距离的深度数据。

目前，用于视觉深度感知的图像匹配主要有局部方法和全局方法两种，局部方法通过逐像素比较的方式，在两幅图像中寻找对应同一目标的像素，形成两幅图像像素之间的匹配关系，从而计算对应的视差和深度数据；这种方法面临大量的像素比对计算，运算量大，为保证实时性只能支持低分辨率图像的匹配。全局方法把图像的匹配转化为一个优化问题，通过在全局范围内寻找最优解实现图像之间的匹配。由于全局优化涉及到大量参数的设计，且最优解的求解非常复杂和不稳定，这种方法的效果虽然比局部方法更好，但也面临计算过程更为复杂的问题。结合这两种方法各自的特点，出现了半全局优化方法，这种方法和局部方法一样采用逐像素比对实现图像的匹配计算，但是在若干方向上通过优化手段得到对应方向的优化视差结果，提高了视差值的准确性。半全局优化方法在一定程度上改善了局部方法准确性不高和全局方法计算复杂的问题，但并未彻底解决高分辨率图像的匹配和远距离深度感知问题。

技术实现要素：

针对现有技术中的缺陷，本发明提供了一种既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果的高分辨率图像匹配方法。

本发明所提供的技术方案是：一种高分辨率图像匹配方法，所述方法包括下述步骤：

对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；

采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；

利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。

作为一种改进的方案，所述对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的步骤具体包括下述步骤：

初始化像素个数r的值，所述像素个数r作为停止采样条件；

将得到像素个数r的值作为下一级分辨率图像对应位置的像素值；

依次执行上述下采样过程，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。

作为一种改进的方案，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。

作为一种改进的方案，所述采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的步骤具体包括下述步骤：

初始化全局探针数量、方向和长度；

对得到的所述最低分辨率图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；

根据确定的探针数量、方向和长度，计算所述最低分辨率图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；

对所有待匹配像素，计算其对应的探针之间的距离；

对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；

选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。

作为一种改进的方案，所述利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的步骤具体包括下述步骤：

在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；

对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；

将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；

循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。

本发明的另一目的在于提供一种高分辨率图像匹配系统，所述系统包括：

下采样模块，用于对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；

局部匹配模块，用于采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；

反向求精模块，用于利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。

作为一种改进的方案，所述下采样模块具体包括：

值初始化模块，用于初始化像素个数r的值，所述像素个数r作为停止采样条件；

像素值确认模块，用于将得到像素个数r的值作为下一级分辨率图像对应位置的像素值；

最低分辨率图像获取模块，用于依次执行上述下采样过程，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。

作为一种改进的方案，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息。

作为一种改进的方案，所述局部匹配模块具体包括：

探针初始化模块，用于初始化全局探针数量、方向和长度；

像素匹配模块，用于对得到的所述最低分辨率图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；

大小关系计算模块，用于根据确定的探针数量、方向和长度，计算所述最低分辨率图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；

探针距离计算模块，用于对所有待匹配像素，计算其对应的探针之间的距离；

最终匹配代价计算模块，用于对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；

最终匹配结果确认模块，用于选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。

作为一种改进的方案，所述反向求精模块具体包括：

配对处理模块，用于在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；

最优像素匹配关系计算模块，用于对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；

匹配关系确定模块，用于将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；

循环执行模块，用于循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。

在本发明实施例中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果，从而既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1是本发明提供的高分辨率图像匹配方法的实现流程图；

图2是本发明提供的对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的实现流程图；

图3是本发明提供的采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的实现流程图；

图4是本发明提供的利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的实现流程图；

图5是本发明提供的区域保真下采样的过程示意图；

图6是本发明提供的带有全局探针的区域匹配过程示意图；

图7是本发明提供的低分辨率图像中匹配结果示意图；

图8是本发明提供的高分辨率图像匹配系统的结构框图；

图9是本发明提供的下采样模块的结构框图；

图10是本发明提供的局部匹配模块的结构框图；

图11是本发明提供的反向求精模块的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的、技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

图1示出了本发明提供的高分辨率图像匹配方法的实现流程图，其具体包括下述步骤：

在步骤s101中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像。

在步骤s102中，采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果。

在步骤s103中，利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结。

在该实施例中，设计了区域保真的下采样策略，将高分辨率图像转化为低分辨率图像，同时保持更多图像信息。提出了带有全局探针的图像匹配方法，利用全局探针优化匹配精度，减少由局部相似造成的误匹配。设计了基于整体一致性的反向求精方法，优化低分辨率图像匹配结果向高分辨率图像匹配结果对应过程，进一步提高高分辨率图像的匹配精度。

图2示出了本发明提供的对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像的实现流程图，其具体包括下述步骤：

在步骤s201中，初始化像素个数r的值，所述像素个数r作为停止采样条件。

在步骤s202中，将得到像素个数r的值作为下一级分辨率图像对应位置的像素值。

在步骤s203中，依次执行上述下采样过程，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。

其中，在该实施例中，在初始高分辨率图像过程中，综合上下左右相邻的四个像素信息，得到一个值，得到的每个值包含了相邻四个图像的信息，保证局部区域信息能够保持在下一级的像素中。

在该实施例中，如图5所示，区域保真的下采样策略，将高分辨率图像转化为低分辨率图像，同时保持更多图像信息。

图3示出了本发明提供的采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果的实现流程图，其步骤具体包括下述步骤：

在步骤s301中，初始化全局探针数量、方向和长度；

在该步骤中，全局探针可以是四向、八向等等，数量任选。方向可以是沿轴对齐方向，也可以是对角线方向，或者任意其它方向。探针长度可以延伸到图像边缘，也可以延伸到图像中间。

在步骤s302中，对得到的所述最低分辨率图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；

在该步骤中，匹配窗口的选择可以是规则形状，也可以是自适应的不规则形状或其它任何形状。匹配代价可以基于像素值直接计算，也可以采用基于像素值的非参数变换等任何方法。

在步骤s303中，根据确定的探针数量、方向和长度，计算所述最低分辨率图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；

每个探针上所有像素和中心像素之间的大小关系值依像素位置形成一个二进制字符串。

在步骤s304中，对所有待匹配像素，计算其对应的探针之间的距离；

在该步骤中，探针之间距离的计算可以采用汉明距离，也可以采用任何其他距离计算方式。

在步骤s305中，对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；

在步骤s306中，选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。

在该实施例中，如图6所示，设计了一种带有全局探针的高精度局部匹配方法，通过计算当前匹配的局域匹配度和全局匹配度，共同决定最优匹配对，避免陷入因局部相似造成的误匹配。

图4示出了本发明提供的利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果的实现流程图，其具体包括下述步骤：

在步骤s401中，在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；

在该步骤中，不同级分辨率图像之间像素的对应关系可以在步骤一的下采样过程中维护相应数据，也可以采用其他方式获得该对应关系数据。

在步骤s402中，对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；

在该步骤中，该匹配计算可以采用和步骤二中匹配计算相同的方法，也可以采用其他任何方法。通过匹配计算，得到像素区域内最优的像素匹配关系。

在步骤s403中，将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；

该过程完成了从低分辨率图像像素匹配关系向高分辨率图像像素匹配关系的过渡，而不是直接用不同分辨率图像间像素的对应关系作为高分辨率图像的匹配结果。

在步骤s404中，循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。

在该实施例中，如图7所示，针对采样过程可能造成的引入误差，本发明设计了基于整体一致性的反向求精方法，基于低分辨率图像的匹配结果和图像匹配中的整体一致性，通过对像素所在区域进行局部求精，得到高分辨率图像对应的匹配关系。

图8示出了本发明提供的高分辨率图像匹配系统的结构框图，为了便于说明，图中仅给出了与本发明实施例相关的部分。

高分辨率图像匹配系统包括：

下采样模块11，用于对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；

局部匹配模块12，用于采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；

反向求精模块13，用于利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果。

如图9所示，下采样模块11具体包括：

值初始化模块14，用于初始化像素个数r的值，所述像素个数r作为停止采样条件；

像素值确认模块15，用于将得到像素个数r的值作为下一级分辨率图像对应位置的像素值；

最低分辨率图像获取模块16，用于依次执行上述下采样过程，直到得到的图像分辨率满足采样停止条件，停止采样过程，最后得到的图像即为最低分辨率的图像。

如图10所示，所述局部匹配模块12具体包括：

探针初始化模块17，用于初始化全局探针数量、方向和长度；

像素匹配模块18，用于对得到的所述最低分辨率图像进行逐像素匹配，计算得到各个匹配结果对应的匹配代价；

大小关系计算模块19，用于根据确定的探针数量、方向和长度，计算所述最低分辨率图像在探针上各个位置处的像素值和中心像素值的大小关系，以二进制值表示；

探针距离计算模块20，用于对所有待匹配像素，计算其对应的探针之间的距离；

最终匹配代价计算模块21，用于对每个待匹配像素，依据计算得到的各个匹配结果对应的匹配代价和得到的对应的探针之间距离进行加权求和，得到的加权求和结果作为各个待匹配像素的最终匹配代价；

最终匹配结果确认模块22，用于选取匹配代价最小的候选像素作为所述低分辨率图像的最终匹配结果。

如图11所示，所述反向求精模块13具体包括：

配对处理模块23，用于在得到的低分辨率图像的匹配结果中，对每个匹配像素执行配对处理，找到其各自在上一级分辨率图像中对应的像素区域；

最优像素匹配关系计算模块24，用于对得到的上一级分辨率图像中对应的像素区域，进行区域内像素的匹配计算，得到像素区域内最优像素匹配关系；

匹配关系确定模块25，用于将得到的所述像素区域内最优像素匹配关系确定为当前分辨率图像之间的匹配关系；

循环执行模块26，用于循环执行像素区域内最优像素匹配关系的匹配计算和当前分辨率图像之间的匹配关系确定操作步骤，直到得到最高分辨率图像的匹配结果，作为最终的初始分辨率图像匹配结果。

上述各个模块的功能如上述方法实施例所记载，在此不再赘述。

在本发明实施例中，对初始高分辨率图像进行区域保真下采样，得到多层次的低分辨率图像；采用带有全局探针的方式对得到的多层次的所述低分辨率图像进行局部匹配，得到低分辨率图像的匹配结果；利用图像匹配的整体一致性，对得到的所述低分辨率图像的匹配结果进行反向求精，得到各级高分辨率图像的匹配结果，直至得到初始分辨率图像的匹配结果，从而既能降低图像匹配过程的计算量，又能提高匹配结果的精度，再基于整体一致性，通过反向求精得到高分辨率图像的匹配结果。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。