一种用于芯片集成的立体匹配方法和装置与流程

本发明涉及计算机视觉技术领域，尤其涉及一种用于芯片集成的立体匹配方法和装置。

背景技术：

双目立体视觉技术是三维重建算法中比较流行的一种技术。双目立体视觉旨在模拟人类双眼识别场景三维信息的机理，从两个角度获取场景的二维图像，再根据建立图像之间的匹配关系重建三维模型。建立两幅图像像素点对应关系的过程就是立体匹配的过程，它是双目立体视觉技术的核心。

传统的立体匹配过程是将通过双目相机采集到的并且已平行校正过的右图像作为参考图像，循环的对右图像每一个像素点，在双目相机采集到的左图像中的同一行寻找一个与之对应的匹配点，该匹配点是从左图像的映射点开始往右逐个像素寻找直到最大搜索范围。在搜索范围里的每一点，都需要对以此点中心的窗口中每一个像素点进行计算，因此为了确保精度，窗口就必须取较大的范围，加上窗口内所有像素点都要参与计算，导致计算量太大，资源消耗过多，不适合在芯片上实现。

技术实现要素：

本发明的目的在于提供一种用于芯片集成的立体匹配方法和装置，旨在解决现有技术中立体匹配过程计算量太大，消耗资源过多，不适合在芯片上实现的问题。

本发明第一方面，提供一种用于芯片集成的立体匹配方法，包括：

在左图像中获取与右图像的参考点对应的映射点，所述映射点为所述左图像中与所述参考点同行同列的像素点；

从所述映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点；

计算所述待测试像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点；

计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为匹配点。

本发明第二方面，提供一种用于芯片集成的立体匹配装置，包括：

映射点获取模块，用于在左图像中获取与右图像的参考点对应的映射点，所述映射点为所述左图像中与所述参考点同行同列的像素点；

测试像素点选取模块，用于从所述映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点；

基准映射点计算模块，用于计算所述待测试像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点；

匹配点计算模块，用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为匹配点。

本发明与现有技术相比存在的有益效果是：本发明提供的技术方案通过在计算待测试像素点与参考点之间的匹配值之前，在左图像中间隔固定像素点选取所述待测试像素点的方法，与现有技术相比，实现了在保证精度的情况下缩减计算量的立体匹配，大大减少了所需的计算资源和硬件存储资源，从而可以在芯片上得以良好的实现。

附图说明

图1是本发明实施例一提供的用于芯片集成的立体匹配方法的流程图；

图2是本发明实施例一提供的用于芯片集成的立体匹配方法中待测试像素 点选取方法的示意图；

图3是本发明实施例二提供的用于芯片集成的立体匹配方法的流程图；

图4是本发明实施例二提供的用于芯片集成的立体匹配方法中基准映射点匹配方法的示意图；

图5是本发明实施例二提供的用于芯片集成的立体匹配方法中正方形窗口像素点选取方法的示意图；

图6是本发明实施例二提供的用于芯片集成的立体匹配方法中匹配点搜索方法的示意图；

图7是本发明实施例三提供的用于芯片集成的立体匹配装置的组成示意图；

图8是本发明实施例四提供的用于芯片集成的立体匹配装置的组成示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体附图对本发明的实现进行详细的描述。

实施例一：

图1是本发明实施例一提供的用于芯片集成的立体匹配方法的流程图，具体包括步骤S101至S104，详述如下：

S101、在左图像中获取与右图像的参考点对应的映射点，所述映射点为左图像中与参考点同行同列的像素点。

具体地，可以用双目相机代替人的双眼进行图像采集，分别得到左图像和右图像，并对左图像和右图像进行畸变校正和平行校正。

将已经畸变校正和平行校正后的右图像作为参考图像，右图像中的每一个 像素点均为参考点，对右图像中的每一个参考点，在左图像中都有一个与之对应的映射点，该映射点是左图像中与参考点同行同列的像素点。

S102、从映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点。

具体地，如图2所示，从左图像的映射点开始向右的预置范围内，可以每隔m个像素点来选取待测试的像素点，其中m为固定像素点，取值为大于零的整数。

这种采用间隔m个像素点来选取待测试像素点的方式，不再需要选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，来计算匹配值寻找匹配点，因此在保证精度的情况下缩减了m+1倍的计算量。

S103、计算待测试像素点与参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点。

具体地，对预置范围内的所有待测试像素点，计算每一个待测试像素点与右图像的参考点之间的像素的匹配值，并将最小匹配值对应的待测试像素点作为基准映射点。

优选地，可以用待测试像素点和参考点之间的像素值的绝对差加权和(Weighted sum of absolute difference，WSAD)值作为像素的匹配值，来确定基准映射点。

S104、计算基准映射点左右固定像素点范围内每一个像素点与参考点之间的匹配值，并取最小匹配值对应的像素点为匹配点。

具体地，对基准映射点左右固定像素范围内的所有像素点，计算其与参考点之间的像素的匹配值，优选地，可以用像素点和参考点之间的像素值的WSAD值作为像素的匹配值，匹配值最小的像素点即为右图中的参考点在左图中的匹配点。

本实施例中，在左图像中从映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点，计算待测试像素点与参考点之间的匹配值，并取 最小匹配值对应的像素点为基准映射点，再计算基准映射点左右固定范围内的每一个像素点与参考点之间的匹配值，找到最小匹配值对应的像素点即为匹配点，因此无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，来计算匹配值寻找匹配点，从而实现了在保证精度的情况下缩减计算量寻找匹配点，例如，在间隔m个像素点选取待测试像素点时可缩减m+1倍的计算量，大大减少了所需的计算资源和硬件存储资源，使得可以在芯片上得以良好的实现。

实施例二：

图3是本发明实施例二提供的用于芯片集成的立体匹配方法的流程图，具体包括步骤S201至S204，详述如下：

S201、在左图像中获取与右图像的参考点对应的映射点，所述映射点为左图像中与参考点同行同列的像素点。

具体地，可以用双目相机代替人的双眼进行图像采集，分别得到左图像和右图像，并对左图像和右图像进行畸变校正和平行校正。

将已经畸变校正和平行校正后的右图像作为参考图像，右图像中的每一个像素点均为参考点，对右图像中的每一个参考点，在左图像中都有一个与之对应的映射点，该映射点是左图像中与参考点同行同列的像素点。

S202、从映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点。

具体地，如图2所示，从左图像的映射点开始向右的预置范围内，可以每隔m个像素点来选取待测试的像素点，其中m为固定像素点，取值为大于零的整数。

这种采用间隔m个像素点来选取待测试像素点的方式，不再需要选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，来计算匹配值寻找匹配点，因此在保证精度的情况下缩减了m+1倍的计算量。

S203、计算待测试像素点与参考点之间的简化匹配值，并取最小简化匹配 值对应的像素点为基准映射点。

具体地，对预置范围内的所有待测试像素点，计算每一个待测试像素点与右图像的参考点之间的像素的简化匹配值，并将最小简化匹配值对应的待测试像素点作为基准映射点。

进一步地，可以用待测试像素点与参考点之间的简化WSAD值作为简化匹配值，来确定基准映射点。

具体地，如图4所示，在左图像中以待测试像素点A'为中心，设置边长为a的正方形窗口，为了确保精度，a可以是取值较大的奇数，如25，在该正方形窗口中按照隔n行n列的方式来选取像素点，其中n是大于零并且小于a/2的整数，如图5所示的边长为a的正方形窗口中的黑色部分即为用隔n行n列的方式所选取的像素点；在右图像中，以参考点A为中心，同样设置边长为a的正方形窗口，在该正方形窗口中选取与左图像正方形窗口所选取的像素点相对应的像素点。

对以A'为中心的正方形窗口内所选取的像素点的R、G、B分量值与以A为中心的正方形窗口内各个对应像素点的R、G、B分量值相减再取绝对值，得到绝对差和(Sum of absolute difference，SAD)值，再根据正方形窗口内的位置信息与颜色差异信息对SAD值做加权平均计算得到的值，即为简化WSAD值。

具体地，简化WSAD值的计算公式为：

其中，A'为待测试像素点，B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点，A为参考点，B为以A为中心边长为a的正方形窗口中与B'对应的像素点，a为奇数，n为大于零并且小于a/2的整数；

具体地，E(B,B')的计算公式为：

其中，R、G、B分别表示像素点的R通道、G通道、B通道的灰度值；

具体地，W(A,B)的计算公式为：

其中，D为像素点A和B之间的像素距离，α和β为设定的参数。

这种采用隔n行n列的方式选取窗口中像素点进行计算的方式，不再需要选取窗口中所有的像素点进行计算，因而在窗口覆盖面积不变的情况下，直接缩减了(n+1)²倍的计算量。

对每一个待测试像素点计算出其与参考点之间的简化WSAD值并进行比较，将最小简化WSAD值对应的待测试像素点作为基准映射点。

S204、计算基准映射点左右固定像素点范围内每一个像素点与参考点之间的精确匹配值，并取最小精确匹配值对应的像素点为匹配点。

具体地，在基准映射点左右j个像素范围内，对每一个像素点计算其与参考点之间的精确匹配值，其中j为固定像素点，比较得到的所有精确匹配值，其中最小精确匹配值对应的像素点即为右图像中参考点在左图像中对应的匹配点。

进一步地，可以用j个像素范围内的像素点与参考点之间的精确WSAD值作为精确匹配值，来确定匹配点。

具体地，如图6所示，在左图像中以基准映射点左右j个像素范围内的每一个像素点A'为中心，设置边长为a的正方形窗口，为了确保精度，a可以是取值较大的奇数，如25，在该正方形窗口中需选取所有的像素点参与计算；在右图像中，以参考点A为中心，同样设置边长为a的正方形窗口，在该正方形窗口的所有像素点均需要参与计算。

对以A'为中心的正方形窗口内每一个像素点的R、G、B分量值与以A为中心的正方形窗口内对应的每一个像素点的R、G、B分量值相减再取绝对值，得到SAD值，再根据正方形窗口内的位置信息与颜色差异信息对SAD值做加权平均计算得到的值，即为精确WSAD值。

具体地，精确WSAD值的计算公式为：

其中，A'为基准映射点左右j个像素范围内的每一个像素点，B'为以A'为中心边长为a的正方形窗口中的所有像素点，A为参考点，B为以A为中心边长为a的正方形窗口中与B'对应的像素点，a为奇数，n为大于零并且小于a/2的整数；

具体地，E(B,B')的计算公式为：

其中，R、G、B分别表示像素点的R通道、G通道、B通道的灰度值；

具体地，W(A,B)的计算公式为：

其中，D为像素点A和B之间的像素距离，α和β为设定的参数。

对j个像素范围内的每一个像素点计算出其与参考点之间的精确WSAD值并进行比较，其中最小精确WSAD值对应的像素点即为匹配点。

确定右图像中的参考点在左图像中对应的匹配点后，映射点与匹配点之间的偏移值即为视差值，根据该视差值可以计算出三维深度信息，进而可以对物体进行三维重建。

本实施例中，在左图像中从映射点开始向右的预置范围内，每隔固定像素点的间隔，例如，间隔m个像素点选取待测试像素点，计算待测试像素点与参考点之间的简化WSAD值，在计算简化WSAD过程中采用隔n行n列选取窗口中像素点的方式进行计算，并取最小简化WSAD值对应的像素点为基准映射点，再计算基准映射点左右固定范围内的每一个像素点与参考点之间的精确WSAD值，找到最小精确WSAD值对应的像素点即为匹配点，因此一方面无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，另 一方面在计算简化WSAD值的正方形窗口中不再选取窗口中所有的像素点进行计算，从而实现了在保证精度的情况下缩减计算量寻找匹配点，与现有技术相比，缩减了(m+1)×(n+1)²倍的计算量，显然大大减少了所需的计算资源和硬件存储资源，使得可以在芯片上得以良好的实现。

实施例三：

图7是本发明实施例三提供的用于芯片集成的立体匹配装置的组成示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图7示例的用于芯片集成的立体匹配装置可以是前述实施例一提供的用于芯片集成的立体匹配方法的执行主体，其可以是应用设备或者应用设备中的一个功能模块。图7示例的用于芯片集成的立体匹配装置主要包括：映射点获取模块71、测试像素点选取模块72、基准映射点计算模块73和匹配点计算模块74。各功能模块详细说明如下：

映射点获取模块71，用于在左图像中获取与右图像的参考点对应的映射点，所述映射点为所述左图像中与所述参考点同行同列的像素点；

测试像素点选取模块72，用于从所述映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点；

基准映射点计算模块73，用于计算所述待测试像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点；

匹配点计算模块74，用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为匹配点。

从上述图7示例的用于芯片集成的立体匹配装置可知，本实施例中，在左图像中从映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点，计算待测试像素点与参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点，再计算基准映射点左右固定范围内的每一个像素点与参考点之间的匹配值，找到最小匹配值对应的像素点即为匹配点，因此无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，来计算匹配值 寻找匹配点，从而实现了在保证精度的情况下缩减计算量寻找匹配点，例如，在间隔m个像素点选取待测试像素点时可缩减m+1倍的计算量，大大减少了所需的计算资源和硬件存储资源，使得可以在芯片上得以良好的实现。

实施例四：

图8是本发明实施例四提供的用于芯片集成的立体匹配装置的组成示意图，为了便于说明，仅示出了与本发明实施例相关的部分。图8示例的用于芯片集成的立体匹配装置可以是前述实施例二提供的用于芯片集成的立体匹配方法的执行主体，其可以是应用设备或者应用设备中的一个功能模块。图8示例的用于芯片集成的立体匹配装置主要包括：映射点获取模块81、测试像素点选取模块82、基准映射点计算模块83和匹配点计算模块84。各功能模块详细说明如下：

映射点获取模块81，用于在左图像中获取与右图像的参考点对应的映射点，所述映射点为所述左图像中与所述参考点同行同列的像素点；

测试像素点选取模块82，用于从所述映射点开始向右的预置范围内，每隔固定像素点的间隔选取待测试像素点；

基准映射点计算模块83，用于计算所述待测试像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为基准映射点；

匹配点计算模块84，用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的匹配值，并取最小匹配值对应的像素点为匹配点。

具体地，基准映射点计算模块83包括：

简化匹配计算子模块831，用于计算所述待测试像素点与所述参考点之间的简化匹配值，并取最小简化匹配值对应的像素点为基准映射点。

进一步地，简化匹配计算子模块831，还用于计算所述待测试像素点与所述参考点之间的简化绝对差加权和WSAD值，所述简化WSAD值的计算公式为：

其中，A'为所述待测试像素点，B'为以A'为中心边长为a的正方形窗口中隔n行n列选取的像素点，A为所述参考点，B为以A为中心边长为a的正方形窗口中与B'对应的像素点，所述a为奇数，所述n为大于零并且小于a/2的整数；

E(B,B')的计算公式为：

其中，R、G、B分别表示像素点的R通道、G通道、B通道的灰度值；

W(A,B)的计算公式为：

其中，D为像素点A和B之间的像素距离，α和β为设定的参数。

具体地，匹配点计算模块84包括：

精确匹配计算子模块841，用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确匹配值，并取最小精确匹配值对应的像素点为匹配点。

进一步地，精确匹配计算子模块841，还用于计算所述基准映射点左右固定像素点范围内每一个像素点与所述参考点之间的精确绝对差加权和WSAD值，所述精确WSAD值的计算公式为：

其中，A'为所述每一个像素点，B'为以A'为中心边长为a的正方形窗口中的所有像素点，A为所述参考点，B为以A为中心边长为a的正方形窗口中与B'对应的像素点，所述a为奇数，所述n为大于零并且小于a/2的整数；

E(B,B')的计算公式为：

其中，R、G、B分别表示像素点的R通道、G通道、B通道的灰度值；

W(A,B)的计算公式为：

其中，D为像素点A和B之间的像素距离，α和β为设定的参数。

从上述图8示例的用于芯片集成的立体匹配装置可知，本实施例中，在左图像中从映射点开始向右的预置范围内，每隔固定像素点的间隔，例如，间隔m个像素点选取待测试像素点，计算待测试像素点与参考点之间的简化WSAD值，在计算简化WSAD过程中采用隔n行n列选取窗口中像素点的方式进行计算，并取最小简化WSAD值对应的像素点为基准映射点，再计算基准映射点左右固定范围内的每一个像素点与参考点之间的精确WSAD值，找到最小精确WSAD值对应的像素点即为匹配点，因此一方面无需选取从映射点开始向右的预置范围内的每一个像素点作为待测试像素点，另一方面在计算简化WSAD值的正方形窗口中不再选取窗口中所有的像素点进行计算，从而实现了在保证精度的情况下缩减计算量寻找匹配点，与现有技术相比，缩减了(m+1)×(n+1)²倍的计算量，显然大大减少了所需的计算资源和硬件存储资源，使得可以在芯片上得以良好的实现。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每一个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或者相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

值得注意的是，上述装置实施例中，所包括的各个模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员可以理解，实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机 可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。