点（X，y)在视差d下WTA匹配代价时，通过设置 (2t+l)X(2t+l)的卷积矩阵C，所述第S窗口是W像素点（X，y)为中屯、点，向左、右、下、上 分别平移t个像素点，W平移得到的四个像素点作为第=窗口中各边的中屯、点，从而得到 正方形的第S窗口，其边长为2t+l，在第S窗口中，m= (2t+l)X(2t+l); 在计算WTA匹配代价时，卷积算法的计算公式如下：
优选地，t的取值与目标图像的分辨率成正比关系；优选地，对于分辨率为1024X768 的目标图像，t= 3 ; 优选地，在通过卷积算法计算目标图像中每个像素点在不同视差下WTA匹配代价时， 采用多个线程对多个像素点并行计算，每个线程对一个像素点在不同视差下的WTA匹配 代价进行计算； 优选地，根据目标图像中每个像素点在不同视差下WTA匹配代价，取WTA匹配代价的最 小值所在的视差作为目标图像中每个像素点的最优视差d(x，y)，从而得到目标图像中像素 点的最优视差图。
5. 根据权利要求1-4中任一项所述的基于ZNCC算法的实时立体匹配系统，其特征在 于，所述深度信息计算模块根据目标图像中像素点的最优视差图结合投影立体=角关系计 算目标图像中每个像素点的深度信息，其计算公式如下：
其中，Z为像素点的深度信息，b为两个图像采集装置的基线距离，两个图像采集装置 分别用于采集目标图像与参考图像，f为两个图像采集装置的焦距，d(x，y)为目标图像中 像素点（X，y)的最优视差。
6. -种基于ZNCC算法的实时立体匹配方法，其特征在于，包括W下步骤； 51、 计算目标图像和参考图像中像素点的像素值和积分图； 52、 通过ZNCC算法计算目标图像中每个像素点与参考图像中处于不同视差的像素点 进行立体匹配的ZNCC算子； 53、 通过卷积算法计算目标图像中每个像素点在不同视差下WTA匹配代价，并通过比 较不同视差下WTA匹配代价得到目标图像中每个像素点的最优视差； 54、 根据目标图像中像素点的最优视差图结合投影立体=角关系计算目标图像中每个 像素点的深度信息，完成目标图像的实时立体匹配。
7. 根据权利要求6所述的基于ZNCC算法的实时立体匹配方法，其特征在于，在S1中具 体包括：计算目标图像和参考图像中每个像素点在第一窗口内所有像素点的像素值之和， 得到目标图像和参考图像中像素点的像素值和积分图； 优选地，所述第一窗口W起始像素点化0)至当前像素点（X，y)为对角顶点的矩形窗 口；优选地，所述起始像素点化0)为图像左上角处于顶点位置的像素点； 优选地，采用行前缀加法和列前缀加法计算目标图像和参考图像中每个像素点在第一 窗口内所有像素点的像素值之和； 优选地，先采用行前缀加法计算目标图像和参考图像中每个像素点所在行的前缀和， 得到行积分图并进行矩阵转置，然后采用列前缀加法计算目标图像和参考图像中每个像素 点所在列的前缀和，得到列积分图并进行矩阵转置，从而得到目标图像和参考图像中像素 点的像素值和积分图； 或者，先采用列前缀加法计算目标图像和参考图像中每个像素点所在列的前缀和，得 到列积分图并进行矩阵转置然后采用行前缀加法计算目标图像和参考图像中每个像素点 所在行的前缀和，得到行积分图并进行矩阵转置，从而得到目标图像和参考图像中像素点 的像素值和积分图； 优选地，在计算像素点（x，y)的像素值之和时，按照W下方式进行： 在行前缀加法计算时，其计算公式如下：
根据行前缀加法计算结 果，在列前缀加法计算时，其计算公式如下：
，从而得到像素点（x，y)在 第一窗口内所有像素点的像素值之和； 优选地，在行前缀加法的计算过程中，采用多个线程对多行并行计算，或者，在列前缀 加法的计算过程中，采用多个线程对多列并行计算。
8. 根据权利要求6或7所述的基于ZNCC算法的实时立体匹配方法，其特征在于，在S2 中，通过ZNCC算法计算目标图像中每个像素点与参考图像中处于不同视差的像素点进行 立体匹配的ZNCC算子，ZNCC算法的计算公式如下：
其中，Z(x，y，d)为目标图像T中像素点（x，y)与参考图像R中处于视差d的像素点进 行立体匹配的ZNCC算子，d为参考图像的视差距离， St(x，y)为目标图像T上像素点（X，y)在第二窗口内所有n个像素点的像素值之和，STT(x，y)为目标图像T上像素点（X，y)在第二窗口内所有n个像素点的像素值平方之和， Sc(x,y,d)为参考图像R中处于视差d的像素点（x±d，y)在第二窗口内所有n个像素点的 像素值之和，Sw(x，y，d)为参考图像R中处于视差d的像素点（x±d，y)在第二窗口内所有 n个像素点的像素值平方之和，S?(x，y，d)为目标图像T上像素点（X，y)在第二窗口内所 有n个像素点和参考图像R中处于视差d的像素点（x±d，y)在第二窗口内所有n个像素 点的对应像素值乘积之和； 优选地，所述第二窗口是W像素点（X，y)为基准点，向左、右分别平移kl、k2个像素 点并且向下、上分别平移k3、k4个像素点，W平移得到的像素点作为第二窗口中各边的中 屯、点，从而得到矩形的第二窗口，其长和宽分别为kl+k2+l和k3+k4+l，在第二窗口中，n= (kl+k化1)X化3+k4+l); 在所述第二窗口中ZNCC算法的各个参数可表达如下：
优选地，kl、k2、k3、k4的取值与目标图像的分辨率成正比关系；优选地，kl=k2 =k3 =k4 ;优选地，对于分辨率为1024X768的目标图像，kl=k2 =k3 =k4 = 10 ; 优选地，在S2中，在计算目标图像中每个像素点与参考图像中处于不同视差的像素点 进行立体匹配的ZNCC算子时，采用多个线程对多个像素点并行计算，每个线程对一个像素 点在不同视差下的ZNCC算子进行计算。
9.根据权利要求6-8中任一项所述的基于ZNCC算法的实时立体匹配方法，其特征在 于，在S3中，通过卷积算法计算目标图像中每个像素点在不同视差下WTA匹配代价，具体 包括；根据目标图像中每个像素点与参考图像中处于不同视差的像素点进行立体匹配的 ZNCC算子，通过设置卷积矩阵，计算卷积矩阵与目标图像中每个像素点在第S窗口内所有 m个像素点在视差d下的ZNCC算子的对应乘积之和，得到目标图像中每个像素点在视差d 下的WTA匹配代价，其中，卷积矩阵的行列数与第S窗口包括的像素点矩阵的行列数分别 相等； 优选地，在S3中，在计算目标图像中像素点（X，y)在视差d下WTA匹配代价时，通过 设置（2t+l)X(2t+l)的卷积矩阵C，所述第S窗口是W像素点（X，y)为中屯、点，向左、右、 下、上分别平移t个像素点，W平移得到的四个像素点作为第=窗口中各边的中屯、点，从而 得到正方形的第S窗口，其边长为2t+l，在第S窗口中，m= (2t+l)X(2t+l); 在计算WTA匹配代价时，卷积算法的计算公式如下：
优选地，t的取值与目标图像的分辨率成正比关系； 优选地，对于分辨率为1024X768的目标图像，t=3 ; 优选地，在S3中，在通过卷积算法计算目标图像中每个像素点在不同视差下WTA匹配 代价时，采用多个线程对多个像素点并行计算，每个线程对一个像素点在不同视差下的WTA 匹配代价进行计算； 优选地，在S3中，通过比较不同视差下WTA匹配代价得到目标图像中每个像素点的最 优视差，具体包括；比较目标图像中每个像素点在不同视差下WTA匹配代价，取WTA匹配代 价的最小值所在的视差作为目标图像中每个像素点的最优视差，从而得到目标图像中像素 点的最优视差图。
10.根据权利要求6-9中任一项所述的基于ZNCC算法的实时立体匹配方法，其特征在 于，在S4中，根据目标图像中像素点的最优视差图结合投影立体=角关系计算目标图像中 每个像素点的深度信息，其计算公式如下：
其中，Z为像素点的深度信息，b为两个图像采集装置的基线距离，两个图像采集装置 分别用于采集目标图像与参考图像，f为两个图像采集装置的焦距，d(x，y)为目标图像中 像素点（X，y)的最优视差。
【专利摘要】本发明公开了一种基于ZNCC算法的实时立体匹配系统和方法，计算目标图像和参考图像中像素点的像素值和积分图，通过ZNCC算法计算目标图像中每个像素点与参考图像中处于不同视差的像素点进行立体匹配的ZNCC算子，通过卷积算法计算目标图像中每个像素点在不同视差下WTA匹配代价，并通过比较不同视差下WTA匹配代价得到目标图像中每个像素点的最优视差，根据目标图像中像素点的最优视差图结合投影立体三角关系计算目标图像中每个像素点的深度信息，完成目标图像的实时立体匹配。通过在本发明的技术方案，实现了实时的立体匹配效果，其可靠性和准确性高。
【IPC分类】G06T7-00
【公开号】CN104794703
【申请号】CN201510128734
【发明人】刘皓, 林啸, 叶璐, 梁骏峰
【申请人】中国科学技术大学先进技术研究院
【公开日】2015年7月22日
【申请日】2015年3月23日