一种视差图的平滑方法、装置及电子设备的制造方法
【技术领域】
[0001] 本发明属于图像处理技术领域，尤其涉及一种视差图的平滑方法、装置及电子设 备。
【背景技术】
[0002] 3D图像通常由两路组成，每一路对应于某一特定的观看角度。为生成新的观看角 度对应的图像，需要根据输入图像计算视差图，即计算两路图像的对应关系。计算步骤一般 包括两步，第一步对视差图做一估计；第二步优化第一步的结果，通常通过各种平滑算法对 第一步的结果进行优化。
[0003] 视差图的平滑是一个两难问题。一方面，我们希望一个物体的视差是光滑的或连 续的；另一方面，在物体的边缘，我们又希望保留其可能的突变或不连续性。然而，传统的平 滑算法，例如平均，在对视差图进行平滑处理的同时，会模糊视差图的变化较大的部分，即 边缘。
【发明内容】
[0004] 本发明实施例提供了一种视差图的平滑方法、装置及电子设备，旨在解决现有技 术提供的视差图的平滑方法，会模糊视差图的边缘的问题。
[0005] -方面，提供一种视差图的平滑方法，所述方法包括：
[0006] 初始化第一矩阵A(x，y)、第二矩阵B(x，y)和平滑后的视差图F(x，y)为全零矩 阵；
[0007] 获取分割图S(x，y)中所有满足S(x，y) = k的像素点的坐标（xk，yk)，k大于等于 1，小于等于N;
[0008] 使A(xk, yk) = M(xk, yk)，同时使B(xk, yk) = l，M(x, y)是左右两路图像对应点的视 差形成的视差图；
[0009] 计算以（xk, yk)为中心的所有 A(xk-i, yk-i)的和 TA(xk, yk);
[0010] 计算以（xk，yk)为中心的所有B(xk_i，y k_i)的和，得到分割图S(x，y)中所有满足 S(x, y) = k的像素点的数量TB(xk, yk);
[0011] 根据Ta (xk，yk)和Tb (xk，yk)计算得到平滑后的视差图F (x，y)中的F (xk，yk)。
[0012] 进一步地，第一矩阵A(k，y)和第二矩阵B(x，y)是与输入的左右两路图像大小相 同的矩阵。
[0013] 进一步地，通过下述公式计算以（xk, yk)为中心的所有A (xk-i, yk-i)的和 TA(xk，yk):
[0014]
[0015] 其中，i大于等于_m，小于等于m，j大于等于-n，小于等于n，m和η均大于等于1， m小于Χ/2, η小于Y/2。
[0016] 进一步地，通过下述公式计算以（xk, yk)为中心的所有B(xk-i, yk-i)的和，得到分 割图S(x，y)中所有满足S(x，y) =k的像素点的数量以^):
[0017]
[0018] 其中，i大于等于-m，小于等于m，j大于等于-n，小于等于n，m和η均大于等于1， m小于Χ/2, η小于Υ/2。
[0019] 进一步地，通过下述公式根据TA(xk，yk)和1^(^)计算得到平滑后的视差图 F (X，y)中的 F (xk, yk):
[0020] F(xk，yk) = [TA (xk，yk)/Tb (xk，yk)]
[0021] 其中，□是取最近整数的运算。
[0022] 另一方面，提供一种视差图的平滑装置，所述装置包括：
[0023] 初始化单元，用于初始化第一矩阵A (X，y)、第二矩阵B (X，y)和平滑后的视差图 F(x，y)为全零矩阵；
[0024] 坐标获取单元，用于获取分割图S(x，y)中所有满足S(x，y) = k的像素点的坐标 (xk, yk)，k大于等于1，小于等于N ;
[0025] 赋值单元，用于使 A(xk, yk) = M(xk, yk)，同时使 B(xk, yk) = 1，M(x, y) = k 是左右 两路图像对应点的视差形成的视差图；
[0026] 第一计算单元，用于计算以（xk, yk)为中心的所有A(xk_i, yk_i)的和TA(k, k);
[0027] 第二计算单元，用于计算以（xk, yk)为中心的所有B(xk-i, yk-i)的和，得到分割图 S (X，y)中所有满足S (X，y) = k的像素点的数量Tb (xk, yk);
[0028] 第三计算单元，用于根据TA(xk，yk)和TB(x k，yk)计算得到平滑后的视差图F(x，y) 中的 F (xk，yk)。
[0029] 进一步地，第一矩阵A(x，y)和第二矩阵B(x，y)是与输入的左右两路图像大小相 同的矩阵。
[0030] 进一步地，所述第一计算单元通过下述公式计算以（xk, yk)为中心的所有 A(xk-i，yk-i)的和 TA(xk，yk):
[0031]
[0032] 其中，i大于等于_m，小于等于m，j大于等于-n，小于等于n，m和η均大于等于1， m小于Χ/2, η小于Υ/2。
[0033] 进一步地，所述第二计算单元通过下述公式计算以（xk, yk)为中心的所有 B(xk-i，yk_i)的和，得到分割图S(x，y)中所有满足S(x，y) =k的像素点的数量TB(xk，yk):
[0034]
[0035] 其中，i大于等于_m，小于等于m，j大于等于-n，小于等于n，m和η均大于等于1， m小于Χ/2, η小于Υ/2。
[0036] 进一步地，所述第三计算单元通过下述公式根据Ta (xk, yk)和Tb (xk, yk)计算得到 平滑后的视差图F (X，y)中的F (xk，yk):
[0037]
[0038] 其中，□是取最近整数的运算。
[0039] 又一方面，提供一种电子设备，所述电子设备包括如上所述的视差图的平滑装置。
[0040] 进一步地，所述电子设备是数字电视、智能手机或者平板电脑。
[0041] 在本发明实施例，整个对视差图的平滑处理，是对属于同一分割机的视差值求平 均，也就是说对满足S (X，y)为同一数值k的像素点的视差值求平均，所以平滑处理得到的 视差图与原图像有相似的边缘，既实现了视差的光滑或连续性，也使得物体边缘的突变或 不连续性得以保留。相比现有的视差图的平滑方法，在平滑了视差图的其它部分的同时，保 留了视差图的边缘部分。
【附图说明】
[0042] 图1是本发明实施例一提供的视差图的平滑方法的实现流程图；
[0043] 图2是本发明实施例二提供的视差图的平滑装置的结构框图。
【具体实施方式】
[0044] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0045] 在本发明实施例中，按以下步骤进行计算：
[0046] 1.先初始化第一矩阵A(x，y)、第二矩阵B(x，y)和平滑后的视差图F(x，y)为全零 矩阵。
[0047] 2.获取分割图S (X，y)中所有满足S (X，y) = k的像素点的坐标（xk，yk)，1彡k彡N ; 然后使A(xk，yk) =M(xk，yk)，同时使B(xk，yk) = l，M(x，y)是左右两路图像对应点的视差形 成的视差图；
[0048] 3.计算以（xk, yk)为中心的所有 A(xk_i, yk_j)的和 TA(xk, yk);
[0049] 4.计算以（xk, yk)为中心的所有B(xk-i，yk_j)的和，得到分割图S(x, y)中所有满 足S (X, y) = k的像素点的数量Tb (xk, yk);
[0050] 5.根据TA(xk，yk)和T B(xk，yk)计算得到平滑后的视差图F(x，y)中的F(xk，y k)。
[0051] 以下结合具体实施例对本发明的实现进行详细描述：
[0052] 实施例一
[0053] 图1示出了本发明实施例一提供的视差图的平滑方法的实现流程，详述如下：
[0054] 在步骤SlOl中，初始化第一矩阵A(x，y)、第二矩阵B(x，y)和平滑后的视差图 F(x，y)为全零矩阵。
[0055] 在本发明实施例中，IJx，y)和Ir(x，y)为输入至视差图的平滑装置中的左右两路 图像，所述两路图像已经过水平矫正，即两路图像没有水平差异。（x，y)是图像的垂直和水 平方向的坐标，（X，y)是一对不小于O的整数，且I < X < X，I < y < Y，X和Y都是正整数， 坐标系中，左上角的点为原点。
[0056] 第一矩阵A(x，y)和第二矩阵B(x，y)是与输入至视差图的平滑装置中的左右两路 图像大小相同的矩阵，平滑后的视差图F(x，y)是对视差图M(x，y)进行平滑处理以后得到 的视差图。可对第一矩阵A(x，y)、第二矩阵B(x，y)和平滑后的视差图F(x，y)进行初始化， 将第一矩阵A(x，y)、第二矩阵B(x，y)和平滑后的视差图F(x，y)的元素全部赋值为零。
[0057] 在步骤S102中，获取分割图S(x，y)中所有满足S(x，y) = k的像素点的坐标 Uk，yk)。
[0058] 左路分割图Sjx，y)是对左路图像进行分割得到的分割图，分割的方法不限。 Sjx，y)是整数，且l$Sjx，y) <N，N是一正整数。类似的可以定义右路分割图&〇^，7)。
[0059] 左路视差图队(X，y)是（X，y)的整数函数，左路的像素点队(X，y)为对应于右路的 像素点（x+]Vt(x，y)，y)。右路视差图]^(1，5〇的定义与左路视差图]\^(χ，5〇相同，只是左右 交换。
[0060] 在本发明实施例中，因为对左右两路视差图的平滑方法是相同的，所以不再区分 左右视差图和左右分割图，以M(x，y)表示视差图，以S(x，y)表示分割图。
[0061] 可以获取分割图S(x，y)中所有满足S(x，y) = k的像素点的坐标（xk，yk)，其中， k e [1，N] 〇
[0062] 在步骤 S103 中，对于满足 S(x, y) = k 的像素点（xk, yk)，使 A(xk, yk) = M(xk, yk)， 同时使B(xk，yk) = l，M(x，y)是左右两路图像对应点的视差形成的视差图。
[0063] 在本发明实施例中，对于满足S (X，y) = k的像素点（xk, yk)，使A (xk, yk)= M(xk，yk)，同时使B(xk，yk) = l，M(x，y)是左右两路图像对应点的视差形成的视差图。
[0064] 对于所有 S (X，y)辛 k 的像素点（X，y)，使 A(X，y) = 0, B (X，y) = 0。
[0065] 在步骤S104中，计算以（xk, yk)为中心的所有A(xk_i, yk_j)的和TA(xk, yk)。
[0066] 在本发明实施例中，根据下述公式计算得到Ta (xk, yk):
公式1
[0067] 其中，A(xk_i, yk_j) = M(zk_i, yk_j)，i 大于等于-m，小于等于 m，j 大于等于-n， 小于等于n，m和η均大于等于1，m小于Χ/2, η小于Y/2。
[0068] 在步骤S105中，计算以（xk, yk)为中心的所有B(xk_i, yk_j)的和，得到分割图 S (X，y)中所有满足S (X，y) = k的像素点的数量Tb (xk,