优化深度信息的方法与装置的制造方法
【技术领域】
[0001] 本发明是有关于一种处理图像的方法及装置，且特别是有关于一种优化深度信息 的方法与装置。
【背景技术】
[0002] 随着图像处理技术的蓬勃发展，立体视觉技术（StereoVision)以逐渐且广泛地 应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄像机、立体 摄像机或是利用相关的三维立体图像演算法等方式来产生深度信息，而后其阶段为利用深 度信息来产生不同视角的图像。由此可知，为了产生视觉体验较佳的立体图像，准确的深度 信息是非常重要的。
[0003] 对于具有双镜头的立体成像系统来说，立体成像系统的双镜头可拍摄同一区域不 同角度的图像，而结合左、右镜头所拍摄图像间的像差信息以及预知的镜头间距，则可估测 出图像中各个物件的深度信息。一般来说，深度信息往往可用一深度图（depthmap)来表 示，并利用记录在深度图上的深度值来表示二维图像中不同物件或像素点的深度。其中，基 于区域关联性（local-correlation)以及像素匹配（pixel-wisematching)的深度产生演 算法已普遍见于具有双镜头的立体成像系统中。
[0004] 然而，基于区域关联所产生的深度图可能发生边缘模糊的情形，而像素匹配的方 式也会导致庞大的计算量并且相当耗费存储器。也就是说，不同的深度信息产生演算法会 具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信 息，并提高根据此深度信息所产生的三维图像的品质，是本领域技术人员所努力的方向之 O
【发明内容】
[0005] 本发明提供一种优化深度信息的方法与装置，可降低深度信息的噪声并提高深度 信息的精准度，从而使立体成像系统所产生的立体图像具备较佳的视觉体验。
[0006] 本发明提出一种优化深度信息的方法，适用于一电子装置。左图像与右图像通过 立体成像系统的拍摄而产生，所述方法包括下列步骤。将左图像与右图像其中之一划分成 多个相关区块，以获取至少一区块分布图。获取待修复深度图，并依据多个主深度值与相机 参数将待修复深度图区分成多个深度平面，其中待修复深度图记录这些主深度值且具有多 个破洞。利用区块分布图而分别对各深度平面中的破洞产生多个优化深度值，并将这些优 化深度值填补至各深度平面而获取结合各深度平面的优化深度图。
[0007] 在本发明的一实施例中，上述的获取待修复深度图，并依据主深度值与相机参数 将待修复深度图区分成多个深度平面的步骤包括下列步骤。依据主深度值与相机参数决定 各主深度值的物距信息。各主深度值的物距信息，将待修复深度图划分成对应至相互相异 的多个景深范围的深度平面，且深度平面包括至少一相似物距区域。
[0008] 在本发明的一实施例中，上述的将左图像与右图像其中之一划分成相关区块，以 获取区块分布图的步骤包括下列步骤。决定各深度平面的切割精细度，并依据切割精细度 将关联于待修复深度图的左图像与右图像其中之一划分成多个相关区块，以获取分别对应 至各个深度平面的区块分布图。
[0009] 在本发明的一实施例中，上述的深度平面分别对应至相互相异的多个景深范围， 而这些深度平面的切割精细度基于各深度平面所对应的景深范围而定。
[0010] 在本发明的一实施例中，上述的被划分成多个相关区块的左图像或右图像具有多 个第一像素，而依据切割精细度将关联于待修复深度图的左图像与右图像其中之一划分成 这些相关区块的步骤包括下列步骤。比对第一像素中相互相邻的一第一相邻像素与一第二 相邻像素而获取像素值差。依据此像素值差是否小于差异门槛值而决定是否连结第一相邻 像素与第二相邻像素，从而将各第一像素区分至对应的相关区块，其中区块分布图的切割 精细度依据差异门槛值而定。
[0011] 在本发明的一实施例中，上述的依据切割精细度将关联于待修复深度图的左图像 与右图像其中之一划分成这些相关区块的步骤还包括下列步骤。依据尺寸门槛值来限定各 相关区块的区块尺寸而获取区块分布图。各相关区块的区块尺寸不大于此尺寸门槛值，而 区块分布图的切割精细度依据此尺寸门槛值而定。
[0012] 在本发明的一实施例中，上述的利用区块分布图而分别对各深度平面中的破洞产 生多个优化深度值，并将这些优化深度值填补至各深度平面而获取结合各深度平面的优化 深度图的步骤包括下列步骤。将各深度平面的至少一相似物距区域依据各自对应的区块分 布图而分割成多个第一深度区块，并依据各第一深度区块中的破洞的数目而获取第一有效 密度值。依据此第一有效密度值而决定是否计算各第一深度区块的第一深度统计值，并将 第一深度统计值作为优化深度值之一而填补部分的破洞。
[0013] 在本发明的一实施例中，上述的依据第一有效密度值而决定是否计算各第一深度 区块的第一深度统计值的步骤包括下列步骤。依据各第一深度区块的第一有效密度值而获 取各第一深度区块的处理顺序。依据此处理顺序是否为高优先顺序而决定是否填补各第一 深度区块中的破洞。
[0014] 在本发明的一实施例中，在上述的获取待修复深度图的步骤之前，所述方法还包 括下列步骤。对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像之一且 对应至多个第一像素的主深度图。此主深度图记录分别对应至这些第一像素的主深度值。 利用区块分布图来判断第一像素所对应的主深度值是否符合可信赖条件，并将主深度值中 不符合可信赖条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复 深度图。
[0015] 在本发明的一实施例中，在上述利用区块分布图来判断第一像素所对应的主深度 值是否符合可信赖条件，并将主深度值中不符合可信赖条件的无效深度值从主深度图中移 除，从而产生包括破洞的待修复深度图的步骤包括下列步骤。依据区块分布图将主深度图 分成多个深度区块，并分别对各深度区块内的主深度值进行统计运算而获取统计结果。依 据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度 值从主深度图中移除，从而产生待修复深度图上的破洞。
[0016] 从另一观点来看，本发明提出一种优化深度信息的装置，且此装置通过立体成像 系统的拍摄而获取左图像与右图像。此装置包括记录多个模块的储存单元以及一或多个处 理单元。上述处理单元耦接储存单元，存取并执行储存单元中记录的模块。这些模块包括 区块分布图获取模块、深度平面分割模块以及补洞模块。区块分布图获取模块将左图像与 右图像其中之一划分成多个相关区块，以获取至少一区块分布图。深度平面分割模块获取 待修复深度图，并依据多个主深度值与相机参数将待修复深度图区分成多个深度平面。此 待修复深度图记录这些主深度值且具有多个破洞。补洞模块利用区块分布图而分别对各深 度平面中的破洞产生多个优化深度值，并将这些优化深度值填补至各深度平面而获取结合 各个深度平面的优化深度图。
[0017] 基于上述，在本发明的产生深度信息的实施例中，先依据各深度值所对应的物距 信息将具有破洞的待修复深度图区分成多个深度平面，再通过不同尺寸的区块分割方式对 各个深度平面进行补洞处理。据此，本发明可通过各深度平面所对应的景深范围来进一步 决定区块分割图的切割精细度，从而依据物距信息而适应性的利用不同的区块分割方式来 产生优化深度值。藉此，本发明可依据破洞周围的信息来产生更贴近真实状况的优化深度 值，以产生噪声含量低且准确度高的深度图。
[0018] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详 细说明如下。
【附图说明】
[0019] 图1为本发明一实施例所示出的产生深度信息的装置的方块图；
[0020] 图2为本发明一实施例所示出的产生深度信息的方法的流程图；
[0021] 图3A为本发明划分左图像或右图像的实施例示意图；
[0022] 图3B为本发明区块分布图的局部实施例示意图；
[0023] 图4为本发明一实施例所示出的产生深度信息的方法的运作示意图；
[0024] 图5为本发明一实施例所示出的产生待修复深度图的流程图；
[0025] 图6为本发明一实施例所示出的依据统计结果移除无效深度值的实施例示意图；
[0026] 图7为本发明一实施例所示出的依据密度移除无效深度值的实施例示意图；
[0027] 图8为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图；
[0028] 图9A与图9B为本发明一实施例所示出的产生优化深度图的流程图；
[0029] 图10为图8的实施例所示的区块分布图的实施例示意图；
[0030] 图11为本发明一实施例所示出的优化深度信息的装置的方块图；
[0031] 图12是本发明一实施例所示出的优化深度信息的方法的流程图；
[0032] 图13为本发明一实施例所示出的深度平面的实施例示意图；
[0033] 图14为本发明一实施例所示出的对待修复深度图进行补洞的运作示意图。
[0034] 附图标记说明：
[0035] 10、20 :图像处理装置；
[0036] 14、24 :储存单元；
[0037] 142、242 :深度估测模块；
[0038] 144、244 :区块分布图获取模块；
[0039] 146、246 :无效深度移除模块；
[0040] 148、248 :补洞模块；
[0041] 249 :深度平面分割模块；
[0042] 16、26 :处理单元；
[0043] Img_l、Img_14 :图像；
[0044] Pl~P5 :像素；
[0045] Zl~Z6、dz_a、dz_b、Z_c、Z_d:相关区块；
[0046] dz_l、dz_2 :深度区块；
[0047] m_l、m_2 :区块分布图；
[0048] Img_R:右图像；
[0049] Img_L:左图像；
[0050] dm_l:主深度图；
[0051] dm_2:辅深度图；