产生深度信息的方法与装置的制造方法
【技术领域】
[0001]本发明是有关于一种处理图像的方法及装置，且特别是有关于一种产生深度信息的方法与装置。
【背景技术】
[0002]随着图像处理技术的蓬勃发展，立体视觉技术(Stereo Vis1n)已逐渐且广泛地应用于各种领域。立体视觉广义来说可包括两个阶段，前期阶段包括利用深度摄影机、立体摄影机或是利用相关的三维立体图像算法等方式来产生深度信息，而后其阶段为利用深度信息来产生不同视角的图像。由此可知，为了产生视觉体验较佳的立体图像，准确的深度信息是非常重要的。
[0003]对于具有双镜头的立体成像系统来说，立体成像系统的双镜头可拍摄同一区域不同角度的图像，而结合左、右镜头所拍摄图像间的像差信息以及预知的镜头间距，则可估测出图像中各个物件的深度信息。一般来说，深度信息往往可用一深度图(depth map)来表示，并利用纪录于深度图上的深度值来表示二维图像中不同物件或像素点的深度。其中，基于区域关联性(local-correlat1n)以及像素匹配(pixel-wise matching)的深度产生算法已普遍见于具有双镜头的立体成像系统中。
[0004]然而，基于区域关联所产生的深度图可能发生边缘模糊的情形，而像素匹配的方式也会导致庞大的计算量并且相当耗费存储器。也就是说，不同的深度信息产生算法会具备不同的精确度与计算量。因此，如何在可允许的计算量与复杂度下产生精确的深度信息，并提高根据此深度信息所产生的三维图像的品质，实乃本领域技术人员所努力的方向之
O
【发明内容】
[0005]有鉴于此，本发明提供一种产生深度信息的方法与装置，可降低深度信息的噪声并提高深度信息的精准度，从而使立体成像系统所产生的立体图像具备较佳的视觉体验。
[0006]本发明提出一种产生深度信息的方法，适用于电子装置，所述方法包括下列步骤。首先，取得由立体成像系统拍摄的左图像及右图像，并对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像其中之一且对应至多个第一像素的主深度图。此主深度图纪录分别对应至这些第一像素的多个主深度值。依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关块，以获取包括这些相关块的一块分布图。利用此块分布图来判断这些第一像素所对应的主深度值是否符合置信条件，并将这些主深度值中不符合置信条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图。利用此块分布图而分别对待修复深度图中的这些破洞产生多个优化深度值，并将这些优化深度值填补至待修复深度图而产生优化深度图。
[0007]在本发明的一实施例中，上述的依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关块，以获取包括这些相关块的块分布图的步骤包括下列步骤。比对这些第一像素中相互相邻的第一相邻像素与第二相邻像素，以判断第一相邻像素与第二相邻像素之间的像素值差是否小于一差异门槛值。若此像素值差小于差异门槛值，连接第一相邻像素与第二相邻像素而形成相关块中的第一相关块。此第一相关块至少包括第一相邻像素与第二相邻像素。
[0008]在本发明的一实施例中，上述的依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成上述相关块，以获取包括这些相关块的块分布图的步骤还包括下列步骤。依据尺寸门槛值来限定各相关块的块尺寸而获取块分布图，其中各相关块的块尺寸不大于尺寸门槛值。
[0009]在本发明的一实施例中，上述的利用块分布图来判断第一像素所对应的主深度值是否符合置信条件，并将主深度值中不符合置信条件的无效深度值从主深度图中移除，从而产生包括破洞的待修复深度图的步骤包括下列步骤。依据块分布图将主深度图分成多个深度块，并分别对各深度块内的主深度值进行统计运算而获取统计结果。依据统计结果判断主深度值是否为无效深度值中的多个第一无效深度值，并将第一无效深度值从主深度图中移除，从而产生包括破洞中的多个第一破洞的待修复深度图
[0010]在本发明的一实施例中，在上述的将第一无效深度值从主深度图中移除而产生破洞中的多个第一破洞的步骤之后，此方法还包括下列步骤。分别以非为第一无效深度值的主深度值中的多个第一有效深度值为中心，计算一限定范围内这些第一无效深度值的多个无效密度值。依据这些无效密度值是否大于密度门槛值分别判断各第一有效深度值是否为无效深度值中的多个第二无效深度值。将第二无效深度值从主深度图中移除，从而产生包括破洞中的多个第二破洞的待修复深度图。
[0011]在本发明的一实施例中，上述方法还包括下列步骤。对左图像或右图像进行三维深度估测，以获取关联于左图像与右图像的另一且对应至多个第二像素的辅深度图。此辅深度图纪录各第二像素的辅助深度值。比对主深度图与辅深度图，将不符合相互对应的辅助深度值的主深度值从主深度图中移除，从而产生包括破洞中的多个第三破洞的待修复深度图。
[0012]在本发明的一实施例中，上述的块分布图依据差异门槛值以及尺寸门槛值而具有切割精细度。块分布图包括第一块分布图与第二块分布图，而第一块分布图的切割精细度不同于第二块分布图的切割精细度
[0013]在本发明的一实施例中，上述的利用块分布图而分别对待修复深度图中的破洞产生多个优化深度值，并将优化深度值填补至待修复深度图而产生优化深度图的步骤包括下列步骤。依据第一块分布图将待修复深度图分成多个第一深度块，依据各第一深度块中的破洞的数目而获取第一有效密度值。依据第一有效密度值而决定是否计算各第一深度块的第一深度平均值，并将第一深度平均值作为优化深度值之一而填补部份的破洞。重复前2个步骤，直至重复前2个步骤的次数到达一预设次数。
[0014]在本发明的一实施例中，上述的通过判断第一有效密度值而决定是否计算各第一深度块的第一深度平均值的步骤包括下列步骤。依据第一有效密度值是否大于有效门槛值而决定是否计算各第一深度块的第一深度平均值。
[0015]在本发明的一实施例中，上述的通过判断第一有效密度值而决定是否计算各第一深度块的第一深度平均值的步骤还包括下列步骤。依据各第一深度块的第一有效密度值而获取各第一深度块的处理顺序。依据处理顺序是否为高优先顺序而决定是否填补各第一深度块中的破洞。
[0016]在本发明的一实施例中，在上述依据第一有效密度值而决定是否计算各第一深度块的第一深度平均值，并将第一深度平均值作为优化深度值之一而填补部份的破洞的步骤之后，所述方法还包括下列步骤。依据第二块分布图将待修复深度图分成多个第二深度块，并依据各第二深度块中的破洞的数目而获取第二有效密度值。依据第二有效密度值而决定是否计算各第二深度块的第二深度平均值，并将第二深度平均值作为优化深度值之一而填补部份的破洞。
[0017]从另一观点来看，本发明提出一种产生深度信息的装置，其包括纪录多个模块的存储单元以及处理单元。处理单元耦接存储单元，以存取并执行存储单元中记录的该等模块。该等模块包括深度估测模块、块分布图获取模块、无效深度移除模块以及补洞模块。深度估测模块取得由立体成像系统拍摄的左图像及右图像，并对左图像与右图像进行三维深度估测，以获取关联于左图像与右图像其中之一且对应至多个第一像素的主深度图。此主深度图纪录分别对应至这些第一像素的多个主深度值。块分布图获取模块依据各第一像素的像素信息，将关联于主深度图的左图像或右图像划分成多个相关块，以获取包括这些相关块的块分布图。无效深度移除模块利用块分布图来判断第一像素所对应的主深度值是否符合置信条件，并将主深度值中不符合置信条件的多个无效深度值从主深度图中移除，从而产生包括多个破洞的待修复深度图。补洞模块利用块分布图而分别对待修复深度图中的破洞产生多个优化深度值，并将优化深度值填补至待修复深度图而产生优化深度图。
[0018]基于上述，在本发明的产生深度信息的实施例中，先依据像素点信息来切割原始的左图像或右图像而产生包括多个相关块的块分布图，再利用块分布图来移除深度图中无效深度值。进一步来说，本发明可通过计算各个相关块所包涵的深度值的统计信息来移除各个相关块中的无效深度值。除此之外，本发明还通过不同尺寸的块分割方式而对深度图进行不同阶段的补洞处理，以利用不同阶段所产生的优化深度值来填补深度图中的破洞。据此，不仅深度图中置信度低的无效深度值可被移除，而且依据破洞周围信息所产生的优化深度值也将用以填补深度图中的破洞，从而产生噪声含量低且准确度高的深度图。
[0019]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
【附图说明】
[0020]图1是依照本发明一实施例所示出的产生深度信息的装置的结构图；
[0021]图2是依照本发明一实施例所示出的产生深度信息的方法的流程图；
[0022]图3A为划分左图像或右图像的范例示意图；
[0023]图3B为块分布图的局部范例示意图；
[0024]图4为依照本发明一实施例所示出的产生深度信息的方法的操作示意图；
[0025]图5是依照本发明一实施例所示出的产生待修复深度图的流程图；
[0026]图6为依照本发明一实施例所示出的依据统计结果移除无效深度值的范例示意图；
[0027]图7为依照本发明一实施例所示出的依据密度移除无效深度值的范例示意图；
[0028]图8为依照本发明一实施例所示出的对待修复图进行补洞的操作示意图；
[0029]图9A与图9B是依照本发明一实施例所示出的产生优化深度图的流程图；
[0030]图10为依照图8的实施例所示出的分布块图的范例示意图。
[0031]附图标记说明:
[0032]10:图像处理装置；
[0033]14:存储单元；
[0034]142:深度估测模块；
[0035]144:块分布图获取模块；
[0036]146:无效深度移除模块；
[0037]148:补洞模块；