用以融合多深度图的深度图产生装置的制作方法

本发明涉及一种用以融合多深度图的深度图产生装置，尤其涉及一种可融合至少二不同的特性的深度图以用以融合多深度图的深度图产生装置。

背景技术

一般说来，具有较高准确度(例如对应一长基线)的深度图的有效区会较具有较低准确度(例如对应一短基线)的深度图的有效区窄，所以一用户可能因为需要较大的有效区而选择具有较低准确度的深度图(也就是具有较高准确度的深度图将会被舍弃)。因此，现有技术公开一种深度引擎可通过预定的判断条件扩展所述深度引擎所产生的深度图的有效区。例如所述深度引擎可通过所述预定的判断条件使所述深度引擎所产生的深度图具有较低准确度，其中所述预定的判断条件是对应深度图的准确度和有效区范围之间的取舍(tradeoff)。也就是说所述深度引擎可通过所述预定的判断条件不是使所述深度引擎所产生的深度图具有较大的有效区范围(但具有较低准确度)，就是使所述深度引擎所产生的深度图具有较小的有效区范围(但具有较高准确度)，也就是说所述深度引擎不能通过所述预定的判断条件产生同时兼顾不同特性(例如准确度和范围)的深度图。因此，现有技术对所述用户而言仍然不是一个好的技术解决方案。

技术实现要素：

本发明的一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少三图像获取器、一深度图产生器及一混合器。所述至少三图像获取器用以形成至少二图像获取对；所述深度图产生器耦接于所述至少三图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图；所述混合器耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。

本发明的另一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含至少二图像获取器、一光源、一深度图产生器和一混合器。所述光源是用以发出一结构光，其中所述光源分别和所述至少二图像获取器形成至少二图像获取对；所述深度图产生器是耦接于所述至少二图像获取器，用以根据所述至少二图像获取对中每一图像获取对所撷取的包含所述结构光的图像产生对应所述每一图像获取对的一深度图；所述混合器是耦接于所述深度图产生器，用以融合对应所述至少二图像获取对的至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。

本发明的另一实施例公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置包含一图像获取模块、一深度图产生器和一混合器。所述图像获取模块包含至少二图像获取对，且所述至少二图像获取对中的每一图像获取对是由二图像获取器所组成或由一图像获取器及一光源所组成；所述深度图产生器是耦接于所述图像获取模块，用以根据所述至少二图像获取对所撷取的图像产生对应所述至少二图像获取对的至少二深度图；所述混合器是耦接于所述深度图产生器，用以融合对应所述至少二深度图以产生一最终深度图，其中所述至少二深度图具有不同的特性。

本发明公开一种用以融合多深度图的深度图产生装置。所述深度图产生装置利用至少三图像获取器(或至少二图像获取器与一光源)产生对应至少二基线的至少二深度图，其中对应所述至少二基线的至少二深度图具有至少二特性。然后，本发明可融合具有上述具有至少二特性的至少二深度图，产生一最终深度图。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。

附图说明

图1是本发明的第一实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。

图2是说明对应二不同基线的深度图的有效范围的示意图。

图3是说明第一基线和第二基线不互相平行的示意图。

图4是说明深度图产生装置另包含光源的示意图。

图5a是说明第一编码图案的示意图。

图5b是说明第二编码图案的示意图。

图6是说明第三编码图案的示意图。

图7是本发明的第二实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。

图8是本发明的第三实施例所公开的一种用以融合多深度图的深度图产生装置的示意图。

其中，附图标记说明如下：

100、500、600深度图产生装置

102、104、106图像获取器

108深度图产生器

110混合器

112印刷电路板

402、404区块

502、602、702光源

bl1第一基线

bl2第二基线

dp1、dp2深度图

d1、d2距离

fidp最终深度图

iva1无效区

va1、va2有效区

具体实施方式

请参照图1，图1是本发明的第一实施例所公开的一种用以融合多深度图的深度图产生装置100的示意图，图2是说明对应二不同分辨率的深度图的有效范围的示意图。如图1所示，深度图产生装置100包含三图像获取器102、104、106、一深度图产生器108和一混合器110。但本发明并不受限于深度图产生装置100只包含三图像获取器102、104、106，也就是说深度图产生装置100可包含四个以上的图像获取器。如图1所示，图像获取器102和图像获取器106之间具有一第一基线bl1(例如12公分)以及图像获取器102和图像获取器104之间具有一第二基线bl2(例如3公分)，其中图像获取器102、104、106、深度图产生器108和混合器110是设置在一印刷电路板112之上，但为了简化图1，印刷电路板112上仅显示图像获取器102、104、106。

图像获取器102、104、106用以形成二图像获取对，其中图像获取器102、106为一第一图像获取对以及图像获取器102、104为一第二图像获取对。如图1所示，深度图产生器108电连接图像获取器102、104、106，用以根据所述第一图像获取对以及所述第二图像获取对中每一图像获取对所撷取的图像对产生对应所述每一图像获取对的一深度图，也就是说深度图产生器108将会产生对应所述第一图像获取对以及所述第二图像获取对的二深度图dp1、dp2。如图2所示，因为第一基线bl1的长度大于第二基线bl2的长度，所以深度图dp1的准确度较深度图dp2的准确度高，但深度图dp1的有效区范围较深度图dp2的有效区范围窄，也就是说对应深度图dp1的最大视差(disparity)的距离d1会大于对应深度图dp2的最大视差的距离d2。

在深度图产生器108产生对应所述第一图像获取对以及所述第二图像获取对的二深度图dp1、dp2后，电连接深度图产生器108的混合器110可根据一第一规则融合深度图dp1、dp2以产生一最终深度图fidp，其中混合器110可以是一具有上述混合器110的功能的现场可程序逻辑门阵列或是一具有上述混合器110的功能的特殊应用集成电路。所述第一规则包含对应第一基线bl1的深度图dp1的无效区(invalidarea)iva1(对应距离d1)是由对应第二基线bl2的深度图dp2的有效区va2取代(如图2所示)。本发明实施例所述的深度图的无效区可由视角(fov)大小、基线(baseline)长短等因素所决定。例如深度图dp1的视差d可根据式(1)所决定：

d＝res*bl/(z*2tan(fov/2))(1)

其中res是深度图dp1的分辨率，bl是图像获取器102、106之间的基线(也就是第一基线bl1)，fov是图像获取器102、106的视角，以及z是一对象在深度图dp1的距离。也就是说将对应深度图dp1的最大视差(disparity)、深度图dp1的分辨率和图像获取器102、106之间的基线代入式(1)，即可求出对应深度图dp1的无效区的深度(距离d1)。

但在本发明的另一实施例中，所述第一规则包含深度图dp1中的无效区iva1和深度图dp1中邻近无效区iva1的预定毗连区是由深度图dp2的相对应有效区取代以避免混合器110因为深度图dp1中的无效区iva1的误差而产生包含深度图dp1的部分无效区的最终深度图fidp，其中所述预定毗连区的范围可依设计需求或使用情境而调整。此外，因为第一基线bl1的长度(例如12公分)大于第二基线bl2的长度(例如3公分)，所以当深度图dp1、dp2是用视差表示时，深度图dp2的有效区va2的视差必须被执行一正规化动作，也就是说深度图dp2的有效区va2的视差必须乘上一正规化比例以匹配深度图dp1的视差，其中所述正规化比例是由式(2)所决定：

nra＝bl1/bl2(2)

其中nra为所述正规化比例、bl1为第一基线bl1的长度以及bl2为第二基线bl2的长度。因此，最终深度图fidp将包含深度图dp1的有效区va1和深度图dp2的有效区va2，其中有效区va2的视差是一正规化后的视差。

另外，当第一基线bl1和第二基线bl2不互相平行(如图3所示)时，所述第一规则另包含一几何校正。在本发明的一实施例中，所述几何校正是一旋转校正，且混和器110可利用旋转矩阵来对深度图dp1或dp2的至少其中之一进行几何转换，以使第一基线bl1和第二基线bl2可互相平行。例如，混合器110可利用第一旋转矩阵来旋转深度图dp1，或也可利用第一、第二旋转矩阵分别旋转深度图dp1、dp2。上述第一旋转矩阵和所述第二旋转矩阵是对应第一基线bl1和第二基线bl2的其中一基线或对应不同于第一基线bl1和第二基线bl2的一参考直线。

另外，在本发明的另一实施例中，当深度图dp1和深度图dp2是用距离表示时，虽然深度图dp1和深度图dp2的准确度不同(深度图dp1的准确度大于深度图dp2的准确度)，但因为所述距离的单位相同(例如公尺)，所以深度图dp2不需做任何正规化转换以匹配深度图dp1。

另外，在本发明的另一实施例中，混合器110是根据深度图dp1和深度图dp2的平滑度，产生最终深度图fidp。例如，在本发明的一实施例中，当深度图dp1中一第一区块边缘的平滑度比深度图dp2中一第一对应区块边缘的平滑度佳时，混合器110所产生的最终深度图fidp将包含深度图dp1中的所述第一区块，其中所述第一区块包含至少一像素；当深度图dp1中一第二区块边缘的平滑度比深度图dp2中一第二对应区块边缘的平滑度差时，混合器110所产生的最终深度图fidp将包含深度图dp2中的所述第二对应区块，其中所述第二区块也包含至少一像素。另外，混合器110可在深度图dp2被执行上述正规化之前或之后比较深度图dp1的平滑度和深度图dp2的平滑度。另外，在本发明的另一实施例中，当深度图dp2的视差被执行所述正规化动作后，当深度图dp1中一第三区块所对应的平均深度和深度图dp2中一第三对应区块所对应的平均深度之间的差异大于一预定值时，混合器110所产生的最终深度图fidp将包含深度图dp2中所述第三对应区块(因为当深度图dp1中所述第三区块所对应的平均深度和深度图dp2中所述第三对应区块所对应的平均深度之间的差异大于所述预定值时，意味着深度图dp1中所述第三区块位在深度图dp1无效区iva1)，其中所述第三区块和所述第三对应区块包含至少一像素；当深度图dp1中一第四区块所对应的平均深度和深度图dp2中一第四对应区块所对应的平均深度之间的差异小于所述预定值时，混合器110所产生的最终深度图fidp将包含深度图dp1中所述第四区块(因为深度图dp1的准确度高于深度图dp2的准确度)，其中所述第四区块和所述第四对应区块也包含至少一像素。另外，在本发明的另一实施例中，混合器110是根据深度图dp1的每一区块和深度图dp2的每一区块的平滑度，深度图dp1的每一区块和深度图dp2的每一区块的平均深度，以及深度图dp1和深度图dp2的有效区/无效区的其中至少一项，产生最终深度图fidp。

另外，深度图产生器108可以是一具有上述深度图产生器108的功能的现场可编程逻辑门阵列(fieldprogrammablegatearray,fpga)，或是一具有上述深度图产生器108的功能的特殊应用集成电路(application-specificintegratedcircuit,asic)或是一具有上述深度图产生器108的功能的软件模块。另外，混合器110可以是一具有上述混合器110的功能的现场可程序逻辑门阵列，或是一具有上述混合器110的功能的特殊应用集成电路或或是一具有上述混合器110的功能的软件模块。另外，在本发明的另一实施例中，深度图产生器108和混合器110整合成为一第一处理器，其中所述第一处理器可以是一具有上述深度图产生器108的功能和上述混合器110的功能的现场可程序逻辑门阵列或是一具有上述深度图产生器108的功能和上述混合器110的功能的特殊应用集成电路。

另外，当深度图产生装置100包含至少四图像获取器(可形成至少三图像获取对)时，所述第一规则包含对应一第n基线的深度图的无效区是由对应一第n+1基线的深度图的有效区取代，以及对应所述第n基线的深度图的视差乘上一第n正规化比例和对应所述第n+1基线的深度图的视差乘上一第n+1正规化比例以使对应所述第n基线的深度图的正规化视差和对应所述第n+1基线的深度图的正规化视差匹配对应第一基线bl1的深度图的视差，其中第一基线bl1的长度大于对应所述至少三图像获取对的基线中不同于第一基线bl1的其他基线的长度，所述第n基线的长度大于所述第n+1基线的长度，以及n为一正整数。

请参照图4，图4是说明深度图产生装置另包含光源的示意图。如图4所示，深度图产生装置100包含图像获取器102、104、106，光源702、深度图产生器108和混合器110，其中光源702例如是一红外线光源，用以发出一结构光(或一随机图案(randompattern))，且光源702的目的是使深度图产生装置100所产生的深度图dp1、dp2的质量提高。但本发明并不受限于光源702是一红外线光源，也就是说光源702可以是其他形式的光源(例如光源702可以是一可见光源)。或者在本发明的另一实施例中，深度图产生装置100也可包含至少一红外线雷射光源。以深度图产生装置100为例，光源702可根据深度图产生装置100所处环境的亮度、深度图dp1(或深度图dp2)的质量对应光源702开启与关闭时的差异的其中至少一项开启。

当光源702是根据深度图产生装置100所处环境的亮度开启时，一控制器(未绘示于图4)可根据图像获取器(例如图像获取器102、104或106)目前所设定的一快门时间、一曝光时间和一iso感亮度(增益)的其中至少一项，判断深度图产生装置100所处环境的亮度。以所述曝光时间为例，在本发明的一实施例中，当图像获取器102的快门时间固定(或无快门)时，所述控制器可根据式(3)所产生的值gex，决定是否开启光源702：

gex＝gain*expt(3)

其中gain为对应图像获取器102的增益以及expt为对应图像获取器102的曝光时间。当值gex大于一高临界值时，意味着深度图产生装置100所处环境的亮度太暗，所以所述控制器开启光源702；当值gex小于一低临界值时，意味着深度图产生装置100所处环境的亮度够亮，所以所述控制器关闭光源702，其中所述高临界值大于所述低临界值。另外，当值gex的一最大值(对应图像获取器102的最大曝光时间与最大增益)都无法大于所述高临界值时，所述控制器会根据深度图产生装置100所处环境的目前亮度，开启光源702。

当光源702是根据深度图dp1的质量开启时，所述控制器可根据对应深度图dp1内具有无效值的像素数目和对应深度图dp1的平滑度的其中至少一项，判断深度图dp1的质量。例如，在本发明的一实施例中，所述控制器可根据式(4)所产生的成本值cost，决定是否开启光源702：

cost＝a*mean(hpf(x))+b*invalid_cnt(x)(4)

其中hpf(x)为对应一高通滤波器的响应(因为深度图dp1的平滑度是有关深度图dp1的高频区域)，mean(hpf(x))为对应所述高通滤波器的响应的平均值(但在本发明的另一实施例中，mean(hpf(x))可被对应所述高通滤波器的响应的总和取代)，invalid_cnt(x)为深度图dp1内具有无效值的像素数目，x为深度图dp1，以及a、b为系数。当成本值cost大于一临界值时，意味着深度图产生装置100所处环境的亮度太暗或是深度图dp1中的被摄对象无纹理，所以所述控制器开启光源702。另外，在光源702开启一预定时间后，所述控制器可尝试关闭光源702使图像获取器102撷取至少一图像，然后所述控制器可根据式(4)计算出对应所述至少一图像的成本值。如果对应所述至少一图像的成本值仍然大于所述临界值，则所述控制器重新开启光源702直到所述预定时间后再次重复上述动作；如果对应所述至少一图像的成本值小于所述临界值，则所述控制器关闭光源702直到对应所述至少一图像的成本值再次大于所述临界值。

另外，所述控制器可开启与关闭光源702，并根据深度图dp1对应光源702开启与关闭时的差异，判断深度图dp1的质量。如果深度图dp1对应光源702开启与关闭时的差异小于一参考值，意味着光源702的开启与关闭并不会影响深度图dp1的质量，所以所述控制器可关闭光源702。

另外，当光源702开启后，所述控制器可根据对应图像获取器102、104、106所撷取的多个图像的亮度和一目标值选择性地调整光源702的强度，其中所述目标值是根据一人体皮肤对光源702的发射光的反射系数而设定。例如所述控制器可根据所述多个图像产生对应所述多个图像的亮度分布图，以及根据所述亮度分布图中大于所述目标值的至少一亮度值中的最大亮度值所在的面积占所述深度信息的百分比，选择性地调整光源702的强度。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像产生对应所述多个图像的平均亮度，以及根据所述平均亮度和所述目标值，选择性地调整光源702的强度。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像产生对应于所述多个图像的多个像素的亮度直方图，以及根据所述亮度直方图的中位数和所述目标值或所述亮度直方图的四分位数和所述目标值，选择性地调整光源702的强度。

另外，在本发明的另一实施例中，当光源702开启后，所述控制器可根据所述多个图像中的至少一预定对象与图像获取器(例如图像获取器102、104或106)之间的距离和一第一查阅表，选择性地动态调整光源702的强度，其中所述第一查阅表储存对象距离与光源702的强度之间的关系。另外，在本发明的另一实施例中，所述控制器是根据所述多个图像中的至少一预定对象与图像获取器(例如图像获取器102、104或106)之间的距离和一第一相关公式，选择性地动态调整光源702的强度。

另外，在本发明的另一实施例中，所述控制器一直检测在光源702关闭的情况下深度图产生装置100所处环境的亮度，当所述环境的亮度越亮时，则根据一第二查阅表增加光源702开启时的强度，其中所述第二查阅表储存光源702开启时的强度与所述环境的亮度之间的关系。另外，在本发明的另一实施例中，当所述环境的亮度越亮时，所述控制器是根据一第二相关公式增加光源702开启时的强度。

另外，在本发明的另一实施例中，所述控制器先关闭光源702后，检测所述环境的亮度。然后根据本发明领域的技术人员所公知的自动曝光(ae)算法，利用图像获取器(例如图像获取器102、104或106)的曝光时间(或快门时间、曝光时间和iso感亮度(增益)的其中至少一项)将所述环境的亮度降低至不会干扰图像获取器(例如图像获取器102、104或106)，并固定当下的图像获取器(例如图像获取器102、104或106)的曝光时间。然后所述控制器开启光源702并检测光源702的强度直到一目标值。

另外，在本发明的一实施例中，上述光源702所提供的所述结构光为一编码图案(codingpattern，也就是和随机数有关的图案)。但在本发明的另一实施例中，所述结构光可结合一第一编码图案与一第二编码图案。请参照图5a、5b图，图5a是说明所述第一编码图案的示意图，图5b是说明所述第二编码图案的示意图。如图5a所示，所述第一编码图案根据所述第二编码图案分割成多个区块，然后所述多个区块采用所述第二编码图案以形成所述结构光。例如，如图5b所示，当所述多个区块的一区块402采用所述第二编码图案时，区块402内的像素的亮度必须被降低，也就是说只有区块402内的已经点亮的像素的亮度必须被降低，以及区块402内其他未被点亮的像素则维持暗的。另外，如图5b所示，当所述多个区块的一区块404采用所述第二编码图案时，区块404内的像素的亮度必须被增加，也就是说只有区块404内的已经点亮的像素的亮度必须被增加，以及区块404内的未被点亮的像素内其他未被点亮的像素则维持暗的，以形成所述结构光。另外，在本发明的另一实施例中，当所述多个区块采用所述第二编码图案时，所述多个区块的每一区块内的已经点亮的像素的亮度可具有多阶变化。另外，在本发明的另一实施例中，如图6所示的一第三编码图案也可套用至所述第一编码图案(如图5a所示)以形成所述结构光。

请参照图7，图7是本发明的第二实施例所公开的一种用以融合多深度图的深度图产生装置500的示意图，其中深度图产生装置500包含二图像获取器104、106、一光源502、一深度图产生器108和一混合器110。但本发明并不受限于深度图产生装置500只包含二图像获取器104、106，也就是说深度图产生装置500可包含三个以上的图像获取器。另外，光源502分别和图像获取器104、106形成二图像获取对，其中光源502和图像获取器106为一第一图像获取对以及光源502和图像获取器104为一第二图像获取对。如图7所示，光源502和图像获取器106之间具有第一基线bl1(例如12公分)以及光源502和图像获取器104之间具有第二基线bl2(例如3公分)。如图7所示，深度图产生器108电连接图像获取器104、106，用以根据所述第一图像获取对以及所述第二图像获取对中每一图像获取对所撷取的包含所述结构光的图像产生对应所述每一图像获取对的一深度图，也就是说深度图产生器108将会产生对应所述第一图像获取对以及所述第二图像获取对的二深度图(其中对应所述第一图像获取对以及所述第二图像获取对的二深度图的有效范围可参照图2)。另外，深度图产生装置500的深度图产生器108和混合器110的操作原理可参照深度图产生装置100的深度图产生器108和混合器110的操作原理，在此不再赘述。另外，光源502的操作原理也可参照光源702的操作原理，在此也不再赘述。

另外，请参照图8，图8是本发明的第三实施例所公开的一种用以融合多深度图的深度图产生装置800的示意图，其中深度图产生装置800包含图像获取器102、104、106、一光源602、一深度图产生器108和一混合器110，其中深度图产生器108耦接于图像获取器102、104、106，且图像获取器102、104、106和光源602构成一图像获取模块。但在本发明的另一实施例中，深度图产生装置800可包含至少三图像获取器和至少一光源。如图8所示，图像获取器102、104、106形成二第一图像获取对，以及光源602分别和图像获取器102、104、106形成三第二图像获取对，其中所述三第二图像获取对是用以撷取包含光源602所产生的结构光的图像。因此，深度图产生器108可用以根据所述二第一图像获取对和所述三第二图像获取对的其中至少二图像获取对所撷取的图像产生对应所述至少二图像获取对的至少二深度图。另外，所述三第二图像获取对的操作原理可参照图7所示的深度图产生装置500中的所述第一图像获取对(由光源502和图像获取器106组成)和深度图产生装置500中的所述第二图像获取对(由光源502和图像获取器104组成)的操作原理，在此不再赘述。另外，所述二第一图像获取对的操作原理可参照深度图产生装置100中的所述第一图像获取对(由图像获取器102、106组成)以及深度图产生装置100中的所述第二图像获取对(由图像获取器102、104组成)的操作原理，在此不再赘述。另外，深度图产生装置600的其余操作原理可参照深度图产生装置500、100的操作原理，在此不再赘述。

综上所述，本发明所公开的用以融合多深度图的深度图产生装置利用至少三图像获取器(或至少二图像获取器与一光源)产生对应至少二基线的至少二深度图，其中对应所述至少二基线的至少二深度图具有至少二特性。然后，本发明可根据具有上述具有至少二特性的至少二深度图，产生一最终深度图。因此，相较于现有技术，本发明可扩展所述最终深度图的范围，或可增加所述最终深度图的准确度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。