影像撷取装置及影像撷取方法
【专利摘要】本发明系提供一种取像装置、影像深度产生装置及其方法，其特征在于结合结构光投影的影像深度计算技术以及影像式深度计算技术，以兼顾所计算出的影像深度的分辨率以及精确度。此外，利用改良式闪光灯使得两种技术的结合能够应用于手持式取像装置。
【专利说明】影像撷取装置及影像撷取方法
【技术领域】
[0001]本发明是有涉及一种影像深度产生方法，特别是涉及一种能结合两种深度计算技术以提高深度精度的取像装置、影像深度产生装置及其方法。
【背景技术】
[0002]常见的影像深度产生技术大致上可分成两种，第一种技术是一个摄像装置搭配额外的图样投影装置，由图样投影装置投射一默认图样的结构光(Structure Light)至一外部环境，再由摄像装置拍照，由于外部环境中的对象并非在同一平面上，所以摄像装置所撷取之影像中会包含已变形的预设图样，所以可根据默认图样在影像中的变形程度来计算影像中每一对象的深度。
[0003]第一种技术的缺点在于受限于结构光的分辨率，因此所产生的影像深度之分辨率不高。目前手持装置的相机画素量越来越高，所以分辨率过低的缺点系影响第一种技术的应用范围。此外，应用第一种技术时，外部环境光不能太强，否则会使得结构光在影像中不明显，而无法进行影像深度的计算。
[0004]第二种技术是对外部环境撷取两张不同视角的影像，例如单一摄像装置在不同位置拍照两次，或是使用两个摄像装置同时拍照。接着，以图像处理的方式在两张影像找出每一个对应的特征点，再根据此些特征点计算出影像中每一对象的深度。由于第二种技术可计算出每一像素的深度，所以相机画素量越来越高，所计算出的影像深度之分辨率也会越高。而且第二种技术也不受外部环境光的影响。
[0005]然而，第二种技术的缺点在于如果影像中有单色区块或是重复图案，其容易造成两张影像进行特征点比对时的误判，进而影响影像深度计算的精确度。
[0006]因此，目前所迫切需要的是一种能不受环境光影像，且兼顾高分辨率以及高精确度的影像深度产生方法。
【发明内容】
[0007]有鉴于上述现有技艺的问题，本发明的目的就是在提供一种取像装置、影像深度产生装置及其方法，以提高影像深度之分辨率并同时提高精确度。
[0008]有鉴于上述现有技艺的问题，本发明的目的就是在提供一种取像装置、影像深度产生装置及其方法，解决影像中有单色区块或是重复图案时影像深度容易错误的问题。
[0009]有鉴于上述现有技艺的问题，本发明的目的就是在提供一种取像装置、影像深度产生装置及其方法，以改良的闪光灯提高在手持式装置上计算影像深度的精确度以及便利性。
[0010]根据本发明的目的，提出一种影像深度产生装置，其包含一图样光投射模块、第一摄像模块、第二摄像模块、投影图样式深度计算模块、影像式深度计算模块以及深度决定模块。图样光投射模块系向外部环境投射预设图样。第一摄像模块分别撷取外部环境之第一影像，以及具有已变形之默认图样的第三影像。第二摄像模块分别撷取外部环境之第二影像，以及具有已变形之默认图样的第四影像。投影图样式深度计算模块可分别根据默认图样在第三影像与第四影像中的变形程度计算出复数个第一影像深度、复数个第一可信度、复数个第二影像深度以及复数个第二可信度。影像式深度计算模块可根据第一影像与第二影像计算出复数个第三影像深度以及复数个第三可信度。深度决定模块可根据复数个第一可信度、复数个第二可信度以及复数个第三可信度，从复数个第一影像深度、复数个第二影像深度以及复数个第三影像深度中组合出复数个第四影像深度。
[0011 ] 优选地，第一影像以及第三影像系由复数个像素所组成，而复数个第一影像深度、复数个第一可信度之数量系等于复数个像素之数量。
[0012]优选地，当第二摄像模块之取像分辨率低于第一摄像模块时，影像深度产生装置更包含影像转换模块，其可将第二摄像模块所撷取之影像进行一分辨率转换，使得第二影像所包含的像素数量等于第一影像。
[0013]优选地，深度决定模块更可根据复数个第一可信度、复数个第二可信度以及复数个第三可信度，分别从复数个第一影像深度、复数个第二影像深度以及复数个第三影像深度中消除可信度低的影像深度，而深度决定模块可根据未被消除的复数个第一影像深度、复数个第二影像深度以及复数个第三影像深度组合出复数个第四影像深度。
[0014]优选地，图样光投射模块包含闪光灯以及透光图样屏蔽，透光图样屏蔽具有预设图样且设置于闪光灯之出光方向上，而预设图样可包含任意线条、彩色区块或其组合。
[0015]基于上述目的，本发明再提供一种影像深度产生方法，其包含下列步骤。首先，利用图样光投射模块向外部环境投射预设图样。接着，利用第一摄像模块分别撷取外部环境之第一影像，以及具有已变形之默认图样的第三影像。利用第二摄像模块分别撷取外部环境之第二影像，以及具有已变形之默认图样的第四影像。根据默认图样在第三影像中之变形程度计算出复数个第一影像深度以及复数个第一可信度。接着，根据默认图样在第四影像中之变形程度计算出复数个第二影像深度以及复数个第二可信度。对第一影像与第二影像执行一影像式深度计算处理，以取得复数个第三影像深度以及复数个第三可信度。最后，根据复数个第一可信度、复数个第二可信度以及复数个第三可信度，从复数个第一影像深度、复数个第二影像深度以及复数个第三影像深度中组合出复数个第四影像深度。
[0016]优选地，预设图样可包含任意线条、彩色区块或其组合。
[0017]优选地，第一影像以及第三影像系由复数个像素所组成，而复数个第一影像深度、复数个第一可信度之数量系等于复数个像素之数量。
[0018]优选地，当第二摄像模块之取像分辨率低于第一摄像模块时，影像深度产生方法在计算影像深度之步骤之前更包含将第二摄像模块所撷取之影像进行一分辨率转换，使得第二影像所包含的像素数量等于第一影像。
[0019]基于上述目的，本发明再提供一种取像装置，其包含一图样光投射模块、一第一摄像模块、一第二摄像模块、一投影图样式深度计算模块、一影像式深度计算模块、一深度决定模块以及一储存模块。图样光投射模块用以向外部环境投射预设图样。第一摄像模块分别撷取外部环境之第一影像，以及具有已变形之默认图样的第三影像。第二摄像模块分别撷取外部环境之第二影像，以及具有已变形之默认图样的第四影像。投影图样式深度计算模块可分别根据默认图样在第三影像与第四影像中的变形程度计算出复数个第一影像深度、复数个第一可信度、复数个第二影像深度以及复数个第二可信度。影像式深度计算模块可根据第一影像与第二影像计算出复数个第三影像深度以及复数个第三可信度。深度决定模块可根据复数个第一可信度、复数个第二可信度以及复数个第三可信度，从复数个第一影像深度、复数个第二影像深度以及复数个第三影像深度中组合出复数个第四影像深度。储存模块可储存第一影像作为输出影像，并储存复数个第四影像深度作为输出影像之深度信息。
[0020]优选地，图样光投射模块包含闪光灯以及透光图样屏蔽，透光图样屏蔽系设置于闪光灯之出光方向上。
【专利附图】
【附图说明】
[0021]图1是为本发明的影像深度产生装置的方块图。
[0022]图2是为本发明的影像深度、信心度与影像区块的对应示意图。
[0023]图3是为本发明的取像装置的方块图。
[0024]图4是为本发明的影像深度产生方法的流程图。
【具体实施方式】
[0025]请参考图1，是为本发明的影像深度产生装置的方块图。图中，影像深度产生装置I包含一图样光投射模块10、一第一摄像模块20、一第二摄像模块30、一投影图样式深度计算模块40、一影像式深度计算模块50以及一深度决定模块60。
[0026]图样光投射模块10系向外部环境投射默认图样11之结构光。实施上，其中图样光投射模块10可包含一闪光灯以及一透光图样屏蔽，而透光图样屏蔽具有预设图样11且设置于闪光灯12之出光方向上。预设图样11可包含任意线条、彩色区块或其组合。
[0027]此外，如果闪光灯具有两个光源部，则透光图样屏蔽可以仅遮其中一光源部，如此便可选择性投射出有默认图样11的结构光或是无默认图样11的光。
[0028]图样光投射模块10投射结构光之后，第一摄像模块20以及第二摄像模块30分别撷取具有已变形之预设图样11的第三影像22以及第四影像32。由于外部环境的每一对象不会位于同一平面，或者对象本身的轮廓就不在同一平面上，所以投射默认图样11之结构光在此些对象上便会产生变形，而被摄入第三影像22以及第四影像32。
[0029]撷取第三影像22以及第四影像32之后，第一摄像模块20以及第二摄像模块30再分别撷取第一影像21以及第二影像31。第一影像21以及第二影像31内基本上不包含已变形之预设图样11，但不以此为限制，如果第一影像21以及第二影像31内包含已变形之预设图样11，亦不影响后续之处理，仍属本发明之权利范围内。
[0030]投影图样式深度计算模块40分别根据默认图样11在第三影像22与第四影像32中的变形程度计算出复数个第一影像深度41、复数个第一可信度42、复数个第二影像深度43以及复数个第二可信度44。
[0031]影像式深度计算模块50可根据第一影像21与第二影像31计算出复数个第三影像深度51以及复数个第三可信度52。
[0032]在此实施例中，第一影像21以及第三影像22系由复数个像素211所组成，如第2图所示，所以较佳的是第一影像深度41与第一可信度42之数量等于第一影像21之复数个像素211之数量，即每一个像素211都有相对应的第一影像深度41与第一可信度42，但此非为限制。例如，第一影像2之复数个像素211可分群，例如图2中的四个像素211所组成的像素群212，而每一像素群212才有相对应的第一影像深度41与第一可信度42。如此可降低所需的运算量，但第一影像深度41与第一可信度42的分辨率也会降低成第一影像21的分辨率的四分之一。
[0033]第一摄像模块20的像素量(分辨率)可大于或等于第二摄像模块30的像素量。实施上，第二摄像模块30有可能作为一辅助用摄像机，所以基于成本考虑，其取像分辨率可能会低于作为主要摄像机的第一摄像模块20。
[0034]在此情况下，影像深度产生装置I更可包含一影像转换模块，影像转换模块可将第二摄像模块30所撷取之影像进行一分辨率转换，例如内插补点处理，使得第二影像31所包含的像素数量可等于第一影像21，以利于后续的计算。而分辨率转换之相关技术为此领域之技术者所熟知，故在此不再赘述。
[0035]深度决定模块60可根据复数个第一可信度42、复数个第二可信度44以及复数个第三可信度52，从复数个第一影像深度41、复数个第二影像深度43以及复数个第三影像深度51中组合出复数个第四影像深度61。
[0036]例如，深度决定模块60可先根据复数个第一可信度42、复数个第二可信度44以及复数个第三可信度52，分别从复数个第一影像深度41、复数个第二影像深度43以及复数个第三影像深度51中消除可信度低的影像深度，而深度决定模块60可根据未被消除的复数个第一影像深度41、复数个第二影像深度43以及复数个第三影像深度51组合出复数个第四影像深度61。
[0037]藉此，如果第一影像21以及第二影像31中有一区域出现单色区块或重复图样时，则影像式深度计算模块50针对此区域所计算出的第三影像深度51的第三可信度52会偏低，如果使用此相对应的第三影像深度51容易出现错误的情形；另一方面，投影图样式深度计算模块40不容易受单色区块或重复图样的影响，因此其针对此区域所计算出的第一影像深度41的第一可信度42，或是第二影像深度43的第二可信度44会比较高。
[0038]所以深度决定模块60消除此区域的第三影像深度51之后，可参考此区域的第一可信度42或第二可信度44来决定针对此区域的第四影像深度61，例如，可直接以第一可信度42或第二可信度44之间较大者所对应的第一影像深度41或第二影像深度43作为此区域的第四影像深度61。
[0039]或者，如果第一可信度42或第二可信度44皆高且相接近，可用所对应的第一影像深度41与第二影像深度43之平均值作为此区域的第四影像深度61。
[0040]另一方面，当外部环境光强烈时，投射结构光在第三影像22以及第四影像32中不明显时，会造成第一可信度42以及第二可信度44偏低，此时深度决定模块60便可主要以复数个第三影像深度51作为复数个第四影像深度61。
[0041]如此，本发明之影像深度产生装置便可兼顾影像深度的分辨率以及精细度。
[0042]请参阅图3，其系本发明的取像装置的方块图。图中，取像装置9包含闪光灯12、透光图样屏蔽13、主要摄像模块23、辅助摄像模块33、投影图样式深度计算模块40、影像式深度计算模块50、深度决定模块60、储存模块70以及影像转换模块80。其中主要摄像模块23的取像分辨率系大于辅助摄像模块33，且主要摄像模块23与辅助摄像模块33系设置在取像装置9上的不同位置。[0043]闪光灯12包含可分别发光的第一光源部121以及第二光源部122，而透光图样屏蔽13系设置在第二光源部122之出光方向上，所以当第二光源部122发光时，取像装置9便可向一外部环境投射默认图样11的结构光。因此，取像装置9拍摄一般照片时，可仅驱动第一光源部121发光；当需要产生影像深度时，可先驱动第二光源部122发光，等到主要摄像模块23与辅助摄像模块33分别要撷取第一影像21与第二影像31时，再驱动第一光源部121发光。
[0044]主要摄像模块23分别撷取外部环境之第一影像21，以及具有已变形之预设图样
11的第三影像22。辅助摄像模块33分别撷取外部环境之第二影像31，以及具有已变形之预设图样11的第四影像32。
[0045]影像转换模块80可利用内插补点的方式将辅助摄像模块33所撷取的影像的分辨率提高，以及增加与主要摄像模块23所撷取之影像的一致性，以利于后续投影图样式深度计算模块40以及影像式深度计算模块50之计算。
[0046]投影图样式深度计算模块40、影像式深度计算模块50以及深度决定模块60的运作原理都与前述内容相同，故在此不再赘述。
[0047]最后，储存模块70可将第一影像21储存作为输出影像71，并储存复数个第四影像深度61作为输出影像71之深度信息，作为后续影像应用。
[0048]请参阅图4，其为根据本发明的影像深度产生方法的流程图。图中，影像深度产生方法系搭配第I图之影像深度产生装置I以进行说明，此方法包含下列步骤。在步骤S10，利用一图样光投射模块10向一外部环境投射一默认图样11的结构光。
[0049]在步骤S20，利用一第一摄像模块20分别撷取外部环境之一第一影像21，以及具有已变形之预设图样11的一第三影像22。
[0050]在步骤S21，利用一第二摄像模块30分别撷取外部环境之一第二影像31，以及具有已变形之预设图样11的一第四影像32。
[0051]在步骤S30，分别根据预设图样11在第三影像22中之变形程度计算出复数个第一影像深度41以及复数个第一可信度42，以及根据预设图样11在第四影像32中之变形程度计算出复数个第二影像深度43以及复数个第二可信度44。
[0052]在步骤S40，对第一影像21与第二影像31执行一影像式深度计算处理，以取得复数个第三影像深度51以及复数个第三可信度52。
[0053]其中，第一影像21以及第三影像22系由复数个像素所组成，而复数个第一影像深度41、复数个第一可信度42之数量系等于复数个像素之数量。而且，当第二摄像模块30之取像分辨率低于第一摄像模块20时，影像深度产生方法在计算影像深度之步骤之前更包含:将第二摄像模块30所撷取之影像进行一分辨率转换，使得第二影像31所包含的像素数量等于第一影像21。
[0054]最后，在步骤S50，根据复数个第一可信度42、复数个第二可信度44以及复数个第三可信度52，从复数个第一影像深度41、复数个第二影像深度43以及复数个第三影像深度51中组合出复数个第四影像深度61。
[0055]以上所述仅为举例性，而非为限制性者。任何未脱离本发明的精神与范畴，而对其进行的等效修改或变更，均应包含于所附的权利要求书中。
【权利要求】
1.一种影像深度产生装置，包含: 一图样光投射模块，系向一外部环境投射一预设图样； 一第一摄像模块，系分别撷取所述外部环境之一第一影像，以及具有已变形之所述预设图样的一第三影像； 一第二摄像模块，系分别撷取所述外部环境之一第二影像，以及具有已变形之所述预设图样的一第四影像； 一投影图样式深度计算模块，系分别根据所述预设图样在所述第三影像与所述第四影像中的变形程度计算出复数个第一影像深度、复数个第一可信度、复数个第二影像深度以及复数个第二可信度； 一影像式深度计算模块，系根据所述第一影像与所述第二影像计算出复数个第三影像深度以及复数个第三可信度； 一深度决定模块，系根据所述复数个第一可信度、所述复数个第二可信度以及所述复数个第三可信度，从所述复数个第一影像深度、所述复数个第二影像深度以及所述复数个第三影像深度中组合出复数个第四影像深度。
2.如权利要求1所述的影像深度产生装置，其中所述第一影像以及所述第三影像系由复数个像素所组成，而所述复数个第一影像深度、所述复数个第一可信度之数量系等于所述复数个像素之数量。
3.如权利要求2所述的影像深度产生装置，其中当所述第二摄像模块之取像分辨率低于所述第一摄像模块时，所述影像深度产生装置更包含一影像转换模块，所述影像转换模块系将所述第二摄像模块所撷取之影像进行一分辨率转换，使得所述第二影像所包含的像素数量等于所述第一影像。
4.如权利要求2所述的影像深度产生装置，其中所述深度决定模块更根据所述复数个第一可信度、所述复数个第二可信度以及所述复数个第三可信度，分别从所述复数个第一影像深度、所述复数个第二影像深度以及所述复数个第三影像深度中消除可信度低的影像深度，而所述深度决定模块系根据未被消除的所述复数个第一影像深度、所述复数个第二影像深度以及所述复数个第三影像深度组合出所述复数个第四影像深度。
5.如权利要求1所述的影像深度产生装置，其中所述图样光投射模块包含一闪光灯以及一透光图样屏蔽，所述透光图样屏蔽具有所述预设图样且设置于所述闪光灯之出光方向上，而所述预设图样系包含任意线条、彩色区块或其组合。
6.一种影像深度产生方法，包含: 利用一图样光投射模块向一外部环境投射一预设图样； 利用一第一摄像模块分别撷取所述外部环境之一第一影像，以及具有已变形之所述预设图样的一第三影像； 利用一第二摄像模块分别撷取所述外部环境之一第二影像，以及具有已变形之所述预设图样的一第四影像； 根据所述预设图样在所述第三影像中之变形程度计算出复数个第一影像深度以及复数个第一可信度； 根据所述默认图样在所述第四影像中之变形程度计算出复数个第二影像深度以及复数个第二可信度；对所述第一影像与所述第二影像执行一影像式深度计算处理，以取得复数个第三影像深度以及复数个第三可信度；以及 根据所述复数个第一可信度、所述复数个第二可信度以及所述复数个第三可信度，从所述复数个第一影像深度、所述复数个第二影像深度以及所述复数个第三影像深度中组合出复数个第四影像深度； 其中所述预设图样系包含任意线条、彩色区块或其组合。
7.如权利要求6所述的影像深度产生方法，其中所述第一影像以及所述第三影像系由复数个像素所组成，而所述复数个第一影像深度、所述复数个第一可信度之数量系等于所述复数个像素之数量。
8.如权利要求6所述的影像深度产生方法，其中当所述第二摄像模块之取像分辨率低于所述第一摄像模块时，所述影像深度产生方法在计算影像深度之步骤之前更包含: 将所述第二摄像模块所撷取之影像进行一分辨率转换，使得所述第二影像所包含的像素数量等于所述第一影像。
9.一种取像装置，包含: 一图样光投射模块，系向一外部环境投射一预设图样； 一第一摄像模块，系分别撷取所述外部环境之一第一影像，以及具有已变形之所述预设图样的一第三影像； 一第二摄像模块，系分别撷取所述外部环境之一第二影像，以及具有已变形之所述预设图样的一第四影像； 一投影图样式深度计算模块，系分别根据所述预设图样在所述第三影像与所述第四影像中的变形程度计算出复数个第一影像深度、复数个第一可信度、复数个第二影像深度以及复数个第二可信度； 一影像式深度计算模块，系根据所述第一影像与所述第二影像计算出复数个第三影像深度以及复数个第三可信度； 一深度决定模块，系根据所述复数个第一可信度、所述复数个第二可信度以及所述复数个第三可信度，从所述复数个第一影像深度、所述复数个第二影像深度以及所述复数个第三影像深度中组合出复数个第四影像深度；以及 一储存模块，系储存所述第一影像作为一输出影像，并储存所述复数个第四影像深度作为所述输出影像之深度信息。
10.如权利要求9所述的取像装置，其中所述图样光投射模块包含一闪光灯以及一透光图样屏蔽，所述透光图样屏蔽系设 置于所述闪光灯之出光方向上。
【文档编号】H04N5/235GK103888674SQ201410150408
【公开日】2014年6月25日 申请日期:2014年4月15日 优先权日:2014年4月15日
【发明者】周宏隆, 张文彦, 王煜智 申请人:华晶科技股份有限公司