用于提取深度信息的装置及方法
【专利摘要】根据本发明的一个实施例，一种用于提取深度信息的装置包括：光输出单元，用于输出IR(红外)光；光输入单元，用于输入在从所述光输出单元输出之后从物体反射的光；光调整单元，用于调整所述光的角度，以使所述光照射到包含所述物体的第一区域中，然后调整所述光的角度，以使所述光照射到第二区域中；以及控制单元，用于通过使用被输入到所述第一区域的所述光和被输入到所述第二区域的所述光中的至少一者来估计所述物体的运动。
【专利说明】
用于提取深度信息的装置及方法
技术领域
[0001]本发明涉及提取深度信息，更具体地，涉及一种使用飞行时间(time-of-flight,T0F)法来提取深度信息的装置及其方法。
【背景技术】
[0002]使用拍摄装置获取三维图像的技术在不断发展。获取三维图像需要深度信息(深度图)。深度信息(depth informat1n)是表示空间距离并且示出在二维图像中一点相对于另一点的视角信息(perspective informat1n)的信息。
[0003]将红外(IR)结构光投影到物体并通过解读从该物体反射的光来提取深度信息的方法是获取深度信息的方法中的一种。根据使用红外结构光的方法，问题在于对于移动物体难以获得期望水平的深度分辨率。
[0004]作为取代使用红外结构光的方法的技术的飞行时间(TOF)法正受到关注。根据TOF方法，距物体的距离通过测量飞行时间，即发出的光被反射所花的时间，来计算。
[0005]总体来说，根据TOF法的摄像头调整光角度以扫描物体的前表面。TOF摄像头具有光学效率低和大量操作的问题。
【发明内容】
[0006]技术问题
[0007]本发明旨在提供一种提取深度信息的装置和方法，其中，使用TOF法来提取深度信息。
[0008]技术方案
[0009]根据本发明一实施例，一种用于提取深度信息的装置包括:光输出单元，所述光输出单元输出红外(IR)光;光输入单元，所述光输入单元输入从所述光输出单元输出，然后从物体反射的光;光调整单元，所述光调整单元调整所述光的角度使得包含物体的第一区域被所述光照射，然后调整所述光的角度使得为所述第一区域的一部分的第二区域被所述光照射；以及控制单元，所述控制单元使用随时间被顺序地输入到所述第二区域中的光束来估计在所述第二区域中的运动。
[0010]所述第一区域可以是包含所述物体的整个区域，所述第二区域可以从所述第一区域提取，并且可以是包含所述物体的预定区域的局部区域。
[0011]所述控制单元可以计算光从所述光输出单元输出以在从被该光照射的第二区域反射之后输入到所述光输入单元中所花的飞行时间。
[0012]所述控制单元可以使用通过使用在第一时间点输入的光计算的第一飞行时间、通过使用在所述第一时间点之前输入的光计算的第二飞行时间，以及通过使用在第二时间点之后输入的光计算的第三飞行时间来估计在第二区域中的运动。
[0013]所述控制单元可以使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动，然后使用插值技术来对所估计的运动进行补偿。
[0014]所述光输入单元可以包括多个像素，所述多个像素各包括第一接收单元和第二接收单元，所述控制单元可以使用输入到所述第一接收单元和所述第二接收单元的光的量之间的差异来计算飞行时间。
[0015]所述光调整单元可以包括微机电系统(MEMS)和MEMS控制单元。
[0016]所述控制单元可以包括:时间控制单元，所述时间控制单元控制所述光输出单元、所述光调整单元和所述光输入单元的时间点；转换单元，所述转换单元将通过所述光输入单元输入的电信号转换成数字信号；以及信号处理单元，所述信号处理单元计算随时间被顺序地输入到所述第二区域中的光束的飞行时间，估计在所述第二区域中的运动，并且提取所述第二区域的深度信息。
[0017]根据本发明一实施例，一种用于提取深度信息的方法包括:用红外(IR)光照射包含物体的第一区域；用IR光照射为所述第一区域的一部分的第二区域；以及使用随时间被顺序地输入到所述第二区域中的光束来估计在所述第二区域中的运动。
[0018]所述估计可以包括计算关于在第一时间点输入的光的第一飞行时间、关于在所述第一时间点之前输入的光的第二飞行时间，以及关于在第二时间点之后输入的光的第三飞行时间；以及使用在所述第一时间点、所述第二时间点与所述第三时间点之间的相对差来估计在所述第二区域中的运动。
[0019]根据本发明另一实施例，一种用于提取深度信息的装置包含:光源，所述光源用光照射物体;在所述光源与所述物体之间布置的全息元件，用于调整所述光源的照射区域;致动器，所述致动器驱动所述全息元件，使得所述照射区域在第一帧周期和第二帧周期不同；光接收透镜，所述光接收透镜接收通过所述物体反射的反射光;传感器单元，所述传感器单元接收通过所述光接收透镜的所述反射光，并与所述第一帧周期和所述第二帧周期中的每一个同步以输出第一图像信号和第二图像信号；信号处理单元，所述信号处理单元处理所述第一图像信号和所述第二图像信号以产生第一帧和第二帧；以及去交错器，所述去交错器将所述第一帧和所述第二帧彼此合并以产生深度图像。
[0020]根据本发明又另一实施例，一种用于提取深度信息的装置包括:第一光源和第二光源，所述第一光源和所述第二光源布置为彼此间隔开并且用光照射物体;第一全息元件和第二全息元件，所述第一全息元件和所述第二全息元件布置在所述第一光源和所述第二光源与所述物体之间，以调整所述第一光源和所述第二光源的照射区域，使得所述第一光源和所述第二光源的照射区域彼此不同；控制单元，所述控制单元控制所述第一光源和所述第二光源的发光(lighting)，使得所述第一光源在所述第一帧周期中发光，而所述第二光源在所述第二帧周期中发光;光接收透镜，所述光接收透镜接收通过所述物体反射的反射光;传感器单元，所述传感器单元接收通过所述光接收透镜的所述反射光，并且与所述第一帧周期和所述第二帧周期中的每一个同步，以输出第一图像信号和第二图像信号;信号处理单元，所述信号处理单元处理所述第一图像信号和所述第二图像信号以产生第一帧和第二帧；以及去交错器，所述去交错器将所述第一帧和第二帧彼此合并以产生深度图像。
[0021]有益效果
[0022]根据本发明的一实施例，可以获得一种操作步骤少且深度分辨率优良的用于提取深度信息的装置。因此，可以降低由用于提取深度信息的装置所消耗的电力，并且可以精确地提取距物体的距离。
【附图说明】
[0023]图1是根据本发明一实施例的深度信息提取系统的方框图；
[0024]图2示出了根据本发明一实施例的深度信息提取装置的光输入单元的结构；
[0025]图3示出了根据本发明一实施例的深度信息提取装置的提取深度信息的原理；
[0026]图4示出了随着时间顺序地拍摄的整个区域和局部区域；
[0027]图5和图6是示出了根据本发明一实施例的深度信息提取装置的深度信息提取方法的流程图；
[0028]图7是示意性地示出根据本发明另一实施例的深度信息提取装置的方框图；
[0029]图8是用于描述根据本发明另一实施例的深度信息提取装置的出射角(emiss1nang I e)通过全息元件控制的实例的视图；
[0030]图9是用于描述根据本发明另一实施例的深度信息提取装置通过与帧周期同步来产生帧的方法的视图；
[0031]图10是示出了根据本发明另一实施例的深度信息提取装置通过将奇数编号的帧和偶数编号的帧合并来产生深度图像的视图；
[0032]图11是示出了根据本发明另一实施例的深度信息提取装置的深度信息提取方法的流程图；
[0033]图12是示意性地示出根据本发明又另一实施例的深度信息提取装置的方框图；
[0034]图13是用于描述根据本发明的又另一实施例的深度信息提取装置提取深度信息的方法的视图；
[0035]图14是示出通过根据本发明又另一实施例的深度信息提取装置提取深度信息的方法的流程图。
【具体实施方式】
[0036]由于可以对本发明作出各种修改并且本发明可以具有各种实施例，在附图中示出特定实施例并加以描述。但是，这并不表示将本发明限制在所述特定实施例，在本发明精神和范围内包含的所有修改、等同和替代应被看作是属于本发明。
[0037]包含诸如第一和第二的序数词的术语可以用于描述各种元件，但是这些元件不受这些术语限制。这些术语仅用于将一个元件与另一个元件相区分的目的。例如，在不偏离本发明范围的同时，可以将第二元件称作第一元件，类似地，第一元件也可以被称作第二元件。所述术语包含多个相关描述条目的组合或在所述多个相关描述条目中的任意一个条目。
[0038]当提到将某个元件“连接”或“链接”至另一元件时，尽管该某个元件可以直接地连接或链接至另一个元件，但是，应理解，在两者之间可以存在另外的元件。另一方面，当提及某个元件“直接连接”或“直接链接”至另一元件时，应理解，在这两者之间不存在其他元件。
[0039]在申请案中所用的术语仅仅用于描述特定实施例，且并非要限制本发明。单数表达包含复数表达，除非上下文另有清晰指示。在本申请中，诸如“包括/包含”或“具有”的术语应被理解为表示特征、数目、步骤、操作、元件、部分或其组合存在，而不是表示为排除事先添加一个或多个其他特征、数目、步骤、操作、元件、部分或其组合的可能性的存在。
[0040]除非另有定义，包含在本文中所用的技术或科学术语在内的所有术语具有与本发明所属技术领域一般技术人员通常意义上所理解的含义相同的含义。诸如在常用词典中所定义的术语的术语应被理解为具有与其在相关技术领域中的含义相一致的含义，不应以理想化或过度正式的含义来理解，除非文中有明确如此的定义。
[0041]下文中，将参考附图详细描述实施例，同时不论附图标号如何，将类似的附图标记加给相同或对应的元件，并且关于这些元件的重复的描述会被省略。
[0042]根据本发明一实施例，调整发出的光(radiatedlight)的角度来改善深度分辨率(depth resolut1n)。
[0043]根据本发明一实施例，局部区域的深度信息通过以下方式提取:用光照射包含物体的整个区域;从整个区域提取局部区域;以及用光反复地照射所提取的区域。
[0044]图1是根据本发明一实施例的深度信息提取系统的方框图。图2示出了根据本发明一实施例的深度信息提取装置的光输入单元的结构，并且，图3示出了根据本发明一实施例的深度信息提取装置的提取深度信息的原理。
[0045]参见图1，深度信息提取系统包括深度信息提取装置100和个人计算机(PC)200。深度信息提取装置可以是三维立体摄像头或其一部分。
[0046]深度信息提取装置100包括光输出单元110、光调整单元120、光输入单元130和控制单元140。
[0047]光输出单元110输出红外(IR)光。IR光可以是，例如具有800nm或800nm以上波段(wavelength band)的光。光输出单元110包括光源112和光转换单元114。该光源可以包括至少一个投射红外光的激光二极管(LD)或发光二极管(LED)。而且，光转换单元114可以调制从光源112输出的光。光转换单元114可以，例如对从光源112输出的光执行脉冲调制或相位调制。因此，光输出单元110可以输出光，同时使得光源每隔预定的时间间隔闪烁。
[0048]光调整单元120调整光的角度，使得包含物体的区域被光照射。为此，光调整单元120可以包括微机电(MEMS)致动器122和MEMS控制单元124。
[0049]光调整单元120可以调整光的角度，使得包含物体(object)的整个区域被光照射。例如，如在图4 (A)中，光调整单元120可以调整光的角度，使得包含人的整个区域被光照射。因此，从光输出单元110输出的光可以以像素或行(lines)为单位扫描整个区域。另外，光调整单元120还可以调整光的角度，使得作为整个区域的一部分的局部区域被光照射。例如，如在图4(B)中所示，光调整单元120可以调整光的角度，使得整个区域中的包含手的局部区域被光照射。因此，从光输出单元110输出的光可以以像素或行为单位仅扫描该局部区域。
[0050]同时，光输入单元130被输入从光输出单元110输出并通过物体反射的光。光输入单元130可以将输入光转换成电信号。光输入单元130可以是包括光电二极管(PD)或互补金属氧化物半导体(CMOS)的图像传感器。如在图2中，光输入单元130可以包括多个排列的像素132。每个像素可以包括同相(in-phase)接收单元132-1和异相(out-phase)接收单元132-2。
[0051]控制单元140控制深度信息提取装置100的整体操作并提取深度信息。控制单元140可以用控制器芯片来实施。控制单元140可以包括时间控制单元142、转换单元144、信号处理单元146以及接口控制器148。时间控制单元142控制光输出单元110、光调整单元120和光输入单元130的时间点。例如，时间控制单元142可以控制光输出单元110的闪烁周期。转换单元144可以将通过光输入单元130输入的电信号转换成数字信号。
[°°52] 此外，信号处理单元146计算随时间(over time)被顺序地(sequentially)输入到该局部区域中的光束的飞行时间，估计在该局部区域中的运动，并提取该局部区域的深度信息。这里，光的飞行时间可以通过使用被输入到同相接收单元132-1和异相接收单元132-2中的光的量之间的差异来计算。也就是说，如在图3中，同相接收单元132-1可以在光源开启时被激活，而异相接收单元132-2可以在光源关断时被激活(activated)。以此方式，当同相接收单元132-1和异相接收单元132-2以时间差被激活时，光的飞行时间，S卩，根据距物体的距离接收的光的量会产生差异。例如，当物体位于深度信息提取装置的正前方(即，当距离=0时)时，光从光输出单元110输出以被反射所花的时间为0，使得光源的闪烁周期成为光接收周期而没有变化。因此，只有同相接收单元132-1接收光，而异相接收单元132-2不接收光。在另一实例中，当物体与深度信息提取装置远离预定的距离时，光从光输出单元110输出以被反射会花费时间，使得光源的闪烁周期不同于光接收周期。因此，通过同相接收单元132-1和异相接收单元132-2接收的光的量之间会产生差异。
[0053]接口控制器148控制与诸如PC 200的中间件(middlewire)的接口。例如，接口控制器148可以将关于被照射到整个区域之后的通过光输入单元130输入的光的信息传输到诸如PC 200的中间件。另外，接口控制器148可以从诸如PC 200的中间件接收由诸如PC 200的中间件提取的关于局部区域的信息，然后将该信息传输给光调整单元120等。
[0054]图5和图6是根据本发明一实施例的深度信息提取装置的深度信息提取方法的流程图。与图1至图3的内容重复的内容的描述将被省略。
[0055]参见图5，深度信息提取装置100的光输出单元110输出IR光(S500)，包含物体的整个区域通过由光调整单元120调整的输出光被照射(S502)。
[0056]此外，从物体反射的光通过光输入单元130被输入(S504)，控制单元140将从光输入单元130接收的模拟信号转换成数字信号(S506)，然后将该数字信号传输到例如PC 200(S508)。
[0057]PC 200使用从深度信息提取装置100接收的信号，并提取整个区域的局部区域(S510)。该局部区域可以是包含实现应用所需的关注目标的区域。例如，当该应用是根据手指的姿势改变电视(TV)频道时，当整个区域包含整个人体时局部区域可以仅包含手指。
[0058]PC 200将关于所提取的局部区域的信息传输给深度信息提取装置100(S512)。
[0059]同时，深度信息提取装置100的光输出单元110输出IR光(S514)，并且，通过光调整单元120的调整，将输出光仅照射到从整个区域提取的局部区域(S516)。
[0060]此外，从物体单元反射的光通过光输入单元130被输入(S518)，控制单元140将从光输入单元130接收的模拟信号转换成数字信号(S520)，并执行信号处理以提取局部区域的深度信息(S522)。
[0061]根据本发明一实施例，深度信息提取装置100可以在整个区域能被扫描一次的时间内，扫描局部区域若干次。因此，步骤S514至步骤S520被重复若干次，通过使用在步骤S522中重复多次的结果能够改善深度信息的精确性。将参考图6对此详细描述。
[0062]参见图6，对于局部区域，深度信息提取装置的控制单元140计算在时间Tl通过光输入单元130输入的光的飞行时间(S600)，计算在时间T2通过光输入单元130输入的光的飞行时间(S602)，并计算在时间T3通过光输入单元130输入的光的飞行时间(S604)。这里，Tl、T2和T3可以具有相同的时间间隔，在图5中的步骤S514至步骤S520可以在T1、T2和T3中的每一个处重复。如参考图3所描述，可以通过使用同相接收单元与异相接收单元之间的光的量的差异来计算光的飞行时间。
[0063]此外，控制单元140基于在时间Tl至时间Τ3的飞行时间来估计在局部区域中的运动(S606)，并根据运动估计的结果来提取深度信息(S608)。这里，运动估计和深度信息提取的过程可以根据超分辨率(SR)算法来执行。也就是，如图4(B)所示，在从Tl至Tn拍摄局部区域之后，可以计算在每个时间的飞行时间，以估计随时间的相对运动。此外，所估计的运动可以通过使用插值技术(interpolat1n technique)来补偿并恢复(restore)，并且可以从中减去噪声。
[0064]以此方式，当从整个区域检测局部区域，并提取关于该局部区域的深度信息时，计算的复杂性可以降低。此外，由于使用随时间顺序地输入的信息中的相对差来估计关于局部区域的运动信息，所以可以获得高深度分辨率。而且，因为在整个区域被扫描一次的时间内，局部区域可以被扫描若干次，所以深度信息提取所用时间和计算复杂性可以降低。
[0065]根据本发明的另一实施例，通过重复用光照射包含物体的局部区域并调整光的角度使得区域被光照射的过程来提取深度信息。
[0066]图7是示意性地示出根据本发明另一实施例的深度信息提取装置的方框图。图8是用于描述根据本发明另一实施例的深度信息提取装置的出射角通过全息元件(ho I ographic e I ement)控制的实例的视图。图9是用于描述根据本发明另一实施例的深度信息提取装置通过与帧周期同步来产生帧的方法的视图。图10是示出根据本发明另一实施例的深度信息提取装置通过将奇数编号的帧和偶数编号的帧合并而产生深度图像的视图。与图1至图6重复的内容的描述将省略。
[0067]参见图7，根据本发明另一实施例的深度信息提取装置可以包括深度传感器模块
10、信号处理单元31以及去交错器(deinterlacer)32。在图7中所示的元件并非必需的，从而根据本发明的实施例的深度信息提取装置可以包含更多或更少的元件。
[0068]深度传感器模块10是飞行时间(TOF)传感器模块并且可以包括发光单元(lightemitting unit)和光接收单元。
[0069 ] 深度传感器模块1的发光单元可以包含光源11、透镜12、全息元件13、致动器14以及控制单元15。这里，光源11可以与光输出单元一起使用，并且，全息元件13和致动器14可以与光调整单元一起使用。
[0070]光源11包括发光元件，并且用以驱动该发光元件用具有预定相位的光照射物体0B。光源11可以与预设的帧周期同步并操作以重复闪烁。
[0071]尽管在光源11中所包含的发光元件可以包括激光器、激光二极管等，但是，还可以使用其他类型的光源。
[0072]从激光器或激光二极管发出的光比从发光二极管(LED)发出的光具有相对更好的方向性。因此，当使用激光器或激光二极管作为光源11时，可以容易地调整出射角和照射区域。
[0073]从光源11发出的光的波长可以被包含在IR波段中，还可以被包含在其他波段中。
[0074]透镜12被布置在从光源11发出的光的光路上，并且用以将从作为点光源的光源11发出的光转换成面光源。激光器具有优良的方向性但是具有相对小的出射角。因此，透镜12可以用于用光来均匀地照射整个物体OB以获取深度图像。
[0075]全息元件13被布置在光源11与物体OB之间，或布置在透镜12与物体OB之间，并且用以控制从光源11发出的光的出射角和照射区域。
[0076]图8中的(A)示出在不存在全息元件13的情况下物体OB被从光源(LED)发出的光照射的情况，图8中的(B)示出通过全息元件13调整出射角之后，物体OB被从光源(LED)发出的光照射的情况。
[0077]参见图8中的(A)，除了在其上投影图像的传感器的区域，区域al和a2也被来自LED的光照射，因此降低了光学效率。
[0078]另一方面，参见图8中的(B)，从LED发出的光的出射角通过全息元件13来调整，使得光不会偏离其上投影图像的传感器区域(视角，viewing angle)太多，从而最小化光浪费并改善光效率。
[0079]同时，由于透镜12不是必须的，当照明的均匀性由全息元件13提供时，透镜12也可以省略。
[0080]再次，参见图7，全息元件13可以使用计算机产生全息图(computer generatedhologram，CGH)法来制造。全息图是从包含从物体散射(scattered)的信息的信号波和相干参考波(coherent reference wave)产生的干涉图案，并且CGH法是通过使用计算机数学计算和产生干涉图案的方法。
[0081 ] 全息元件13可以通过将由计算机计算出的干涉图案记录在记录介质中来形成。
[0082]在全息元件13中记录干涉图案的记录介质可以包括由光敏材料形成的基板。可以使用光聚合物、紫外(UV)光聚合物、光致抗蚀剂、卤化银乳剂、重铬酸盐明胶、照相乳剂、光导热塑、光折变材料等来作为光敏材料。
[0083]全息元件13可以是体积全息元件(voIume holographic)或表面全息(surfaceho I ograph ic)元件。
[0084]体积全息元件是由于在信号波与参考波之间的干涉而在空间中产生的干涉图案三维地被记录在记录介质中的全息光学元件。另一方面，表面全息元件是由于在信号波与参考波之间的干涉而在空间中产生的干涉图案被记录在记录介质的表面上的全息光学元件。
[0085]当全息元件13是表面全息元件时，可以在从光源11入射的光出射(exit)的出射表面(exiting surface)上形成干涉图案。
[0086]全息元件13连接至致动器14，并且，该全息元件的位置、倾斜(tilting)等可以通过致动器14来调整。
[0087]致动器14是驱动全息元件13的驱动装置，并且可以相对于光源11的光轴调整全息元件13的位置、倾斜等。
[0088]当全息元件13的位置、倾斜等被改变时，穿过全息元件13的光照射物体OB的照射区域移位(shift)，使得通过物体OB反射的光投影到传感器单元22的每一个胞元(cell)上的区域也移位。
[0089]致动器14可以基于控制单元15的控制信号驱动全息元件13，使得全息元件13的照射区域被切换(switch)。也就是说，致动器14可以驱动全息元件13，使得在奇数编号的帧周期中的全息元件13的照射区域不同于在偶数编号的帧周期中的全息元件的照射区域。
[0090]在奇数编号的帧周期中的全息元件13的照射区域可以是这样的区域:该区域从在偶数编号的帧周期中的全息元件13的照射区域向上移动或向下移动多达与传感器单元22的一个胞元(cell)相匹配的区域。也就是说，全息元件13的照射区域可以在每个帧周期中调整，使得在奇数编号的帧周期中图像被投影到传感器单元22的胞元上的位置与在偶数编号的帧周期中图像被投影到传感器单元22的胞元上的位置相差一个胞元。因此，即使当光从同一点反射时，在奇数编号的帧周期中图像被投影到传感器单元22的胞元上的位置可以与在偶数编号的帧周期中图像被投影到传感器单元22的胞元上的位置可以相差一个胞元。
[0091]致动器14可以是音圈电机(VCM)致动器或微机电(MEMS)致动器。
[0092]控制单元15可以基于预设的帧周期来控制光源11开启或关断。
[0093]例如，如在图9中，控制单元15可以周期性地开启或关断光源11，使得光源11在每个帧周期闪烁。也就是说，在每个帧周期Tl和T2中，控制单元15可以执行以下操作:当帧周期Tl和T2开始时开启光源11以用光照射，在预定量时间过去之后关断光源11以控制光照射停止直至帧周期Tl和T2结束。
[0094]控制单元15可以控制致动器14，使得全息元件13的照射区域在每个帧周期发生切换。
[0095]深度传感器模块10的光接收单元可以包括光接收透镜21和传感器单元22。在本说明书中，该光接收单元可以与该光输入单元一起使用。
[0096]光接收透镜21被布置在物体OB与传感器单元22之间，用来接收从物体OB反射的反射光，并且使得所接收的反射光入射在传感器单元22上。
[0097]传感器单元22接收从物体OB反射的反射光，并将所接收的反射光转换成电信号，
并输出图像信号。
[0098]传感器单元22可以由多个胞元形成，每个胞元可以对应于形成帧的每个像素。传感器单元22可以以胞元为单位接收光，并以胞元为单位输出图像信号。
[0099]形成传感器单元22的胞元中的每一个可以包括将光转换成电信号的元件。胞元中的每一个可以包括金属氧化物半导体(M0S)、电荷耦合装置(CCD)等，但是不限于此。
[0100]传感器单元22可以与预设的帧周期同步以接收反射光，并将所接收的反射光转换成图像信号以输出。
[0101]同时，随着照射区域(radiat1n reg1n)通过全息元件13在每个帧周期切换，图像被投影到传感器单元22上的位置也可以每帧周期被切换。
[0102]全息元件13通过致动器14在奇数编号的帧周期和偶数编号的帧周期中用光照射不同的区域。因此，即使当光从物体OB的同一位置反射时，在奇数编号的帧周期中图像被投影在传感器单元22上的位置与在偶数编号的帧周期中图像被投影在传感器单元22上时的其位置可以不同。
[0103]通过从在偶数编号的帧周期中的投影在传感器单元22上的图像向上或向下移动多达一个胞元，可以投影在奇数编号的帧周期中的投影在传感器单元22上的图像。
[0104]信号处理单元31对从传感器单元22输出的图像信号执行诸如采样(sampling)的信号处理以产生帧。这里，该帧可以包括多个像素，并且，这些像素中的每一个的像素值可以从与这些像素中的每一个对应的图像信号获取。
[0105]信号处理单元31可以通过将图像信号转换成帧来输出从传感器单元22输出的对应于帧周期的的图像信号。
[0106]例如，如在图9中所示，信号处理单元31可以在每个帧周期Tl和T2通过将图像信号转换成帧5a和5b来输出图像信号，并且，与奇数编号的帧周期Tl和偶数编号的帧周期T2中的每一个同步，以输出奇数编号的帧5a和偶数编号的帧5b。
[0107]信号处理单元31还可以基于通过传感器单元22的每个胞元接收的光与通过光源11发出的光之间的相位差(phase difference)来计算与每个胞元，S卩，每个像素对应的深度信息。对应于形成帧的每个像素存储所计算的深度信息。
[0108]去交错器(deinterlaCer)32可以从信号处理单元31接收奇数编号的帧和偶数编号的帧中的每一个，并将这两个帧合并以产生一个深度图像。
[0109]去交错器32可以通过以行为单位交替地插入从信号处理单元31输出的奇数编号的帧和偶数编号的帧来产生与传感器单元22的分辨率相比(resolut1n)增加到两倍(increased twi ce)的分辨率的深度图像。例如，如在图1O中，奇数编号的帧和偶数编号的帧中的每一个具有10(行)X 10(列)的像素，并且，以行为单位将该两个帧交替合并的深度图像的分辨率为20 (行)X 20 (列)的像素。与传感器单元22的分辨率相比，垂直分辨率增加到两倍。图7中的控制单元15、信号处理单元31和去交错器32可以对应于图1中的控制单元14ο
[0110]图11是示出根据本发明另一实施例的深度信息提取装置的深度信息提取方法的流程图。
[0111]参见图11，深度传感器模块10控制光源11以通过与奇数编号的帧周期同步来发出光(SlOl)0
[0112]在步骤SlOl中，从光源11发出的光的照射区域可以通过全息元件13来控制。
[0113]当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与该光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生奇数编号的帧(S102)。
[0114]当获取奇数编号的帧时，深度传感器模块10控制全息元件13并使物体被光照射的照射区域移位(S103)。
[0115]在步骤S103中，深度传感器模块10可以通过控制致动器14以调整全息部件13的斜率(slope)来使照射区域移位。
[0116]当偶数编号的帧周期开始时，深度传感器模块10与偶数编号的帧周期同步，并控制光源11来发出光(S104)。
[0117]在步骤S104中，从光源11发出的光的照射区域由于全息元件13而可以与偶数编号的帧周期的照射区域不同。
[0118]当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(105)。
[0119]去交错器32通过以形成帧的像素阵列(pixel arrays)的行为单位(in units oflines)将奇数编号的帧和偶数编号的帧合并来产生深度图像(S106)。
[0120]在步骤S106中，去交错器32可以通过顺序地且交替地将奇数编号的帧和偶数编号的帧的像素的行合并来产生深度图像。
[0121]参见图12至图14，下文将详细描述根据本发明又另一实施例的深度信息提取方法和用于执行该方法的深度信息提取装置。
[0122]图12是示意性地示出根据本发明又另一实施例的深度信息提取装置的方框图。图13是用于描述根据本发明又另一实施例的深度信息提取装置提取深度信息的方法的视图。
[0123]下文中，为了避免重复描述，具有与已经参照图7描述的深度信息提取装置中的相同功能的元件的详细描述将省略。
[0124]参见图12，根据本发明又另一实施例的深度信息提取装置可以包括深度传感器模块10、信号处理单元31以及去交错器32。在图12中的元件不是必须的，因此，根据本发明又另一实施例的深度信息提取装置可以包括更多或更少的元件。
[0125]深度传感器模块10是TOF传感器模块，并且可以包括多个发光单元和光接收单元。
[0126]形成深度传感器模块10的多个发光单元可各包括光源Ila和11b、透镜12a和12b以及全息元件13a和13b。该多个发光单元可以进一步包括控制单元15。这里，光源Ila和Ilb可以与光输出单元一起使用，全息元件13a和13b可以与光调整单元一起使用。
[0127]多个光源Ila和Ilb可以布置为彼此间隔开预定间隔。深度传感器模块10的传感器单元22可以布置在多个光源Ila与Ilb之间。
[0128]下文中，为了便于描述，多个发光单元中的每一个将被称作第一发光单元和第二发光单元，并且，形成第一发光单元的元件将被称作第一光源I Ia、第一透镜12a和第一全息元件13a。此外，形成第二发光单元的元件将被称作第二光源11b、第二透镜12b和第二全息元件13b。然而，这些元件不受包含诸如第一和第二的序数词的术语的限制。
[0129]第一光源Ila和第二光源Ilb被布置为彼此间隔开预定间隔，并且用来驱动发光元件用具有预定相位的光来照射物体0B。
[0130]在第一光源Ila和第二光源Ilb中所包含的发光元件可以包括激光器、激光二极管等，但是也可以使用其他类型的光源。从第一光源Ila和第二光源Ilb发出的光的波长可以被包含在IR波段(IR band)中，但是也可以被包含其他不同的波长段中。
[0131]可以控制第一光源Ila和第二光源Ilb的闪烁，使得第一光源Ila和第二光源Ilb在不同的帧周期中出射(emit)光。例如，第一光源Ila可以通过与奇数编号的帧周期同步来出射光，第二光源Ilb可以通过与偶数编号的帧周期同步来出射光。
[0132]第一透镜12a被布置在从第一光源Ila发出的光的光路上，并且用来将从为点光源的第一光源Ila发出的光转换成面光源(surface light source)。此外，第二透镜12b被布置在从第二光源Ilb发出的光的光路上，并且用以将从为点光源的第二光源Ilb发出的光转换成面光源。
[0133]第一全息元件13a被布置在第一光源Ila与物体OB之间，或布置在第一透镜12a与物体OB之间，并且用以控制从第一光源Ila发出(radiated)的光的出射角和照射区域。此夕卜，第二全息元件13b被布置在第二光源I Ib与物体OB之间或布置在第二透镜12b与物体OB之间，并且用以控制从第二光源Ilb发出的光的出射角和照射区域。
[0134]同时，第一透镜12a和第二透镜12b不是必须的，因此当照明的均匀性通过第一全息元件13a和第二全息元件13b提供时可以被省略。
[0135]第一全息元件13a和第二全息元件13b可以使用CGH法来制造。
[0136]第一全息元件13a和第二全息元件13b通过将由计算机计算出的干涉图案记录在记录介质中来形成，并且光敏材料，诸如光聚合物、UV光聚合物、光致抗蚀剂、卤化银乳剂、重铬酸盐明胶、照相乳剂、光导热塑和光折变材料可以用于记录干涉图案的记录介质。
[0137]第一全息元件13a和第二全息元件13b可以是体积全息元件或表面全息元件。
[0138]在第一全息元件13a和第二全息元件13b中记录的干涉图案可以形成为使得物体OB的不同区域被由第一光源Ila和第二光源Ilb发出的光照射。
[0139]例如，第一全息元件13a和第二全息元件13b的干涉图案可以形成为使得，被从第一光源Ila出射的光照射的区域和被从第二光源Ilb出射的光照射的区域彼此相差多达与传感器单元22的一个胞元相匹配的区域。
[0140]控制单元15可以基于预设的帧周期来控制第一光源Ila和第二光源Ilb开启或关断。例如，如在图13中，控制单元15可以控制第一光源I Ia和第二光源I Ib开启或关断，使得第一光源Ila通过与奇数编号的帧周期Tl同步来出射光，而第二光源Ilb通过与偶数编号的帧周期T2同步来出射光。
[0141]因此，照射物体OB的光源可以在每个帧周期被切换，并且，被光照射的区域也可以通过第一全息元件13a和第二全息元件13b对应于光源切换而被切换。
[0142]深度传感器模块10的光接收单元可以包括光接收透镜21和传感器单元22。
[0143]光接收透镜21被布置在物体OB与传感器单元22之间，用来接收从物体OB反射的反射光，并使得所接收的反射光入射在传感器单元22上。
[0144]传感器单元22可以由多个胞元形成，并且每个胞元可以对应于形成帧的每个像素。传感器单元22可以以胞元为单位接收光，并以胞元为单位输出图像信号。
[0145]形成传感器单元22的胞元中的每一个可以包括M0S、C⑶等。
[0146]传感器单元22可以与预设的帧周期同步以接收反射光并将所接收的反射光转换成图像信号以输出。
[0147]随着将光发出至物体OB的光源每个帧周期被切换，图像被投影在传感器单元22上的位置也可以在每个帧周期被切换。也就是说，由于光源的切换，在奇数编号的帧周期中的被光照射的区域与在偶数编号的帧周期中的被光照射的区域可以彼此不同。因此，在奇数编号的帧周期中投影在传感器单元22上的图像的位置与在偶数编号的帧周期中投影在传感器单元22上的图像的位置之间可能会有微小的差异。例如，可以通过从在偶数编号的帧周期中投影在传感器单元22上的图像向上或向下移动多达一个胞元(as much as onecell)投影在奇数编号的帧周期中的投影在传感器单元22上的图像。
[0148]信号处理单元31可以通过将图像信号转换成帧来输出从传感器单元22输出的与帧周期对应的图像信号。
[0149]例如，如在图13中，信号处理单元31可以通过每帧周期Tl和T2将图像信号转换成帧5a和5b来输出图像信号，并且与奇数编号的帧周期Tl和偶数编号的帧周期T2中的每一个同步，以输出奇数编号的帧5a和偶数编号的帧5b。
[0150]信号处理单元31还可以基于通过传感器单元22的每个胞元接收的光与通过第一光源Ila和第二光源Ilb发出的光之间的相位差来计算与每个胞元，S卩，每个像素对应的深度信息。对应于形成帧的每个像素来存储所计算的深度信息。
[0151]去交错器32可以从信号处理单元31接收奇数编号的帧和偶数编号的帧中的每一个，并且合并两个帧以产生一个深度图像。
[0152]如图10所示，通过以行为单位将从信号处理单元31输出的奇数编号的帧和偶数编号的帧交替地插入，去交错器32可以产生与传感器单元22的分辨率相比增加到两倍的分辨率的深度图像。
[0153]图14是示出根据本发明又另一实施例通过深度信息提取装置提取深度信息的方法的流程图。
[0154]参见图14，深度传感器模块10控制第一光源Ila以通过与奇数编号的帧周期同步来发出光(S201)。
[0155]在步骤S201中，从第一光源Ila发出的光的照射区域可以通过第一全息元件13a来控制。
[0156]当从第一光源Ila发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生奇数编号的帧(S202)。
[0157]接下来，深度传感器模块10控制第二光源Ilb以通过与偶数编号的帧周期同步来发出光(S203)。
[0158]在步骤S203中，从第二光源Ilb发出的光可以通过第二全息元件13b从在步骤S201中的照射区域向上或向下移动来发出。
[0159]当从第二光源Ilb发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(S204)。
[0160]当从光源11发出的光从物体反射并入射在传感器单元22上时，传感器单元22以像素为单位产生与光对应的图像信号。此外，信号处理单元31对从传感器单元22输出的图像信号执行信号处理以产生偶数编号的帧(S204)。
[0161]去交错器32通过以形成帧的像素阵列的行为单位将奇数编号的帧和偶数编号的帧合并来产生深度图像(S205)。
[0162]在步骤S106中，去交错器32可以通过顺序地且交替地将奇数编号的帧和偶数编号的帧的像素的行合并来产生深度图像。
[0163]根据本发明的实施例，通过以下方式来产生一个深度图像:使用全息元件调整光源的照射区域，以在奇数编号的帧周期和偶数编号的帧周期之间产生差异，并将通过上述方法获得的奇数编号的帧和偶数编号的帧合并，从而具有改善深度图像分辨率的效果。
[0164]此外，全息元件用以调整光的出射角，从而具有改善光学效率的效果。
[0165]尽管已经参考本发明的示例性实施例描述了本发明，本领域一般技术人员应理解，在不偏离由所附权利要求所描述的本发明的精神和范围的前提下，可以以各种方式对本发明进行修改和改变。
【主权项】
1.一种用于提取深度信息的装置，所述装置包括: 光输出单兀，所述光输出单兀被配置为输出红外(IR)光； 光输入单元，所述光输入单元被配置为被输入从所述光输出单元输出然后从物体反射的光； 光调整单元，所述光调整单元被配置为调整所述光的角度使得包含物体的第一区域被光照射，然后调整所述光的角度使得第二区域被光照射;以及 控制单元，所述控制单元被配置为使用被输入到所述第一区域中的光和被输入到所述第二区域中的光中的至少一者来估计所述物体的运动。2.根据权利要求1所述的装置，其中，所述第一区域是包含所述物体的整个区域，所述第二区域从所述第一区域提取，并且是包含所述物体的预定区域的局部区域。3.根据权利要求2所述的装置，其中，所述控制单元计算光从所述光输出单元输出以在从被所述光照射的所述第二区域反射之后被输入到所述光输入单元中所花的飞行时间。4.根据权利要求3所述的装置，其中，所述控制单元使用通过使用在第一时间点输入的光计算的第一飞行时间、通过使用在所述第一时间点之前输入的光计算的第二飞行时间以及通过使用在第二时间点之后输入的光计算的第三飞行时间来估计在所述第二区域中的运动。5.根据权利要求4所述的装置，其中，所述控制单元使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动，然后使用插值技术对所估计的运动进行补偿。6.根据权利要求3所述的装置，其中，所述光输入单元包括多个像素，所述多个像素各包括第一接收单元和第二接收单元;并且 所述控制单元使用在被输入到所述第一接收单元和所述第二接收单元的光的量之间的差异来计算所述飞行时间。7.根据权利要求1所述的装置，其中，所述光调整单元包括微机电系统(MEMS)和MEMS控制单元。8.根据权利要求1所述的装置，其中，所述控制单元包括: 时间控制单元，所述时间控制单元被配置为控制所述光输出单元、所述光调整单元和所述光输入单元的时间点； 转换单元，所述转换单元被配置为将通过所述光输入单元输入的电信号转换成数字信号；以及 信号处理单元，所述信号处理单元被配置为计算随时间被顺序地输入到所述第二区域中的光束的飞行时间，估计在所述第二区域中的运动，并且提取所述第二区域的深度信息。9.根据权利要求1所述的装置，其中，所述光调整单元包括:全息元件，所述全息元件被布置在所述光输出单元与所述物体之间；以及致动器，所述致动器被配置为驱动所述全息元件。10.根据权利要求1所述的装置，其中: 所述第一区域和所述第二区域是彼此不重叠的区域;并且 所述光调整单元调整所述光的角度，使得被所述光照射的区域在每个帧周期变化。11.一种用于提取深度信息的装置的提取深度信息的方法，所述方法包括: 使用红外(IR)光来照射包含物体的第一区域； 使用IR光来照射第二区域；以及 使用随时间被顺序地输入到所述第一区域和所述第二区域中的至少一者中的光束来估计所述物体的运动。12.根据权利要求11所述的方法，其中，所述估计包括: 计算关于在第一时间点输入的光的第一飞行时间、关于在所述第一时间点之前输入的光的第二飞行时间以及关于在第二时间点之后输入的光的第三飞行时间；以及 使用所述第一飞行时间、所述第二飞行时间与所述第三飞行时间之间的相对差来估计在所述第二区域中的运动。
【文档编号】G01S17/08GK106030239SQ201580006696
【公开日】2016年10月12日
【申请日】2015年1月28日
【发明人】李明煜, 郑星基, 李基锡, 韩庆河, 徐银晟, 李世揆
【申请人】Lg伊诺特有限公司