深度信息提取装置和方法
【专利摘要】根据本发明的一个实施方式的深度信息提取装置包括：投射单元，其不连续地投射预定图案的IR(红外)光；摄像单元，其捕捉图像；以及信号处理单元，其通过使用由摄像单元捕捉的图像来执行深度信息提取和RGB图象信息提取，其中，信号处理单元通过使用在第一时间间隔期间接收的图像来提取深度信息，并且通过使用在第二时间间隔期间接收的图像来提取RGB图像信息。
【专利说明】
深度信息提取装置和方法
技术领域
[0001]本公开内容涉及用于提取深度信息的装置和方法。
【背景技术】
[0002]使用捕捉装置来获取三维图像的技术正在发展。深度信息(深度图)是用于获取三维图像所必需的。深度信息是指示空间距离的信息，并且示出二维图像中的一个点相对于另一个点的透视信息。
[0003]获取深度信息的方法包括使用立体摄像机的方法、飞行时间(TOF)方法、结构光方法等。
[0004]根据使用立体摄像机的方法，可以使用两个摄像机之间的时间差来获取深度信息。根据TOF方法，可以通过测量飞行时间(即从发射光到光被反射所花费的时间)来获取深度信息。根据结构光方法，可以通过将红外(IR)结构光投射到摄像机并且解释从对象反射的光来获取深度?目息。
[0005]同时，随着应用了电视机(TV)的技术的发展，可以将包括深度信息提取功能和视频呼叫功能的模块嵌入至TV中或连接至TV。该模块可以包括:投射IR结构光的投影仪、检测IR结构光的IR摄像机以及RGB摄像机。
[0006]以这种方式，当包括深度信息提取功能和视频呼叫功能的模块包括IR摄像机和RGB摄像机二者时，由于制造成本的增加、尺寸的增大和结构的复杂化，存在将模块嵌入电视机中的难题。
【发明内容】
[0007]【技术问题】
[0008]本公开内容涉及提供用于提取深度信息的装置和方法。
[0009]【技术的解决方案】
[0010]根据本公开内容的实施方式，一种用于提取深度信息的装置包括:投射单元，该投射单元不连续地投射预定图案的IR(红外)光;摄像单元，该摄像单元捕捉图像；以及信号处理单元，该信号处理单元使用由摄像单元捕捉的图像来执行深度信息提取和RGB图像信息提取，其中，信号处理单元使用在第一时间间隔期间接收的图像来提取深度信息，并且使用在第二时间间隔期间接收的图像来提取RGB图像信息。
[0011]投射单元可以周期性地投射IR光。
[0012]第一时间间隔可以对应于其中投射单元投射IR光的时间段。
[0013]第二时间间隔可以对应于其中投射单元不投射IR光的时间段。
[0014]在第一时间间隔期间接收的图像可以包括IR光的图案和RGB图像，并且在第二时间间隔期间接收的图像可以包括RGB图像。
[0015]摄像单元可以是捕捉RGB图像的RGB摄像机。
[0016]用于提取深度信息的装置还可以包括控制单元，该控制单元控制投射单元、摄像单元和信号处理单元，并且该控制单元可以控制投射IR光的时间段。
[0017]控制单元可以根据所需要的深度分辨率和距对象的距离中至少一个来控制投射IR光的时间段。
[0018]根据本公开内容的实施方式，一种用于提取深度信息的装置的提取深度信息的方法包括:不连续地投射预定图案的IR(红外)光;捕捉图像;使用在第一时间间隔期间捕捉的图像来提取深度信息；以及使用在第二时间间隔期间捕捉的图像来提取RGB图像信息。
[0019]第一时间间隔可以对应于其中投射IR光的时间段，而第二时间间隔可以对应于其中不投射IR光的时间段。
[0020]用于提取深度信息的方法还可以包括:使用通过对深度信息的提取而提取的深度信息来调整投射IR光的时间段。
[0021]在调节中，可以将距对象的距离与阈值进行比较，并且时间段被控制成根据比较的结果来缩短或延长。
[0022]【有益效果】
[0023]根据本公开内容的实施方式，使用一个摄像机来执行深度信息提取功能和视频呼叫功能二者，使得可以减少装置的制造成本和尺寸。
【附图说明】
[0024]图1是示出了深度信息提取装置的示例的框图。
[0025]图2示出了RGB摄像机的每个波段的量子效率。
[0026]图3是根据本公开内容的实施方式的深度信息提取装置的框图。
[0027]图4是示出了根据本公开内容的实施方式的深度信息提取装置的深度信息提取方法的流程图。
[0028]图5示出了由根据本公开内容的实施方式的深度信息提取装置的投射单元周期性地投射的IR光的图案。
[0029]图6示出了由根据本公开内容的实施方式的深度信息提取装置的RGB摄像机捕捉的图像。
【具体实施方式】
[0030]由于可以对本公开内容进行各种修改，并且本公开内容可以具有各种实施方式，所以将在附图中图示【具体实施方式】并描述【具体实施方式】。然而，这不是用于将本公开内容限制成具体的实施方式，而是在本公开内容的精神和范围内包括的所有修改、等同物和替代应该被解释为属于本公开内容。
[0031]包括序数词如第一和第二的术语可以用于描述各种元件，但是这些元件并不受这些术语的限制。这些术语仅用于将一个元件与另一个元件进行区分的目的。例如，在不脱离示本公开内容的范围的情况下，第二元件可以被称为第一元件，并且类似地，第一元件也可以被称为第二元件。术语“和/或”包括多个相关联描述的项目的组合或者多个相关联描述的项目中的任何一个项目。
[0032]当提及某个元件“连接”或“链接”至另一元件时，尽管该某个元件可以直接连接或链接至该另一元件，但是应该理解的是，这两个元件之间可以存在另一元件。另一方面，当提及某个元件“直接连接”或“直接链接”至另一元件时，应该理解的是，这两个元件之间不存在另一元件。
[0033]本申请中所使用的术语仅用于描述特定实施方式，而并非意在限制本公开内容。除非上下文另有明确说明，否则单数形式的表达包括复数形式的表达。在本申请中，术语如“包括”或“具有”用于表明特征、数目、步骤、操作、元件、部件或其组合的存在，而不应解释为排除一个或更多个其他特征、数目、步骤、操作、元件、部件或其组合的存在或增加的可能性。
[0034]除非另有定义，否则本文中使用的所有术语(包括技术或科学术语)具有与本公开内容所属领域的普通技术人员通常理解的含义相同的含义。例如，常用字典中定义的术语应当被解释为具有与在相关领域的上下文中的含义一致的含义，并且除非在本文中明确定义，否则将不会理想化或过于正式地来进行解释。
[0035]在下文中，将参照附图详细描述实施方式，同时将同样的附图标记给予相同或相应的元件，尽管在附图和其重复描述中将省略这些标记。
[0036]图1是示出了深度信息提取装置的示例的框图。
[0037]参照图1，深度信息提取装置100包括投射单元110、IR摄像机120、RGB摄像机130、信号处理单元140和控制单元150。
[0038]投射单元110将预定图案的IR光投射至被捕捉的对象。
[0039]IR摄像机120捕捉从投射单元110投射并且从对象反射的光。此外，RGB摄像机130捕捉RGB图像。
[0040]信号处理单元140使用由IR摄像机120捕捉的图像来提取深度信息，并且使用由RGB摄像机130捕捉的图像来提取RGB图像信息。控制单元150控制深度信息提取装置100的整体操作。
[0041]以这种方式，当深度信息提取装置100分别包括IR摄像机120和RGB摄像机130时，由于深度信息提取装置100的制造成本和其尺寸的增加，存在将深度信息提取装置100嵌入电视机(TV)中的难题。
[0042]同时，如图2所示，可以确认的是，虽然普通RGB摄像机在400nm至700nm的可见光频带中的量子效率为30 %或更高，但是普通RGB摄像机在800nm至850nm的IR频带中的量子效率也是20%或更高。以这种方式，即使普通RGB摄像机主要检测可见光的波段，但是也可以检测到近IR光的波段。因此，根据本公开内容的实施方式，RGB摄像机还用于执行深度信息提取功能。
[0043]图3是根据本公开内容的实施方式的深度信息提取装置的框图。
[0044]参照图3，深度信息提取装置300包括:投射单元310、RGB摄像机320、信号处理单元330和控制单元340。
[0045]投射单元310不连续地投射预定图案的光。即，投射单元310可以重复投射光的处理达预定量的时间，并且然后不投射光达预定量的时间。此处，预定图案的光可以是SOOnm或更高波段的IR光。为此，投射单元310可以包括投射IR光的至少一个激光二极管(LD)或发光二极管(LED)。投射单元310可以例如是激光投影仪。
[0046]RGB摄像机320捕捉图像。虽然RGB摄像机320主要捕捉RGB图像，但是RGB摄像机320还可以检测从投射单元310投射并且由对象反射的IR光。在RGB摄像机320仅捕捉RGB图像期间的时间间隔以及在RGB摄像机320连同RGB图像一起还检测IR光期间的时间间隔可以取决于其中由投射单元310投射IR图案的时间段。即，在RGB摄像机320连同RGB图像一起还检测IR光期间的时间间隔可以对应于在投射单元310投射IR图案期间的时间间隔。例如，当RGB摄像机320以1280 X 1024的分辨率发送出60fps的输出时，对于RGB图像可以使用具有1280X 1024的分辨率的30fps的输出，而其余的具有1280X1024的分辨率的30fps的输出可以用于检测RGB图像和IR光。
[0047]信号处理单元330使用由RGB摄像机320捕捉的图像来提取深度信息和RGB图像信息。当由RGB摄像机320捕捉的图像仅包括RGB图像时，信号处理单元330可以从该图像中提取RGB图像信息。此外，当由RGB摄像机320捕捉的图像连同RGB图像一起包括IR光时，信号处理单元330可以从该图像中提取深度信息。为此，信号处理单元330可以提前识别其中投射单元310投射IR光的时间段。
[0048]控制单元340控制投射单元310、RGB摄像机320和信号处理单元330的全部的操作。具体地，控制单元340可以控制其中投射单元310投射IR光的时间段。此外，控制单元340可以将关于其中投射单元310投射IR光的时间段的信息发送至信号处理单元330。例如，当由信号处理单元330提取的深度信息的深度分辨率为预定水平或更低时，控制单元340可以控制投射单元310以较短的时间段来投射IR光。作为由信号处理单元330首先提取深度信息的结果，当对象与RGB摄像机120之间的平均距离或者对象的特定区域与RGB摄像机120之间的距离为预定水平或更大时，控制单元还可以控制投射单元310以较短的时间段来投射IR光。
[0049]下面详细描述用于由根据本公开内容的实施方式的深度信息提取装置300提取深度信息的方法。
[0050]图4是示出了根据本公开内容的实施方式的深度信息提取装置的深度信息提取方法的流程图。图5示出了由根据本公开内容的实施方式的深度信息提取装置的投射单元周期性地投射的IR光的图案，以及图6示出了由根据本公开内容的实施方式的深度信息提取装置的RGB摄像机捕捉的图像。
[0051]参照图4，深度信息提取装置300的投射单元310不连续地投射预定图案的IR光(S400)。此处，预定图案的光可以是具有800nm或更高波长的IR光。预定图案可以指结构光的图案。如图5所示，投射单元310可以被设置成仅在“开启”时间段期间投射预定图案的IR光，而在“关闭”时间段期间不进行投射。
[0052]RGB摄像机120捕捉图像(S410)。即使RGB摄像机120主要捕捉RGB图像，但是近IR光的波段的IR光也可以被检测到。例如，如图6所示，RGB摄像机320可以在“关闭”时间段期间仅捕捉RGB图像，但是在“开启”时间段期间连同RGB图像一起还捕捉IR光。
[0053]信号处理单元330使用由投射单元310在“开启”时间段期间捕捉的图像(S420)来提取深度信息(S430)。由RGB摄像机320捕捉的图像的IR光是从对象反射的光。这与由投射单元310投射的光的图案不同。信号处理单元330可以将由投射单元310投射的IR光的图案与由RGB摄像机320捕捉的IR光的图案进行比较，以提取深度信息。可以通过使用IR结构光方法的各种深度信息提取算法来提取深度信息。虽然示出了信号处理单元330被包括在深度信息提取装置300中，但是信号处理单元330也可以被设置在深度信息提取装置300的外部。即，外部的信号处理单元330可以通过有线或无线通信从捕捉单元320接收信息。
[0054]此外，信号处理单元320使用在“关闭”时间段期间由投射单元310捕捉的图像来提取RGB图像信息(S440)。
[0055]同时，控制单元340可以控制其中投射单元310投射IR光的时间段。例如，作为在步骤S430中由信号处理单元330提取深度信息的结果，当距对象的距离大于阈值(S450)时，控制单元340可以调节其中投射单元310投射IR光的时间段(S460)。即，在距对象的距离较大的情况下，可能需要较大量的IR光来提取深度信息。因此，控制单元340可以将投射IR光的时间段调节得更短。可替代地，当距对象的距离在阈值内或者由于低照度造成的RGB图像的品质不高时，控制单元340还可以将投射IR光的时间段调节得更长。
[0056]尽管已参照本公开内容的示例性实施方式描述了本公开内容，但是本领域普通技术人员应该理解，在不脱离所附权利要求中描述的本公开内容的精神和领域的范围的情况下，可以以各种方式对本公开内容进行修改和改变。
【主权项】
1.一种用于提取深度信息的装置，所述装置包括: 投射单元，其被配置成不连续地投射预定图案的IR(红外)光； 摄像单元，其被配置成捕捉图像；以及 信号处理单元，其被配置成使用由所述摄像单元捕捉的图像来执行深度信息提取和RGB图像彳g息提取， 其中，所述信号处理单元使用在第一时间间隔期间接收的图像来提取深度信息，并且使用在第二时间间隔期间接收的图像来提取RGB图像信息。2.根据权利要求1所述的装置，其中，所述投射单元周期性地投射所述IR光。3.根据权利要求1所述的装置，其中，所述第一时间间隔对应于所述投射单元投射所述IR光的时间段。4.根据权利要求3所述的装置，其中，所述第二时间间隔对应于所述投射单元不投射所述IR光的时间段。5.根据权利要求1所述的装置，其中，在所述第一时间间隔期间接收的图像包括所述IR光的图案和RGB图像，以及在所述第二时间间隔期间接收的图像包括RGB图像。6.根据权利要求1所述的装置，进一步包括: 控制单元，其被配置成控制所述投射单元、所述摄像单元和所述信号处理单元， 其中，所述控制单元控制投射所述IR光的时间段。7.根据权利要求6所述的装置，其中，所述控制单元根据所需要的深度分辨率和距对象的距离中的至少一个来控制投射所述IR光的时间段。8.—种用于提取深度信息的装置的提取深度信息的方法，所述方法包括: 不连续地投射预定图案的IR(红外)光； 捕捉图像； 使用在第一时间间隔期间捕捉的图像来提取深度信息；以及 使用在第二时间间隔期间捕捉的图像来提取RGB图像信息。9.根据权利要求8所述的方法，其中，所述IR光在投射过程中被周期性投射。10.根据权利要求9所述的方法，其中，所述第一时间间隔对应于投射所述IR光的时间段，而所述第二时间间隔对应于不投射所述IR光的时间段。11.根据权利要求9所述的方法，进一步包括:使用通过提取所述深度信息而提取的所述深度信息来调整投射所述IR光的时间段。12.根据权利要求11所述的方法，其中，在调节过程中将距对象的距离与阈值进行比较，并且所述时间段被控制成根据比较的结果来缩短或延长。
【文档编号】G01B11/22GK105940675SQ201580006363
【公开日】2016年9月14日
【申请日】2015年1月28日
【发明人】李明煜, 李基锡, 郑星基
【申请人】Lg伊诺特有限公司