图像处理装置和图像处理方法
【专利摘要】本发明提出了一种图像处理装置和图像处理方法，其能够获得图案照射红外线图像以及无图案照射红外线图像，以通过控制红外线图案照射定时来获得更准确的深度信息。[解决方案]本发明提供了一种图像处理装置，其包括：图案照射单元，所述图案照射单元将红外线图案照射到目标物体的表面上；以及红外线图像捕捉单元，所述红外线图像捕捉单元捕捉红外线图像。所述图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射。所述红外线图像捕捉单元获得：图案投影红外线图像，在所述图案投影红外线图像中，将由所述图案照射单元照射的所述图案投影到所述目标物体上；以及无图案红外线图像，在所述无图案红外线图像中，未将所述图案投影到所述目标物体上。
【专利说明】
图像处理装置和图像处理方法
技术领域
[0001]本公开涉及一种图像处理装置和图像处理方法。
【背景技术】
[0002]近年来，作为生成物体的三维图像的方法，比如专利文献I中所公开的系统，发出红外(IR)线并且获得物体的深度信息从而生成三维图像的系统已经得到广泛认可。
[0003]具体地，利用人眼不可见的红外线的特点，该系统通过使用红外线将图案照射到物体的表面上并且利用红外线摄像机捕捉图像，从而基于捕捉到的图像更详细地并且更准确地获得物体的表面形状。
[0004]引用列表
[0005]专利文献
[0006]专利文献1:JP2008-537190 A
【发明内容】
[0007]技术问题
[0008]然而，存在如下问题:将红外线图案照射到物体上可能会引起信息损失，诸如，物体的轮廓以及在物体的表面上的图案(它们是物体最初具有的特征)，并且，取决于条件，可能无法获得准确的物体形状。
[0009]虽然也存在另外使用用于捕捉纹理的可见光摄像机的系统，但是在该情况下，除了用于检测深度的红外线摄像机之外，还需要其它类型的摄像机，并且出现了系统成本增加的问题。此外，出现了如下问题:由于用于准确地匹配由多种类型的摄像机捕捉到的捕捉图像的位置的信号处理的增加，系统变得非常大。
[0010]此外，存在如下问题:如果由投影仪投影的可见光图像与物体重叠，那么即使利用可见光摄像机，也无法获得准确的物体形状。
[0011]因此，本公开提出了一种图像处理装置和图像处理方法，其能够获得图案照射红外线图像以及无图案照射红外线图像，以通过控制红外线图案照射定时来获得更准确的深度信息。
[0012]问题的解决方案
[0013]根据本公开，提供了一种图像处理装置，其包括:图案照射单元，该图案照射单元将红外线图案照射到目标物体的表面上；以及红外线图像捕捉单元，该红外线图像捕捉单元捕捉红外线图像。图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射。红外线图像捕捉单元获得:图案投影红外线图像，在该图案投影红外线图像中，将由图案照射单元照射的图案投影到目标物体上；以及无图案红外线图像，在该无图案红外线图像中，未将图案投影到目标物体上。
[0014]根据本公开，提供了一种图像处理方法，其包括:通过图案照射单元将红外线图案照射到目标物体的表面上；以及通过红外线图像捕捉单元捕捉红外线图像。图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射。红外线图像捕捉单元获得:图案投影红外线图像，在该图案投影红外线图像中，将由图案照射单元照射的图案投影到目标物体上；以及无图案红外线图像，在该无图案红外线图像中，未将图案投影到目标物体上。
[0015]效果
[0016]如上面所描述的，根据本公开，通过控制照射红外线图案的定时，可以获得图案照射红外线图像和无图案照射红外线图像，以获得更准确的深度信息。
[0017]此外，上述效果并不一定是限制性的，连同这些效果或者替代这些效果，可以展示出期望被引入本说明书的任何效果或者可以从本说明书中期望的其它效果。
【附图说明】
[0018]图1是示出了根据第一实施例的图像处理装置的配置的框图。
[0019]图2是示出了根据第一实施例的IR随机图案照射单元的结构的示意图。
[0020]图3是用于图示根据第一实施例的通过立体图像匹配单元进行的块匹配方法的示意图。
[0021]图4示出了根据第一实施例的通过切掉从定时控制单元输出的脉冲波形的部分而获得的示意图。
[0022]图5是用于图示通过使用单目IR摄像机来检测深度信息的情况的示意图。
[0023]图6是示出了根据第二实施例的图像处理装置的配置的框图。
[0024]图7示出了根据第二实施例的通过切掉从定时控制单元输出的脉冲波形的部分而获得的示意图。
[0025]图8是示出了根据第三实施例的图像处理装置的配置的框图。
[0026]图9是示出了计算量减少的情况和计算量未减少的情况的深度图像的示例的示意图。
[0027]图10是根据第三实施例的用于图示高分辨率深度图像的生成的示意图。
【具体实施方式】
[0028]在下文中，将参照附图来详细描述本公开的实施例。在本说明书和附图中，使用相同的附图标记来表示具有大体上相同的功能和结构的元件，从而省略了重复描述。
[0029]另外，将按照以下顺序进行描述。
[0030]1、根据第一实施例的图像处理装置_] 卜1、配置
[0032]1-2、操作
[0033]1-3、补充
[0034]1-4、效果
[0035]2、根据第二实施例的图像处理装置
[0036]2-1、配置
[0037]2-2、操作
[0038]2-3、效果
[0039]3、根据第三实施例的图像处理
[0040]3-1、配置
[0041]3-2、操作
[0042]3-3、效果
[0043]4、概述
[0044]《1、根据第一实施例的图像处理装置》
[0045]〈1-1、配置〉
[0046]首先，下面将参照图1来描述根据本公开的第一实施例的图像处理装置10-1的配置。图1是示出了根据第一实施例的图像处理装置10-1的配置的框图。
[0047]如图1所示，根据本实施例的图像处理装置10-1具有定时控制单元101、IR立体摄像机102、IR随机图案照射单元103、IR照射单元104、随机图案LR图像存储单元105、IR图像存储单元106、立体图像匹配单元107、深度图像存储单元108、图像识别单元109、以及识别结果存储单兀110。
[0048](定时控制单元)
[0049]定时控制单元101由控制电路组成，该控制电路将脉冲输出至IR立体摄像机102、IR随机图案照射单元103和IR照射单元104。定时控制单元101控制IR随机图案照射单元103和IR照射单元104来在，例如，IR立体摄像机102捕捉图像的定时处交替地进行照射，从而能够交替地捕捉图案照射图像和无图案照射图像。稍后将参照图4来描述通过定时控制单元1I进行的图像捕捉和照射定时的具体操作控制。
[0050](IR立体摄像机)
[0051]IR立体摄像机102是红外线图像捕捉单元的示例，该红外线图像捕捉单元由能够仅仅捕捉IR(红外线)区域的两个摄像机组成。具体地，IR立体摄像机102可以捕捉仅仅IR区域的图像，例如，通过安装可见光截止滤光器。另外，按照生成足够视差的间隔来定位组成IR立体摄像机1 2的两个摄像机。在这两个摄像机中，因为在来自定时控制单元1I的IR立体摄像机控制脉冲201(参见图4)的上升边沿释放快门(捕捉图像)，所以在两个摄像机之间的图像捕捉中未发生时滞。
[0052](IR随机图案照射单元)
[0053]IR随机图案照射单元103是将红外线(IR)图案照射到目标物体的表面上的图案照射单元的示例，并且其照射IR随机图案。此处，图2示出了根据第一实施例的IR随机图案照射单元103的结构。
[0054]如图2所述，IR随机图案照射单元103具有光发射控制单元301、IR光源302、IR随机图案掩模303、以及投影透镜304。
[0055]光发射控制单元301根据从定时控制单元101输入的IR随机图案照射单元控制脉冲(参见图4)的上升，通过使电流流至IR光源302—段时间来控制光发射。在本实施例中，光发射控制单元301在IR随机图案照射单元控制脉冲202为高的同时使恒定电流流动。
[0056]例如，IR光源302是红外线发射单元并且利用红外线LED(发光二极管)来实现。当光发射控制单元301使电流流动时，IR光源302照射红外线波长(例如，大约850nm的波长)。从IR光源302照射的红外线穿过随机图案掩模303。
[0057]例如，利用已经经过通过电铸而进行的微小的并且随机的钻孔处理的金属网板来实现随机图案掩模303。例如，通过随机地对点进行定位并且然后将这些点作为生成器来生成Voronoi图，来实现随机网。虽然，另外，也可以例如通过在薄膜上打印随机图案或者点或者在玻璃上使用蚀刻来投影微小随机图案，但是，通过使用通过电铸而进行的微小钻孔处理，红外线能够穿过随机图案而不减弱。
[0058]投影透镜304使由穿过随机图案掩模303的红外线形成的IR随机图案310投影到目标物体上。虽然，在图2所示的示例中，为了简单起见，将投影透镜304示出为单个透镜，但是根据既定用途(诸如，必要的视角和聚焦距离)，投影透镜实际上可以由多个凹透镜和凸透镜组成。
[0059](IR照射单元)
[0060]IR照射单元具有发出无图案红外线的功能。因为IR照射单元104的具体结构是通过从图2所示的IR随机图案照射单元103移除随机图案掩模303而获得的，并且除了该部件之外的部件都相同，所以此处将省略对其的描述。在配置中包括进IR照射单元104提供了可以获得更明亮的IR图像的效果。
[0061]IR照射单元104并不是根据本实施例的图像处理装置10-1中的必要部件，并且，如果存在适度地包括红外线的环境光(诸如，灯泡)，那么可以省略该IR照射单元104。另外，因为IR照射单元104不需要照射IR随机图案310，所以，如果存在可以均匀发出红外线的环境(诸如，当在目标物体(对象)与IR照射单元104之间的距离足够近时)，那么也可以省略光学透镜(诸如，投影透镜304)。
[0062](随机图案LR图像存储单元)
[0063]当IR随机图案照射单元103投影IR随机图案310时，随机图案LR图像存储单元105存储由IR立体摄像机102捕捉到的两个IR随机图案照射图像(L图像和R图像)，该IR立体摄像机102由两个红外线摄像机(左摄像机、右摄像机)组成。
[0064](立体图像匹配单元)
[0065]立体图像匹配单元107是通过使用在随机图案LR图像存储单元105中存储的LR图像来生成具有深度信息的深度图像的深度计算单元。虽然可以使用各种传统所熟知的技术作为生成深度图像的方法，但是此处使用块匹配方法作为示例。在下文中，将参照图3来详细描述该方法。
[0066]图3是用于图示了根据第一实施例的通过立体图像匹配单元107进行的块匹配方法的示意图。在图3所示的示例中，针对每个块，匹配由组成IR立体摄像机102的右侧摄像机捕捉到的随机图案R图像701和由左侧摄像机捕捉到的随机图案L图像702。
[0067]具体地，当按照每8X8的块进行图像匹配时，从L图像702搜索在由右摄像机捕捉至IJ的R图像701中以目标像素704为中心靠近8 X 8像素的块705的块，从而获得视差。更加具体地，立体图像匹配单元107为在L图像702中的搜索范围706中的所有水平像素中的每个像素，在随机图案R图像中的8 X 8的块705与在随机图案L图像中的8 X 8的块707像素之间进行图像比较。例如，当搜索范围706具有64个像素时，为作为输入图像的R图像701的每个像素进行64次块图像匹配，并且为作为输入图像的R图像701的所有像素进行此操作。
[0068]由此，当立体图像匹配单元107以每个块为基础进行右图像和左图像的匹配时，SP使是表面无特征(平坦无图案)的目标物体，诸如，例如，到目前为止还尚未经过匹配的白盒，也可以通过使用IR随机图案照射图像来准确地进行匹配。
[0069]进一步地，对组成IR立体摄像机102的右摄像机和左摄像机进行固定，进而固定摄像机之间的距离(基线长度)。因此，可以基于通过块匹配而获得的视差以及基线长度来获得深度。
[0070]通过对所有像素进行上述匹配处理，可以获得整个画面的深度图像。
[0071](深度图像存储单元)
[0072]深度图像存储单元108存储由立体图像匹配单元107获得的深度图像。
[0073](IR图像存储单元)
[0074]当IR照射单元104进行照射时，IR图像存储单元106存储由IR立体摄像机102捕捉至IJ的IR图像(无图案照射图像)。此处，在IR图像存储单元106中存储的IR图像可以是由组成IR立体摄像机102的左摄像机或者右摄像机捕捉到的图像。具体地，仅仅可以使用由左摄像机捕捉到的L图像或者仅仅可以使用由右摄像机捕捉到的R图像，或者可替代地，可以根据用途来存储和使用由两个摄像机捕捉到的LR图像。
[0075](图像识别单元)
[0076]图像识别单元109基于在IR图像存储单元106中存储的IR图像(无图案红外线图像)来进行传统所熟知的图像识别处理(例如，利用差分滤波器的边沿检测处理)，包括:识别目标物体的轮廓和进行字符识别。
[0077]具体地，在比如组成字符的线是重要信息的字符识别等图像处理的情况下，如果使用了在随机图案LR图像存储单元105中存储的、在其上投影有随机图案的图像，那么随机图案使得在该字符上生成意外的阴影，从而导致识别率下降。另外，如果使用了随机图案照射图像，那么在边沿检测处理(诸如，差分滤波)中不仅检测到对象的轮廓，还检测到随机图案的轮廓，并且无法准确地获得对象的轮廓。因此，图像识别单元109使用在IR图像存储单元106中存储的、在其上未照射有随机图案的IR图像，从而准确地识别出写在目标物体的表面上的字符(诸如，书名)以及目标物体的轮廓。
[0078]进一步地，当在物体的轮廓是识别目标物体的形状的重要信息的图像处理中使用可见光摄像机时，其可以使轮廓的识别率下降。例如，如果将可见光图像从投影仪投影到桌子等上，并且用户进行针对投影到桌子上的图像而手动输入的操作，那么将手的位置、手的形状、以及手形状的变化等用作操作输入信息。在这种情况下，如果使用了可见光摄像机，那么在作为目标物体的手的表面上反射出投影图像，并且因此，手的形状和轮廓的识别率下降。因此，根据本实施例的图像识别单元109使用由利用红外线摄像机实现的IR立体摄像机102捕捉的IR图像，从而准确地识别手的形状和轮廓，而不受在手表面上反射出的投影可见光图像的影响。
[0079](识别结果存储单元)
[0080]识别结果存储单元110存储在图像识别单元109中识别到的结果。
[0081]具有上述配置的图像处理装置10-1可以识别并且输出目标物体(对象)的三维形状(深度图像)、写在目标物体的表面上的字符、以及目标物体的轮廓。接下来，将参照图4来具体描述通过定时控制单元101进行的图像捕捉和照射定时的操作控制。
[0082]〈1-2、操作〉
[0083]图4是通过切掉从定时控制单元101输出的脉冲波形的部分而获得的示意图。如图4所示，控制脉冲201是发送至IR立体摄像机102的控制脉冲，并且IR立体摄像机102设计为在该脉冲的上升边沿处释放快门(捕捉图像)。
[0084]另外，控制脉冲202和203是分别发送至IR随机图案照射单元103和IR照射单元104的控制脉冲，并且照射单元设计为在这些脉冲的上升边沿处接通IR光源一段时间。IR随机图案照射单元103和IR照射单元104的控制定时设置为在IR立体摄像机控制脉冲201的半周期内交替地引起光发射，如图4所示。具体地，随机图案照射单元103在IR立体摄像机控制脉冲201的奇数定时或者偶数定时(IR立体摄像机102捕捉图像的定时)处进行照射(发射光)，并且IR照射单元104在与随机图案照射单元103进行光发射的定时不同的定时处发射光。
[0085]这样，IR立体摄像机102可以及时交替地获得其上照射有随机图案的目标物体的图像(图案投影红外线图像)以及其上未照射有任何图案的IR的目标物体的图像。
[0086]IR随机图案照射单元103和IR照射单元104的照射控制定时并不限于图4所示的示例。根据用途，也可以在与IR立体摄像机102(IR立体摄像机控制脉冲201)进行图像捕捉的定时对应的预定定时处输出这些照射控制定时。例如，如果期望更准确地识别出快速移动的目标物体(例如，手)的形状，那么使随机图案照射单元103进行的照射的定时的数量增加，并且使IR照射单元在与随机图案照射单元103进行照射的定时不同的定时处进行照射。具体地，将控制脉冲输出至随机图案照射单元103，该控制脉冲使随机图案照射单元103按照预定间隔(诸如，连续进行多次照射，并且然后保持一次暂停的间隔)进行照射，并且将控制脉冲输出至IR照射单元104，在随机图案照射单元103进行多次照射之后，该控制脉冲使IR照射单元104进行一次照射。
[0087]在任何情况下，定时控制单元101都可以使IR立体摄像机102能够及时在不同的定时处获得其上照射有随机图案的目标物体的图像(图案投影红外线图像)以及其上进行了无图案IR照射的目标物体的图像(无图案红外线图像)。
[0088]在获得图像之后，如上面所描述的，当图像识别单元109进行图像处理(诸如，字符识别)时，立体图像匹配单元107生成深度图像。
[0089]〈1-3、补充〉
[0090]接下来，将对本实施例做出补充阐释。虽然在上述实施例中通过使用IR立体摄像机102来检测深度信息，但是本实施例并不限于此，并且也可以通过使用单目IR摄像机来检测深度信息。
[0091 ]在这种情况下，图像处理装置10-1提前存储用于IR照射的随机图案并且在存储的随机图案与由一个IR摄像机捕捉到的图像之间进行块匹配，从而计算深度。在下文中，将参照图5进行描述。
[0092]图5是用于图示通过使用单目IR摄像机112来检测深度信息的情况的示意图。图5所示的单目IR摄像机112与IR随机图案照射单元103之间的距离d是已知的。
[0093]图像处理单元10-1基于在由IR摄像机112捕捉到的图像上的经过匹配的随机图案的坐标值，并且具体地，基于在目标物体S上反射出的随机图案的坐标位置，通过使用已知距离d，来计算深度。更加具体地，图像处理装置10-1估计图案的坐标位置，如果目标物体S不存在，那么在墙表面上反射出该图案，并且根据在估计的坐标位置与在目标物体S上反射出的随机图案的坐标位置之间的视差来检测深度信息。
[0094]〈1-4、效果〉
[0095]如上面所描述的，利用第一实施例，即使物体在其表面上无特征，也可以通过将红外线随机图案照射到物体上来获得准确的深度信息。进一步地，通过获得其上未照射有随机图案的红外线图像，也可以精确地进行图像处理，该图像处理不要求随机图案或者在准确度方面受随机图案的影响。
[0096]进一步地，因为按照分时方式使用摄像机来获得深度并且处理图像，所以不需要调整两个摄像机的位置，并且可以容易地匹配两个产生的位置。
[0097]进一步地，通过交替地接通IR随机图案照射单元103和IR照射单元104以与快门定时(图像捕捉的定时)同步，延长了照射单元的光发射间隔，并且可以减小光发射占空比。然后，由于可以减小光发射占空比，所以可以增加一词流动的电流量并且可以提供更明亮的光发射。这样，可以获得对在图像捕捉之后的图像处理有效的效果，诸如，能够使快门速度增加或者使增益减小以抑制噪音。
[0098]《2、根据第二实施例的图像处理装置》
[0099]接下来，将参照图6和图7来描述根据第二实施例的图像处理装置10-2。
[0100]〈2-1、配置〉
[0101]图6是示出了根据第二实施例的图像处理装置10-2的配置的框图。如图6所示，图像处理装置10-2具有定时控制单元401、IR立体摄像机402、IR摄像机403、IR随机图案照射单元404、IR照射单元405、随机图案LR图像存储单元105、IR图像存储单元106a、立体图像匹配单元107、深度图像存储单元108、图像识别单元109、以及识别结果存储单元110。
[0102]因为随机图案LR图像存储单元105、立体图像匹配单元107、深度图像存储单元108、图像识别单元109、以及识别结果存储单元110与参照图1描述的在第一实施例中的这些单元相似，所以此处将省略对它们的描述。
[0103](定时控制单元)
[0104]定时控制单元401由控制电路组成，该控制电路将脉冲输出至IR立体摄像机402、IR摄像机403、IR随机图案照射单元404、以及IR照射单元405。稍后将参照图7来描述通过定时控制单元401而进行的图像捕捉和照射定时的控制。
[0105](IR随机图案照射单元)
[0106]虽然IR随机图案照射单元404的结构与参照图2所描述的第一实施例的IR随机图案照射单元103相似，但是其与IR随机图案照射单元103的不同之处在于:选择光源以使IR光源302的波长变成，例如，850nmo
[0107](IR照射单元)
[0108]虽然IR照射单元405的结构也与根据第一实施例的IR照射单元104相似，但其与IR照射单元104的不同之处在于:选择光源以使IR光源的波长变成，例如，750nm。
[0109](IR立体摄像机)
[0110]IR立体摄像机402具有带通滤波器、低通滤波器或者允许例如在IR(红外线)区域中的大约850nm的波长穿过的高通滤波器，并且IR立体摄像机402具有结构，在该结构中，具有除了850nm之外的光具有降低的密度并且不容易被暴露。这样，IR立体摄像机402可以捕捉其上叠加有从IR随机图案照射单元404照射的随机图案的目标物体的图像。
[0111](IR 摄像机)
[0112]IR摄像机403具有带通滤波器、低通滤波器或者允许例如在IR(红外线)区域中的大约750nm的波长穿过的高通滤波器，并且IR摄像机403具有结构，在该结构中，具有除了750nm之外的光具有降低的密度并且不容易被暴露。这样，因为IR摄像机403切断了从随机图案照射单元404照射的波长，所以可以捕捉(无图案)图像，在该图像中，未将随机图案叠加在对象上。
[0113]可以利用至少一个红外线摄像机来实现IR摄像机403。
[ΟΙ14] (IR图像存储单元)
[0115]IR图像存储单元106a存储由利用至少一个红外线摄像机实现的IR摄像机403捕捉到的一个图像。
[0116]具有上述配置的图像处理装置10-2可以识别和输出目标物体(对象)的三维形状(深度图像)、写在目标物体的表面上的字符以及目标物体的轮廓，如同第一实施例。
[0117]〈2-2、操作〉
[0118]接下来，将参照图7来详细描述通过定时控制单元401而进行的图像捕捉和照射定时的操作控制。
[0119]图7是通过切掉从定时控制单元401输出的脉冲波形中的部分而获得的示意图。如图7中的定时波形所示，输入至块的控制脉冲501至504是同步脉冲。
[0120]IR立体摄像机402和IR摄像机403设计为在同步脉冲的上升边沿处释放它们的快门。另外，IR立体摄像机402和IR摄像机403设计为在同步脉冲的上升边沿处打开IR光源一段时间。
[0121]换言之，根据本实施例的定时控制单元401将IR立体摄像机402和IR摄像机403进行图像捕捉的定时以及IR随机图案照射单元404和IR照射单元405进行照射的定时控制为相同的定时。
[0122]即使IR立体摄像机402在通过IR随机图案照射单元404照射随机图案的定时处捕捉图像，IR摄像机403也具有用于切断如上所描述的随机图案的照射波长的滤波器，并且因此，可以捕捉(无图案)图像，在该图像中，未将随机图案叠加在对象上。这样，可以获得具有图案的红外线图像以及无图案红外线图像，但不生成时滞。
[0123]在获得图像之后，如同第一实施例，当图像识别单元109进行图像处理(诸如，字符识别)时，立体图像匹配单元107生成深度图像。
[0124]〈2-3、效果〉
[0125]由于具有上述配置的第二实施例，如同第一实施例，可以获得如下效果:计算物体在其表面无特征，也可以获得准确的深度信息，并且可以准确地进行根据准确性等的不需要随机图案或者受到随机图案的影响的图像处理。
[0126]进一步地，在第二实施例中，不像第一实施例，按照预定波长照射IR随机图案，并且捕捉图像，从而使安装有预定波长穿过的光学滤波器的IR立体摄像机402与安装有切断预定波长的光学滤波器的IR摄像机403同步。这产生了如下效果:在没有在其上投影有随机图案的图像与其上未投影有随机图案的图像之间产生时滞的情况下，两个图像处理结果更加容易同步和相关联。
[0127]《3、根据第三实施例的图像处理装置》
[0128]接下来，将参照图8至图10来描述根据第三实施例的图像处理装置10-3。由于本实施例，可以减轻通过根据上述实施例的立体图像匹配单元107而进行的计算处理的负载并且也生成高分辨率深度图像。
[0129]〈3-1、配置〉
[0130]图8是示出了根据第三实施例的图像处理装置10-3的配置的框图。如图8所示，图像处理装置10-3具有定时控制单元101、IR立体摄像机102、IR随机图案照射单元103、IR照射单元104、随机图案LR图像存储单元105、IR图像存储单元106、立体图像匹配单元107a、深度图像存储单元108a、图像识别单元109、识别结果存储单元110、高分辨率深度计算单元609、以及高分辨率深度图像存储单元610。
[0131 ]因为定时控制单元101、IR立体摄像机102、IR随机图案照射单元103、IR照射单元104、随机图案LR图像存储单元105、IR图像存储单元106、图像识别单元109、以及识别结果存储单元110与参照图1描述的第一实施例中的这些单元相似，所以此处将省略对它们的描述。
[0132](立体图像匹配单元)
[0133]立体图像匹配单元107a基于其上投影有随机图案的在随机图案LR图像存储单元105中存储的目标物体的LR图像来生成深度图像。此处，虽然生成深度图像的各种方法是可能的，但是如果使用了已经参照图3而描述的块匹配方法，那么对作为输入图像的R图像701中的所有像素进行匹配，并且存在计算量非常大的问题。因此，如果这种计算处理由软件实现，那么无法对齐进行实时处理，并且如果其由专用软件(诸如，LSI(大规模集成))实现，那么增加电路的规模，从而导致LSI的成本增加。
[0134]鉴于此，为了减小块匹配中的计算量，可以执行减小作为输入图像的R图像701和L图像702的大小的方法、以及减小匹配次数的方法，从而通过对每两个像素或者四个像素，但是并不是R图像701中的所有像素进行水平匹配和垂直匹配来使匹配次数下降。然而，虽然这些方法对减小计算量有很好的效果，但是它们具有使获得的深度信息的分辨率降低的问题。在下文中，图9示出了根据计算量的深度图像的示例。在图9所示的深度图像801、802a和803b中，图像中的较深的颜色指示离摄像机远，然而，较浅的颜色指示离摄像机近。
[0135]图9是示出了在计算量未减少时和在计算量减少时获得的深度图像的示例的示意图。如图9所示，在计算量未减少时获得的(高分辨率)深度图像801中，如果捕捉到手作为目标物体，那么甚至可以识别出手指的形状。
[0136]另一方面，在捕捉到作为相同目标物体的手的图像并且计算量减小时获得的(低分辨率)深度图像802a中，无法识别出手指的形状。深度图像802a是在减小作为输入图像的R图像701和L图像702的大小的方法用作减小计算量的方法时生成的低分辨率深度图像。进一步地，在图9所示的示例中，也示出了通过放大深度图像802a而获得的深度图像802b，以与深度图像801进行比较。
[0137]由此，当计算量减小时，无法识别出目标物体的形状，并且因此，当手指的形状是重要信息时，其变得特别不确定。因此，在本实施例中，下述高分辨率深度计算单元609使IR图像的轮廓图像与低分辨率深度图像同步，从而生成高分辨率深度图像。
[0138](深度图像存储单元)
[0139]深度图像存储单元108a存储在立体图像匹配单元107a中生成并且计算量减小的低分辨率深度图像。
[0140](高分辨率深度计算单元)
[0141]高分辨率深度计算单元609从识别结果存储单元110获得基于IR图像而识别出的目标物体的轮廓信息。如在第一实施例中所描述的，识别结果存储单元110存储由图像识别单元109基于IR图像而识别出的目标物体的轮廓信息。另外，高分辨率深度计算单元609从深度图像存储单元108a获得基于已经减小以减小计算量的的LR图像而生成的低分辨率深度图像。
[0142]然后，高分辨率深度计算单元609基于目标物体的轮廓信息和低分辨率深度图像来生成高分辨率深度图像。在下文中，将参照图10来做出描述。
[0143]图10是根据本实施例的用于图示高分辨率深度图像的生成的示意图。图10所示的IR图像901是在IR照射单元104进行照射的时候已经由IR立体摄像机102捕捉到并且在IR图像存储单元106中存储的无随机图案IR图像。另外，轮廓图像902是具有由图像识别单元109基于在IR图像存储单元106中存储的IR图像901，通过应用差分滤波器而获得的目标物体的轮廓信息的图像。在识别结果存储单元110中存储这种轮廓图像902。
[0144]另一方面，低分辨率深度图像802a是由立体图像匹配单元107a通过减小作为输入图像的L图像和R图像以减小计算量而生成的深度图像。作为输入的L图像和R图像是具有在IR随机图案照射单元103进行照射的时候由IR立体摄像机102捕捉到的随机图案的IR图像。在深度图像存储单元108a中存储由立体图像匹配单元107a生成的深度图像802a。
[0145]然后，高分辨率深度计算单元609获得并且同步在深度图像存储单元108a中存储的低分辨率深度图像802a和在识别结果存储单元110中存储的IR图像的轮廓图像902。具体地，高分辨率深度计算单元609扩大在图10中所示的低分辨率深度图像802a，并且使放大的深度图像802b与轮廓图像902同步。
[0146]在图10所示的同步图像903中，可以通过轮廓来识别手指的形状。此处，高分辨率深度计算单元609在轮廓内利用具有从深度图像802b中获得的有效深度值的最外边缘像素的值来代替无有效深度值的深色区域，以填充该区域，从而获得高分辨率深度图像904。
[0147]在高分辨率深度图像存储单元610中存储具有由高分辨率深度计算单元609生成的高清轮廓信息的深度图像904。
[0148]〈3-2、操作〉
[0149]已经具体描述了根据本实施例的图像处理装置10-3的配置以及高分辨率深度图像的生成。通过图像处理装置10-3的定时控制单元101而进行的图像捕捉和照射定时的控制与参照图4所描述的第一实施例相似，并且因此，此处将省略对其的描述。
[0150]〈3-3.效果〉
[0151]如上面所描述，由于第三实施例，可以减小在深度计算方面的计算量，例如，通过减小输入图像或者进行降低，并且获得高分辨率深度图像。
[0152]另外，如同第一实施例，通过基于其上投影有IR随机图案的图像来获得深度信息，可以甚至从无图案的平坦对象获得深度信息。进一步地，通过使用其上未投影有IR随机图案的图像，可以准确地进行目标物体的边沿处理。
[0153]根据第三实施例的第三图像处理装置10-3的配置并不限于图8所示的示例。例如，图像处理装置10-3可以具有在第二实施例中所示的定时控制单元401、IR随机图案照射单元404、IR立体摄像机402、IR摄像机403、IR照射单元405和IR图像存储单元106a，来代替定时控制单元101、IR随机图案照射单元103、IR立体摄像机102、IR照射单元104和IR图像存储单元106。
[0154]《4、总结》
[0155]如上面所描述，根据本公开的实施例的图像处理装置10-1至10-3控制红外线图案照射的定时，从而获得其上照射有图案的红外线图像以及其上未照射有图案的红外线图像，以获得更加准确的深度信息。
[0156]上面已经参照附图描述了本公开的优选实施例，同时，本公开并不限于上述示例。本领域技术人员可以发现在所附权利要求书的范围内的变更和修改，并且应该理解，它们将天生在本公开的技术范围内。
[0157]例如，可以创建用于使集成到上述图像处理装置10-1至10-3中的硬件(诸如，CPU、ROM和RAM)能够进行图像处理装置10-1至10-3的功能的计算机程序。
[0158]进一步地，在第二实施例和第三实施例中，也可以按照与在第一实施例的补充中所描述的方式相似的方式来进行基于由单目IR摄像机112捕捉到的IR图像以及预先存储的随机图案来生成深度信息。
[0159]另外，本说明书中所描述的效果仅仅是说明性和示范性的，而不是限制性的。换言之，根据本公开的技术可以呈现对本领域技术人员显而易见的其它效果连同基于本说明书的效果，而不是显示基于本说明书的效果。
[0160]另外，本技术还可以如下配置。
[0161](I)
[0162]一种图像处理装置，其包括:
[0163]图案照射单元，该图案照射单元将红外线图案照射到目标物体的表面上；以及
[0164]红外线图像捕捉单元，该红外线图像捕捉单元捕捉红外线图像，其中，
[0165]图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射，并且
[0166]高红外线图像捕捉单元获得:图案投影红外线图像，在该图案投影红外线图像中，将由图案照射单元照射的图案投影到目标物体上；以及无图案红外线图像，在该无图案红外线图像中，未将图案投影到目标物体上。
[0167](2)
[0168]根据(I)所述的图像处理装置，其中，图案照射单元按照红外线图像捕捉单元的图像捕捉定时的预定间隔同时照射。
[0169](3)
[0170]根据(2)所述的图像处理装置，其中，图案照射单元在红外线图像捕捉单元的图像捕捉定时的奇数定时或者偶数定时处照射。
[0171](4)
[0172]根据(2)或者(3)所述的图像处理装置，其进一步包括:
[0173]红外线照射单元，该红外线照射单元无图案，其中，
[0174]在红外线图像捕捉单元的图像捕捉定时中，红外线照射单元在与图案照射单元的照射定时不同的定时处照射无图案红外线。
[0175](5)
[0176]根据(4)所述的图像处理装置，其中，红外线照射单元与图案照射单元交替地照射无图案红外线。
[0177](6)
[0178]根据(I)至(5)中的任一项所述的图像处理装置，其进一步包括:
[0179]第一深度计算单元，该第一深度计算单元基于由红外线图像捕捉单元捕捉到的图像投影红外线图像以及预先存储的并且由图案照射单元照射的图案来进行块匹配，以计算目标物体的深度信息。
[0180](7)
[0181]根据(I)至(5)中的任一项所述的图像处理装置，其中，
[0182]红外线图像捕捉单元包括两个或者多个红外线图像捕捉单元，并且
[0183]图像处理装置进一步包括:
[0184]第二深度计算单元，该第二深度计算单元基于由该两个或者多个红外线图像捕捉单元从多个视点捕捉到的图案投影红外线图像来进行块匹配，以计算目标物体的深度信息。
[0185](8)
[0186]根据(I)所述的图像处理装置，其中，
[0187]图案照射单元通过使用预定波长的红外线来照射图案，
[0188]红外线图像捕捉单元包括第一红外线图像捕捉单元和第二红外线图像捕捉单元，
[0189]第一红外线图像捕捉单元包括允许被图案照射单元照射的波长附近的红外线穿过的带通滤波器、低通滤波器以及高通滤波器中的至少一个，并且
[0190]第二红外线图像捕捉单元包括切断具有被图案照射单元照射的波长的红外线的带通滤波器、低通滤波器以及高通滤波器中的至少一个。
[0191](9)
[0192]根据(8)所述的图像处理装置，其进一步包括:
[0193]红外线照射单元，该红外线照射单元无图案，其中，
[0194]该第二红外线图像捕捉单元包括允许由图案照射单元照射的波长附近的红外线穿过的带通滤波器、低通滤波器以及高通滤波器中的至少一个。
[0195](10)
[0196]根据(9)所述的图像处理装置，其中，第一红外线图像捕捉单元和第二红外线图像捕捉单元进行图像捕捉的定时以及红外线照射单元和图案照射单元进行照射的定时全部是相同的定时。
[0197](11)
[0198]根据(I)至5和8至(10)中的任一项所述的图像处理装置，其进一步包括:
[0? 99]第三深度计算单元，该第三深度计算单元基于由红外线图像捕捉单元捕捉到的图像投影红外线图像以及预先存储的并且由图案照射单元照射的图案来进行需要减少的计算量的块匹配，以计算目标物体的低分辨率深度信息。
[0200] (12)
[0201]根据(I)至5和8至(10)中的任一项所述的图像处理装置，其中，
[0202]红外线图像捕捉单元包括两个或者多个红外线图像捕捉单元，并且
[0203]图像处理装置进一步包括:
[0204]第四深度计算单元，该第四深度计算单元基于由两个或者多个红外线图像捕捉单元从多个视点捕捉到的图案投影红外线图像来进行需要减少的计算量的块匹配，以计算目标物体的低分辨率深度信息。
[0205](13)
[0206]根据(12)所述的图像处理装置，其进一步包括:
[0207]高分辨率深度计算单元，该高分辨率深度计算单元基于由第四深度计算单元计算得到的低分辨率深度信息以及从无图案红外线图像中提取到的目标物体的轮廓信息，来计算目标物体的高分辨率深度信息。
[0208](14)
[0209]根据(I)至(14)中的任一项所述的图像处理装置，其中，图案是随机图案。
[0210](15)
[0211]根据(I)至(14)中的任一项所述的图像处理装置，其中，图案是通过使红外线穿过电铸形成的掩模而形成。
[0212](16)
[0213]一种图像处理方法，其包括:
[0214]通过图案照射单元将红外线图案照射到目标物体的表面上；以及
[0215]通过红外线图像捕捉单元捕捉红外线图像，其中，
[0216]图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射，并且
[0217]红外线图像捕捉单元获得:图案投影红外线图像，在该图案投影红外线图像中，将由图案照射单元照射的图案投影到目标物体上；以及无图案红外线图像，在该无图案红外线图像中，未将图案投影到目标物体上。
[0218]附图标记列表
[0219]10-1、10-2、10-3 图像处理装置
[0220]101、401定时控制单元
[0221]102,402 IR立体摄像机
[0222]112单目IR摄像机
[0223]403 IR摄像机
[0224]103,404 IR随机图案照射单元
[0225]104 IR照射单元
[0226]105随机图案LR图像存储单元
[0227]106、106a IR图像存储单元
[0228]107、107a立体图像匹配单元
[0229]108、108a深度图像存储单元
[0230]109图像识别单元
[0231]HO识别结果存储单元
[0232]201,501 IR立体摄像机控制脉冲
[0233]202,503 IR随机图案照射单元控制脉冲
[0234]203、504 IR照射单元控制脉冲
[0235]301光发射控制单元
[0236]302 IR光源
[0237]303 IR随机图案掩模
[0238]304投影透镜
[0239]310 IR随机图案
[0240]502 IR摄像机控制脉冲
[0241]609高分辨率深度计算单元
[0242]610高分辨率深度图像存储单元
[0243]801在计算量减小时获得的深度图像
[0244]802a在计算量未减小时获得的深度图像
[0245]802b在计算量减小时获得的(放大的)深度图像
[0246]901 IR 图像
[0247]902轮廓图像
[0248]903同步图像
[0249]904高分辨率深度图像。
【主权项】
1.一种图像处理装置，其包括: 图案照射单元，所述图案照射单元将红外线图案照射到目标物体的表面上；以及 红外线图像捕捉单元，所述红外线图像捕捉单元捕捉红外线图像，其中， 所述图案照射单元在与所述红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射，并且 所述红外线图像捕捉单元获得:图案投影红外线图像，在所述图案投影红外线图像中，将由所述图案照射单元照射的所述图案投影到所述目标物体上；以及无图案红外线图像，在所述无图案红外线图像中，所述图案未被投影到所述目标物体上。2.根据权利要求1所述的图像处理装置，其中，所述图案照射单元按照所述红外线图像捕捉单元的图像捕捉定时的预定间隔同时照射。3.根据权利要求2所述的图像处理装置，其中，所述图案照射单元在所述红外线图像捕捉单元的图像捕捉定时的奇数定时或者偶数定时处照射。4.根据权利要求2所述的图像处理装置，其进一步包括: 红外线照射单元，所述红外线照射单元无图案，其中， 在所述红外线图像捕捉单元的图像捕捉定时中，所述红外线照射单元在与所述图案照射单元的照射定时不同的定时处照射无图案红外线。5.根据权利要求4所述的图像处理装置，其中，所述红外线照射单元与所述图案照射单元交替地照射所述无图案红外线。6.根据权利要求1所述的图像处理装置，其进一步包括: 第一深度计算单元，所述第一深度计算单元基于由所述红外线图像捕捉单元捕捉到的所述图像投影红外线图像以及预先存储的并且由所述图案照射单元照射的图案来进行块匹配，以计算所述目标物体的深度信息。7.根据权利要求1所述的图像处理装置，其中， 所述红外线图像捕捉单元包括两个或者多个红外线图像捕捉单元，并且 所述图像处理装置进一步包括: 第二深度计算单元，所述第二深度计算单元基于由所述两个或者多个红外线图像捕捉单元从多个视点捕捉到的图案投影红外线图像来进行块匹配，以计算所述目标物体的深度?目息O8.根据权利要求1所述的图像处理装置，其中， 所述图案照射单元通过使用预定波长的红外线来照射所述图案， 所述红外线图像捕捉单元包括第一红外线图像捕捉单元和第二红外线图像捕捉单元，所述第一红外线图像捕捉单元包括允许由所述图案照射单元照射的波长附近的红外线穿过的带通滤波器、低通滤波器以及高通滤波器中的至少一个，并且 所述第二红外线图像捕捉单元包括切断具有由所述图案照射单元照射的波长的红外线的带通滤波器、低通滤波器以及高通滤波器中的至少一个。9.根据权利要求8所述的图像处理装置，其进一步包括: 红外线照射单元，所述红外线照射单元无图案，其中， 所述第二红外线图像捕捉单元包括允许由所述图案照射单元照射的波长附近的红外线穿过的带通滤波器、低通滤波器以及高通滤波器中的至少一个。10.根据权利要求9所述的图像处理装置，其中，所述第一红外线图像捕捉单元和所述第二红外线图像捕捉单元进行图像捕捉的定时以及所述红外线照射单元和所述图案照射单元进行照射的定时全部是相同的定时。11.根据权利要求1所述的图像处理装置，其进一步包括: 第三深度计算单元，所述第三深度计算单元基于由所述红外线图像捕捉单元捕捉到的所述图像投影红外线图像以及预先存储的并且由所述图案照射单元照射的图案来进行需要减少的计算量的块匹配，以计算所述目标物体的低分辨率深度信息。12.根据权利要求1所述的图像处理装置，其中， 所述红外线图像捕捉单元包括两个或者多个红外线图像捕捉单元，并且 所述图像处理装置进一步包括: 第四深度计算单元，所述第四深度计算单元基于由所述两个或者多个红外线图像捕捉单元从多个视点捕捉到的图案投影红外线图像来进行需要减少的计算量的块匹配，以计算所述目标物体的低分辨率深度信息。13.根据权利要求12所述的图像处理装置，其进一步包括: 高分辨率深度计算单元，所述高分辨率深度计算单元基于由所述第四深度计算单元计算得到的所述低分辨率深度信息以及从所述无图案红外线图像中提取到的所述目标物体的轮廓信息，来计算所述目标物体的高分辨率深度信息。14.根据权利要求1所述的图像处理装置，其中，所述图案是随机图案。15.根据权利要求1所述的图像处理装置，其中，所述图案是通过使红外线穿过电铸形成的掩模而形成。16.—种图像处理方法，所述图像处理方法包括: 通过图案照射单元将红外线图案照射到目标物体的表面上；以及 通过红外线图像捕捉单元捕捉红外线图像，其中， 所述图案照射单元在与红外线图像捕捉单元的图像捕捉定时对应的预定定时处进行照射，并且 所述红外线图像捕捉单元获得:图案投影红外线图像，在所述图案投影红外线图像中，将由所述图案照射单元照射的所述图案投影到所述目标物体上；以及无图案红外线图像，在所述无图案红外线图像中，所述图案未被投影到所述目标物体上。
【文档编号】G01B11/25GK105829829SQ201480069661
【公开日】2016年8月3日
【申请日】2014年10月31日
【发明人】永田政晴, 松井康浩
【申请人】索尼公司