一种深度确定方法、装置及电子设备的制作方法
【专利摘要】本发明实施例提供一种深度确定方法、装置及电子设备。方法包括：获取由摄像头采集后输出的彩色图像和深度图像；基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域；根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域；基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。本发明实施例在深度图像精度较低、特征体难于识别的情况下，也能得到特征体的特征体深度值。
【专利说明】一种深度确定方法、装置及电子设备
【技术领域】
[0001]本发明涉及摄像头【技术领域】，尤其涉及一种深度确定方法、装置及电子设备。
【背景技术】
[0002]在微软提出的申请号为201080006305.3、申请日为2010年I月12日的专利申请《视觉目标跟踪》中提出了一种视觉目标跟踪有关的方案，包括通过从源接收观察到的目标的深度图像以及获得目标的姿态模型来跟踪目标。姿态模型被光栅化成合成的深度图像。然后至少部分地基于观察到的深度图像和合成的深度图像之间的差异来调整模型的姿态。
[0003]而上述的方法需要基于非常精确的深度图像来进行后续处理，而得到精确的深度图像可以基于深度摄像机来实现，但目前精度较高的深度摄像机的价格非常昂贵，如MesaImaging SwissRanger 4000 (SR4000)的价格高达上万美金。
【发明内容】
[0004]本发明实施例的目的是提供一种深度确定方法、装置及电子设备，以便在摄像头输出的深度图像精度不高时也能够得到特征体的特征体深度值。
[0005]为了实现上述目的，本发明实施例提供了一种深度确定方法，包括:
[0006]获取由摄像头采集后输出的彩色图像和深度图像；
[0007]基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域；
[0008]根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域；
[0009]基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
[0010]优选地，基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值具体包括:
[0011]获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合；
[0012]确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
[0013]优选地，还包括:
[0014]在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体；
[0015]当所述彩色图像中记录有所述特征体时，进入确定第一图像区域的步骤，否则返回获取彩色图像和深度图像的步骤。
[0016]优选地，还包括:
[0017]根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令；
[0018]执行所述指令，实现对所述应用程序的控制。
[0019]优选地，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令具体包括:
[0020]根据所述特征体深度值序列确定所述特征体的原始运动轨迹；
[0021]确定与所述原始运动轨迹相匹配的标准运动轨迹；
[0022]获取与所述标准运动轨迹对应的指令。
[0023]优选地，还包括:
[0024]根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹；
[0025]根据所述特征体深度值序列确定所述特征体的原始运动轨迹具体包括:根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
[0026]优选地，所述深度确定方法用于手势控制，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于应用程序控制的指令具体包括:
[0027]提取所述特征体深度值序列中最新的预定数量的特征体深度值；
[0028]根据最新的预定数量的特征体深度值计算所述特征体的深度变化累计值；
[0029]根据所述深度变化累计值确定用户手势动作；
[0030]根据所述手势动作确定对应的用于应用程序控制的指令。
[0031]优选地，还包括:获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息；所述根据所述深度变化累计值确定用户手势动作具体为:根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
[0032]为了实现上述目的，本发明实施例还提供了一种深度确定装置，包括:
[0033]获取模块，用于获取由摄像头采集后输出的彩色图像和深度图像；
[0034]第一区域确定模块，用于基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域；
[0035]第二区域确定模块，用于根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域；
[0036]深度确定模块，用于基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
[0037]优选地，深度确定模块具体包括:
[0038]像素深度值获取单元，用于获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合；
[0039]统计单元，用于确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
[0040]优选地，还包括:
[0041]判断模块，用于在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体；
[0042]触发模块，用于当所述彩色图像中记录有所述特征体时，触发第一区域确定模块，否则返回获取模块。
[0043]优选地，还包括:
[0044]指令确定模块，用于根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令；
[0045]执行模块，用于执行所述指令，实现对所述应用程序的控制。
[0046]优选地，指令确定模块具体包括:
[0047]第一轨迹确定单元，用于根据所述特征体深度值序列确定所述特征体的原始运动轨迹；
[0048]匹配单元，用于确定与所述原始运动轨迹相匹配的标准运动轨迹；
[0049]第一指令获取单元，用于获取与所述标准运动轨迹对应的指令。
[0050]优选地，还包括:
[0051]第二轨迹确定单元，用于根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹；
[0052]所述第一轨迹确定单元具体用于根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
[0053]优选地，所述深度确定方法用于手势控制，指令确定模块具体包括:
[0054]提取单元，用于提取所述特征体深度值序列中最新的预定数量的特征体深度值；
[0055]深度累积计算单元，用于根据所述最新的预定数量的特征体深度值计算所述特征体的深度变化累计值；
[0056]手势确定单元，用于根据所述深度变化累计值确定用户手势动作；
[0057]第二指令获取单元，根据手势动作确定对应的用于应用程序控制的指令。
[0058]优选地，还包括:
[0059]形状变化确定模块，用于获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息；
[0060]手势确定单元具体用于根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
[0061]本发明实施例还提供一种电子设备，包括一深度摄像头，用于采集并输出彩色图像和深度图像，所述电子设备还包括以上所述的深度确定装置。
[0062]本发明实施例具有以下的有益效果:
[0063]通过由摄像头采集后输出的彩色图像和深度图像之间的关系，确定彩色图像中第一图像区域记录的特征体的特征体深度值，从而在深度图像精度较低、特征体难于识别的情况下，也能得到特征体的特征体深度值。
【专利附图】
【附图说明】
[0064]图1表示本发明实施例提供的一种深度确定方法的步骤流程图；
[0065]图2表示本发明实施例的较佳实施方式的工作流程图；
[0066]图3A、B表示本发明实施例的较佳实施方式的通过RGB人手识别获取深度图像上的对应区域的示意图；
[0067]图4表示本发明实施例的较佳实施方式的深度值正态分布图；
[0068]图5表示本发明实施例的较佳实施方式的前推动作判定逻辑；
[0069]图6表示本发明实施例的较佳实施方式的抓取动作判定逻辑；
[0070]图7表示本发明实施例提供的一种深度确定装置的结构框图。
【具体实施方式】
[0071]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明实施例进行详细描述。
[0072]图1表示本发明实施例提供的一种深度确定方法的步骤流程图，参照图1，本发明实施例提供一种深度确定方法，包括如下步骤:
[0073]步骤101，获取由摄像头采集后输出的彩色图像和深度图像；
[0074]步骤102，基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域；
[0075]步骤103，根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域；
[0076]步骤104，基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
[0077]可见，本发明实施例通过由摄像头采集后输出的彩色图像和深度图像之间的关系，确定彩色图像中第一图像区域记录的特征体的特征体深度值，从而在深度图像精度较低、特征体难于识别的情况下，也能准确识别深度图像中特征体的位置，进而得到特征体的特征体深度值。
[0078]其中，本发明实施例中所述彩色图像可以是RGB图像。
[0079]所述特征体可以是各种各样的应用预先规定的物体，如人手、整个人体、或者其它的手持物品(如一个指挥棒等)，在此不做具体限定。
[0080]本发明实施例中，对于特征体形成的区域与第二图像区域重合的情况，可以将第二图像区域中所有像素的像素深度值取平均值，作为特征体的特征体深度值；而对于第二图像区域中除了特征体形成的区域以外的其它区域也比较大的情况，例如图3A、B所示，图3A为深度图像，图3B为与之相应的RGB图像，由图中明显看到，手指张开时在矩形框内手之外有较大区域，这时候再取平均值，误差则较大，有鉴于此，基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值具体可以包括:
[0081]获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合；
[0082]对所述像素深度值集合中出现次数最少的像素深度值之外的所有像素深度值取平均值，得到所述特征体的特征体深度值。
[0083]或者
[0084]基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值具体可以包括:
[0085]获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合；
[0086]确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
[0087]本发明实施例中，考虑到特征体移动到彩色图像覆盖范围之外的地方时，彩色图像中不会记录特征体，此时继续进行后续的判断则完全是浪费处理器资源的行为，因此为了动态得到特征体的特征体深度值，还可以包括:
[0088]在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体；
[0089]当所述彩色图像中记录有所述特征体时，进入确定第一图像区域的步骤，否则返回获取彩色图像和深度图像的步骤。
[0090]这样，就可以在本帧彩色图像中没有特征体时进入下一帧图像的获取，实现了彩色图像和深度图像的实时获取。
[0091]本发明实施例中，考虑到特征体的特征体深度值的变化意味着特征体本身的运动轨迹的变化，则可以基于特征体的运动来进行电子设备的控制，例如，通过应用程序来加以控制，因此，本发明实施例的方法还可以包括:
[0092]根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令；
[0093]执行所述指令，实现对所述应用程序的控制。
[0094]以特征体为人手为例，在特征体深度值序列中特征体深度值由大到小变化时，意味着人手面对摄像头方向进行前推动作，则根据上述的深度值变化确定出人手前推动作后，即可执行对应的指令，如用于控制幻灯片播放应用程序播放下一张幻灯片的指令，又如控制图像浏览工具缩小当前显示的图片等。而如果在特征体深度值序列中特征体深度值由小到大变化时，意味着人手面对摄像头方向后撤，则确定人手后撤所对应的指令，如用于控制幻灯片播放应用程序后退到上一张幻灯片的指令，又如控制图像浏览工具放大当前显示的图片等。
[0095]其中，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令具体可以通过多种方式来实现，下面分别说明如下。
[0096]方式一
[0097]在方式一中，依据深度值确定出特征体，如人手，的运动轨迹来确定对应的指令。
[0098]这种方式下，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令具体可以包括:
[0099]根据所述特征体深度值序列确定所述特征体的原始运动轨迹；
[0100]确定与所述原始运动轨迹相匹配的标准运动轨迹；
[0101]获取与所述标准运动轨迹对应的指令。
[0102]如上述的在特征体深度值序列中特征体深度值由大到小变化时，得到了一条轨迹，即可根据该轨迹确定与之对应的指令。
[0103]方式二
[0104]方式一中，如果仅仅考虑深度值，则只能确定纵向(即相向于摄像头的方向)上的动作，当应用对应的指令较多时，特征体在纵向维度的运动动作可能不足以区分这么多的指令，有鉴于此，可以引入特征体横向的运动，则根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令还可以包括:
[0105]根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹；
[0106]根据所述特征体深度值序列确定所述特征体的原始运动轨迹具体包括:根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
[0107]这样，通过横向运动轨迹的引入，就可以区分特征体相对于摄像头进行垂直运动和相对于摄像头进行的斜向运动，结合横向(相当于第一子运动轨迹)和纵向(相当于第二子运动轨迹)就能得到准确的运动轨迹(相当于原始运动轨迹)。
[0108]方式三
[0109]方式一和方式二中，都是结合特征体的运动来进行应用控制，但实际上也可以仅仅结合特征体的深度变化值来确定对应的指令。
[0110]此时，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于应用程序控制的指令具体可以包括:
[0111]提取所述特征体深度值序列中最新的预定数量的特征体深度值；
[0112]根据所述最新的预定数量的特征体深度值计算所述特征体的深度变化累计值；
[0113]根据所述深度变化累计值确定用户手势动作；
[0114]根据所述手势动作确定对应的用于应用程序控制的指令。
[0115]这里，例如，对于幻灯片播放应用程序，手势动作前推对应切换到下一幻灯片的指令，手势动作后撤对应返回到上一幻灯片的指令。
[0116]与方式一的不同之处在于，方式一得到的是特征体的运动轨迹，即过程信息，而方式三得到的是结果信息，即最终运动了多远，而不关心具体过程。
[0117]方式四
[0118]上述的方式一、二和三中，都是结合特征体的运动信息来进行应用程序的控制，但特征体除了运动信息之外，还可以有形状变化信息，为了进一步地丰富手势动作，以便支持更多的控制应用程序的指令，本发明实施例还可以包括:获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息；所述根据所述深度变化累计值确定用户手势动作具体为:根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
[0119]其中，形状变化信息例如:用户抓取时手从伸开状态到握拳状态的形状变化信息。
[0120]对此举例如下。
[0121]如根据彩色图像识别出用户手掌从张开到握紧，同时深度没有发生显著变化(深度变化累计值小于预订门限)时，则可以确定用户需要关闭应用，又如当根据彩色图像识别出用户手掌从张开到握紧，同时深度发生显著变化(深度变化累计值大于预订门限)时，则可以确定用户需要进入应用的下一级菜单。
[0122]这种方式下，不但考虑到了深度信息，还考虑到了特征体的形状变化信息，因此进一步丰富了可对应的指令数量。
[0123]下面通过给出本发明实施例的较佳实施方式，来对本发明实施例做详细阐述。
[0124]本发明实施例的较佳实施方式针对一种原理有别于Kinect的深度体感摄像头。该方案用于手势的识别，针对该类摄像头的特性，通过RGB图像提取人手轮廓，并将该轮廓映射到深度图像上，获取深度值，通过多帧的轨迹作判断，从而识别手势指令。该方案能够达成对“前推”、“后退”、“抓取”以及“张开”等动作的识别。
[0125]本较佳实施方式中，对于前面所述的深度摄像头，通过RGB视频流和深度视频流提供的信息综合作判断，提取识别手部轮廓和深度信息，并通过多帧的信息判断出手的动作。
[0126]本发明具体实施例中，针对一种价格较为低廉的能够同时输出彩色图像和深度图像的摄像头，其造价低但噪声高，不能完全依赖深度图像的特点，使用了较为简单的手势识别算法，结合其彩色图像和深度图像来进行识别。
[0127]本发明具体实施例中，提取RGB和深度两路视频流，RGB流提供轮廓信息，深度流提供深度信息；通过手的轮廓识别映射到深度图像上，获取该像素区域的深度信息；通过多帧的连续信息判断手的动作。
[0128]本发明具体实施例中，深度流可以根据主摄像头的RGB图像的坐标去计算而填充，也可以是分别获取。当分别获取时，对于深度图像和RGB图像并不完全重合的深度摄像头，需要先行对像素坐标进行转换使其深度图像和RGB图像完全重合。
[0129]本发明具体实施例适用于此类能够提供两路视频流输出的双目摄像头，即RGB视频流和深度视频流，并且最终用于识别的RGB视频流和深度视频流是同步的，且分辨率相同，坐标一一对应即可。
[0130]本明具体实施例的详细流程如图2所示。
[0131]首先获取摄像头的两路输出:RGB视频流和深度视频流，并通过RGB视频流进行基于肤色和轮廓的人手识别方法来获得人手轮廓。
[0132]由于此深度摄像头的RGB视频流和深度视频流所输出的图像在平面坐标上是基本完全对应的关系，所以我们将RGB图像得到的人手轮廓映射到深度图像的对应位置上，如图3A、B所示。
[0133]得到深度视频帧中对应于人手的区域之后，即可根据该区域中的所有像素点确定人手的深度。
[0134]一种可能的实现方式如图4所示，以深度作为横坐标，具有该深度的像素数量作为纵坐标进行统计，最后取出现次数最多的，即纵轴峰值所对应的深度值，作为整只手的深度值。
[0135]应当理解的是，上述的图4仅仅是一个举例，并不表示任何实际的像素数量分布图。
[0136]在普通的基于RGB的手势识别算法中，当摄像头前出现多个人手时，会造成对指令的误判，但本发明实施例可以基于RGB和深度双路视频流的识别来去除较远的手势，取离摄像头最近的手势作为唯一有效的指令。
[0137]获得每一帧的手掌的深度信息后，可以通过多帧的连续信息判断手势指令，这里仅给出两种较为经典的手势指令:前推以及抓取。本发明实施例中，双目摄像头的深度取值范围为0-255，最佳使用距离为I到2.5米，帧数为30帧/秒，以此摄像头的数据为例，说明动作判定方法。
[0138]前推的逻辑判断图如图5所示，先判断图像中是否有轮廓被识别为手掌，如果被识别为手掌，信息被保存，然后判断连续5帧中是否有超过3帧被识别为手掌，如果是的话，即可判定存在动作序列。此时即可对比之前的5帧中被判定为含有手掌轮廓的那几帧信息中手掌的深度值，如果累积深度变化大于20，且手掌质心的横纵坐标变化皆小于10，即被判定为前推。当动作序列被判定为前推后，清除过去5帧的信息，然后循环之前的判定步骤。
[0139]若过去5帧信息为动作序列但没有达到判定为“前推”的条件，则继续提取下一帧信息继续判断。
[0140]同时，如果最后3帧信息连续被判定为无手掌轮廓，则认为本次动作已中止，同样清除过去5帧的保存信息。
[0141]另一个动作“抓取”判定逻辑如图6所示，该动作可通过手势识别当前的最后三帧的识别结果进行判定。假如倒数第三帧识别结果为有手掌，而最后两帧识别结果为无手掌，则提取倒数第三帧RGB图像中的掌心坐标，并映射到最后三帧深度图的相应点，以该点为中心取周围20*20像素点的深度值，通过图4的方法，得到该区域的深度值作为握拳后手的深度值，若最后两帧手的深度值和倒数第三帧手的深度值差值在5以内，则认为手掌合拢，并且坐标无太大变化，则可以认为，用户完成了从“开掌”到“合掌”这一过程，即发出了“抓取”这个指令。
[0142]本明具体实施例的通过RGB和深度视频流共同识别手势指令中，通过RGB图像识别人手轮廓，并通过该轮廓的坐标和深度图像信息结合，把RGB获取的轮廓映射到深度图像上，并通过统计的方式即可获取人手的空间坐标。
[0143]本明具体实施例中提到的两个手势指令的识别只是举例说明，通过其他与本明具体实施例中提到的特性相同或相似的深度摄像头，并使用本本明具体实施例中描述的双路图像共同获取轮廓和深度值的方法，再基于该方法获得的深度值而做出的其他的手势指令，仍在保护范围内。
[0144]图7表示本发明实施例提供的一种深度确定装置的结构框图，参照图7，本发明实施例还提供一种深度确定装置，包括:
[0145]获取模块701，用于获取由摄像头采集后输出的彩色图像和深度图像；
[0146]第一区域确定模块702，用于基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域；
[0147]第二区域确定模块703，用于根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域；
[0148]深度确定模块704，用于基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
[0149]可见，通过由摄像头采集后输出的彩色图像和深度图像之间的关系，确定彩色图像中第一图像区域记录的特征体的特征体深度值，从而在深度图像精度较低、特征体难于识别的情况下，也能得到特征体的特征体深度值。
[0150]其中，深度确定模块704具体可以包括:
[0151]像素深度值获取单元，用于获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合；
[0152]统计单元，用于确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
[0153]此外，还可以包括:
[0154]判断模块，用于在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体；
[0155]触发模块，用于当所述彩色图像中记录有所述特征体时，触发第一区域确定模块702，否则返回获取模块701。
[0156]进一步地，还可以包括:
[0157]指令确定模块，用于根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令；
[0158]执行模块，用于执行所述指令，实现对所述应用程序的控制。
[0159]其中，指令确定模块具体可以包括:
[0160]第一轨迹确定单元，用于根据所述特征体深度值序列确定所述特征体的原始运动轨迹；
[0161]匹配单元，用于确定与所述原始运动轨迹相匹配的标准运动轨迹；
[0162]第一指令获取单元，用于获取与所述标准运动轨迹对应的指令。
[0163]进一步地，还可以包括:
[0164]第二轨迹确定单元，用于根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹；
[0165]所述第一轨迹确定单元具体用于根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
[0166]此外，所述深度确定方法可以用于手势控制，指令确定模块具体可以包括:
[0167]提取单元，用于提取所述特征体深度值序列中最新的预定数量的特征体深度值；
[0168]深度累积计算单元，用于根据所述最新的预定数量的特征体深度值计算所述特征体的深度变化累计值；
[0169]手势确定单元，用于根据所述深度变化累计值确定用户手势动作；
[0170]第二指令获取单元，根据所述手势动作确定对应的用于应用程序控制的指令。
[0171]进一步地，还可以包括:
[0172]形状变化确定模块，用于获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息；
[0173]手势确定单元具体用于根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
[0174]本发明实施例还提供一种电子设备，包括一深度摄像头，用于采集并输出彩色图像和深度图像，所述电子设备还包括以上所述的深度确定装置。
[0175]以上所述仅是本发明实施例的实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明实施例原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明实施例的保护范围。
【权利要求】
1.一种深度确定方法，其特征在于，包括: 获取由摄像头采集后输出的彩色图像和深度图像； 基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域； 根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域； 基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
2.根据权利要求1所述的深度确定方法，其特征在于，基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值具体包括: 获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合； 确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
3.根据权利要求1所述的深度确定方法，其特征在于，还包括: 在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体； 当所述彩色图像中记录有所述特征体时，进入确定第一图像区域的步骤，否则返回获取彩色图像和深度图像的步骤。
4.根据权利要求1、2或3所述的深度确定方法，其特征在于，还包括: 根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令； 执行所述指令，实现对所述应用程序的控制。
5.根据权利要求4所述的深度确定方法，其特征在于，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令具体包括: 根据所述特征体深度值序列确定所述特征体的原始运动轨迹； 确定与所述原始运动轨迹相匹配的标准运动轨迹； 获取与所述标准运动轨迹对应的指令。
6.根据权利要求5所述的深度确定方法，其特征在于，还包括: 根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹； 根据所述特征体深度值序列确定所述特征体的原始运动轨迹具体包括:根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
7.根据权利要求4所述的深度确定方法，其特征在于，所述深度确定方法用于手势控制，根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于应用程序控制的指令具体包括: 提取所述特征体深度值序列中最新的预定数量的特征体深度值； 根据所述最新的预定数量的特征体深度值计算所述特征体的深度变化累计值； 根据所述深度变化累计值确定用户手势动作； 根据所述手势动作确定对应的用于应用程序控制的指令。
8.根据权利要求7所述的深度确定方法，其特征在于，还包括:获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息；所述根据所述深度变化累计值确定用户手势动作具体为:根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
9.一种深度确定装置，其特征在于，包括: 获取模块，用于获取由摄像头采集后输出的彩色图像和深度图像； 第一区域确定模块，用于基于所述彩色图像进行图像识别，确定所述彩色图像中记录有一特征体的第一图像区域； 第二区域确定模块，用于根据所述彩色图像和深度图像之间的像素对应关系，确定所述深度图像中与所述第一图像区域对应的第二图像区域； 深度确定模块，用于基于所述第二图像区域中像素对应的深度信息确定所述特征体的特征体深度值。
10.根据权利要求9所述的深度确定装置，其特征在于，深度确定模块具体包括: 像素深度值获取单元，用于获取所述深度图像的第二图像区域中每一个像素的像素深度值，得到一像素深度值集合； 统计单元，用于确定所述像素深度值集合中出现次数最多的像素深度值，并确定所述特征体深度值为出现次数最多的像素深度值。
11.根据权利要求9所述的深度确定装置，其特征在于，还包括: 判断模块，用于在获取所述彩色图像后判断所述彩色图像中是否记录有所述特征体；触发模块，用于当所述彩色图像中记录有所述特征体时，触发第一区域确定模块，否则返回获取模块。
12.根据权利要求9、10或11所述的深度确定装置，其特征在于，还包括: 指令确定模块，用于根据由所述特征体的特征体深度值形成的特征体深度值序列确定用于控制应用程序的指令； 执行模块，用于执行所述指令，实现对所述应用程序的控制。
13.根据权利要求12所述的深度确定装置，其特征在于，指令确定模块具体包括: 第一轨迹确定单元，用于根据所述特征体深度值序列确定所述特征体的原始运动轨迹； 匹配单元，用于确定与所述原始运动轨迹相匹配的标准运动轨迹； 第一指令获取单元，用于获取与所述标准运动轨迹对应的指令。
14.根据权利要求13所述的深度确定装置，其特征在于，还包括: 第二轨迹确定单元，用于根据连续采集到所述彩色图像中的第一图像区域的位置变化信息确定所述特征体的第一子运动轨迹； 所述第一轨迹确定单元具体用于根据所述特征体深度值序列确定所述特征体的第二子运动轨迹，并合成所述第一子运动轨迹和第二子运动轨迹得到所述原始运动轨迹。
15.根据权利要求12所述的深度确定装置，其特征在于，所述深度确定方法用于手势控制，指令确定模块具体包括: 提取单元，用于提取所述特征体深度值序列中最新的预定数量的特征体深度值； 深度累积计算单元，用于根据所述最新的预定数量的特征体深度值计算所述特征体的深度变化累计值； 手势确定单元，用于根据所述深度变化累计值确定用户手势动作； 第二指令获取单元，根据所述手势动作确定对应的用于应用程序控制的指令。
16.根据权利要求15所述的深度确定装置，其特征在于，还包括: 形状变化确定模块，用于获取连续采集到的所述彩色图像中的第一图像区域的形状变化信息； 手势确定单元具体用于根据所述第一图像区域的形状变化信息和所述深度变化累计值确定用户手势动作。
17.一种电子设备，包括一深度摄像头，用于采集并输出彩色图像和深度图像，其特征在于，所述电子设备还包括权利要求9-16任意一项所述的深度确定装置。
【文档编号】G06T7/20GK104346816SQ201410534378
【公开日】2015年2月11日 申请日期:2014年10月11日 优先权日:2014年10月11日
【发明者】赵骥伯 申请人:京东方科技集团股份有限公司