基于智能设备实现体感控制的方法、系统以及智能设备的制造方法
【专利摘要】本发明公开了一种基于智能设备实现体感控制的方法、系统以及智能设备，其中所述方法包括：采集用户图像数据；根据用户图像数据获取用户的图像轮廓；根据所述图像轮廓获取用户在成像平面上的第一运动轨迹；根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹；根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。
【专利说明】
基于智能设备实现体感控制的方法、系统以及智能设备
技术领域
[0001]本发明涉及计算机视觉技术领域，具体涉及一种基于智能设备实现体感控制的方法、系统以及智能设备。
【背景技术】
[0002]随着计算机视觉技术的发展，体感游戏逐渐进入人们生活，相比于原有的通过手柄或者摇杆相比，体感游戏机通过体感摄像头感应人体动作来操作游戏，例如微软公司生产的XboX360体感游戏机Kinect，通过三个体感摄像头来获取人体动作，并转换为操作指令来控制游戏，使得人们在玩游戏的时候能获得更好的操作感受，并且可以使人体在运动状态中得到锻炼。
[0003]但是，目前体感摄像头价格仍然较为昂贵，阻碍了部分用户体验体感游戏，而诸如智能手机、平板电脑等智能设备的普及程度则是非常广泛，如果能够利用智能手机上的摄像头来作为体感摄像头，将极大推动诸如体感游戏等体感技术在人们生活中的应用。
【发明内容】
[0004]本发明要解决的技术问题在于体感摄像头价格昂贵阻碍了体感技术在人们生活中的应用。
[0005]为此，本发明实施例提供了一种基于智能设备实现体感控制的方法，所述智能设备具有摄像头，所述方法包括:采集用户图像数据;根据用户图像数据获取用户的图像轮廓;根据所述图像轮廓获取用户在成像平面上的第一运动轨迹;根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹;根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。
[0006]优选地，所述特征长度包括手部轮廓长度/宽度、腿部轮廓长度/宽度或头部轮廓长度/宽度。
[0007]优选地，在所述采集用户图像数据与所述根据用户图像数据获取用户的图像轮廓之间，还包括:将用户图像与前景、背景分离。
[0008]优选地，在根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹与根据第一运动轨迹和第二运动轨迹生成体感数据之间，还包括:根据测距模块测量得到的用户身体各部分到所述摄像头之间的距离，对所述第二运动轨迹进行校正。
[0009]优选地，所述测距模块是红外测距模块或激光测距模块。
[0010]本发明实施例还提供了一种基于智能设备实现体感控制的系统，所述智能设备具有摄像头，所述系统包括:采集单元，用于采集用户图像数据；图像轮廓获取单元，用于根据用户图像数据获取用户的图像轮廓;第一运动轨迹单元，用于根据所述图像轮廓获取用户在成像平面上的第一运动轨迹;第二运动轨迹单元，用于根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹;体感数据单元，用于根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。
[0011]优选地，所述系统还包括:分离单元，用于在所述采集单元采集用户图像数据与所述图像轮廓获取单元根据用户图像数据获取用户的图像轮廓之间，将用户图像与前景、背景分离。
[0012]优选地，所述系统还包括:校正单元，用于在所述第二运动轨迹单元根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹与所述体感数据单元根据第一运动轨迹和第二运动轨迹生成体感数据之间，根据测距模块测量得到的用户身体各部分到所述摄像头之间的距离，对所述第二运动轨迹进行校正。
[0013]本发明实施例进一步还提供了一种智能设备，包括:摄像头，用于采集用户图像数据;处理器，用于根据用户图像数据获取用户的图像轮廓，根据所述图像轮廓获取用户在成像平面上的第一运动轨迹，根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹，并且根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。
[0014]优选地，所述处理器还用于接收外部的测距模块测量得到的用户身体各部分到所述摄像头之间的距离，并根据所述距离对所述第二运动轨迹进行校正。
[0015]根据本发明实施例的基于智能设备实现体感控制的方法、系统以及智能设备，仅利用诸如智能手机等智能设备上的摄像头来获取用户图像数据，并根据该图像数据得到用户在成像平面上的第一运动轨迹和垂直于成像平面的方向上的第二运动轨迹，从而得到用户在三维空间上的运动轨迹以生成体感数据，不需要额外的设备就可以让用户体验体感技术，有利于体感技术的推广应用。
【附图说明】
[0016]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0017]图1示出了根据本发明实施例的基于智能设备实现体感控制的应用场景示意图；
[0018]图2示出了根据本发明实施例的基于智能设备实现体感控制的方法的流程图；
[0019]图3示出了根据本发明实施例的基于智能设备实现体感控制的系统的示意图。
【具体实施方式】
[0020]下面将结合附图对本发明的实施例进行详细描述。
[0021]如图1所示，根据本发明实施例的基于智能设备实现体感控制的方法，其需要一个具有一个摄像头的智能设备，该智能设备可以是智能手机、平板电脑、笔记本电脑等。优选地，用户需要与该智能设备的摄像头保持一定距离，以使得摄像头能够采集到用户全身的图像数据。当然，某些体感控制仅需要用手部动作控制，在这种情况下，则可以仅使摄像头采集用户手部的图像数据。
[0022]如图2所示，本发明实施例提供了一种基于智能设备实现体感控制的方法，该智能设备具有摄像头，该方法包括如下步骤:
[0023]S1.采集用户图像数据。如图1所示，摄像头采集用户在成像平面，S卩x-y平面上的图像数据。
[0024]S2.将用户图像与前景、背景分离。该步骤是可选步骤，可以采用现有的任何图像分离的方法来将用户图像与前景、背景分离，这样可以减少前景、背景图像的干扰，减小处理器后期处理的运算量。
[0025]S3.根据用户图像数据获取用户的图像轮廓。对于体感控制而言，仅需要获取用户身体的运动轨迹即可，因此不需要关注用户身体图像的其他细节，抽取出图像轮廓可以减少处理器后期处理的运算量。
[0026]S4.根据图像轮廓获取用户在成像平面上的第一运动轨迹。由于图像是实时采集的，根据前后帧图像的变化就可以很容易地得到用户在x-y平面上的第一运动轨迹。
[0027]S5.根据图像轮廓上特征长度的变化和/或摄像头的焦距变化获取用户在垂直于成像平面的方向上的第二运动轨迹。用户距离摄像头越近，所生成的图像越大，因此当用户朝向摄像头运动时，所生成的图像会逐渐变大，从而可以根据图像轮廓上特征长度逐渐变大判断出用户朝向摄像头运动;而当用户远离摄像头运动时，所生成的图像会逐渐变小，从而可以根据图像轮廓上特征长度逐渐变小判断出用户远离摄像头运动。特征长度可以是手部轮廓长度/宽度、腿部轮廓长度/宽度、头部轮廓长度/宽度等，例如当检测到手部轮廓长度变长或宽度变宽即可以判断出手部朝向摄像头运动，手部轮廓长度变短或宽度变窄即可以判断出手部远离摄像头运动，从而就可以判断出各个躯干在z方向上的变化。同时，当用户在垂直于成像平面的方向，即z方向上运动时，摄像头在捕捉用户图像时会不断改变焦距以获得清晰的成像，因此根据像头的焦距变化也能够判断出用户是在朝向或是在远离摄像头运动。采用这两种方式之一均可以判断出用户在垂直于成像平面的方向上的运动轨迹，当然为了得到更为准确的结果，也可以根据这两者进行综合判断，以得到更为准确的结果。
[0028]S6.根据第一运动轨迹和第二运动轨迹生成体感数据。综合成像平面上的第一运动轨迹和垂直于成像平面的方向上的第二运动轨迹就可以得到用户在三维空间上的运动轨迹，从而可以得到体感数据，将该体感数据输入到带有体感功能的智能电视或计算机就可以体验体感游戏。
[0029]根据本发明实施例的基于智能设备实现体感控制的方法，仅利用诸如智能手机等智能设备上的摄像头来获取用户图像数据，并根据该图像数据得到用户在成像平面上的第一运动轨迹和垂直于成像平面的方向上的第二运动轨迹，从而得到用户在三维空间上的运动轨迹以生成体感数据，不需要额外的设备就可以让用户体验体感技术，有利于体感技术的推广应用。
[0030]由于用户在垂直于成像平面的方向上的第二运动轨迹是根据图像轮廓上特征长度的变化和/或摄像头的焦距变化推算出来的，可能难以满足某些需要更精细的控制的场合的需要，因此有必要对第二运动轨迹进行校正。为此还需要加入一个测距模块，以更准确地获得用户在z方向上距离摄像头的距离，该测距模块可以是红外测距模块或激光测距模块，测距模块可以通过有线或无线的方式与诸如智能手机等智能设备连接，以将测得的距离传送到智能设备，智能设备获取测距模块测量得到的用户身体各部分到所述摄像头之间的距离，并根据所得到的距离对第二运动轨迹进行校正，最后根据第一运动轨迹和校正后的第二运动轨迹生成更精确的体感数据。
[0031]本发明实施例还提供了一种基于智能设备实现体感控制的系统，该智能设备具有摄像头，该系统包括:
[0032]采集单元I，用于采集用户图像数据；
[0033]图像轮廓获取单元3，用于根据用户图像数据获取用户的图像轮廓；
[0034]第一运动轨迹单元4，用于根据图像轮廓获取用户在成像平面上的第一运动轨迹；
[0035]第二运动轨迹单元5，用于根据图像轮廓上特征长度的变化和/或摄像头的焦距变化获取用户在垂直于成像平面的方向上的第二运动轨迹，优选地，特征长度包括手部轮廓长度/宽度、腿部轮廓长度/宽度或头部轮廓长度/宽度；
[0036]体感数据单元7，用于根据第一运动轨迹和第二运动轨迹生成体感数据。
[0037]根据本发明实施例的基于智能设备实现体感控制的系统，仅利用诸如智能手机等智能设备上的摄像头来获取用户图像数据，并根据该图像数据得到用户在成像平面上的第一运动轨迹和垂直于成像平面的方向上的第二运动轨迹，从而得到用户在三维空间上的运动轨迹以生成体感数据，不需要额外的设备就可以让用户体验体感技术，有利于体感技术的推广应用。
[0038]优选地，上述基于智能设备实现体感控制的系统还包括:分离单元2，用于在采集单元I采集用户图像数据与图像轮廓获取单元3根据用户图像数据获取用户的图像轮廓之间，将用户图像与前景、背景分离。由此，可以减少前景、背景图像的干扰，减小处理器后期处理的运算量。
[0039]优选地，上述基于智能设备实现体感控制的系统还包括:校正单元6，用于在第二运动轨迹单元5根据图像轮廓上特征长度的变化和/或摄像头的焦距变化获取用户在垂直于成像平面的方向上的第二运动轨迹与体感数据单元7根据第一运动轨迹和第二运动轨迹生成体感数据之间，根据测距模块测量得到的用户身体各部分到摄像头之间的距离，对第二运动轨迹进行校正。优选地，测距模块是红外测距模块或激光测距模块。由此，可以得到更精确的体感数据，以满足某些需要更精细的控制的场合的需要。
[0040]本发明实施例还提供了一种智能设备，该智能设备可以是智能手机、平板电脑、笔记本电脑等，其包括:
[0041]摄像头，用于采集用户图像数据；
[0042]处理器，用于根据用户图像数据获取用户的图像轮廓，根据所述图像轮廓获取用户在成像平面上的第一运动轨迹，根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹，并且根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。
[0043]由此，仅需要本发明实施例的智能设备即可以得到用户在成像平面上的第一运动轨迹和垂直于成像平面的方向上的第二运动轨迹，从而得到用户在三维空间上的运动轨迹以生成体感数据，不需要额外的设备就可以让用户体验体感技术，有利于体感技术的推广应用。
[0044]优选地，该处理器还用于接收外部的测距模块测量得到的用户身体各部分到所述摄像头之间的距离，并根据该距离对第二运动轨迹进行校正。由此，可以得到更精确的体感数据，以满足某些需要更精细的控制的场合的需要。
[0045]本领域内的技术人员还应理解，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0046]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的，应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0047]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0048]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0049]虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
【主权项】
1.一种基于智能设备实现体感控制的方法，所述智能设备具有摄像头，其特征在于，所述方法包括: 采集用户图像数据； 根据用户图像数据获取用户的图像轮廓； 根据所述图像轮廓获取用户在成像平面上的第一运动轨迹； 根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹； 根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。2.根据权利要求1所述的方法，其特征在于，所述特征长度包括手部轮廓长度/宽度、腿部轮廓长度/宽度或头部轮廓长度/宽度。3.根据权利要求1所述的方法，其特征在于，在所述采集用户图像数据与所述根据用户图像数据获取用户的图像轮廓之间，还包括: 将用户图像与前景、背景分离。4.根据权利要求1-3中任一项所述的方法，其特征在于，在根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹与根据第一运动轨迹和第二运动轨迹生成体感数据之间，还包括: 根据测距模块测量得到的用户身体各部分到所述摄像头之间的距离，对所述第二运动轨迹进行校正。5.根据权利要求4所述的方法，其特征在于，所述测距模块是红外测距模块或激光测距丰旲块。6.一种基于智能设备实现体感控制的系统，所述智能设备具有摄像头，其特征在于，所述系统包括: 采集单元，用于采集用户图像数据； 图像轮廓获取单元，用于根据用户图像数据获取用户的图像轮廓； 第一运动轨迹单元，用于根据所述图像轮廓获取用户在成像平面上的第一运动轨迹； 第二运动轨迹单元，用于根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹； 体感数据单元，用于根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。7.根据权利要求6所述的系统，其特征在于，还包括: 分离单元，用于在所述采集单元采集用户图像数据与所述图像轮廓获取单元根据用户图像数据获取用户的图像轮廓之间，将用户图像与前景、背景分离。8.根据权利要求6或7所述的系统，其特征在于，还包括: 校正单元，用于在所述第二运动轨迹单元根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹与所述体感数据单元根据第一运动轨迹和第二运动轨迹生成体感数据之间，根据测距模块测量得到的用户身体各部分到所述摄像头之间的距离，对所述第二运动轨迹进行校正。9.一种智能设备，其特征在于，包括: 摄像头，用于采集用户图像数据； 处理器，用于根据用户图像数据获取用户的图像轮廓，根据所述图像轮廓获取用户在成像平面上的第一运动轨迹，根据所述图像轮廓上特征长度的变化和/或所述摄像头的焦距变化获取用户在垂直于所述成像平面的方向上的第二运动轨迹，并且根据所述第一运动轨迹和所述第二运动轨迹生成体感数据。10.根据权利要求9所述的智能设备，其特征在于，所述处理器还用于接收外部的测距模块测量得到的用户身体各部分到所述摄像头之间的距离，并根据所述距离对所述第二运动轨迹进行校正。
【文档编号】G06F3/01GK105894533SQ201511034014
【公开日】2016年8月24日
【申请日】2015年12月31日
【发明人】陈建如
【申请人】乐视移动智能信息技术（北京）有限公司