一种手势操控方法及装置的制造方法
【专利摘要】本发明实施例提供一种手势操控方法及装置，方法为，当确定采集到的第一图像中含有设定手势时，显示选项菜单；当采集到的第二图像中触控部落入选项菜单区域时，确定触控部的坐标落入的区域；根据触控部的坐标落入的区域，确定触控部指向的选项；根据确定的选项，执行相应的操作。采用本发明实施例提供的方案，由于通过手势选择选项菜单中的选项，不需要使用遥控器等工具，使得用户操作更加简便，提高了用户体验，并减少了使用成本。
【专利说明】
一种手势操控方法及装置
技术领域
[0001]本发明实施例涉及计算机技术领域，尤其涉及一种手势操控方法及装置。
【背景技术】
[0002]随着计算机水平的提高，利用计算机进行环境的仿真模拟带给人们不一样的体验，其中利用虚拟现实技术(VR，VirtualReality)和增强现实技术(AR，AugmentedReality)制作的终端设备(例如:VR头盔和AR眼镜等)逐渐应用在不同的领域。虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种模拟环境，通常是将真实世界阻隔在外。增强现实技术是将真实世界信息和虚拟世界信息集成的新技术，可以把原本在现实世界的一定时间空间范围内很难体验到的实体信息，模拟仿真后再叠加，将虚拟的信息应用到真实世界。采用这两种技术制作的终端设备可以为用户提供很多服务，包括视觉、声音、味道和触觉等体验。那么如何为用户提供方便的人机交互体验是一个重要的问题。
[0003]目前，现有的人机交互主要采用遥控器、键盘和鼠标等实体工具，通过工具上的按键选取菜单项，触发相应的操作。在采用上述工具操控菜单的过程中，当用户与现实世界阻隔时，无法看到工具上的按键，只能凭借经验操作，这样可能会发生误操作的情况，用户体验差。另外，每个终端设备都配有操控工具，提高了成本。
【发明内容】
[0004]本发明实施例提供一种手势操控方法及装置，用以解决现有技术中的人机交互过程中采用实体工具操控菜单导致的用户体验差、成本高的问题。
[0005]本发明实施例提供一种手势操控方法，包括:
[0006]当确定采集到的第一图像中含有设定手势时，显示选项菜单；
[0007]当采集到的第二图像中触控部落入选项菜单区域时，确定所述触控部的坐标落入的区域；
[0008]根据触控部的坐标落入的区域，确定触控部指向的选项；
[0009]根据确定的选项，执行相应的操作。
[0010]本发明实施例提供一种手势操控装置，包括:
[0011]显示单元，用于确定采集到的第一图像中含有设定手势时，显示选项菜单；
[0012]区域确定单元，用于当采集到的第二图像中触控部落入选项菜单区域时，确定所述触控部的坐标落入的区域；
[0013]选项确定单元，用于根据触控部的坐标落入的区域，确定触控部指向的选项；
[0014]操控单元，用于根据确定的选项，执行相应的操作。
[0015]本发明实施例提供的手势操控方法及装置，有益效果:由于通过手势选择选项菜单中的选项，不需要使用遥控器等工具，使得用户操作更加简便，提高了用户体验，并减少了使用成本。
【附图说明】
[0016]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本发明实施例提供的手势操控方法的流程图；
[0018]图2为本发明实施例1中手势操控方法的流程图；
[0019]图3为本发明实施例2中手势操控装置的结构示意图。
【具体实施方式】
[0020]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021]本发明实施例提供一种手势操控方法，如图1所示，包括:
[0022]步骤101、当确定采集到的第一图像中含有设定手势时，显示选项菜单。
[0023]步骤102、当采集到的第二图像中触控部落入选项菜单区域时，确定该触控部的坐标落入的区域。
[0024]步骤103、根据触控部的坐标落入的区域，确定触控部指向的选项。
[0025]步骤104、根据确定的选项，执行相应的操作。
[0026]本发明实施例中，手势操控方法可以应用在虚拟现实头盔和增强现实眼镜等设备上，这些设备上安装有图像采集装置，例如摄像头等。该设定手势可以根据实际需要进行灵活设置，例如，该设定手势可以为五指伸开，手掌面正对图像采集装置。触控部是在选择选项菜单中的选项时，触控物体与选项菜单区域的重叠部分，其中，该触控物体可以为手指指尖、触控笔等。触控部的坐标可以采用现有技术中的体感控制器Leap Mot1n或开源计算机视觉库(Open CV, Open Source Computer Vis1n Library)对触控部进行处理得到。
[0027]本发明实施例中，通过预设的手势，激活虚拟菜单的显示，在显示的虚拟菜单上进行操作，不需要使用遥控器等工具，使得用户操作更加简便，提高了用户体验，并减少了使用成本。
[0028]下面结合附图，用具体实施例对本发明提供的方法及装置进行详细描述。
[0029]实施例1:
[0030]本发明实施例1以手势操控虚拟现实头盔，触控物体为手指指尖为例，图2为本发明实施例1提供的手势操控方法的流程图，具体包括如下处理步骤:
[0031]步骤201、采集含有设定手势的第一图像。
[0032]本发明实施例中，虚拟现实(VR，VirtualReality)头蓝上安装摄像头采集摄像头前方的图像，该摄像头可以为普通的USB摄像头，也可以为深度摄像头。摄像头可以按照预设周期采集图像，该预设周期可以根据实际经验和需要进行灵活设置。
[0033]当用户想要通过手势操控VR头盔时，在摄像头前做该设定手势动作，例如:五指伸开，手掌面正对摄像头，不限制手指的朝向，做设定手势动作的目的是为了激活选项菜单。实际上，摄像头采集前方的当前图像后，将当前图像发送给VR头盔的中央处理器中的图像识别模块，由图像识别模块对该当前图像进行处理，确定该当前图像中是否包括设定手势，具体的，可以提取该当前图像中的手势特征，将提取的手势特征与设定手势的手势特征进行匹配，如果匹配成功，则该当前图像为包括设定手势的第一图像。
[0034]步骤202、以设定的第一参考点在第一图像的坐标位置作为选项菜单的位置参考点，确定该选项菜单的显示区域。
[0035]本步骤中，在确定设定手势后，以设定手势为五指伸开为例，在第一图像的手掌和手指的轮廓内设定第一参考点，将该第一参考点作为显示选项菜单位置的参考点，确定选项菜单的显示区域。选项菜单中选项的数量、各选项内容，以及各选项之间的位置都是预设好的，固定的，因此一旦确定其中的一个参考点，选项菜单的位置即被确定。
[0036]例如:可以选取拇指指尖作为第一参考点，选项菜单共有16个选项，4行4列依次排列，选项之间的位置固定且每个位置对应的选项内容也是固定的。选项菜单整体的形状可以是规则的，例如:矩形等，也可以是不规则的形状，例如:排列成设定手势的形状。以第一参考点的坐标位置作为选项菜单的位置参考点，例如，可以将矩形选项菜单的中心与第一参考点的坐标位置重合，确定选型菜单的显示区域。
[0037]步骤203、在确定的选项菜单的显示区域，显示选项菜单的各选项。
[0038]步骤204、采集手指指尖落入选项菜单区域的第二图像。
[0039]本发明实施例中，用户通过VR头盔看到显示的选项菜单后，伸出另一只手的一只手指指尖指向选项菜单。对于VR头盔来说，在显示选项菜单后，摄像头将采集的前方的当前图像发送给VR头盔的中央处理器中的图像识别模块，由图像识别模块对该当前图像进行处理，确定是否采集到手指指尖落入选项菜单区域的第二图像，具体的，可以提取该当前图像中的手势特征，当提取的手势特征满足五指中四指合拢、一指伸开的特征时，确定当前图像为手指指尖落入选项菜单区域的第二图像。
[0040]在采集到手指指尖落入选项菜单区域的第二图像后，确定手指指尖的坐标落入的区域，将手指指尖的坐标落入的区域与第二图像中每一个选项区域的位置进行比较，确定手指指尖的坐标所在区域，进而确定手指指尖指向的选项，具体处理方式如步骤205-步骤207。
[0041]步骤205、确定该第二图像中选项菜单中各选项所在区域包含的像素点对应的坐标区域。
[0042]本发明实施例中，选项菜单中各选项所在区域之间可以有间隔，也可以没有间隔。如果各选项所在区域之间没有间隔即选项区域之间具有公共边界，预先设置公共边界所属的选项区域，例如，对于左右两个选项区域，可以设置公共边界属于左侧选项区域，对于上下两个选项区域，可以设置公共边界属于上侧选项区域。
[0043]步骤206、获取手指指尖的坐标。
[0044]本发明实施例中，手指指尖的坐标可以采用现有技术中的体感控制器LeapMot1n 或开源计算机视觉库(Open CV, Open Source Computer Vis1n Library)对触控部进行处理得到。
[0045]步骤207、将手指指尖的坐标与该选项菜单中各选项所在区域包含的像素点的坐标进行比较，确定是否存在包含手指指尖的坐标的第一选项区域，如果是，进入步骤208，如果否，进入步骤210。
[0046]步骤208、确定手指指尖的坐标落入该第一选项区域。
[0047]步骤209、根据确定的第一选项区域对应的选项，执行相应的操作。
[0048]本步骤中，选项菜单上的每一个选项是预先设置的，例如:选项可以为播放、暂停、快进或者快退。进一步的，选项菜单上的每一个选项可以对应两个操作，例如:一个选项可以为播放和暂停，可以设置该选项对应的初始操作为播放，即第一次触发该选项的操作为播放，选项菜单在显示开始以后，可以按时间依次记录每一次对该选项的操作。当确定选取的该选项为手指指尖指向的选项后，确定对该选项执行上一次操作对应的菜单内容，如果上一次执行播放操作，则当前本次执行暂停操作；如果上一次执行暂停操作，则当前本次执行播放操作。当选项菜单停止显示时，删除所有选项操作的记录。
[0049]步骤210、确定手指指尖落入非选项区域。
[0050]当选项菜单的选项所在的区域之间存在间隔时，如果选项菜单里不存在保护手指指尖坐标的选项区域时，确定手指指尖落入非选项区域，也就是说，手指指尖在选项菜单的显示区域中，落入选项所在区域之间的间隔内。
[0051]通过本发明实施例1提供的上述手势操控方法，由于通过手势选择选项菜单中的选项，不需要使用遥控器等工具，使得用户操作更加简便，提高了用户体验，并减少了使用成本。
[0052]实施例2:
[0053]基于同一发明构思，根据本发明上述实施例提供的手势操控方法，相应地，本发明实施例2还提供了一种手势操控装置，其结构示意图如图3所示，具体包括:
[0054]显示单元301，用于当采用图像采集装置采集到包括设定手势的第一图像时，显示选项菜单。
[0055]本发明实施例中，图像采集装置可以为普通的USB摄像头，也可以为深度摄像头。摄像头可以按照预设周期采集图像，该预设周期可以根据实际经验和需要进行灵活设置。当用户想要通过手势操控VR头盔时，在摄像头前做该设定的手势动作，例如:五指伸开，手掌面正对摄像头，不限制手指的朝向，做设定的手势动作的目的是为了激活选项菜单。实际上，摄像头采集前方的当前图像后，将当前图像发送给VR头盔的中央处理器中的图像识别模块，由图像识别模块对该当前图像进行处理，确定该当前图像中是否包括设定手势，具体的，可以提取该当前图像中的手势特征，将提取的手势特征与设定手势的手势特征进行匹配，如果匹配成功，则该当前图像为包括设定手势的第一图像。
[0056]在确定设定手势后，以设定手势为五指伸开为例，在手掌和手指的轮廓内选取第一参考点，将该第一参考点作为显示选项菜单位置的参考点，确定选项菜单的显示区域。选项菜单中选项的数量、各选项内容，以及各选项之间的位置都是预设好的，固定的，因此一旦确定其中的一个参考点，选项菜单的位置即被确定。
[0057]例如:可以选取拇指指尖作为第一参考点，选项菜单的各选项之间的位置是固定的，例如:选项菜单共有16个选项，4行4列依次排列，选项之间的位置固定且每个位置对应的选项内容也是固定的。选项菜单整体的形状可以是规则的，例如:矩形等，也可以是不规则的形状，例如:排列成设定手势的形状。以第一参考点的坐标位置作为选项菜单的位置参考点，例如，可以将矩形选项菜单的中心与第一参考点的坐标位置重合，确定选型菜单的显示区域。
[0058]区域确定单元302，用于当采集到的第二图像中触控部落入选项菜单区域时，确定触控部的坐标落入的区域。
[0059]本发明实施例中，触控部是在选择选项菜单中的选项时，触控物体与选项菜单区域的重叠部分，其中，该触控物体可以为手指指尖、触控笔等。以触控物体为手指指尖为例，用户看到显示的选项菜单后，伸出另一只手的一只手指指向选项菜单。在显示选项菜单后，区域确定单元302对采集的前方的手指指尖落入选项菜单区域的当前图像，即第二图像进行处理，确定手指指尖的坐标落入的区域。
[0060]选项确定单元303，用于根据触控部的坐标落入的区域，确定触控部指向的选项。
[0061]操控单元304，用于根据确定的选项，执行相应的操作。
[0062]本发明实施例中，选项菜单上的每一个选项是预先设置的，例如:选项可以为播放、暂停、快进或者快退。进一步的，选项菜单上的每一个选项可以对应两个操作，例如:一个选项可以为播放和暂停，，可以设置该选项对应的初始操作为播放，即第一次触发该选项的操作为播放，选项菜单在显示开始以后，可以按时间依次记录每一次对该选项的操作。当确定选取的该选项为触控部指向的选项后，确定对该选项执行上一次操作对应的菜单内容，如果上一次执行播放操作，则当前本次执行暂停操作；如果上一次执行暂停操作，则当前本次执行播放操作。当选项菜单停止显示时，删除所有选项操作的记录。
[0063]进一步的，显示单元301，具体用于以设定的第一参考点的坐标位置作为选项菜单的位置参考点，确定选项菜单的显示区域；在确定的选项菜单的显示区域，显示选项菜单的各选项。
[0064]进一步的，区域确定单元302，具体用于确定第二图像中选项菜单中各选项所在区域包含的像素点对应的坐标区域；获取所述触控部的坐标；将所述触控部的坐标与所述选项菜单中各选项所在区域包含的像素点对应的坐标进行比较，确定是否存在包含所述触控部的坐标的第一选项区域；如果存在，确定所述触控部的坐标落入所述第一选项区域；如果不存在，确定所述触控部落入非选项区域。
[0065]当选项菜单的选项所在的区域之间存在间隔时，如果选项菜单里每一个选项所在区域都不存在与手指指尖的坐标相同的像素点时，确定手指指尖落入非选项区域，也就是说，手指指尖在选项菜单的显示区域中，落入选项所在区域之间的间隔内。
[0066]进一步的，上述装置，还包括:
[0067]停止显示单元305，用于当确定采集的第三图像中未含有所述设定手势时，停止显示该选项菜单。
[0068]进一步的，该设定手势为五指伸开，手掌面正对该图像采集装置。
[0069]上述各单元的功能可对应于图1或图2所示流程中的相应处理步骤，在此不再赘述。
[0070]本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
[0071]综上所述，本发明实施例提供的方案，包括:当确定采集到的第一图像中含有设定手势时，显示选项菜单；当采集到的第二图像中触控部落入选项菜单区域时，确定触控部的坐标落入的区域；根据触控部的坐标落入的区域，确定触控部指向的选项；根据确定的选项，执行相应的操作。采用本发明实施例提供的方案，由于通过手势选择选项菜单中的选项，不需要使用遥控器等工具，使得用户操作更加简便，提高了用户体验，并减少了使用成本。
[0072]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0073]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0074]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【主权项】
1.一种手势操控方法，其特征在于，包括: 当确定采集到的第一图像中含有设定手势时，显示选项菜单； 当采集到的第二图像中触控部落入选项菜单区域时，确定所述触控部的坐标落入的区域； 根据所述触控部的坐标落入的区域，确定所述触控部指向的选项； 根据确定的选项，执行相应的操作。2.根据权利要求1所述的方法，其特征在于，显示选项菜单，具体包括: 以设定的第一参考点的坐标位置作为选项菜单的位置参考点，确定所述选项菜单的显示区域； 在确定的所述选项菜单的显示区域，显示所述选项菜单的各选项。3.根据权利要求1所述的方法，其特征在于，确定所述触控部的坐标落入的区域，具体包括: 确定所述第二图像中所述选项菜单中各选项所在区域包含的像素点对应的坐标区域； 获取所述触控部的坐标； 将所述触控部的坐标与所述选项菜单中各选项所在区域包含的像素点的对应的坐标进行比较，确定是否存在包含所述触控部的坐标的第一选项区域； 如果存在，确定所述触控部的坐标落入所述第一选项区域； 如果不存在，确定所述触控部落入非选项区域。4.根据权利要求1所述的方法，其特征在于，还包括: 当确定采集的第三图像中未含有所述设定手势时，停止显示所述选项菜单。5.根据权利要求1-4任一所述的方法，其特征在于，所述设定手势为五指伸开，手掌面正对图像采集装置。6.一种手势操控装置，其特征在于，包括: 显示单元，用于确定采集到的第一图像中含有设定手势时，显示选项菜单； 区域确定单元，用于当采集到的第二图像中触控部落入选项菜单区域时，确定所述触控部的坐标落入的区域； 选项确定单元，用于根据所述触控部的坐标落入的区域，确定所述触控部指向的选项； 操控单元，用于根据确定的选项，执行相应的操作。7.根据权利要求6所述的装置，其特征在于，所述显示单元，具体用于以设定的第一参考点的坐标位置作为选项菜单的位置参考点，确定所述选项菜单的显示区域；在确定的所述选项菜单的显示区域，显示所述选项菜单的各选项。8.根据权利要求6所述的装置，其特征在于，所述区域确定单元，具体用于确定所述第二图像中所述选项菜单中各选项所在区域包含的像素点对应的坐标区域；获取所述触控部的坐标；将所述触控部的坐标与所述选项菜单中各选项所在区域包含的像素点对应的坐标进行比较，确定是否存在包含所述触控部的坐标的第一选项区域；如果存在，确定所述触控部的坐标落入所述第一选项区域；如果不存在，确定所述触控部落入非选项区域。9.根据权利要求6所述的装置，其特征在于，还包括: 停止显示单元，用于当确定采集的第三图像中未含有所述设定手势时，停止显示所述选项菜单。10.根据权利要求6-9任一所述的装置，其特征在于，所述设定手势为五指伸开，手掌面正对图像采集装置。
【文档编号】G06F3/0484GK105867599SQ201510505966
【公开日】2016年8月17日
【申请日】2015年8月17日
【发明人】聂林, 于燕, 黄波
【申请人】乐视致新电子科技（天津）有限公司