一种基于徒手和单目摄像头实现人机交互的方法和装置制造方法
【专利摘要】本发明公开了一种基于徒手和单目摄像头实现人机交互的方法和装置，以较为简单的硬件设备，在各种应用场景中实现操作指令的输出。所述方法包括：采集用户的单手徒手图像；检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化⊿S和/或所述位置的变化⊿P；根据所述尺寸的变化⊿S和/或所述位置的变化⊿P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。本发明实施例提供的方法需要的设备简单，成本低廉，稳定性好，单手徒手即可实现对鼠标的基本操作以及对触摸屏的基本操作，因此执行效率也较高。
【专利说明】一种基于徒手和单目摄像头实现人机交互的方法和装置
【技术领域】
[0001]本发明涉及人工智能领域，具体涉及一种基于徒手和单目摄像头实现人机交互的方法和装置。
【背景技术】
[0002]目前在世界范围内人机交互技术主要集中在通过传统的硬件设备、语音识别和视觉交互技术。传统的硬件设备，例如触摸屏、鼠标和键盘等；语音识别技术，即通过对人发出的语音进行识别，形成操作指令，例如Apple公司的Siri和讯飞公司的语点等；视觉交互技术主要研究通过计算机视觉和人工智能技术，实现人机交互。
[0003]在视觉交互技术中，微软公司的Kinect技术通过多目摄像头和深度传感器，通过一种光编码(light coding)技术实现识别人体，将人的肢体运动翻译为计算机指令。三星公司推出的SmartTV系列电视机，通过使用语音和手势相结合的方法对电视进行操作。另外，现有的视觉交互技术主要集中在手势识别方法和系统上。
[0004]现有的人机交互技术中，除了常规的交互方式外，还可以通过语音对计算机发送指令，也可以通过传感器感知人的动作。通过语音交互的方式，容易受到噪音、口音以及距离远近的影响，并且语音的交互没有方向性，只能实现简单的指令、选择。通过传感器感知人的动作这一交互方式中，典型的方式是通过数据手套或者携带各种传感器(例如加速度、红外、磁场传感器)，通过捕获手的动作，然后翻译成计算机指令，然而，这种通过传感器获取的手势，成本很高，不能徒手操作，应用场景相对收到限制。
【发明内容】
[0005]本发明实施例提供一种基于徒手和单目摄像头实现人机交互的方法和装置，以较为简单的硬件设备，在各种应用场景中实现操作指令的输出。
[0006]一种基于徒手和单目摄像头实现人机交互的方法，所述方法包括:
[0007]采集用户的单手徒手图像；
[0008]检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P ；
[0009]根据所述尺寸的变化」S和/或所述位置的变化」P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
[0010]一种基于徒手和单目摄像头实现人机交互的装置，所述装置包括:
[0011]图像采集模块，用于采集用户的单手徒手图像；
[0012]图像处理模块，用于检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P ；
[0013]手势识别模块，用于根据所述尺寸的变化」S和/或所述位置的变化」P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
[0014]从上述本发明实施例可知，采集用户的单手徒手图像可以使用常用的图像采集设备例如单目摄像头实现，并且，用户是徒手在图像采集设备面前动作，当检测到徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P后，可以根据所述尺寸的变化」S和/或所述位置的变化」P，生成相应的操作指令输出至终端。与现有技术提供的人机交互技术需要用户额外增加成本较高的设备例如数据手套相比，本发明实施例提供的方法需要的设备简单，成本低廉，稳定性好，单手徒手即可实现对鼠标的基本操作以及对触摸屏的基本操作，因此执行效率也较高。
【专利附图】
【附图说明】
[0015]图1是本发明实施例提供的基于徒手和单目摄像头实现人机交互的方法的基本流程示意图；
[0016]图2是本发明实施例提供的基于徒手和单目摄像头实现人机交互的装置逻辑结构示意图；
[0017]图3是本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置逻辑结构示意图；
[0018]图4是本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置逻辑结构示意图；
[0019]图5是本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置逻辑结构示意图；
[0020]图6是本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置逻辑结构示意图。
【具体实施方式】
[0021]本发明实施例提供一种基于徒手和单目摄像头实现人机交互的方法，包括:采集用户的单手徒手图像；检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P ;根据所述尺寸的变化」S和/或所述位置的变化」P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。本发明实施例还提供相应的基于徒手和单目摄像头实现人机交互的装置。以下分别进行详细说明。
[0022]本发明实施例的基于徒手和单目摄像头实现人机交互的方法的基本流程可参考图1，主要包括步骤:
[0023]S101，采集用户的单手徒手图像。
[0024]在本发明实施例中，所谓单手，指的是用户的左手或右手，所谓徒手，也就是裸手，是指没有安装或穿戴任何设备的手，即在实现本发明的技术方案过程中，用户的左手或右手自始至终没有安装或穿戴任何设备进行操作；用户的单手徒手图像是指目标物主要是用户的左手徒手或右手徒手构成的图像。采集用户的单手徒手图像可以通过外接普通的家用摄像头，也可以直接使用终端上提供的摄像头实现，摄像头的类型可以是单目摄像头，本发明可以对摄像头的类型不加限制。
[0025]S102，检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P。
[0026]在实现本发明方法的过程中，用户的单手会相对于图像采集设备(例如单目摄像头)前后移动和/或在同一平面内上下左右移动，这种移动会引起徒手图像中手的尺寸和/或位置的变化。可以采用图像处理硬件设备或软件模块检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化和/或所述位置的变化。为了描述方便，本发明实施例中将徒手图像中单手的尺寸使用S表示，单手的位置使用P表示，鼠标指针在屏幕的位置使用T表示，当前一帧徒手图像中P相对于前一帧徒手图像中P的变化使用Z P表示，当前一帧徒手图像中S相对于前一帧徒手图像中S的变化使用」S表示。
[0027]S103，根据徒手图像中单手尺寸的变化」S和/或位置的变化」P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
[0028]在本发明一个实施例中，终端执行与所生成操作指令相应的操作包括执行对鼠标指针的移动。如前所述，当用户单手徒手在单目摄像头在同一平面上下左右移动时，单手的尺寸S会发生变化。与此相应，作为本发明一个实施例，根据徒手图像中单手尺寸的变化」S和/或位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括以下步骤SOl和步骤S02:
[0029]S01，若徒手图像中单手的尺寸的变化」S小于第一阈值Mls且徒手图像中单手的位置在同一平面内存在变化Z P，则通过几何映射方法将经过变化后的位置映射为鼠标指针在屏幕中的位置T ;
[0030]S02，根据所述映射结果，向终端输出第一操作指令以使所述终端根据所述第一操作指令移动所述鼠标指针。作为本发明一个实施例，几何映射方法如下:假设单手的位置P={x,y},图像的长为W1,宽为Ii1,屏幕的长为w2,宽为h2,图形设备(例如，鼠标指针)在屏幕上的位置为 t={m, η},则 Iii=XXw2Zw1, ryXhhp [0031]需要说明的是，本发明所述的终端可以是传统的个人电脑(Personal Computer,PC)、手机和平板电脑等等，这些终端的输入设备既可以是传统的键盘、鼠标等，也可以是触屏。
[0032]在本发明另一实施例中，终端执行与所生成操作指令相应的操作包括执行对鼠标的点击，例如，单击或双击。用户通过单手的移动控制鼠标移动，将鼠标指针或者触摸位置标志移动到想要点击的位置，用户的单手面对图像采集设备(例如，单目摄像头)，向前快速移动做出向前推动的动作，然后再远离摄像头方向移动做出后退的动作，即可使终端执行对鼠标的单击。用户通过单手的移动控制鼠标移动，将鼠标指针或者触摸位置标志移动到想要点击的位置，先将单手面对图像采集设备(例如，单目摄像头)向前快速移动以做出向前推动的动作，然后再远离图像采集设备方向移动以做出后退的动作，此后在极短的时间内重复前述动作，即先将单手面对图像采集设备向前快速移动做出向前推动的动作，然后再远离图像采集设备方向移动做出后退的动作，即可使终端执行对鼠标的双击。上述用户的单手的动作被转化为操作指令，即相应于终端执行与所生成操作指令相应的操作包括执行对鼠标的点击的实施例，作为本发明另一实施例，根据徒手图像中单手的尺寸的变化 S和/或单手的位置的变化Z P，生成相应的操作指令输出至终端，以使终端执行与所述操作指令相应的操作包括S21和S22:
[0033]S21， 根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上需要点击的位置；鼠标指针移动至屏幕上需要点击的位置后可以予以保持。[0034]鼠标指针移动的实现过程已在前述实施例的步骤SOl和步骤S02中说明，本实施例中鼠标指针移动至屏幕上需要点击的位置的实现过程可参考前述说明，此处不再赘述。
[0035]S22，若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间」t3内所述」S仅发生一次变化过程CP，则向所述终端输出第二操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的单击，若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Z t4内所述Z S连续两次发生所述变化过程CP，则向所述终端输出第三操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的双击。
[0036]上述实施例中，时间Z t4应该是足够短，其大小应该与传统人机交互方法中双击物理鼠标时前后两次单击的间隔时间相当。特别需要说明的是，上述实施例中，变化过程Cp为手的尺寸S先变大即所述」S先大于O并且在时间」内累计所得」S (即Σ」S)大于第二阈值B2s，然后手的尺寸S变小即所述」S小于O并且在时间」t2内累计所得」S的绝对值(即Σ I」Si)大于第三阈值B3s。
[0037]在本发明又一实施例中，终端执行与所生成操作指令相应的操作包括对对象的拖拽。用户通过单手的移动控制鼠标指针移动，将鼠标指针移动到需要拖拽的对象(例如图标或者文件)上，然后将单手面对图像采集设备前推，此时终端执行摁下鼠标左键点住需要拖拽的对象，然后再移动单手的位置来控制鼠标拖拽，拖拽到想要的位置，再将单手远离图像采集设备的方向后退，则终端执行释放鼠标左键，拖拽动作完成。上述用户的单手的动作被转化为操作指令，即相应于终端执行与所生成操作指令相应的操作包括对对象的拖拽的实施例，作为本发明另一实施例，根据徒手图像中单手的尺寸的变化和/或单手的位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括如下S31至S35:
[0038]S31，根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上需要拖拽的对象；鼠标指针移动至屏幕上需要拖拽的对象后可以予以保持。
[0039]S32，在所述鼠标指针移动至屏幕上需要拖拽的对象后，若检测到所述」S大于O并且在时间Z h内累计所得Z S大于第二阈值B2s时，记录对需要拖拽的对象的选定。
[0040]S33，根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为所述鼠标指针移动至目标位置。
[0041]上述S31和S33中鼠标指针移动的实现过程已在前述实施例的步骤SOl和步骤S02中说明，本实施例中鼠标指针移动至屏幕上需要拖拽的对象或者目标位置的实现过程可参考前述说明，此处不再赘述。
[0042]S34，在所述目标位置检测到所述Z S小于O并且在时间」t2内累计所得」S的绝对值大于第三阈值B3s时，记录对需要拖拽的对象的释放。
[0043]S35，向所述终端输出第四操作指令以使所述终端根据所述第四操作指令执行对所述对象的拖拽。
[0044]在本发明又一实施例中，终端执行与所生成操作指令相应的操作包括执行对鼠标左键或右键的长摁。用户通过单手的移动控制鼠标指针移动，将鼠标指针移动到需要选定的对象(例如图标或者文件)上，然后将单手面对图像采集设备前推，此时终端执行摁下鼠标左键或右键并保持一定时间，则终端执行对鼠标左键或右键的长摁。上述用户的单手的动作被转化为操作指令，即相应于终端执行与所述操作指令相应的操作包括执行对鼠标左键或右键的长摁的实施例，作为本发明另一实施例，根据手的尺寸的变化和/或手的位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括如下S41至S44:
[0045]S41，根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上的目标位置；鼠标指针移动至屏幕上的目标位置后可以予以保持。
[0046]上述S41中鼠标指针移动的实现过程已在前述实施例的步骤SOl和步骤S02中说明，本实施例中鼠标指针移动至屏幕上需要拖拽的对象或者目标位置的实现过程可参考前述说明，此处不再赘述。需要说明的是，屏幕上的目标位置可以是屏幕上的一块空白区域，也可以是屏幕上某个目标对象所在位置。
[0047]S42，在检测到所述Z S大于O并且在时间」&内累计所得」S大于第二阈值B2s时，记录对所述目标位置的选定。
[0048]S43，保持对所述目标位置的选定至一段时间。
[0049]S44，向所述终端输出第五操作指令以使所述终端根据所述第五操作指令执行对所述鼠标左键或右键的长摁。
[0050]从上述本发明实施例提供的基于徒手和单目摄像头实现人机交互的方法可知，采集用户的徒手图像可以使用常用的图像采集设备例如单目摄像头实现，并且，用户是徒手在图像采集设备面前动作，当检测到徒手图像中手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P后，可以根据所述尺寸的变化」S和/或所述位置的变化- P，生成相应的操作指令输出至终端。与现有技术提供的人机交互技术需要用户额外增加成本较高的设备例如数据手套相比，本发明实施例提供的方法需要的设备简单，成本低廉，稳定性好，单手徒手即可实现对鼠标的基本操作以及对触摸屏的基本操作，因此执行效率也较闻。
[0051]下面对用于执行上述基于徒手和单目摄像头实现人机交互的方法的本发明实施例的基于基于徒手和单目摄像头实现人机交互的装置进行说明，其基本逻辑结构参考图2，主要包括图像采集模块201、图像处理模块202和手势识别模块203，各模块详细说明如下:
[0052]图像采集模块201，用于采集用户的单手徒手图像；
·[0053]图像处理模块202，用于检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P ；
[0054]手势识别模块203，用于根据所述尺寸的变化」S和/或所述位置的变化」P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
[0055]需要说明的是，以上附图2示例的基于徒手和单目摄像头实现人机交互的装置的实施方式中，各功能模块的划分仅是举例说明，实际应用中可以根据需要，例如相应硬件的配置要求或者软件的实现的便利考虑，而将上述功能分配由不同的功能模块完成，即将所述基于徒手和单目摄像头实现人机交互的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。而且，实际应用中，本实施例中的相应的功能模块可以是由相应的硬件实现，也可以由相应的硬件执行相应的软件完成，例如，前述的图像采集模块，可以是具有执行前述采集用户的单手徒手图像的硬件，例如图像采集器，也可以是能够执x行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备；再如前述的图像处理模块，可以是具有执行前述检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化」S和/或所述位置的变化」P功能的硬件，例如图像处理器，也可以是能够执行相应计算机程序从而完成前述功能的一般处理器或者其他硬件设备(本说明书提供的各个实施例都可应用上述描述原则)。
[0056]附图2示例的基于徒手和单目摄像头实现人机交互的装置中，终端执行与所述操作指令相应的操作包括执行对鼠标指针的移动，手势识别模块203可以包括映射单元301和第一输出单元302，如附图3所示本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置，其中:
[0057]映射单元301，用于若所述尺寸的变化Z S小于第一阈值Mls且所述位置在同一平面内存在所述变化- P，则通过几何映射方法将所述经过变化后的位置映射为鼠标指针在屏幕中的位置T ;
[0058]第一输出单元302，用于根据所述映射结果，向所述终端输出第一操作指令以使所述终端根据所述第一操作指令移动所述鼠标指针。
[0059]附图2示例的基于徒手和单目摄像头实现人机交互的装置中，终端执行与所述操作指令相应的操作包括执行对鼠标的点击，例如单击或双击等，手势识别模块203可以包括第一移动单元401和第二输出单元402，如附图4所示本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置，其中:
[0060] 第一获取单元401，用于根据徒手图像中单手尺寸的变化」S和位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上需要点击的位置；鼠标指针移动至屏幕上需要点击的位置后可以予以保持；
[0061]第二输出单元402，用于若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Z t3内所述Z S仅发生一次变化过程CP，则向所述终端输出第二操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的单击，若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Z t4内所述Z S连续两次发生所述变化过程Cp，则向所述终端输出第三操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的双击。
[0062]附图4示例的基于徒手和单目摄像头实现人机交互的装置中，鼠标指针移动的实现具体可以通过附图3示例的映射单元301和第一输出单元302来实现，所述时间」t4应该是足够短，其大小应该与传统人机交互方法中双击物理鼠标时前后两次单击的间隔时间相当，而变化过程Cp为所述」S先大于O并且在时间」内累计所得」S大于第二阈值B2s，然后所述」S小于O并且在时间」t2内累计所得」S的绝对值大于第三阈值B3s。
[0063]附图2示例的基于徒手和单目摄像头实现人机交互的装置中，终端执行与所述操作指令相应的操作包括对对象的拖拽，手势识别模块203可以包括第二获取单元505、第一记录单元501、第三获取单元502、第二记录单元503和第三输出单元504，如附图5所示本发明另一实 施例提供的基于徒手和单目摄像头实现人机交互的装置，其中:
[0064]第二获取单元505，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为 所述鼠标指针移动至屏幕上需要拖拽的对象；鼠标指针移动至屏幕上需要拖拽的对象后可以予以保持；[0065]第一记录单元501，用于在所述鼠标指针移动至屏幕上需要拖拽的对象后，若检测到所述」S大于O并且在时间」内累计所得」S大于第二阈值B2s时，记录对所述对象的选定；
[0066]第三获取单元502，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为所述鼠标指针移动至目标位置；
[0067]第二记录单元503，用于在所述目标位置检测到所述」S小于O并且在时间」t2内累计所得 S的绝对值大于第三阈值B3s时，记录对所述对象的释放；
[0068]第三输出单元504，用于向所述终端输出第四操作指令以使所述终端根据所述第四操作指令执行对所述对象的拖拽。
[0069]同样地，附图5示例的基于徒手和单目摄像头实现人机交互的装置中，鼠标指针移动的实现具体可以通过附图3示例的映射单元301和第一输出单元302来实现。
[0070]附图2示例的基于徒手和单目摄像头实现人机交互的装置中，终端执行与所述操作指令相应的操作包括对鼠标左键或右键的长摁，手势识别模块203可以包括第四获取单元603、第三记录单元604、保持单元601和第四输出单元602，如附图6所示本发明另一实施例提供的基于徒手和单目摄像头实现人机交互的装置，其中:
[0071]第四获取单元603，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上 的目标位置；鼠标指针移动至屏幕上的目标位置后可以予以保持；
[0072]第三记录单元604，用于在所述鼠标指针移动至屏幕上的目标位置后，若检测到所述」S大于O并且在时间」&内累计所得」S大于第二阈值B2s时，记录对所述目标位置的选定；
[0073]保持单元601，用于保持对所述目标位置的选定至一段时间；
[0074]第四输出单元602，用于向所述终端输出第五操作指令以使所述终端根据所述第五操作指令执行对所述鼠标左键或右键的长摁。
[0075]同样地，附图6示例的基于徒手和单目摄像头实现人机交互的装置中，鼠标指针移动的实现具体可以通过附图3示例的映射单元301和第一输出单元302来实现。
[0076]需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其带来的技术效果与本发明方法实施例相同，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
[0077]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括:只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
[0078]以上对本发明实施例所提供的一种基于徒手和单目单目摄像头实现人机交互的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.一种基于徒手和单目摄像头实现人机交互的方法，其特征在于，所述方法包括:采集用户的单手徒手图像；检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化Z S和/或所述位置的变化 P ；根据所述尺寸的变化Z S和/或所述位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
2.根据权利要求1所述的方法，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标指针的移动；所述根据所述尺寸的变化Z S和/或所述位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括:若所述尺寸的变化」S小于第一阈值Mls且所述位置在同一平面内存在所述变化」P，则通过几何映射方法将所述经过变化后的位置映射为鼠标指针在屏幕中的位置T ；根据所述映射结果，向所述终端输出第一操作指令以使所述终端根据所述第一操作指令移动所述鼠标指针。
3.根据权利要求1所述的方法，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标的点击，所述点击包括单击或双击；所述根据所述尺寸的变化Z S和/或所述位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括:根据所述尺寸的变化Z S和所述位置的变化Z P，获得检测的结果为鼠标指针移动至屏幕上需要点击的位置；若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Z t3内所述Z S仅发生一次变化过程CP，则向所述终端输出第二操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的单击，若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间」t4内所述」S连续两次发生所述变化过程CP，则向所述终端输出第三操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的双击；所述变化过程Cp为所述」S先大于O并且在时间」内累计所得」S大于第二阈值B2s，然后所述」S小于O并且在时间」t2内累计所得」S的绝对值大于第三阈值B3s。
4.根据权利要求1所述的方法，其特征在于，所述终端执行与所述操作指令相应的操作包括对对象的拖拽；所述根据所述尺寸的变化Z S和/或所述位置的变化Z P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括:根据所述尺寸的变化Z S和所述位置的变化Z P，获得检测的结果为鼠标指针移动至屏幕上需要拖拽的对象；在所述鼠标指针移动至屏幕上需要拖拽的对象后，若检测到所述Z S大于O并且在时间」内累计所得」S大于第二阈值B2s时，记录对所述对象的选定；根据所述尺寸的变化 S和所述位置的变化Z P，获得检测的结果为所述鼠标指针移动至目标位置；在所述目标位置检测到所述Z S小于O并且在时间Z t2内累计所得Z S的绝对值大于第三阈值B3s时，记录对所述对象的释放；向所述终端输出第四操作指令以使所述终端根据所述第四操作指令执行对所述对象的拖拽。
5.根据权利要求1所述的方法，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标左键或右键的长摁；所述根据所述尺寸的变化Δ S和/或所述位置的变化Δ P，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作包括:根据所述尺寸的变化Δ S和所述位置的变化Δ P，获得检测的结果为鼠标指针移动至屏幕上的目标位置；在所述鼠标指针移动至屏幕上的目标位置后，若检测到所述Δ S大于O并且在时间Δt1内累计所得ΔS大于第二阈值B2s时，记录对所述目标位置的选定；保持对所述目标位置的选定至一段时间；向所述终端输出第五操作指令以使所述终端根据所述第五操作指令执行对所述鼠标左键或右键的长摁。
6.一种基于徒手和单目摄像头实现人机交互的装置，其特征在于，所述装置包括:图像采集模块，用于采集用户的单手徒手图像；图像处理模块，用于检测所述徒手图像中单手的尺寸和/或位置以及所述尺寸的变化ΔS和/或所述位置的变化ΔP ；手势识别模块，用于根据所述尺寸的变化ΔS和/或所述位置的变化ΔP，生成相应的操作指令输出至终端，以使所述终端执行与所述操作指令相应的操作。
7.根据权利要求6所述的装置，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标指针的移动，所述手势识别模块包括:映射单元，用于若所述尺寸的变化ΔS小于第一阈值Mls且所述位置在同一平面内存在所述变化Δ P，则通过几何映射方法将所述经过变化后的位置映射为鼠标指针在屏幕中的位置T ;第一输出单元，用于根据所述映射结果，向所述终端输出第一操作指令以使所述终端根据所述第一操作指令移动所述鼠标指针。
8.根据权利要求6所述的装置，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标的点击，所述点击包括单击或双击，所述手势识别模块包括:第一获取单元，用于根据所述尺寸的变化ΔS和所述位置的变化ΔP，获得检测的结果为鼠标指针移动至屏幕上需要点击的位置；第二输出单元，用于若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Δt3内所述ΔS仅发生一次变化过程CP，则向所述终端输出第二操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的单击，若所述检测的结果为所述鼠标指针移动至屏幕上需要点击的位置后，在时间Δt4内所述ΔS连续两次发生所述变化过程CP，则向所述终端输出第三操作指令以使所述终端根据所述第二操作指令执行对所述鼠标的双击;所述变化过程Cp为所述ΔS先大于O并且在时间Δ内累计所得ΔS大于第二阈值B2s，然后所述ΔS小于O并且在时间Δt2内累计所得ΔS的绝对值大于第三阈值B3s。
9.根据权利要求6所述的装置，其特征在于，所述终端执行与所述操作指令相应的操作包括对对象的拖拽，所述手势识别模块包括:第二获取单元，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕上需要拖拽的对象；第一记录单元，用于在所述鼠标指针移动至屏幕上需要拖拽的对象后，若检测到所述」S大于O并且在时间」A内累计所得」S大于第二阈值B2s时，记录对所述对象的选定；第三获取单元，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为所述鼠标指针移动至目标位置；第二记录单元，用于在所述目标位置检测到所述」S小于O并且在时间」t2内累计所得Z S的绝对值大于第三阈值B3s时，记录对所述对象的释放；第三输出单元，用于向所述终端输出第四操作指令以使所述终端根据所述第四操作指令执行对所述对象的拖拽。
10.根据权利要求6所述的装置，其特征在于，所述终端执行与所述操作指令相应的操作包括执行对鼠标左键或右键的长摁，所述手势识别模块包括:第四获取单元，用于根据所述尺寸的变化」S和所述位置的变化」P，获得检测的结果为鼠标指针移动至屏幕 上的目标位置；第三记录单元，用于在所述鼠标指针移动至屏幕上的目标位置后，若检测到所述Z S大于O并且在时间」内累计所得」S大于第二阈值B2s时，记录对所述目标位置的选定；保持单元，用于保持对所述目标位置的选定至一段时间；第四输出单元，用于向所述终端输出第五操作指令以使所述终端根据所述第五操作指令执行对所述鼠标左键或右键的长摁。
【文档编号】G06F3/01GK103440033SQ201310363211
【公开日】2013年12月11日 申请日期:2013年8月19日 优先权日:2013年8月19日
【发明者】庞建新, 程俊 申请人:中国科学院深圳先进技术研究院