人机交互的方法、设备及计算机可存储介质与流程

本发明涉及增强实现(augmentedreality，ar)技术领域，尤其涉及一种人机交互的方法、设备及计算机可存储介质。

背景技术：

随着ar市场的不断升温，ar技术逐渐走进大众视野，ar技术被用于游戏，文字识别等多项领域，强烈冲击传统的媒体；然而，ar技术一般用于手机或平板电脑上，屏幕小续航能力不足等这些弊端制约了ar技术的发展范围；目前机顶盒仍然是大多家庭的媒体中心，它承载着大众与广电的交互，并为用户提供了大量的高清高质量的节目。

现有的机顶盒往往都是传统机顶盒，用户必须要通过遥控器或按键的方式来进行交互，这种操控方式单调乏味，无法实现触摸操控，因此，如何实现ar技术与机顶盒相互结合，是目前亟待解决的问题。

技术实现要素：

有鉴于此，本发明实施例期望提供一种人机交互的方法、设备及计算机可存储介质，以实现接收用户的控制，利用ar技术与本地界面相互结合，能够达到触摸操控的效果，大大增强用户的体验效果。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供一种人机交互的方法，所述方法包括：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，并输出处理结果。

上述方案中，在所述提取所述手的特征信息之前，所述方法还包括：

通过所述摄像头获取所述用户图像；

判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：手在三维坐标系上的定位点，所述定位点分别位于所述手的五个手指头上以及手掌的周围。

上述方案中，在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前，所述方法还包括：

利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，在所述根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹之前，所述方法还包括：

根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；

所述几何特征包括：周长、面积、扁率和高度；

所述统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；

所述变换域特征包括：傅里叶fourier变换域、gabor函数变换域和小波wavelet变换域。

上述方案中，所述输出所述虚拟手及所述虚拟坐标系，包括：

通过高清晰度多媒体接口hdmi或者复合视频广播信号cvbs向显示单元输出所述虚拟手及所述虚拟坐标系；

所述输出处理结果，包括：

通过hdmi或者cvbs向显示单元输出所述处理结果。

本发明还提供一种人机交互的设备，所述设备包括：接口，总线，存储器，与处理器，所述接口、存储器与处理器通过所述总线相连接，所述存储器用于存储可执行程序，所述处理器被配置为运行所述可执行程序实现如下步骤：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，并输出处理结果。

上述方案中，所述处理器还被配置为运行所述可执行程序实现如下步骤：

通过所述摄像头获取所述用户图像；

判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：手在三维坐标系上的定位点，所述定位点分别位于所述手的五个手指头上以及手掌的周围。

上述方案中，所述处理器还被配置为运行所述可执行程序实现如下步骤：

利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，所述处理器还被配置为运行所述可执行程序实现如下步骤：

根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的形状变化及运动轨迹。

上述方案中，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；

所述几何特征包括：周长、面积、扁率和高度；

所述统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；

所述变换域特征包括：傅里叶fourier变换域、gabor函数变换域和小波wavelet变换域。

上述方案中，所述处理器被配置为运行所述可执行程序具体实现如下步骤：

通过高清晰度多媒体接口hdmi或者复合视频广播信号cvbs向显示单元输出所述虚拟手及所述虚拟坐标系；

所述处理器被配置为运行所述可执行程序具体实现如下步骤：

通过hdmi或者cvbs向显示单元输出所述处理结果。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序可被处理器执行，以实现以下步骤：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，并输出处理结果。

本发明提供的人机交互的方法、设备及计算机可存储介质，通过在根据标识物识别出用户图像中的手时，提取手的特征信息；将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系；根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹；根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令；根据操作指令对内容对象进行处理，并输出处理结果；利用本发明的方案，将用户的手及手的形状变化和运动轨迹实时呈现在显示单元上，并根据手的形状变化所对应的操作指令对内容对象进行处理，实现了接收用户的控制，利用ar技术与本地界面相互结合，能够达到触摸操控的效果，大大增强了用户的体验效果。

附图说明

图1为本发明人机交互的方法实施例一的流程图；

图2为本发明人机交互的方法实施例二的流程图；

图3为本发明人机交互的方法实施例二的识别出用户图像中的手的示意图；

图4为本发明人机交互的方法实施例二的场景一的示意图；

图5为本发明人机交互的方法实施例二的场景三的示意图；

图6为本发明人机交互的装置实施例的结构示意图；

图7为本发明人机交互的设备实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明人机交互的方法实施例一的流程图，如图1所示，本发明实施例提供的人机交互的方法可以应用在人机交互的装置(以下简称装置)上，该装置可以为机顶盒、电视或投影仪等等。

步骤101、在根据标识物识别出用户图像中的手时，提取手的特征信息。

装置在根据标识物识别出用户图像中的手的时候，会提取该手的特征信息；其中，用户图像是由设置在装置上的本地摄像头获取得到的，手的特征信息包括但不限于大小、形状或皮肤颜色等信息中的至少一项。

步骤102、将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系。

装置在提取到手的特征信息后，利用手的特征信息将手转化为虚拟手，并同时将手在实际坐标系中的所在的位置转化为在虚拟坐标系中的位置，其中，实际坐标系为：以摄像头为基准的三维坐标系，即以摄像头为坐标原点形成的三维坐标系；虚拟坐标系为：以实际坐标系为基准缩小预设比例后的三维坐标系，预设比例可以根据实际情况进行自适应的调整，例如，在知道了显示单元的长宽后会自动生成一个预设比例。

在确定出虚拟手及虚拟坐标系后，将虚拟手及虚拟坐标系输出到显示单元中，供显示单元实时呈现出来。

步骤103、根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹。

装置实时跟踪并获取到手在实际坐标系中的形状变化及运动轨迹之后，根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹，之后，将虚拟手在虚拟坐标系中的形状变化及运动轨迹输出到显示单元中，供显示单元实时呈现出来。

步骤104、根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令。

装置在获取到手的形状变化之后，会实时根据预设手的形状变化与操作指令的对应关系得到手的形状变化对应的操作指令；其中，预设手的形状变化与操作指令的对应关系可以为列表、表格或数据库等等的形式，事先存储在装置中，可以根据实际情况进行设置，在此不加以限制；例如，单指点击对应为点击的操作指令，单指点击并滑动对应为拖动的操作指令，双指距离由小到大拉伸对应为放大的操作指令等等。

步骤105、根据操作指令对内容对象进行处理，并输出处理结果。

装置根据对应的操作指令对内容对象进行处理并得到处理结果，之后将该处理结果通过显示单元呈现出来。

在本发明实施例中，如果装置为机顶盒的话，则显示单元可以为智能电视、投影仪或虚拟现实技术(virtualreality，vr)等用户不方便直接接触的大屏应用场景中的显示设备，将ar技术与机顶盒交互相结合，可大大提高和改进传统机顶盒人机交互单调乏味，同时操作困难的弊端。

本发明实施例提供的人机交互的方法，通过在根据标识物识别出用户图像中的手时，提取手的特征信息；将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系；根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹；根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令；根据操作指令对内容对象进行处理，并输出处理结果；利用本发明的方案，将用户的手及手的形状变化和运动轨迹实时呈现在显示单元上，并根据手的形状变化所对应的操作指令对内容对象进行处理，实现了接收用户的控制，与本地界面相互结合，能够达到触摸操控的效果，大大增强了用户的体验效果。

为了更加体现出本发明的目的，在上述实施例的基础上，进一步的举例说明。

图2为本发明人机交互的方法实施例二的流程图，如图2所示，本发明实施例提供的人机交互的方法应用在具有摄像头的机顶盒上，该方法可以包括如下步骤：

步骤201、通过摄像头获取用户图像。

机顶盒通过本地的摄像头获取当前时刻的用户图像。

步骤202、判断根据标识物是否识别出用户图像中的手。

机顶盒在获取到当前时刻的用户图像之后，判断根据标识物是否识别出用户图像中的手，若根据标识物未识别出用户图像中的手，则执行步骤203；若根据标识物识别出用户图像中的手，则执行步骤204。

其中，标识物包括：左手在三维坐标系上的定位点，及右手在三维坐标系上的定位点，定位点分别位于左手的五个手指头上以及手掌的周围，或右手的五个手指头上以及手掌的周围。

具体的，标识物类似与一个软垫，用于标识虚拟图像在视频中的位置，标识物为用户的双手的图像识别特征提取点，分别位于十个手指以及手掌上下左右前后以及三个坐标分割的八个空间象限中，它们的空间位置可用坐标表示为(0，0，1)、(0，1，0)、(1，0，0)、(0，0，-1)、(0，-1，0)、(-1，0，0)、(1，1，1)、(1，1，-1)、(1，-1，1)、(1，-1，-1)、(-1，1，1)、(-1，1，-1)、(-1，-1，1)、(-1，-1，-1)等。

例如，图3为本发明人机交互的方法实施例二的识别出用户图像中的手的示意图，如图3所示，机顶盒在获取到当前时刻的用户图像之后，会根据标识物在空间位置的定位点来判断确定用户图像中的手是否满足，在用户图像中的手的满足标识物后，确定能够识别出用户图像中的手；因为左手与右手的判断原理相同，因此在图3中仅以左手的标识物来举例说明。

步骤203、返回步骤201。

机顶盒返回步骤201，继续获取下一时刻的用户图像。

步骤204、提取手的特征信息。

机顶盒根据标识物的定位点提取手的特征信息；具体的，如图3所示，根据每个手指以及手掌周围的定位点，获取对应三维坐标矩阵集合列表；如果前景物体内部灰度值分布比较均匀，背景灰度值的分布也比较均匀，这个图像的直方图将有明显的双峰，这时可以选择两峰之间的谷底作为阈值，由于直方图不含目标的位置信息，还要结合图像的内容来确定对应的位置；通过对对应位置的像素点做卷积运算，得到手的大小、形状及皮肤颜色等信息。

步骤205、将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系。

装置在提取到手的特征信息后，利用手的特征信息将手转化为虚拟手，并同时将手在实际坐标系中的所在的位置转化为在虚拟坐标系中的位置，其中，实际坐标系为：以摄像头为基准的三维坐标系，即以摄像头为坐标原点形成的三维坐标系；虚拟坐标系为：以实际坐标系为基准缩小预设比例后的三维坐标系，预设比例可以根据实际情况进行自适应的调整，例如，在知道了显示单元的长宽后会自动生成一个预设比例。

通过高清晰度多媒体接口(highdefinitionmultimediainterface，hdmi)或者复合视频广播信号(compositevideobroadcastsignal，cvbs)向智能电视输出虚拟手及虚拟坐标系，智能电视将虚拟手在虚拟坐标系上呈现出来。

步骤206、根据摄像头获取到的手的每一帧的性能特征，预测手在实际坐标系中的形状变化及运动轨迹。

机顶盒根据摄像头获取到的手的每一帧的性能特征，预测手在实际坐标系中的形状变化及运动轨迹；性能特征包括：几何特征、统计特征、变换域特征及颜色特征；其中，几何特征包括：周长、面积、扁率和高度；统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；变换域特征包括：傅里叶(fourier)变换域、gabor函数变换域和小波(wavelet)变换域。

为了减少搜索特征匹配的区域，提高实时性，在此加入对手的形状变化及运动轨迹预测这一步骤；形状变化及运动轨迹预测也有利于增强遮挡情况下跟踪的鲁棒性；几何特征，它反映的是目标的几何性质，它仅与目标像素点的位置有关，而与其灰度无关，常用的几何特征有目标周长、面积、扁率和高度等；统计特征，如目标灰度均值与方差、直方图、熵、矩以及目标相对于背景的对比度等；变换域特征，包括forier、gabor、wavelet等变换域特征。

步骤207、利用背景差分法、帧间差分及光流法相结合的方式获取手在实际坐标系中的形状变化及运动轨迹。

机顶盒在分割出手的目标后，提取出手的特征信息，然后在下一帧图像中匹配特征信息从而跟踪目标；具体的，利用背景差分法、帧间差分及光流法相结合的方式获取手在实际坐标系中的形状变化及运动轨迹。

步骤208、根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹。

机顶盒实时跟踪并获取到手在实际坐标系中的形状变化及运动轨迹之后，根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹，之后，将虚拟手在虚拟坐标系中的形状变化及运动轨迹通过hdmi或者cvbs向智能电视输出，智能电视将虚拟手的形状变化及运动轨迹在虚拟坐标系上呈现出来。

步骤209、根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令。

机顶盒在获取到手的形状变化之后，会实时根据预设手的形状变化与操作指令的对应关系得到手的形状变化对应的操作指令；其中，预设手的形状变化与操作指令的对应关系可以为列表、表格或数据库等等的形式，事先存储在装置中，可以根据实际情况进行设置，在此不加以限制。

步骤210、根据操作指令对内容对象进行处理，并输出处理结果。

机顶盒根据对应的操作指令对内容对象进行处理并得到处理结果，之后将该处理结果通过hdmi或者cvbs向智能电视输出，供智能电视呈现处理结果。

以下为几个场景：

场景一

图4为本发明人机交互的方法实施例二的场景一的示意图，如图4所示，405为机顶盒正在播放的视频节目，401，402为对应的节目单，403为节目页面(pf)条，404为摄像头获取的用户的手投影到智能电视上的虚拟手，404会跟着用户手势的移动以及动作变化而改变；例如，404相对于屏幕上下滑动时切换频道，左右滑动时更改音量大小，体验如同真手在平板电脑上触摸滑动的操作。

场景二

如图4所示，机顶盒的系统还可以增加对手势操作动作的扩展，可以允许用户就行排列卡片一样对401及402进行自由的组合排列，同时删除的时候还可以像纸团一样揉成一团弹出废纸篓投入，增加操作的趣味乐趣。

场景三

图5为本发明人机交互的方法实施例二的场景三的示意图，如图5所示，机顶盒系统增加了模拟重力传感器的功能；在图5中当用户的双手成手握方向盘式动作时，系统会跟踪双手直接距离，进行对应的重力传感模式标示物识别辨认，当距离以及双手形状满足时，同时游戏也启动了重力传感器模块时启动模拟重力传感器的转换模式，501区域根据双手的旋转角度，转换为对应的重力传感数据提供的游戏软件，进行诸如赛车类游戏的，方向左右控制，旋转漂移等的支持。

场景四

机顶盒系统增加了体感模式，当进入体感类游戏时切换为体感模式，用户界面(userinterface，ui)会绘制出对应的体感操作对象，例如，羽毛球排，人手操作握住手柄，系统锁定手型，然后系统跟踪人手位置移动对应的标示物，转换传输对应的坐标已经体感数据到游戏场景，实现体感类游戏的控制与体验。

场景五

机顶盒系统增加了图片视频类缩放模式，用户在浏览图片或者观看视频的过程中，可以使用双手对照片进行对应的放大缩小动作，系统会识别对应的拇指与中指之间的放大缩小东西，转换对应的操作，到对应的图片浏览应用执行对应的放大缩小动作；在观看视频的过程中，可以通过手指的绘图动作进行对应的区域截屏，然后进行对应图片的缩小放大的操作。

本发明实施例提供的人机交互的方法，通过摄像头获取用户图像，在根据标识物识别出用户图像中的手时，提取手的特征信息；将手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出虚拟手及虚拟坐标系；根据摄像头获取到的手的每一帧的性能特征，预测手在实际坐标系中的形状变化及运动轨迹；利用背景差分法、帧间差分及光流法相结合的方式获取手在实际坐标系中的形状变化及运动轨迹；根据手在实际坐标系中的形状变化及运动轨迹得到虚拟手在虚拟坐标系中的形状变化及运动轨迹；根据预设手的形状变化与操作指令的对应关系，得到手的形状变化对应的操作指令；根据操作指令对内容对象进行处理，并输出处理结果；通过本发明实施例提供的技术方案，与传统方案对比，将ar技术融合在机顶盒上，机顶盒只需要通摄像头就可以接受用户的控制，与本地界面相结合，能够达到触摸操控的效果，大大增强了用户的体验效果；其次，不使用其他额外的设备，可极大丰富操作事件的定制，增强互动的效果，使用真实人手的实时显示，极大的增强了虚拟人物的现实感。

图6为本发明人机交互的装置实施例的结构示意图，如图6所示，本发明实施例提供的人机交互的装置06，包括：

提取模块61，用于在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

转化模块62，用于将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

输出模块63，用于输出所述虚拟手及所述虚拟坐标系；

所述转化模块62，还用于根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

对应模块64，用于根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

处理模块65，用于根据所述操作指令对内容对象进行处理；

所述输出模块63，还用于输出处理结果。

进一步的，所述装置还包括：

图像获取模块66，用于通过所述摄像头获取所述用户图像；

判断模块67，用于判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：手在三维坐标系上的定位点，所述定位点分别位于所述手的五个手指头上以及手掌的周围。

进一步的，所述装置还包括：

轨迹获取模块68，用于利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的运动轨迹。

进一步的，所述装置还包括：

预测模块69，用于根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的运动轨迹。

进一步的，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；

所述几何特征包括：周长、面积、扁率和高度；

所述统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；

所述变换域特征包括：傅里叶fourier变换域、gabor函数变换域和小波wavelet变换域。

进一步的，所述输出模块63，具体用于通过高清晰度多媒体接口hdmi或者复合视频广播信号cvbs向显示单元输出所述虚拟手及所述虚拟坐标系；

所述输出模块63，还具体用于通过hdmi或者cvbs向显示单元输出所述处理结果。

本实施例的装置，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图7为本发明人机交互的设备实施例的结构示意图，如图7所示，本发明实施例提供的人机交互的设备07包括：接口71，总线72，存储器73，与处理器74，所述接口71、存储器73与处理器74通过所述总线72相连接，所述存储器73用于存储可执行程序，所述处理器74被配置为运行所述可执行程序实现如下步骤：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

根据所述手在所述实际坐标系中的形状变化及运动轨迹得到所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，并输出处理结果。

进一步的，所述处理器74还被配置为运行所述可执行程序实现如下步骤：

通过所述摄像头获取所述用户图像；

判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：手在三维坐标系上的定位点，所述定位点分别位于所述手的五个手指头上以及手掌的周围。

进一步的，所述处理器74还被配置为运行所述可执行程序实现如下步骤：

利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。

进一步的，所述处理器74还被配置为运行所述可执行程序实现如下步骤：

根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的形状变化及运动轨迹。

进一步的，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；

所述几何特征包括：周长、面积、扁率和高度；

所述统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；

所述变换域特征包括：傅里叶fourier变换域、gabor函数变换域和小波wavelet变换域。

进一步的，所述处理器74被配置为运行所述可执行程序具体实现如下步骤：

通过高清晰度多媒体接口hdmi或者复合视频广播信号cvbs向显示单元输出所述虚拟手及所述虚拟坐标系；

所述处理器74被配置为运行所述可执行程序具体实现如下步骤：

通过hdmi或者cvbs向显示单元输出所述处理结果。

本实施例的设备，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

如图7所示，人机交互的设备07中的各个组件通过总线72耦合在一起；可理解，总线72用于实现这些组件之间的连接通信，总线72除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，但是为了清楚说明起见，在图7中将各种总线都标为总线72。

其中，接口71可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。

可以理解，存储器73可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram，enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)；本发明实施例描述的存储器73旨在包括但不限于这些和任意其它适合类型的存储器。

本发明实施例中的存储器73用于存储各种类型的数据以支持人机交互的设备07的操作，这些数据的示例包括：用于在人机交互的设备07上操作的任何计算机程序，如操作系统和应用程序等，其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；应用程序可以包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务，实现本发明实施例方法的程序可以包含在应用程序中。

上述本发明实施例揭示的方法可以应用于处理器74中，或者由处理器74实现；处理器74可能是一种集成电路芯片，具有信号的处理能力；在实现过程中，上述方法的各步骤可以通过处理器74中的硬件的集成逻辑电路或者软件形式的指令完成，上述的处理器74可以是通用处理器、数字信号处理器(dsp，digitalsignalprocessor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等；处理器74可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图；通用处理器可以是微处理器或者任何常规的处理器等；结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成；软件模块可以位于存储介质中，该存储介质位于存储器73，处理器74读取存储器73中的信息，结合其硬件完成前述方法的步骤。

在示例性实施例中，人机交互的设备07可以被一个或多个应用专用集成电路(asic，applicationspecificintegratedcircuit)、dsp、可编程逻辑器件(pld，programmablelogicdevice)、复杂可编程逻辑器件(cpld，complexprogrammablelogicdevice)、现场可编程门阵列(fpga，field-programmablegatearray)、通用处理器、控制器、微控制器(mcu，microcontrollerunit)、微处理器(microprocessor)、或其他电子元件实现，用于执行前述方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flashmemory、磁表面存储器、光盘、或cd-rom等存储器，也可以是包括上述存储器之一或任意组合的各种设备；所述计算机可读存储介质存储有程序，所述程序可被处理器执行，以实现以下步骤：

在根据标识物识别出用户图像中的手时，提取所述手的特征信息；

将所述手在实际坐标系中的位置转化为虚拟手在虚拟坐标系中的位置，并输出所述虚拟手及所述虚拟坐标系；其中，所述实际坐标系为：以摄像头为基准的三维坐标系；所述虚拟坐标系为：以所述实际坐标系为基准缩小预设比例后的三维坐标系；所述虚拟手是由所述手的特征信息生成的；

将所述手在所述实际坐标系中的形状变化及运动轨迹转化为所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹，并输出所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

根据预设手的形状变化与操作指令的对应关系，得到所述手的形状变化对应的操作指令；

根据所述操作指令对内容对象进行处理，得到处理结果，并输出所述处理结果。

进一步的，所述程序还可被所述处理器执行，以实现以下步骤：

通过所述摄像头获取所述用户图像；

判断根据所述标识物是否识别出所述用户图像中的所述手；其中，所述标识物包括：左手在三维坐标系上的定位点，及右手在三维坐标系上的定位点，所述定位点分别位于所述左手或所述右手的五个手指头上以及手掌的周围。

进一步的，所述程序还可被所述处理器执行，以实现以下步骤：

利用背景差分法、帧间差分及光流法相结合的方式获取所述手在所述实际坐标系中的形状变化及运动轨迹。

进一步的，所述程序还可被所述处理器执行，以实现以下步骤：

根据所述摄像头获取到的所述手的每一帧的性能特征，预测所述手在所述实际坐标系中的形状变化及运动轨迹。

进一步的，所述性能特征包括：几何特征、统计特征、变换域特征及颜色特征；

所述几何特征包括：周长、面积、扁率和高度；

所述统计特征包括：灰度均值与方差、直方图、熵、矩和相对于背景的对比度；

所述变换域特征包括：傅里叶fourier变换域、gabor函数变换域和小波wavelet变换域。

进一步的，所述程序可被所述处理器执行，以具体实现以下步骤：

通过高清晰度多媒体接口hdmi或者复合视频广播信号cvbs向显示单元输出所述虚拟手及所述虚拟坐标系；

所述输出所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹，包括：

通过hdmi或者cvbs向显示单元输出所述虚拟手在所述虚拟坐标系中的形状变化及运动轨迹；

所述输出所述处理结果，包括：

通过hdmi或者cvbs向显示单元输出所述处理结果。

本实施例的计算机可读存储介质，可以用于执行上述所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。