一种人机交互系统及方法
【专利摘要】本申请提供了一种人机交互系统及方法，解决了Kinect与XBOX360操作系统以外的操作系统或终端的兼容性以及因为Kinect系统和应用占用系统资源而不利于应用的运行及更新的问题。所述人机交互系统包括体感信息和/或语音信息采集装置、客户端和云服务器，所述体感信息和/或语音信息采集装置用于采集用户的体感信息和/或语音信息；所述客户端包括信息获取模块、映射模块、指令发送模块及第二内容接收模块；所述云服务器包括指令接收模块、指令处理模块及第二内容发送模块。本申请通过映射文件将肢体和语音指令转换为云服务器可识别的操作指令，从而实现了Kinect与电脑、机顶盒等各种终端的融合。
【专利说明】一种人机交互系统及方法
【技术领域】
[0001]本申请涉及人机交互系统及方法，特别是涉及将体感和/或语音交互技术与云服务器相融合的人机交互系统及方法。
【背景技术】
[0002]随着体感及语音交互等人机交互技术的发展，越来越多的娱乐及游戏装置出现在消费者面前。微软于2005年推出了配置功能强大的游戏机XB0X360之后，又于2010年推出了与XB0X360的体感周边外设Kinect。
[0003]Kinect的关键技术在于其光编码系统和音频处理系统，其中，光编码系统采用的是红外线发射器、红外线CMOS摄像机及RGB彩色摄像机。由红外线发射器发出具有三维纵深的“体编码”，这种“体编码”叫做激光散斑(laser speckle)，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案。只要在空间中打上这样的结构光，整个空间就都被做了标记，红外线CMOS摄像机就用来记录空间中的散斑。当把一个物体放进这个空间时，只要测量物体上面的散斑图案，就可以知道该物体的位置。Kinect的音频处理系统采用了四元线性麦克风阵列，并结合了噪音抑制、回声消除等技术，使得对声音的辨识度更高。
[0004]但是，由于XB0X360的操作系统是微软自行研发的，而其相应的游戏也是必须能够被该操作系统所兼容的，因此用户就不能通过肢体或语音玩其他系统(如Linux系统)上的游戏。
[0005]此外，Kinect系统在运行时将占据XB0X360大约10%_15%的CPU资源，业界评论家称如此数量的CPU能耗增加将使得目前的游戏更加不可能通过软件更新的方式来增加Kinect 功能。
【发明内容】
[0006]为了解决上述问题，本申请提供了一种人机交互系统，包括体感信息和/或语音信息采集装置、客户端和云服务器，其中，
[0007]所述体感信息和/或语音信息采集装置用于采集用户的体感信息和/或语音信息；
[0008]所述客户端包括信息获取模块，用于自所述体感信息和/或语音信息采集装置获取采集的所述用户的体感信息和/或语音信息；映射模块，用于根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令；指令发送模块，用于将所述操作指令发送至云服务器；第二内容接收模块，用于接收自所述云服务器发送的所述内容的部分数据。
[0009]所述云服务器包括指令接收模块，用于接收由客户端发送的所述操作指令；指令处理模块，用于根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的第一内容；第二内容发送模块，用于将所述内容的部分数据发送至所述客户端，其中，所述第二内容是所述第一内容的子内容。
[0010]优选地，所述系统还包括网页服务器，所述网页服务器包括请求接收模块，用于接收客户端发送的关于所述对象的映射文件的请求；标识接收模块，用于接收云服务器发送的所述对象的标识；映射文件检索模块，用于检索与所述对象标识相对应的映射文件；以及映射文件发送模块，用于将所述检索到的映射文件发送至客户端；
[0011]进一步地，所述客户端包括对象位置信息获取模块，用于获取所述选择对象的位置信息；对象位置信息发送模块，用于将所述选择对象的位置信息发送给云服务器；映射文件请求模块，用于向所述网页服务器发出请求，以获取与所述选择对象对应的映射文件；
[0012]进一步地，所述云服务器包括选择对象位置信息接收模块，用于接收所述选择对象的位置信息；标识确定模块，用于根据所述位置信息确定所述选择对象以及所述选择对象的标识；以及标识发送模块，用于将所述标识发送给所述网页服务器。
[0013]优选地，所述客户端包括PC机、机顶盒、电视、便携终端、平板和投影机。
[0014]优选地，所述信息获取模块进一步包括红外线发射单元、红外线摄像单元、RGB彩色摄像单元以及多点阵列麦克风。
[0015]优选地，所述选择对象的位置信息包括所述选择对象在显示页面上的坐标。
[0016]相应的，本申请还提供了一种人机交互方法，包括:
[0017]体感信息和/或语音信息采集装置采集用户的体感信息和/或语音信息；
[0018]客户端自所述体感信息和/或语音信息采集装置获取采集的所述用户的体感信息和/或语音信息；根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令；将所述操作指令发送至云服务器；
[0019]云服务器接收由客户端发送的所述操作指令；根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的第一内容；将第二内容发送至所述客户端，其中，所述第二内容是所述第一内容的子内容；
[0020]客户端接收自所述云服务器发送的所述第二内容。
[0021]优选地，在采集用户的体感信息和/或语音信息步骤之前还包括:
[0022]在客户端中选择对象，客户端将所述选择对象的位置信息发送给云服务器；
[0023]客户端向网页服务器发出请求，以获取与所述选择对象对应的映射文件；
[0024]云服务器接收所述选择对象的位置信息，根据所述位置信息确定所述选择对象以及所述选择对象的标识，并将所述标识发送给所述网页服务器；
[0025]所述网页服务器接收客户端发送的关于所述对象的映射文件的请求，以及接收云服务器发送的所述标识，检索与所述标识相对应的映射文件，将所述检索到的映射文件发送至客户端。
[0026]优选地，所述获取用户的体感信息进一步包括:通过红外线感应获取用户所在的空间位置。
[0027]优选地，所述操作指令包括可被服务器识别的按键指令和鼠标指令。
[0028]优选地，所述选择对象的位置信息包括所述选择对象在显示页面上的坐标。
[0029]与现有技术相比，本申请包括以下优点:
[0030]1.本发明通过将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令实现了 Kinect与PC机、机顶盒、电视、便携终端或平板的融合，增强了 Kinect的可扩展性。
[0031]2.通过XB0X360接入网络需要用户另外付费使用微软提供的XBOX Live，而本发明将Kinect与PC机、机顶盒、电视、便携终端或平板结合后，用户就可以使用其已有的网络类型使用应用，从而降低了用户的消费成本。
[0032]3.本发明以云服务器取代传统的服务器后，所有的应用都是在云服务器上运行，PC机、机顶盒、电视、便携终端或平板只显示虚拟的应用画面，该虚拟的应用画面不占用系统资源，因此，用户不需要为其PC机、机顶盒、电视、便携终端或平板配置功能强大的硬件或软件以配合应用的运行。
【专利附图】
【附图说明】
[0033]图1是本发明人机交互系统实施例1的示意图。
[0034]图2是本发明人机交互系统实施例2的示意图。
[0035]图3是本发明人机交互方法实施例1的示意图。
[0036]图4是本发明人机交互方法实施例2的示意图。
【具体实施方式】
[0037]为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本申请作进一步详细的说明。
[0038]参照图1,示出了本申请实施例1人机交互系统的示意图，包括体感信息和/或语音信息采集装置100、客户端110和云服务器120。
[0039]体感信息和/或语音信息采集装置100可为具有体感信息和语音信息采集功能的装置，例如Kinect。
[0040]客户端110可为PC机、机顶盒、电视、便携终端、平板、投影机以及其他具有显示功能的装置。
[0041 ] 云服务器120是一种类似VPS服务器的虚拟化技术，VPS是采用虚拟软件，VZ或VM在一台服务器上虚拟出多个类似独立服务器的部分，每个部分都有云服务器的一个镜像，都可以做单独的操作系统，管理方法同服务器一样。
[0042]以下将分别对体感信息和/或语音信息采集装置100、客户端110和云服务器120的结构进行说明。
[0043]以Kinect为例说明体感信息和/或语音信息采集装置100。Kinect的主要结构为三个摄像头、内置阵列麦克风系统以及底座马达。左右两边摄像头分别为红外线发射器和红外线CMOS摄像机，中间的镜头是RGB彩色摄像机。
[0044]红外线发射器发出激光散斑(laser speckle),光线经过扩散分布在测量的空间内，这些散斑具有高度的随机性，而且会随着距离的不同变换图案，即空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。标定的方法是:每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设Natal规定的用户活动空间是距离电视机I米到4米的范围，每隔IOcm取一个参考平面，那么标定下来就保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和保存下来的30幅参考图像依次做互相关运算，这样会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。
[0045]当光射到人体之后会形成反射斑点，红外线CMOS摄像机就用来记录空间中的散斑，通过芯片合成出3D深度信息的图像。
[0046]RGB彩色摄像机用于获取彩色图像，通过该摄像机获得的图像呈现出不同的颜色块，这些颜色块表示物体在空间的距离。识别到3D图像深度信息后，通过软件计算出人体主要的骨骼位置，通过精确掌握玩家身形轮廓与肢体位置来判断玩家的姿势动作。
[0047]内置阵列麦克风系统采用了四元线性麦克风阵列，这一阵列由4个独立的水平分布在Kinect下方的麦克风组成。虽然每一个麦克风都捕获相同的音频信号，但是组成阵列可以探测到声音的来源方向。使得能够用来识别从某一个特定的方向传来的声音。麦克风阵列捕获的音频数据流经过复杂的音频增强效果算法处理来移除不相关的背景噪音。所有这些复杂操作在Kinect硬件和Kinect SDK之间进行处理,这使得能够在一个大的空间范围内，即使人离麦克风一定的距离也能够进行语音命令的识别。
[0048]底座马达采用了对焦技术,底座马达会随着对焦物体的移动而相应地转动。
[0049]由此，Kinect的三个摄像头、内置阵列麦克风系统以及底座马达相互配合共同完成了肢体动作信息及语音信息的捕捉。
[0050]客户端110包括信息获取模块111、映射模块112、指令发送模块113及第二内容接收模块114。其中:
[0051]信息获取模块111用于自体感信息和/或语音信息采集装置100获取采集到的用户体感信息和/或语音信息。
[0052]所述信息获取模块111可以通过外部线路与体感信息和/或语音信息采集装置100相接，所述信息获取模块111自体感信息和/或语音信息采集装置100获取到的体感信息和/或语音信息是肢体的空间位置数据和/或音频数据流。
[0053]映射模块112，用于根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器120可识别的操作指令。
[0054]映射模块112中嵌入一应用程序，通过运行该应用程序可将云服务器120中的每个游戏涉及到的体感信息和/或语音信息转换为所述云服务器120可识别的操作指令。该应用程序可由程序人员根据客户端类型及操作系统类型使用JAVA语音或C语言编写的应用程序。该应用程序定义了用户的不同的姿势动作或语义所对应的电脑键盘或鼠标指令。
[0055]当用户做出某一肢体动作或发出语音指令时，信息获取模块111获取到用户的肢体的空间位置数据和/或音频数据流，并根据这些数据来判断用户采用了哪一种姿势动作，将该姿势动作与映射文件中的该游戏所涉及到的姿势动作进行对照，若符合映射文件中的该游戏所涉及到的某一姿势动作，则通过该应用程序将用户的姿势动作转换为云服务器120可识别的键盘信息或鼠标信息。该键盘信息或鼠标信息可以是用户在游戏环境下需要操作的某一组电脑键盘或鼠标。
[0056]以下通过一实例说明所述映射文件中肢体动作与云服务器120可识别的键盘信息或鼠标信息的对应关系。例如当用户向左挥手时通过上述步骤得知用户采用了向左挥手的姿势动作，映射文件中规定向左挥手映射为键盘A按下。又例如当用户向右挥手时通过上述步骤得知用户采用了向右挥手的姿势动作，映射文件中规定向右挥手映射为键盘A抬起。
[0057]指令发送模块113，用于将所述操作指令发送至云服务器120。
[0058]在上述实例中，指令发送模块113将键盘A按下或键盘A抬起指令发送给云服务器 120。
[0059]第二内容接收模块114，用于接收自所述云服务器发送的所述内容的部分数据。
[0060]云服务器120接收到的自指令发送模块113发送的键盘A按下或键盘A抬起指令获取相应的游戏内容并把游戏内容的部分数据发送给第二内容接收模块114，并由第二内容接收模块114接收该部分数据。该内容包括游戏的程序代码、图像数据等信息，而发送给第二内容接收模块114的数据是指该游戏在客户端显示的图像数据。
[0061]云服务器120，包括指令接收模块121、指令处理模块122以及第二内容发送模块123。其中:
[0062]指令接收模块121，用于接收由客户端发送的所述操作指令。
[0063]所述指令接收模块121是与客户端110中的指令发送模块113相对应的，指令发送模块113将键盘A按下、键盘A抬起等操作指令发送给云服务器120，该操作指令由云服务器120中的指令接收模块121接收。
[0064]指令处理模块122，用于根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的内容。
[0065]以上述实例进行说明，指令处理模块122调用sendmessage函数,通过游戏窗口参数(如hwnd)、键盘指令参数(如wm-keyup、wm_keydown)、鼠标指令参数(如mousemove、mousefirst)等参数指定键盘A按下指令和键盘A抬起指令对应“前进”和“停止前进”，该语句运行后游戏图像便改为游戏人物前进图像和游戏人物停止前进图像。
[0066]第二内容发送模块303，用于将所述内容的部分数据发送至所述客户端。
[0067]以上述实例进行说明，指令处理模块122获取的内容包括游戏的程序代码、图像数据等信息，所述部分数据指该游戏在客户端显示的图像数据，第二内容发送模块124仅将游戏的图像数据发送给客户端，并由客户端的显示器呈现给用户。
[0068]参照图2,示出了本申请实施例2人机交互系统的示意图,包括体感信息和/或语音信息采集装置200、客户端210、网页服务器230和云服务器220。
[0069]体感信息和/或语音信息采集装置200可为具有体感信息和语音信息采集功能的装置，例如Kinect。
[0070]客户端210可为PC机、机顶盒、电视、便携终端、平板、投影机以及其他具有显示功能的装置。
[0071]网页服务器的英文名称是Web Server，也称为web服务器或WWW (WORLD WIDE WEB)服务器，主要功能是提供网上信息浏览服务。Web服务器可以解析HTTP协议。当Web服务器接收到一个HTTP请求，会返回一个HTTP响应，例如送回一个HTML页面。为了处理一个请求，Web服务器可以响应一个静态页面或图片，进行页面跳转，或者把动态响应的产生委托给一些其它的程序例如 CGI 脚本，JSP (JavaServer Pages)脚本、servlets、ASP (ActiveServer Pages)脚本、服务器端JavaScript,或者一些其它的服务器端技术。无论这些脚本的目的如何，这些服务器端的程序通常产生一个HTML的响应来让浏览器可以浏览。
[0072]Web服务器的代理模型是当一个请求被送到Web服务器里来时，它只单纯的把请求传递给可以很好的处理请求的程序(服务器端脚本)。Web服务器仅仅提供一个可以执行服务器端程序和返回程序所产生的响应的环境，而不会超出职能范围。服务器端程序通常具有事务处理，数据库连接和消息等功能。
[0073]云服务器220是一种类似VPS服务器的虚拟化技术，VPS是采用虚拟软件，VZ或VM在一台服务器上虚拟出多个类似独立服务器的部分，每个部分都有云服务器的一个镜像，都可以做单独的操作系统，管理方法同服务器一样。
[0074]体感信息和/或语音信息采集装置200的结构已在实施例1中加以说明，在此不再赘述。以下将分别对客户端210、网页服务器230和云服务器220的结构进行说明。
[0075]客户端210包括信息获取模块211、映射模块212、指令发送模块213、第二内容接收模块214、对象位置信息获取模块204、对象位置信息发送模块205和映射文件请求模块206。
[0076]信息获取模块211、映射模块212和指令发送模块213已在实施例1中加以说明，此处不再赘述。
[0077]对象位置信息获取模块205，用于获取所述选择对象的位置信息。
[0078]以用户选择游戏B为例进行说明，当用户通过电脑显示界面选定游戏B时，对象位置信息获取模块204获取游戏B在该画面中的位置数据，该位置数据可以为游戏B在该画面中的坐标值。
[0079]对象位置信息发送模块205，用于将所述选择对象的位置信息发送给云服务器220。
[0080]当对象位置信息获取模块204获取游戏B在该画面中的位置数据后，由对象位置信息发送模块205将该位置数据发送给云服务器220。
[0081]映射文件请求模块206，用于向所述网页服务器发出请求，以获取与所述选择对象对应的映射文件。
[0082]映射文件存储在网页服务器中，需要客户端210中的映射文件请求模块206向所述网页服务器发出请求，由所述网页服务器将映射文件发送给客户端210。
[0083]网页服务器230包括请求接收模块231、标识接收模块232、映射文件检索模块234以及映射文件发送模块235，其中:
[0084]请求接收模块231，用于接收客户端210发送的关于所述对象的映射文件的请求。
[0085]网页服务器230中存储了所有应用的映射文件，当客户端210需要某一个应用(如游戏B)的映射文件时，由客户端210发出请求，请求接收模块231接收该请求。
[0086]标识接收模块232，用于接收云服务器220发送的所述对象的标识。
[0087]云服务器220根据用户在客户端210上选择的对象所对应的位置信息确定该位置信息所对应的对象，并查找该对象的标识，把该标识发送给网页服务器230，由网页服务器230中的标识接收模块232接收该标识。
[0088]映射文件检索模块234，用于检索与所述对象标识相对应的映射文件。
[0089]网页服务器230接收用户所选择的对象的标识之后，映射文件检索模块234从数据库中检索与该对象标识所对应的映射文件。该对象可以为一个游戏，该映射文件是该游戏中涉及的肢体和/或语音指令与电脑键盘和/或鼠标指令的对应关系。
[0090]映射文件发送模块235，用于将所述检索到的映射文件发送至客户端210。
[0091]映射文件检索模块234在检索到与所述对象标识相对应的映射文件之后，将该映射文件发送至客户端210，客户端210根据该映射文件，通过应用程序将肢体和/或语音指令翻译为电脑键盘和/或鼠标指令。
[0092]云服务器220包括指令接收模块221、指令处理模块222、内容发送模块223、第二内容发送模块224、选择对象位置信息接收模块225、标识确定模块226以及标识发送模块227。
[0093]云服务器220包括指令接收模块221、指令处理模块222、内容发送模块223及第二内容发送模块224已在实施例1中加以说明，此处不再赘述。
[0094]选择对象位置信息接收模块225，用于接收所述选择对象的位置信息。
[0095]例如，当用户通过电脑显示界面选定游戏B时，对象位置信息获取模块204获取游戏B在该画面中的位置数据，该位置数据可以为游戏B在该画面中的坐标值。该位置数据由对象位置信息发送模块205发送给云服务器220，并由云服务器220中的选择对象位置信息接收模块225接收。
[0096]标识确定模块226，用于根据所述位置信息确定所述选择对象以及所述选择对象的标识。
[0097]云服务器220根据用户在客户端210上选择的对象所对应的位置信息(如坐标数据)查找该画面下该位置所对应的对象，并查找该对象的标识。该对象可以为一个游戏，该游戏在终端显示器呈现的画面中对应一坐标值，标识确定模块226通过该坐标值及该画面确定该游戏的标识。
[0098]标识发送模块227，用于将所述标识发送给所述网页服务器230。
[0099]标识确定模块226确定选择对象所对应的标识后，由标识发送模块227将该标识发送给网页服务器230，由网页服务器230根据该标识查找该对象所对应的映射文件。
[0100]参照图3，示出了本申请实施例1人机交互方法的示意图，以下将对该方法进行说明。
[0101]步骤S31:体感信息和/或语音信息采集装置采集用户的体感信息和/或语音信肩、O
[0102]以Kinect为例说明体感信息和/或语音信息采集装置采集用户的体感信息和/或语音信息的原理。Kinect的主要结构为三个摄像头、内置阵列麦克风系统以及底座马达。左右两边摄像头分别为红外线发射器和红外线CMOS摄像机，中间的镜头是RGB彩色摄像机。
[0103]红外线发射器发出激光散斑(laser speckle),光线经过扩散分布在测量的空间内，这些散斑具有高度的随机性，而且会随着距离的不同变换图案，即空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的光，整个空间就都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源的标定。标定的方法是:每隔一段距离，取一个参考平面，把参考平面上的散斑图案记录下来。假设Natal规定的用户活动空间是距离电视机I米到4米的范围，每隔IOcm取一个参考平面，那么标定下来就保存了30幅散斑图像。需要进行测量的时候，拍摄一副待测场景的散斑图像，将这幅图像和保存下来的30幅参考图像依次做互相关运算，这样会得到30幅相关度图像，而空间中有物体存在的位置，在相关度图像上就会显示出峰值。把这些峰值一层层叠在一起，再经过一些插值，就会得到整个场景的三维形状了。
[0104]当光射到人体之后会形成反射斑点，红外线CMOS摄像机就用来记录空间中的散斑，通过芯片合成出3D深度信息的图像。
[0105]RGB彩色摄像机将获得的图像呈现出不同的颜色块表示物体在空间的距离。识别到3D图像深度信息后，通过软件计算出人体主要的骨骼位置，通过精确掌握玩家身形轮廓与肢体位置来判断玩家的姿势动作。
[0106]内置阵列麦克风系统采用了四元线性麦克风阵列，这一阵列由4个独立的水平分布在Kinect下方的麦克风组成。虽然每一个麦克风都捕获相同的音频信号，但是组成阵列可以探测到声音的来源方向。使得能够用来识别从某一个特定的方向传来的声音。麦克风阵列捕获的音频数据流经过复杂的音频增强效果算法处理来移除不相关的背景噪音。所有这些复杂操作在Kinect硬件和Kinect SDK之间进行处理,这使得能够在一个大的空间范围内，即使人离麦克风一定的距离也能够进行语音命令的识别。
[0107]底座马达采用了对焦技术,底座马达会随着对焦物体的移动而相应地转动。
[0108]由此，Kinect的三个摄像头、内置阵列麦克风系统以及底座马达相互配合共同完成了肢体动作信息及语音信息的捕捉。
[0109]步骤S32:客户端自所述体感信息和/或语音信息采集装置获取采集的所述用户的体感?目息和/或语首?目息。
[0110]以Kinect为例，用户的肢体动作及语音信息被Kinect获取，该肢体动作及语音信息是肢体的空间位置数据和/或音频数据流，客户端自Kinect获取的是用户的肢体的空间位置数据和/或音频数据流。
[0111]步骤S33:根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令。
[0112]客户端嵌入一应用程序，通过运行该应用程序可将云服务器中的每个游戏涉及到的体感信息和/或语音信息转换为所述云服务器可识别的操作指令。该应用程序可由程序人员根据客户端类型及操作系统类型使用JAVA语音或C语言编写的应用程序。该应用程序定义了用户的不同的姿势动作或语义所对应的电脑键盘或鼠标指令。
[0113]当用户做出某一肢体动作或发出语音指令时，体感信息和/或语音信息采集装置获取到用户的肢体的空间位置数据和/或音频数据流，并根据这些数据来判断用户采用了哪一种姿势动作，将该姿势动作与映射文件中的该游戏所涉及到的姿势动作进行对照，若符合映射文件中的该游戏所涉及到的某一姿势动作，则通过该应用程序将用户的姿势动作转换为云服务器可识别的键盘信息或鼠标信息。该键盘信息或鼠标信息可以是用户在游戏环境下需要操作的某一组电脑键盘或鼠标。
[0114]以下以一实例说明所述映射文件中肢体动作与云服务器可识别的键盘信息或鼠标信息的对应关系。例如当用户向左挥手时通过上述步骤得知用户采用了向左挥手的姿势动作，映射文件中规定向左挥 手映射为键盘A按下。又例如当用户向右挥手时通过上述步骤得知用户采用了向右挥手的姿势动作，映射文件中规定向右挥手映射为键盘A抬起。
[0115]步骤S34:将所述操作指令发送至云服务器。
[0116]在上述实例中，客户端将键盘A按下或键盘A抬起的指令发送给云服务器。
[0117]步骤S35:云服务器接收由客户端发送的所述操作指令。
[0118]客户端将键盘A按下或键盘A抬起的指令发送给云服务器后，由云服务器接收该指令。
[0119]步骤S36:根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的第一内容。
[0120]以上述实例进行说明，云服务器中的相应模块调用sendmessage函数，通过游戏窗口参数(如hwnd)、键盘指令参数(如wm-keyup、wm_keydown)、鼠标指令参数(如mousemove>mousefirst)等参数指定键盘A按下指令和键盘A抬起指令对应“前进”和“停止前进”，该语句运行后游戏图像便改为游戏人物前进图像和游戏人物停止前进图像。
[0121]步骤S37:将第二内容发送至所述客户端，其中，所述第二内容是所述第一内容的子内容。
[0122]以上述实例进行说明，云服务器获取的内容包括游戏的程序代码、图像数据等信息，所述部分数据指该游戏在客户端显示的图像数据，云服务器仅将游戏的图像数据发送给客户端。
[0123]步骤S38:客户端接收自所述云服务器发送的所述第二内容。
[0124]客户端接收云服务器发送游戏的图像数据，并由客户端的显示器呈现给用户。
[0125]参照图4，示出了本申请实施例2人机交互方法的示意图，以下将对该方法进行说明。
[0126]步骤S401:在客户端中选择对象，客户端将所述选择对象的位置信息发送给云服务器。
[0127]以用户选择游戏B为例进行说明，当用户通过电脑显示界面选定游戏B时，客户端获取游戏B在该画面中的位置数据，该位置数据可以为游戏B在该画面中的坐标值。
[0128]步骤S402:客户端向网页服务器发出请求，以获取与所述选择对象对应的映射文件。
[0129]网页服务器中存储了所有应用的映射文件，当客户端需要某一个应用(如游戏B)的映射文件时，由客户端向网页服务器发出请求。该映射文件是该游戏中涉及的肢体和/或语音指令与电脑键盘和/或鼠标指令的对应关系。
[0130]步骤S403:云服务器接收所述选择对象的位置信息，根据所述位置信息确定所述选择对象以及所述选择对象的标识，并将所述标识发送给所述网页服务器。
[0131]云服务器根据用户在客户端上选择的对象所对应的位置信息(如坐标数据)查找该画面下该位置所对应的对象，并查找该对象的标识。该对象可以为一个游戏，该游戏在终端显示器呈现的画面中对应一坐标值，云服务器通过该坐标值及该画面确定该游戏的标识。云服务器确定选择对象所对应的标识后，将该标识发送给网页服务器。
[0132]步骤S404:所述网页服务器接收客户端发送的关于所述对象的映射文件的请求，以及接收云服务器发送的所述标识，检索与所述标识相对应的映射文件，将所述检索到的映射文件发送至客户端。[0133]网页服务器接收客户端发送的选择对象的标识，从数据库中检索与该对象标识所对应的映射文件。该对象可以为一个游戏，该映射文件是该游戏中涉及的肢体和/或语音指令与电脑键盘和/或鼠标指令的对应关系。网页服务器响应接收到的客户端发送的关于所述对象的映射文件的请求，将检索到的映射文件发送给客户端。
[0134]步骤S401—步骤S404是在启动一个应用时客户端获取该应用的映射文件的过程，之后用户进入应用环境中，发出体感信息和/或语音信息，通过将获取的用户体感数据和/或语音数据与映射文件中的动作或语音指令进行比对，若符合某一指令，则将该指令转换为相应的键盘和/或鼠标指令。
[0135]步骤S405—步骤S412与实施例1中的步骤S31—步骤S38是相同的，在此不再赘述。
[0136]本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0137]以上对本申请所提供的一种人机交互系统及方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
【权利要求】
1.一种人机交互系统，包括: 体感信息和/或语音信息采集装置、客户端和云服务器，其中， 所述体感信息和/或语音信息采集装置用于采集用户的体感信息和/或语音信息； 所述客户端包括信息获取模块，用于自所述体感信息和/或语音信息采集装置获取采集的所述用户的体感信息和/或语音信息；映射模块，用于根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令；指令发送模块，用于将所述操作指令发送至云服务器；第二内容接收模块，用于接收自所述云服务器发送的所述内容的部分数据。 所述云服务器包括指令接收模块，用于接收由客户端发送的所述操作指令；指令处理模块，用于根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的第一内容；第二内容发送模块，用于将所述内容的部分数据发送至所述客户端，其中，所述第二内容是所述第一内容的子内容。
2.根据权利要求1所述的系统，其特征在于，还包括网页服务器，所述网页服务器包括请求接收模块，用于接收客户端发送的关于所述对象的映射文件的请求；标识接收模块，用于接收云服务器发送的所述对象的标识；映射文件检索模块，用于检索与所述对象标识相对应的映射文件；以及映射文件发送模块，用于将所述检索到的映射文件发送至客户端； 进一步地，所述客户端包括对象位置信息获取模块，用于获取所述选择对象的位置信息；对象位置信息发送模块，用于将所述选择对象的位置信息发送给云服务器；映射文件请求模块，用于向所 述网页服务器发出请求，以获取与所述选择对象对应的映射文件； 进一步地，所述云服务器包括选择对象位置信息接收模块，用于接收所述选择对象的位置信息；标识确定模块，用于根据所述位置信息确定所述选择对象以及所述选择对象的标识；以及标识发送模块，用于将所述标识发送给所述网页服务器。
3.根据权利要求1所述的系统，其特征在于，所述客户端包括PC机、机顶盒、电视、便携终端、平板和投影机。
4.根据权利要求1所述的系统，其特征在于，所述信息获取模块进一步包括红外线发射单元、红外线摄像单元、RGB彩色摄像单元以及多点阵列麦克风。
5.根据权利要求2所述的系统，其特征在于，所述选择对象的位置信息包括所述选择对象在显示页面上的坐标。
6.一种人机交互方法，包括: 体感信息和/或语音信息采集装置采集用户的体感信息和/或语音信息； 客户端自所述体感信息和/或语音信息采集装置获取采集的所述用户的体感信息和/或语音信息；根据预置的映射文件将所述体感信息和/或语音信息映射为所述云服务器可识别的操作指令；将所述操作指令发送至云服务器； 云服务器接收由客户端发送的所述操作指令；根据所述操作指令调用相关联的函数，以及根据调用结果获取与所述操作指令相对应的第一内容；将第二内容发送至所述客户端，其中，所述第二内容是所述第一内容的子内容； 客户端接收自所述云服务器发送的所述第二内容。
7.根据权利要求6所述的方法，其特征在于，在采集用户的体感信息和/或语音信息步骤之前还包括:在客户端中选择对象，客户端将所述选择对象的位置信息发送给云服务器； 客户端向网页服务器发出请求，以获取与所述选择对象对应的映射文件； 云服务器接收所述选择对象的位置信息，根据所述位置信息确定所述选择对象以及所述选择对象的标识，并将所述标识发送给所述网页服务器； 所述网页服务器接收客户端发送的关于所述对象的映射文件的请求，以及接收云服务器发送的所述标识，检索与所述标识相对应的映射文件，将所述检索到的映射文件发送至客户端。
8.根据权利要求6所述的方法，其特征在于，所述获取用户的体感信息进一步包括:通过红外线感应获取用户所在的空间位置。
9.根据权利要求6所述的方法，其特征在于，所述操作指令包括可被服务器识别的按键指令和鼠标指令。
10.根据权利要求7所述的方法，其特征在于，所述选择对象的位置信息包括所述选择对象在显示页面上的坐标。
【文档编号】G06F3/01GK103914129SQ201310001102
【公开日】2014年7月9日 申请日期:2013年1月4日 优先权日:2013年1月4日
【发明者】邓迪 申请人:云联（北京）信息技术有限公司