一种体感互动的人机交互方法及系统与流程

本发明涉及人机交互技术领域，尤其涉及一种体感互动的人机交互方法及系统。

背景技术：

体感游戏是一种将肢体动作变化通过传感器传给游戏设备来进行操作的新型电子游戏，它突破了以往单纯以手柄按键输入的操作方式，进而能带给玩家更好的游戏体验。体感游戏不仅适用在电子游戏中，而且可以适用于非接触式人机交互，以增加科技的趣味性和可参与性，但是现有技术中，体感传感器作为一种数据采集设备，只具备了人体识别，数据生成的功能，并不能直接满足人机互动的直接需求，同时这种人机交互设备存在互动延迟，使得人机互动体验较差。

技术实现要素：

基于背景技术存在的技术问题，本发明提出了一种体感互动的人机交互方法及系统，提高了人机互动的体验度，实现了非接触式人机互动，增加了科技的趣味性可参与性。

本发明提出的一种体感互动的人机交互方法，包括如下步骤：

通过体感传感器获取人体肢体图像数据，得到以体感传感器为原点的三维坐标系；

将三维坐标系进行齐次坐标转化，得到体感二维坐标系；

选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到触发图像在平面坐标系中的位置坐标；

依次根据不同时间所获取触发图像的位置坐标，得到触发图像的运动向量；

当运动向量大于预设的运动阀值时，显示屏幕显示画面，实现人机交互。

进一步地，在所述将三维坐标系进行齐次坐标转化，得到体感二维坐标系中，具体包括：

以体感传感器为原点的三维坐标系依次乘以世界转换矩阵、视角转换矩阵和投影转换矩阵，得到以体感传感器为原点的体感二维坐标系。

进一步地，在选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到每一帧触发图像的位置坐标中，其中，选取体感二维坐标系中的第一图像作为触发图像，具体包括：

根据显示屏幕预设的平面坐标系，标定显示屏幕边缘的位置坐标，并对显示屏幕边缘的位置坐标进行归一化处理；

选择第一图像上的某一点作为触发点，分别记录触发点触发显示屏幕边缘四角的位置，边缘四角的位置作为触发点的触发限位位置；

获取并保存触发限位位置在归一化处理后显示屏幕预设的平面坐标系中的坐标值和在体感二维坐标系中的坐标值，得到平面坐标系与体感二维坐标系的坐标对应关系；

根据平面坐标系与体感二维坐标系的坐标对应关系，计算得到平面坐标系与体感二维坐标系之间的映射公式；

通过映射公式将体感二维坐标系中的坐标值映射到平面坐标系中进行显示，以实现体感互动。

进一步地，在所述选取人体运动姿态图像中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到每一帧触发图像的位置坐标中，所述第一图像为手和肘的图像，其中，在将触发图像映射到显示屏幕预设的平面坐标系之前，包括：

根据第一图像判断手和肘是否举过头顶；

若是，则将触发图像映射到显示屏幕预设的平面坐标系；

若否，则重新通过体感传感器获取人体肢体图像数据。

进一步地，在所述根据归一化后的显示屏幕边缘的位置坐标标定触发图像边缘的位置坐标，将触发图像中的运动参数映射到显示屏幕上中，触发图像映射到显示屏幕上所采用的公式如下：

显示屏幕映射到触发图像所采用的的公式如下：

其中，(y0、y1)为触发图像中某一点在体感二维坐标系中的坐标，(x0、x1)为显示屏幕中某一点在平面坐标系中的坐标，a0和a1为常数。

进一步地，所述世界转换矩阵为单位矩阵，所述体感传感器的参数为：宽为1920，高为1080，角度为70°，宽高比参数设置为16/9,锥形体夹角为70°，近截面为0.01，远截面为4.51；

视角转换矩阵的构建包括：

设定体感传感器的彩色摄像头的位置为(0,0,0)和目标位置设定为(0,0,4.5)；

基于默认的上向量，构建视觉转换，得到视角转换矩阵。

一种体感互动的人机交互系统，包括获取模块、坐标转化模块、空间映射模块、坐标拼接模块和人机互动模块；

获取模块用于通过体感传感器获取人体肢体图像数据，得到以体感传感器为原点的三维坐标系；

坐标转化模块用于将三维坐标系进行齐次坐标转化，得到体感二维坐标系

空间映射模块用于选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到每一帧触发图像的位置坐标；

坐标拼接模块用于依次根据不同时间所获取触发图像的位置坐标，得到触发图像的运动向量；

人机互动模块用于当运动向量大于预设的运动阀值时，显示屏幕显示画面，实现人机交互。

一种计算机可读储存介质，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如权利要求1至6任一所述的人机交互方法。

一种人机交互设备，包括储存器、处理器以及储存在所述储存器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如上所述的人机交互方法。

本发明提供的一种体感互动的人机交互方法及系统的优点在于：本发明结构中提供的一种体感互动的人机交互方法及系统，通过将人体肢体图像数据中的挥手动作在显示屏幕的平面坐标系中进行显示，实现显示屏幕根据人体姿态进行显示的现象，可以在显示屏幕上显示云、雨、雪等天气现象，以模拟根据人体挥手姿态，实现自然现象的交替，同时也可以通过显示流水状态，可以模拟水之循环现象；将体感传感器获取的人体肢体图像数据转化为满足人机互动的直接需求的数据，显示屏幕根据人肢体动作从而显示不同画面，可以实现非接触式人机互动，增加了科技的趣味性可参与性。在实际应用场景中，本系统可以灵活的与多种尺寸，成像设备结合，如各种尺寸的透明屏、投影机、拼接电视等结合，支持最多6个人同时互动的多点需求，满足丰富多样的交互需求。

附图说明

图1为本发明一种体感互动的人机交互方法的步骤流程图；

图2为平面坐标点与体感二维坐标点的对应示意图；

具体实施方式

下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

如图1和2所示，本发明提出的一种体感互动的人机交互方法及系统，一种体感互动的人机交互方法，其特征在于，包括如下步骤：

s1：通过体感传感器获取人体肢体图像数据，得到以体感传感器为原点的三维坐标系；

体感传感器采集到观众的肢体数据，以人为单位，将采集到的数据结果进行保存。其中包括手、腿、头等身体的25个数据点，以体感传感器为原点的三维坐标系是以体感传感器内彩色摄像头的坐标为原点，采用左手坐标系，与真实的人体成镜面对称。

s2：将三维坐标系进行齐次坐标转化，得到体感二维坐标系；

以体感传感器为原点的三维坐标系依次乘以世界转换矩阵、视角转换矩阵和投影转换矩阵，得到以体感传感器为原点的体感二维坐标系。

在体感传感器获取人体肢体图像数据，人体骨骼节点本身是以体感传感器中的彩色摄像头为原点生成的，不包含任何额外的位移信息。所以世界转换矩阵采用单位矩阵。

一般体感传感器的彩色空间，以米为单位，范围为0～4.5米，体感传感器的彩色摄像头位置设置为(0，0，0)，目标位置设定为(0，0，4.5)，采用默认的上向量，构建视角转换，将世界转换后的三维坐标系进行视角转换。

目标位置，即体感传感器的彩色摄像头的朝向向量，彩色摄像头位置和目标位置这两个参数合在一起可以理解为，摄像头处在(0，0，0)的位置，摄像头朝向(0，0，4.5)这个位置。目标位置选择为(0,0,4.5)，是因为体感的原始数据中，最远距离为4.5米。

体感传感器的彩色空间的最终彩色图，对应的参数为：宽为1920，高为1080，角度为70°，宽高比参数设置为16/9，锥形体夹角为70°，近截面为0.01，远截面为4.51。，其中近截面和远截面是两个相对的截面位置，使用上述参数建立投影转换矩阵，进而将视角转换后的三维坐标系进行投影转换，z轴方向的数据可以直接忽略，只保留x、y方向的数据即可，得到以体感传感器为原点的体感二维坐标系。

通过以上参数建立世界转换、视角转换、投影转换三个矩阵之后，每次接收到以体感传感器为原点的三维坐标系的人体肢体图像数据后，即可以转换成以体感传感器为原点的体感二维坐标系的人体肢体图像数据。

s3：选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到触发图像在平面坐标系中的位置坐标；

在本申请中第一图像为手和肘的图像。因此在将触发图像映射到显示屏幕预设的平面坐标系之前，需要对第一图像是否作为触发图像进行检测判断，检测判断方法如下：

根据第一图像判断手和肘是否举过头顶；若是，则将触发图像映射到显示屏幕预设的平面坐标系；若否，则进入步骤s1以重新通过体感传感器获取人体肢体图像数据。

s4：依次根据不同时间所获取触发图像的位置坐标，得到触发图像的运动向量；

s5：当运动向量大于预设的运动阀值时，显示屏幕显示画面，实现人机交互。

第一图像中的手进行挥动时，根据手挥动的方向和时间，得到触发图像在平面坐标系中的不同位置坐标，依次连接不同位置坐标，得到触发图像的运动向量，该触发图像的运动向量与手的挥动动作对应，因此通过判断该运动向量是否大于预设的运动阀值，若是，显示屏幕显示画面，若否，则重新返回步骤s1以重新获取人体肢体图像数据。

通过步骤s1至s5，实现显示屏幕根据人体姿态进行显示的现象，可以在显示屏幕上显示云、雨、雪等天气现象，以模拟根据人体挥手姿态，实现自然现象的交替，同时也可以通过显示流水状态，可以模拟水之循环现象；

同时通过将人体肢体图像数据通过映射公式映射到显示屏幕的平面坐标系中，使得每次触发图像所包含的人体肢体图像数据能及时被在平面坐标系中进行显示，并及时得到触发图像的运动向量，进而实现对触发图像运动的相应，降低了人机交互时的互动延迟，提高了人机交互的体验度，实现了非接触式人机互动，增加了科技的趣味性可参与性。

例如：设置一个景箱，景箱内放置一个山河土海光电沙盘模型，沙盘后面是一个显示屏幕，观众站立于指定区域，上挥手臂，显示屏幕中的水蒸气开始从海洋蒸发、并形成云朵；移动脚步，云朵也跟着飘向山顶，并冷凝成雨雪冰雹，下挥手臂即可降下，综合展示地球上水循环的过程。

在步骤s3：选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到每一帧触发图像的位置坐标中，其中，选取体感二维坐标系中的第一图像作为触发图像，具体包括：

s31：根据显示屏幕预设的平面坐标系，标定显示屏幕边缘的位置坐标，并对显示屏幕边缘的位置坐标进行归一化处理；

以显示屏幕左上角为原点构建平面坐标系，在显示屏幕边缘的位置坐标的标定过程中，可以通过手动标定，并将标定后的坐标进行保存。归一化处理的目的是便于将数据处理提出来的，把数据映射到0～1范围之内处理，更加便捷快速。例如，实际中显示屏幕的分辨率一般为1920×1080，因此在系统中，显示屏幕左上、右上、左下、右下的四个点坐标分别为(0，0)、(1920，0)、(0，1080)、(1920，1080)。

s32：选择第一图像上的某一点作为触发点，分别记录触发点触发显示屏幕边缘四角的位置，边缘四角的位置作为触发点的触发限位位置；

本申请中第一图像为手和肘的图像，因此可以选择第一图像中的手作为触发点。

s33：获取并保存触发限位位置在归一化处理后显示屏幕预设的平面坐标系中的坐标值和在体感二维坐标系中的坐标值，得到平面坐标系与体感二维坐标系的坐标对应关系；

第一图像在触发屏幕预设的平面坐标系的边缘四角时，此时第一图像在体感二维坐标系中也存在对应的坐标值，由于平面坐标系的边缘四角已经被标定【(0，0)、(1920，0)、(0，1080)、(1920，1080)】，因此平面坐标系与体感二维坐标系将存在四组坐标对应关系。

s34：根据平面坐标系与体感二维坐标系的坐标对应关系，计算得到平面坐标系与体感二维坐标系之间的映射公式；

通过四组坐标之间的对应关系，根据向量计算，得到如下映射公式(1)：

显示屏幕映射到触发图像所采用的的映射公式(2)如下：

其中，(y0、y1)为触发图像中某一点在体感二维坐标系中的坐标，(x0、x1)为显示屏幕中某一点在平面坐标系中的坐标，a0和a1为常数。

a0和a1的确定采用如下计算得到：

如图2所示，o、(0,1,0)、(1,0,0)、(1,1,0)为平面坐标系中的四个已知坐标点，可以通过预先标定的显示屏幕边缘的位置坐标进行归一化操作得到；o、q01、q10、q11为体感二维坐标系中已知的坐标点，同样可以通过事先标定得到，为了让o、q01、q10、q11四点共面，最好的方法就是将向量oq11表示为向量oq01和向量oq10的线性组合，记为q11＝a0q10+a1q01。

只要o、q01、q10、q11所形成的任意四边形给定，a0和a1两个值可以直接求出，因此a0和a1可以看作是常量。

知道触发图像中任意一点在体感二维坐标系中的坐标，可以通过映射公式(1)，计算出该点在显示屏幕的平面坐标系中的对应的坐标。而知道显示屏幕中任意一点在平面坐标系中的坐标，可以通过映射公式(2)，反推出该点在触发图像的体感二维坐标系中对应的坐标。这样在交互中，可以灵活的利用任意已知点，来计算出对应点，然后达成各种条件下的交互。

s35：通过映射公式将体感二维坐标系中的坐标值映射到平面坐标系中进行显示，以实现体感互动。

通过得到的映射公式，在之后的人机互动中，可以直接通过该映射公式，实现以体感传感器为原点的三维坐标系向显示屏幕预设的平面坐标系的坐标映射，即，手在任意位置，显示屏幕的平面坐标系即可显示对应手的位置坐标，因此当存在挥手动作时，平面坐标系中将得到挥手方向的运动向量，当运动向量大于预设的运动阀值时，显示屏幕将实现不同画面的显示。

一种体感互动的人机交互系统，包括获取模块、坐标转化模块、空间映射模块、坐标拼接模块和人机互动模块；

获取模块用于通过体感传感器获取人体肢体图像数据，得到以体感传感器为原点的三维坐标系；

坐标转化模块用于将三维坐标系进行齐次坐标转化，得到体感二维坐标系

空间映射模块用于选取体感二维坐标系中的第一图像作为触发图像，将触发图像映射到显示屏幕预设的平面坐标系，得到每一帧触发图像的位置坐标；

坐标拼接模块用于依次根据不同时间所获取触发图像的位置坐标，得到触发图像的运动向量；

人机互动模块用于当运动向量大于预设的运动阀值时，显示屏幕显示画面，实现人机交互。

一种计算机可读储存介质，所述计算机可读存储介质上存储有若干获取分类程序，所述若干获取分类程序用于被处理器调用并执行如上所述的人机交互方法。

一种人机交互设备，包括储存器、处理器以及储存在所述储存器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如上所述的人机交互方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。