定并将坐标映射到OpenCV绘图坐 标系统；获取玩家面部关键点121个，分离出玩家面部图像，并通过关键点的匹配将玩家面 部图像赋予模型；主机1通过Kinect设备2进行玩家动作判定，动作匹配后可进行下一关 游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点之间的相对位置来表示；玩 家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对位置进行匹配，判断是否满 足特定时间内动作在空间位置上的一定阈值内的匹配。
[0008] 工作原理：自由舞原理即获取用户骨骼点信息并赋予模型。教学舞工作原理包括 两部分，一部分是进行标准舞蹈动作的数据量化存储，一部分是对于用户动作数据与标准 动作数据的比较。通过调研发现民族舞动作多利用肘关节、膝关节与腕关节的变化做出各 种形态的舞姿。因此，首先对标准舞蹈动作中的肘关节、膝关节与腕关节的动作数据量化 存储。在动作判定中首先针对肘关节膝关节与腕关节的动作进行判定，而后进行其他部位 的动作判定。判定方法如下：首先建立空间三维坐标系xyz坐标系，游戏者骨骼节点的空 间位置由空间三维坐标系中的点（x，y，z)表示，通过实验测量出动作角度误差范围为值a 时最合理，a为ji/36。以肘关节形态的判断为例，利用手腕节点、肘节点与肩节点三点的 位置可在空间中构建出三条直线。以右手臂为例，肩中央位置为（xO, yO, zO)右肩位置为 &1，71，21)，右肘位置为（12,72,22)，右腕位置为（13, 73,23)。右肩与右手腕两点构成 的直线为L13,右肩与右肘构成的直线为L12,右肘与右手腕构成的直线为L23,肩中央与右 肩构成的直线为L01.胳膊舞蹈动作的形态与肩部及肘部的转动情况相关，因此将肩部、肘 部、手腕处关节之间的相对位置作为判断标准，及不考虑用户的胳膊长度而是以其关节旋 转角度作为判定标准。首先，判断L13与L01间的夹角是否满足在区间[K013-a，K013+a ]， K013为动作库中储存的标准舞蹈动作中右手腕相对于右肩的角度。L13与L01间的夹角可 利用空间向量夹角公式得出，角度计算公式为：
【主权项】
1. 一种基于Kinect的多屏互动民族舞娱乐系统，其特征在于它包括主机（I )、Kinect 设备（2)、第一幕布（3)、第二幕布（4)、第三幕布（5)、第四幕布（6)、第一投影仪（7)、第二 投影仪（8)、第三投影仪（9)、第四投影仪（10)、音响设备（11)、第一音箱（12)、第二音箱 (13)； 所述第一投影仪（7)、第二投影仪（8)、第三投影仪（9)和第四投影仪（10)都设置在由 第一幕布（3)、第二幕布（4)、第三幕布（5)和第四幕布（6)按顺序围成的一个方型内的中心 处，并使第一投影仪（7)的投射影象投射在第一幕布（3)上，第二投影仪（8)的投射影象投 射在第二幕布（4)上，第三投影仪（9 )的投射影象投射在第三幕布（5 )上，第四投影仪（10 ) 的投射影象投射在第四幕布（6)上，Kinect设备（2)设置在第一幕布（3)前面的下方，第 一音箱（12)和第二音箱（13)分别设置在第三幕布（5)的两侧端处，第一音箱（12)的驱动 输入端和第二音箱（13)的驱动输入端都与音响设备（11)的驱动输出端连接，Kinect设 备（2)的数据输出端与主机（1)的数据输入端连接，第一投影仪（7)的数字视频信号输入 端、第二投影仪（8)的数字视频信号输入端、第三投影仪（9)的数字视频信号输入端和第 四投影仪（10)的数字视频信号输入端都分别与主机（1)的多路数字视频输出端连接，音 响设备（11)的多路数字音频输入端都分别与主机（1)的多路数字音品输出端连接；启动 主机（1)、Kinect设备（2)、第一投影仪（7)、第二投影仪（8)、第三投影仪（9)、第四投影仪 (10)和音响设备（11 )，初始化Kinect设备（2)，Kinect设备（2)获取图像数据，包括颜色 流 ColorlmageSteam、深度流 DepthlmageSteam、骨架流 SkeletonStream，生成 OpenCV 中的 Iplmage图像；主机（1)通过Kinect设备（2)判断参与游戏者数目，选择深度值最小即距离 设备可见视野最近的玩家进行骨骼跟踪；将玩家骨骼节点与模型骨骼节点进行绑定并将坐 标映射到OpenCV绘图坐标系统；获取玩家面部关键点121个，分离出玩家面部图像，并通 过关键点的匹配将玩家面部图像赋予模型；主机（1)通过Kinect设备（2)进行玩家动作判 定，动作匹配后可进行下一关游戏；提前在动作库中存储有大量的舞蹈动作数据，以关节点 之间的相对位置来表示；玩家做出动作后，对玩家骨骼节点的相对位置与动作库中的相对 位置进行匹配，判断是否满足特定时间内动作在空间位置上的一定阈值内的匹配。
【专利摘要】一种基于Kinect的多屏互动民族舞娱乐系统，本发明为基于Kinect设备的体感民族舞舞蹈游戏系统的技术领域。它是为了解决现有舞蹈游戏缺乏沉浸性与缺少关于民族舞游戏的问题。它的第一投影仪、第二投影仪、第三投影仪和第四投影仪都设置在由第一幕布、第二幕布、第三幕布和第四幕布按顺序围成的一个方型内的中心处，Kinect设备设置在第一幕布前面的下方，第一音箱和第二音箱分别设置在第三幕布两端处，Kinect设备的数据输出端与主机的数据输入端连接。本发明的体感Kinect设备与我国经典民族舞的融合上进行了研究与创新，通过动作识别与判定的相关方法使用户能够得到准确的动作反馈，通过多屏幕投影使用户得到全身心地沉浸式体验。
【IPC分类】A63F13-428, G06F3-01
【公开号】CN104808798
【申请号】CN201510244720
【发明人】王彤, 王建一, 刘晓亮
【申请人】哈尔滨工业大学
【公开日】2015年7月29日
【申请日】2015年5月14日