一种交互式皮影表演系统及操作控制方法与流程

本发明涉及人机交互技术领域，具体涉及一种交互式皮影表演系统及操作控制方法。

背景技术：
皮影戏是一项历史悠久的艺术表演，在民间广为流传。然而，传统皮影制作过程复杂且周期长，同时皮影戏对表演场景和表演者技术都有很高的要求。随着各种现代艺术的冲击以及传统皮影艺术其自身的局限性导致传统皮影艺术发展极其缓慢，皮影艺术濒临失传。随着计算机技术的发展，将人机交互技术应用于皮影表演成为保护皮影艺术的有效手段，然而，如何使交互式数字化皮影不脱离传统皮影艺术性同时又能被大多数人接受并操作是一个重大挑战，需要解决的问题包括如何让皮影制作和皮影表演更简单易行、如何增强使用者与皮影表演之间的互动性、如何使表演更生动形象、如何将表演内容完整保存等。公开号为CN102778953A(申请号为CN201210217372)的中国发明专利“基于Kinect的皮影戏远程数字表演的体感控制方法”中公开了一种基于Kinect的皮影戏远程数字表演的体感控制方法，该方法首先识别并构建演员的手势动作；再利用演员的人体各关节点位置数据，通过骨骼节点到皮影各部位节点的映射运算，生成数字皮影人物图片形象数据，通过远程桌面技术，使客户端计算机观赏到皮影戏表演。该方法在一定程度上使交互式数字化皮影的操作简便，但是，这种方法存在以下不足：第一，Kinect获取的人体数据不能在网络间传输，因此客户端的用户只能观看，无法参与互动表演。第二，表演仅为单人表演，缺乏人与人之间的互动表演。第三，表演期间没有伴奏和字幕的播放，导致表演比较枯燥乏味。第四，表演内容不能存储为视频。公开号为CN102930084A(申请号为CN201210396207)的中国发明专利“皮影戏数字表演平台”中公开了一种皮影戏数字表演平台，该平台实现了用户登录后，通过控制各个鼠标、键盘或者多态触摸屏来操作皮影对象。皮影的移动是通过鼠标点击位置或者触摸点位置与皮影模型的Flash元件绑定。当有移动发生时，皮影模型中所有Flash元件随点击位置移动而同步移动。表演伴随字幕、场景特效、配乐，支持场景布局和切换，视频的录制与回放。该方法存在的不足之处：第一，表演不够灵活。单靠鼠标或者触摸点控制皮影人物使皮影人物的可控制点有了限制，同时操作起来不方便。投入到使用需 要操作者做大量的培训；第二，不能广泛推广。相对于家庭用户，设备搭建复杂，同时只支持现场的表演，没有网络的传播与互动。

技术实现要素：
本发明所要解决的第一个技术问题是针对上述现有技术提供一种交互式皮影表演系统，该系统能够实现不同地理位置客户端之间互动皮影表演。本发明所要解决的第二个技术问题是针对上述现有技术提供一种交互式皮影表演系统的操作控制方法。本发明解决上述第一个技术问题所采用的技术方案为：一种交互式皮影表演系统，包括主客户端，所述主客户端设置有显示单元和输入单元，主客户端一侧的表演者为主表演者；与主客户端连接的主体感检测器，用于采集主表演者的人体骨骼节点数据和/或语音数据；从客户端，从客户端一侧的表演者为从表演者；与从客户端连接的从体感检测器，用于采集从表演者的人体骨骼节点数据和/或语音数据；服务器端，主客户端和从客户端均与服务器端连接，所述服务器端预先保存有皮影人物模型数据包和皮影资源数据包，皮影资源数据包包含皮影戏表演场景文件、背景文件、字幕文件、和背景音乐文件；所述主客户端设置有链接到服务器端内皮影资源数据包的皮影资源脚本，利用该皮影资源脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源；所述主客户端设置有链接到服务器端内皮影人物模型数据包的皮影模型脚本，利用该皮影模型脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；所述服务器端将主体感检测器和/或从体感检测器采集获取的人体骨骼节点数据在选中的皮影资源内进行整合，得到皮影表演内容，整合方法为：在主客户端选中的皮影资源内，服务器端将主体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的主皮影人物模型对应的节点；服务器端将从体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的从皮影人物模型对应的节点。所述服务器端将整合后的皮影表演内容发送给主客户端，主客户端通过显示单元将整合后的皮影表演内容进行显示。所述从客户端也设置有从显示单元，所述服务器端将整合后的皮影表演内容发送给 从客户端，从客户端通过从显示单元将整合后的皮影表演内容进行显示。所述服务器端将主体感检测器采集获取的人体骨骼节点数据和/或语音数据进行“表演开始”或“表演结束”识别，当“表演开始”后，所述服务器端开始将主体感检测器和/或从体感检测器采集获取的人体骨骼节点数据在选中的皮影资源内进行整合；当“表演结束”后，所述服务器端结束整合。所述服务器端还包括视对皮影表演内容进行视频录制的视频录制模块。所述皮影模型脚本链接的内容包括人物各部位关节点的名称、模型文件名、旋转自由度和相对父节点的偏移量，所述人物各部位包括头部、胸部、臀部、左腿、右腿、左上臂、右上臂、左小臂、右小臂、左手和右手。为了易于网络推广，所述服务器端、所述主客户端和所述从客户端均安装有VRPN，所述主客户端通过VRPN将主体感检测器采集的人体骨骼节点数据和/或语音数据进行封装并传输给服务器端，所述从客户端通过VRPN将从体感检测器采集的人体骨骼节点数据和/或语音数据进行封装并传输给服务器端。同时，服务器端还能通过VRPN将整合后的皮影表演内容传输给主客户端和从客户端。本发明解决上述第二个技术问题所采用的技术方案为：一种交互式皮影表演系统的操作控制方法，其特征在于：包括如下步骤：步骤一、将主客户端和从客户端接入互联网，将服务器端也接入互联网，将主体感检测器连接到主客户端，将从体感检测器连接到从客户端，主体感检测器放置的高度为主表演者的腹部高度处，并正对着主表演者，从体感检测器放置的高度为从表演者的腹部高度处，并正对着从表演者；步骤二、打开主客户端、从客户端和服务器端，启动体感检测器；步骤三、主客户端利用皮影模型脚本根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；步骤四、主客户端利用皮影资源脚本，根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源；步骤五、服务器端使用手势识别方法，对主客户端选择的皮影资源进行反馈，当主客户端要表演的皮影资源选择完毕后，主表演者做出“表演开始”的语音控制命令或“表演开始”的手势控制命令，服务器端将成功识别的“表演开始”的语音控制命令或“表演开始”手势控制命令发送给主客户端和从客户端；步骤六、主表演者和从表演者开始表演，服务器端采集主表演者和从表演者的人体骨骼节点数据和语音数据，并在步骤四选择的皮影资源内进行整合，然后将整合后的皮影表演内容发送给主客户端进行显示；步骤七、待表演结束后，主表演者做出“表演结束”的语音控制命令或“表演结束” 的手势控制命令，服务器端将成功识别的“表演结束”的语音控制命令或“表演结束”的手势控制命令发送给主客户端和从客户端。所述步骤五和步骤七中使用到的手势识别方法为单步手势识别方法，包括以下步骤：步骤1、初始化，设置手势动态数组及该手势动态数组中数据的有效长度阈值，设置手势图形的标准大小，设置与所述手势图形标准大小相匹配的手势图形匹配模板；步骤2、定义手势识别有效区，所述手势识别有效区为：以采集到的人体的右肩节点或左肩节点为水平方向的中心、分别向两侧延伸半肩的距离定义为水平方向区域，髋骨节点以上至头顶之间的距离定义为垂直方向区域；步骤3、在所述手势识别有效区内检测手部位置，转步骤4，否则转步骤3；步骤4、自手进入手势识别有效区开始，到离开手势识别有效区为止，作为一个完整的手势识别事件进行判断，当手进入手势识别有效区后，将手在手势识别有效区的点对应的坐标数据存入手势动态数组，当手离开手势识别有效区时，存入手坐标数据过程结束，将一个完整的手势识别事件中动态数组所保存的手势坐标数据量与预先设置的手势动态数组中数据的有效长度阈值进行比较，如果一个完整的手势识别事件中动态数组所保存的手势坐标数据量超过有效长度阈值，则判断当前存储的坐标数据构成一个手势，触发手势的识别过程，转步骤5，否则清空数组数据，转步骤3；步骤5、根据一个完整的手势识别事件中动态数组所保存的手势坐标数据进行手势图形重组，得出手势图形，找出手势图形的图心，建立手势图形起点和图心连线，并以图心为圆心旋转手势图形，使所述手势图形的起点和图心连接成的连线呈水平状态，旋转方向的选取按照以下规则进行：如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照顺时针方向旋转；如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照逆时针方向旋转；如果手势图形的起始点在图心点右侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照逆时针方向旋转；如果手势图形的起始点在中心点右侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照顺时针方向旋转；步骤6、将旋转后的手势图形缩放成预先设置的标准大小，将旋转后的手势图形与手势图形匹配模板进行对比，得到与手势图形最佳匹配的手势图形匹配模板，从而得到手势识别结果。所述步骤5重组手势图形过程中，使用64个点重新表示手势图形，从而得出手势图形；所述手势图形匹配模板包括顺时针旋转圆形手势图形匹配模板、逆时针旋转圆形 手势图形匹配模板、向左移动直线手势图形匹配模板和向右移动直线手势图形匹配模板。与现有技术相比，本发明的优点在于：1、可以多人共同表演。本发明中的交互式皮影表演系统适用于两人以上的皮影表演，人物数量不受限制，而且本发明中的交互式皮影表演系统的操作控制方法不仅能够实现人机之间的互动，还有人与人之间的皮影表演互动。2、易于网络推广。本发明进一步技术方案中，服务器端、主客户端和从客户端均借助虚拟现实外围设备网络VRPN将数据来源不仅限于本地Kinect，同时也可以来自因特网中其他Kinect设备，并且Kinect设备价格低廉、功能强大，作为XBOX体感游戏机的一部分被广大家庭用户使用。3、连接服务器端的客户端能观看皮影表演内容，同时，在改进技术方案中，服务器端还可以对皮影表演内容进行视频录制。4、操作简单，内容丰富。表演者不需要经过培训即可操作皮影人物进行表演，表演者可以不遵循固有的形式，根据自己的喜好自行表演，在表演过程中，还集成了皮影表演所需的背景音乐，同时集成了皮影表演场景、背景和字幕的显示，加上皮影人物模型的呈现，共同整合显示在主客户端及从客户端的显示单元。附图说明图1为本实施例中交互式皮影表演系统的组成图。图2为本实施例中交互式皮影表演系统的操作控制方法的流程图。图3为本实施例中单步手势识别方法的流程图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。如图1所示，本实施例中的交互式皮影表演系统，包括主客户端，所述主客户端设置有显示单元和输入单元，主客户端一侧的表演者为主表演者；与主客户端连接的主体感检测器，用于采集主表演者的人体骨骼节点数据和/或语音数据；从客户端，从客户端一侧的表演者为从表演者，从客户端可以包括一个或者二个以上；与从客户端连接的从体感检测器，用于采集从表演者的人体骨骼节点数据和/或语音数据；服务器端，主客户端和从客户端均与服务器端连接，所述服务器端预先保存有皮影人物模型数据包和皮影资源数据包，皮影资源数据包包含皮影戏表演场景文件、背景文件、字幕文件、和背景音乐文件；所述主客户端设置有链接到服务器端内皮影资源数据包的皮影资源脚本，利用该皮影资源脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源；所述主客户端设置有链接到服务器端内皮影人物模型数据包的皮影模型脚本，利用该皮影模型脚本，主表演者能根据主客户端显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；所述从客户端也可设置链接到服务器端内皮影资源数据包的皮影资源脚本和链接到服务器端内皮影人物模型数据包的皮影模型脚本，通过从体感检测器和/或输入单元选择要表演的皮影资源和从皮影人物模型；所述服务器端将主体感检测器和/或从体感检测器采集获取的人体骨骼节点数据在选中的皮影资源内进行整合，得到皮影表演内容，整合方法为：在主客户端选中的皮影资源内，服务器端将主体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的主皮影人物模型对应的节点；服务器端将从体感检测器采集获取的人体骨骼节点数据一一映射到主客户端选中的从皮影人物模型对应的节点。所述服务器端将整合后的皮影表演内容发送给主客户端，主客户端通过显示单元将整合后的皮影表演内容进行显示。所述从客户端也可以设置从显示单元，所述服务器端将整合后的皮影表演内容也可以发送给从客户端，从客户端通过从显示单元将整合后的皮影表演内容进行显示。所述服务器端将主体感检测器采集获取的人体骨骼节点数据和/或语音数据进行“表演开始”或“表演结束”识别，当“表演开始”后，所述服务器端开始将主体感检测器和/或从体感检测器采集获取的人体骨骼节点数据在选中的皮影资源内进行整合；当“表演结束”后，所述服务器端结束整合。所述服务器端还包括视对皮影表演内容进行视频录制的视频录制模块，服务器端利用所述视频录制模块进行皮影表演视频的录制。所述皮影模型脚本链接的内容包括人物各部位关节点的名称、模型文件名、旋转自由度和相对父节点的偏移量，所述人物各部位包括头部、胸部、臀部、左腿、右腿、左上臂、右上臂、左小臂、右小臂、左手和右手。为了易于网络推广，所述服务器端、所述主客户端和所述从客户端均安装有虚拟现实外围设备网络Virtual-RealityPeripheralNetwork，简称VRPN，VRPN是由一系列的类库组成，提供客户端与服务器端之间的网络透明接口，实现网络透明访问设备的低延迟和可靠性，所述主客户端通过VRPN分别按照不同设备类型将主体感检测器采集的人 体骨骼节点数据和/或语音数据进行封装并传输给服务器端，所述从客户端通过VRPN分别按照不同设备类型将从体感检测器采集的人体骨骼节点数据和/或语音数据进行封装并传输给服务器端，设备类型Analog封装人体骨骼节点数据，设备类型Text封装语音数据。服务器端建立与主客户端和从客户端设备类型对应的读取类型，通过VRPN分别读取主客户端和从客户端相应设备类型封装的数据，从而进行响应。如图2所示，一种交互式皮影表演系统的操作控制方法，包括如下步骤：步骤一、将主客户端和从客户端接入互联网，将服务器端也接入互联网，如此即实现了主客户端、从客户端和服务器端的网络连接，将主体感检测器连接到主客户端，将从体感检测器连接到从客户端，主体感检测器放置的高度为主表演者的腹部高度处，并正对着主表演者，从体感检测器放置的高度为从表演者的腹部高度处，并正对着从表演者，如此主体感检测器和从体感检测器分别可以方便采集主表演者和从表演者的人体骨骼节点数据；步骤二、打开主客户端、从客户端和服务器端，启动体感检测器；与主客户端连接的主体感检测器在检测不到主表演者来源信号后，则服务器端自动将其中一个从客户端升级为新的主客户端；主客户端可以实现的操作有：表演场景的切换、表演开始和结束的命令控制、视频录制开始和结束的命令控制、皮影人物的运动控制、字幕的滚动控制和背景的切换；从客户端可以实现的操作有：皮影人物的运动控制、字幕的滚动控制和背景的切换；步骤三、主客户端利用皮影模型脚本链接到服务器端内皮影人物模型数据包，根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的主皮影人物模型和从皮影人物模型；其中，皮影人物模型数据包中的皮影人物模型构建方法为常用方法，其构建方法如下：a、皮影人物模型通过3DMax软件建模获得；b、皮影人物模型贴图采用TGA格式图片；c、定义皮影模型脚本，该皮影模型脚本内存储有各个关节点的名称、模型文件名、旋转自由度和相对于父节点偏移量，各个关节点的名称分别为：头部、胸部、臀部、左脚、右腿、左上臂、右上臂、左小臂、右小臂、左手和右手；d、子节点相对于父节点的偏移决定了子节点相对于父节点模型的起始绘制点，根据定义的皮影模型脚本文件中的偏移信息和模型文件信息，从头部节点开始，依次得到子节点的起始绘制点，并绘制出每一条子链，从而得到整个皮影人物模型；步骤四、主客户端利用皮影资源脚本链接到服务器端内皮影资源数据包，根据显示单元的显示，通过主体感检测器和/或输入单元选择要表演的皮影资源，选择需要表演的皮影资源包括选择皮影戏表演的场景，主表演者可以使用左挥手和右挥手的手势控制命 令进行表演场景的选择，左挥手代表选择下一场景，右挥手代表选择前一场景，如此进行手势操作直至选出皮影戏表演场景；服务器端利用手势识别方法识别的手势控制命令进行皮影戏表演场景的更换，并将选择到的皮影戏表演场景显示在主客户端和/或从客户端的显示单元；步骤五、要表演的皮影资源选择完毕后，主表演者做出“表演开始”的语音控制命令或“表演开始”的手势控制命令，服务器端将成功识别的“表演开始”的语音控制命令或“表演开始”手势控制命令发送给主客户端和从客户端，并将主客户端和从客户端Text设备类型的语音数据或Analog设备类型的手势骨骼节点数据读取的标志位置设置为开始标志，主客户端和从客户端检测到Text设备类型或Analog设备类型数据标志位为开始标志后做出“表演开始”的响应，如果主表演者做出“表演开始”的语音控制命令或“表演开始”的手势控制命令通过服务器端进行识别为无效命令后，则主客户端和从客户端Text设备类型的语音数据或Analog设备类型的手势骨骼节点数据标志位始终为初始标志，初始标志表示主客户端和从客户端不进行任何动作响应；其中服务器端对语音控制命令进行识别的方法为常规的语音识别方法，服务器端对手势控制命令进行识别的方法为步骤四中的手势识别方法；与此同时，主表演者还可以向输入单元输入“录制开始”命令，或做出“录制开始”的手势控制命令，再或者做出“录制开始”的语音控制命令，服务器端成功识别的“录制开始”的手势控制命令或“录制开始”的语音控制命令后开始皮影表演内容的视频录制，录制开始时，可以设置倒计时，方便主表演者和从表演者做表演准备；步骤六、主表演者和从表演者开始表演，表演过程中，主客户端和从客户端可以通过手势控制命令、语音控制命令或者输入单元输入的命令，通过主客户端和从客户端内设置的皮影资源脚本链接到服务器端内皮影资源数据包，从而选择皮影表演过程中需要的背景、字幕和背景音乐，服务器端采集主表演者和从表演者的人体骨骼节点数据，并在选择的皮影戏表演场景、背景、字幕和背景音乐一系列皮影资源内进行整合，然后将整合后的皮影表演内容发送给主客户端进行显示，也可同时将整合后的皮影表演内容发送给从客户端进行显示；其中，背景音乐也可以和皮影戏表演场景预先在服务器内进行配置，针对不同的皮影戏表演场景，背景音乐可以自动切换及播放；在表演的同时，进行视频录制，录制期间，表演内容以每秒25帧的速度提取表演画面，从而压缩为AVI格式视频；该步骤中，主体感检测器和从体感检测器分别将采集的的主表演者和从表演者的人体骨骼节点数据经过客户端传送给服务器端，在服务器端利用常规的人物模型运动控制方法进行皮影人物模型的运动控制，进而显示在所述主客户端和从客户端的显示单元中，皮影人物模型的运动主要包括皮影人物模型在显示单元内的移动和身体各部位的活 动，以头部节点作为整个皮影人物的起始绘制点，头部节点的坐标决定整个皮影人物在显示单元内的位置，头部节点为父部位，父部位节点坐标系为主坐标系，其他各部位为子部位，子部位节点均有各自的子坐标系，子坐标系相对于主坐标系的偏转角即为子部位相对于父部位的偏转角度，各部位模型绘制时，根据偏转角从根节点一直绘制到叶节点，最终绘制出整个皮影人物模型，根据获取的人体各关节点位置，计算出各部位的偏转角，如此即完成表演者的表演动作到皮影人物运动在所述主客户端和从客户端的显示单元中的呈现；步骤七、待表演结束后，主表演者做出“表演结束”的语音控制命令或“表演结束”的手势控制命令，服务器端将成功识别的“表演结束”的语音控制命令或“表演结束”的手势控制命令发送给主客户端和从客户端，主客户端和从客户端做出响应，主表演者和从表演者停止表演；与此同时，主表演者也可以向输入单元输入“录制结束”命令，或做出“录制结束”的手势控制命令，再或者做出“录制结束”的语音控制命令，服务器端成功识别的“录制结束”的手势控制命令或“录制结束”的语音控制命令后，结束录制皮影表演视频。同步骤五所述，服务器端对语音控制命令进行识别的方法为常规的语音识别方法，服务器端对手势控制命令进行识别的方法为步骤四中的手势识别方法。所述步骤四、步骤五和步骤七中的手势识别方法为单步手势识别方法，其包括以下步骤，参见图3所示步骤1、初始化，设置手势动态数组及手势动态数组中数据的有效长度阈值，设置手势图形的标准大小，设置与所述手势图形标准大小相匹配的手势图形匹配模板，所述手势图形匹配模板包括顺时针旋转圆形手势图形匹配模板、逆时针旋转圆形手势图形匹配模板、向左移动直线手势图形匹配模板和向右移动直线手势图形匹配模板；步骤2、定义手势识别有效区，所述手势识别有效区为：以采集到的人体的右肩节点或左肩节点为水平方向的中心、分别向两侧延伸半肩的距离定义为水平方向区域，髋骨节点以上至头顶之间的距离定义为垂直方向区域；步骤3、在所述手势识别有效区内检测手部位置，转步骤4，否则转步骤3；步骤4、自手进入手势识别有效区开始，到离开手势识别有效区为止，作为一个完整的手势识别事件进行判断，当手进入手势识别有效区后，将手在手势识别有效区的点对应的坐标数据存入手势动态数组，当手离开手势识别有效区时，存入手坐标数据过程结束，将一个完整的手势识别事件中动态数组所保存的手势坐标数据量与预先设置的手势动态数组中数据的有效长度阈值进行比较，如果一个完整的手势识别事件中动态数组所保存的手势坐标数据量超过有效长度阈值，则判断当前存储的坐标数据构成一个手势，触发手势的识别过程，转步骤5，否则清空数组数据，转步骤3；步骤5、根据一个完整的手势识别事件中动态数组所保存的手势坐标数据使用64个 点重新进行手势图形重组表示手势图形，从而得出手势图形，找出手势图形的图心，建立手势图形起点和图心连线，并以图心为圆心旋转手势图形，使所述手势图形的起点和图心连接成的连线呈水平状态，旋转方向的选取按照以下规则进行：如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照顺时针方向旋转；如果手势图形的起始点在图心点左侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照逆时针方向旋转；如果手势图形的起始点在图心点右侧，且手势图形起点和图心连线与水平线夹角为正，则手势图形按照逆时针方向旋转；如果手势图形的起始点在中心点右侧，且手势图形起点和图心连线与水平线夹角为负，则手势图形按照顺时针方向旋转；步骤6、将旋转后的手势图形缩放成预先设置的标准大小，将旋转后的手势图形与手势图形匹配模板进行对比，得到与手势图形最佳匹配的手势图形匹配模板，从而得到手势识别结果。