一种基于体感的远程虚拟歌剧指挥系统的制作方法
【技术领域】
[0001]本发明涉及动作捕捉和人机交互领域，尤其涉及一种基于体感的远程虚拟歌剧指挥系统。
【背景技术】
[0002]如今，体感装置在人们生活中逐渐普及开来，并且已经融入到了传统的人机交互领域，给传统的人机交互方式带来的全新的发展思路和想象空间。随着诸如Kinect等一大批新型动作捕捉设备的出现，人们能够更加方便、快捷的与虚拟空间产生交互行为。
[0003]然而，现有的歌剧指挥仍然延续了指挥家现场指挥演出的传统方式，这已经不能够满足当指挥家在客观因素制约下不能进行现场指挥的情境需求，这将大大影响歌剧的演出效果和观众的艺术体验。
【发明内容】
[0004]有鉴于此，本发明提供了一种基于体感的远程虚拟歌剧指挥系统，该远程虚拟歌剧指挥方法及系统通过RGBD动作捕捉设备对指挥家的指挥动作进行捕捉，并通过网络通信技术将指挥动作数据传输到歌剧演出现场，以达到指挥家异地实时指挥歌剧演出的功能。
[0005]为了解决上述技术问题，本发明是这样实现的:
[0006]本发明的一种基于体感的远程虚拟歌剧指挥系统，包括体感模块、数据传输模块和场景复现模块；
[0007]所述体感模块采用RGBD动作捕捉设备对指挥家身体上预先设定的骨骼节点的三维坐标按照设定的时间间隔分别进行捕捉，并将获取的各帧三维坐标数据送入数据传输模块；
[0008]所述数据传输模块采用Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形:如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块;如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块；
[0009]所述场景复现模块构建三维仿真场景以及指挥家模型，并根据从数据传输模块接收的各骨骼节点三维坐标数据控制所述指挥家模型对应的骨骼节点移动到相应的位置，实现指挥动作的复现。
[00?0]较佳的，所述RGBD动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、Asus Xt1n动作捕捉设备或者Intel RealSense动作捕捉设备。
[0011]较佳的，所述确定的骨骼节点分布在头部、肩部、手部和四肢，所述骨骼节点的个数为20个。
[0012]较佳的，所述数据传输模块接收到体感模块的三维坐标数据后，首先将该三维坐标数据从所述指挥家所在的坐标系转换为指挥家模型所在的三维仿真场景坐标系下，再传输给所述场景复现模块。
[0013]较佳的，所述指挥家模型与所述指挥家的比例为1:1.
[0014]较佳的，所述三维仿真场景和指挥家模型采用LED屏幕或3D投影方式进行显示。
[0015]较佳的，所述数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，判定是否出现数据丢失。
[0016]较佳的，所述数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，然后基于该位置关系判断各骨骼节点的位置是否发生畸形。
[0017]较佳的，在骨骼节点坐标出现丢失或者畸形的情况下，数据传输模块对所述前、后两帧数据进行平滑并拟合，以实现对骨骼节点位置坐标的纠正。
[0018]较佳的，所述三维仿真场景和指挥家模型采用三维仿真引擎构建。
[0019]本发明具有如下有益效果:
[0020](I)本发明提供了一种基于体感的远程虚拟歌剧指挥系统，在该项发明的体感模块采用骨骼追踪技术大大提高了动作数据捕捉的有效性和稳定性，指挥家可以更加简单快捷的与计算机进行交互，增强了体感感受;本发明基于三维仿真引擎的场景复现模块保证了虚拟模型的动作流畅度与准确度，其对动作数据解析的系统性和便利性有效地补偿了因网络传输过程带来的时间延迟问题，充分保证了该系统各模块动作的一致性;本发明与现有技术相比，在交互方式和交互水平上都提高到了一个新的层次，该方法及系统在未来的教育、医疗、展览等行业具有广泛的应用前景。
【附图说明】
[0021]图1为本发明的一种基于体感的远程虚拟歌剧指挥系统的原理框图。
[0022]图2为为Kinect设备可识别的人体骨骼捕捉节点示意图。
【具体实施方式】
[0023]下面结合附图并举实施例，对本发明进行详细描述。
[0024]本发明提供了一种基于体感的远程虚拟歌剧指挥方法和系统，该系统的主要目的就是使指挥家能够异地实时指挥歌剧演出。如图1所示，包括:体感模块、数据传输模块和场景复现模块。
[0025]所述体感模块主要包括一个动作捕捉设备，捕捉并实时记录指挥家的指挥动作；所述数据传输模块是一个Socket通信系统，Socket通信系统将捕捉到的动作数据通过网络传输协议发送到歌剧演出现场的虚拟场景中；所述场景复现模块包括通信节点并构建三维仿真场景和虚拟的指挥家模型，指挥家本人与虚拟指挥家模型比例为I: I。通信节点接收动作数据并驱动虚拟场景中的指挥家模型，从而实现异地实时指挥演出的功能。
[0026]本发明基于RGBD动作捕捉设备完成体感交互，RGBD动作捕捉设备除了可以记录常规的RGB值，还可以记录深度数据的值，为一种深度摄像机设备。其中，动作捕捉设备可以为Kinect动作捕捉设备、Kinect2.0动作捕捉设备、Asus Xt1n动作捕捉设备或者IntelRealSense动作捕捉设备。动作捕捉设备完全摒弃了传统键盘鼠标的交互方式，可识别20个人体骨骼捕捉节点，利用骨骼追踪技术来建立人体各个关节的坐标，确定人体的头、手和四肢的位置，每个关节都会用相应的标识例如头部(Head)、肩部(Shoulder)等，并且使用三维空间坐标(X，Y，Z)来记录每个关节的空间位置。骨骼追踪技术为一套完整的骨骼建立骨骼追踪ID，当指挥家在动作捕捉过程中做出位移较大的动作时，骨骼追踪ID便会发挥重要作用，使动作连贯完整，从而避免丢失骨骼捕捉节点的位置信息，便于更加稳定地对指挥家的动作进行捕捉、分析和计算并将动作数据信息传输给计算机进行体感交互。
[0027]本发明在数据传输模块采用Socket通信系统，Socket通信系统将RGBD动作捕捉设备记录的骨骼动作数据传输给预先设计好的虚拟场景。Socket通信系统接收各骨骼节点的各帧三维坐标数据，并判断各骨骼节点的当前位置数据是否发生丢失或者畸形:如果否，将各骨骼节点三维坐标数据发送至所述场景复现模块;如果是，对该骨骼节点当前位置坐标进行纠正，并更新该骨骼节点的三维坐标后，将各骨骼节点三维坐标数据发送至所述场景复现模块;其中，数据传输模块根据骨骼节点三维坐标的数据传输率与所述数据捕捉的时间间隔之间的关系，当该关系出现突变，则可以判定出现数据丢失。数据传输模块根据接收各骨骼节点的各帧三维坐标数据形成各个骨骼节点的相互位置关系，由于骨骼节点的相互位置关系依赖于人体结构特征，如果不符合该特征，则可判断骨骼节点的位置发生畸形。
[0028]本发明在场景复现模块以三维仿真引擎为基础，在三位仿真引擎中编写通信节点，对Socket传输的动作数据进行解析并发布指令给虚拟指挥家模型，从而实现在虚拟场景中的指挥家动作复现。
[0029]RGBD动作捕捉设备不仅仅