基于虚拟现实技术的沉浸式舞台表演交互方法及系统的制作方法
【技术领域】
[0001]本发明涉及虚拟现实技术领域，具体涉及一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统。
【背景技术】
[0002]虚拟现实技术是利用计算机模拟生成三维数字信息的虚拟空间，从而增强使用者在虚拟环境中的感知能力，加深沉浸感的体验。虚拟现实技术主要集成了计算机图形，计算机仿真，人工智能等技术，是一种由计算机技术辅助生成的高技术模拟系统。虚拟现实技术也广泛应用于数字舞台表演领域中，增强表演者与数字化信息的虚拟交互。但目前的虚拟现实技术主要是在演出阶段作为舞美表演的辅助技术，并没有建立表演者在训练阶段的仿真舞台交互模式。从而无法满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互，排练效果呈现等需求。
【发明内容】
[0003]本发明的目的在于，提供一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统，能够为表演者提供一种基于第三视角的实时动作图像交互模式，以及沉浸式的虚拟舞台仿真环境，满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互，排练效果呈现等需求。
[0004]为此目的，一方面，本发明提出一种基于虚拟现实技术的沉浸式舞台表演交互方法，包括:
[0005]S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；
[0006]S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据；
[0007]S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
[0008]另一方面，本发明提出一种基于虚拟现实技术的沉浸式舞台表演交互系统，包括:
[0009]可穿戴式显示头盔、提取装置、模拟影像生成装置和固定第三视角的红外深度摄像头;其中，
[0010]所述红外深度摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；
[0011]提取装置，用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据；
[0012]模拟影像生成装置，用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
[0013]本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互方法及系统，通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头，使用者可以沉浸到虚拟仿真的舞台环境中，并在通过自身骨骼数据驱动虚拟演员模型的同时，从第三视角进行实时观察，通过这种方式，可以提供一种新型，沉浸式的虚拟舞台交互方式，同时摆脱自我视角观察的局限性，从观众的视角实时感知演出效果，加大使用者在训练过程中的自由度，以及对真实舞台环境的临场感，从而提升训练效果，从而相较于现有技术，本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式，满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互，排练效果实时呈现等需求，并有助于提升训练效果。
【附图说明】
[0014]图1为本发明一种基于虚拟现实技术的沉浸式舞台表演交互方法一实施例的流程示意图；
[0015]图2为本发明一种基于虚拟现实技术的沉浸式舞台表演交互系统一实施例的结构示意图。
【具体实施方式】
[0016]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0017]参看图1，本实施例公开一种基于虚拟现实技术的沉浸式舞台表演交互方法，包括:
[0018]S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；
[0019]S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据；
[0020]S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
[0021]本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互方法，通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头，使用者可以沉浸到虚拟仿真的舞台环境中，并在通过自身骨骼数据驱动虚拟演员模型的同时，从第三视角进行实时观察，通过这种方式，可以提供一种新型，沉浸式的虚拟舞台交互方式，同时摆脱自我视角观察的局限性，从观众的视角实时感知演出效果，加大使用者在训练过程中的自由度，以及对真实舞台环境的临场感，从而提升训练效果，从而相较于现有技术，本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式，满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互，排练效果实时呈现等需求，并有助于提升训练效果。
[0022]参看图2，本实施例公开一种基于虚拟现实技术的沉浸式舞台表演交互系统，包括:
[0023]可穿戴式显示头盔1、提取装置2、模拟影像生成装置3和固定第三视角的红外深度摄像头4;其中，
[0024]所述红外深度摄像头4，用于采集穿戴所述可穿戴式显示头盔1的使用者的深度图像数据，其中，所述可穿戴式显示头盔1包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；
[0025]提取装置2，用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据；
[0026]模拟影像生成装置3，用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
[0027]本发明实施例所述的基于虚拟现实技术的沉浸式舞台表演交互系统，通过可穿戴式虚拟头盔显示目镜以及红外深度摄像头，使用者可以沉浸到虚拟仿真的舞台环境中，并在通过自身骨骼数据驱动虚拟演员模型的同时，从第三视角进行实时观察，通过这种方式，可以提供一种新型，沉浸式的虚拟舞台交互方式，同时摆脱自我视角观察的局限性，从观众的视角实时感知演出效果，加大使用者在训练过程中的自由度，以及对真实舞台环境的临场感，从而提升训练效果，从而相较于现有技术，本发明能够为表演者提供基于第三视角的沉浸式舞台交互训练模式，满足表演者在沉浸式虚拟舞台表演训练中的实时动作交互，排练效果实时呈现等需求，并有助于提升训练效果。
[0028]虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
【主权项】
1.一种基于虚拟现实技术的沉浸式舞台表演交互方法，其特征在于，包括: 51、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方； 52、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据； 53、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。2.—种基于虚拟现实技术的沉浸式舞台表演交互系统，其特征在于，包括: 可穿戴式显示头盔、提取装置、模拟影像生成装置和固定第三视角的红外深度摄像头；其中， 所述红外深度摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方； 提取装置，用于从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据； 模拟影像生成装置，用于利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
【专利摘要】本发明公开一种基于虚拟现实技术的沉浸式舞台表演交互方法及系统，能够提供一种新型，沉浸式的虚拟舞台交互方式。所述方法包括：S1、利用固定第三视角的红外深度摄像头采集穿戴可穿戴式显示头盔的使用者的深度图像数据，其中，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；S2、从所述深度图像数据中提取所述使用者的骨骼关节点的位置数据；S3、利用所述使用者的骨骼关节点的位置数据驱动预设的虚拟演员模型在预设的虚拟舞台模型中动作，得到模拟影像，并将所述模拟影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
【IPC分类】G06F3/01
【公开号】CN105487660
【申请号】CN201510834004
【发明人】闫烁, 张睿, 关正, 丁刚毅, 张龙飞, 李红松, 黄天羽, 李立杰, 李鹏
【申请人】北京理工大学
【公开日】2016年4月13日
【申请日】2015年11月25日