深度图像数据，其中，所述第一摄像头1和第二摄像头2固定在所述可穿戴式显示头盔3的前部，所述可穿戴式显示头盔3包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方；
[0038]所述提取装置4，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据；
[0039]所述融合装置5，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像；
[0040]所述检测装置6，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。
[0041]本发明实施例所述的基于增强现实技术的舞台表演辅助训练系统，在将使用者视野范围内的真实场景图像与从使用者的深度图像数据中提取出的使用者的图像数据及预设的指导者的影像进行融合，得到融合影像的基础上，利用预设的指导者的骨骼关节点的位置数据和从使用者的深度图像数据中提取出的使用者的骨骼关节点的位置数据检测使用者的动作是否标准，并在使用者的动作不标准时，在所述融合影像上的相应位置进行标识，使得使用者能够实时观察其动作是否标准，从而有助于使用者对其动作进行实时纠正。
[0042]可选地，在本发明基于增强现实技术的舞台表演辅助训练系统的另一实施例中，所述检测装置，包括:
[0043]第一计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差;
[0044]第一比较单元，用于将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。
[0045]可选地，在本发明基于增强现实技术的舞台表演辅助训练系统的另一实施例中，所述检测装置，包括:
[0046]第二计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度；
[0047]第二比较单元，用于将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。
[0048]虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
【主权项】
1.一种基于增强现实技术的舞台表演辅助训练方法，其特征在于，包括: 51、利用第一摄像头和第二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方； 52、从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据； 53、将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像； 54、利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识； 55、将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。2.根据权利要求1所述的基于增强现实技术的舞台表演辅助训练方法，其特征在于，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括: 将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差； 将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。3.根据权利要求1所述的基于增强现实技术的舞台表演辅助训练方法，其特征在于，所述利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，包括: 将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度； 将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。4.一种基于增强现实技术的舞台表演辅助训练系统，其特征在于，包括: 第一摄像头、第二摄像头、可穿戴式显示头盔、提取装置、融合装置、检测装置和固定第三视角的红外深度摄像头；其中， 所述第一摄像头，用于采集穿戴所述可穿戴式显示头盔的使用者左眼视野范围内的真实场景图像，所述第二摄像头，用于采集所述使用者右眼视野范围内的真实场景图像，所述红外深度摄像头，用于采集所述使用者的深度图像数据，其中，所述第一摄像头和第二摄像头固定在所述可穿戴式显示头盔的前部，所述可穿戴式显示头盔包括第一目镜和第二目镜，所述第一目镜位于所述使用者左眼的前方，所述第二目镜位于所述使用者右眼的前方； 所述提取装置，用于从所述深度图像数据中提取所述使用者的图像数据和所述使用者的骨骼关节点的位置数据； 所述融合装置，用于将所述使用者左眼视野范围内的真实场景图像与所述使用者的图像数据及预设的指导者的影像进行融合，得到第一融合影像，将所述使用者右眼视野范围内的真实场景图像与所述使用者的图像数据及所述指导者的影像进行融合，得到第二融合影像； 所述检测装置，用于利用预设的指导者的骨骼关节点的位置数据和所述使用者的骨骼关节点的位置数据检测所述使用者的动作是否标准，并在所述使用者的动作不标准时，在所述第一融合影像和第二融合影像上的相应位置进行标识，将所述第一融合影像和第二融合影像分别以适合左、右眼观看的模式同步显示在所述第一目镜和第二目镜中。5.根据权利要求1所述的基于增强现实技术的舞台表演辅助训练系统，其特征在于，所述检测装置，包括: 第一计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节与所述指导者的相应骨骼关节之间的位置误差; 第一比较单元，用于将所述位置误差与预设的误差阈值进行比较，若所述位置误差不大于所述预设的误差阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。6.根据权利要求4所述的基于增强现实技术的舞台表演辅助训练系统，其特征在于，所述检测装置，包括: 第二计算单元，用于将所述指导者的骨骼关节点的位置数据与所述使用者的骨骼关节点的位置数据进行空间对准，利用所述使用者的骨骼关节点与所述指导者的相应骨骼关节点的位置数据计算所述使用者的骨骼关节点连线与所述指导者的相应骨骼关节点连线之间的角度； 第二比较单元，用于将所述角度与预设的角度阈值进行比较，若所述角度不大于所述预设的角度阈值，则确定所述使用者的动作标准，否则，确定所述使用者的动作不标准。
【专利摘要】本发明公开一种基于增强现实技术的舞台表演辅助训练方法及系统，能检测使用者动作的标准性。方法包括：利用第一、二摄像头分别采集穿戴可穿戴式显示头盔的使用者左眼和右眼视野范围内的真实场景图像，利用固定第三视角的红外深度摄像头采集使用者的深度图像数据；提取使用者的图像数据和使用者的骨骼关节点的位置数据；将真实场景图像与图像数据及预设的指导者的影像进行融合，得到融合影像；利用预设的指导者的骨骼关节点的位置数据和使用者的骨骼关节点的位置数据检测使用者的动作是否标准，在使用者的动作不标准时，在融合影像上的相应位置进行标识；将融合影像分别以适合左、右眼观看的模式同步显示在可穿戴式显示头盔的第一、二目镜中。
【IPC分类】G06F3/01, G06K9/00
【公开号】CN105404395
【申请号】CN201510834854
【发明人】张睿, 闫烁, 关正, 张龙飞, 李红松, 丁刚毅, 黄天羽, 李立杰, 李鹏
【申请人】北京理工大学
【公开日】2016年3月16日
【申请日】2015年11月25日