一种针对架子鼓的裸眼3D互动培训系统及方法与流程

本发明涉及三维显示领域，尤其是一种针对架子鼓的裸眼3d互动培训系统及方法。

背景技术

随着人们生活水平的日渐提高，音乐成为了我们日常生活中不可或缺的重要组成部分，而针对于广大青少年来说，流行音乐是他们的最爱；而针对于广大家长来说，让他们的孩子学习音乐为可以为以后就业提供另外的一种选项，也能够陶冶孩子的情操。有鉴于此，目前人们对乐器的学习越来越火热，架子鼓是其中重要的组成部分，孩子在学习架子鼓时，大多只能够到专业的培训学校或者机构上架子鼓的相关课程，但是这样子会大大占用孩子为数不多的在家时间，并往返培训结构的路途上也不太安全，大众教学也不能给充分得帮助学生有效掌握架子鼓敲击的要领。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种针对架子鼓的裸眼3d互动培训系统及方法，克服了现有技术的不足，可以实现远程教学，让孩子更加充分的掌握架子鼓敲击的要领。

为了实现上述目的，第一方面，本发明提供的一种针对架子鼓的裸眼3d互动培训系统包括至少一个培训互动子系统、至少一个展示学习子系统和云端管理平台；所述培训互动子系统与所述云端管理平台通信连接，所述展示学习子系统与所述云端管理平台通信连接。

第二方面，本发明提供的一种针对架子鼓的裸眼3d互动培训系统包括培训互动子系统、展示学习子系统和云端管理平台，所述云端管理平台分别与所述培训互动子系统和所述展示学习子系统通信连接；所述培训互动子系统包括第一交互装置和第一展示装置，所述展示学习子系统包括第二交互装置和第二展示装置，所述包括第一交互装置通过无线网络与所述云端管理平台通信连接，所述第一展示装置通过无线网络与所述云端管理平台通信连接，所述第二交互装置通过无线网络与所述云端管理平台通信连接，所述第二展示装置通过无线网络与所述云端管理平台通信连接；所述第一交互装置获取讲师利用架子鼓进行演奏时的培训信息，所述第一交互装置将所述培训信息发送给云端管理平台，所述云端管理平台将所述培训信息分配给第二展示装置，所述第二展示装置对所述培训信息进行3d展示，所述第二展示装置包括投影仪和投影显示屏，所述投影仪通过无线网络与所述云端管理平台通信连接，所述投影显示屏设置于所述投影仪的出光端，且所述投影仪的所有输出光线均分布在所述投影显示屏上，所述投影仪接收云端管理平台输出的图像信号并将所述图像信号进行去噪、放大，然后驱动其内置的指向性光源发出指向性光线，并通过显示芯片后由投影镜头投影至所述投影显示屏的远离投影仪一侧，所述投影显示屏上设置有多个像素阵列，所述投影显示屏的像素与所述指向性光线中各视角图像的亚像素相对应，用于将入射的视角图像信号进行位相调制后在所述投影显示屏的正前方空间上形成会聚视点，获得立体图像并进行3d展示；所述第二交互装置获取学生的交互信息并将所述交互信息发送给云端管理平台，所述云端管理平台将所述交互信息转发给第一展示装置。

作为本申请一种优选的实施方式，所述第一交互装置包括扬声器、麦克风和深度摄像机。

作为本申请一种优选的实施方式，所述第一展示装置包括手机。

作为本申请一种优选的实施方式，所述第二交互装置包括扬声器、麦克风和摄像头。

作为本申请一种优选的实施方式，所述指向性光源为包括r、g、b三色光源。

作为本申请一种优选的实施方式，所述显示芯片包括dmd芯片。

作为本申请一种优选的实施方式，所述像素阵列中的单个像素为纳米衍射光栅。

第三方面，本发明提供的一种针对架子鼓的裸眼3d互动培训方法，所述针对架子鼓的裸眼3d互动培训方法，适用于本发明第二方面中所述的针对架子鼓的裸眼3d互动培训系统，所述针对架子鼓的裸眼3d互动培训系统包括培训互动子系统、展示学习子系统和云端管理平台，所述云端管理平台分别与所述培训互动子系统和所述展示学习子系统通信连接；所述培训互动子系统包括第一交互装置和第一展示装置，所述展示学习子系统包括第二交互装置和第二展示装置，所述包括第一交互装置通过无线网络与所述云端管理平台通信连接，所述第一展示装置通过无线网络与所述云端管理平台通信连接，所述第二交互装置通过无线网络与所述云端管理平台通信连接，所述第二展示装置通过无线网络与所述云端管理平台通信连接，其特征在于，包括如下步骤：

所述第一交互装置获取讲师利用架子鼓进行演奏时的培训信息，所述第一交互装置将所述培训信息发送给云端管理平台；

所述云端管理平台将所述培训信息分配给第二展示装置，所述第二展示装置对所述培训信息进行3d展示；所述第二展示装置包括投影仪和投影显示屏，所述投影仪通过无线网络与所述云端管理平台通信连接，所述投影显示屏设置于所述投影仪的出光端，且所述投影仪的所有输出光线均分布在所述投影显示屏上，所述投影仪接收云端管理平台输出的图像信号并将所述图像信号进行去噪、放大，然后驱动其内置的指向性光源发出指向性光线，并通过显示芯片后由投影镜头投影至所述投影显示屏的远离投影仪一侧，所述投影显示屏上设置有多个像素阵列，所述投影显示屏的像素与所述指向性光线中各视角图像的亚像素相对应，用于将入射的视角图像信号进行位相调制后在所述投影显示屏的正前方空间上形成会聚视点，获得立体图像并进行3d展示；

所述第二交互装置获取学生的交互信息并将所述交互信息发送给云端管理平台，所述云端管理平台将所述交互信息转发给第一展示装置。

本发明的有益效果是：本发明克服了现有技术的不足，可以实现远程教学，尽可能减少占用孩子的休息时间，让孩子在家三维立体地学习架子鼓，并且通过孩子与老师之间的沟通互动，让孩子其更加充分的掌握架子鼓敲击的要领。

附图说明

图1为本发明第一实施例针对架子鼓的裸眼3d互动培训系统的框图；

图2为本发明第二实施例针对架子鼓的裸眼3d互动培训系统的框图；

图3为本发明第二实施的第二展示装置的示意图；

图4为本发明第三实施例针对架子鼓的裸眼3d互动培训方法的流程图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

如图1所示，本发明的第一实施例中所示出的针对架子鼓的裸眼3d互动培训系统包括至少一个培训互动子系统100、至少一个展示学习子系统300和云端管理平台200；所述培训互动子系统100与所述云端管理平台200通信连接，所述展示学习子系统300与所述云端管理平台200通信连接。

本实施例克服了现有技术的不足，可以实现远程教学，尽可能减少占用孩子的休息时间，让孩子在家三维立体地学习架子鼓，并且通过孩子与老师之间的沟通互动，让孩子其更加充分的掌握架子鼓敲击的要领。

如图2所示，本发明的第二实施例中所示出的针对架子鼓的裸眼3d互动培训系统，包括培训互动子系统、展示学习子系统和云端管理平台，所述云端管理平台分别与所述培训互动子系统和所述展示学习子系统通信连接；所述培训互动子系统包括第一交互装置和第一展示装置，所述展示学习子系统包括第二交互装置和第二展示装置，所述包括第一交互装置通过无线网络与所述云端管理平台通信连接，所述第一展示装置通过无线网络与所述云端管理平台通信连接，所述第二交互装置通过无线网络与所述云端管理平台通信连接，所述第二展示装置通过无线网络与所述云端管理平台通信连接；所述第一交互装置获取讲师利用架子鼓进行演奏时的培训信息，所述第一交互装置将所述培训信息发送给云端管理平台，所述云端管理平台将所述培训信息分配给第二展示装置，所述第二展示装置对所述培训信息进行3d展示。

如图3所示，所述第二展示装置包括投影仪1和投影显示屏2，所述投影仪1通过无线网络与所述云端管理平台通信连接，所述投影显示屏2设置于所述投影仪1的出光端，且所述投影仪1的所有输出光线均分布在所述投影显示屏2上，所述投影仪1接收柔性导线输出的图像信号并将所述图像信号进行去噪、放大，然后驱动其内置的指向性光源发出指向性光线，并通过显示芯片后由投影镜头投影至所述投影显示屏2的远离投影仪1一侧，所述投影显示屏2上设置有多个像素阵列，所述投影显示屏2的像素与所述指向性光线中各视角图像的亚像素相对应，用于将入射的视角图像信号进行位相调制后在所述投影显示屏2的正前方空间上形成会聚视点，获得立体图像并进行3d展示；所述第二交互装置获取学生的交互信息并将所述交互信息发送给云端管理平台，所述云端管理平台将所述交互信息转发给第一展示装置。

本实施例中，所述第一交互装置包括扬声器、麦克风和深度摄像机。进一步地，所述第一交互装置还可以配置有网络模块所述网络模块包括但不限于gsm网络模块，所述深度摄像机和麦克风用以采集老师教学时敲击架子鼓的动作信息和语音信息，所述动作信息和语音信息利用所述gsm网络模块可以远程传输给云端管理平台，所述云端管理平台根据所述动作信息通过变换矩阵得到老师敲击架子鼓时的速度信息以及敲击架子鼓鼓面的位置信息，所述云端管理平台将所述速度信息和所述位置信息发送给第二展示装置，并且通过所述第二展示装置对所述速度信息和所述位置信息进行显示，当学生通过第二交互装置提出疑问时，所述扬声器播放学生的疑问方便老师进行解答。

其中，所述云端管理平台根据所述动作信息通过变换矩阵得到老师敲击架子鼓时的速度信息具体包括：利用基于计算机视觉测程原理的算法对深度摄像机在不同时刻收集到的动作信息进行相对位置估计，目的是将深度摄像机坐标系下的点转化为世界坐标系下，从而获得三维环境中每一个位置的三维坐标。进一步地，对于深度摄像头下的点，通过获取它在二维图像中的位置(u,v)以及它的深度信息d，所以每个点的像素坐标[u,v,d]。在深度摄像机中，将点的像素坐标转换为深度摄像机坐标系的三维坐标[x,y,z]，具体如下列公式所示：

x＝(u-cx)×zlfx，

y＝(v-cy)×fy，

z＝dls。

接下来用平移矩阵将深度摄像机坐标系下的三维坐标[x,y,z]转换为世界坐标系下的三维坐标[x1,y1,z1]，具体如下列公式所示：

通过变换矩阵得出在架子鼓坐标系下的三维坐标[x_r,y_r,z_r]表示，具体如下列公式所示：

本实施例中，所述第一展示装置包括手机。具体的，当学生需要跟老师进行互动时，只需通过第二交互装置编辑互动信息，所述互动信息包括但不限于文字、图片和语音，当编辑完成后所述第二交互装置将所述互动信息发送给云端管理平台，所述云端管理平台对所述信息进行存储后转发给所述第一交互装置，所述手机在其手机显示屏上对图片和文字进行显示，以及利用手机内置的或者第一交互装置中的扬声器对语音信息进行播报。

本实施例中，所述第二交互装置包括扬声器、麦克风和摄像头。

当学生需要跟老师进行互动时，也可以麦克风录入语音信息，后所述第二交互装置将所述语音信息发送给云端管理平台，所述云端管理平台对所述信息进行存储后转发给所述手机，所述手机在其手机显示屏上对图片和文字进行显示，以及利用第一交互装置中的扬声器对语音信息进行播报。同理所述第二交互装置中的扬声器可以用来播放老师的讲课相关的语音信息，所述摄像头用于获取学生的画面方便老师判断学生对架子鼓的掌握程度。

本实施例中，所述云端管理平台包括但不限于服务器或服务器集群，所述服务器用户存储老师和学生来往通信的各种数据，利用所述云端管理平台可以对整个培训过程进行监控，方便事后追溯。

本实施例中，所述指向性光源为包括r、g、b三色光源。

采用r、g、b三色光源能保证在立体显示的图像信息为彩色图像，其仿真度高，更有利于学生准确的观看老师的敲击架子鼓的手法。

本实施例中，所述显示芯片包括dmd芯片。

所述dmd芯片上密密麻麻地排列了80万至100万面小镜子，而且每个小镜子都可以独立向正负方向翻转10度，并可以每秒钟翻转65000次。光源通过这些小镜子反射到投影屏幕上直接形成图像，其光学路径也相当简单，体积更小。

本实施例中，所述像素阵列中的单个像素为纳米衍射光栅。

其中纳米衍射光栅像素可以采用紫外连续变空频光刻技术以及纳米压印进行制作。需要指出的是，在本实施方式中，可以采用光刻方法在投影显示屏表面刻蚀制作出各个不同指向的纳米光栅，再做出能够用于压印的模板，然后通过纳米压印批量压印出纳米光栅的构成的像素阵列，其中反射型投影显示屏可以在透射型投影显示屏表面镀上金属来实现。

如图4所示，本发明的第三实施例中所示出的针对架子鼓的裸眼3d互动培训方法，针所述针对架子鼓的裸眼3d互动培训方法，适用于本发明第二实施例中所述的针对架子鼓的裸眼3d互动培训系统，所述针对架子鼓的裸眼3d互动培训系统包括培训互动子系统、展示学习子系统和云端管理平台，所述云端管理平台分别与所述培训互动子系统和所述展示学习子系统通信连接；所述培训互动子系统包括第一交互装置和第一展示装置，所述展示学习子系统包括第二交互装置和第二展示装置，所述包括第一交互装置通过无线网络与所述云端管理平台通信连接，所述第一展示装置通过无线网络与所述云端管理平台通信连接，所述第二交互装置通过无线网络与所述云端管理平台通信连接，所述第二展示装置通过无线网络与所述云端管理平台通信连接，所述针对架子鼓的裸眼3d互动培训方法包括如下步骤：

s1，第一交互装置获取讲师利用架子鼓进行演奏时的培训信息，所述第一交互装置将所述培训信息发送给云端管理平台。

s2，云端管理平台将所述培训信息分配给第二展示装置，所述第二展示装置对所述培训信息进行3d展示。

所述第二展示装置包括投影仪和投影显示屏，所述投影仪通过无线网络与所述云端管理平台通信连接，所述投影显示屏设置于所述投影仪的出光端，且所述投影仪的所有输出光线均分布在所述投影显示屏上，所述投影仪接收云端管理平台输出的图像信号并将所述图像信号进行去噪、放大，然后驱动其内置的指向性光源发出指向性光线，并通过显示芯片后由投影镜头投影至所述投影显示屏的远离投影仪一侧，所述投影显示屏上设置有多个像素阵列，所述投影显示屏的像素与所述指向性光线中各视角图像的亚像素相对应，用于将入射的视角图像信号进行位相调制后在所述投影显示屏的正前方空间上形成会聚视点，获得立体图像并进行3d展示；

s3，第二交互装置获取学生的交互信息并将所述交互信息发送给云端管理平台，所述云端管理平台将所述交互信息转发给第一展示装置。

本实施例中，所述第一交互装置包括扬声器、麦克风和深度摄像机。进一步地，所述第一交互装置还可以配置有网络模块所述网络模块包括但不限于gsm网络模块，所述深度摄像机和麦克风用以采集老师教学时敲击架子鼓的动作信息和语音信息，所述动作信息和语音信息利用所述gsm网络模块可以远程传输给云端管理平台，所述云端管理平台根据所述动作信息通过变换矩阵得到老师敲击架子鼓时的速度信息以及敲击架子鼓鼓面的位置信息，所述云端管理平台将所述速度信息和所述位置信息发送给第二展示装置，并且通过所述第二展示装置对所述速度信息和所述位置信息进行显示，当学生通过第二交互装置提出疑问时，所述扬声器播放学生的疑问方便老师进行解答。

其中，所述云端管理平台根据所述动作信息通过变换矩阵得到老师敲击架子鼓时的速度信息具体包括：利用基于计算机视觉测程原理的算法对深度摄像机在不同时刻收集到的动作信息进行相对位置估计，目的是将深度摄像机坐标系下的点转化为世界坐标系下，从而获得三维环境中每一个位置的三维坐标。进一步地，对于深度摄像头下的点，通过获取它在二维图像中的位置(u,v)以及它的深度信息d，所以每个点的像素坐标[u,v,d]。在深度摄像机中，将点的像素坐标转换为深度摄像机坐标系的三维坐标[x,y,z]，具体如下列公式所示：

x＝(u-cx)×zlfx，

y＝(v-cy)×fy，

z＝dls。

接下来用平移矩阵将深度摄像机坐标系下的三维坐标[x,y,z]转换为世界坐标系下的三维坐标[x1,y1,z1]，具体如下列公式所示：

通过变换矩阵得出在架子鼓坐标系下的三维坐标[x_r,y_r,z_r]表示，具体如下列公式所示：

本实施例中，所述第一展示装置包括手机。具体的，当学生需要跟老师进行互动时，只需通过第二交互装置编辑互动信息，所述互动信息包括但不限于文字、图片和语音，当编辑完成后所述第二交互装置将所述互动信息发送给云端管理平台，所述云端管理平台对所述信息进行存储后转发给所述第一交互装置，所述手机在其手机显示屏上对图片和文字进行显示，以及利用手机内置的或者第一交互装置中的扬声器对语音信息进行播报。

本实施例中，所述第二交互装置包括扬声器、麦克风和摄像头。

当学生需要跟老师进行互动时，也可以麦克风录入语音信息，后所述第二交互装置将所述语音信息发送给云端管理平台，所述云端管理平台对所述信息进行存储后转发给所述手机，所述手机在其手机显示屏上对图片和文字进行显示，以及利用第一交互装置中的扬声器对语音信息进行播报。同理所述第二交互装置中的扬声器可以用来播放老师的讲课相关的语音信息，所述摄像头用于获取学生的画面方便老师判断学生对架子鼓的掌握程度。

本实施例中，所述指向性光源为包括r、g、b三色光源。

采用r、g、b三色光源能保证在立体显示的图像信息为彩色图像，其仿真度高，更有利于学生准确的观看老师的敲击架子鼓的手法。

本实施例中，所述显示芯片包括dmd芯片。

所述dmd芯片上密密麻麻地排列了80万至100万面小镜子，而且每个小镜子都可以独立向正负方向翻转10度，并可以每秒钟翻转65000次。光源通过这些小镜子反射到投影屏幕上直接形成图像，其光学路径也相当简单，体积更小。

本实施例中，所述像素阵列中的单个像素为纳米衍射光栅。

其中纳米衍射光栅像素可以采用紫外连续变空频光刻技术以及纳米压印进行制作。需要指出的是，在本实施方式中，可以采用光刻方法在投影显示屏表面刻蚀制作出各个不同指向的纳米光栅，再做出能够用于压印的模板，然后通过纳米压印批量压印出纳米光栅的构成的像素阵列，其中反射型投影显示屏可以在透射型投影显示屏表面镀上金属来实现。

需要进行说明的是，本实施例中未提及的针对架子鼓的裸眼3d互动培训系统的具体组成以及其有益效果，与本发明的第一或第二实施例中所述基本类似，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。