一种AR儿童情景扮演投影教学方法及系统与流程

本发明涉及AR投影技术领域，尤其是涉及一种AR儿童情景扮演投影教学方法及系统。

背景技术：

随着信息技术的快速发展，视频教学已经走入儿童教学中，它对儿童的教学活动起到了很大的辅助作用。儿童的兴趣广泛，思维处于具体形象思维阶段，对比较抽象的事物还很难大量接受，促进具体形象思维的发展才是早期开发儿童学习潜力的途径。视频教学以其形象直观的表现形式，更能够满足儿童教学在这方面的要求。

目前儿童的视频教学大部分是使用播放器直接播放视频来完成，儿童故事浸入感不够，缺少人和机器的互动，趣味性不够，教学过程比较单调。

技术实现要素：

本发明的目的在于克服上述技术不足，提出一种AR儿童情景扮演投影教学方法及系统，解决现有技术中儿童视频教学浸入感不够，缺少人和机器的互动的技术问题。

为达到上述技术目的，本发明的技术方案提供一种AR儿童情景扮演投影教学方法，其中，包括：

S1、采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集所述用户实时肢体动作数据；

S2、识别所述AR互动卡片图像的信息，调用所述AR互动卡片对应的3D情景剧模板，所述3D情景剧模板包括3D角色模型和背景模型，所述3D角色模型由面部模型和肢体模型组成，所述背景模型为动态或者静态；

S3、对所述用户面部图像进行切割，将切割后的面部图像合成到所述3D角色模型的所述面部模型；

S4、将所述用户实时肢体动作数据与所述3D角色模型的所述肢体模型进行数据交互，控制所述3D角色模型的肢体运动；

S5、对所述用户语音进行变声处理；

S6、将S2中调用的所述3D情景剧模板转化为投影投射在投影屏幕上，其中，所述背景模型转化为动态或者静态的背景投影，所述3D角色模型根据所述用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的所述用户语音。

本发明的技术方案还提供一种AR儿童情景扮演投影教学系统，其中，包括：

采集模块：采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集所述用户实时肢体动作数据；

情景剧选择模块：识别所述AR互动卡片图像的信息，调用所述AR互动卡片对应的3D情景剧模板，所述3D情景剧模板包括3D角色模型和背景模型，所述3D角色模型由面部模型和肢体模型组成，所述背景模型为动态或者静态；

面部图像合成模块：对所述用户面部图像进行切割，将切割后的面部图像合成到所述3D角色模型的所述面部模型；

肢体动作合成模块：将所述用户实时肢体动作数据与所述3D角色模型的所述肢体模型进行数据交互，控制所述3D角色模型的肢体运动；

声音处理模块：对所述用户语音进行变声处理；

情景剧放映模块：将情景剧选择模块中调用的所述3D情景剧模板转化为投影投射在投影屏幕上，其中，所述背景模型转化为动态或者静态的背景投影，所述3D角色模型根据所述用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的所述用户语音。

与现有技术相比，本发明的有益效果包括：通过切换AR互动卡片可以切换不同情景剧投影到投影屏幕上，通过将面部图像合成到3D角色模型，将用户实时肢体动作数据与3D角色模型交互，让情景剧中的角色拥有用户的面部特征，且可以根据用户的动作而做出相应动作，可以实现较强的人机交互，让儿童有很强的故事浸入感，趣味性很强。

附图说明

图1是本发明提供的一种AR儿童情景扮演投影教学方法流程图；

图2是本发明提供的一种AR儿童情景扮演投影教学系统结构框图。

附图中：1、AR儿童情景扮演投影教学系统，11、采集模块，12、情景剧选择模块，13、面部图像合成模块，14、肢体动作合成模块，15、声音处理模块，16、情景剧放映模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1，本发明提供了一种AR儿童情景扮演投影教学方法，其中，包括：

S1、采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集用户实时肢体动作数据；

S2、识别AR互动卡片图像的信息，调用AR互动卡片对应的3D情景剧模板，3D情景剧模板包括3D角色模型和背景模型，3D角色模型由面部模型和肢体模型组成，背景模型为动态或者静态；

S3、对用户面部图像进行切割，将切割后的面部图像合成到3D角色模型的面部模型；

S4、将用户实时肢体动作数据与3D角色模型的肢体模型进行数据交互，控制3D角色模型的肢体运动；

S5、对用户语音进行变声处理；

S6、将S2中调用的3D情景剧模板转化为投影投射在投影屏幕上，其中，背景模型转化为动态或者静态的背景投影，3D角色模型根据用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的用户语音。

本发明所述的AR儿童情景扮演投影教学方法，步骤S1包括：

将AR互动卡片有图像的一面放置到摄像头前方10cm-15cm处，利用摄像头采集AR互动卡片图像，当识别到AR互动卡片图像的信息后，将摄像头前方的互动卡片取下，并且利用摄像头采集用户面部图像，利用语音采集装置采集用户语音。

本发明所述的AR儿童情景扮演投影教学方法，步骤S2包括：

每一张AR互动卡片上设置有特定图像，识别到特定图像的信息，调用特定的3D情景剧模板，进而投影出特定的背景和3D角色；

每一个3D情景剧模板包含多个3D角色模型可供选择；

切换AR互动卡片可以切换3D情景剧模板，从而切换投影出的情景剧，情景剧由角色和角色之外的背景构成。

本发明所述的AR儿童情景扮演投影教学方法，步骤S3包括：

使用Molioopencv技术处理用户面部图像，识别出人脸轮廓，然后对眼睛、嘴巴、鼻子进行标记切割，且在将切割后的面部图像合成到3D角色模型的面部模型之前，将切割后的面部图像进行Q版化的后期处理。

本发明所述的AR儿童情景扮演投影教学方法，步骤S5包括：

根据情景剧需要，对采集的用户语音进行变声处理。

本发明所述的AR儿童情景扮演投影教学方法，步骤S6包括：

3D情景剧模板的投影的播放速度可以调节，3D情景剧模板的投影可以暂停、停止；

经过S3、S4、S5步骤，3D角色模型的面部模型已经和切割后的用户面部图像结合，肢体模型与用户实时肢体动作数据进行交互，当3D情景剧模板转化为投影时，投影中的角色拥有用户的面部特征，可以根据用户的动作而做出相应动作，投影包含背景，且投影的同时播放变声处理后的用户语音。

如图2，本发明提供一种AR儿童情景扮演投影教学系统1，其中，包括：

采集模块11：采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集用户实时肢体动作数据；

情景剧选择模块12：识别AR互动卡片图像的信息，调用AR互动卡片对应的3D情景剧模板，3D情景剧模板包括3D角色模型和背景模型，3D角色模型由面部模型和肢体模型组成，背景模型为动态或者静态；

面部图像合成模块13：对用户面部图像进行切割，将切割后的面部图像合成到3D角色模型的面部模型；

肢体动作合成模块14：将用户实时肢体动作数据与3D角色模型的肢体模型进行数据交互，控制3D角色模型的肢体运动；

声音处理模块15：对用户语音进行变声处理；

情景剧放映模块16：将情景剧选择模块12中调用的3D情景剧模板转化为投影投射在投影屏幕上，其中，背景模型转化为动态或者静态的背景投影，3D角色模型根据用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的用户语音。

本发明所述的AR儿童情景扮演投影教学系统1中，情景剧选择模块12：

每一张AR互动卡片上设置有特定图像，识别到特定图像的信息，调用特定的3D情景剧模板，进而投影出特定的背景和3D角色；

每一个3D情景剧模板包含多个3D角色模型可供选择。

本发明所述的AR儿童情景扮演投影教学系统1中，面部图像合成模块13：

使用Molioopencv技术处理用户面部图像，识别出人脸轮廓，然后对眼睛、嘴巴、鼻子进行标记切割，且在将切割后的面部图像合成到3D角色模型的面部模型之前，将切割后的面部图像进行Q版化的后期处理。

本发明所述的AR儿童情景扮演投影教学系统1中，情景剧放映模块16：

3D情景剧模板的投影的播放速度可以调节，3D情景剧模板的投影可以暂停、停止。

本发明在使用过程中，采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音，利用深度传感设备采集用户实时肢体动作数据；识别AR互动卡片图像的信息，调用AR互动卡片对应的3D情景剧模板，3D情景剧模板包括3D角色模型和背景模型，3D角色模型由面部模型和肢体模型组成，背景模型为动态或者静态；对用户面部图像进行切割，将切割后的面部图像合成到3D角色模型的面部模型；将用户实时肢体动作数据与3D角色模型的肢体模型进行数据交互，控制3D角色模型的肢体运动；对用户语音进行变声处理；将调用的3D情景剧模板转化为投影投射在投影屏幕上，其中，背景模型转化为动态或者静态的背景投影，3D角色模型根据用户实时肢体动作相应地转化为动态的3D角色投影，投影的同时播放变声处理后的用户语音。

本发明的有益效果包括：通过切换AR互动卡片可以切换不同情景剧投影到投影屏幕上，通过将面部图像合成到3D角色模型，将用户实时肢体动作数据与3D角色模型交互，让情景剧中的角色拥有用户的面部特征，且可以根据用户的动作而做出相应动作，可以实现较强的人机交互，让儿童有很强的故事浸入感，趣味性很强。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。