1.一种AR儿童情景扮演投影教学方法,其特征在于,包括:
S1、采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音,利用深度传感设备采集所述用户实时肢体动作数据;
S2、识别所述AR互动卡片图像的信息,调用所述AR互动卡片对应的3D情景剧模板,所述3D情景剧模板包括3D角色模型和背景模型,所述3D角色模型由面部模型和肢体模型组成,所述背景模型为动态或者静态;
S3、对所述用户面部图像进行切割,将切割后的面部图像合成到所述3D角色模型的所述面部模型;
S4、将所述用户实时肢体动作数据与所述3D角色模型的所述肢体模型进行数据交互,控制所述3D角色模型的肢体运动;
S5、对所述用户语音进行变声处理;
S6、将S2中调用的所述3D情景剧模板转化为投影投射在投影屏幕上,其中,所述背景模型转化为动态或者静态的背景投影,所述3D角色模型根据所述用户实时肢体动作相应地转化为动态的3D角色投影,投影的同时播放变声处理后的所述用户语音。
2.如权利要求1所述的AR儿童情景扮演投影教学方法,其特征在于,步骤S2包括:
每一张所述AR互动卡片上设置有特定图像,识别到特定图像的信息,调用特定的所述3D情景剧模板,进而投影出特定的背景和3D角色;
每一个所述3D情景剧模板包含多个所述3D角色模型可供选择。
3.如权利要求1所述的AR儿童情景扮演投影教学方法,其特征在于,步骤S3包括:
使用Molioopencv技术处理所述用户面部图像,识别出人脸轮廓,然后对眼睛、嘴巴、鼻子进行标记切割,且在将切割后的面部图像合成到所述3D角色模型的所述面部模型之前,将切割后的面部图像进行Q版化的后期处理。
4.如权利要求1所述的AR儿童情景扮演投影教学方法,其特征在于,步骤S6包括:
所述3D情景剧模板的投影的播放速度可以调节,所述3D情景剧模板的投影可以暂停、停止。
5.一种AR儿童情景扮演投影教学系统,其特征在于,包括:
采集模块:采集AR互动卡片图像、用户面部图像、用户实时肢体动作数据、用户语音,利用深度传感设备采集所述用户实时肢体动作数据;
情景剧选择模块:识别所述AR互动卡片图像的信息,调用所述AR互动卡片对应的3D情景剧模板,所述3D情景剧模板包括3D角色模型和背景模型,所述3D角色模型由面部模型和肢体模型组成,所述背景模型为动态或者静态;
面部图像合成模块:对所述用户面部图像进行切割,将切割后的面部图像合成到所述3D角色模型的所述面部模型;
肢体动作合成模块:将所述用户实时肢体动作数据与所述3D角色模型的所述肢体模型进行数据交互,控制所述3D角色模型的肢体运动;
声音处理模块:对所述用户语音进行变声处理;
情景剧放映模块:将情景剧选择模块中调用的所述3D情景剧模板转化为投影投射在投影屏幕上,其中,所述背景模型转化为动态或者静态的背景投影,所述3D角色模型根据所述用户实时肢体动作相应地转化为动态的3D角色投影,投影的同时播放变声处理后的所述用户语音。
6.如权利要求5所述的AR儿童情景扮演投影教学系统,其特征在于,情景剧选择模块:
每一张所述AR互动卡片上设置有特定图像,识别到特定图像的信息,调用特定的所述3D情景剧模板,进而投影出特定的背景和3D角色;
每一个所述3D情景剧模板包含多个所述3D角色模型可供选择。
7.如权利要求5所述的AR儿童情景扮演投影教学系统,其特征在于,面部图像合成模块:
使用Molioopencv技术处理所述用户面部图像,识别出人脸轮廓,然后对眼睛、嘴巴、鼻子进行标记切割,且在将切割后的面部图像合成到所述3D角色模型的所述面部模型之前,将切割后的面部图像进行Q版化的后期处理。
8.如权利要求5所述的AR儿童情景扮演投影教学系统,其特征在于,情景剧放映模块:
所述3D情景剧模板的投影的播放速度可以调节,所述3D情景剧模板的投影可以暂停、停止。