一种基于AR增强现实涂鸦技术的歌曲教学方法及系统与流程

本发明涉及教学领域，具体涉及一种基于AR增强现实涂鸦技术的歌曲教学方法及系统。

背景技术：

现在市面上的AR(Augmented Reality，增强现实)涂鸦绘本，仅限于AR技术的基本应用，即扫描后，出现上色的3D模型，很少将AR涂鸦技术结合运用到其它方面。

关于歌曲学习方面尤其是儿歌教育方面，市面上主流的儿歌教育产品主要是两种形式，一种是视频类，一种是音频类，这两种儿歌教育方式比较传统，对于帮助小孩学习儿歌来说，效率很低，只有经过大量长时间重复观看、收听后才能学会一首歌曲。

技术实现要素：

本发明提供了一种基于AR增强现实涂鸦技术的歌曲教学方法及系统，将AR涂鸦技术与歌曲教学结合起来，能够提高用户尤其儿童学习歌曲的兴趣和效率。

本发明解决上述技术问题的技术方案如下：提供了一种基于AR增强现实涂鸦技术的歌曲教学方法，包括以下步骤：

S1，通过摄像头捕捉涂鸦识别图；

S2，从数据库中找到与该捕捉到的涂鸦识别图匹配的涂鸦识别图，以及根据匹配的涂鸦识别图，从数据库中找到匹配的涂鸦3D模型；

S3，调用出所述涂鸦3D模型进行播放，检测屏幕上的点击操作，并根据点击操作，调用与该涂鸦3D模型对应的歌曲进行同时播放，将该涂鸦3D模型作为歌曲播放的背景画面，其中，每一首歌曲与涂鸦3D模型具有对应关系。

本发明的有益效果为：巧妙的将AR涂鸦技术与歌曲教学结合起来，让涂鸦对象本身具有歌曲中涉及的人物主题或者情景主题，在设计之初就充分考虑到涂鸦对象与歌曲的关联性，比如一首歌曲的主题是母亲，那么设计原画时，就会以母亲作为主题来创意，这样做是为了让用户在涂鸦过程中能够更加明确歌曲的内涵。把抽象的语言艺术与具体象的绘画艺术相结合；使用AR涂鸦与歌曲相互结合的方式可以提高用户对歌曲的学习和效率，也可以提高用户尤其是小孩子的绘画能力。

在上述技术方案的基础上，本发明还可以作如下改进。

进一步的，所述数据库中预置有多种涂鸦识别图以及与每一种涂鸦识别图对应的涂鸦3D模型；

所述S2具体包括：

将捕捉到的涂鸦识别图与数据库中预置的多种涂鸦识别图进行图像匹配，找到匹配的涂鸦识别图；

根据所述匹配的涂鸦识别图以及每一种涂鸦识别图与涂鸦3D模型的对应关系找到对应的涂鸦3D模型。

所述进一步的有益效果为：在数据库中提供多种涂鸦识别图以及为每一种涂鸦识别图配备对应的涂鸦3D模型，使得歌曲的背景画面更加丰富。

进一步的，预先将每一首歌曲的歌词拆分为多个短句，根据检测到的屏幕上的点击操作，播放短句歌词。

所述进一步的有益效果为：将一首完整的歌曲分解为若干个短句，用类似于真人教学的方式使用逐句逐句教授的方式播放出来，这样可以有效的提高用户学习歌曲的效率。

进一步的，所述步骤S3中将该涂鸦3D模型作为歌曲播放的背景画面具体包括：

将一个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面；或者，

将多个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，其中，每一个涂鸦3D模型与每一个短句歌词之间具有对应关系。

所述进一步的有益效果为：可以为一首歌曲的每一个短句歌词配置一个涂鸦3D模型作为背景画面，使得整首歌曲的背景画面进行形象丰富，提高了用户学习歌曲的兴趣。

进一步的，所述涂鸦3D模型以序列动画形式或者游戏形式或者换脸形式作为歌曲的背景画面。

所述进一步的有益效果为：涂鸦3D模型以多种形式来进行展现，作为歌曲的背景画面，更加丰富生动。

进一步的，在每一个短句歌词播放后，录下用户跟唱的语音，在录下用户跟唱的最后一句歌词的语音后，将用户跟唱的所有语音合成一首完整的歌曲。

所述进一步的有益效果为：对用户跟唱进行录音，可进行回放，使得用户可通过录音来判断模仿是否正确。如果用户对自己的跟唱效果感到满意，可以选择分享功能，终端设备上已经安装带有分享功能的第三方应用，如微信，QQ，新浪微博等，执行分享功能。分享成功后，将会在用户的社交平台上生成一个网址链接，用户或者其他人，可打开这个链接并收听作者自己的歌声。

为了解决本发明的技术问题，还提供了一种基于AR增强现实涂鸦技术的歌曲教学系统，包括：

捕捉模块，用于通过摄像头捕捉涂鸦识别图；

匹配模块，用于从数据库中找到与该捕捉到的涂鸦识别图匹配的涂鸦识别图，以及根据匹配的涂鸦识别图，从数据库中找到匹配的涂鸦3D模型；

播放模块，用于调用出所述涂鸦3D模型进行播放，检测屏幕上的点击操作，并根据点击操作，调用与该涂鸦3D模型对应的歌曲进行同时播放，将该涂鸦3D模型作为歌曲播放的背景画面，其中，每一首歌曲与涂鸦3D模型具有对应关系。

在上述技术方案的基础上，本发明还可以作如下改进。

进一步的，还包括：

拆分模块，用于预先将每一首歌曲的歌词拆分为多个短句；

所述播放模块，还用于根据检测到的屏幕上的点击操作，播放短句歌词。

进一步的，所述将该涂鸦3D模型作为歌曲播放的背景画面具体包括：

将一个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面；或者，

将多个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，其中，每一个涂鸦3D模型与每一个短句歌词之间具有对应关系。

附图说明

图1为实施例1的一种基于AR增强现实涂鸦技术的歌曲教学方法流程图；

图2为实施例2的一种基于AR增强现实涂鸦技术的歌曲教学系统示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1、一种基于AR增强现实涂鸦技术的歌曲教学方法。

参见图1，本实施例提供的歌曲教学方法包括：

S1，通过摄像头捕捉涂鸦识别图；

S2，从数据库中找到与该捕捉到的涂鸦识别图匹配的涂鸦识别图，以及根据匹配的涂鸦识别图，从数据库中找到匹配的涂鸦3D模型；

S3，调用出所述涂鸦3D模型进行播放，检测屏幕上的点击操作，并根据点击操作，调用与该涂鸦3D模型对应的歌曲进行同时播放，将该涂鸦3D模型作为歌曲播放的背景画面，其中，每一首歌曲与涂鸦3D模型具有对应关系。

下面对上述几个步骤具体进行描述，首先通过摄像头拍摄扫描在纸质上绘制的涂鸦识别图；捕捉到涂鸦识别图之后，从数据库中找到与捕捉到的涂鸦识别图匹配的涂鸦识别图，并从数据库中找到与匹配的涂鸦识别图对应的涂鸦3D模型。其中，数据库中预先提供了多种涂鸦识别图以及每一种涂鸦识别图对应的一种涂鸦3D模型。具体的，将捕捉到涂鸦识别图与数据库中的多种涂鸦识别图进行图像匹配，从而找到数据库中与捕捉的涂鸦识别图对应的涂鸦识别图，并根据所述匹配的涂鸦识别图以及每一种涂鸦识别图与涂鸦3D模型的对应关系找到对应的涂鸦3D模型。

随后调用找到的涂鸦3D模型进行播放，此时，用户可通过点击出模型智能终端的屏幕，当终端检测到屏幕上的点击操作，调用与该涂鸦3D模型对应的歌曲进行播放，并且在歌曲播放的过程中，将该涂鸦3D模型作为歌曲播放的背景画面，将涂鸦3D模型与歌曲同步播放，即将AR涂鸦与歌曲播放结合起来，使得歌曲的播放更加生动。

本实施例应用的场景为歌曲教学，为了提高用户尤其是儿童学习歌曲的兴趣和效率，不仅将AR涂鸦技术与歌曲教学结合起来，而且还预先将每一首歌曲的整个歌词拆分为多个短句歌词，可以根据用户在屏幕上的点击操作选择逐句逐句进行播放，每播放一句短句歌词，用户可以模仿唱歌，进行跟唱，智能终端将用户跟唱的语音录下来进行存储，可供用户回放，并判断模仿得是否正确。当跟唱完最后一句歌词时，智能终端中的程序可将录下的每一段跟唱语音合并成整首歌曲，合并后的整首歌曲的录音可以分享给好友或者朋友圈，如微信，QQ，新浪微博等，执行分享功能。分享成功后，将会在用户的社交平台上生成一个网址链接，用户或者其他人，可打开这个链接并收听作者自己的歌声。

在进行逐句逐句的歌曲播放的过程中，可以将一个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，即在整首歌曲播放的过程中，只采用一个涂鸦3D模型作为整首歌曲的背景画面；也可以将多个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，其中，每一个涂鸦3D模型与每一个短句歌词之间具有对应关系，即在每一句歌词播放时，均对应一个不同的涂鸦3D模型作为该句歌词播放时的背景画面。本实施例中可以为整首歌曲配置一个涂鸦3D模型作为背景画面，也可以为整首歌词配置多个涂鸦3D模型，为一首歌曲的每一个短句歌词配置一个涂鸦3D模型作为背景画面，使得整首歌曲的背景画面进行形象丰富，提高了用户学习歌曲的兴趣。

另外，在将涂鸦3D模型作为歌曲播放的背景画面时，涂鸦3D模型以序列动画形式或者游戏形式或者换脸形象作为歌曲的背景画面。涂鸦3D模型以多种形式来进行展现，作为歌曲的背景画面，更加丰富生动，提高用户尤其是儿童学习歌曲的兴趣。

实施例2、一种基于AR增强现实涂鸦技术的歌曲教学系统。

参见图2，本实施例提供的歌曲教学系统包括捕捉模块21、匹配模块22、拆分模块23和播放模块24。

其中，捕捉模块21，用于通过摄像头捕捉涂鸦识别图。

匹配模块22，用于从数据库中找到与该捕捉到的涂鸦识别图匹配的涂鸦识别图，以及根据匹配的涂鸦识别图，从数据库中找到匹配的涂鸦3D模型。

具体的，所述数据库中预置有多种涂鸦识别图以及与每一种涂鸦识别图对应的涂鸦3D模型；

所述匹配模块22具体用于：

将捕捉到的涂鸦识别图与数据库中预置的多种涂鸦识别图进行图像匹配，找到匹配的涂鸦识别图；

根据所述匹配的涂鸦识别图以及每一种涂鸦识别图与涂鸦3D模型的对应关系找到对应的涂鸦3D模型。

拆分模块23，用于预先将每一首歌曲的歌词拆分为多个短句歌词。

播放模块24，用于调用出所述涂鸦3D模型进行播放，检测屏幕上的点击操作，并根据点击操作，调用与该涂鸦3D模型对应的歌曲进行播放，将该涂鸦3D模型作为歌曲播放的背景画面。

具体的，当匹配模块22匹配到对应的涂鸦3D模型后，调用该涂鸦3D模型进行播放，此时，用户可通过点击智能终端的屏幕，当智能终端检测到屏幕上的点击操作，调用与该涂鸦3D模型对应的歌曲进行播放，并且在歌曲播放的过程中，将该涂鸦3D模型作为歌曲播放的背景画面，将涂鸦3D模型与歌曲同步播放，即将AR涂鸦与歌曲播放结合起来，使得歌曲的播放更加生动。

本实施例应用的场景为歌曲教学，为了提高用户尤其是儿童学习歌曲的兴趣和效率，不仅将AR涂鸦技术与歌曲教学结合起来，而且拆分模块23还预先将每一首歌曲的整个歌词拆分为多个短句歌词，播放模块24可以根据用户在屏幕上的点击操作选择逐句逐句进行播放，每播放一句短句歌词，用户可以模仿唱歌，进行跟唱，智能终端将用户跟唱的语音录下来进行存储，可供用户回放，并判断模仿得是否正确。当跟唱完最后一句歌词时，智能终端中的程序可将录下的每一段跟唱语音合并成整首歌曲，合并后的整首歌曲的录音可以分享给好友或者朋友圈。

在进行逐句逐句的歌曲播放的过程中，可以将一个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，即在整首歌曲播放的过程中，只采用一个涂鸦3D模型作为整首歌曲的背景画面；也可以将多个涂鸦3D模型作为该首歌曲多个短句歌词的背景画面，其中，每一个涂鸦3D模型与每一个短句歌词之间具有对应关系。本实施例中为一首歌曲的每一个短句歌词配置一个涂鸦3D模型作为背景画面，使得整首歌曲的背景画面进行形象丰富，提高了用户学习歌曲的兴趣。

另外，在将涂鸦3D模型作为歌曲播放的背景画面时，涂鸦3D模型以序列动画形式或者游戏形式或者换脸形式作为歌曲的背景画面。涂鸦3D模型以多种形式来进行展现，作为歌曲的背景画面，更加丰富生动，提高用户尤其是儿童学习歌曲的兴趣。

本发明提供的一种基于AR增强现实涂鸦技术的歌曲教学方法及系统，巧妙的将AR涂鸦技术与歌曲教学结合起来，让涂鸦对象本身具有歌曲中涉及的人物主题或者情景主题，从而增加了歌曲教学中的形象性；另外，将一首完整的歌曲分解为若干个短句，用类似于真人教学的方式使用逐句逐句教授的方式播放出来，这样可以有效的提高用户学习歌曲的效率，使用AR涂鸦与歌曲相互结合的方式可以提高用户对歌曲的学习和效率，也可以提高用户尤其是小孩子的绘画能力；作为歌曲背景画面的涂鸦3D模型可以以多种形式展现，增加其丰富性和生动性。

在本说明书的描述中，参考术语“实施例一”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。