一种基于儿童图书的AR展示互动学习方法与流程

本发明属于ar技术领域，具体为一种基于儿童图书的ar展示互动学习方法。

背景技术：

ar一般理解为虚拟信息和显示世界叠加显示技术，增强现实（简称ar）是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，最早于1990年提出。它包含了多媒体、三维建模、实时视频显示及控制、多传感器溶合、实时跟踪及注册、场景融合等新技术与新手段，它将计算机生成的虚拟物体或关于真实物体的非几何信息叠加到真实世界的场景之上，实现了对真实世界的增强。

儿童图书是指传播信息知识给少年儿童年龄阶段的出版物。包括图书、期刊等印刷出版物，也包括可见、可听、可触及等电子出版物，一般的少儿出版物按年龄分类：0-3岁的低幼儿：3-6岁的中幼儿：6-9岁的高幼少儿：9-14岁的少年少儿。

随着ar技术的不断发展，其应用的行业范围更加广阔，ar技术和儿童图书进行结合也是其应用尝试的一项内容，相较于传统的阅读，结合了ar技术可进行场景展示的儿童图书更加能引起儿童的兴趣，但现有的与ar技术结合的儿童图书一般仅仅为单纯的场景展示及简单的语音互动，和儿童的场景互动感较差，在长期使用时，很难继续吸引儿童的兴趣，使得与ar技术结合的儿童图书的使用受到限制；因此，针对目前的状况，现需对其进行改进。

技术实现要素：

针对上述情况，为克服现有技术的缺陷，本发明提供一种基于儿童图书的ar展示互动学习方法，有效的解决了随着ar技术的不断发展，其应用的行业范围更加广阔，ar技术和儿童图书进行结合也是其应用尝试的一项内容，相较于传统的阅读，结合了ar技术可进行场景展示的儿童图书更加能引起儿童的兴趣，但现有的与ar技术结合的儿童图书一般仅仅为单纯的场景展示及简单的语音互动，和儿童的场景互动感较差，在长期使用时，很难继续吸引儿童的兴趣，使得与ar技术结合的儿童图书的使用受到限制的问题。

为实现上述目的，本发明提供如下技术方案：一种基于儿童图书的ar展示互动学习方法，包括以下步骤：

s1：人体模型建立：在移动终端处建立所需要学习的儿童的3d模拟人体模型，并储存至ar终端；

s2：移投设备连接：将移动终端与投影设备进行无线连接，通过在移动终端设置指定交互动作或指定交互语音并储存至ar终端；

s3：图书内容获取：利用移动终端扫描儿童图书所需要学习的页面信息，并将信息输送至ar终端；

s4：现实场景获取：利用投影设备获取当前实物场景、位置以及人体当前姿态及位置：

s5：ar结合投影：ar终端将步骤s3中获取的图书内容所对应的ar内容，且将此ar内容与步骤s4中获取的现实场景以及人体进行结合，人体采用步骤s1中建立的3d模拟人体模型，将此模型与s4步骤中获取的人体当前姿态及位置进行对应模拟，并投射在ar展示幕端表面进行展示，且在展示同时播放对应的语音内容；

s6：指定动作交互：ar投影展示的同时，儿童可根据步骤s2中设定的指定交互动作或指定交互语音对当前ar投影展示内容进行交互控制，控制时，投影设备实时获取指定交互动作或指定交互语音并输送至ar终端，ar终端结合步骤s2中的设置，将当前ar投影展示内容根据指定交互动作或指定交互语音进行转换，且在儿童进行动作时，ar投影展示中的3d模拟人体模型也进行同步动作；

s7：学习结果反馈：ar投影展示学习结束后，ar投影根据当前学习的内容在ar终端的学习库中抽取相应的测试题5-8道，通过ar投影对儿童进行实时测试，并根据测试结果展示相应的奖励拼图：

①：当测试题回答正确率在90％-100％之间时，则展示3块拼图；

②：当测试题回答正确率在75％-90％之间时，则展示2块拼图；

③：当测试题回答正确率在0％-75％之间时，则展示1块拼图；

奖励拼图在图书内容全部学习完毕后，且测试题回答正确率平均在90％-100％之间时，可全部解锁，在单元学习后，学习进度及结果实时储存在ar终端处。

优选的，所述步骤s2中，移动终端包括手机、笔记本、pad智能终端、平板电脑和可穿戴设备如智能眼镜、智能手表或智能手环中一种或几种的组合，投影设备包括摄像单元、投影单元和处理中心单元，移动终端与投影设备的无线连接方式包括5g模块、4g模块、蓝牙模块、wifi模块、lora模块、z-wave模块、gsm模块、cdma模块和td-scdma模块中一种或几种的组合。

优选的，所述步骤s3中，图书内容获取方式包括二维码扫描或包含ar色彩的图书图片扫描中的一种或两种组合。

优选的，所述步骤s4中，获取当前实物场景、位置以及人体当前姿态及位置采用硬件定位或视觉定位中的一种或两种组合，所述硬件定位包括gps定位、超声定位、磁场跟踪器、光学定位、惯性定位和螺旋测度仪中一种或几种的组合，所述视觉定位包括图像获取模块、相对位置方向标定模块和图像处理模块，所述图像获取模块、相对位置方向标定模块和图像处理模块两两之间双向电性连接。

优选的，所述步骤s1-s6中，ar终端包括ar场景库、数据控制处理中心、声像感应模块和数据存储模块，所述ar场景库、数据控制处理中心、声像感应模块和数据存储模块两两之间双向电性连接。

优选的，所述步骤s5中，ar展示端包括手持式显示器、常规液晶式显示器、头戴式显示器和投影式显示器中一种或几种的组合。

与现有技术相比，本发明的有益效果是：该发明，通过建立3d模拟人体模型和指定交互动作以及指定交互语音，ar投影展示的同时，儿童可根据设定的指定交互动作或指定交互语音对当前ar投影展示内容进行交互控制，控制时，投影设备实时获取指定交互动作或指定交互语音并输送至ar终端，ar终端将当前ar投影展示内容根据指定交互动作或指定交互语音进行转换，且在儿童进行动作时，ar投影展示中的3d模拟人体模型也进行同步动作，且通过ar终端将获取的图书内容所对应的ar内容，与获取的现实场景以及人体进行结合，并投射在ar展示幕端表面进行展示，且在展示同时播放对应的语音内容，增加了儿童的场景互动感，提高了儿童的学习兴趣，可更好的引导儿童进行学习，寓教于乐，提高了儿童学习的效率；

该发明，设置了学习结果反馈机制，在ar投影展示学习结束后，ar投影根据当前学习的内容在ar终端的学习库中抽取相应的测试题5-8道，通过ar投影对儿童进行实时测试，并根据测试结果展示相应的奖励拼图：①：当测试题回答正确率在90％-100％之间时，则展示3块拼图；②：当测试题回答正确率在75％-90％之间时，则展示2块拼图；③：当测试题回答正确率在0％-75％之间时，则展示1块拼图；奖励拼图在图书内容全部学习完毕后，且测试题回答正确率平均在90％-100％之间时，可全部解锁，在单元学习后，学习进度及结果实时储存在ar终端处，通过目标式解锁奖励法，既增加了儿童的学习兴趣，也提高了儿童学习时的专注度以及学习的积极性，相较传统的奖励法，更加新颖有趣。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1为本发明流程图；

图2为本发明视觉定位框架图；

图3为本发明ar终端框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明一种基于儿童图书的ar展示互动学习方法，包括以下步骤：

s1：人体模型建立：在移动终端处建立所需要学习的儿童的3d模拟人体模型，并储存至ar终端；

s2：移投设备连接：将移动终端与投影设备进行无线连接，通过在移动终端设置指定交互动作或指定交互语音并储存至ar终端；

s3：图书内容获取：利用移动终端扫描儿童图书所需要学习的页面信息，并将信息输送至ar终端；

s4：现实场景获取：利用投影设备获取当前实物场景、位置以及人体当前姿态及位置：

s5：ar结合投影：ar终端将步骤s3中获取的图书内容所对应的ar内容，且将此ar内容与步骤s4中获取的现实场景以及人体进行结合，人体采用步骤s1中建立的3d模拟人体模型，将此模型与s4步骤中获取的人体当前姿态及位置进行对应模拟，并投射在ar展示端表面进行展示，且在展示同时播放对应的语音内容；

s6：指定动作交互：ar投影展示的同时，儿童可根据步骤s2中设定的指定交互动作或指定交互语音对当前ar投影展示内容进行交互控制，控制时，投影设备实时获取指定交互动作或指定交互语音并输送至ar终端，ar终端结合步骤s2中的设置，将当前ar投影展示内容根据指定交互动作或指定交互语音进行转换，且在儿童进行动作时，ar投影展示中的3d模拟人体模型也进行同步动作；

s7：学习结果反馈：ar投影展示学习结束后，ar投影根据当前学习的内容在ar终端的学习库中抽取相应的测试题5-8道，通过ar投影对儿童进行实时测试，并根据测试结果展示相应的奖励拼图：

①：当测试题回答正确率在90％-100％之间时，则展示3块拼图；

②：当测试题回答正确率在75％-90％之间时，则展示2块拼图；

③：当测试题回答正确率在0％-75％之间时，则展示1块拼图；

奖励拼图在图书内容全部学习完毕后，且测试题回答正确率平均在90％-100％之间时，可全部解锁，在单元学习后，学习进度及结果实时储存在ar终端处。

其中，在步骤s2中，移动终端包括手机、笔记本、pad智能终端、平板电脑和可穿戴设备如智能眼镜、智能手表或智能手环中一种或几种的组合，投影设备包括摄像单元、投影单元和处理中心单元，移动终端与投影设备的无线连接方式包括5g模块、4g模块、蓝牙模块、wifi模块、lora模块、z-wave模块、gsm模块、cdma模块和td-scdma模块中一种或几种的组合。

在步骤s3中，图书内容获取方式包括二维码扫描或包含ar色彩的图书图片扫描中的一种或两种组合。

在步骤s4中，获取当前实物场景、位置以及人体当前姿态及位置采用硬件定位或视觉定位中的一种或两种组合，硬件定位包括gps定位、超声定位、磁场跟踪器、光学定位、惯性定位和螺旋测度仪中一种或几种的组合，视觉定位包括图像获取模块、相对位置方向标定模块和图像处理模块，图像获取模块、相对位置方向标定模块和图像处理模块两两之间双向电性连接。

在步骤s1-s6中，ar终端包括ar场景库、数据控制处理中心、声像感应模块和数据存储模块，ar场景库、数据控制处理中心、声像感应模块和数据存储模块两两之间双向电性连接。

在步骤s5中，ar展示端包括手持式显示器、常规液晶式显示器、头戴式显示器和投影式显示器中一种或几种的组合。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。