交互式图书互动系统及方法与流程

本发明涉及图书领域，尤其涉及一种交互式图书互动系统及方法。

背景技术：

阅读可以激发孩子的语言能力和交际能力，培养孩子的表达能力，多读书可以开拓孩子的智力发展，培养孩子的理解能力、自主学习能力、写作能力等，但由于儿童处于成长阶段，文字表现方式的图书对儿童来说相对枯燥，而对声音、图形和动画有较强的兴趣和喜爱。因此，如何激发儿童的阅读兴趣是当前需要解决的问题。

技术实现要素：

有鉴于此，本发明提供一种交互式图书互动系统及方法，激发儿童的阅读兴趣，提高图书的交互性，满足用户的多样化需求。

本发明采用以下技术方案：

一种交互式图书互动方法，其中，包括如下步骤：

移动终端的应用获取待交互图书页面的图片；

识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。

优选的，所述移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画，包括：

移动终端的应用加载所述特征图片对应的预设的3d动画；

打开所述移动终端的摄像头，使用ar增强现实技术，将摄像头拍摄的现实世界与所述3d动画叠加在一起，生成3d角色动画。

优选的，所述识别所述图片，获取图片的特征值，包括：

识别所述图片，通过对图片进行降噪和/或增加对比度处理，提取特征值。

优选的，所述将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片，包括：

将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；

从云端服务器上的下载所述动画数据。

优选的，还包括：

获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。

优选的，还包括：

分析统计数据，获取用户的阅读偏好数据。

一种交互式图书互动系统，其中，包括：

获取模块，用于移动终端的应用获取待交互图书页面的图片；

识别模块，用于识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

匹配模块，用于将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

叠加模块，用于移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

交互模块，用于通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。

优选的，所述叠加模块，包括：

加载子模块，用于移动终端的应用加载所述特征图片对应的预设的3d动画；

叠加子模块，用于打开所述移动终端的摄像头，使用ar增强现实技术，将摄像头拍摄的现实世界与所述3d动画叠加在一起，生成3d角色动画。

优选的，所述匹配模块，包括：

匹配子模块，用于将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；

下载子模块，用于从云端服务器上的下载所述动画数据。

优选的，还包括：统计模块，用于获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。

优选的，还包括：分析模块，用于分析统计数据，获取用户的阅读偏好数据。

本发明的有益效果如下：

本发明包括图书以及配套的app应用程序，图书采用精美的图文编排，培养儿童的阅读兴趣；手机app应用程序，通过打开手机摄像头，使用ar增加现实技术，利用大数据从云端匹配图形数据，生成跃然纸上的3d动画。ar技术将手机摄像头拍摄的现实世界与生成的虚拟物体叠加在一起，以实现对图书更直观深入的了解和解读，很容易帮助理解图书上讲解的内容，使用者可以轻松的与出现的3d动画进行交互，通过语音识别等技术与动画角色进行交流。

本发明通过图像匹配识别技术能够识别出待交互图书的当前页面的图片，然后与本地和云端的图片特征进行匹配，并生成动画，使用ar增加现实技术，通过叠加在摄像头实时画面的方法，产生增强现实的效果。并通过触屏控制、手势和语音的交互方法来与角色互动，互动动画能够潜隐默化的培养儿童的空间想象感，培养儿童的阅读兴趣和爱好，有利于提高增强图书交互的应用广泛性。

附图说明

图1是本发明一种交互式图书互动方法的流程图；

图2是本发明一种交互式图书互动方法实施例1的流程图；

图3是本发明一种交互式图书互动系统的方框图；

图4是本发明一种交互式图书互动系统的系统配置图；

图5是本发明一种交互式图书互动系统实施例2的方框图。

具体实施方式

如图1所示，本发明提供一种交互式图书互动方法，包括如下步骤：

步骤s1，移动终端的应用获取待交互图书页面的图片；

步骤s2，识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

步骤s3，将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

步骤s4，移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

步骤s5，通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。本发明可以通过手势动作与3d动画角色进行交互，可以通过触控屏幕感应器来与3d动画角色进行交互，还可以通过语音来与3d动画角色进行交互。

该实施例中，本发明通过图像匹配识别技术能够识别出待交互图书的当前页面的图片，然后与本地和云端的图片特征进行匹配，并生成动画，使用ar增加现实技术，通过叠加在摄像头实时画面的方法，产生增强现实的效果。并通过触屏控制、手势和语音的交互方法来与角色互动，互动动画能够潜隐默化的培养儿童的空间想象感，培养儿童的阅读兴趣和爱好，有利于提高ar增强图书交互的应用广泛性。

本发明通过手持终端进行图像采集，识别动画数据，通过手势动作、触屏点击、语音等进行动画角色的动画互动。本发明的手持终端包括但不限于基于googleandroid系统、ios平台(含ipad系列)以及微软windows系统的手持终端。步骤s4中，在智能设备上加载互动动画，在智能设备上进行播放。在本地的存储介质(例如硬盘或sd卡)中存储图片特征值和脚本文件，app应用程序用于对存储介质中所存储的图书特征和实际的3d动画进行关联，当识别成功，可以进行读取和播放。

app应用程序是由图形识别技术，3d模型展示技术制作而成，使用c#语言来完成程序的开发。所属的脚本均被转变为二进制个格式汇编格式，使用先进的语音识别技术，能够清晰的转化为交互数据。app应用程序中的交互采用触摸或者语音的方式，与3d角色进行交互。使用智能设备扫描对应课程内的图片，识别图片特征值，将图片特征值与本地和云端特征图片进行匹配，用以识别待交互的图片。识别完成，加载特征图片对应的预置3d动画，并和图像实时采集画面叠加在一起，对实景进行增强。通过声音采集，识别声音数据，通过3d动画角色进行语音互动。

云端服务器和云端中可以进行数据统计和图片识别，可以将扫描的图像数据上传，与云端图形特征数据库进行匹配，获得检索数据。还可根据上传的阅读效果数据进行统计分析并计算。以及保存阅读进度，下次从客户端打开后，直接读取云阅读进度。阅读数据的上传需要阅读者的授权，保护阅读者的隐私数据。

在一个实施例中，所述移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画，包括：

移动终端的应用加载所述特征图片对应的预设的3d动画；

打开所述移动终端的摄像头，使用ar增强现实技术，将摄像头拍摄的现实世界与所述3d动画叠加在一起，生成3d角色动画。

在一个实施例中，所述识别所述图片，获取图片的特征值，包括：

识别所述图片，通过对图片进行降噪和/或增加对比度处理，提取特征值。

在一个实施例中，所述将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片，包括：

将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；

从云端服务器上的下载所述动画数据。

在一个实施例中，还包括反馈部分：生成的3d角色可以根据产生的阅读者的交互行为，生成反馈结果，激发阅读者的兴趣。

优选的，还包括：

获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。

在一个实施例中，还包括：分析统计数据，获取用户的阅读偏好数据。

在一个实施例中，还包括ar交互游戏：当屏幕出现3d动画角色的时候，在交互的同时，可以触发特殊任务剧情ar小游戏任务，完成游戏将能够获得奖励，这将在反馈部分有所体现。

实施例1：

如图2所示，本实施例提供一种交互式图书互动方法，包括：

步骤s1，移动终端的应用获取待交互图书页面的图片；

步骤s2，识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

步骤s3，将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

步骤s4，移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

步骤s5，通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。本发明可以通过手势动作与3d动画角色进行交互，可以通过触控屏幕感应器来与3d动画角色进行交互，还可以通过语音来与3d动画角色进行交互；

步骤s6，生成的3d角色可以根据产生的阅读者的交互行为，生成反馈结果，激发阅读者的兴趣；

步骤s7，获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据；

步骤s8，分析统计数据，获取用户的阅读偏好数据。

对应于上述实施例提供的一种交互式图书互动方法，本发明实施例提供一种交互式图书互动系统，如图3所示，包括：

获取模块1，用于移动终端的应用获取待交互图书页面的图片；

识别模块2，用于识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

匹配模块3，用于将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

叠加模块4，用于移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

交互模块5，用于通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。

在一个实施例中，所述叠加模块，包括：

加载子模块，用于移动终端的应用加载所述特征图片对应的预设的3d动画；

叠加子模块，用于打开所述移动终端的摄像头，使用ar增强现实技术，将摄像头拍摄的现实世界与所述3d动画叠加在一起，生成3d角色动画。

在一个实施例中，所述匹配模块，包括：

匹配子模块，用于将图片特征值与本地预设的图片特征值进行对比，若匹配成功，则获取所述图片特征值对应的动画数据；

下载子模块，用于从云端服务器上的下载所述动画数据。

在一个实施例中，还包括：统计模块，用于获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据。

在一个实施例中，还包括：分析模块，用于分析统计数据，获取用户的阅读偏好数据。

在一个实施例中，还包括反馈模块：用于生成的3d角色可以根据产生的阅读者的交互行为，生成反馈结果，激发阅读者的兴趣。

实施例2：

如图4、图5所示，本实施例提供一种交互式图书互动系统，包括：

获取模块1，用于移动终端的应用获取待交互图书页面的图片；

识别模块2，用于识别所述图片，获取图片的特征值；所述特征值包括sift特征、surf特征、orb特征、brief特征和fast特征；

匹配模块3，用于将获取的特征值和预设图片图片的特征值进行匹配，获取特征图片；

叠加模块4，用于移动终端的应用加载所述特征图片对应的预设的3d动画，生成叠加在现实中的3d角色动画；

交互模块5，用于通过交互动作进行动画互动；所述交互动作包括手势动作、触控动作或/和语音。

反馈模块6，用于生成的3d角色可以根据产生的阅读者的交互行为，生成反馈结果，激发阅读者的兴趣；

统计模块7，用于获取识别图片的次数、3d动画播放的次数以及屏幕互动的次数，生成阅读效果的统计数据；

分析模块8，用于分析统计数据，获取用户的阅读偏好数据。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。