Ar增强现实教学系统的制作方法
【专利摘要】本发明涉及虚拟现实领域，具体涉及一种AR增强现实教学系统，包括设置有二维图像的教材、用于识别教材中二维图像并将二维图像转换为三维动画并播放的用户终端，所述用户终端包括用于采集教材中二维图像的图像采集模块、存储有若干二维图像和三维动画的存储模块、用于识别图像采集模块采集到的二维图像的识别模块、用于根据识别模块识别结果以播放存储模块中三维动画图像信息的播放模块、用于播放三维动画中音频信息的声音模块、用于进行控制的控制模块，所述控制模块与图像采集模块、存储模块、识别模块、播放模块、声音模块电连接以进行控制。本发明识别精度高、识别效率高、能激发读者兴趣、提升阅读效果。
【专利说明】
AR増强现实教学系统
技术领域
[0001 ]本发明涉及虚拟现实领域，特别是涉及一种AR增强现实教学系统。
【背景技术】
[0002] 传统的教材，多为平面印刷的纸质书本，虽然色彩斑斓，但一方面，互动性较差，另 一方面，生产成本高，随着电子技术的高速发展，出线了电子教材，电子教材，是指数字化、 交互功能的智能化将教材内容以科学直观的视、音、图、文展现出来的通过电子介质阅读的 课本。电子课本多角度、多维度地呈现教材内容方便学生理解和掌握教材知识，为传统教材 模式向网络化教材转变提供了良好范式。此外电子课本加入书签、笔记和标注等功能，更好 的提尚了学生的积极性。
[0003] 但现有技术的电子教材仍然不能将教材中的环境真实的展现在学生面前，不能让 学生感同身受，因此其互动性仍然有待提高，不能让学生印象更加深刻。
[0004] 随着虚拟现实技术的高速发展，诞生了 AR增强现实技术，它是一种实时地计算摄 影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上 把虚拟世界套在现实世界并进行互动，广泛应用于教育行业。现有技术中，基于AR增强现实 的魔法书，对书中图像识别度不高，导致设备反应时间长，且经常出现播放错误。
【发明内容】
[0005] 为解决上述问题，本发明提供一种识别精度高、识别效率高、能激发读者兴趣、提 升阅读效果的AR增强现实教学系统。
[0006] 本发明所采用的技术方案是:AR增强现实的教学系统，包括设置有二维图像的教 材、用于识别教材中二维图像并将二维图像转换为三维动画并播放的用户终端，所述用户 终端包括用于采集教材中二维图像的图像采集模块、存储有若干二维图像和三维动画的存 储模块、用于识别图像采集模块采集到的二维图像的识别模块、用于根据识别模块识别结 果以播放存储模块中三维动画图像信息的播放模块、用于播放三维动画中音频信息的声音 模块、用于进行控制的控制模块，所述控制模块与图像采集模块、存储模块、识别模块、播 放模块、声音模块电连接以进行控制。
[0007]对上述技术方案的进一步改进为，所述教材上的二维图像中包括主体部分和背景 部分，所述主体部分为白色，所述背景部分为红色或蓝色或黄色中的一种或几种，还包括用 于为教材上的二维图像着色的色笔。
[0008]对上述技术方案的进一步改进为，所述色笔为彩色可擦笔。
[0009]对上述技术方案的进一步改进为，所述教材上二维图像的主体部分线条宽度大于 背景部分线条宽度。
[0010]对上述技术方案的进一步改进为，所述识别模块包括图像检测与定位单元、图像 预处理单元、图像特征提取单元和匹配识别单元;所述图像特征提取单元提取的特征为全 局特征和局部特征中的一种或两种。
[0011] 对上述技术方案的进一步改进为，所述用户终端为手机或平板电脑，所述图像采 集模块为手机或平板电脑上的摄像头，所述播放模块为手机或平板电脑的显示屏，所述声 音模块为手机或平板电脑的喇叭。
[0012] 本发明的有益效果为：
[0013] 1、一方面，本发明中，通过用户终端采集教材上的二维图像，将其转换为三维动画 并播放，实现二维图像的三维化、动画化，能更好的激发读者的兴趣，通过生动形象的动画 加深读者的印象，以提升阅读效果。第二方面，图像采集模块采集教材中二维图像信息，经 识别模块识别并与存储模块中存储的二维图像进行匹配，根据匹配结果，在控制模块控制 下，播放模块和声音模块播放存储模块中对应该二维图像的三维动画图像信息和音频信 息，以形成带声音的动画，智能化程度高，识别精度高，识别效率高，播放准确。
[0014] 2、教材上的二维图像中包括主体部分和背景部分，所述主体部分为白色，所述背 景部分为红色或蓝色或黄色中的一种或几种，还包括用于为教材上的二维图像着色的色 笔。一方面，主体部分和背景部分色彩差异较大，便于识别模块准确的识别二维图像信息， 提高了本发明的识别精度，第二方面，读者可根据自己的理解，通过色笔为二维图像中的主 体部分着色，且着色过程会立刻体现在三维动画中，进行实时渲染，以使得本发明更加形 象生动，同时通过读者参与的方式激发读者的兴趣。
[0015] 3、色笔为彩色可擦笔，可重复着色并擦除，不同读者可根据自己的理解，为主体部 分进行上色，提高了本发明的利用率。
[0016] 4、教材上二维图像的主体部分线条宽度大于背景部分线条宽度，主体部分的线条 更突出，更便于识别模块识别，进一步提高了本发明的识别精度和播放准确性。
[0017] 5、识别模块包括图像检测与定位单元、图像预处理单元、图像特征提取单元和匹 配识别单元;所述图像特征提取单元提取的特征为全局特征和局部特征中的一种或两种。 首先，图像检测与定位单元对图像采集模块采集到的二维图像进行检测，将主体部分从背 景部分提取出来，检测及定位主体部分的形状、位置及尺寸等信息;然后，图像预处理单元 对二维图像进行预处理，主要是排除噪声、光照条件、图像采集角度等各种因素对采集的主 体部分的影响，使得主体部分对其他因素不敏感;然后，图像特征提取单元通过全局特征和 局部特征相结合的方式提取主体部分的特征，识别精度高，如当主体部分为拿着萝卜的兔子 时，整个拿着萝卜的兔子为整体特征，描述主体部分的整体特性，得到的特征向量中每一维 都包含整个拿着萝卜的兔子的信息，而对其中的兔子耳朵、眼睛、手、脚、萝卜等为局部特征， 采用局部特征识别，当二维图像中的一部分被遮挡时也能准确识别出该二维图像，识别精 度高;再然后，通过匹配识别单元对图像特征提取单元提取的全局特征或局部特征进行分 类或组合，以将该二维图像与储存模块储存的二维图像相匹配。
[0018] 其中，全局特征提取为主成分分析，即将主体部分按行或列重新排列成一维向量， 然后将其视为一维离散信号进行后续处理。假设1=[^，1 2，一知]为主体部分的样本集，其 中，xi(i = l，2,…η)表示样本集中第i个样本，W=[wi，w 2,…Wm]表示线性变换矩阵，其中， wj(j = 1，2，…m)表示第j个主成分，线性变换可表示为，.:其中，&为整个样 本向量集的平均向量，yi是高维空间向量以线性变换后所对应的低维向量。主成分％是X的 协方差矩阵St对应的特征向量：
[0019]
[0020] 设A1，λ2，··~为矩阵St的特征值，且λι^：λ2^：…>λ Μ，则主成分矩阵中wj是特征值λ」 对应的特征向量，将这些特征向量转为二维图像的形式时仍然显示为主体部分的轮廓。
[0021] 局部特征提取采用Gabor小波，在二维图像中，釆取多个不同方向、不同尺度的的 滤波响应来描述二维图像的局部纹理信息，识别精度高。
[0022] 二维Gabor小波定义为，
[0023]
[0024] 其中，（x，y)表示当前坐标，:：
Φν决定了滤波器的方向，而S和 k决定了高斯窗口的大小。
[0025] 6、用户终端为手机或平板电脑，所述图像采集模块为手机或平板电脑上的摄像 头，所述播放模块为手机或平板电脑的显示屏，所述声音模块为手机或平板电脑的喇叭，手 机或平板电脑体积较小，便于携带，且手机或平板电脑都设有摄像头、显示屏、喇叭等部件， 系统集成度高，进一步增加了本发明使用的便利性。
【附图说明】
[0026] 图1为本发明的结构不意图；
[0027] 图2为本发明的工作原理图。
【具体实施方式】
[0028] 下面将结合附图对本发明作进一步的说明。
[0029]如图1和图2所示，分别为本发明的结构示意图和工作原理图。
[0030] AR增强现实的教材110系统，包括设置有二维图像的教材110、用于识别教材110中 二维图像并将二维图像转换为三维动画并播放的用户终端120,所述用户终端120包括用于 采集教材110中二维图像的图像采集模块121、存储有若干二维图像和三维动画的存储模 块122、用于识别图像采集模块121采集到的二维图像的识别模块123、用于根据识别模块 123识别结果以播放存储模块122中三维动画图像信息的播放模块124、用于播放三维动画 中音频信息的声音模块125、用于进行控制的控制模块126,所述控制模块126与图像采集模 块121、存储模块122、识别模块123、播放模块124、声音模块125电连接以进行控制。
[0031] 一方面，本发明中，通过用户终端120采集教材110上的二维图像，将其转换为三维 动画并播放，实现二维图像的三维化、动画化，能更好的激发读者的兴趣，通过生动形象的 动画加深读者的印象，以提升阅读效果。第二方面，图像采集模块121采集教材110中二维图 像信息，经识别模块123识别并与存储模块122中存储的二维图像进行匹配，根据匹配结果， 在控制模块126控制下，播放模块124和声音模块125播放存储模块122中对应该二维图像的 三维动画图像信息和音频信息，以形成带声音的动画，智能化程度高，识别精度高，识别效 率高，播放准确。
[0032]教材110上的二维图像中包括主体部分111和背景部分112,所述主体部分111为白 色，所述背景部分112为红色或蓝色或黄色中的一种或几种，还包括用于为教材110上的二 维图像着色的色笔130。一方面，主体部分111和背景部分112色彩差异较大，便于识别模块 123准确的识别二维图像信息，提高了本发明的识别精度，第二方面，读者可根据自己的理 解，通过色笔130为二维图像中的主体部分111着色，且着色过程会立刻体现在三维动画中， 进行实时渲染，以使得本发明更加形象生动，同时通过读者参与的方式激发读者的兴趣。 [0033]色笔130为彩色可擦笔，可重复着色并擦除，不同读者可根据自己的理解，为主体 部分111进行上色，提高了本发明的利用率。色笔130包括笔套、位于笔套一端的笔头、设置 于笔套内部且连接于笔头的笔芯，笔芯内灌有可擦除的油墨，且当笔芯内的油墨用完时，可 补充新的油墨，进一步提高了本发明的利用率。
[0034]教材110上二维图像的主体部分111线条宽度大于背景部分112线条宽度，主体部 分111的线条更突出，更便于识别模块123识别，进一步提高了本发明的识别精度和播放准 确性。
[0035] 识别模块123包括图像检测与定位单元123a、图像预处理单元123b、图像特征提取 单元123c和匹配识别单元123d;所述图像特征提取单元123c提取的特征为全局特征和局部 特征中的一种或两种。首先，图像检测与定位单元123a对图像采集模块121采集到的二维图 像进行检测，将主体部分111从背景部分112提取出来，检测及定位主体部分111的形状、位 置及尺寸等信息；然后，图像预处理单元123b对二维图像进行预处理，主要是排除噪声、光 照条件、图像采集角度等各种因素对采集的主体部分111的影响，使得主体部分111对其他 因素不敏感;然后，图像特征提取单元123c通过全局特征和局部特征相结合的方式提取主 体部分111的特征，识别精度高，如当主体部分111为拿着萝卜的兔子时，整个拿着萝卜的兔子 为整体特征，描述主体部分111的整体特性，得到的特征向量中每一维都包含整个拿着萝卜 的兔子的信息，而对其中的兔子耳朵、眼睛、手、脚、萝卜等为局部特征，采用局部特征识别， 当二维图像中的一部分被遮挡时也能准确识别出该二维图像，识别精度高;再然后，通过匹 配识别单元123d对图像特征提取单元123c提取的全局特征或局部特征进行分类或组合，以 将该二维图像与储存模块储存的二维图像相匹配。
[0036] 其中，全局特征提取为主成分分析，即将主体部分111按行或列重新排列成一维向 量，然后将其视为一维离散信号进行后续处理。假设1=[1 1，12，一心]为主体部分的样本集， 其中，xi(i = l，2,…η)表示样本集中第i个样本，W= [Wiwn]表示线性变换矩阵，其中， Wj (j = 1，2，…m)表示第j个主成分，线性变换可表示为，?其中，$为整个样 本向量集的平均向量，yi是高维空间向量以线性变换后所对应的低维向量。主成分％是X的 协方差矩阵St对应的特征向量：
[0037]
[0038] 设A1，λ2，一λΜ为矩阵St的特征值，且A1 >λ2彡…彡λΜ，则主成分矩阵中Wj是特征值λ」 对应的特征向量，将这些特征向量转为二维图像的形式时仍然显示为主体部分111的轮 廓。
[0039]局部特征提取采用Gabor小波，在二维图像中，釆取多个不同方向、不同尺度的的 滤波响应来描述二维图像的局部纹理信息，识别精度高。
[0040] 二维Gabor小波定义为，
[0041]
[0042] 其中，（x，y)表示当前坐标 Φ N决定了滤波器的方向，而S和 k决定了高斯窗口的大小。
[0043] 用户终端120为手机或平板电脑，所述图像采集模块121为手机或平板电脑上的摄 像头，所述播放模块124为手机或平板电脑的显示屏，所述声音模块125为手机或平板电脑 的喇叭，手机或平板电脑体积较小，便于携带，且手机或平板电脑都设有摄像头、显示屏、喇 叭等部件，系统集成度高，进一步增加了本发明使用的便利性。
[0044] 本发明的工作原理为：
[0045] 首先，通过用户终端120,手机或平板电脑上的摄像头，采集教材110上的二维图 像;然后，图像检测与定位单元123a对图像采集模块121采集到的二维图像进行检测，将主 体部分111从背景部分112提取出来，检测及定位主体部分111的形状、位置及尺寸等信息； 然后，图像预处理单元123b对二维图像进行预处理，主要是排除噪声、光照条件、图像采集 角度等各种因素对采集的主体部分111的影响，使得主体部分111对其他因素不敏感;然后， 图像特征提取单元123c通过全局特征和局部特征相结合的方式提取主体部分111的特征， 识别精度高;再然后，通过匹配识别单元123d对图像特征提取单元123c提取的全局特征或 局部特征进行分类或组合，以将该二维图像与储存模块储存的二维图像相匹配;最后，根据 匹配结果，在控制模块126控制下，播放模块124和声音模块125播放存储模块122中对应该 二维图像的三维动画图像信息和音频信息，以形成带声音的动画。
[0046] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并 不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员 来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保 护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1. AR增强现实教学系统，其特征在于:包括设置有二维图像的教材、用于识别教材中二 维图像并将二维图像转换为三维动画并播放的用户终端，所述用户终端包括用于采集教材 中二维图像的图像采集模块、存储有若干二维图像和三维动画的存储模块、用于识别图像 采集模块采集到的二维图像的识别模块、用于根据识别模块识别结果以播放存储模块中三 维动画图像信息的播放模块、用于播放三维动画中音频信息的声音模块、用于进行控制的 控制模块，所述控制模块与图像采集模块、存储模块、识别模块、播放模块、声音模块电连接 以进行控制。2. 根据权利要求1所述的AR增强现实教学系统，其特征在于:所述教材上的二维图像中 包括主体部分和背景部分，所述主体部分为白色，所述背景部分为红色或蓝色或黄色中的 一种或几种，还包括用于为教材上的二维图像着色的色笔。3. 根据权利要求2所述的AR增强现实教学系统，其特征在于:所述色笔为彩色可擦笔。4. 根据权利要求3所述的AR增强现实教学系统，其特征在于:所述教材上二维图像的主 体部分线条宽度大于背景部分线条宽度。5. 根据权利要求4所述的AR增强现实教学系统，其特征在于:所述识别模块包括图像检 测与定位单元、图像预处理单元、图像特征提取单元和匹配识别单元;所述图像特征提取单 元提取的特征为全局特征和局部特征中的一种或两种。6. 根据权利要求5所述的AR增强现实教学系统，其特征在于:所述用户终端为手机或平 板电脑，所述图像采集模块为手机或平板电脑上的摄像头，所述播放模块为手机或平板电 脑的显示屏，所述声音模块为手机或平板电脑的喇叭。
【文档编号】H04N5/225GK106056992SQ201610575478
【公开日】2016年10月26日
【申请日】2016年7月20日
【发明人】彭学波, 彭学华, 莫朝余
【申请人】广东沃赛科技有限公司