专利名称：一种基于增强现实的嵌入式教学模型及其方法
技术领域：
本发明涉及一种基于增强现实的嵌入式教学模型，以及利用该模型进行教学辅助的方法，属于增强现实技术领域。
背景技术：
随着计算机图形图像技术和空间定位技术的发展，人们越来越多地将增强现实技术应用在各个领域。在教学方面，相比于传统方式，可以采用增强现实技术使教学内容更真实生动，提高教学效果。在平面印刷品上叠加三维虚拟模型和动画，再通过显示设备呈现，以独特的教学体验吸引学生深入了解教学内容。
在课堂上展现一定的虚拟场景，使得原本单调的课堂变得丰富多彩，将那些复杂而抽象的概念以形象生动的方式进行说明，从而充分地调动学生的积极性，有效地改善师生之间的互动，并有利于学生对知识的把握和吸收，增强课堂学习效果，提高学习效率。但是目前的虚拟场景应用起来不是很方便、灵活，教学体验效果不佳。
发明内容
发明目的针对现有技术中存在的问题，本发明提供一种基于增强现实的嵌入式教学模型及其方法。本发明提供一种灵活的辅助教学的解决方案，通过摄像机来拍摄不含展品的展示场景，其中由教师手持一种具有标定功能的参照物，然后利用增强现实手段，在参照物上叠加与教学内容有关的虚拟模型，添加相应的动画，从而完成生动、自然的教学。本发明的方案，不仅可以方便地更换虚拟模型，而且也可以控制动画的播放时间和速度，满足各类教学需求。同时该方案可以推广到商品发布、模拟训练等场景中，有广泛的应用空间和推广价值。本发明针对嵌入式平台做了大量的优化工作，保证了系统运行的实时性和流畅度，增强了教学体验。技术方案一种基于增强现实的嵌入式教学模型，包括嵌入式开发板、标记卡、摄像机和投影仪；所述嵌入式开发板分别与摄像机和投影仪连接；将虚拟三维模型叠加在所述标记卡上；所述摄像机用于拍摄包括标记卡的真实场景，并将视频传给嵌入式开发板；所述嵌入式开发板接收到摄像机传来的视频后，识别标记卡的位置，利用增强现实技术，对虚拟三维模型进行叠加，并将合成影像传给投影仪，投影仪将合成影像输出到投影屏幕上显不O所述嵌入式开发板，是一个基于X86架构的嵌入式开发板,其中内嵌一个X86架构的处理器和一个FPGA，两者通过PCI-E总线相连；嵌入式开发板通过AV接口与摄像机连接，通过VGA接口与投影仪连接；AV接口与FPGA之间，有模数转换芯片和视频解码芯片，嵌入式开发板通过AV接口来接收摄像机发来的模拟视频信号，并转换为数字视频信号传递给FPGA，由FPGA做白平衡、滤波降噪处理后，再传递给处理器进行处理；处理器识别标记卡的位置和坐标角度，将虚拟三维模型叠加在标记卡位置处，提供模型平移、旋转、放缩、更换、动画控制等功能，并实时输出合成图像。所述标记卡是一种起到标记作用的物体，是一个由黑白两色构成的图案所绘制的图形标记卡；所述嵌入式开发板通过标定标记卡的位置和角度，将虚拟模型叠加在标记卡上。教师通过手持标记卡，或将标记卡固定在三脚架上，由摄像机进行拍摄，并通过教学系统，将教学用的虚拟三维模型叠加在标记卡上。除了用于教学，还可应用到其他场景，如产品介绍等。一种基于增强现实的嵌入式教学模型的方法，包括如下步骤
首先，将标记卡固定在合适的位置，初始化摄像机的相应参数，以便从摄像机获取正确的拍摄帧图像；
然后，当通过摄像机获取帧图像后，对帧图像做白平衡、滤波降噪处理，从帧图像中寻找事先规定的标记卡位置，以及标记卡相对于摄像机拍摄的角度；
当找到标记卡位置之后，计算摄像机相对于探测到的标识的投影变换矩阵，将摄像机拍摄位置的坐标系转换为标记卡所在位置的坐标系，从而在探测到的标记卡上叠加虚拟三维模型；
最后，将叠加虚拟三维模型提供模型平移、旋转、放缩、更换、动画控制后，通过投影仪输出叠加后的虚拟三维模型。本发明最大限度的发挥了嵌入式开发板的特性，在Windows Embedded Standard7系统上，采用ARToolkit增强现实库，实现将电脑虚拟的三维模型叠加到真实世界画面中的功能，即在一定距离内，拍摄真实世界画面，并识别画面中的标记卡，从而将虚拟三维模型叠加到标记卡所示的位置上，最后实时输出经过叠加合成的图像。所叠加的三维模型，是随着标记卡的移动而移动，看起来就好像黏在标记卡上面一样，标记卡角度的变化，也会改变三维模型的角度。本发明采用上述技术方案，具有以下有益效果嵌入式开发板的物理尺寸很小，具有良好的便携性，并且在保证良好性能的前提下，具有较低的功耗和成本，和较好的实时性。模型实现设备简单、普遍，可跨平台，可移植性和二次开发性均良好。除了在教学上提供强大的辅助功能外，本发明还可以扩展到其他应用场景，如产品展示、会议演示等，应用十分广泛。
图I为本发明实施例的原理 图2为本发明实施例的Intel EPCM-505C嵌入式开发板结构 图3为本发明实施例的工作流程图。
具体实施例方式下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。如图I所示，基于增强现实的嵌入式教学模型，包括嵌入式开发板3、标记卡I、摄像机2和投影仪4。如图2所示，嵌入式开发板3是一个Intel EPCM-505C嵌入式开发板，嵌入式开发板3核心部分左侧是Intel Atom处理器，型号为E645C，频率I. 0GHz，单核心双线程。核心部分右侧是一颗Altera Arria II的FPGA，其具体的型号为EP2AGXE6XX。这颗FPGA与Intel Atom处理器通过PCI-E总线相连，从而进行通信。嵌入式开发板3外围是一些对外接口，如USB接口、VGA接口、AV接口等。嵌入式开发板3通过AV接口与摄像机2连接，通过VGA接口与投影仪4连接；AV接口与FPGA之间，有模数转换芯片和视频解码芯片，嵌入式开发板3通过AV接口来接收摄像机2发来的模拟视频信号，并转换为数字视频信号传递给FPGA，由FPGA做白平衡、亮度调整和滤波降噪处理后，再传递给处理器进行处理；处理器识别标记卡I的位置和坐标角度，将虚拟三维模型叠加在标记卡I位置处，提供模型平移、旋转、放缩、更换、动画控制等功能，并实时输出合成图像给投影仪4。投影仪4将合成影像输出到投影屏幕5上显示。
其中标记卡I是一种起到标记作用的物体，是一个由黑白两色构成的图案所绘制的图形标记卡；嵌入式开发板3通过标定标记卡I的位置和角度，将虚拟模型叠加在标记卡I上。教师通过手持标记卡1，或将标记卡I固定在三脚架上，由摄像机2进行拍摄，并通过教学系统，将教学用的虚拟三维模型叠加在标记卡I上。除了用于教学，还可应用到其他场景，如产品介绍等。如图3所示，基于增强现实的嵌入式教学模型的方法，包括如下步骤
首先，将标记卡I固定在合适的位置，初始化摄像机2的相应参数，以便从摄像机2获取正确的拍摄帧图像；
然后，当通过摄像机2获取帧图像后，对帧图像做白平衡、滤波降噪处理，从帧图像中寻找事先规定的标记卡I位置，以及标记卡I相对于摄像机2拍摄的角度；
当找到标记卡I位置之后，计算摄像机2相对于探测到的标记卡I标识的投影变换矩阵，将摄像机2拍摄位置的坐标系转换为标记卡I所在位置的坐标系，从而在探测到的标记卡I上叠加虚拟三维模型；
最后，将叠加虚拟三维模型提供模型平移、旋转、放缩、更换、动画控制后，通过投影仪4输出叠加后的虚拟三维模型。直到帧图像获取完，关闭摄像机2，释放嵌入式开发板3的内存，结束工作。在工作过程中涉及到两个最主要的坐标系。一个是摄像机2坐标系，是摄像机2所拍摄的视频，以摄像机2为参考系的坐标系；另一个是标记卡I坐标系,是以标记卡I作为参考系的坐标系。最终的三维模型是需要叠加在标记卡I上面，模型会随着标记卡I的移动而移动，所以计算的坐标转换矩阵，是将摄像机2坐标系转换为标记卡I坐标系的转换矩阵。
权利要求
1.一种基于增强现实的嵌入式教学模型，其特征在于包括嵌入式开发板、标记卡、摄像机和投影仪；所述嵌入式开发板分别与摄像机和投影仪连接；将虚拟三维模型叠加在所述标记卡上；所述摄像机用于拍摄包括标记卡的真实场景，并将视频传给嵌入式开发板；所述嵌入式开发板接收到摄像机传来的视频后，识别标记卡的位置，利用增强现实技术，对虚拟三维模型进行叠加，并将合成影像传给投影仪，投影仪将合成影像输出到投影屏幕上显不O
2.如权利要求I所述的基于增强现实的嵌入式教学模型，其特征在于所述嵌入式开发板，是一个基于X86架构的嵌入式开发板，其中内嵌一个X86架构的处理器和一个FPGA，两者通过PCI-E总线相连；嵌入式开发板通过AV接口与摄像机连接，通过VGA接口与投影仪连接；AV接口与FPGA之间，有模数转换芯片和视频解码芯片，嵌入式开发板通过AV接口来接收摄像机发来的模拟视频信号，并转换为数字视频信号传递给FPGA，由FPGA做白平衡、滤波降噪处理后，再传递给处理器进行处理；处理器识别标记卡的位置和坐标角度，将虚拟三维模型叠加在标记卡位置处，提供模型平移、旋转、放缩、更换、动画控制功能，并实时输出合成图像。
3.如权利要求I所述的基于增强现实的嵌入式教学模型，其特征在于所述标记卡是一种起到标记作用的物体，是一个由黑白两色构成的图案所绘制的图形标记卡；所述嵌入式开发板通过标定标记卡的位置和角度，将虚拟模型叠加在标记卡上。
4.一种基于增强现实的嵌入式教学模型的方法，其特征在于，包括如下步骤 首先，将标记卡固定在合适的位置，初始化摄像机的相应参数，以便从摄像机获取正确的拍摄帧图像； 然后，当通过摄像机获取帧图像后，对帧图像做白平衡、滤波降噪处理，从帧图像中寻找事先规定的标记卡位置，以及标记卡相对于摄像机拍摄的角度； 当找到标记卡位置之后，计算摄像机相对于探测到的标识的投影变换矩阵，将摄像机拍摄位置的坐标系转换为标记卡所在位置的坐标系，从而在探测到的标记卡上叠加虚拟三维模型； 最后，将叠加虚拟三维模型提供模型平移、旋转、放缩、更换、动画控制后，通过投影仪输出叠加后的虚拟三维模型。
全文摘要
本发明公开一种基于增强现实的嵌入式教学模型及其方法，模型包括嵌入式开发板、标记卡、摄像机和投影仪；方法通过摄像机来拍摄真实的场景，教师手持具有标定功能的参照物，然后利用增强现实手段，在参照物上叠加与教学内容有关的虚拟模型，对模型进行相应的操作，如，放大、缩小、添加文字说明等，从而完成生动、自然的教学。本发明的方案，不仅可以方便地更换虚拟模型，而且也可以控制动态模型的播放时间和速度，满足各类教学需求。同时该方案可以推广到商品发布、模拟训练等场景中，有广泛的应用空间和推广价值。
文档编号G09B23/18GK102945637SQ20121049971
公开日2013年2月27日 申请日期2012年11月29日 优先权日2012年11月29日
发明者张雪洁, 刘子源, 伏潜, 黄鑫, 周文欢 申请人:河海大学