专利名称：一种虚实融合的交互式立体图书制作方法
技术领域：
本发明属于图书出版和计算机图形学领域，具体地说，是一种基于增强现实技术 的虚实融合的交互式立体图书制作方法，应用于带丰富多媒体信息的教育图书出版。
背景技术：
增强现实(AugmentedReality，简称 AR)是虚拟现实(Virtual Reality，简称 VR) 技术的延伸。和虚拟现实技术不同，增强现实有两个特点第一在概念上，认为数字空间中 的视频环境即是真实环境；第二在技术上，通过图像与几何模型的无缝结合实现虚实融合。 增强现实技术的研究已有十几年，最早一般都需要佩戴透视式头盔显示器，使用户在观察 现实物理对象时，可以直接叠加上虚拟对象。随着技术的发展，近年来增强现实技术开始通 过二维码类的标记来定位，摄像头捕捉到标记图像后由软件计算出内容。当前教育领域的研究人员越来越关注增强现实技术在教育领域中的应用，并且设 计了诸多系统或平台。Kaufmarm(2003)利用增强现实技术建立教师与学生合作式的教学互 动，该系统能呈现简单的点线面与几何体的构成，并具有布尔运算的功能，教师可以方便的 表达几何形体的变化以及在空间中的关系，而学生在这种虚实融合的立体环境中更容易掌 握复杂的空间概念。DUnser与Horneker (2007)以寓言故事作为内容，加入3D角色、声音 及互动道具，来观察5-7岁的儿童如何利用增强现实系统进行互动与合作学习。参与的儿 童利用附有标签的互动道具，一边阅读故事一边完成与故事内容相关的小任务。研究中发 现，增强现实环境会吸引小孩的注意力，并让他们在活动时会愿意不断的尝试着完成任务。 Mulloni (2008)设计了一个“牛与UF0”游戏，通过移动设备上的蓝牙装置与空间中的标签 图卡来进行小组对抗游戏。Priestnall (2009)是一篇运用AR在教育上的方法论文章，它 利用航拍照片或雷达图，加迭等高线进行3D绘图，重现冰河退却前的样貌，使学生对知识 的理解由抽象概念转化为真实概念。国内对于增强现实的研究近几年也逐渐成为热点，但 是在图书出版领域对AR技术鲜有涉足，国内图书出版、教育技术领域尚未从理论上系统探 讨AR虚拟学习环境的可行性和实证案例，更没有开发自主知识产权的AR虚拟学习环境去 做深入研究。[1]. Kaufmann, H. , Schmalstieg, D. (2003). Mathematics and geometry education with collaborative augmentedreality[J]. Computers & Graphics,27(3) 339-345.[2]. Diinser, A. , Hornecker, E. (2007). An observational study of children interacting with an augmented story book[C]. Proceeding of Edutainment 305-315[3].Mulloni, A.，Wagner, D.，& Schmalstieg, D. (2008). Mobility and Social Interaction as Core Gameplay Elementsin Multi-Player Augmented Reality[C]. The 3rd international conference on Digital Interactive Media inEntertainment and Arts 472-478[4].Priestnal1, G. (2009). Landscape Visualization in Fieldwork. Journalof Geography in Higher Education[J]. 33(Si) : 104-112.
发明内容
本发明要解决的技术问题是克服当前图书交互性不强、表现力较弱的缺点，提供 一种虚实融合的交互式立体图书的制作方法。这种图书制作流程简单，所需设备不复杂，操 作也异常方便，适合展示平面书籍上难以呈现的立体交互效果。本发明解决其技术问题所采用的技术方案是一种虚实融合的交互式立体图书制 作方法，其特征在于，包含以下步骤(1)在图书上划分三个区域①传统文字图片区域、②标记区域、③实际操作情景 截图区域；(2)根据所述传统文字图片区域中的内容进行三维建模，制作虚拟三维模型；(3)通过摄像头实时捕获图书上所述标记区域中印制的特定标记，计算所述特定 标记的空间位置和方向，并映射到已建立的虚拟三维模型上，使虚拟三维模型的位置和方 向产生对应的变化，将变化后的虚拟三维模型与摄像头捕获的原始场景实时合成后得到虚 实融合的交互式图像；(4)将步骤(3)中得到的图像置于所述实际操作情景截图区域。进一步地，在所述步骤(3)中的虚实场景叠加方法中使用的摄像头是普通网络摄 像头；一次同时捕获多个不同的特定标记，映射多个对应的虚拟三维模型，并在同一个虚实 融合画面场景中显示出来；设置延迟机制，通过一个延迟变量timeDelay来记录标记不能 被摄像头捕获所持续的时间，只有该值超过预先设定的阈值才认为标记未被摄像头捕获， 降低因摄像头刷新率不高或者光线明暗变化对标记捕获不准确带来的影响，使得合成图像 不闪烁；设置一个平滑矩阵列表，计算列表中矩阵的平均值作为虚拟三维模型位置和方向 的变化值，降低读者手抖动的轻微变化使得虚拟对象产生晃动带来的影响，使得合成图像 看起来更稳定自然。本发明与现有技术相比的有益效果(1)本发明方法设备简单，只需配备一台笔记本电脑和普通视频聊天用的网络摄 像头，读者不需要额外操作指令按键，只要将书上特定标记对准摄像头即可在电脑屏幕上 看到虚实融合的立体交互效果，这样的互动接近自然的阅读行为，在提高读者的感官体验 的同时又不增加操作的复杂性。(2)本发明能同时识别多标记，在一个场景中生成多个虚拟三维模型，使读者获得 更丰富的虚实融合场景体验。(3)本发明通过捕获延迟和矩阵平滑的方法减少了虚拟三维模型的闪烁和抖动， 使读者获得更自然、真实的阅读体验。(4)本发明的标记识别、三维图形显示及交互效果均使用Java语言实现，由于 Java语言自身跨平台的特点，使得本书的后台程序能在不同操作系统移植。
图1为本发明的制作过程图；图2为本发明的标记及附加logo示意4
图3为本发明的图书版式编排结构图；图4为本发明的标记采集、计算及虚实场景融合流程图。
具体实施例方式下面结合附图及具体实施方式
详细介绍本发明。本发明的一种虚实融合的交互式立体图书，制作过程如图1所示。具体步骤如下所述(1)制作标记图案并印刷书本首先根据书本需要使用虚拟立体展示的内容数量制作互不相同、独一无二的标记 图案。为保证摄像头灵敏的捕获标记，应将标记做得简单，图案颜色对比度高，并且不同标 记之间的相互区分度较明显。可使用外围黑背景、内围白背景、字体颜色为黑色的标记，周 围可辅以装饰logo图案，如图2所示。书籍内容的编排如图3所示，传统文字、图片部分靠左，占整个页面的2/3，标记部 分置于剩下1/3页面的右上部分，右下部分放置实际操作情景截图，让读者在没有摄像头 的环境下能直观地看出本书与传统书籍的区别。(2)捕获标记，制作虚拟三维模型并将其叠加到实时捕获的视频中系统首先将摄像头获取的真实场景图像显示为最底层，然后根据标定所得的摄像 头内外参数和三维注册算法计算出标记在真实空间中的三维位置，再在预先建好的虚拟三 维模型库中找出标记块一一对应的虚拟模型，并在标记的三维位置上将其按照摄像头的投 影矩阵投影到摄像头的投影平面上，并将虚拟三维模型在投影平面上的影像和真实空间在 投影平面上的影像进行合成，形成最后虚实结合的场景进行输出，如图4所示。具体步骤如下1)利用摄像头捕获真实场景，获得彩色图像信息；2)根据设定的阈值将采集到的彩色图像转换成二值黑白图像，并对该二值图像进 行连通域分析；3)找出其中所有的四边形区域作为候选匹配区域，将每一候选区域与模板库中的 模板进行匹配，如果产生匹配，则认为捕获到了一个标记；4)根据摄像头的位置信息和真实场景中的定位标记来计算摄像头相对于已知标 记的位置和姿态；5)按照仿射变换矩阵在视平面上绘制虚拟物体，最后与真实场景的视频合并，并 投影到普通显示屏幕上。(3)设置延迟机制采用上述方法能看到合成视频流中的虚拟对象。但是实际操作中，如果读者操作 过快但摄像头刷新率不高，或因环境光线较差，甚至有时候读者不小心偶然遮住了标记的 小块边缘，就会发生摄像头瞬时捕获不到标记的情况，这导致合成的视频图像上的虚拟三 维模型出现不定时的短暂消失，即虚拟三维模型发生“闪烁”，影响了读者观看的效果。本发 明采用设置延迟机制的方法，通过设置一个延迟变量timeDelay来记录标记不能被摄像头 捕获所持续的时间，只有该值超过预先设定的阈值才认为标记未被摄像头捕获，此时不显 示虚拟三维模型。这一措施减少了虚拟三维模型的闪烁，使读者获得更自然的观看效果。
5
(4)设置平滑移动读者在操作书籍的时候由于手的抖动等行为导致标记的位置和朝向发生轻微的 变化，而这种变化都被摄像头捕获下来而重新计算虚拟三维模型的位置和朝向，使得读者 在屏幕上看到的虚拟三维模型不停地轻微抖动，让读者觉得不真实。本发明设置了一个矩 阵列表smoothingMatrixList，将摄像头捕获到的标记的位置和方位的变化矩阵按顺序存 储到smoothingMatrixList中，当矩阵个数超过预先设定的阈值时，计算列表中所存储矩 阵的平均值matrixavg作为虚拟三维模型的变化矩阵，同时移除smoothingMatrixList中 最先加入的矩阵。这一措施使得虚拟三维模型的平移或旋转变得平滑。算法如下所示ArrayList<Matrix4d>smoothingMatrixList //设置类型为 Matrix4d 的歹Ij表MATRIX_MAX_NUM = 10 //设置矩阵列表中容纳的矩阵最大个数matNum = 0...if (matNum = = MATRIX_MAX_NUM) {smoothingMatrixList. remove(0)matNum = matNum-1}smoothingMatrixList. add(currentMat)matNum = matNum+1...public Matrix4d get () {//得到平滑移动矩阵的调用方法函数for(Matrix4d mat smoothingMatrixList)matrixavg. add (mat) ；//得到矩阵列表中的所有矩阵和matrixavg. mul (1. 0/matNum) ；// 得到平均矩阵return matrixavg ；}通过调用上述算法中的get()方法函数即可得到虚拟三维模型的平滑变化矩阵。
Il移除矩阵列表中最先加入的矩阵 Il将当前矩阵加入到矩阵列表中
权利要求
一种虚实融合的交互式立体图书制作方法，其特征在于包含以下步骤(1)在图书上划分三个区域①传统文字图片区域、②标记区域、③实际操作情景截图区域；(2)根据所述传统文字图片区域中的内容进行三维建模，制作虚拟三维模型；(3)通过摄像头实时捕获图书上所述标记区域中印制的特定标记，计算所述特定标记的空间位置和方向，并映射到已建立的虚拟三维模型上，使虚拟三维模型的位置和方向产生对应的变化，将变化后的虚拟三维模型与摄像头捕获的原始场景实时合成后得到虚实融合的交互式图像；(4)将步骤(3)中得到的图像置于所述实际操作情景截图区域。
2.根据权利要求1所述的虚实融合的交互式立体图书制作方法，其特征在于，在所述 步骤(3)中捕获特定标记所用的摄像头是普通网络摄像头。
3.根据权利要求1所述的虚实融合的交互式立体图书制作方法，其特征在于，在所述 步骤(3)中同时捕获多个不同的特定标记，映射多个对应的虚拟三维模型，并在同一个虚 实融合画面场景中显示出来。
4.根据权利要求1所述的虚实融合的交互式立体图书制作方法，其特征在于，在所述 步骤(3)中设置一个延迟变量timeDelay记录标记不能被摄像头捕获所持续的时间，只有 该值超过预先设定的阈值才认为标记未被摄像头捕获。
5.根据权利要求1所述的虚实融合的交互式立体图书制作方法，其特征在于，在所述 步骤(3)中设置一个平滑矩阵列表，计算列表中矩阵的平均值作为虚拟三维模型位置和方 向的变化值。
全文摘要
一种虚实融合的交互式立体图书制作方法，在图书上划分为①传统文字图片区域，②标记区域和③实际操作情景截图区域；使用普通网络摄像头捕获标记区域中的特定标记，计算标记的空间位置和方向，映射到虚拟三维模型，并与拍摄到的真实场景合成得到虚实融合交互式图像。通过捕获延迟和设置矩阵平滑的方法减少了虚拟三维模型的闪烁和抖动。本发明应用于图书出版领域，设备简单，交互行为自然，在提高读者的感官体验的同时又不增加操作的复杂性。
文档编号G06T17/00GK101976463SQ20101053515
公开日2011年2月16日 申请日期2010年11月3日 优先权日2010年11月3日
发明者余胜泉, 吴娟, 蔡苏, 高梦楠 申请人:北京师范大学