专利名称：基于图像特征点提取与随机树分类的增强现实系统的制作方法
技术领域：
本实用新型属于增强现实技术领域，特别涉及一种增强现实的系统，应用于虚拟现实与 计算机视觉领域，利用模式识别与虚拟现实技术对视频采集到的现实图像帧起到添加内容、 增强效果的作用。
背景技术：
增强现实(AR， Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。增 强现实基于摄像头等采集器件采集到的真实物理环境，通过将文本、二维图像、三维模型等 虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现 实物理环境的注释、说明，或者增强、强调现实环境的某些效果。比如用户戴上专用的增强 现实显示眼镜，观察某个复杂机械时，他不仅可以看到现实世界中存在的机械结构本身，还 可以同时看到通过增强现实技术附加的多媒体信息如机械各个部分的介绍等。增强现实技术 给用户一种虚拟对象与现实环境两相融合的体验，它能有效地帮助用户认知周围环境，增添 周围环境的信息，实现用户与周围环境的交互。
"ARToolkit"是一种可用于增强现实的开源软件包。ARtoolkit使用计算机视觉技术来 计算真实摄像场景与标记符号之间的相对位置关系。ARToolkit的主要算法流程为输入实时 捕获的视频图像帧，通过可设定的阈值将其转换成黑白二值图；搜索场景中标志物的黑框颜 色所对应的连通区域，作为标志物黑框的候选对象；得到各连通区域的轮廓线，若能提取出 四条相交的直边，则作为可能的标志物；利用四条直边找到的角特征，进行形变矫正，并计 算出标志物变换成前视图的一个单应性矩阵(homography)变换；利用该单应性矩阵在标志物 的黑框内部区域进行采样，采样模板一般为16X16，共得到256个采样点构成一个采样向量； 将这个采样向量与预先存放在标志物数据库的标志物逐个进行比较，计算标志物上相应点构 成的向量与采样向量的归一化向量点积，得到一个可信度值；如果可信度值低于一个阈值， 就当作是未匹配成功，否则就是匹配成功。根据匹配成功的标志物査找到相对应的虚拟物体， 将虚拟物体按相机与标志物的当前相对方位进行变换，使之与标志物相吻合。
现有技术中，有基于ARToolKit包与二维可视编码技术实现三维增强现实的方法和系统， 用以实现虚实物体之间映射关系的建立。该系统具体包括视频帧捕获模块、视频跟踪模块、 虚拟图形系统模块、虚实合成模块以及视频显示模块，各个部分功能具体为A、 视频帧捕获模块，用于捕获二维可视编码标志物的视频帧，并将该视频帧发送给视频 跟踪模块；
B、 视频跟踪模块，用于计算处理获得的标志物视频帧，根据计算处理结果获得从标志物 坐标系到相机坐标系的变换矩阵；通过采样二维可视编码中编码图案，获得标志物编码值， 检索出与该编码值对应的三维模型，并根据该三维模型的顶点数组与变换矩阵的乘积，得到 该三维图形在相机坐标系下的坐标数组。
C、 虚拟图形系统模块，用于根据获得的三维图形在相机坐标系下的坐标数组绘制对应的 三维图形，并将该三维图形存储在帧缓存中，生成虚拟图形帧。
D、 虚实合成模块，用于将获得的虚拟图形帧与二维可视编码标志物的视频帧进行合成， 得到合成视频帧。
该技术方案的主要特点为
1、 在现有的三维增强现实技术中引入规范的二维可视化编码图像作为跟踪所用标志物， 以代替现有技术中ARToolkit采用的任意形状的标志物，从而提高了 ARToolkit中的跟踪算 法速度以及可靠性、并且加快了模式匹配处理速度。
2、 在现有的二维可视化编码基础上引入对三维相对变换信息的计算与提取，检索出相应 的三维媒体信息并且三维注册合成的增强现实技术，该技术可识别出二维可视编码，还能将 得到的其对应的三维空间位置，通过编码检索到的三维模型实时地增强显示在编码图形上， 进而实现增强现实功能。
3、 主要用于在计算资源相对有限的手持移动计算设备上实施增强现实技术，拓展增强 现实技术的应用领域。
其缺点是，对标志物的要求较高，要求标志物形态简单，形状边沿与背景色的反差非常 清晰明显，并且必须有四条直边组成的四边形边框作为清晰边界，否则会影响识别效果。
实用新型内容
本实用新型的目的在于，提供一种基于图像特征点提取与随机树分类的增强现实系统，以 减少标志物的限制条件。
本实用新型采用如下技术方案
一种基于图像特征点提取与随机树分类的增强现实的系统，包括
视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据； 视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并进行校正；
视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍 摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频 帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的 相对位置矩阵，并通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环 境的光照信息；
虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型， 利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位 置绘制虚拟模型。
进一步地，还包括
现实环境光源估算模块，与所述虚实合成模块相连接，用于进行现实环境光源估算，根据 估算出的现实光源位置，生成阴影。 进一步地，还包括
交互模块，与所述虚实合成模块相连接，用于在标志物附近设置交互区域，通过检测交互 区域内是否被手覆盖，实现与用户的交互。
相对于已有的其他实用新型，如ARToolkit开发包与华为的系统，本系统极大地减少了对 标志物的限制，这些限制主要包括以下几条
(1) 、要求标志物色彩深而单一，与背景色反差大。
(2) 、标志物形态为简单图形。
(3) 、标志物四周有四边形的清晰边框作为识别的边界。 而本系统所对应标志物无需任何边界，可截取任意二维图像中包含一定纹理特征的任意四
边形区域，主要面向真实环境中用摄像头、照相机等摄取的含真实景物、具有照片特性的二 维图像，图形内容可以极为复杂。系统的这些特性极大地扩展了增强现实的使用范围。本系 统可用于对地图与复杂二维图像进行标示，也可在任意二维图像上合成三维模型，形成立体、 生动的效果。
以下结合附图及实施例进一步说明本实用新型。
图1为本实用新型基于图像特征点提取与随机树分类的增强现实的系统实施例示意图；图2为本实用新型基于图像特征点提取与随机树分类的增强现实方法实施例流程图; 图3为本实用新型方法实施例中对标志物进行训练的流程图； 图4为一页书上特征点对应的实际情况；
图5为本实用新型实施例中现实环境光源估算模块的工作流程图； 图6为本实用新型实施例中交互模块的工作流程图； 图7为确定交互式区域的示意图。
具体实施方式
如图1所示， 一种基于图像特征点提取与随机树分类的增强现实的系统，包括 视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据； 视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并 进行校正；
视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍 摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频 帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的 相对位置矩阵，并通过对已识别标志物和标志物正视图的亮度进行比对来估算标志物所处环 境的光照信息；
虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型， 利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位 置绘制虚拟模型。
其中，还包括现实环境光源估算模块，与所述虚实合成模块相连接，用于进行现实环境光 源估算，根据估算出的现实光源位置，生成阴影。
其中，还包括交互模块，与所述虚实合成模块相连接，用于在标志物附近设置交互区域， 通过检测交互区域内是否被手覆盖，实现与用户的交互。
如图2所示，上述基于图像特征点提取与随机树分类的增强现实的系统，其具体增强现实 的方法步骤如下
步骤IO)、初始化系统环境、配置系统参数；主要包括搭建系统硬件平台，设置能够支持 二维和三维图形的绘图环境，分配图像缓存空间，识别摄像头等；
步骤20)、从文件中选择一幅标志物正视图的图像文件或者从摄像头中提取标志物正视 图，对标志物进行训练。训练主要包括灰度处理与特征点处理等；步骤30)、计算标志物图像的内参并进行校正。相机内部参数是指摄像头相机的焦距和形 变等内部固有参数，该参数确定了摄像头相机的投影变换矩阵，它取决于相机本身的属性， 所以对同一个相机来说其内部参数是恒定不变的。本系统通过在多个不同角度拍摄标志物， 通过对不同角度的标志物与标志物正视图的比对，计算相机的内参并读入系统，用来对之后 虚实合成的每一帧图形进行校正；
步骤40)、对摄像头拍摄到的真实环境中的每一帧，利用步骤30)中的数据进行校正，再 基于步骤20)中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中 的相对位置矩阵与光照等信息；
标志物在相机平面上成相的过程，相当于构成标志物的每个象素点坐标从三维坐标系上变 换到相机坐标系上，然后投影到相机平面上形成标志物的二维图像。这一变换可由相对位置 矩阵来表达。步骤40)即用来计算这一位置矩阵。之后通过对已识别标志物和标志物正视图 的亮度进行比对来估算标志物所处环境的光照信息；
步骤50)、由识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型 的位置；
步骤60)、在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型，实现增强现实。 如图3所示，所述步骤20)具体包括以下步骤 步骤21)、将彩色图转化为灰度步骤22)、初步提取特征点，具体提取特征点的方法如下
对于图片上的每个象素m,若以m为中点、围绕着m的八个象素中的任意两个满足以下两 个条件
1、 这两个像素处于以m为中点的这圈像素的某条直径两端；
2、 这两个像素的灰度值均与m接近。
则这个像素m被认为是"不稳定"的点。排除所有"不稳定"的像素后，剩下的即为初步 提取出的"较稳定"特征点。这样可以很快地去除位于灰度值较平均的区域与位于边缘上的 点；
步骤23)、把灰度图进行正视图视角变换，在变换后的视图中提取特征点，用来得到更为 稳定的特征点，具体如下
对于一幅给定的标志物的正视图，用步骤22)中的方法提取出M个特征点，按特征点的 坐标位置顺序编号，构成一个特征点集合K—k,， k2……kM}，集合中每个元素表示相应编号的 一个特征点。对该标志物原始正视图进行多个不同角度的透视变换，并给变换后的正视图加上白噪声， 之后再利用步骤22)中的方法提取变换后的视图的特征点，再利用反变换将提取出的特征点 还原为相应的正视图特征点。统计多个经过不同角度变换的视图经上述"变换-提取-还原" 后的特征点仍能找到原始正视图相对应特征点的概率，概率最高的N个点被最终确认为"稳 定"的特征点。通过该方法可对步骤22)中提取出的特征点进行进一步筛选，得到最为稳定 的特征点。集合K的元素数由M减为N，即K^K" K2……KN};
步骤24)、构建"特定视点集合"，该"特定视点集合"用于步骤25)中训练与构建"随 机树"；
本实用新型基于特征点提取与随机树分类对标志物进行识别且计算标志物在摄像头坐标 系中的位置，其中一个最为关键的问题是，判断待识别帧中是否包含正视图上的"稳定特征 点"，以及包含的是哪个特征点。为实现此目的，构建了 "特定视点集合"，对其的解释如下
将所有经不同角度的透视变换的正视图中的同一个特征点取出，专门构成一个集合，可得 到N个集合，每个集合对应一个稳定特征点，这些集合即所谓的"特定视点集合"。例如，将 原始正视图分别绕x轴、y轴按(-;r, 的范围旋转进行透视变换，将绕x轴的转向均分
为Lx个角度，将绕y轴的转向均分为Ly个角度，最终可得L=LxXLy幅变换视图，将所有变 换视图中编号相同的特征点取出，可得到N个集合V^W山Vn2 vJ，l《n《N，每个Vn就是
对应一个特征点的"特定视点集合"，该集合中的每个元素包含了在不同视角变换下同一特征 点的不同位置；
步骤25)、构建随机树用以特征点分类和识别；
随机树分类法是一种快速简洁的分类法。其具体构建方法如下
随机树采用二叉树结构，只有一个树冠，分出两个节点，每个节点再分出两个节点，依次 递归，直到最底层的节点不再有分支，称之为树叶。每个节点都有一个判断公式，当一个数 据从树冠输入后，每个节点的判断公式会对其进行判断，以决定将其放入左边还是右边的节 点，放入下一层节点后再进行判断，直到进入某一个树叶。本实用新型中，输入的数据为32 X32像素的面片，每个面片可包含或不包含特征点。在训练时将大量包含"特定视点集合" 中的特征点的面片输入随机树，让每个面片进入某一片树叶，当所有的面片都进入树叶后， 便可计算每片叶子对应所有"稳定"的特征点的概率分布，即数一下进入这个叶片的每个编 号的特征点的总数占进入这个叶片的总面片数的比例。这样，每片叶子都包含各自的一组面 向所有"稳定"特征点的概率分布。本实施例中使用了多棵随机树来增加识别的准确性。某 片树叶包含的概率分布可由如下公式表示200920069317.5
其中，p代表32X32像素的一块面片，Y (p)是该面片所包含的特征点对应的特征点标 号，ce{-l， 1， 2……N}，其中-l表示不包含任何特征点的面片。l为随机树的编号，；7代表
p面片投入第1棵树所到达的那片树叶。
为每个结点选取的多种判断公式，本实施例中为每个结点选取的判断公式如下
^ 、 1如果/(/ ,/ 1)-/(^,附2)^(^，附3)-/(>，附4)进入左节点
其中，/(/ ,m)表示面片； 在历点的亮度，/^,m2，/n3,/^为面片p中随机挑选的四个位置不 同像素。
这样便构建起了一棵随机树，其主要特征就是各个结点上的判断公式以及各片叶子上不同 的概率分布。
通过以不同方式分割面片与计算每个像素不同方向的梯度值，可为每个节点设置不同的判 断公式，进而构建出多棵不同的随机树。 其中，所述步骤40)具体包括以下步骤
将摄像头采集的一帧图像分解为32X32像素的面片，将每片面片输入步骤25)中构建的 不同的随机树；
表示面片p所包含特征点经估算得到的特征点标号，f(p)可利用以下公式算得
该公式的含义是将面片p在不同树中所到达的叶片的概率分布相加取平均值，得到一个平 均概率分布，将这个平均概率分布中概率最大的那个稳定特征点的标号，作为面片p对应的 特征点的标号。利用该公式便可以建立新采集图像特征点和原始正视图特征点的对应。实验 表明，该对应的正确率在90%以上。在建立了特征点的对应之后，便可以利用计算机视觉中常 用的算法来计算标志物在摄像头坐标系中的位置。图4显示了一页书上特征点对应的情况。 图5为本实用新型实施例中现实环境光源估算模块的工作流程图，具体包括以下步骤 步骤71)、将标志物平面转向各个方向，获取识别出标志物的帧；由于需要得到标志物朝 向各个不同方向时的表面亮度值，故在这个阶段，要手动将标志物平面缓缓转向各个方向， 并且速度要缓和，因为若是转动过则快无法识别标志物，导致无法判断亮度；
进入右节点
y(p) = argmax/7c0 ) = argmaxT S /^p)(r(p) = c)步骤72)、保存该帧中当前标志物的亮度及法向量坐标值；
步骤73)、判断识别到标志物并保存亮度信息的帧的总数是否达到一定数目，若达到，则 进入步骤74)，若未达到，转步骤71);
步骤74)、找到满足一定数目的帧，这些帧的标志物法向量指向同一个方向，并且其亮度 值均值为最大，将这些帧的法向量坐标的均值作为光源方向的估算位置；
步骤75)、根据光源估算的位置，生成阴影，增添的效果的生动性。
图6为本实用新型实施例中交互模块的工作流程图，具体包括以下步骤
步骤81)、从摄像头取入当前帧；
步骤82)、判断是否识别出标志物，如果是，执行步骤83)，如果否，转步骤81); 步骤83)、判断当前帧的交互区域内有无肤色，如果有，执行步骤84)，如果无，执行步 骤81);
步骤84)、启动交互效果。
进一步地，在所述步骤83)之后所述步骤84)之前，还包括以下步骤 判断交互区域被手覆盖是否连续且达到一定帧数，如果是执行步骤84)，如果否，转步骤
81)。
其中，所述步骤83)中采用色度阈值判定方法检测是否存在肤色，通过统计多次采集当 前光线下的肤色值，为肤色的r、 g、 b值确定一个阈值范围，然后对每个交互区域内的像素 进行判断，若该像素值在肤色的阈值范围内，即认定检测到一个像素的肤色值。
其中，所述肤色色度中的r分量统一为值200， g分量阈值范围为[120， 190]， b分量为 [100， 160]，当检测到肤色的像素值总数达到设定数目后，判定这一帧内的交互区域内有手 覆盖于其上。图7为确定交互式区域的示意图。
以上所述的实施例仅用于说明本实用新型的技术思想及特点，其目的在使本领域内的技 术人员能够了解本实用新型的内容并据以实施，当不能仅以本实施例来限定本实用新型的专 利范围，即凡依本实用新型所揭示的精神所作的同等变化或修饰，仍落在本实用新型的专利 范围内。
权利要求1、一种基于图像特征点提取与随机树分类的增强现实的系统，其特征在于包括视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；视频帧校正模块，与所述视频帧训练模块相连接，用于计算标志物图像的相机内部参数并进行校正；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频帧训练模块中的训练数据识别标志物，若含有标志物，则计算该标志物在摄像头坐标系中的相对位置矩阵；虚实合成模块，与视频帧捕获模块相连接，用于通过识别出的标志物寻找对应虚拟模型，利用提取出的标志物位置矩阵确定模型的位置，在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。
2、 根据权利要求1所述的基于图像特征点提取与随机树分类的增强现实系统，其特征在 于还包括现实环境光源估算模块，与所述虚实合成模块相连接，用于进行现实环境光源估算，根据 估算出的现实光源位置，生成阴影。
3、 根据权利要求1或2所述的基于图像特征点提取与随机树分类的增强现实系统，其特征在于还包括交互模块，与所述虚实合成模块相连接，用于在标志物附近设置交互区域，通过检测交互 区域内是否被手覆盖，实现与用户的交互。
专利摘要基于图像特征点提取与随机树分类的增强现实的系统，包括视频帧训练模块，用于选择或提取一幅标志物正视图，对标志物进行训练，获得训练数据；视频帧校正模块，与所述视频帧训练模块相连接；视频帧捕获模块，与所述视频帧训练模块和所述视频帧校正模块相连接，用于对摄像头拍摄到的真实环境中的每一帧，利用所述视频帧校正模块中的数据进行校正，再基于所述视频帧训练模块中的训练数据识别标志物，虚实合成模块，与视频帧捕获模块相连接，在真实拍摄的视频帧上根据计算出的相对位置绘制虚拟模型。本实用新型极大地减少了对标志物的限制，可用于对地图与复杂二维图像进行标示，也可在任意二维图像上合成三维模型，形成立体、生动的效果。
文档编号G06T15/60GK201374082SQ20092006931
公开日2009年12月30日 申请日期2009年3月24日 优先权日2009年3月24日
发明者周暖云, 季斐翀, 晋 潘, 涛 陆 申请人:上海水晶石信息技术有限公司