优化，真实世 界中的场景往往包含着大量的人造物，而这些人造物往往符合一定的设计规则，如一些建 筑体内部的"横平竖直"结构。通过相机进行场景构图，这些结构在正常视角下会在图像中 得到体现。场景构图中的线条不但可以指明画面中主体的走向，引导视线方向，而且对于特 征线优化也有着重要意义。对于室内场景而言，在正常视角获取的图像中，往往存在大量的 横向水平、竖向垂直的场景结构。
[0046] 对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线，图像特征的融 合更高效；对于当前帧图像的特征线L(P1，P2)，其中Pl (xl，y2)和P2 (x2, y2)为其两个端 点，则特征线为横线或竖线的充要条件为： Δ P = min (I X1-X21，I yfy21) < ε hv
[0047] 其中，ehv为用户自定义阈值，可以根据实际的图像大小进行设定。利用公式4实 现对场景中的斜线进行过滤，仅保留图像特征线中的横线以及竖线。
[0048] 步骤103 :迭代式特征线的删选通过对当前帧图像中所有优化后的特征线与前几 帧中优化后特征线的距离关系的比较，筛选出更为稳定的特征线，构建稳定特征线集。这一 计算方法主要基于相机运动过程中，同一条特征线在相邻帧间距离不会相差太大的假设。
[0049] 采用假设第k帧经优化后的特征点数目为Np (Νρ>0)，特征线数目为NI (N1>0)，则 拟迭代的次数由以下公式决定：
[0050] 其中Wp (0彡Wp彡1)和Wl (0彡Wl彡1)分别为特征点和特征线所占的权重，Dt 为固定阈值（一般取值范围为50-150)，Tmax为所有帧中拟迭代次数的最大值（一般取值 范围为2-5)，通过对特征点和特征线越多时进行更多次的迭代，从而对优化后的特征线进 行更好的筛选，得到真正稳定的特征线。
[0051] 如图2所示，为生成稳定特征线集，首先进行候选特征线集的初始化，将第k帧所 有特征线加入候选特征线集，并将其中的每一条特征线均标记为未成功进行距离比对；然 后，将候选特征线集中的每一条未加入稳定特征线集的特征线与第k-t(l < t < T)帧中的 所有特征线进行距离比对，若距离比对成功，则将该特征线加入稳定特征线集；反之，若经 T次迭代后该特征线仍未能进行成功的距离比对，则将其视作非稳定特征线予以舍弃。
[0052] 采用欧氏距离进行两条特征线1^(?让沖21〇与1^-丨(？11^，？21^)之间的距离比 对，假设两条特征线Lk (Plk，P2k)与Lk-t (Plk-t，P2k-t)的端点已进行了先上后下、先左后 右的排序，则它们距离匹配成功的充要条件是： Cl1 (ΡΛΡ^) < ed & &d2(P2k^P2k') <
[0053] 其中，(^(ΡΛΡ/^α = 1，2)表示两特征线端点之间的欧氏距离，ed表示自定义 距离阈值（一般取值范围为50-100)。
[0054] 步骤104 :混合特征构造通过将稳定特征线集中的每一特征线离散为特征点，并 与优化后的特征点融合得到的，更为具体地说，混合特征均由特征点构成，但由于这些特征 点包括优化后的FAST角点特征和由稳定特征线离散而成的特征点，故称之为"混合特征"。
[0055] 步骤104 :混合特征匹配是在完成混合特征构造后，基于关键帧的方法，进行混合 特征匹配，计算相机运动相关参数。具体来说，每一稳定的特征线的离散程度由优化后的特 征点数、稳定特征线数、以及该特征线的长度由以下公式决定：
[0056] 其中Ni为第i条稳定特征线离散后的点数，λρ(〇< λρ彡1)和λ1(〇 < λ I < 1)分别为特征点和特征线所占的权重，Nt为固定阈值（一般取值为50-150)， Nmax为所有特征线中拟离散的最大点数，其取值与图像分辨率相关（例如对于分辨率为 640X480的图像，Nmax取值为100)，Li为第i条稳定特征线长度。
[0057] 步骤106 :相机参数反求与虚实融合绘制采用跟踪与映射PTAM系统框架中的相机 参数反求方法获得相机参数，并采用计算机图形绘制技术对已注册的数字内容进行虚实融 合绘制。
[0058] 通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借 助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳 的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计 算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机， 服务器，或者网络设备等）执行本发明各个实施例所述的方法。
[0059] 以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应 涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为 准。
【主权项】
1. 一种面向室内场景的移动增强现实方法，其特征在于，包括以下步骤：特征点的提 取和优化、特征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机 位置参数反求与虚实融合绘制，所述的特征点的提取、特征线的提取是通过移动终端的摄 像头获取场景的实时图像获得；所述的特征点的提取和优化基于FAST角点作为特征点进 行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化；所述的特征线的提取和优 化通过Canny算子进行图像边缘检测，再利用Hough算法提取图像中的特征线。2. 根据权利要求1所述的一种面向室内场景的移动增强现实方法，其特征在于，所述 的迭代式特征线的筛选包括以下步骤： 若第k帧经优化后的特征点数目为Np且Νρ>0,特征线数目为Nl且N1>0,则拟迭代的 次数T由以下公式决定：其中0 < Wp < 1、0 < Wl < 1，Wp和Wl分别为特征点和特征线占特征点和特征线总和 的权重，Dt为固定阈值，且50 < Dt < 150, Tmax为所有帧中拟迭代次数的最大值，取值范 围为2-5 ; 候选特征线集的初始化：将第k帧所有特征线加入候选特征线集，并将其中的每一条 特征线均标记为未成功进行距离比对；将候选特征线集中的每一条未加入稳定特征线集的 特征线与第k-t帧中的所有特征线进行距离比对，1 < t < T，若距离比对成功，则将该特征 线加入稳定特征线集；若经T次迭代后该特征线仍未能进行成功的距离比对，则将其视作 非稳定特征线予以舍弃。3. 根据权利要求2所述的一种面向室内场景的移动增强现实方法，其特征在于，所述 的混合特征构造通过将稳定特征线集中的每一特征线离散为特征点，并与优化后的特征点 融合得到。4. 根据权利要求3所述的一种面向室内场景的移动增强现实方法，其特征在于，所述 的混合特征匹配使用基于关键帧的方法，稳定的特征线的离散程度由以下公式获得：其中Ni为第i条稳定特征线离散后的点数，λ p和λ 1分别为特征点和特征线占特征 点和特征线总数的权重，〇 < λρ彡1，〇 < λ 1彡1，Nt为固定阈值，取值为50-150, Nmax 为所有特征线中拟离散的最大点数，Li为第i条稳定特征线长度。5. 根据权利要求4所述的一种面向室内场景的移动增强现实方法，其特征在于，所述 的相机位置参数反求与虚实融合绘制采用跟踪与映射PTAM系统框架中的相机参数反求方 法获得相机参数，并采用计算机图形绘制技术对已注册的数字内容进行虚实融合绘制。
【专利摘要】一种面向室内场景的移动增强现实方法，包括以下步骤：特征点的提取和优化、特征线的提取和优化、迭代式特征线的筛选、混合特征构造、混合特征匹配、相机位置参数反求与虚实融合绘制；所述的特征点的提取、特征线的提取是通过借助移动终端的摄像头获取场景的实时图像序列；所述的特征点的提取和优化基于FAST角点作为特征点进行提取，并利用Shi和Tomasi算法对所得到的特征点进行优化。本发明能够在移动平台上相机实时运动跟踪的稳定性和计算实时性之间取得良好平衡，获得移动增强现实中稳定可信的虚实融合效果。
【IPC分类】G06T7/20
【公开号】CN105184825
【申请号】CN201510724179
【发明人】潘巧明, 沈伟华, 万华根
【申请人】丽水学院
【公开日】2015年12月23日
【申请日】2015年10月29日