专利名称：一种基于红外投影标志点的视觉位置跟踪系统的制作方法
技术领域：
本发明涉及视觉位置跟踪技术，尤其涉及一种基于红外投影标志点的视觉位置跟
踪系统。
背景技术：
增强现实技术是将真实场景与计算机生成的虚拟场景实时融合的一种应用技术。 其关键在于能在正确的位置以设定的方式叠加虚拟图像，实现核心在于高精度的跟踪定位 技术。 在大范围增强现实系统中，目标物体是大范围跟踪系统的工作对象，用基于计算 机视觉跟踪的注册系统中，对指定目标的跟踪定位就是通过识别标志点实现的。标志点按 制作方式可分为自然标志点和人工标志点。自然标志点的识别在现有条件下还是比较困难 的，所以目前的增强现实应用大多使用较易实现的人工标志点。 人工标志点可以分为可见与不可见标志点两大类。可见标志点是指由黑白或彩 色图案组成的可识别标志点，将可见标志点置于建筑内表面，图像采集设备采集可见标志 点的图像并发送到计算机进行可见标志点的定位和跟踪。可见标志点的制作简单，例如 可以采用打印设定的图案得到，但易受环境光照等其他因素的影响，且影响虚实融合的 沉浸感。不可见标志点最常见的是指红外光图案标志点，通常也是将红外光图案标志点 置于建筑内表面，红外光图案标志点的图像在红外图像采集设备的CCD(电荷耦合元件， Charge-coupled Device)上成像，红外图像采集设备将成像得到的红外光图案标志点的图 像发送到计算机，由计算机进行红外光图案标志点的定位和跟踪。红外标志点发出的光波 长一般在800nm以上，人眼不可见，故不影响人们在可见光范围的观测。在室内环境下，红 外发射源不多，且功率一般较低，因而红外标志点受到的干扰较小，更容易实现快速跟踪。
目前常见的红外标志点有主动发光式和被动反射式。主动发光式是由红外 LED(发光二极管)等可控红外光源主动向外发射红外光。这类型标志点的特点是功率高， 亮度大，识别较容易，位置稳定。若使用单片机控制红外LED的亮灭还可实现标志点的编 码。但是，由于主动发光式标志点电路较复杂且一般被固定在建筑内表面上，维护不方便， 如果出现LED的损坏，或者想变更标志点图案都需要更换整个建筑内表面。
被动反射式是指本身不发光，但由特殊材料制成可反射红外光源。使用时，需要用 红外光源照射标志点，让标志点反射出红外光，以便摄像机捕捉。反射式标志点从制作到维 护都比主动发光式标志点更加简便。不足是反射材料会吸收部分光能，使得标志点亮度不 及主动发光式标志点；其次，非标志点物体受到红外光源照射也会反射部分红外光，这对标 志点来说是一种干扰。 目前，大范围室内增强现实系统已经在军事训练，娱乐，教育培训，工业辅助等多 个领域展开应用，因此对新一代的不可见，安装维护简单，稳定性好的红外标志点提出了新 的要求，且这种新一代的红外标志点需要满足大范围跟踪注册的要求。
发明内容
有鉴于此，本发明提供了一种基于红外投影标志点的视觉位置跟踪系统，能够提 供不可见、安装维护简单、稳定性好的红外标志点，且所提供的红外标志点能够大范围跟踪 注册的需求。 该红外投影标志点的视觉位置跟踪系统，包括主标志点产生装置、辅助标志点产 生装置、红外图像采集装置和计算装置； 所述主标志点产生装置由红外光源、第一菲聂耳透镜、标志点底片、第二菲聂耳透 镜、投影镜头和滑动导轨组成； 所述红外光源、第一菲聂耳透镜、第二菲聂耳透镜和投影镜头依次置于滑动导轨 上；具有预设主标志点图案的标志点底片置于第一菲聂耳透镜上；所述红外光源发出的红 外光依次通过第一菲聂耳透镜上的标志点底片、第二菲聂耳透镜和投影镜头投射到指定区 域，形成主标志点图像；所述标志点底片上的主标志点图案不透光或标志点底片上除主标 志点图案的部分不透光； 所述辅助标志点产生装置包括支撑架和至少4个红外激光发生器；每个红外激光 发生器通过一个万向轴承安装在所述支撑架上；每个红外激光发生器发出的红外激光投射 到所述主标志点图像周边的设定位置，形成一个辅助标志点； 所述红外图像采集装置，采集所述指定区域的红外光图像，并发送给所述计算装 置； 所述计算装置，根据红外光图像中的主标志点图像和辅助标志点的位置，计算确
定红外图像采集装置的当前位置，利用计算出的位置完成虚实融合的位置注册。 较佳地，该系统包括至少2个主标志点产生装置，各主标志点产生装置发出的主
标志点图像投射到指定区域的设定位置。 较佳地，所述辅助标志点产生装置包括8个红外激光发生器，每个红外激光发生 器为一个红外激光发射二极管，8个红外激光发生器分成两列，通过8个万向轴承安装在支 撑架上。 较佳地，所述红外光源由红外发射二极管阵列组成，其总功率不小于36瓦。
其中，所述计算装置包括二值化模块、校正模块、提取和识别模块、位置计算模块 和合成增强模块； 所述二值化模块，用于将红外图像采集装置采集的红外光图像转换为二值图，并 发送给校正模块； 所述校正模块，用于对所述二值图进行图像失真的校正，得到校正后的图像，并发 送给提取和识别模块； 所述提取和识别模块，用于根据预先获知的主标志点位置，从所述校正后的图像 中辨识主标志点图像，根据主标志点图像的位置识别辅助标志点的位置并记录；如果辨识 出的主标志点图像完整，则将主标志点的位置信息发送给位置计算模块；如果主标志点图 像不完整或没有主标志点图像，则获取已记录的各辅助标志点位置，将辅助标志点位置发 送给位置计算模块；如果图像中没有主标志点图像且识别到少于4个辅助标记点，则确认 跟踪失败； 所述位置计算模块，根据来自所述提取和识别模块的主标志点位置信息或辅助标
4志点位置计算红外图像采集装置的位置，并发送给合成增强模块； 合成增强模块，用于根据位置计算模块提供的红外图像采集装置的位置，利用计 算出的位置完成虚实融合的位置注册。 根据以上技术方案可见，本发明采用红外光源透过一具有预设主标志点图案的标 志点底片向指定区域投影主标志点图像，由于本发明投影出的图像为红外光图像，因此具 有不可见标志点的功率高，亮度大，识别较容易，位置稳定等优点，且主标志点图像的形状 由标志点底片上的主标志点图案决定，当需要更改主标志点形状时，只需要维护标志点底 片即可，安装维护操作均十分简便。而且，为了实现大范围的跟踪注册需求，本发明还在主 标志点周围投影至少4个辅助标志点，当由于红外图像采集装置的移动，导致主标志点部 分或全部移出采集区域时，能够通过辅助标志点进行定位和跟踪处理。
图1为本发明基于红外投影标志点的视觉位置跟踪系统的结构示意图。
图2为本发明主标志点产生装置的结构示意图。
图3(a)和图3(b)为图1中投影底片的示意图。
图4为本发明辅助标志点产生装置的结构示意图。 图5为本发明计算机根据包含主标志点和辅助标志点的图像进行增强现实处理 的流程图。 图6为图像中包括完整主标志点和多个辅助标志点的示意图。
图7为图像中包括部分主标识点和多个辅助标志点的示意图。
具体实施例方式
本发明提供了一种基于红外投影标志点的视觉位置跟踪系统，其基本思想是，该 系统采用红外光源透过一具有预设主标志点图案的标志点底片向指定区域投影主标志点 图像，由于本发明投影出的图像为红外光图像，因此具有不可见标志点的功率高，亮度大， 识别较容易，位置稳定等优点，且主标志点图像的形状由标志点底片上的主标志点图案决 定，当需要更改主标志点形状时，只需要维护标志点底片即可，安装维护操作均十分简便。 而且，为了实现大范围的跟踪注册需求，本发明还在主标志点周围投影至少4个辅助标志 点，当由于红外图像采集装置的移动，导致主标志点部分或全部移出采集区域时，能够通过 辅助标志点进行定位和跟踪处理。 下面结合附图并举实施例，对本发明进行详细描述。 图1为本发明基于红外投影标志点的视觉位置跟踪系统的结构示意图。如图1所 示，该系统包括至少1个主标志点产生装置、辅助标志点产生装置、红外图像采集装置和计 算装置。在本实施例中，红外图像采集装置可以为红外摄像机，计算装置可以采用计算机。
图2示出了图1中主标志点产生装置，如图2所示，每个主标志点产生装置由红外 光源1、标志点底片2、菲聂耳透镜3、菲聂耳透镜4、投影镜头5和滑动导轨6组成。
红外光源1、菲聂耳透镜3、菲聂耳透镜4和投影镜头5依次置于滑动导轨6上，方 便调整其相对位置，从而投影出最清晰的图像。为了使投影标志点亮度足够大，可选择功率 较大的红外LED灯阵列作为该系统的红外光源l，例如红外光源的总功率不小于36瓦。印
5有主标志点图案的标志点底片2置于首个菲聂耳透镜3上，较佳地，在保证成像质量的前提
下，菲聂耳透镜3应尽量靠近光源，以提高光能利用率。菲聂耳透镜3和4组成的菲聂耳透
镜组的作用是使红外光源的发散光尽可能汇聚，从而减小后级光路通光口径，同时提高光
能利用率，其聚焦后的图像经由投影镜头5投射到面板，例如建筑物内表面(墙面，天花板)
等等。投影镜头5与菲聂耳透镜4之间的距离由投影镜头5的焦距决定。 由于标志点底片2的存在，红外光源1发出的红外光依次通过菲聂耳透镜3上的
标志点底片2、菲聂耳透镜4和投影镜头5投射到指定区域，较佳地，可以投射到指定区域的
中心，从而在指定区域中显示出主标志点图像。主标志点图像透镜的位置是预先设计确定
的，且在红外摄像机移动过程中不改变其位置。 标志点底片2可以采用亚克力板制成，其表面刻出特定的标志点图形的凹槽，在 标志点图像的凹槽处涂上不透光的涂料或者用胶泥封住，就能使标志点图形对应的投影区 域不受光照，从而产生黑白对比的图案。当然，也可以在亚克力板上刻出形状如标志点图形 的突起，然后在除了突起的部分涂上不透光的涂料或者用胶泥封住，那么就能使标志点图 像对应的投影区域受到光照，从而产生黑白对比的图案。如图3(a)和图3(b)示出了两种 标志点底片2的投影情况示意图，图3(a)的标志点图形为"T"字型，或图3(b)的标志点图 形为"口"字形，且均是标志点图像部分受光，当然在实际中也可以设计其他图形作为主标 志点。 本实施例中，红外光源1、标志点底片2、菲聂耳透镜3、4和投影镜头5的具体参数 可以如下 1.红外光源1中红外LED灯阵列共7 X 5个LED灯，波长850nm。
2.菲聂耳透镜组尺寸200mmX 150mm，焦距180mm。
3.投影镜头5 : 口径130mm，焦距330mm。
4.标志点底片2 :尺寸70X70mm。
本实施例中，各部件间距离可以为 红外光源1中红外LED与标志点底片2之间的距离100mm ; 菲聂耳透镜3和4之间的间距110mm ; 菲聂耳透镜4与投影镜头5之间的距离150mm。 在大范围跟踪系统中，只使用主标志点有时不能满足精确定位的要求，因此本发 明在主标志点周围增加辅助标志点，辅助标志点系统可直接射出红外激光点，其亮度高，位 置精确性好，可用于标志点图形的精确定位。各种图形的主标志点和各种位置的辅助标志 点可以组成多种标志点图案编码，由红外摄像机拍摄主标志点和辅助标志点后，可根据不 同的标志点编码算法实时解算，实现增强现实的位置跟踪。 图4示出了图1中辅助标志点产生装置的结构示意图。如图3所示，该辅助标志点 产生装置包括支撑架8和两列共8个红外激光发射二极管(波长850nm)，每个激光二极管 都安装在一个万向轴承上，万向轴承安装在支撑架8上，使得激光二极管发射方位可自由 调整。多个激光二极管发出的红外激光投射到主标志点图像的周边，形成多个辅助标志点。 辅助标志点的投影位置可以根据需要设置，与主标志点相同，辅助标志点在位置确定后，不 会在红外摄像机移动过程中改变位置。 由主标志点和辅标志点配合投射在建筑物内表面的标志点，可以组成多种标志点图案编码。通过红外摄像机拍摄建筑物内表面时，红外主、辅标志点将成像于红外摄像机的CCD上。 计算机获取红外摄像机采集的红外光图像，根据红外光图像中主标志点和辅助标志点的位置，确定红外摄像机的位置，利用红外摄像机的位置完成虚实融合的位置注册。
具体来说，计算机包括如下模块二值化模块、校正模块、提取和识别模块、位置计算模块和合成增强模块。下面结合图4说明计算机根据包含主标志点和辅助标志点的图像进行增强现实处理的流程。如图4所示，该流程包括以下步骤 步骤1、二值化模块将红外摄像机采集的红外光图像转换为二值图，并发送给校正模块。红外摄像机采集投影标志点的红外图像，由于其安装了红外滤光片，红外摄像机所拍摄的红外图像基本上是一副具有255级灰度值的灰度图像，因此这里使用简单的二值化算法可以得到一幅黑白图像。 步骤2、校正模块对二值图进行图像失真的校正，得到校正后的图像，并发送给提取和识别模块。 由于红外摄像机使用广角镜头，其采集的图像会有很大的径向失真，所以需要对图像进行相应的校正，以得到一个针孔模型摄像机的图像。 步骤3、提取和识别模块根据预先获知的主标志点位置，从校正后的图像中辨识主标志点图像，根据主标志点图像的位置识别辅助标志点的位置并记录；如果辨识出的主标志点图像完整，则将主标志点的位置信息发送给位置计算模块；如果主标志点图像不完整或没有主标志点图像，则获取已记录的各辅助标志点位置，将辅助标志点位置发送给位置计算模块；如果图像中没有主标志点图像且识别到少于4个辅助标记点，则确认跟踪失败。
在应用中，可以通过调整主标志点的位置，确保红外摄像机在初始阶段可以采集到完整主标志点图像，那么提取和识别模块在获取第一帧图像后，辨识主标志点图像和识别辅助标志点的位置，识别后可以在后台处理图像上标记辅助标志点的序号，以便处理后续帧时方便对辅助标志点进行识别。然后，针对第一帧图像，根据主标志点图像是否完整，确定向位置计算模块发送主标志点的位置信息还是发送辅助标志点位置。对于后续帧，直接根据主标志点图像是否完整，确定向位置计算模块发送主标志点的位置信息还是发送辅助标志点位置，如果确认跟踪失败，则在下一帧处理时，重新辨识主标志点图像和识别辅助标志点的位置并进行标记。 举个例子，图像校正后，主标志点和辅助标志点同时出现在图像画面中，如图6，辨识主标志点后，标记辅助标志点1至8，由主标志点可计算摄像机位置。主标志点移出图像后，如图7，不能识别到完整主标志点，可由辅助标志点3至8计算摄像机位置。若图像中无法识别到主标志点，且识别到4个辅助标志点以下，则跟踪失败。 步骤4、位置计算模块根据主标志点的位置信息或辅助标志点位置计算红外摄像机的在世界坐标系中的位置。在已知标志点位置的情况下，根据计算机视觉中摄像机模型，共面4点(主标志点图像的4个顶点，或者4个辅助标志点)计算摄像机位置为已有技术，这里不赘述。 步骤5、合成增强模块根据位置计算模块提供的红外图像采集装置的位置，利用计算出的位置完成虚实融合的位置注册。
权利要求
一种基于红外投影标志点的视觉位置跟踪系统，其特征在于，包括主标志点产生装置、辅助标志点产生装置、红外图像采集装置和计算装置；所述主标志点产生装置由红外光源、第一菲聂耳透镜、标志点底片、第二菲聂耳透镜、投影镜头和滑动导轨组成；所述红外光源、第一菲聂耳透镜、第二菲聂耳透镜和投影镜头依次置于滑动导轨上；具有预设主标志点图案的标志点底片置于第一菲聂耳透镜上；所述红外光源发出的红外光依次通过第一菲聂耳透镜上的标志点底片、第二菲聂耳透镜和投影镜头投射到指定区域，形成主标志点图像；所述标志点底片上的主标志点图案不透光或标志点底片上除主标志点图案的部分不透光；所述辅助标志点产生装置包括支撑架和至少4个红外激光发生器；每个红外激光发生器通过一个万向轴承安装在所述支撑架上；每个红外激光发生器发出的红外激光投射到所述主标志点图像周边的设定位置，形成一个辅助标志点；所述红外图像采集装置，采集所述指定区域的红外光图像，并发送给所述计算装置；所述计算装置，根据红外光图像中的主标志点图像和辅助标志点的位置，计算确定红外图像采集装置的当前位置，利用计算出的位置完成虚实融合的位置注册。
2. 如权利要求1所述的基于红外投影标志点的视觉位置跟踪系统，其特征在于，该系 统包括至少2个主标志点产生装置，各主标志点产生装置发出的主标志点图像投射到指定 区域的设定位置。
3. 如权利要求1所述的基于红外投影标志点的视觉位置跟踪系统，其特征在于，所述 辅助标志点产生装置包括8个红外激光发生器，每个红外激光发生器为一个红外激光发射 二极管，8个红外激光发生器分成两列，通过8个万向轴承安装在支撑架上。
4. 如权利要求1所述的基于红外投影标志点的视觉位置跟踪系统，其特征在于，所述 红外光源由红外发射二极管阵列组成，其总功率不小于36瓦。
5. 如权利要求1所述的基于红外投影标志点的视觉位置跟踪系统，其特征在于，所述 计算装置包括二值化模块、校正模块、提取和识别模块、位置计算模块和合成增强模块；所述二值化模块，用于将红外图像采集装置采集的红外光图像转换为二值图，并发送 给校正模块；所述校正模块，用于对所述二值图进行图像失真的校正，得到校正后的图像，并发送给 提取和识别模块；所述提取和识别模块，用于根据预先获知的主标志点位置，从所述校正后的图像中辨 识主标志点图像，根据主标志点图像的位置识别辅助标志点的位置并记录；如果辨识出的 主标志点图像完整，则将主标志点的位置信息发送给位置计算模块；如果主标志点图像不 完整或没有主标志点图像，则获取已记录的各辅助标志点位置，将辅助标志点位置发送给 位置计算模块；如果图像中没有主标志点图像且识别到少于4个辅助标记点，则确认跟踪失败；所述位置计算模块，根据来自所述提取和识别模块的主标志点位置信息或辅助标志点 位置计算红外图像采集装置的位置，并发送给合成增强模块；合成增强模块，用于根据位置计算模块提供的红外图像采集装置的位置，利用计算出 的位置完成虚实融合的位置注册。
全文摘要
本发明公开了一种基于红外投影标志点的视觉位置跟踪系统，该系统采用红外光源透过一具有预设主标志点图案的标志点底片向指定区域投影主标志点图像，由于本发明投影出的图像为红外光图像，因此具有不可见标志点的功率高，亮度大，识别较容易，位置稳定等优点，且主标志点图像的形状由标志点底片上的主标志点图案决定，当需要更改主标志点形状时，只需要维护标志点底片即可，安装维护操作均十分简便。而且，为了实现大范围的跟踪注册需求，本发明还在主标志点周围投影至少4个辅助标志点，当由于红外图像采集装置的移动，导致主标志点部分或全部移出采集区域时，能够通过辅助标志点进行定位和跟踪处理。
文档编号G06K9/60GK101777123SQ20101003447
公开日2010年7月14日 申请日期2010年1月21日 优先权日2010年1月21日
发明者刘越, 王涌天, 翁冬冬, 黄业桃 申请人:北京理工大学