专利名称：基于增强现实的虚拟测量原理及方法
技术领域：
本发明涉及工业设计和制造领域，特别是涉及基于增强现实的最小包围盒虚拟测 量原理及实现方法。
背景技术：
在现代工业设计和制造领域中，最小包围盒问题涉及如何实现加工生产最优化和 布局最优化，如产品包装设计中，设计一个大小刚好合适的盒子放置物品可以有效地节约 包装用料；在零配件生产中，选择合适的毛坯进行加工制造可以有效地促进节省用料、节约 成本；在模具生产制造中，模具分割方向的选择直接影响了生产的效率和质量；在玩具声 级检测中，被测玩具最小包围盒检测的精度直接影响了声级检测的精度。三维物体最小包 围盒在现代工业领域具有十分重要的意义，它对节省产品用料、提高生产效率和产品质量 以达到生产的最优化起了决定性作用。目前计算机视觉技术已广泛应用于工业检测领域， 包括最小包围盒的测量。计算机视觉有结构光视觉测量和立体视觉三维重构等测量方式， 但目前仍存在算法复杂度高等问题使得其应用存在一定的局限，需要开发一种对物体形状 和大小普遍适用的测量方法。增强现实技术可以在测量中引入人机交互技术和人的视觉感 知能力，有效减少对辅助设备的依赖和降低算法复杂度，提高测量的效率和适应性。增强现实是虚拟现实领域发展的一个分支，同时也是计算机视觉、计算机图形学、 多媒体、人机交互等多种技术相互交叉的崭新的研究领域。增强现实允许人看到周围的真 实场景，并且通过在真实场景中叠加或合成虚拟物体，增强人对真实场景的感知能力。目前 国内外已有研究将增强现实技术应用于视频会议、维修、机器人遥操作、外科手术规划等方 面。由于增强现实虚实结合的特点，使基于增强现实的虚拟测量成为可能。基于增强 现实的虚拟测量是指通过立体视觉获取被测对象的现实场景图像，通过增强现实的虚实注 册技术将虚拟标尺叠加在现实场景图像上，人可以通过人机交互技术操作虚拟标尺对未知 物体或场景进行测量。在机器人领域，虚拟测量用于为远程机器人进行路径规划或对未知 场景进行建模；在医学领域，虚拟测量用在内窥镜中对人体内部器官或病变进行测量。由 于基于增强现实的虚拟测量不仅结合了计算机视觉中精确的视觉标定技术，同时也借助增 强现实技术融入了人的视觉感知能力，使得虚拟测量具备了较高的准确性及很强的适应能 力。综上所述，由于立体视觉三维重构的复杂性制约了计算机视觉技术在工业检测领 域的应用，有必要探索新的空间三维物体最小包围盒检测方法，这正是本发明专利主要的 动机和目的。
发明内容
在此处键入技术领域描述段落。本发明的目的是提出基于增强现实的最小包围盒 虚拟测量原理及实现方法，解决利用增强现实技术进行空间三维物体最小包围盒的非接触式测量和标定的问题。为实现上述目的，基于增强现实的最小包围盒虚拟测量包括原理和实现方法两部 分，所述的基本原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成。1.现实测量环境模型用于描述获取被测对象最小包围盒轴向观察场景的视觉感 知配置结构，即分别明确对应最小包围盒俯视、正视和侧视场景的成像模式，包括成像的内 外结构参数与透视投影畸变和成像像素粒度的约束关系。2.增强现实测量环境模型用于描述将现实测量目标转化成虚拟测量任务的虚拟 标尺逻辑功能，即针对最小包围盒与被测对象外切点标定的虚拟测量任务，明确外切点标 定的增强现实模式，包括虚拟标尺在俯视、正视和侧视投影平面的基本功能和组织结构。3.人机交互模型是用于描述虚拟测量的人机协作机制，即明确外切点标定的人机 协作模式，包括便于评价标定性能的感知模型和支持标定操作的动作模型。所述的实现方法包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技 术。1.视觉扫描追踪技术借助主动视觉手段实现最小包围盒轴向成像的自动扫描追 踪，包括视觉追踪扫描过程的规划策略以及最小包围盒轴向的识别方法。2.虚拟标尺测量技术借助虚实注册的手段实现虚拟标尺在俯视、正视和侧视投影 平面的测量基本功能，允许组合这些平面测量的基本功能完成最小包围盒与被测对象外切 点的标定任务。3.人机交互界面提供人机协作实现虚拟标尺测量的手段，包括便于评价测量性能 的可视界面，以及支持虚拟标尺操作的动作接口。
图1是基于增强现实的虚拟测量原理图，包括现实测量环境模型、增强现实测量 环境模型和人机交互模型，以及它们之间的关系；
图2是视觉感知配置结构和增强现实模式结构图，增强现实模式结构由视觉感知配置 结构决定；
图3是虚拟标尺原型示意图； 图4是人机交互模型图，包括感知模型和动作模型；
图5是基于增强现实的虚拟测量实现方法图，包括视觉扫描追踪技术、虚拟标尺测量 技术和人机交互界面技术，以及它们之间的关系；
图6是虚拟标尺测量技术图，描述如何组合虚拟标尺在投影平面上的基本功能以完成 最小包围盒标定；
图7是人机交互界面示意图一，显示俯视增强现实投影平面，这里显示的是标定完成
图8是人机交互界面示意图二，显示正视增强现实投影平面，这里显示的是标定完成
图9是人机交互界面示意图三，显示侧视增强现实投影平面，这里显示的是标定完成图。
具体实施例方式下面结合附图对本发明作进一步阐述。图1所示为基于增强现实的最小包围盒虚拟测量原理图，由现实测量环境模型、 增强现实虚拟测量环境模型和人机交互模型组成。其中，现实测量环境模型描述获取被 测对象最小包围盒轴向观察场景的视觉感知配置结构。假设被测场景中世界坐标系为
工，被测对象最小包围盒坐标系为0-Z7Z，两个坐标系之间仅存在X、7轴方向上的平 移和绕Z轴方向的旋转，则视觉感知配置结构对应最小包围盒俯视、正视和侧视场景的成 像模式，即获取被测对象最小包围盒俯视、正视和侧视投影图的三视角立体视觉，如图2的 视觉感知配置结构部分所示。视觉感知配置结构具体指三台摄像机在最小包围盒坐标系中的成像模型， 包括成像的内外结构参数、透视投影畸变和成像像素粒度的约束关系，即摄像机成像模型 中的内外参数和非线性畸变等参数。摄像机成像模型如以下公式所示
<formula>formula see original document page 5</formula>
公式(1)中，s为任意的比例因子，P = (u, V, 1)T表示图像坐标点的齐次形式，<formula>formula see original document page 5</formula>T为最小包围盒坐标系点的齐次形式。参数矩阵中外、 为图像坐标中心，/为 摄像机镜头焦距，7/说和7/办为摄像机成像芯片在V轴和Z轴上的尺度因子，它们可以组 成矩阵C表示摄像机内部参数矩阵。r为3X3正交单位矩阵，表示摄像机坐标系相对最小 包围盒坐标系的旋转向量，t表示摄像机坐标系相对最小包围盒坐标系的三维平移向量，0
=(0,0,0)
和t可以组成矩阵表示摄像机外部参数矩阵。C和了《又可以用摄像机
的投影矩阵表示。 摄像机成像模型的非线性畸变等参数如下所示
<formula>formula see original document page 5</formula>
公式(2)中，"和r为理想图像坐标点p的图像坐标，化和vd为实际图像坐标点的 图像坐标，心和~表示线性畸变值，与图像点在图像中的位置有关。公式(3)中為、夂等 表示非线性畸变参数。公式(4)中，r表示径向半径。 视觉感知配置结构具体包括三台摄像机的投影矩阵和先、k2等非线性畸变参 数。
增强现实测量环境模型由现实测量环境模型决定，如图1所示。增强现实测量环 境模型描述将现实测量目标转化成虚拟测量任务的虚拟标尺逻辑功能。根据现实测量环境 模型获取的最小包围盒俯视、正视和侧视投影图，我们提出标定被测对象与最小包围盒外 切点的标定方式以实现最小包围盒的测量。虚拟标尺逻辑功能的作用是将这种外切点标定 方式转换至增强现实模式下，通过虚拟标尺实现对外切点的标定。因此虚拟标尺逻辑功能 需要建立增强现实模式以及虚拟标尺在这种模式下的基本功能和组织结构。增强现实模式是指虚拟标尺在增强现实空间中的对最小包围盒外切点的标定模 式，其结构由现实测量环境中的视觉感知配置结构决定，如图2所示。视觉感知配置结构 获取了被测对象最小包围盒的俯视、正视和侧视图，增强现实模式在增强现实空间中建立 与之一一对应的结构，即形成俯视、正视和侧视增强现实投影平面，这一过程通过增强现实 虚实注册技术的真实摄像机和虚拟摄像机对准实现。这样，虚拟标尺就可以真实叠加在现 实场景图像上，即现实测量环境下的俯视、正视和侧视投影图就转换成增强现实空间下的 俯视、正视和侧视增强现实投影平面。增强现实模式描述了最小包围盒的俯视、正视和侧视 的增强现实投影平面，虚拟标尺可以在增强现实投影平面中通过对最小包围盒的外切点标 定，实现对现实测量环境中被测对象的最小包围盒标定。虚拟标尺原型示意图如图3所示，由矩形包围盒与包围盒各面上的圆锥体表示。 矩形包围盒表示被测对象的最小包围盒，四个侧面的圆锥体用于标定被测对象与最小包围 盒侧面的外切点，顶面的圆锥体用于标定被测对象与最小包围盒顶面的外切点。当各圆锥 体移动时，其对应的侧面位置也相应改变。虚拟标尺标定在增强现实模式的投影平面上进 行，其在各个投影平面上的基本功能是在俯视增强现实投影平面上标定外切点的1、_7坐 标，在正视增强现实投影平面上标定外切点的X、z坐标，在侧视增强现实投影平面上标定 外切点的_7、名坐标。为了标定的需要，虚拟标尺在俯视增强现实投影平面上表现为矩形包 围盒与所有圆锥体，在正视增强现实投影平面上仅表现为矩形包围盒、I轴方向的两个圆锥 体与顶面的圆锥体，在侧视增强现实投影平面上仅表现为矩形包围盒、/轴方向的两个圆锥 体与顶面的圆锥体。人机交互模型是由增强现实测量环境模型决定的，如图1所示。模型用于描述虚 拟测量的人机协作机制，其提供的人机协作模式支持增强现实环境模型中的外切点标定任 务。人机交互模型包括便于评价标定性能的感知模型和支持标定操作的动作模型，如图4 所示。其中，感知模型利用人的视觉感知能力评价虚拟标尺对被测对象的标定性能，包括虚 拟标尺对被测对象与最小包围盒侧面和顶面切点的位置的匹配判断。动作模型则根据感知 模型对标定性能的评价提供虚拟标尺的标定操作，以实现虚拟标尺对被测对象最小包围盒 的标定。用户首先通过感知模型判断虚拟标尺与四个侧面外切点的匹配程度，通过动作模 型操作虚拟标尺使其指向侧面外切点。然后通过感知模型判断虚拟标尺与顶面外切点的匹 配程度，通过动作模型操作虚拟标尺使其指向顶面外切点。当感知模型即人的视觉感知认 可后，即完成对最小包围盒的标定。图5所示为基于增强现实的最小包围盒虚拟测量实现方法图。该实现方法在增强 现实技术框架下实现基于增强现实的最小包围盒虚拟测量原理。其中，视觉扫描追踪技术 根据现实环境的数据，借助主动视觉手段实现最小包围盒轴向成像的自动扫描追踪，其结果可以建立现实测量环境模型的视觉感知配置结构，是根据现实环境建立现实测量环境模 型的重要技术手段。视觉扫描追踪技术包括视觉追踪扫描过程的规划策略及最小包围盒轴 向的识别方法。根据视觉感知配置结构获取最小包围盒俯视、正视和侧视场景的成像模式，视觉 追踪扫描过程的规划策略是建立获取这三个场景的摄像机布局方式。对被测对象的最小包 围盒追踪扫描，获取俯视场景的摄像机应定位在最小包围盒坐标系Z轴正方向处，光轴与Z 轴重合并指向最小包围盒中心；获取正视场景的摄像机定位在/轴负方向处，光轴与/轴平 行并指向最小包围盒中心；获取侧视场景的摄像机定位在I轴正方向处，光轴与I轴平行并 指向最小包围盒中心。最小包围盒轴向的识别是通过主动视觉扫描追踪的方式进行。被测对象放置在测 量环境中，通过视觉扫描的方式获取多幅被测对象图像，经过图像分析获取被测对象最小 包围盒的X、八Z轴位置，其中以最小包围盒较长的一个方向作为Z轴轴向，以较短的方向作 为/轴轴向。然后根据视觉追踪扫描过程的规划策略实现视觉的定位。虚拟标尺测量技术借助虚实注册手段实现虚拟标尺在俯视、正视和侧视增强现实 投影平面的基本功能，因此虚拟标尺测量技术是实现增强现实测量环境模型的技术手段。 虚拟标尺测量技术是借助增强现实的虚实注册技术实现现实环境和虚拟环境的对准，从而 将现实环境的测量目标转换至增强现实投影平面上的虚拟测量，如图5所示。虚拟标尺测量技术是通过组合虚拟标尺在俯视、正视和侧视增强现实投影平面上 的测量基本功能完成最小包围盒与被测对象外切点的标定，如图6所示。虚拟标尺在俯视 增强现实投影平面上标定侧面外切点的x、坐标，在正视增强现实投影平面上标定侧面外 切点和顶面外切点的x、z坐标，在侧视增强现实投影平面上标定侧面外切点和顶面外切点 的_7、名坐标，组合这些基本功能，就实现了对所有外切点X、_F、名坐标的标定。确定所有外 切点后，就实现了被测对象最小包围盒的标定。人机交互界面是提供人机协作实现虚拟标尺测量的手段，包括便于评价测量性能 的可视界面，以及支持虚拟标尺操作的动作接口。人机交互界面是人机交互模型的实现方 式，同时也是用户进行基于增强现实的虚拟测量的接口，如图5所示。可视界面如图7、图8和图9所示。图7显示的是俯视增强现实投影平面，图8显 示的是正视增强现实投影平面，图9显示的是侧视增强现实投影平面。可视界面的左上角区域显示的是当前的投影平面，可以按用户需求切换显示俯 视、正视和侧视增强现实投影平面。左下角是状态输出区域，显示当前用户的操作状态和最 小包围盒标定的结果。右边是操作区域，提供动作接口，支持用户通过鼠标和键盘对虚拟标 尺进行操作。操作区域分为三个视口，从上至下分别为俯视视口、正视视口和侧视视口，分 别对应虚拟标尺在俯视、正视和侧视投影平面的投影。用户可以在俯视视口对虚拟标尺的 x和_7坐标进行操作，在正视视口对虚拟标尺的x和z坐标操作，在侧视视口对虚拟标尺的 7和^坐标操作。动作接口指的是在操作区域对虚拟标尺进行操作的功能。人机交互界面提供键盘 和鼠标两种输入方式对虚拟标尺进行操作。动作接口支持对虚拟标尺的平移、缩放、旋转操 作，以实现虚拟标尺对最小包围盒外切点的标定。总之，本发明提出基于增强现实的最小包围盒虚拟测量原理及实现方法。基于增强现实的最小包围盒虚拟测量原理描述了针对最小包围盒外切点标定任务建立的三个模 型，实现方法描述了实现这一任务的技术手段。本发明实现了对任意形状和尺寸的空间三 维物体的最小包围盒非接触式测量，具有概念简单、结构灵活、应用便捷等优势，可以很好 地应用于工业设计和制造领域。
权利要求
基于增强现实的虚拟测量原理及方法，其特征是基本原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成，实现方法包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术。
2.根据权利要求1所述的基于增强现实的虚拟测量原理，其特征是现实测量环境模型 用于描述获取被测对象最小包围盒轴向观测场景的视觉感知配置结构，即分别明确对应最 小包围盒俯视、正视和侧视场景的成像模式，包括成像的内外结构参数与透视投影畸变和 成像像素粒度之间的约束关系。
3.根据权利要求1所述的基于增强现实的虚拟测量原理，其特征是增强现实测量环境 模型用于描述将现实测量目标转化成虚拟测量任务的虚拟标尺逻辑功能，即针对最小包围 盒与被测对象外切点标定的虚拟测量任务，明确外切点标定的增强现实模式，包括虚拟标 尺在俯视、正视和侧视投影平面的基本功能和组织结构。
4.根据权利要求1所述的基于增强现实的虚拟测量原理，其特征是人机交互模型是用 于描述虚拟测量的人机协作机制，即明确外切点标定的人机协作模式，包括便于评价标定 性能的感知模型和支持标定操作的动作模型。
5.根据权利要求1所述的基于增强现实的虚拟测量方法，其特征是视觉扫描追踪技术 借助主动视觉手段实现最小包围盒轴向成像的自动扫描追踪，包括视觉追踪扫描过程的规 划策略以及最小包围盒轴向的识别方法。
6.根据权利要求1所述的基于增强现实的虚拟测量方法，其特征是虚拟标尺测量技术 借助虚实注册的手段实现虚拟标尺在俯视、正视和侧视投影平面的测量基本功能，允许组 合这些平面测量的基本功能完成最小包围盒与被测对象外切点的标定任务。
7.根据权利要求1所述的基于增强现实的虚拟测量方法，其特征是人机交互界面提供 人机协作实现虚拟标尺测量的手段，包括便于评价测量性能的可视界面，以及支持虚拟标 尺操作的动作接口。
全文摘要
本发明提供基于增强现实的虚拟测量原理及方法。基于增强现实的最小包围盒虚拟测量原理由现实测量环境模型、增强现实测量环境模型和人机交互模型组成。基于增强现实的最小包围盒虚拟测量实现方法包括视觉扫描追踪技术、虚拟标尺测量技术和人机交互界面技术。本发明可用于空间三维物体最小包围盒的非接触方式测量和标定，具有概念简单、结构灵活、应用便捷等优势，是对现有人工或仪器测量模式的增强和扩展。
文档编号G06F17/50GK101826129SQ20101014880
公开日2010年9月8日 申请日期2010年4月17日 优先权日2010年4月17日
发明者刘军, 刘敏, 李震宇, 王国利, 郭雪梅, 闫祖翔, 骆智彬 申请人:中山大学