专利名称：在增强现实领域实现虚拟信息标注及绘制标注线的方法
技术领域：
本发明涉及计算机视觉领域，尤其涉及在增强现实领域实现虚拟信息标注及绘制标注线的方法。
背景技术：
移动增强现实(Mobile Augmented Reality),即基于移动终端的增强现实,是增强现实(AR)技术与移动计算相结合而产生 的研究方向，是近年来人机交互领域备受关注的热点之一。移动增强现实具有传统增强现实的本质，即在真实环境呈现的场景中，借助与计算机图形技术和可视化技术，将虚拟信息实时“无缝”与之融合，利用虚拟信息对真实场景进行补充、增强；同时与移动终端平台的结合，可以最大限度的发挥增强现实技术“可移动性”的特点，给予用户完全区别于传统PC平台的全新的感知体验和交互模式。在现有的移动增强现实应用中，一般是单纯的将虚拟信息直接叠加到真实场景上，对叠加到真实场景上的虚拟信息一般没有一个额外的标注说明，即使偶尔有额外的标注说明情况，标注信息也是在移动终端界面上平铺表现，没有一种直观的将标注信息与叠加到真实场景上的虚拟信息联系起来的展现形式，视觉关联性较差。
发明内容
本发明的目的是提供一种增强现实领域实现虚拟信息标注及绘制标注线的方法，解决上述虚拟信息无标注及有标注视觉关联性差的问题，可将重叠在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来。为了实现上述发明目的，本发明提供了一种绘制标注线的方法，应用于计算机视觉领域，包括在世界坐标系中选定一坐标点作为标注线第一端点；在图像坐标系中选定一坐标点作为标注线第二端点；将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标；图形绘制软件根据标注线第一端点和标注线第二端点在世界坐标系中的三维坐标值，绘制3D标注直线。其中，所述将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标，具体变换公式为
厂~1--1
P'[X] Λη R12 R13 T1 卜 O 叫-1 ΓΖ, I'Γ =Twr* Tci* Y1 二 R21 R22 R2i T2 * O ay V0 * Y1
WIΚ3 R32 R33 T30 0 1I
—1 J[o 0 0 I J公式中，[XW，YW，ZW]T表示标注线第二端点在世界坐标系中的三维坐标值，Twc是摄像头坐标系到世界坐标系的变换矩阵，Tci是图像坐标系到摄像头坐标系的变换矩阵，[X1, Y1P表示标注线第二端点在图像坐标系中的二维坐标值；Rij, (i, j = 1,2, 3)表示标注线第二端点在坐标系转换中围绕X、Y、Z三坐标轴的旋转矩阵值Ji, (i = 1,2, 3)表示标注线第二端点在坐标系转换中X、Y、Z三坐标轴上平移向量值；ax = f/dx, ay = f/dy, f为摄像机焦距，dx和dy分别表示单个像素在图像平面横向和纵向上的物理尺寸，U0和Vtl为图像平面中心在图像坐标系上的坐标值。优选的，所述图像绘制软件为OPENGL或0PENGLES或DirectX。相应的，本发明还提供了一种绘制标注线的方法，应用于计算机视觉领域，包括在世界坐标系中选定一坐标点作为标注线第一端点； 在图像坐标系中选定一坐标点作为标注线第二端点；将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标；图形绘制软件根据标注线第一端点和标注线第二端点在图像坐标系中的坐标值，绘制标注直线。其中，所述将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标，具体变换公式为
~ F I\ Y ~
八r「ΛInοnrrykW
XjyaX 0 U0 ^Il Ru 爲 3γ=W Jr = 0 αν ν 各· R21 R22 R23 T2 ^ :
I~ O O I RnR33 T3 Zw
L1」O O O 1 I Li」公式中，[X1, Y1P表示标注线第一端点在图像坐标系中的二维坐标值；[Xff, Yff, Zff]T表示标注线第一端点在世界坐标系中的三维坐标值；TIC摄像头坐标系到图像坐标系的变换矩阵，T 是世界坐标系到摄像头坐标系的变换矩阵；其中ax = f/dx，ay = fdy，f为摄像机焦距，dx和dy分别表示单个像素在图像平面横向和纵向上的物理尺寸，U。和V。为图像平面中心在图像坐标系上的坐标值；1^_，(i, j =1,2, 3)表示标注线第一端点在坐标系转换中围绕X、Y、Z三坐标轴的旋转矩阵值；Τ” (i =1，2，3)表示标注线第一端点在坐标系转换中X、Y、Z三坐标轴上平移向量值。优选的，所述图像绘制软件为OPENGL或0PENGLES或DirectX。相应的，本发明还提供了一种在移动增强现实领域实现虚拟信息标注的方法，包括在移动终端界面上设定固定区域作为标注信息区域；在世界坐标系中的增强现实模板轮廓上任选一坐标点作为标注线第一端点；在图像坐标系中的标注信息区域轮廓上任选一坐标点作为标注线第二端点；将所述标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标；在增强现实过程中，图形绘制软件根据标注线第一端点和标注线第二端点在世界坐标系中的三维坐标值，绘制3D标注直线，将叠加在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来。
相应的，本发明还提供了一种在移动增强现实领域实现虚拟信息标注的方法，其特征在于，包括在移动终端界面上设定固定区域作为标注信息区域；在世界坐标系中的增强现实模板轮廓上任选一坐标点作为标注线第一端点；在图像坐标系中的标注信息区域轮廓上任选一坐标点作为标注线第二端点；将所述标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标; 在增强现实过程中，图形绘制软件根据标注线第一端点和标注线第二端点在图像坐标系中的坐标值，绘制标注直线，将叠加在真实场景上的虚拟信息与移动终端界面上的标注彳目息连接起来。与现有技术相比，本发明具有如下有益效果通过实施本发明，可以对叠加在真实场景上的虚拟信息进行标注，且用标注线将重叠在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来，提供了一种全新的信息标注展现形式，使用户透过屏幕看起来像将真实场景(实际是叠加在真实场景上的视频或图片)与屏幕上的标注信息用一根3D线连接起来的感觉，具有非常奇妙的视觉效果。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图图I为本发明实施例一中绘制标注线的方法流程图；图2为本发明实施例二中绘制标注线的方法流程图；图3为本发明实施例中移动终端界面标注信息区域示意图；图4为带有可增强现实图片的纸张；图5为本发明实施例在移动增强现实过程中实现虚拟信息标注的效果示意图一；图6为本发明实施例在移动增强现实过程中实现虚拟信息标注的效果示意图二 ；图7为本发明实施例在移动增强现实过程中实现虚拟信息标注的效果示意图三。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本领域技术人员应知计算机视觉领域包括图像坐标系、摄像机坐标系和世界坐标系，摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵与平移向量来描述；而摄像机坐标系与世界坐标系之间的关系也可以用旋转矩阵与平移向量来描述。本发明属于计算机视觉领域，尤其适用于在增强现实应用中，对叠加在真实场景上的虚拟信息进行标注，且将重叠在真实场景上的虚拟信息与移动终端界面上的标注信息用标注线连接起来。本领域技术人员应知在增强现实技术中，为了使得虚拟物体能够准确地渲染叠加在摄像机输出视频流中的目标物体上，需要对摄像机的姿态进行计算，确定目标物体的物体坐标系到摄像机坐标系的仿射变换矩阵，以及摄像机坐标系到图像坐标系的投影变换矩阵。通过这两个变换矩阵就可以确定虚拟物体在图像平面上的位置，而该位置也是目标物体在图像平面上的位置，这样便实现了虚拟物体和目标物体的叠加。在增强现实过程中，目标物体虚实特征点跟踪匹配过程中会得到一个平移旋转变换矩阵，该矩阵可实现一个点从摄像头坐标系到世界坐标系的转换。以增强现实的方式将虚拟信息叠加到真实场景上属于现有技术，其过程中得到的平移旋转变换矩阵的计算方式也属于现有计算，在本说明书中不进行赘述。
实施例一参见图I为本发明实施例一中绘制标注线的方法流程图，包括步骤SlOl :在世界坐标系中选定一坐标点作为标注线第一端点；S102 :在图像坐标系中选定一坐标点作为标注线第二端点；S103 :将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标;S104:图形绘制软件根据标注线第一端点和标注线第二端点在世界坐标系中的三维坐标值，绘制3D标注直线，本步骤中所述图像绘制软件为OPENGL或0PENGLES或DirectX。在步骤S103中，将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标，具体变换公式为
frΓΛ 及12 R13 T1 卜 O 叫-1 Pf,
/ =Tmc *TCI* Y1 = R21 R22 R23 T2 * O av v。 * Y1(1-1)
H'I R3i 馬 2 R3 Ti 0 0 1 I
-1 JL0 0 0 I J公式(1-1)中[Xff, Yff, ZW]T表示需要得到的标注线第二端点在世界坐标系中的三维坐标值；[X1, Y1]1表示标注线第二端点在图像坐标系中的二维坐标值，由于第二端点是在图像坐标系中选定的，因此该点在图像坐标系中的二维坐标值为已知值；Tmc是一个4X4的坐标系变换矩阵，实现标注线第二端点从摄像头坐标系到世界坐标系的转换，该矩阵通过增强现实跟踪目标物体虚实特征点匹配过程中得到，其中Rij, (i, j = I, 2，3)表示标注线第二端点在坐标系转换中围绕X、Y、Z三坐标轴的旋转矩阵值；1\，(i = 1,2, 3)表示标注线第二端点在坐标系转换中X、Y、Z三坐标轴上平移向量值；Tci是一个3 X 3的坐标系变换矩阵，实现从图像坐标系到摄像头坐标系的转换，该矩阵中的各项元素是摄像头自身的硬件内部参数所决定，可以通过离线的摄像头标定过程得到，其中ax = f/dx，ay = f/dy，f为摄像机焦距，dx和dy分别表示单个像素在图像平面横向和纵向上的物理尺寸，单位毫米，U0和V。为图像平面中心在图像坐标系上的坐标值。
优选的，为了增强视觉感受，在本实施例中，还可以根据标注线第二端点在世界坐标系中的三维坐标值的Z轴坐标变化，来设定绘制的标注线的粗细，例如，设定Z轴坐标值变大，标注线就变细，Z轴坐标值变小，标注线就变粗，这样的效果设置可以使得本发明所具有的视觉效果更佳，让标注线看起来像橡皮筋一样，拉长变细，缩短变粗。实施例二 参见图2，为本发明实施例二中绘制标注线的方法流程图，包括步骤S201 :在世界坐标系中选定一坐标点作为标注线第一端点；S202 :在图像坐标系中选定一坐标点作为标注线第二端点；S202 :将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标;S202:图形绘制软件根据标注线第一端点和标注线第二端点在图像坐标系中的坐标值，绘制标注直线，本步骤中所述图像绘制软件为OPENGL或0PENGLES或DirectX。本实施例中标注直线为2D效果的标注线。在步骤S203中，将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标
注线第一端点在图像坐标系中的坐标，具体变换公式为
权利要求
1.一种绘制标注线的方法，应用于计算机视觉领域，其特征在于，包括 在世界坐标系中选定一坐标点作为标注线第一端点； 在图像坐标系中选定一坐标点作为标注线第二端点； 将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标； 图形绘制软件根据标注线第一端点和标注线第二端点在世界坐标系中的三维坐标值，绘制3D标注直线。
2.如权利要求I所述的方法，其特征在于所述将标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标，具体变换公式为
3.如权利要求I或2所述的方法，其特征在于所述图像绘制软件为OPENGL或0PENGLES 或DirectX。
4.一种绘制标注线的方法，应用于计算机视觉领域，其特征在于，包括 在世界坐标系中选定一坐标点作为标注线第一端点； 在图像坐标系中选定一坐标点作为标注线第二端点； 将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标； 图形绘制软件根据标注线第一端点和标注线第二端点在图像坐标系中的坐标值，绘制标注直线。
5.如权利要求4所述的方法，其特征在于所述将标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标，具体变换公式为
6.如权利要求4或5所述的方法，其特征在于所述图像绘制软件为OPENGL或0PENGLES 或DirectX。
7.一种在移动增强现实领域实现虚拟信息标注的方法，其特征在于，包括 在移动终端界面上设定固定区域作为标注信息区域； 在世界坐标系中的增强现实模板轮廓上任选一坐标点作为标注线第一端点； 在图像坐标系中的标注信息区域轮廓上任选一坐标点作为标注线第二端点； 将所述标注线第二端点进行坐标系变换，映射到世界坐标系中得到标注线第二端点在世界坐标系中的坐标； 在增强现实过程中，图形绘制软件根据标注线第一端点和标注线第二端点在世界坐标系中的三维坐标值，绘制3D标注直线，将叠加在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来。
8.一种在移动增强现实领域实现虚拟信息标注的方法，其特征在于，包括 在移动终端界面上设定固定区域作为标注信息区域； 在世界坐标系中的增强现实模板轮廓上任选一坐标点作为标注线第一端点； 在图像坐标系中的标注信息区域轮廓上任选一坐标点作为标注线第二端点； 将所述标注线第一端点进行坐标系变换，映射到图像坐标系中得到标注线第一端点在图像坐标系中的坐标； 在增强现实过程中，图形绘制软件根据标注线第一端点和标注线第二端点在图像坐标系中的坐标值，绘制标注直线，将叠加在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来。
全文摘要
本发明公开了一种绘制标注线的方法，分别在世界坐标系和图像坐标系中各选定一个点作为标注线的两端点，然后通过坐标系变换，将其中一个点变换到另一个点所在坐标系，最后用图形绘制软件根据两端点在同一个坐标系中的坐标值，绘制标注直线，相应的，本发明还公开了一种在移动增强现实领域实现虚拟信息标注的方法，可以对叠加在真实场景上的虚拟信息进行标注，且用标注线将重叠在真实场景上的虚拟信息与移动终端界面上的标注信息连接起来，提供了一种全新的信息标注展现形式，使用户透过屏幕看起来像是将真实场景上叠加的视频或图片与屏幕上的标注信息用一根3D或2D线连接起来的感觉，具有非常奇妙的视觉效果。
文档编号G06T19/00GK102968809SQ20121052081
公开日2013年3月13日 申请日期2012年12月7日 优先权日2012年12月7日
发明者陈更, 李薪宇, 宋海涛 申请人:成都理想境界科技有限公司