专利名称：增强现实的指向装置的制作方法
技术领域：
本发明涉及在增强现实空间中指出点的指向装置。
发明内容
技术问题本发明的目标为提供在增强现实空间中指出点的直观且容易的指向装置。技术解决方案本发明包括第一相机，其捕捉包含特征点的图像以便产生增强现实场景；第二·相机，其捕捉包含所述特征点的图像；以及图像处理部分，其通过比较在所述第一相机与所·述第二相机所捕捉的图像之间的特征点而产生指向信号，其中指向点对应于所述增强现实空间中的虚拟对象与所述第二相机的视线(光轴)的交点。发明的效果通过使用本发明的指向装置(如激光指针)，非常容易且直观地选择增强现实空间中的点。
图I为本发明的实施例。图2为相机坐标系和世界坐标系。图3为具有包含相机的头戴式显示器的本发明的其它实施例。
具体实施例方式鼠标为广泛使用的桌上型计算机的指向装置。操纵杆用作玩计算机游戏的指向装置。此些常规指向装置经开发以在计算机屏幕中指出点。增强现实技术提供真实世界和虚拟场景。举例来说，智能电话的相机可用以捕捉场景以产生增强现实场景。此增强现实(augmented reality)技术为如下技术捕捉真实世界、从所捕捉图像提取特征点、计算在相机与所捕捉场景之间的3维相对位置和方向，以及通过虚拟对象的透视投影将虚拟3维对象合成为所捕捉图像，如同虚拟对象存在于真实世界中。特征点可为经印刷矩形的转角点或者自然对象或纹理的转角点(corner point)。经印刷矩形是由ArtoolKit使用，ArtoolKit为众所周知的增强现实软件开发套件。使用自然特征点的增强现实技术被称为无标记增强现实(markerless augmented reality)。可在乔治克雷恩(Georg Klein)和大卫莫瑞(David Murray)的论文“用于小AR工作空间的并行追踪和映射(ParallelTracking and Mapping for small AR Workspaces) ” 中找到无标记增强现实(http://www. robots.ox. ac.uk/ gk/publications/KleinMurray2007ISMAR.￡df)。以上论文解释了从视频流提取特征点、从特征点计算相机位置以及实时地合成增强现实场景的技术。本发明的增强现实的特征点包含自然特征点和非自然特征点两者。增强现实软件包含以下映射和追踪映射为从视频流提取对象的标记或转角的特征点，计算来自相机的特征点的3维位置和方向以及存储此些3维位置和方向作为映射数据；追踪为通过比较当前视频流的特征点与映射数据中的特征点而计算相机的3维位置(X, y, z)和方向(像片旋角(yaw),航向倾角(pitch),旁向倾角(roll))从特征点计算相机位置可由为众所周知的图像处理库的opencv的函数solvePnP进行。solvePnP的PnP意谓透视N点问题，其为从相对位置已知的η点的所捕捉图像计算相机位置的算法，且更详细描述可在http://homepages, inf. ed. ac. uk/rbf/CVonline/LOCAL COPIES/MARBLE/high/pia/solvinR. htm中找到。本发明并不限制用于计算相机位置和方向的算法。位于特征点当中的3维虚拟对象可通过使用由此算法或某一等效算法所计算的 相机位置和方向来透视投影(perspective projection),且可用视频流传输来合成虚拟对象的经投影图像。此经投影虚拟对象可由人眼感觉为如同真实对象。通过使用增强现实技术，可看见计算机游戏的3维人物在真实世界中到处行走。本增强现实技术中的大部分集中于在不与使用者和虚拟对象互动的情况下由3维计算机制图法合成真实场景与虚拟对象。有必要提供有效方式来与增强现实空间中的虚拟对象互动，以便在增强现实中玩游戏。本发明的目标为提供有效且直观的指向装置(如同激光指针)来与增强现实中的虚拟对象互动。实施例I本实施例在图I中解释可用人工标记(MK)用于增强现实的指向装置。仅为便利起见而在本实施例中使用人工标记(mk),且在真实实施中使用任何标记或自然地貌将为良好的。在图I中，由增强现实的计算机制图法所产生的虚拟对象(CGS、CGE)为地球(CGE)围绕太阳(CGS)旋转且本发明的指向装置为手持式相机(TC)，其中相机的光轴(视线(viewing vector))如同激光指针般指向太阳(CGS)。图2展示两个相机(AC、TC)的相机坐标系和标记(MK)的世界坐标系。在图2中，用于增强现实的第一相机(AC)的坐标系是由xl、yl、zl表示，用于指向操作的第二相机(TC)的坐标系是由x2、y2、z2表示，以及标记(mk)的世界坐标系是由xw、yw、zw表示。用于指向操作的第二相机(TC)的光轴(视线(viewing vector))为z2轴。本实施例的指向装置包括第一相机(AC)，其捕捉特征点的场景，此些特征点的形状和大小如图I中所示为已知的(例如，工具套件的矩形的顶点)；第二相机(TC)，其捕捉相同场景用于指向操作，其中第一相机和第二相机的位置为不同的；以及图像处理部分识别两个图像之间的相应特征点，其中第一图像由第一相机捕捉且第二图像由第二相机捕捉，从此识别计算两个相机之间的3维相对位置和方向，以及基于两个相机之间的此3维相对位置和方向而产生指向信号。相机与标记的特征点之间的相对3维位置和方向可通过使用图像处理库“opencv”的函数“solvePnP”来确定。用于产生对应于在两个相机之间的相对位置和方向的指向信号的方法为如下用由第一相机所捕捉的输入图像通过使用solvePnP而计算标记与第一相机之间的相对3维位置和方向，其中图像含有标记且标记大小和形状为已知的。类似地，用由第二相机所捕捉的输入图像通过使用solvePnP而计算此标记与第二相机之间的相对3维位置和方向，其中图像含有同一标记。 通过使用两个相机相对于同一标记的相对位置和方向，两个相机之间的相对位置和方向可得以确定，且第二相机的位置和方向可表示于第一相机的坐标系中。在图2中，点(QQ)为z2轴(第二相机的光轴或视线(viewing vector))与标记平面(xw_yw平面)的交点。交点(QQ)可由透视投影(perspective projection)投影为第一相机的图像,且经投影点可被视为增强现实空间中指向游标的位置。如果在第二相机(TC)与交点(QQ)之间存在虚拟对象(CGS)(如图I中所示)，那么新的交点(图I中的PP)可被视为增强现实空间中指向游标的位置，且推荐在交点(PP)处合成虚拟鼠标游标图像(AW)用于增强现实图像。图像处理部分可从由第一相机所捕捉的图像识别标记(MK)，且可通过使用世界坐标系和由经检测标记所确定的透视投影而合成虚拟对象(CGS、CGE)，且合成图像可显示于 显示器(DS)上。推荐使得用于指向操作的第二相机作为手持式遥控器形相机，此相机具有如左和右鼠标按钮的输入按钮(BTL、BTR)。通过调整第二相机的查看方向，可指向增强现实空间的虚拟对象(CGS、CGE)。推荐第一相机(AC)包含于眼镜型显示器(DS)(头戴式显示器或近眼显示器)中，使得第一相机可在眼镜型显示器(DS)的佩戴者的眼睛的查看方向(图2中的zl轴方向)上捕捉图像。图像处理部分可为执行于智能电话、桌上型计算机或DSP (数字信号处理器)或某专用硬件中的软件。通过佩戴包含第一相机(AC)且控制第二相机(TC)的查看方向的方向的眼镜型显示器(DS)，可指向增强现实空间中的任意点。换句话说，改变第二相机的查看方向导致改变虚拟鼠标游标(AW)的位置(图I中的PP)。以下情况为可能的通过如点击鼠标按钮而按压相机(TC)的按钮来选择虚拟对象，且通过拖放(drag and drop)在增强现实空间中移动虚拟对象。通过触发枪形第二相机(TC)的按钮而射击增强现实游戏的虚拟怪物也是可能的。智能电话或pc相机的相机可用作本实施例的相机(AC、TC)，且智能电话或桌上型计算机的显示器可用作本实施例的显示器(DS)。实施例2以上实施例I的第一相机可用如图3中所示的立体相机(AC I、AC2)替换。在图3中，立体相机安装于眼镜型显示器上，其中由立体相机所捕捉的立体图像显示于眼镜型显不器上。可在 http://www. vuzix. com/consumer/products wrap920ar. html 上找至丨J具有立体相机的此眼镜型显不器，http: //www. vuzix. com/consumer/products wrap920ar. html为用于福济斯(vuzix)的产品(WRAP 920AR)的网页。使用者也可用两个枪形第二相机(TCI、TC2)玩射击游戏。
权利要求
1.一种指向装置，其包括 第一相机部分，其包含用于捕捉特征点的第一图像的第一相机(AC)； 第二相机部分，其包含用于捕捉所述特征点的第二图像的第二相机(TC)； 以及图像处理部分，其用于通过识别由第一相机所捕捉的图像的特征点和由第二相机所捕捉的图像的特征点而计算所述第一相机与所述第二相机之间的相对位置和方向。
2.根据权利要求I所述的指向装置，其特征在于 所述图像处理部分在第一相机的视野中产生对应于所述第二相机的查看方向的指向信号，其中所述查看方向是从在第一相机与第二相机之间的所述相对位置和方向计算。
3.根据权利要求I所述的指向装置，其特征在于 所述图像处理部分通过使用在所述第一相机与由第一相机所捕捉的图像的特征点之间的相对位置和方向而合成用于增强现实的虚拟对象。
4.根据权利要求2所述的指向装置，其特征在于 所述图像处理部分合成虚拟指向游标图标(AW)，其中虚拟指向游标图标(AW)的位置对应于所述指向信号。
5.根据权利要求I所述的指向装置，其特征在于 所述第一相机部分为包含相机的眼镜型显示器，其中所述相机在其佩戴者的查看方向上捕捉图像。
6.根据权利要求5所述的指向装置，其特征在于 眼镜型显示器的所述相机为在其佩戴者的两眼前方的立体相机。
7.—种指向方法,其包括 捕捉特征点的第一图像用于增强现实； 捕捉所述特征点的第二图像用于指向；以及 通过识别第一图像和第二图像的相应特征点而计算在第一相机与第二相机之间的相对位置和方向； 通过使用在第一相机与第二相机之间的所述相对位置和方向而在第二相机的视野中产生对应于第一相机的查看方向的指向信号。
8.一种存储有用于执行指向方法的计算机程序的计算机可读记录媒体，其中所述指向方法包括 捕捉特征点的第一图像用于增强现实； 捕捉所述特征点的第二图像用于指向；以及 通过识别第一图像和第二图像的相应特征点而计算在第一相机与第二相机之间的相对位置和方向； 通过使用在第一相机与第二相机之间的所述相对位置和方向而在第二相机的视野中产生对应于第一相机的查看方向的指向信号。
全文摘要
本发明涉及一种能够将增强现实的特定位置输入到计算机的指向装置。本发明包括相机，其拍摄用以产生增强现实图像的特征点或标记的照片；以及图像处理器，其识别由所述相机所拍摄的所述特征点或所述标记，且输出指示所述增强现实中的特定位置的位置信息。鼠标游标图像可在从所述图像处理器所输出的所述位置处合成为增强现实图像。
文档编号G06F3/03GK102884492SQ201180011590
公开日2013年1月16日 申请日期2011年2月28日 优先权日2010年3月1日
发明者李汶基 申请人:李汶基