专利名称：一种单摄像机虚拟鼠标系统的校准方法
技术领域：
本发明属于机器视觉技术领域，涉及一种单摄像机虚拟鼠标系统的校准方法。
背景技术：
随着人机交互技术的不断发展，有线和无线的实际有形鼠标暴露出越来越多的缺点，极大的限制了交互的速度、距离和自然性。近年来，采用摄像机拍摄空间控制点的图像，通过跟踪、分析控制点的图像坐标，并与计算机屏幕坐标相对应，作为用户输入提供给计算机系统，起到真实鼠标的功能，本发明将这类基于机器视觉原理的鼠标称为虚拟鼠标。虚拟鼠标的特点是无辐射、非接触，大大降低了人机交互的认知负荷，有效地实现了交互的快速性和自然性，广泛应用于残疾人士服务、多媒体教学、娱乐、辐射控制区应用及公共设施的传染病预防与控制等领域。
现有的虚拟鼠标系统主要有两类。一类是基于激光笔的虚拟鼠标。刘芳等在文章“基于激光笔的远程人机交互技术”(中国图像图形学报，Vol.8(A)，No.11，pp.1356～1360，2003)中陈述了这类虚拟鼠标系统。此类虚拟鼠标系统采用激光笔向投影屏幕投射激光光点，安装在投影屏幕的摄像机拍摄激光光点图像，通过跟踪、分析激光光点的图像坐标，并与计算机屏幕坐标对应，实现对计算机的控制。该虚拟鼠标系统是一个二维投影屏幕平面对二维图像平面的映射问题，采用了求解二维平面的单一性映射矩阵的方法进行校准。该虚拟鼠标依赖于激光笔的投射，不能实现三维空间控制点对计算机的控制，校准方法中也没有考虑摄像机镜头畸变和投影屏幕畸变等因素的影响。另一类是基于双目立体视觉系统的虚拟鼠标。Dmitry O.Gorodnichy等在文章“Nouse-鼻子用作鼠标-用于无手游戏和交互的感知视觉技术”(Nouse“use your nose as a mouse”perceptualvision technology for hands-free games and interfaces)，Elsevier Science国际期刊《图像与视觉计算》，第22卷，第12期，第931～942页，2004年(Image and VisionComputing，Vol.22，pp.931～942，2004)中陈述了这类虚拟鼠标系统。此类虚拟鼠标系统基于计算机极线几何和双目立体视觉技术实现鼻尖的三维空间定位，并利用这些信息实现计算机的简单控制。该类虚拟鼠标系统的成本较高、视场范围小，系统的校准过程复杂，计算量大，实时性较差。
发明内容
本发明所要解决的技术问题是提供一种单摄像机虚拟鼠标系统的校准方法。本发明所说的单摄像机虚拟鼠标系统由一个摄像机、包含平面显示屏幕的计算机系统和空间控制点构成。所说的空间控制点为能被摄像机成像的可视特征点，如激光点、人体特征等。根据单摄像机虚拟鼠标系统的数学模型，通过三维空间控制点的投影图像坐标，将空间控制点映射为计算机的屏幕坐标，作为用户输入提供给计算机系统，达到控制计算机的目的。以降低成本、增大空间控制点的有效视场范围、提高系统实时性、简化系统校准过程、提高校准精度，改善其工程化应用的可操作性和便捷性。
本发明的技术解决方案是一种单摄像机虚拟鼠标系统的校准方法，其特征在于，校准包括摄像机内部参数校准阶段、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段。校准的具体步骤如下1、摄像机内部参数校准阶段1.1、设定实体靶标1。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个；1.2、设定摄像机4的观测位置，调整摄像机的镜头焦距和光圈。摄像机观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈；1.3、校准摄像机4的内部参数。具体步骤如下第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标上所有的特征点应包含在拍摄图像内；第二步，提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标对应；第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；2、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段2.1、确定使用计算机系统的屏幕3的可视物理尺寸和显示分辨率。计算机的显示分辨率为sl×sh像素，屏幕可视物理尺寸为ls×hs英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得；2.2、设定虚拟靶标2。靶标的形状与实体靶标1相同，特征点数量也相同，由计算机生成，直接显示在屏幕3上。虚拟靶标2方块的边长lp为30～150像素，实际大小的长宽尺寸为25.4*lp(lssl×lhsh)mm;]]>2.3、放置实体靶标1，调整摄像机4、实体靶标1和虚拟靶标2的位置关系。实体靶标1在屏幕3前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标1上所有特征点。保持实体靶标1不动，移动摄像机4，保证摄像机能够同时观测到实体靶标1和虚拟靶标2上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标1，在校准过程中，保持实体靶标1的位置和虚拟靶标2的显示位置及大小不发生变化；2.4、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为；第一步，将摄像机4固定在中介位置，此时摄像机坐标系称为中介坐标系。拍摄一幅包含实体靶标1和虚拟靶标2所有特征点在内的图像，称为双靶标校准图像；第二步，提取双靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到中介坐标系的变换；第三步，提取双靶标校准图像内属于虚拟靶标2的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的屏幕坐标，计算屏幕坐标系到中介坐标系的变换；第四步，由第二步得到的实体靶标坐标系到中介坐标系的变换和第三步得到的屏幕坐标系到中介坐标系变换，计算屏幕坐标系到实体靶标坐标系的变换；2.5、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为第一步，将摄像机4固定在观测位置，拍摄一幅包含实体靶标1所有特征点在内的图像，称为单靶标校准图像；第二步，提取单靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到摄像机坐标系的变换；第三步，由第二步得到的实体靶标坐标系到摄像机坐标系的变换和步骤2.4得到的屏幕坐标系到实体靶标坐标系的变换，计算屏幕坐标系到摄像机坐标系的变换；2.6、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标2上特征点的屏幕坐标，根据由步骤2.5得到的屏幕坐标系到摄像机坐标系的变换，计算虚拟靶标2上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面在摄像机坐标系中的方程；
2.7、将校准的摄像机内部参数、屏幕坐标系到摄像机坐标系的变换参数和屏幕平面在摄像机坐标系中的方程系数保存到系统参数文件中，以备虚拟鼠标系统使用时调用。
本发明的优点是本发明提出了一种基于二维实体靶标和二维虚拟靶标的单摄像机虚拟鼠标系统参数校准方法。该方法以实体靶标坐标系为中介，获取了非视场范围内的屏幕平面在摄像机坐标系下的方程，同时通过投影视线与空间屏幕平面相交建立了单摄像机虚拟鼠标系统中三维空间控制点的投影点的图像坐标与屏幕坐标的一一映射关系。和现有基于视觉的虚拟鼠标系统的校准方法相比，本方法仅采用单个摄像机和二维平面靶标，无需其他辅助校准设备，操作简单，校准效率高，适用于单摄像机虚拟鼠标系统的现场校准。由于采用单摄像机，增大了空间控制点的有效视场范围，只需要一幅图像数据，且控制点屏幕坐标估计的算法简单，计算量小，因此大大地提高了单摄像机虚拟鼠标系统的实时性，改善了其工程化应用的可操作性和便捷性。
图1是二维平面实体靶标示意图。图1中，1是实体靶标体。
图2是虚拟鼠标系统的数学模型示意图。
图3是计算摄像机坐标系到屏幕坐标系的变换和屏幕平面校准示意图。图3中，2是虚拟靶标体，3是计算机屏幕，简称屏幕，4是摄像机。
具体实施例方式
下面对本发明方法做进一步详细说明。本发明使用二维平面靶标，对单摄像机虚拟鼠标系统的模型参数进行了校准。
虚拟鼠标系统数学模型如图2所示，ow-xwywzw为三维世界坐标系，oc-xcyczc为三维摄像机坐标系，os-xsyszs为三维屏幕坐标系，其中zs＝0。ou-xuyu为二维理想图像坐标系，on-xnyn为二维投影坐标系。πu为理想图像平面，πn为投影平面，πs为屏幕平面，oc为摄像机的投影中心，op为主点，oc到πn的距离为1。定义ocxc//ouxu//onxn，ocyc//ouyu//onyn，oczc⊥πu和πu//πn。Q为空间任意控制点，直线 分别与平面πn、πu和πs相交于点qn、qu和qs。
设点Q的三维世界坐标为Xw＝[xwywzw]T，三维摄像机坐标为Xc＝[xcyczc]T，则有Xc=RcwXw+Tcw---[1]]]>
其中Rcw和Tcw为ow-xwywzw到oc-xcyczc的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。
设点qn的投影坐标为Xn＝[xnyn]T，则摄像机的理想透视投影变换为xn=xc/zcyn=yc/zc---[2]]]>设点qu的理想图像坐标为Xu＝[xuyu]T。则投影坐标到理想图像坐标的变换为xu=fxxn+u0yu=fyyn+v0---[3]]]>其中fx和fy分别为摄像机在x、y方向上的有效焦距，单位为像素，(u0，v0)为摄像机的主点坐标，单位为像素。考虑摄像机镜头的一次径向畸变，设点qu对应的实际图像坐标为Xd＝[xdyd]T，则理想图像坐标到实际图像坐标的变换，即摄像机镜头的畸变模型为xd=xu+k1(xu2+xu2)xuyd=yu+k1(xu2+xu2)yu---[4]]]>其中k1为一次径向畸变系数。
公式[1]～[4]表示了空间点到实际图像坐标的投影模型，空间任意点Q可以确定惟一图像投影点qu。
由摄像投影中心oc和空间点Q对应的投影点qn确定的直线称为投影视线。如果已知摄像机内部参数，根据公式[3]和[4]，由实际图像坐标Xd可以求得空间点Q经透视投影后的投影坐标Xn。由此可知，qn的三维摄像机坐标为(xn，yn，1)，oc的三维摄像机坐标为(0，0，0)，因此投影视线 在oc-xcyczc中的方程为xxn=yyn=z---[5]]]>设点qs的摄像机坐标为Xcs=xcsycszcsT,]]>πs在oc-xcyczc中的方程为Ax+By+Cz+D＝0[6]则通过求解投影视线 与πn的交点得到Xcs。设qs在os-xsyszs中的坐标为Xs＝[xsyszs]T，则oc-xcyczc到os-xsyszs的变换为Xs=(Rcs)-1Xcs-(Rcs)-1Tcs---[7]]]>其中Rcs和Tcs为os-xsyszs到oc-xcyczc的变换，分别表示3×3的旋转矩阵和3×1的平移矢量。
根据公式[7]，得到空间点Q对应的位于屏幕平面点qs的坐标Xs，满足条件zs＝0。其中二维坐标(xs，ys)直接作为用户输入提供给计算机系统，达到控制计算机的目的。
综述所述，虚拟鼠标系统包括的模型参数为摄像机有效焦距fx和fy，主点坐标(u0，v0)，镜头畸变系数k1，πs在oc-xcyczc中的方程系数A、B、C和D，os-xsyszs到oc-xcyczc的变换Rcs和Tcs。
根据单摄像机虚拟鼠标系统的数学模型，虚拟鼠标系统的校准分为两步一是摄像机内部参数校准，二是屏幕坐标系到摄像机坐标系的变换和屏幕平面校准。
本发明摄像机内部参数校准的具体步骤如下1、设定实体靶标1。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个。
2、设定摄像机4的观测位置，调整摄像机4镜头焦距和光圈。摄像机的观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈。
3、校准摄像机4内部参数。具体步骤如下第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标1至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，实体靶标1的所有特征点应包含在拍摄图像内。
第二步，提取所有摄像机校准图像的特征点的图像坐标。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
在实体靶标平面上建立世界坐标系，用ow-xwywzw表示，原点在左上角，xw、yw轴分别与靶标方块平行，xw轴水平向右，yw轴竖直向下，zw轴由右手法则确定。将特征点的图像坐标与特征点的世界坐标对应。
第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数。
根据公式[1]～[4]，利用特征点的世界坐标Xwi，得到特征点的计算图像坐标X’di＝[x’diy’di]T，特征点的实际图像坐标为Xdi，则有
f(fx,fy,u0,v0,k1,RcwTcw)=Σi=1Nd2(X′di,Xdi)---[8]]]>其中N为特征点数量，d(X’di，Xdi)表示计算投影点到实际投影点的距离。
根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以估算出全部摄像机内部参数，包括摄像机焦距fx和fy，主点坐标(u0，v0)，镜头畸变系数k1以及摄像机外部参数Rcw和Tcw。摄像机参数的初始值估计参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
若摄像机内部参数已知，则根据公式[8]，采用Levenberg-Marquardt非线性优化方法可以直接估计摄像机的外部参数Rcw和Tcw。Levenberg-Marquardt算法参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。
校准好摄像机内部参数后，进行摄像机坐标系到屏幕坐标系的变换和屏幕平面校准，具体步骤如下4、确定使用计算机系统的屏幕3的可视物理尺寸和显示分辨率。计算机的显示分辨率为sl×sh像素，屏幕可视物理尺寸为ls×hs英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得。
5、设定虚拟靶标2。靶标的形状与实体靶标1相同，特征点数量也相同，由计算机生成，直接显示在屏幕3上。虚拟靶标2方块的边长lp为30～150像素，实际大小的长宽尺寸为25.4*lp(lssl×lhsh)mm.]]>6、放置实体靶标1，调整摄像机4、实体靶标1和虚拟靶标2的位置关系。实体靶标1在屏幕3前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标1上所有特征点。保持实体靶标1不动，移动摄像机4，保证摄像机能够同时观测到实体靶标1和虚拟靶标2上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标1，在校准过程中，保持实体靶标1的位置和虚拟靶标2的显示位置及大小不发生变化。
7、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为第一步，如图3所示，将摄像机4固定在中介位置，此时摄像机坐标系称为中介坐标系，用oc2-xc2yc2zc2表示。拍摄一幅包含实体靶标1和虚拟靶标2所有特征点在内的图像，称为双靶标校准图像。
第二步，提取双靶标校准图像内属于实体靶标1的所有特征点的图像坐标。特征点图像坐标自动提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
根据公式[3]和[4]，利用实体靶标上的特征点的图像坐标计算其对应的投影坐标。
在实体靶标平面上建立实体靶标坐标系，用ot-xtytzt表示，原点在左上角，xt、yt轴分别与靶标方块平行，xt轴水平向右，yt轴竖直向下，zt轴由右手法则确定，此处的实体靶标坐标系相当于世界坐标系。根据公式[1]，ot-xtytzt到oc2-xc2yc2zc2的变换为Xc2=Rc2tXt+Tc2t---[9]]]>其中Rc2t和Tc2t分别为旋转矩阵和平移矢量，Xc2表示特征点在中介坐标系的坐标矢量，Xt表示特征点的实体靶标坐标矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用二维平面靶标上特征点的实体靶标坐标和对应图像坐标，采用非线性优化得到Rc2t和Tc2t。
第三步，提取双靶标校准图像内属于虚拟靶标2的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。图像坐标提取和对应投影点计算方法与第二步相同。
在屏幕平面上建立屏幕坐标系，用os-xsyszs表示，原点在左上角，xs轴水平向右，ys轴竖直向下，zs轴由右手法则确定，此处的屏幕坐标系相当于世界坐标系。根据公式[1]，os-xsyszs到oc2-xc2yc2zc2的变换为Xc2=Rc2sXs+Tc2s---[10]]]>其中Rc2s和Tc2s分别为旋转矩阵和平移矢量，Xs表示特征点的屏幕坐标矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用虚拟靶标上特征点的屏幕坐标和对应图像坐标，采用非线性优化得到Rc2s和Tc2s。
第四步，由第二步得到的ot-xtytzt到oc2-xc2yc2zc2的变换和第三步得到的os-xsyszs到oc2-xc2yc2zc2的变换，根据公式[9]和[10]，os-xsyszs到ot-xtytzt的变换为Xt=(Rc2t)-1(Rc2sXs+Tc2s-Tc2t)---[11]]]>8、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为第一步，如图3所示，保持实体靶标不动，将摄像机4固定在观测位置，定义为观察用户控制点的最佳位置，此时的摄像机坐标系为oc-xcyczc，屏幕平面不在摄像机的视场范围。
拍摄一幅包含实体靶标1所有特征点在内的图像，称为单靶标校准图像。
第二步，提取单靶标校准图像内属于实体靶标1的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。图像坐标提取和对应投影点计算方法与步骤7的第二步相同。
根据公式[1]，ot-xtytzt到oc-xcyczc的变换为Xc=RctXt+Tct---[12]]]>其中Rct和Tct分别为旋转矩阵和平移矢量。在已知摄像机内部参数情况下，根据公式[8]表示的优化目标函数，利用实体靶标上特征点的实体靶标坐标和对应图像坐标，采用非线性优化得到Rct和Tct。
第三步，由第二步得到的ot-xtytzt到oc-xcyczc的变换和步骤7得到的os-xsyszs到ot-xtytzt的变换，根据公式[11]和[12]，os-xsyszs到oc-xcyczc的变换为Xc=RcsXs+Tcs---[13]]]>其中Rcs=Rct(Rc2t)-1Rc2s,]]>Tcs=Rct(Rc2t)-1(Tc2s-Tc2t)+Tct.]]>Rcs和Tcs分别为旋转矩阵和平移矢量。
9、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标2上特征点的屏幕坐标，由步骤8得到的os-xsyszs到oc-xcyczc的变换，根据公式[13]，计算虚拟靶标2上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面πs在oc-xcyczc中Ax+By+Cz+D＝0。
在得到Rcs和Tcs后，根据公式[7]，就可以由对应于空间控制点位于屏幕平面上的投影点的摄像机坐标得到屏幕坐标。
10、将校准后的摄像机焦距fx和fy，主点坐标(u0，v0)，镜头畸变系数k1，πs在oc-xcyczc中的方程系数A、B、C和D，os-xsyszs到oc-xcyczc的变换Rcs和Tcs保存到系统参数文件中，以备虚拟鼠标系统使用时调用。
实施例采用罗技QuickCam Pro 5000 USB 2.0彩色摄像机和15英寸的LCD液晶显示器构成单摄像机虚拟鼠标系统，摄像机的镜头为广角镜头，工作距离大于10cm。摄像机的图像传感器为CMOS芯片，30万像素分辨率，动态分辨率为640×480像素，最大帧数为30帧/秒。计算机显示屏幕的物理尺寸为15英寸的液晶显示器，长宽比为4∶3，显示分辨率为1024×768像素，虚拟靶标2的方块为60×60像素，实际大小的物理尺寸为17.859×17.859mm。
采用如图1所示的二维平面实体靶标1，对单摄像机虚拟鼠标系统的参数进行校准。实体靶标的方块数量为8×8，方块的尺寸为17.859×17.859mm，采用1200dpi高分辨率的激光打印机打印得到。
校准后的摄像机内部参数如下
fx＝670.976像素，fy＝673.348像素u0＝314.030像素，v0＝249.489像素k1＝-0.040摄像机校准误差定义为实际获取特征点的图像坐标Xdi与根据模型计算的图像坐标X’di的距离d(X’di，Xdi)，取49个点进行了实验，然后计算RMS误差，得到的RMS距离误差为0.345像素。
屏幕平面πs在摄像机坐标系oc-xcyczc中的方程为x+0.8333y-6.5000z-166.6667＝0os-xsyszs到oc-xcyczc的变换Rcs和Tcs如下Rcs=-0.9900.0270.1390.0460.9900.135-0.1340.140-0.981]]>Tcs=51.217129.508-0.189]]>将校准好的单摄像机虚拟鼠标系统应用于鼻子人机交互系统，以人的鼻尖作为空间控制点，通过图像处理分析，提取出鼻尖的图像坐标，然后采用本发明建立的数学模型，将鼻尖的图像坐标映射为屏幕上的控制点，实现鼻子对计算机的非接触控制，取得较好效果。
权利要求
1.一种单摄像机虚拟鼠标系统的校准方法，其特征在于，校准包括摄像机内部参数校准阶段、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段。校准的具体步骤如下1.1、摄像机内部参数校准阶段1.1.1、设定实体靶标[1]。靶标为一个二维平面，靶标上有预先设置的特征点，在靶标平面上布置黑白相间的棋盘格，黑白方块的边长为10～50mm，其边长精度为0.01mm～0.1mm，黑方块与白方块公有的顶点称为格点。选取靶面上格点为特征点，特征点数量为16～400个；1.1.2、设定摄像机[4]的观测位置，调整摄像机的镜头焦距和光圈。摄像机观测位置位于计算机屏幕上方，定义为观察用户控制点的最佳位置，根据要观测的控制点三维空间范围，调整好摄像机的镜头焦距，根据光照环境，调整好光圈大小。将摄像机固定在观测位置，并固定好摄像机镜头的焦距和光圈；1.1.3、校准摄像机[4]内部参数。具体步骤如下第一步，在摄像机的视场范围内，自由、非平行地移动实体靶标[1]至少3个位置，每移动一个位置，拍摄一幅图像，称为摄像机校准图像，靶标上所有的特征点应包含在拍摄图像内；第二步，提取所有摄像机校准图像的特征点的图像坐标，并与特征点的世界坐标坐标对应；第三步，利用第二步提取的所有特征点的图像坐标及对应的世界坐标来校准摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数；1.2、屏幕坐标系到摄像机坐标系的变换和屏幕平面校准阶段1.2.1、确定使用计算机系统的屏幕[3]的可视物理尺寸和显示分辨率。计算机的显示分辨率为sl×sh像素，屏幕可视物理尺寸为ls×hs英寸，这些参数对于实际使用的计算机系统是已知的，可以从相关手册和操作系统查询获得；1.2.2、设定虚拟靶标[2]。靶标的形状与实体靶标[1]相同，特征点数量也相同，由计算机生成，直接显示在屏幕[3]上。虚拟靶标[2]方块的边长lp为30～150像素，实际大小的长宽尺寸为25.4*lp(lssl×lnsh)mm;]]>1.2.3、放置实体靶标[1]，调整摄像机[4]、实体靶标[1]和虚拟靶标[2]的位置关系。实体靶标[1]在屏幕[3]前方，靶标平面与屏幕大约成90°～150°的角度，保证摄像机在观测位置能够观测到实体靶标[1]上所有特征点。保持实体靶标[1]不动，移动摄像机[4]，保证摄像机能够同时观测到实体靶标[1]和虚拟靶标[2]上的所有特征点，此时摄像机所在位置称为中介位置。固定实体靶标[1]，在校准过程中，保持实体靶标[1]的位置和虚拟靶标[2]的显示位置及大小不发生变化；1.2.4、获得屏幕坐标系到实体靶标坐标系的变换。具体步骤为第一步，将摄像机[4]固定在中介位置，此时摄像机坐标系称为中介坐标系。拍摄一幅包含实体靶标[1]和虚拟靶标[2]所有特征点在内的图像，称为双靶标校准图像；第二步，提取双靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到中介坐标系的变换；第三步，提取双靶标校准图像内属于虚拟靶标[2]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的屏幕坐标，计算屏幕坐标系到中介坐标系的变换；第四步，由第二步得到的实体靶标坐标系到中介坐标系的变换和第三步得到的屏幕坐标系到中介坐标系变换，计算屏幕坐标系到实体靶标坐标系的变换；1.2.5、获得屏幕坐标系到摄像机坐标系的变换。具体步骤为第一步，将摄像机[4]固定在观测位置，拍摄一幅包含实体靶标[1]所有特征点在内的图像，称为单靶标校准图像；第二步，提取单靶标校准图像内属于实体靶标[1]的所有特征点的图像坐标，根据摄像机模型和内部参数，计算特征点的投影坐标。利用特征点的投影坐标和对应的实体靶标坐标，计算实体靶标坐标系到摄像机坐标系的变换；第三步，由第二步得到的实体靶标坐标系到摄像机坐标系的变换和步骤1.2.4得到的屏幕坐标系到实体靶标坐标系的变换，计算屏幕坐标系到摄像机坐标系的变换；1.2.6、获得屏幕平面在摄像机坐标系中的方程。利用虚拟靶标[2]上特征点的屏幕坐标，根据由步骤1.2.5得到的屏幕坐标系到摄像机坐标系的变换，计算虚拟靶标[2]上特征点的摄像机坐标，利用特征点的摄像机坐标拟合平面得到屏幕平面在摄像机坐标系中的方程；1.2.7、将校准的摄像机内部参数、屏幕坐标系到摄像机坐标系的变换参数和屏幕平面在摄像机坐标系中的方程系数保存到系统参数文件中，以备虚拟鼠标系统使用时调用。
全文摘要
本发明属于机器视觉技术领域，将提供一种单摄像机虚拟鼠标系统模型参数的校准方法。本发明基于二维实体靶标和二维虚拟靶标，以实体靶标坐标系为中介，获取了非视场范围内的屏幕平面在摄像机坐标系下的方程，同时通过投影视线与空间屏幕平面相交建立了单摄像机虚拟鼠标系统中三维空间控制点的投影点的图像坐标与屏幕坐标的一一映射关系，将控制点对应的屏幕坐标作为输入提供给计算机系统，达到控制计算机的目的。该方法无需高成本的辅助调整设备，操作简单，校准效率高，适用于单摄像机虚拟鼠标系统的现场校准，大大地提高了虚拟鼠标系统的有效视场范围和操作实时性。
文档编号G06T7/00GK1975638SQ20061017029
公开日2007年6月6日 申请日期2006年12月27日 优先权日2006年12月27日
发明者周富强, 李伟仙, 张鲁闽, 杨晓科 申请人:北京航空航天大学