专利名称：手、眼关系引导的非接触式位置输入系统和方法
技术领域：
本发明涉及一种三维视觉测量系统和方法，特别是一种手、眼关系引导的非接触式位置输入系统和方法。
背景技术：
位置输入系统是计算机输入设备的一种，从理论上讲，任何需要与计算机进行交互式操作的场合都需要位置信息的输入。目前，最常用的位置输入设备是鼠标器和触摸屏，这类设备在使用时要求使用者与设备保持接触，因此束缚了使用者的活动空间。在不便于约束使用者活动的场合下，比如展览会和某些工业场合，使用接触式位置输入系统是不方便甚至不可能的。
以非接触式位置输入方式取代现有的接触式输入方式将为使用者提供无约束的输入体验，增强系统的易用性、互动性和使用的乐趣，是提升数字产品附加值的有效手段。然而目前这类技术的应用还比较少，仅有的一些尝试主要集中于两类一类是对现有的鼠标器进行改造，将鼠标器与主机的连接电缆用红外或射频信号取代，做成手持式的位置输入装置。这类技术摆脱了电缆对使用者的束缚，但由于位置信息的输入需要通过滚动鼠标球来实现，对于距离指示目标较远的使用者(如展会上的参观者，他们往往被要求在一定的距离之外观看展示)来说，这种输入方式是不直观且不精确的；另一类技术使用贴片式位置传感器，将若干枚传感器放置于使用者身体的某些部位(如手指)上，通过感应人体的特定运动来实现位置信息的输入。这种方法可以实现直观的位置输入，但由于需要使用者佩戴传感器，应用的灵活性受到了影响。这两类技术实际仍然要求使用者接触输入设备，因此从严格意义上来讲，并不是真正的非接触式位置输入系统。
发明内容
本发明的目的在于提供一种手、眼关系引导的位置输入系统和方法，利用双目视觉技术实现对使用者手指与眼睛的实时跟踪与精确定位，并判断其手指指示的目标位置，从而实现非接触的、直观的位置输入。
为达到上述目的，本发明的构思是
手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台显示终端(2)，一台装配有多通道图像采集卡的计算机(3)组成，平面标定模板(4)用于标定摄像机参数。其中，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与显示终端(2)连接，计算机(3)内设有一套摄像机自动标定程序和一套指示位置分析程序。本发明的系统特点是两台CCD摄像机(1)使用会聚配置构成双目视觉系统，平面标定模板(4)由一块平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成，摄像机自动标定程序可实现全自动、高精度的摄像机参数标定，指示位置分析程序可实时输出指示点的位置坐标，显示终端可以是大屏幕投影仪、展示沙盘或立体模型以及任意形状的空间物体等。
本发明的手、眼关系引导的非接触式位置输入方法采用上述系统实现，具有如下特点①双目视觉系统在设备安装完成后标定一次即可；②利用双目视觉原理计算物体点的空间坐标，实现非接触的、实时的位置测量；③运用人脸检测、人眼定位与手指定位算法及目标跟踪算法，对图像序列中的人体特定部位进行跟踪；④从人的生理特征出发，将连接两眼间中心点与手指尖的直线作为人的瞄准线，判定手指指示的目标位置；⑤将不同的使用环境抽象为一组环境参数，通过修改环境参数可适应不同的应用。
根据上述的发明构思，本发明采用下述技术方案一种手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机，一台大型显示终端，一台装置有多通道图像采集卡的计算机组成，计算机通过图像采集卡与摄像机连接并通过显示卡与大型显示终端连接。其特征在于所述两台CCD摄像机以会聚配置方式固定于使用者的正前方，安装位置需保证左右CCD摄像机视场均覆盖使用者身体上半部的正面；有一块平面标定模板标定时置于两台CCD摄像机的视场中；所述的计算机根据两台CCD摄像机对标定模板所采集的图像，进行摄像机参数标定；系统测量时撤去标定模板，计算机根据预设的环境参数、标定的摄像机参数和摄像机采集的含有使用者手、眼的图像，求解并输出目标点坐标，即非接触式输入指示位置坐标。
上述的平面标定模板由一块平整的平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成。
上述的大型显示终端为大屏幕投影仪或展示沙盘或立体模型或空间物体。
一种手、眼关系引导的非接触式位置输入方法，采用手、眼关系引导的非接触式位置输入系统，其特征在于具体工作步骤为两台CCD摄像机和一块平面标定模板定位安装后，计算机启动一套摄像机自动标定程序，根据采集的平面标定模板的图像，进行摄像机参数标定；预设环境参数，建立显示终端所在平面方程；系统工作时，撤去标定模板，计算机启动一套指示位置分析程序，根据预设环境参数、摄像机标定参数和读入摄像机采集的第一帧含有使用者手、眼的图像，求解并输出指示位置点坐标；接着读入下一帧含有使用者手、眼的图像，求解并输出指示位置点坐标，如此循环，实现指示位置的跟踪。
上述的摄像机自动标定程序具有如下步骤标定特征点的提取，以平面标定模板上绘制的径向直线与圆周的交点作为标定特征点读入平面标定模板的图像，分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，分别使用椭圆方程和直线方程以最小二乘法拟合提取的样本点，联立拟合的两组方程，求解出椭圆与直线的交点坐标；摄像机参数标定计算根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，继而求得摄像机内部参数——焦距f和镜头畸变系数k。
上述的指示位置分析程序具有如下步骤读入一帧含有使用者手、眼的摄像机采集的图像；分别定位双眼中点坐标Pe和食指指尖坐标Pf；将连接双眼中点和手指尖的直线作为人的瞄准线，判定手指指示的目标位置利用标定好的摄像机参数，对双眼连线的中点及指尖点分别联立四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，X，Z)，建立连接Pe、Pf的空间直线方程，根据预输入的环境参数，建立显示终端所在平面的空间平面方程，将连接Pe、Pf的空间直线方程与显示终端所在的空间平面方程联立，求解并输出指示位置目标点坐标；读入下一帧图像，重复上两步，实现指示位置跟踪。
本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点1.使用摄像机作为传感器，实现了真正的非接触式位置输入。
2.考虑了人的生理特性，以手、眼位置关系引导系统识别人的指示目标，使位置输入的方式符合人的习惯，因而无需对使用者进行特殊训练，达到了直观、准确的目的。
3.对使用环境具有较强的适应性。人体特定部位的检测及跟踪算法保证了系统在复杂背景下的稳定工作，因此对使用区的背景布置没有特殊要求；参数化的环境设置功能，使系统可方便地应用于多种不同的环境之中。
4.摄像机标定简便、精确。本系统只需在安装时标定一次摄像机即可，标定模板使用的是成本较低且便于携带的平面型模板，环形对称分布的特征点有助于减少径向成像畸变对计算的影响，计算机内的标定程序可自动完成模板特征点的高精度提取、匹配、及参数求解等全部计算工作，无需人工介入。
本发明可实现直观、准确、实时的非接触式位置输入。
图1是本发明一个实施例的结构示意图。
图2是图1示例使用的摄像机标定模板及标定方法示意图。
图3是图1示例的双摄像机的光学原理图。
图4是图1示例的摄像机标自动定程序的流程图，其中图(a)是特征点提取流程图，图(b)是参数计算流程图。
图5是图1示例的指示位置分析程序的流程图。
具体实施例方式
本发明的一个优选实例结合
如下参见图1、图2，本手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台显示终端(2)，一台装配有多通道图像采集卡的计算机(3)组成，平面标定模板(4)用于标定摄像机参数。其中，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与显示终端(2)连接，计算机(3)内设有一套摄像机自动标定程序和一套指示位置分析程序。
本发明非接触式位置输入方法通过上述手、眼关系引导的非接触式位置输入系统实施，其步骤如下
使用前，将两部摄像机以会聚配置的方式固定于使用者的正前方，安装位置需保证左右摄像机视场均覆盖使用者身体上半部的正面，参见图1。
在安装完成后，进行摄像机参数标定工作，参见图2。将标定模板(4)置于摄像机(1)的视场之中，通过计算机(3)采集图像并使用其内置的摄像机自动标定程序进行标定。
双摄像机的光学原理如图3所示，其中，两部会聚配置的摄像机的镜头焦距和畸变系数分别为f1，k1与f2，k2；O1，o1与O2，o2分别为它们的镜头光心和焦点；XYZ是世界坐标系，x1y1z1与x2y2z2是摄像机坐标系；(Xw，Yw，Zw)是物体点P在世界坐标系下的坐标，(x1i，y1i)与(x2i，y2i)分别是P点在两个摄像机平面上的投影点坐标。摄像机标定的目的就是分别确定两部摄像机的内部参数f(焦距)、k(镜头畸变系数)和外部参数R=r1r2r3r4r5r6r7r8r9]]>(旋转矩阵)、T=TxTyTz]]>(位移向量)。自动标定程序的算法分为两部分第一部分是标定特征点的提取，参见图4(a)。如图2所示，本发明使用模板表面绘制的径向直线段与圆周的交点作为标定特征点，为实现高精度的特征点提取，这里使用了图像处理与特征曲线拟合相结合的方法。
首先分别提取圆和直线在摄像机成像平面上的投影曲线的样本点，由于圆的投影曲线为椭圆而直线的投影曲线仍为直线，因此分别使用椭圆方程(1)和直线方程(2)以最小二乘法拟合提取的样本点Ax2+Bxy+Cy2+Dx+Ey+1＝0 (1)y＝mx+b (2)联立拟合出的两组方程，求解出的交点坐标(Xfi，Yfi)即是亚像素精度的特征点图像坐标。
第二部分是参数计算，参见图4(b)。参数计算利用前面求出的特征点坐标分两步完成。
第一步1、设特征点(Xfi，Yfi)相应的世界坐标为(Xwi，Ywi)，(Xc，Yc)是图像中心坐标，(Nx，Ny)是摄像机像平面单位距离上的像素点数。计算
Xdi＝(Xfi-Xc)/Nx(3)Ydi＝(Yfi-Yc)/Ny2、对每个特征点点Pi，列出一个方程，联立这N个方程xwiYdiywiYdiYdi-xwiXdi-ywiXdi·r1/Tyr2/TyTx/Tyr4/Tyr5/Ty=Xdi---(4)]]>式中i＝1，2，...，N，利用最小二乘法求解这个超定方程组(N＞5)，可得如下变量r1′＝r1/Tyr2′＝r2/TyTx′＝Tx/Tyr4′＝r4/Tyr5′＝r5/Ty3、利用R的正交性计算Ty和r1～r9，可以得到Ty2=Sr-[Sr2-4(r1′r5′-r4′r2′)2]1/22(r1′r5′-r4′r2′)2---(5)]]>其中Sr＝r1′2+r2′2+r4′2+r5′2，Ty的符号可利用成像几何关系确定。
利用正交性和右手系特性(相应于世界坐标为右手系)可计算RR=r1r2(1-r12-r22)1/2r4r5S(1-r42-r52)1/2r7r8r9]]>或R=r1r2-(1-r12-r22)1/2r4r5-S(1-r42-r52)1/2-r7-r8r9]]>式中S＝-sgn[r1r4+r2r5]，r7、r8、r9可由矩阵的前两行的叉乘得到。具体选取哪一个R，可由试探法确定。
第二步，对每个特征点Pi计算yi＝r4xwi+r5ywi+Tyzi＝r1xwi+r2ywi+Tz设wi＝r7xwi+r8ywi，先不考虑透镜畸变，则yi-(Yf-Yc)/Ny·fTz=(Yf-Yc)wi/Ny---(6)]]>
解此方程(i＝1，2，...，N)可分别求出有效焦距f和平移矢量T的Tz分量，并假设k＝0，以这些值作初始试探，利用优化算法求解下列非线性方程组Y(1+kr2)=fr4xwi+r5ywi+Tyr7xwi+r8ywi+Tz---(7)]]>X(1+kr2)=fr1xwi+r2ywi+Txr7xwi+r8ywi+Tz]]>可解得f、Tz、k的精确值。
摄像机标定好后，启动计算机(3)上的指示位置分析程序并设置环境参数，系统即开始工作。参照图5，指示位置分析程序的工作过程如下1、计算图像(大小为M×N)中的红色分量In(x，y)的垂直灰度投影PV(x)=Σy=1NI(x,y),]]>取曲线PV凸峰的左右边界作为人脸的左右边界；使用边缘分组算法，在人脸区域内精确定位双眼的位置并计算双眼连线中点的图像坐标Pe(x，y)；2、根据人的生理结构判断手指的大致区域，在此区域中使用肤色提取算法分离出二值化的手指模板，对此模板中的白色像素点进行直线拟合并求出最前端的坐标Pf(x，y)作为指尖点坐标；3、根据成像原理，空间点(X，Y，Z)在左右摄像机像平面上的投影(x1，y1)与(x2，y2)分别满足(x1r17-f1r11)X+(x1r18-f1r12)Y+(x1r19-f1r13)Z＝f1T1x-x1T1z(x1r17-f1r14)X+(x1r18-f1r15)Y+(x1r19-f1r16)Z＝f1T1y-y1T1z与(x2r27-f2r21)X+(x2r28-f2r22)Y+(x2r29-f2r23)Z＝f2T2x-x2T2z(x2r27-f2r24)X+(x2r28-f2r25)Y+(x2r29-f2r26)Z＝f2T2y-y2T2z利用标定好的摄像机参数，对双眼连线的中点及指尖点分别联立上述四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，Y，Z)。根据预输入的环境参数，建立显示终端(2)所在平面的空间平面方程，并与连接Pe、Pf的空间直线方程联立，解出交点Pt(X，Y，Z)，就是人所指示的目标点坐标；4、使用块匹配算法跟踪下一帧图像In+1(x，y)中Pe，Pf的匹配点，循环执行步骤3、4，从而不间断地输出目标点坐标Pt(X，Y，Z)。
权利要求
1.一种手、眼关系引导的非接触式位置输入系统，由两台CCD摄像机(1)，一台大型显示终端(2)，一台装置有多通道图像采集卡的计算机(3)组成，计算机(3)通过图像采集卡与摄像机(1)连接并通过显示卡与大型显示终端(2)连接；其特征在于1)所述两台CCD摄像机(1)以会聚配置方式固定于使用者的正前方，安装位置需保证左右CCD摄像机(1)视场均覆盖使用者身体上半部的正面；2)在使用前标定中有一块平面标定模板(4)置于两台CCD摄像机(1)的视场中；所述的计算机(3)根据两台CCD摄像机(1)对标定模板(4)所采集的图像，进行摄像机参数标定；系统测量时，撤去标定模板(4)，计算机(3)根据预设的环境参数、标定的摄像机参数和摄像机采集的含有使用者手、眼的图像，求解并输出目标点坐标，即非接触式输入指示位置坐标。
2.根据权利要求1所述的手、眼关系引导的非接触式位置输入系统，其特征在于所述的平面标定模板(4)由一块平整的平板上精确绘制出的两个同心圆和四条通过圆心且等分圆周的直线图形构成。
3.根据权利要求1所述的手、眼关系引导的非接触式位置输入系统，其特征在于所述的大型显示终端(2)为大屏幕投影仪或展示沙盘或立体模型或空间物体。
4.一种手、眼关系引导的非接触式位置输入方法，采用权利要求1所述的手、眼关系引导的非接触式位置输入系统，其特征在于具体工作步骤为①两台CCD摄像机(1)和一块平面标定模板定位安装后，计算机(3)启动一套摄像机自动标定程序，根据采集的平面标定模板(4)的图像，进行摄像机参数标定；②预设环境参数，建立显示终端(2)所在平面方程；③系统测量时，撤去标定模板(4)，计算机(3)启动一套指示位置分析程序，根据预设环境参数、摄像机标定参数和读入摄像机(1)采集的第一帧含有使用者手、眼的图像，求解并输出指示位置点坐标；接着读入下一帧含有使用者手、眼的图像，求解并输出指示位置点坐标，如此循环，实现指示位置的跟踪。
5.根据权利要求4所述的手、眼关系引导的非接触式位置输入方法，其特征在于所述的摄像机自动标定程序具有如下步骤①标定特征点的提取，以平面标定模板(4)上绘制的径向直线与圆周的交点作为标定特征点a)读入平面标定模板(4)的图像，b)分别提取圆和直线在摄像机成像面上的投影曲线的样本点，圆的投影曲线为椭圆，直线的投影仍为直线，c)分别使用椭圆方程和直线方程以最小二乘法拟合提取的样本点，联立拟合的两组方程，求解出椭圆与直线的交点坐标；②摄像机参数标定计算a)根据求得的交点坐标，计算摄像机外部参数——旋转矩阵R和位移向量T，b)继而求得摄像机内部参数——焦距f和镜头畸变系数k。
6.根据权利要求4所述的手、眼关系引导的非接触式位置输入方法，其特征在于所述的指示位置分析程序具有如下步骤①读入一帧含有使用者手、眼的摄像机(1)采集的图像；②分别定位双眼中点坐标Pe和食指指尖坐标Pf；③将连接双眼中点和手指尖的直线作为人的瞄准线，判定手指指示的目标位置a)利用标定好的摄像机参数，对双眼连线的中点及指尖点分别联立四个方程组，解出各自的三维坐标Pe(X，Y，Z)及Pf(X，Y，Z)，b)建立连接Pe、Pf的空间直线方程，c)根据预输入的环境参数，建立显示终端(2)所在平面的空间平面方程，d)将连接Pe、Pf的空间直线方程与显示终端所在的空间平面方程联立，求解并输出指示位置目标点坐标；④读入下一帧图像，重复步骤②～③，实现指示位置跟踪。
全文摘要
本发明涉及一种手、眼关系引导的非接触式位置输入系统和方法。本非接触式位置输入系统由两台CCD摄像机，一台大型显示终端，一台装配有多通道图像采集卡的计算机组成，系统使用平面标定模板标定摄像机参数。其中，计算机通过图像采集卡与摄像机连接并通过显示卡与大型显示终端连接。位置输入方法包括全自动摄像机标定、手眼位置获取、指示目标点求解等步骤。本发明的位置输入系统基于计算机视觉技术，位置输入方法以人的生理特性为依据，可实现直观、准确、实时的非接触式位置输入。
文档编号G06F3/01GK1904806SQ20061002948
公开日2007年1月31日 申请日期2006年7月28日 优先权日2006年7月28日
发明者张之江, 董志华, 于瀛洁, 李纯灿, 潘志浩, 许丽, 周文静, 马赫 申请人:上海大学