专利名称：一种基于图像识别的虚拟触摸屏系统的制作方法
技术领域：
本发明是基于图像识别的虚拟触摸屏系统，属于人机交互领域。
背景技术：
触摸屏是继键盘、鼠标之后最为普遍接受、极有发展前途的交互式输入方式，应用领域 广泛，目前，普通触摸屏主要有红外线式、电阻式、表面声波式、电容式等类型。这些类型 的大屏幕尤其是超大屏幕触摸屏产品，均存在价格昂贵、通用性差、稳定性差、准确性差的 问题。另一方面，触摸屏技术方便了人们对计算机的操作使用，用户只要用手指轻轻地触碰 计算机显示屏上的图符或文字就能实现对主机操作，从而使人机交互更为直截了当，非常适 合多媒体信息查询，是一种极有发展前途的交互式输入设备，大屏幕尤其是超大屏幕更具有 巨大的应用前景。
CN1912816A号发明专利公告公布了一种基于摄像头的虚拟触摸屏系统，由多个摄像头 拍摄手指在虚拟触摸屏上的移动和点击操作，从拍摄的图像中将人手区域分割出来，进而提 取手指的边缘轮廓，将手指轮廓的B样条曲线的第4个控制点定义为手指位置，由二维坐标 射影变换公式转换进而获得手指在显示屏幕的位置。这一技术方案本质是用多个摄像头将手 指及触摸屏的三维图像转换成多个二维图像，进而从这些二维图像中识别出手指及手指的移 动、点击等动作。由于拍摄的图像必须包含显示屏幕，所以摄像头必须放置在显示屏幕的前 方，这必然存在人体遮挡无法识别手指的问题。
发明内容
本发明是为避免上述现有技术所存在的不足之处，提供一种基于图像识别的虚拟触摸屏 系统，其结构简单，实现方便，造价低廉，尤其可以解决人体遮挡无法识别手指的问题；使 用一维图像采集装置实现普通触摸屏具有的触摸功能，使任意一个普通显示屏幕具备触摸屏 的功能。
本发明解决技术问题采用如下技术方案
本发明基于图像识别的虚拟触摸屏系统的特点是由至少两个一维图像采集装置、显示屏 和计算装置组成，所述一维图像采集装置设置在虛拟触摸屏的四周，每个一维图像采集装置 获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的形状 和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕的正 前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转 换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚
拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。
本发明的结构特点也在于所述一维图像采集装置采用一维线性传感器；或采用两维图像
摄像头，以所述两维图像摄像头中的一行或一列的图像数据为所需的一维图像数据。
本发明采用图像识别和几何投影技术实现计算机显示屏虚拟触摸功能，使任意一个普通
显示屏幕具备触摸屏的功能。
本发明计算装置综合应用的识别算法包括初始定位算法、手指识别算法、手指定位算
法、点击判定算法等。
初始定位算法的目的是确定手指在触摸时虚拟触摸屏中若干棋盘格投影到一维图像坐 标上的范围、 一维图像采集装置拍摄方向的斜率；指尖识别算法完成指尖识别，且给出指尖 是否在虚拟触摸屏上的判断；手指定位算法实时并且准确地计算出手指触摸在显示屏上的位 置；点击判定算法根据不同时间的手指位置检测是否产生点击操作。
与已有技术相比，本发明有益效果体现在
1、 本发明的图像采集装置设置在虚拟触摸屏的四周，其拍摄方向与虚拟触摸屏平行， 从根本上解决了人体遮挡引起手指无法识别的问题，尤其是因其避免了人体遮挡的问题，因 而可以扩展到投影屏幕、普通墙面等任何大屏幕，通用性好。
2、 本发明为一维图像数据的处理，相比于二维图像的数据处理，其过程大为简化、算 法简单。
3、 本发明采用一维图像传感器，配合设置镜头、信号转换和接口电路，其配置简单， 价格便宜。
4、 本发明也可以采用两维图像摄像头，以所述两维图像摄像头中的一行或一列的图像 数据为所需的一维图像数据，易于实施。
5、 本发明一般情况下只要使用两个图像采集装置。使用两个以上图像采集装置可以减 小图像采集装置与显示屏之间的距离，对于较大屏幕来说，可以使整个系统更加紧凑。
图1为本发明系统结构主视示意图。
图2a为本发明中虚拟触摸屏与显示屏幕处于同一平面内。
图2b为本发明中虚拟触摸屏处于显示屏幕的正前方。
图3为本发明原理示意图。
图4为本发明坐标设置示意图。
图5为本发明虚拟触摸屏划分为棋盘格及棋盘格内平行投影示意图。
图6为本发明中斜率计算示意图。 图7为本发明截距计算示意图。
图中标号1显示屏幕、2图像采集装置、3虚拟触摸屏。
以下通过实施例，并结合附图对本发明作进一步说明。
具体实施例方式
实施例l:本实施例采用一维图像采集装置。
参见图l，在虚拟触摸屏3的上方设置两个图像采集装置2，本实施例中的图像采集装 置2是采用一维图像采集装置， 一维图像采集装置获取的一维图像所在面与虛拟触摸屏在同 一平面，每个一维图像采集装置的轴线与水平方向成0°到908之间的夹角，两条轴线夹角在 0°到180°之间，取接近90^为佳。
参见图2a，虚拟触摸屏3可以与显示屏幕1处于同一平面，此时，图像采集装置获取 的一维图像所在面与显示屏幕在同一平面。
参见图2b，虚拟触摸屏3也可以处于显示屏幕1的正前方，此时，图像采集装置获取 的一维图像所在面与显示屏幕平行且在其正前方。
实施例2:本实施例以摄像头代替一维图像采集装置。
本实施例中，在虚拟触摸屏3的上方设置的图像采集装置2是两个摄像头，摄像头的镜 片与显示屏垂直，每个摄像头的轴线与水平方向成(^到900之间的夹角，两条轴线夹角在0° 到180。之间，取接近90"为佳。摄像头的轴线处于虚拟触摸屏的平面内。由于摄像头镜片与 虚拟触摸屏垂直，当用户进行手指触摸操作时，手指的运动平面与镜片垂直，因此手指在虚 拟触摸屏上的运动轨迹一直显示在摄像头所拍摄图像的某条确定直线上。于是手指在二维显 示屏幕平面上的运动，转换为手指点在摄像头拍摄的两幅图像的某条确定直线上的移动。左 右摄像头拍摄的两幅图像中直线上的点和二维显示屏平面中的某点存在一一对应的关系。如 图3所示，问题即转换为根据两幅图像中手指移动直线上的点的位置来唯一确定用户手指触 摸的二维平面上的点坐标。其实质为由两个一维坐标点和一些初始角度值来唯一确定二维平 面内的一点坐标。解决该问题的方法很多，本实施例是其中一种方法。
当用户在虚拟触摸屏上某个位置进行触摸时，左右两个摄像头分别拍摄出两幅图像。手 指在虚拟触摸屏上任意一点的触摸均表现为图像的一条确定直线上的点。根据手指在两幅图 像中的直线上的位置，确定其在虚拟触摸屏中的两维坐标位置。以两幅图像中直线上的两点 来建立虚拟触摸屏平面上的两条直线方程，两条直线相交即获得手指在虚拟触摸屏平面内的 点坐标。直线方程少=&^ + 6 (式l)，其中A:表示斜率，6表示截距。
下面以左边摄像头为例来说明转换过程，右边摄像头类似。
假设虚拟触摸屏是如图4所示的矩形区域，以左下角为原点，建立二维坐标平面X、少。
左边摄像头C,位于虚拟触摸屏左上角某处。其视角范围应包含整个矩形区域，将^与矩形的 四个顶点连接构成摄像头拍摄各点的光线方向，以经过左下角和右上角顶点的光线方向为 腰，c,为顶点作一个等腰三角形，底为虚线所示的Oi,^)。当手指在矩形区域内任意一点
触摸时，其在摄像头所拍摄的图像中表现为虚线上的一点，手指在二维虚拟触摸屏上的移动 投影到图像上不会超过这条虚线(A，&)范围，这是算法关注的兴趣区域，区域以外的部分
不需要处理。因此以A为原点沿着虚线方向建立一维坐标A，右边摄像头拍摄图像中的一维
坐标A类似设立。
具体实施中，为准确识别手指位置，将虚拟触摸屏划分为n X n的棋盘格，如图5所示， 由于摄像头离棋盘格距离较远，且每个棋盘格足够小，于是可以假设在棋盘格内，摄像头拍 摄的角度是平行的，以简化点位置的转换。
初始设置时，用户在虚拟触摸屏nXn的棋盘格的每个顶点上均触摸一次，以确定每个 棋盘格在摄像头拍摄图像一维坐标上的位置范围，即建立每个棋盘格编号及其投影的起始位 置和终止位置坐标的对照表。例如0'，Xn，j^，:^，JC^)记录的是第/个棋盘格在;q坐标轴上
的起始位置为Xu，终点位置为112,在;^坐标轴上的起始位置为x^，终点位置为乂22。
同时初始设置时可以根据虚拟触摸屏的长宽和每个棋盘格在图像上的投影确定摄像头 拍摄的每个棋盘格平行光的斜率。放大图5中的棋盘格s ，得到图6。假设摄像头q以斜率A:
平行拍摄由顶点v,，V2,^,v-组成的棋盘格^其长(v,，v》的长度为o，在图像平面上的投影
(、，v"的长度为a'，其宽(v"vj的长度为6，在图像平面的投影(、，v"的长度为6'。已知
虚拟触摸屏的长宽，每个棋盘格的长a和宽6为其1/n， a'、 6'可从拍摄的图像上获得，于
是从摄像头拍摄该棋盘格的平行光的斜率A:可由<formula>formula see original document page 6</formula>(式2)获得。 将每个棋盘格的平行光的斜率构造一张斜率表，例如(f,A:)表示摄像头拍摄第z'个棋盘格的
平行光的斜率。
另外，初始设置时可以确定手指触摸投影到图像上的直线的位置。如果在该直线上识别
出手指，则认为用户进行了触摸操作。
当确定用户进行触摸操作后，首先由左右摄像头拍摄的图像上的点确定用户触摸的位置
处于虚拟触摸屏的哪些棋盘格内，再由这些候选的棋盘格内的处理来确定斜率A:及其截距 6，从而获得两条直线方程，求出直线方程的交点。由于存在交叉问题，某点同时属于若干 个棋盘格，出现这种情况，则检查作出的两条直线方程的交点是否落于该棋盘格内，若是则
取该点；否则保留下来，取一个离棋盘格中心点偏离值最小的点作为结果。具体方法如下 首先根据两幅图像中手指点的一维坐标来确定触摸的二维平面的棋盘格范围。査坐标对
照表，如果该点既在A轴上第i'个棋盘格的范围内，又在^轴上第/个棋盘格的范围内，则
该点属于第/个棋盘格。
确定棋盘格后，査斜率表可获得直线方程的斜率A:，接下来需要求出截距6。如图7所
示，当用户在某点触摸时，表现为图像中直线上的某点v'，它是由虚拟触摸屏平面内过棋盘
格内对角线上的点v、斜率为A的直线上的任意一点产生的，其中点v是由v'作摄像头拍摄 光的平行线与棋盘格的对角线的交点。由于|^ =风=卜H， Iv,v'l和lv^'l为图像直
|V1V3 I |V1V3| V"2+62
线上的距离，根据v,的坐标和卜H -MVa2 +62 (式3)可求出v点的二维坐标，于是以斜率
A:、点v的坐标代入直线方程y-lx + 6求出截距6。
于是，图像中的任意一点v'，实际上是手指在直线方程为y-A:.x + 6的直线上的运动
产生的。其中A:是该棋盘格内摄像头拍摄方向的斜率，6是通过v点直线方程的截距。
同时在右边摄像头拍摄的图像中的对应点可以获得虚拟触摸屏平面内的另外一条直线， 两条直线相交，即可根据两幅图像中的点坐标求得手指触摸虚拟触摸屏平面上的点坐标。
因此，算法实际上是根据两个摄像头同时拍摄的图像直线上的两点，分别建立虚拟触摸 屏平面内的两条直线方程，二者相交的点即为虚拟触摸屏平面上的点。当某点属于若干个棋 盘格时，需进行特殊处理，计算出点坐标，检査其是否在该棋盘格内，若是，则得出点坐标； 否则，保留直线方程，选择一个离棋盘格中心点距离最近的点作为点坐标。
本发明由初始定位算法、手指识别算法、手指定位算法、点击判定算法等部分组成。 初始定位算法的目的是确定一些初始值。在虚拟触摸屏上显示n X n的棋盘格，用户在 各点上触摸一下，以确定手指在其中触摸时投影到摄像头拍摄的图像上一维坐标的范围、每 个棋格内的摄像头拍摄方向的斜率及图像上直线的位置。一维坐标范围用来确定任意一维坐
标点处于哪些棋盘格内，斜率用来计算直线方程，直线位置用于识别用户手指的触摸。
手指识别算法完成手指识别，且给出手指是否在虚拟触摸屏上的判断。如果在初始定位 时设置的直线位置上识别到手指，即表明手指在虚拟触摸屏上，同时获得手指在图像中直线 上的一维坐标。
手指定位算法实时并且准确地计算出手指触摸屏幕的位置，即根据两个一维坐标唯一确 定一个二维坐标点。首先根据两幅图像中手指的点坐标根据其所属棋盘格范围确定手指在虚 拟触摸屏平面内的哪些棋盘格内，再根据式2计算出斜率。由式l、 3计算出截距6，以此
产生虚拟触摸屏平面内的两条直线方程，二者相交，即求出对应的虚拟触摸屏平面内的点坐
标，如果点坐标确实处于某棋盘格内，则得到用户触摸的虚拟触摸屏位置；如果不在该棋盘 格内，则保留下来，取离棋盘格中心点偏离值最小的点。
点击判定算法根据不同时间的手指位置检测是否产生点击操作。如果在初始定位时设置 的直线位置上极短时间内识别到手指的有无，则表明进行点击操作。
权利要求
1、一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，所述一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与所述虚拟触摸屏处于同一平面；所述虚拟触摸屏与显示屏幕的形状和尺寸完全相同，虚拟触摸屏与显示屏幕处在同一平面内，或虚拟触摸屏处于显示屏幕的正前方且平行于显示屏幕；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。
2、 根据权利要求1所述的一种基于图像识别的虚拟触摸屏系统，其特征是所述一维图 像采集装置采用一维线性传感器；或采用两维图像摄像头，以所述两维图像摄像头中的一行 或一列的图像数据为所需的一维图像数据。
全文摘要
一种基于图像识别的虚拟触摸屏系统，其特征是由至少两个一维图像采集装置、显示屏和计算装置组成，一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与虚拟触摸屏处于同一平面；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。本发明解决了使用图像技术实现的触摸屏存在的人体遮挡手指的问题，特别适用于大屏幕触摸系统。
文档编号G06K9/22GK101364159SQ20081019631
公开日2009年2月11日 申请日期2008年9月4日 优先权日2008年9月4日
发明者刘政怡, 刘苏南, 吴建国, 吴海辉, 周健强, 炜 李, 照 赵, 星 郭 申请人:合肥吉天电子科技有限公司;安徽大学