专利名称：一种基于图像处理技术的虚拟触摸屏系统的制作方法
技术领域：
本发明涉及人机交互领域，特别涉及一种基于图像处理技术的虚拟触摸屏系统。 本发明旨在利用图像处理技术使任意一台普通显示器具有触摸屏的功能。
背景技术：
目前，普通触摸屏主要有红外线式、电阻式、表面声波式、电容式等类型，然而这些类型的大屏幕尤其是超大屏幕触摸屏产品，均存在价格昂贵、通用性差、稳定性差、准确性差的问题。中国专利CN201251778公开了一种基于图像识别的虚拟触摸屏系统，该实用新型由至少两个一维图像采集装置、显示屏和计算装置组成，一维图像采集装置设置在虚拟触摸屏的四周，每个一维图像采集装置获取的一维图像所在面与虚拟触摸屏处于同一平面；多个一维图像采集装置将手指在虚拟触摸屏上的位置和点击动作转换成多个一维图像中的点及点的有无，计算装置根据所述一维图像中点的信息识别手指在虚拟触摸屏中的两维直角坐标，并执行相应的操作，完成人机交互功能。该实用新型采用的一维图像采集装置较多，存在成本较高的缺点。中国专利CN1912816公开了一种基于摄像头的虚拟触摸屏系统，旨在利用计算机视觉技术使任意一台普通显示器具有触摸屏的功能。该实用新型采用了多个摄像头用来采集图像，存在成本较高的缺点，且由于单纯靠图像处理技术，没有加入其它的辅助手段，稳定性不高。中国专利申请号200820217299. 6公开了一种红外激光笔遥指虚拟触摸系统，其特征是由计算机系统、红外激光笔、图像获取装置、图像识别定位模块组成；计算机系统包括显示设备和计算机主机；红外激光笔具有红外激光发射按键，可发射红外激光指向显示屏；图像获取装置安装在显示设备前方，将显示屏完全纳入其取景范围内，用于获取包括所述红外激光笔发出的红外激光点在内的显示屏图像；图像识别定位模块根据获取的图像识别出红外激光点及其在显示屏中的位置，根据红外激光的时间长短和次数区分包括光点指示、光点移动、点击在内的不同操作，并控制计算机系统在显示屏的对应位置上生成光点，且完成对应操作。其缺点在于，使用时需要手持红外激光笔，并且只是远程的虚拟触摸， 达不到单靠手指、无需辅助器件就能在屏幕上触摸的较真实体验。
发明内容
本发明的目的在于针对现有技术存在的缺陷，提供一种基于图像处理技术的虚拟触摸屏系统。本发明采用如下技术方案
一种基于图像处理技术的虚拟触摸屏系统，包括显示屏3、摄像头1、线形红外激光器 2、处理器，摄像头1安装在显示屏3上前方，且显示屏3处于摄像头1的取景范围内，线形红外激光器2发射出的红外线4平行覆盖于显示屏3表面上，摄像头1与处理器连接，处理器通过摄像头1捕捉的光斑确定手指的坐标，执行操作命令。所述显示屏3的两侧各设置一条凸起线5，且所述两条凸起线5与显示屏3内边缘的两条侧边重合，用于显示屏3区域的自动定位。本发明通过轮廓查找的方法，利用竖直条状轮廓的特征找到显示屏区域两侧的凸起线，进而确定显示屏的区域；本发明中的线形红外激光器发射出的红外线平行覆盖在显示屏上，当手指触碰显示屏时挡住红外线产生光斑，摄像头捕捉光斑，利用轮廓查找方法， 准确计算手指产生光斑的坐标，并利用坐标折算公式得到触摸位置。本发明的有益效果
(1)本发明结构简单、安装方便，易于拓展。(2)通过摄像头采集到的图像，然后使用图像处理技术提取亮斑的轮廓，计算其中心点，经过图像校正确定亮斑的具体位置，进而确定是哪个位置被触发，算法简单， 容易实现。
图1为本发明系统结构的主视示意图， 图2为图1的侧视示意图，
图3为本发明的流程图， 图4为本发明的手指触摸的坐标折算图。图中示出
1一摄像头，2—线形红外激光器，3—显示屏，4一红外线，5—凸起线。
具体实施例方式如附图1、2所示一种基于图像处理技术的虚拟触摸屏系统，包括显示屏3、摄像头 1、线形红外激光器2、处理器，摄像头1安装在显示屏3上前方，且显示屏3处于摄像头1 的取景范围内，线形红外激光器2发射出的红外线4平行覆盖于显示屏3表面上，摄像头1 与处理器连接。所述处理器，可以是待输入设备自带的处理器，也可以是外部增加的微处理
ο所述显示屏3的两侧各设置一条凸起线5，且所述两条凸起线5与显示屏3内边缘的两条侧边重合。如附图3所示本发明的工作流程系统初始化，通过检测显示屏3两侧的两条凸起线5定位出显示屏3区域，所述线形红外激光器2发射的红外线4照射在显示屏3的凸起线5上形成两条白色亮线，摄像头1实时采集到含有显示屏3的图像传回到处理器，处理器采用轮廓查找的方法得到图像中各个轮廓上所有点的坐标、轮廓周长、面积，判断轮廓是否符合两条白色亮线的特征，以此确定两条白色亮线的轮廓，由白色亮线的轮廓上所有点的坐标平均值计算得到其中心坐标，比较两条亮线的中心横坐标的大小关系区分出左侧及右侧的凸起线。找出两条白色亮线各自的轮廓上所有点中纵坐标最大及最小的点，共四个点， 则这四个点构成了显示屏3的顶点；所述两条白色亮线的特征为轮廓的面积除以周长的比值较小且在设定的范围内，例如10到20，轮廓上各点纵坐标的方差除以轮廓上各点横坐标的方差得到的比值较大且在另一设定的范围内，例如40到50，当查找到符合标准的白色亮线时，则可以确定显示屏3的区域，否则继续查找；
当手指触碰显示屏3时，线形红外激光器2的发射的红外线4在手指指尖产生光斑，通过摄像头1获取含光斑的图像并传给处理器，处理器对光斑进行定位，得到其坐标。由光斑中心的坐标折算出其在显示屏3的相对坐标进而确定位置，通过触摸位置及触摸的持续时间判断是否为误触发，如果为误触发重新检测，否则处理器调用操作系统的应用程序接口产生触摸事件并执行命令，显示屏能完成传统的触摸屏一样的功能。所述光斑坐标的定位采用了轮廓查找的方法，将光斑轮廓找出，并由轮廓上所有点的坐标平均值计算得到其中心坐标。具体是先将图像二值化，光斑处标为白色，其余视为背景，标为黑色。然后挖去内部点，所谓内部点的判断方法为在3*3的方块中，当中心点为白点，且其8个邻域点也为白点，即中心点被白色点包围，则该中心点为内部点。之后从原点出发，通过八方位的搜索，将轮廓圈出，并记录轮廓上各个点的坐标。上述过程也可由OPENCV提供的函数cvFindContours ()来实现，并直接得到轮廓个数、轮廓上所有点的坐标、面积、周长、轮廓中心点E的坐标等信息。所述手指光斑中心的坐标折算出其在显示屏3区域的相对坐标采用如下算法， 下文涉及的直角坐标系中X轴正方向为水平向右，Y轴正方向为竖直向下。如附图4中E 点为触碰显示屏3的手指光斑中心点，AC^ VA)、BC^ YB)、C(X0 Vc)、DC^ Yd)为显示屏3 所在区域的四个顶点，过E点做平行于Y轴的直线，分别与AB、⑶交于点F、G，则横坐标 JTf = Xs = Xs ,由斜率Kaf = k站，Km= kCB可得到F、G点的纵坐标，即
= Ya — C^ -D Χμ) / - Xs)
J7· =— (1*0 — /jp)本(Λ Q — XB》I (Ji^ -JT^)
上式中，不、石、石、石、石、而、石分别为点A、B、C、D、E、F、G的横坐标，YA, Yb, Yc, Yd, Ye, YF, YG分别为点A、B、C、D、E、F、G的纵坐标。通过式子( - ^预先给定的显示屏高度/( -可以得到在显示屏3中，光斑的相对纵坐标。点H、I分别是在线段AC、BD上取的点，点H、I使得线段AH、AC、FE、FG、Bi、BD成如下比例关系
AH S AC = FE / FG =BKBD
由此可通过如下关系式计算得点H、I的坐标
Xh = Xc + (I76 -1^) acC^ - Χ / -
Ys = Yc-(Xg -
)— Yd I (XG -
Χ! = Λ +C^5* 1S5 — - ) / ^(5 — YF)
γ — γ _ fv _ ν * ('y ψ \ t fv 一 .y、 1I-1D Vi G 1MJ V S 1BJ ‘ V β 1 F/
上式中，不、石、&、X0,心、而、石、XH、J7分别为点Α、B、C、D、Ε、F、G、H、I的横坐标，Ya, YB, YC, YD, YE, YF, YG, VJP Y1 分别为点 Α、B、C、D、Ε、F、G、H、I 的纵坐标，
通过式子预先给定的显示屏宽度可以得到在显示屏3中，光
5斑的相对横坐标，
得到光斑的相对横坐标和相对纵坐标后，调用操作系统的应用程序接口产生触摸事件。
权利要求
1.一种基于图像处理技术的虚拟触摸屏系统，其特征在于包括显示屏(3)、摄像头 (1)、线形红外激光器(2)、处理器，摄像头(1)安装在显示屏(3)上前方，且显示屏(3)处于摄像头(1)的取景范围内，线形红外激光器(2 )发射出的红外线(4)平行覆盖于显示屏(3 ) 表面上，摄像头(1)与处理器连接。
2.根据权利要求1所述的一种基于图像处理技术的虚拟触摸屏系统，其特征在于所述显示屏(3)的两侧各设置一条凸起线(5)，且所述两条凸起线(5)与显示屏(3)内边缘的两条侧边重合。
全文摘要
本发明公开了一种基于图像处理技术的虚拟触摸屏系统，包括显示屏、摄像头、线形红外激光器、处理器，摄像头位于显示屏上前方，使显示屏完全处于取景范围内，线形红外激光器发射出的红外线平行覆盖于显示屏表面上方，摄像头与处理器连接，当手指触碰到显示屏时会挡住线形红外激光器发出的红外线形成一个光斑，此时摄像头采集到的图像中会有一个红外亮斑，通过图像处理技术确定红外亮斑的具体位置，进而确定是显示屏的哪个部位被触发，处理器识别这些动作并将其转化为相应的指令加以执行，从而完成人机交互操作。
文档编号G06F3/042GK102520830SQ20111044392
公开日2012年6月27日 申请日期2011年12月27日 优先权日2011年12月27日
发明者谢巍, 陈暑生, 黄旭东 申请人:华南理工大学