专利名称：基于labview的多点触控屏交互系统的制作方法
技术领域：
本发明涉及一套基于LABVIEW的多点触控屏人机交互系统，具体为一套包括硬件系统和软件系统在内的手指多点触摸采集，识别，处理系统。
背景技术：
目前，市场上的触摸屏主要有电阻触摸屏、电容触摸屏及光学原理触摸屏。电阻触摸屏、电容触摸屏均是利用复杂的电学原理设计，一般只能实现单点或两点的触控识别，产品触摸面积较小，制造大面积触摸屏成本高昂。光学原理触摸屏原理的种类较多，如正面散射光照式，背面散射光照式，红外阵列式，激光式等，但每种设计都存在一定缺点，并且，与现有硬件系统配套的软件系统很少，软件系统可移植性差，扩展性受限。电阻式触摸屏基本结构是两张平面透明的阻性材料叠加，无压力时分开，有压力时在接触处产生电压变化，通过检测电压值可计算出坐标。这种方式只能同时有一个点接触，不能实现多点触控，并且精度低。电容式触摸屏利用用户自身电场改变显示屏电容来获得坐标，当手指触摸电容屏时，用户手指和触摸屏工作面形成一个耦合电容，由于触摸屏工作面上接有高频信号，手指吸收一个很小的电流，这个电流分别从屏的四个角上的电极中流出，且理论上流经四个电极的电流与手指到四角的距离成比例，控制器通过对四个电流比例的精密计算，得出手指位置坐标。但这种方式抗干扰能力差，当环境温度改变，湿度改变，电场发生变化时，都会引起电容屏处理出的坐标漂移，造成精度降低。当较大面积的手掌或手持的导体物靠近电容屏，但并没有触摸时，就可能引起电容屏的误操作，在潮湿天气，这种情况尤为严重。并且手指接触时触摸屏对各种波长光的透光率会出现不均勻的现象，于是屏幕会出现色彩失真的问题。有时，由于光线在各层间的反射，还会出现图像字符模糊的现象。光学原理触摸屏是利用红外线或激光进行设计，大部分设计都存在一定缺陷，如 [1]，[2]中描述的扫描的方法，需要机械机构配合，定位时，需要一定的扫描周期，对电伺服要求高，很难实现实时坐标处理。当多个触摸点共线或两个触摸点距离很近时也不能给出正确的触摸点个数及准确的坐标。并且设计中没有涉及与硬件相配套的软件解决方案。 [3]所描述的方法，硬件上只在玻璃板的一边使用红外线灯照射，其他三边使用反光条对其发射的红外线进行反射，这种方法会使触摸精度降低，并且红外摄像机价格昂贵，一般用户负担不起，软件上没有应用程序处理方法，使可移植性与扩展性受到限制。[4]中描述的方法，所需要的设备较多，红外光学装置、红外线接收器较为昂贵，稳定性差，易受外界干扰， 且整个装置占用空间大，不适用于教学，公共场所等场合。在图像处理的软件选用方面，当前此类产品主要使用C/C++、Java作为编程语言，这些语言编写相关图像处理程序需要精通相关的编程语法，熟练掌握编程思想，开发周期较长，程序抽象，对于程序开发者要求很高，对于大多数使用者而言，难以改良其代码，可扩展性受限。综上所述，现今的各种多点触控技术在硬件及软件上都具有很大的缺陷。还没有一种硬件上能满足各种使用需要，软件上简明易懂，可移植性和可扩展性强的多点触控交互系统出现。[1] 一种红外多点触摸屏，申请号201020256135 ；[2]红外线触摸屏及多点触摸定位方法，申请号200810025705 ；[3]基于红外线摄像的触摸屏及其定位检测方法，申请号200710047703 ；[4]红外线扩展光源式多点触控系统，申请号200910158230。
发明内容
为了实现一套实用完整的多点触摸屏交互系统，克服以上各种触摸屏的硬件软件设计缺陷，本发明提供一套新型基于LABVIEW的多点触控交互系统，该系统能在保障硬软件系统运行流畅，识别精度高的前提下提供一个简单易行，造价低廉，高稳定性，高可移植性，高扩展性的多点触摸屏交互系统平台。本发明解决所述问题的技术方案为一种全新的基于LABVIEW的多点触控交互系统，包括由硬件系统部分与软件系统部分组成；1)硬件系统部分包括亚克力玻璃、红外灯、兼容层、投影仪、计算机、摄像头和红外波段滤光片；所述亚克力玻璃为触摸介质，用红外灯对亚克力玻璃侧面进行照射，红外灯的红外线发射张角为120度，亚克力玻璃的厚度> 8mm ；所述投影仪设在亚克力玻璃正面的上方；所述兼容层包括投影幕布，投影幕布布在亚克力玻璃上，显示投影仪投来的图像；所述兼容层还包括硅胶层，硅胶层贴在亚克力玻璃正面的表面，投影幕布铺在硅胶层上。所述摄像头加装红外波段滤光片，摄像头设在亚克力玻璃背面的下方，捕捉亚克力玻璃背面的带有红外亮斑图像；摄像头的视频信号输出端连接计算机数据接收端，投影仪的视频信号输入端连接计算机的视频信号输出端；计算机载有LABVIEW软件，LABVIEff软件对摄像头捕捉到的图像信息进行处理得到坐标信息；2)软件系统部分包括图像采集与图像处理两部分；图像采集流程包括查找摄像头，初始化摄像头，建立抓拍内存空间，连续抓拍，关闭摄像头和释放内存空间；图像的处理流程包括图像灰度化，模糊滤波，二值化，去除干扰像素点和分析坐标位置；经过图像采集与图像处理过程可处理，得到手指触摸的点在整个投影幕布上的X、 Y坐标；软件系统部分由LABVIEW软件中的与视觉与运动模块相关的函数实现。本技术方案的原理说明如下兼容层有两层，靠近亚克力玻璃的那层使用透明硅胶，用于增加触摸的平滑感； 第二层是投影幕布层，用于显示投影效果。根据受抑全反射理论，当红外线从侧面以小于 120°的角度进入亚克力板，且亚克力板的厚度大于8mm时，光线会在亚克力玻璃内不断全反射，不会从亚克力玻璃板表面射出，但当手指等具有一定韧性和反射性的材料碰到亚克力表面时，亚克力玻璃内部全反射会被破坏，红外线会在手指触摸点的亚克力玻璃下表面发生折射，红外线从触摸点下方出射。亚克力玻璃板下方加装红外波段滤光片的USB摄像头，可捕捉到带有手指处折射出的红外线亮斑的实时图像，USB摄像头捕捉到的图像会传送到个人计算机LABVIEW软件中进行处理得到坐标信息。坐标信息传入应用程序，用户操作界面由投影仪从亚克力玻璃上方投影至亚克力玻璃板面兼容层上。电源及导线用于给红外LED灯供电。软件系统由LABVIEW软件中的视觉与运动模块相关函数实现，充分利用LABVIEW 框图化编程语言直观，简明，易懂，易于修改，可扩展性强的特点。软件系统包括图像采集与图像处理两部分。图像采集主要流程包括查找USB摄像头设备、初始化USB摄像头设备、建立抓拍内存空间、连续抓拍、关闭USB摄像头设备及释放内存空间等过程。本流程应用LABVIEW 软件函数库“IMAQ USB”中的“IMAQ USB Enumerate Cameras. VI”进行查找可用的USB设备并返回设备名称，“ IMAQ USB hit. VI”对所选的USB设备进行初始化工作，“ IMAQ USB Grab Setup. VI”建立连续抓拍的操作，“IMAQ Create. VI”建立内存空间进行图片的存放， "IMAQ USB Grab Acquire. VI”放置在循环中实现图片的连续抓拍，“IMAQ USB Close. VI” 在停止执行采集操作时关闭USB设备，从而实现USB摄像头连续抓拍照片，并实现将图像传到LABVIEW的程序框图中的工作。图像的处理分析的流程包括图像灰度化、模糊滤波、二值化、去除干扰像素点及分析坐标位置等过程。本流程应用LABVIEW软件函数库“Vision”中的“IMAQ Symmetry VI” 对采集的图像进行镜像处理，“ IMAQ ExtractSingleColorPlane VI”完成对RGBA和HSL格式的彩色图片灰度化操作，以降低图片的颜色信息只留下轮廓信息，“IMAQ Convolute VI” 对图片进行模糊滤波处理使得图片上的噪声点变模糊，方便二值化处理，“IMAQ Threshold VI”对图片进行二值化，并通过选定一定的阈值来将图片处理为两种颜色，图像中大于此阈值为红色，小于此阈值为黑色，“ IMAQ RemovePartic 1 e VI ”去除小的噪声点，便于坐标的准确分析，“IMAQ Particle Analysis VI”分析各个手指的中心坐标点。以上图像采集与图像处理过程可处理出手指触摸的点在整个屏幕上的X，Y坐标，此坐标点可应用为多点触控应用程序的输入接口。与现有的各种触摸屏相比，本系统在硬件上具有对手指触摸反应迅速，灵敏度高， 识别精度高，硬件造价低廉，抗干扰，结构简单，更换方便等优点。软件上由于采用LABVIEW 框图化编程，具有程序简单易懂，便于非软件专业人士修改，软件扩展性强，可移植性强，运行效率高等优点。并且以本系统为平台接口，可开发出各种不同的触摸应用程序。
下面结合附图和实施例对本发明做进一步说明。图1是本发明的硬件原理图。图2是受抑全内反射原理图。图3是USB摄像头拍摄的手指触点图。图4是由软件处理后的摄像头拍摄的手指触点图(含坐标信息)图5是系统整体处理流程6是计算机软件处理摄像头拍摄图像的流程图。图中1.兼容层，2.红外LED灯，3.亚克力玻璃，4.个人计算机，5.加装了红外波段滤光片的摄像头，6. USB摄像头与个人计算机的接口，7.投影仪，8.手指，9.红外光，10.挡板。
具体实施例方式下面结合具体实施方式
对本技术方案作进一步说明在图2所示受抑全内反射基本原理图中，红外LED灯2发射红外光进入亚克力玻璃3，红外光在玻璃内发生全内反射，当手指8触碰在亚克力玻璃上某点时，该点上红外光的全反射被破坏，红外光9在亚克力玻璃的下表面射出。挡板10用于阻挡红外LED灯的红外光在刚射出时泄漏到空气中，防止产生不必要的干扰。在图1中，亚克力玻璃3固定在物理支架上，高度可调节，投影仪7固定在亚克力玻璃3的正上方，摄像头5固定在亚克力玻璃3正下方，距离可根据玻璃的尺寸进行调节， 为使触摸屏效果达到最佳，投影仪，玻璃，摄像机的世界坐标要一一对应。在亚克力玻璃的四周平行放置一定数量的红外LED灯2，红外LED灯的数量根据亚克力玻璃的尺寸而定，通常每隔20mm放置一个，则可达到理想效果；红外LED灯的功率大于lOOmw，红外线发射张角为120°。亚克力玻璃上涂抹一层均勻的兼容层1，兼容层有两层，靠近亚克力玻璃的那层使用透明硅胶，用于增加触摸的平滑感；第二层是投影幕布层，用于显示投影效果，有此组成完整的触摸屏。根据图5的流程框图，手指8碰触到亚克力玻璃板表面，进而亚克力玻璃板内的红外线全反射被破坏，从而摄像头5通过USB接口 6将拍摄到得信息传给个人计算机4，通过个人计算机进行图像处理，配合相应的应用软件，实现最终的多点触控操作，而投影仪7通过向亚克力玻璃板上投影来实现实时视觉反馈。在图3中显示的是当五个手指按在亚克力玻璃上时，摄像头扑捉到的五个红外线
7 点ο在图6中显示了计算机软件处理摄像头拍摄图像的流程，即当摄像头将拍摄的信息传给个人计算机后，计算机软件将经过如图所示流程对图像进行处理。此流程图主要是实现系统软件的处理，其目的是将USB采集的图片进行处理并分析出触摸点的具体坐标， 进而产生多点触控命令。其过程为，首先将USB摄像头通过USB接口接入电脑，处理软件首先是检测可以利用的USB摄像头设备，并将对应的设备名显示出来供用户选择。选择好平台下方的USB摄像头，然后对该USB摄像头进行初始化，初始化主要工作是完成通用 USB摄像头采集芯片内部的各个寄存器的初始化工作，做好实时采集图片的准备。接着是建立连续抓取图片的LABVIEW设备环境，进行内存的空间分配来存储实时采集图片及做好 LABVIEff软件内部接收准备。接着是进入主循环，主循环是这个系统软件处理核心，是从开始抓取一张图片开始的；由于摄像头拍摄的照片方向与触摸屏的操作界面关系为镜像关系，为了与手指的操作保持一致，先对取得的图片进行一次软件镜像处理；接着是将所获得的彩色图片装换为灰度图片，灰度图片特点的是只有图片各个像素的亮暗强度，通常强度等级分为255个等级，O表示黑色255表示白的，这样方便后续处理；由于摄像头工作于非封闭的环境，外界环境也存在红外光，外界红外光会使采集图片上显示一些较小的亮点噪声，如果光点亮度较大就会影响二值化结果，这样就会错误地把外界噪声点处理为触摸点，所以必须进行模糊滤波降噪处理，这样可以使噪声点的亮度降低。接着是二值化过程，即选定一个阈值范围，使阈值两侧的值取极值的过程，如果该点灰度值小于阈值就将该点的灰度值设为0为黑色，否则设为255为白色，白色点就是触摸点，这样处理就使得触摸点的轮廓更加清晰。由于经过上述过程噪声有可能没有被完全去除，必须进行进一步处理，一般噪声点都比较小，少于5个像素点，利用去除像素点的方法可以去除这些比较小的区域。 最后是进行像素点的分析，分析后用红色填充(图4所示为黑色)，并显示坐标，根据点的多少来产生具体的操作指令(如图3)；如果不按停止按钮，上述循环就会一直执行下去，直到停止按钮被按下，停止后先关闭USB设备，并释放内存空间是的计算机资源再利用。
在图4中显示了用个人计算机中LABVIEW软件处理图3所示图片后，获得的更加清晰的触点和相应的坐标信息。
权利要求
1.一种全新的基于LABVIEW软件的多点触控交互系统，其特征是包括硬件系统部分与软件系统部分；1)硬件系统部分包括亚克力玻璃、红外灯、兼容层、投影仪、计算机、摄像头和红外波段滤光片；所述亚克力玻璃为触摸介质，用红外灯对亚克力玻璃侧面进行照射，红外灯的红外线发射张角为120度，亚克力玻璃的厚度> 8mm;所述投影仪设在亚克力玻璃正面的上方；所述兼容层包括投影幕布，投影幕布布在亚克力玻璃上，显示投影仪投来的图像；所述摄像头加装红外波段滤光片，摄像头设在亚克力玻璃背面的下方，捕捉亚克力玻璃背面的带有红外亮斑图像；摄像头的视频信号输出端连接计算机数据接收端，投影仪的视频信号输入端连接计算机的视频信号输出端；计算机载有LABVIEW软件，LABVIEff软件对摄像头捕捉到的图像信息进行处理得到坐标信息；2)软件系统部分包括图像采集与图像处理两部分；图像采集流程包括查找摄像头，初始化摄像头，建立抓拍内存空间，连续抓拍，关闭摄像头和释放内存空间；图像的处理流程包括图像灰度化，模糊滤波，二值化，去除干扰像素点和分析坐标位置；经过图像采集与图像处理过程可处理，得到手指触摸的点在整个投影幕布上的X、Y坐标；软件系统部分由LABVIEW软件中的与视觉与运动模块相关的函数实现 所述图像的处理流程应用LABVIEW软件函数库“Vision”中， "IMAQ Symmetry VI”对采集的图像进行镜像处理；"IMAQ ExtractSingleColorPlane VI ”完成对RGBA和HSL格式的彩色图片灰度化操作，以降低图片的颜色信息只留下轮廓信息；"IMAQ Convolute VI”对图片进行模糊滤波处理使得图片上的噪声点变模糊，方便二值化处理；"IMAQ Threshold VI”对图片进行二值化，并通过选定阈值来将图片处理为两种颜色； "IMAQ RemoveParticle VI”去除小的噪声点，便于坐标的准确分析； "IMAQ Particle Analysis VI”分析各个手指的中心坐标点。
2.根据权利要求1所述的全新的多点触控交互系统，其特征是所述兼容层还包括硅胶层，硅胶层贴在亚克力玻璃正面的表面，投影幕布铺在硅胶层上。
3.根据权利要求1或2所述的全新的多点触控交互系统，其特征是所述红外灯是红外 LED 灯。
4.根据权利要求1或2所述的全新的多点触控交互系统，其特征是在亚克力玻璃的四周每隔20mm平行放置一个红外灯。
5.根据权利要求1或2所述的全新的多点触控交互系统，其特征是所述摄像头是USB 接口摄像头；图像采集流程应用LABVIEW软件函数库“ IMAQ USB”中，"IMAQ USB Enumerate Cameras. VI”进行查找可用的USB设备并返回设备名称；"IMAQ USB hit. VI”对所选的USB设备进行初始化工作；"IMAQ USB Grab Setup. VI”建立连续抓拍的操作；"IMAQ Create. VI”建立内存空间进行图片的存放；"IMAQ USB Grab Acquire. VI”放置在循环中实现图片的连续抓拍；"IMAQ USB Close. VI”在停止执行采集操作时关闭USB设备；从而实现USB摄像头连续抓拍照片，并实现将图像传到LABVIEW的程序框图中的工作。
全文摘要
本系统提供了一套基于LABVIEW软件的多点触控屏人机交互系统。系统分为硬件部分与软件部分，硬件部分是利用亚克力玻璃受抑全反射原理，使玻璃侧面入射的红外线在玻璃中全反射，手指触摸屏幕时破坏全反射，红外线在触摸点下表面出射，下方加装红外滤光片的USB摄像头捕捉带有红外亮斑图像，传入电脑LABVIEW软件中处理。软件部分用LABVIEW软件中的视觉与运动模块相关函数实现。本系统具有硬件上反应迅速，灵敏度高，精度高，造价低廉，抗干扰性好等优点，软件上具有编程语言结构简单，语言直观，简明，易懂，易于修改等特点。总体上，该多点触控人机交互系统具有可移植性强，可扩展性强的特点。
文档编号G06F3/042GK102193687SQ201110107978
公开日2011年9月21日 申请日期2011年4月25日 优先权日2011年4月25日
发明者刘弘逸, 庞成, 李耀磊, 蔡体菁 申请人:东南大学