一种红外精准多点触控平台的制作方法

一种红外精准多点触控平台的制作方法
【专利摘要】一种红外精准多点触控平台，包括硬件系统部分和软件系统部分，所述硬件系统部分包括红外光发射管阵列、触摸屏、摄像头、计算机和投影仪，所述软件系统部分包括触点追踪模块和手势识别模块，所述触点追踪模块包括图像处理子模块、触点轮廓提取子模块和触点追踪子模块，所述手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块。本发明通过与特定摄像头捕捉红外线的变化再回馈到计算机里面进行定位处理来实现人机智能互动，在硬件上具有识别精度高、成本低、结构简单、升级方便等优势，在软件上具有程序简洁易懂，易操作、易扩展、移植性强、适应性强等特点，能够保障软硬件系统协调工作运行流畅，实现简单。
【专利说明】一种红外精准多点触控平台

【技术领域】
[0001]本发明属于红外触摸【技术领域】，尤其涉及一种红外精准多点触控平台。

【背景技术】
[0002]红外多点触摸系统在硬件上是利用X、Y方向上密布的红外线矩阵来检测并定位人的触摸手势的电子设备。红外触摸屏在显示器的前面安装一个电路板外框，电路板在屏幕四边排布红外发射管和红外接收管，一一对应形成横竖交叉的红外线矩阵。手指在触摸屏幕时，就会挡住经过该位置的横竖两条红外线，因而可以判断出触摸点在屏幕的坐标位置，任何非透明物体都可改变触点上的红外线而实现触摸屏操作。
[0003]红外多点触摸系统是相对于单点红外屏和虚拟两点红外屏的一种触摸产品，是红外触摸屏的一种技术革新，它的原理主要靠固件中软件的算法来解决两点以上同时触摸操作的不干扰问题。真两点和虚拟两点的区别表现在高稳定性和快速响应上，不会跳点、跑点等误操作。
[0004]早期的红外触摸屏存在分辨率低、触摸方式受限制和易受环境干扰而误动作等技术上的局限，因而一度淡出过市场。此后第二代红外屏部分解决了抗光干扰的问题，第三代和第四代在提升分辨率和稳定性能上亦有所改进。红外触摸屏与电容电阻屏的明显优势是不受电流、电压和静电干扰，适宜恶劣的环境条件。红外线技术是触摸屏产品主流的发展趋势，采用声学和其它材料学技术的触屏都有其难以逾越的屏障，如单一传感器的受损、老化，触摸界面怕受污染、破坏性使用，维护繁杂等问题。红外线触摸屏只要真正实现了高稳定性能和高分辨率，必将替代其它技术产品而成为触摸屏市场主流。
[0005]随着科技的不断发展，多点触摸技术已经取得了巨大的发展，人们对于触摸的要求越来越高，传统的红外触摸已经无法满足市场的需要，多点触摸技术已经从传统的两点触摸时代进入了真正的多点触摸触控时代。
[0006]红外多点触摸屏凭借其体积小、稳定性强、抗光性高以及低成本的有利优势，可以轻易的集成在产品之中，相比较传统的红外触摸技术，红外多点触摸屏能够准确的检测多个触摸点，满足各个行业，各种产品的不同需求，必将在不久的将来取代传统的触摸技术。
[0007]红外多点触摸屏的产生与应用，方便了人们对于数字生活的操作使用，真正实现了一个完整的人机互动体系,红外多点触摸技术从各种触摸技术之中脱颖而出，已经开始取代鼠标、书写板甚至是键盘的使用，逐渐成为了触摸屏市场未来发展的方向。红外多点触摸屏的发展也越来越呈现出多元化、专业化、简单化和大屏幕化等趋势。
[0008]随着科技的不断发展与进步，触摸技术也获得了不断创新与发展，红外触屏技术也经历了从单点识别，到两点识别，再到目前的多点识别，然而目前市场上已有的多点红外触摸技术的产品，还没有一种既在硬件上能满足用户需求，也在软件上操作便捷，高移植性和高扩展性的红外精准多点触控平台出现。


【发明内容】

[0009]本发明的目的在于提供一种红外精准多点触控平台，从而解决【背景技术】中存在的问题。
[0010]本发明所解决的技术问题采用以下技术方案来实现:
一种红外精准多点触控平台，包括硬件系统部分和软件系统部分，所述硬件系统部分包括红外光发射管阵列、触摸屏、摄像头、计算机和投影仪，所述软件系统部分包括触点追踪模块和手势识别模块，所述触点追踪模块包括图像处理子模块、触点轮廓提取子模块和触点追踪子模块，所述手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块。
[0011]所述红外光发射管阵列提供红外光源，所述触摸屏用于接收用户触摸操作，所述摄像头用于捕获手指反射的红外光图像，所述计算机完成触点跟踪，手势识别以及手势操作屏幕对象的点击、放大、缩小功能，所述投影仪则用于显示最终处理结果。
[0012]所述图像处理子模块的功能是进行图像预处理操作，包括视频流捕获，图像色彩空间转换和图像去除背景处理，然后对包含触点对象的前景图像进行处理，包括图像平滑、模糊处理，以及形态学操作，使图像中非主体部分的干扰程度达到最小。
[0013]所述触点轮廓提取子模块的功能是提取所有触点的外轮廓，计算并保存每个轮廓中心的X坐标和I坐标，在此过程中依据设置的轮廓阈值大小，排除无效触点。
[0014]所述触点追踪子模块的功能是依据连续两帧图像内触点中心坐标移动距离的长短，判断哪些触点是新出现的触点，哪些与之前存在的触点相同，追踪到图像中的触点对象后，还需要对其进行归一化处理，这样方便移植到其他尺寸的显示设备上，然后封装数据为TU1数据包并通过Socket通信方式发送给手势识别模块。
[0015]所述手势识别模块的功能是负责接收到触点追踪模块发送的数据包后，按照TU1协议格式分析数据包相应的字节信息，根据触点的状态信息和坐标集合分析触点运行轨迹的形状，识别出触摸手势，然后匹配手势完成对应的操作。
[0016]所述图像处理子模块包括预处理模块、图像增强模块、图像形态学处理模块:
(O图像预处理模块:负责完成对图像的预处理操作，包括视频流的捕获过程，图像色彩空间转换的过程和图像背景去除处理，用于去除噪点比较多的背景图像，为后续的图像处理操作提供只包含触点对象的前景图像；
(2)图像增加模块:负责对去除背景后的灰度图像进行自适应取阈值操作，并依据找到的合适阈值二值化图像，以及使用中值滤波器、高通模糊平滑图像。使用上述操作进行图像增强的目的是为了改进图片的质量，如增加对比度、去掉模糊和噪声、修正几何畸变。图像增强可以将图像转换为更适合人或机器分析的形式，对拍摄条件有限情况下得到的图片有很好的应用；
(3)图像形态学处理模块:主要实现使用腐蚀操作和膨胀操作对二值图像进行特征提取和边界检测操作。这种形态学操作可以简化图像数据，保持他们基本的形状特征，并去除不相关的结构。对图像进行腐蚀操作和膨胀操作以后，触点的轮廓边界清晰可见，一些轮廓上的噪点以及不相关的结构被去除掉，这样更易于后续的提取触点轮廓操作。
[0017]所述触点轮廓提取子模块包括轮廓提取模块、轮廓中心坐标计算模块和无效触点排除模块:
(I)轮廓提取模块:依据轮廓边缘界定值，在二值图像中提取所有触点的外轮廓并保存相关数据；
(2)轮廓中心坐标计算模块依据触点轮廓上的灰度值以及其X，y坐标，计算并存储触点轮廓的中心坐标；
(3)无效触点排除模块则依据提取到的外轮廓面积和周长阈值，对无效手指触点进行排除处理。
[0018]所述手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块:
(1)所述多点触摸手势分析定义子模块负责从系统平台和项目任务出发来决定交换手势库的方法，分别对应多种交互式手势以及手势对应的手指动作；
(2)所述手势识别判断子模块负责把接收到的数据包按照TU1协议格式进行分析，取出触点的相应信息，然后以对象的形式将触点的运行轨迹、状态信息保存起来。一旦触点全部离开触摸屏幕则表示触摸手势结束，这时开始对该触点对象保存的数据信息进行分析处理，并依据当前屏幕上的触点个数，以及触点的实际运行轨迹形状进行手势识别；
(3)所述手势驱动子模块负责根据手势识别子模块的识别结果，结合业务系统需求来完成实际的手势业务操作。
[0019]本发明具有以下有益效果:
本发明提供了一种红外精准多点触控平台，是一种高效而实用的手指多点触摸采集、识别、处理平台，通过与特定摄像头捕捉红外线的变化再回馈到计算机里面进行定位处理来实现人机智能互动，当用户的手触摸到玻璃上时，可以手就代替鼠标功能，有点击和拖动的功能。本发明兼容Win7/WinXP系统，内存占用低，在硬件上具有识别精度高、成本低、结构简单、升级方便等优势，在软件上具有程序简洁易懂，易操作、易扩展、移植性强、适应性强等特点，能够保障软硬件系统协调工作运行流畅，实现简单。

【专利附图】

【附图说明】
[0020]图1为本发明图像预处理过程流程图；
图2为本发明图像增强处理过程流程图；
图3为本发明触点轮廓提取处理过程流程图。

【具体实施方式】
[0021]为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0022]一种红外精准多点触控平台，包括硬件系统部分和软件系统部分，硬件系统部分采用Rear-DI技术搭建的基于光学和计算机视觉的多点触摸技术平台，平台的实现原理是使用红外光源照射投影屏幕形成均匀的照射效果，当有手指触摸屏幕时，红外光会被反射形成阴影，从而被红外摄像头捕获。包括硬件系统部分和软件系统部分，硬件系统部分包括红外光发射管阵列、触摸屏、摄像头、计算机和投影仪，其中红外光发射管阵列可以提供红外光源，红外触摸屏捕获触摸屏上手指反射的红外光图像，触点追踪模块识别红外光图像，提取触点轮廓，并计算轮廓中心坐标，最后取得手指触摸点的空间位置，追踪触点的移动轨迹。追踪到的触点移动轨迹信息，以及触点的状态信息会被发送给手势识别模块。手势识别模块完成对手势的识别任务，并依据识别出来的手势完成预先定义的业务操作，并将处理结果经过投影仪投影到触摸屏幕上，从而通过硬件系统以及建立在硬件系统上的软件系统，实现多点触摸手势直接操作控制。
[0023]软件系统部分包括触点追踪模块和手势识别模块，触点追踪模块包括图像处理子模块、触点轮廓提取子模块和触点追踪子模块，手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块；触点轮廓提取子模块包括轮廓提取模块、轮廓中心坐标计算模块和无效触点排除模块；手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块。
[0024]图像处理模块负责首先进行图像预处理操作，包括视频流捕获，图像色彩空间转换和图像去除背景处理，然后对包含触点对象的前景图像进行处理，包括图像平滑、模糊处理，以及形态学等操作，使图像中非主体部分的干扰程度达到最小。
[0025]图像处理子模块负责完成对图像的预处理操作，包括视频流的捕获过程，图像色彩空间转换的过程和图像背景去除处理，用于去除噪点比较多的背景图像，为后续的图像处理操作提供只包含触点对象的前景图像。
[0026]如图1所示的图像预处理的流程图可以看出首先完成视频流捕获，系统使用摄像机捕获手指操作视频流，通过调用OpenCV库函数完成视频流读取。首先定义用于控制摄像头并获取视频流的CvCapture结构，再定义用来存放视频每一巾贞图像的结构体,然后创建显示原始视频的窗口 Video,以及显示处理后视频的窗口 Foreground,读取摄像头视频流，设置循环读取的每一帧，如果是第一帧图像，则还需要申请内存并进行初始化，如果不是第一帧图像，则开始对图像进行处理并追踪触点的移动轨迹。在读取完视频流后，销毁窗口并释放图像。然后进行图像色彩空间转换处理，在实现上采用OpenCV提供的cvCvtColorO函数实现将图像进行色彩空间转换，再将图片格式转化为矩阵格式后供后续操作使用。最后进行图像背景去除处理，在视频图像的第一帧中，往往手指触点还未出现的时候，来保存第一帧图像为背景图像，以后读取的每一帧图像均为背景图像的灰度矩阵做相减法处理，计算结果为零处，则将此处矩阵中对应的灰度值置为O ;相减结果不为零处，则将此处的灰度值为相减结果后的绝对值。
[0027]图像增强模块的实现主要是使用OSTU算法对去除背景后的灰度图像进行自适应取阈值操作，并依据找到的合适的阈值二值化图像，以及使用中值滤波器、高通模糊平滑图像。使用这些操作进行图像增强的目的是为了改进图片的质量，如增加对比度、去掉模糊和噪声、修正几何畸变等。图像增强可以将图像转换为更适合人或机器分析的形式，对拍摄条件有限情况下得到的图片有很好的应用。
[0028]如图2所示的图像增强处理过程流程图，在具体实现上首先使用OSTU算法，依据图像中的灰度均值以及最大类间方差，找到灰度图像中合适的阈值，然后通过函数cvThreshoId对图像进行灰度值分割处理，将图像中灰度值在阀值以下的点置为O，反之置为255，得到的图像黑白对比度强烈，除了触点位置为亮色，其他部位一律为黑色，这样有利于清晰分离出触点对象，提取出触点的轮廓。图像的平滑处理，主要使用函数CvSm00th()实现中值滤波平滑图像和高斯模糊平滑图像，用以去除图像中的噪点和模糊部分，提高图像清晰度。
[0029]图像形态学处理模块在实现上主要使用腐蚀操作和膨胀操作对二值图像进行特征提取和边界检测等操作。形态学操作可以简化图像数据，保持他们基本的形状特征，并去除不相关的结构。使用OpenCV的函数cvErode ()和函数cvDilate ()实现对二值图像的形态学处理。对图像进行腐蚀操作和膨胀操作以后，触点的轮廓边界清晰可见，一些轮廓上的噪点以及不相关的结构被去除掉，易于后续的提取触点轮廓操作。
[0030]触点轮廓提取过程，包括触点轮廓提取、轮廓中心坐标计算和无效触点排除处理这三个部分。触点轮廓提取依据轮廓边缘界定值，在二值图像中提取所有触点的外轮廓并保存相关数据。轮廓中心坐标计算过程依据触点轮廓上的灰度值以及其x，y坐标，计算并存储触点轮廓的中心坐标。无效触点排除过程则依据提取到的外轮廓面积和周长阈值，对无效手指触点进行排除处理。
[0031]如图3所示的触点轮廓提取流程图,在具体实现上使用cvFindContours函数可以实现从二值图像中检索轮廓，并返回检测到的轮廓的个数和第一个轮廓的指针，然后可得到图像中第一个外轮廓的指针contour,算法使用h_next循环读取每一个触点轮廓指针，得到每一个触点外轮廓，然后经过零阶矩公式计算得出轮廓中心坐标。然后在获取到触点的轮廓面积和轮廓周长后，需要依据设置的面积阈值:400-450像素和周长阈值:80-100像素来判断当前触点轮廓是否在规定阈值范围内，若不在则视为无效触点轮廓，舍弃该触点；否则为有效触点轮廓，继续执行后续操作。
[0032]触点追踪实现判断哪些触点是新出现的触点，哪些与之前存在的触点相同，追踪到图像中的触点对象后，还需要对其进行归一化处理，这样方便移植到其他尺寸的显示设备上，然后封装数据为TU1数据包并通过Socket通信方式发送出去。触点追踪触点部分的实现过程，包括数据包封装过程，触点追踪模块和GIS手势识别模块之间的数据通信协议，以及触点的状态信息。
[0033]手势识别模块负责接收到触点追踪模块发送的数据包后，按照TU1协议格式分析数据包相应的字节信息，根据触点的状态信息和坐标集合分析触点运行轨迹的形状，识别出触摸手势，然后匹配手势完成对应的操作。
[0034]多点触摸手势分析定义子模块负责从系统平台和项目任务出发来决定交换手势库的方法，分别对应多种交互式手势以及手势对应的手指动作。本发明的触摸多点触摸手势识别的手势分析在实现没有采用从通用手势分析设计框架中直接从手势库中选择出对于手势的方式，因为这种方式尽管使用方便，实用性强，但其冗余度比较高，本发明的手势分析从业务任务出发来决定交互式库的选择，能够进一步提高系统的灵敏度和实时性。
[0035]手势识别判断子模块负责把接收到的数据包按照TU1协议格式进行分析，取出触点的相应信息，然后以对象的形式将触点的运行轨迹、状态信息保存起来。一旦触点全部离开触摸屏幕则表示触摸手势结束，这时开始对该触点对象保存的数据信息进行分析处理，并依据当前屏幕上的触点个数，以及触点的实际运行轨迹形状进行手势识别。在具体的在手势识别实现中，首先读取触点对象的移动轨迹数据，并设置触点在触摸屏幕上停留的有效停留时间为800-1200ms，然后依据触点在触摸屏上停留的时间是否在有效时间范围内判断触点是否有效。对于有效触点，依据触点移动距离是否在阈值Si (单位:像素)范围内判断为手势是动态手势还是静态手势。即，若触点移动距离小于Si，为静态手势；否则为动态手势。对于静态手势，依据静止触点的个数判断手势。若是1，则为单指触摸手势；若是2，则为两指触摸手势。若多于2，则为无效触点。对于动态手势，依据触点间相对运动距离是否大于阈值s2 (单位:像素)来判断是否有相对移动。若相对运动距离大于阈值s2，则为有相对运动；否则为无相对运动。
[0036]手势驱动子模块根据手势识别子模块的识别结果，结合业务系统需求来完成实际的手势业务操作。具体实现上是使用OpenCV中的库函数结合手势识别处理识别出有效操作手势并驱动实际业务动作的完成。
[0037]以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
【权利要求】
1.一种红外精准多点触控平台，其特征是:包括硬件系统部分和软件系统部分，所述硬件系统部分包括红外光发射管阵列、触摸屏、摄像头、计算机和投影仪，所述软件系统部分包括触点追踪模块和手势识别模块，所述触点追踪模块包括图像处理子模块、触点轮廓提取子模块和触点追踪子模块，所述手势识别模块包括多点触摸手势分析定义子模块、手势识别判断子模块和手势驱动子模块。
2.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述图像处理子模块包括预处理模块、图像增强模块、图像形态学处理模块。
3.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述触点轮廓提取子模块包括轮廓提取模块、轮廓中心坐标计算模块和无效触点排除模块。
4.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述红外光发射管阵列提供红外光源，所述触摸屏用于接收用户触摸操作，所述摄像头用于捕获手指反射的红外光图像，所述计算机完成触点跟踪，手势识别以及手势操作屏幕对象的点击、放大、缩小功能，所述投影仪则用于显示最终处理结果。
5.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述图像处理子模块进行图像预处理操作，包括视频流捕获，图像色彩空间转换和图像去除背景处理，然后对包含触点对象的前景图像进行处理，包括图像平滑、模糊处理，以及形态学操作，使图像中非主体部分的干扰程度达到最小。
6.根据权利要求1所述的一种红外精准多点触控平台，其特征是:触点轮廓提取子模块提取所有触点的外轮廓，计算并保存每个轮廓中心的X坐标和I坐标，在此过程中依据设置的轮廓阈值大小，排除无效触点。
7.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述触点追踪子模块依据连续两帧图像内触点中心坐标移动距离的长短，判断哪些触点是新出现的触点，哪些与之前存在的触点相同，追踪到图像中的触点对象后，还需要对其进行归一化处理，这样方便移植到其他尺寸的显示设备上，然后封装数据为TU1数据包并通过Socket通信方式发送给手势识别模块。
8.根据权利要求1所述的一种红外精准多点触控平台，其特征是:所述手势识别模块负责接收到触点追踪模块发送的数据包后，按照TU1协议格式分析数据包相应的字节信息，根据触点的状态信息和坐标集合分析触点运行轨迹的形状，识别出触摸手势，然后匹配手势完成对应的操作。
【文档编号】G06F3/042GK104331193SQ201410709584
【公开日】2015年2月4日 申请日期:2014年12月1日 优先权日:2014年12月1日
【发明者】曾芝冰, 张茹, 孙帅, 赵佳, 刘琼, 梁安琪 申请人:湖北印象光电信息产业有限公司