专利名称：一种基于深度摄像机的多点触摸设备的制作方法
技术领域：
本发明涉及触摸显示领域，特别涉及一种基于深度摄像机的多点触摸设备。
背景技术：
随着技术的进步，人机交互不再满足传统的对键盘、鼠标的操作，更自然、更符合人们生活习惯的交互方式陆续出现。声控、手势识别、多点触摸等正改变着人们传统的交互方式。尤其是多点触摸，近年来发展迅猛。电阻式触摸屏、电容式触摸屏、红外感应等都是多点触摸的常用的实现方式。中国专利申请号为201110182527. 7的发明专利申请公开了一种多点触摸显示屏装置，其主要技术方案为在触摸显示屏角落安装至少两个线型红外激光光源，在触摸屏各 条边上安装红外接收模块，在触摸屏的背面安装红外摄像头以及主控模块。主控模块分别连接红外接收模块，线型红外激光光源以及红外摄像头，并控制它们进行工作。各个线型红外激光光源轮流发射红外激光，红外摄像头拍摄整个触摸屏的图像并获取触摸点范围，红外接收模块接收红外激光获取遮挡线信息，主控模块读取遮挡线信息并计算遮挡线交点坐标，并根据触摸点范围和遮挡线交点坐标判断出触摸点坐标。这种方法需要采用红外激光作为介质进行触摸点的获取和定位，红外激光如处理不好对人眼有很大的危害，严重的可导致失明。此装置必须事先固定，红外摄像头轻微的移动也会导致触摸点无法获取或定位错误，不便于搬运和携带。同时此方法仅能用于从屏幕背面投影，在无法进行背投(如墙面)的情况下无法应用。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是在操作过程中设备容易对人体造成伤害，容易受到场地的限制，不便于携带，对使用者操作的动态捕捉不够准确，用户体验效果不佳。(二)技术方案为解决上述技术问题，本发明提供了一种基于深度摄像机的多点触摸设备，该设备包括图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块；触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手部的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中；投影显示模块，用于将应用程序处理的信息投影到指定平面上。所述图像采集模块为深度摄像机。所述深度摄像机通过AUX端口转USB接口与所述触点处理模块连接。
所述触点处理模块具体包括图像处理模块，用于对图像所述深度图像信息和彩色图像信息进行处理，得到投影平面图像信息，从而得到触点信息；标定模块，用于将投影平面的坐标系映射到图形界面的坐标系中；手势识别模块，用于将触点信息转化为应用程序的操作信息；数据通信模块，用于将转换成的应用程序操作信息传输到应用程序中。所述图像处理模块通过设定深度阈值过滤图像采集模块的深度图像和彩色图像，得到投影平面图像信息和触点信息。所述投影显示模块为正投式投影仪，所述正投式投影仪通过视频输出接口与触点处理模块连接。 所述图像采集模块、触点处理模块、投影显示模块集成为一体。(三)有益效果采用该设备不会对人体造成伤害，对使用者的操作动态捕捉准确，对于图像的触摸控制还原度高，并且便于携带，提高了使用者在应用过程中的互动体验感。
图I是本发明一种基于深度摄像机的多点触摸设备的流程图。图2是本发明一种基于深度摄像机的多点触摸设备的操作方式示意图。
具体实施例方式下面结合附图和实施例，对本发明的具体实施方式
作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。在使用设备时先选择进行多点触摸操作的物理平面，即投影平面。将设备放置在合适的位置，调整投影仪使投影图像合适。然后设置深度摄像机的深度阈值，用于滤除掉除了操作平面以外的其他背景干扰信息，从而得到操作平面上的手指触点信息。然后进行标定，将操作平面上的坐标系与微处理器内部的坐标系一一对应。设置完成后设备开始工作，其工作流程如图I所述。图像采集模块通过深度摄像机采集彩色图像信息和手部触点深度图像信息，深度摄像机通过AUX端口转USB接口与触点处理模块连接进行通信。触点处理模块对深度摄像机传输来的深度图像信息和彩色图像信息进行处理。触点处理模块中的图像处理模块利用预先设置好的深度阈值过滤掉大部分的背景信息，得到只含有投影平面(触摸操作平面)的图像信息，从而得到触点信息；标定模块将投影平面(触摸操作平面)的坐标系投影到图形界面的坐标系上，实现触点坐标到图形界面坐标的转换；再利用手势识别模块将得到的触点信息转化为应用程序的操作信息，通过数据通讯模块得到的操作信息传输到应用程序中，进行相应的操作。投影显示模块通过正投式投影仪将图像信息投影在所要投影的平面内，正投式投影仪通过视频输出接口与触点处理模块连接进行数据图像传输。图2为本发明一种基于深度摄像机的多点触摸设备的操作方式示意图，图中I为触点处理模块，2为图像采集模块，3为投影显示模块。使用者可在投影区域内进行自由控制和操作不会受到空间和场地的限制，提高了用户体验感，并且设备中的图像采集模块、触点处理模块、投影显示模块集成为一体，提高了设备的便携性。
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。
权利要求
1.一种基于深度摄像机的多点触摸设备，其特征在于，该设备包括 图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块； 触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手部的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中； 投影显示模块，用于将应用程序处理的信息投影到指定平面上。
2.如权利要求I所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像米集1 块为深度摄像机。
3.如权利要求2所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述深度摄像机通过AUX端口转USB接口与所述触点处理模块连接。
4.如权利要求I所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述触点处理模块具体包括 图像处理模块，用于对图像所述深度图像信息和彩色图像信息进行处理，得到投影平面图像信息，从而得到触点信息； 标定模块，用于将投影平面的坐标系映射到图形界面的坐标系中； 手势识别模块，用于将触点信息转化为应用程序的操作信息； 数据通信模块，用于将转换成的应用程序操作信息传输到应用程序中。
5.如权利要求4所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像处理模块通过设定深度阈值过滤图像采集模块的深度图像和彩色图像，得到投影平面图像信息和触点信息。
6.如权利要求I所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述投影显示模块为正投式投影仪，所述正投式投影仪通过视频输出接口与触点处理模块连接。
7.如权利要求4所述的一种基于深度摄像机的多点触摸设备，其特征在于，所述图像采集模块、触点处理模块、投影显示模块集成为一体。
全文摘要
本发明公开了一种基于深度摄像机的多点触摸设备，该设备包括图像采集模块，用于采集彩色图像信息和手部触点深度图像信息，并将其传送给触点处理模块；触点处理模块，用于对接收到的信息进行处理，得到投影平面的图像信息，进而得到手指的触点信息，将投影平面上的触点坐标转换为图形界面坐标，将触点信息转化为操作信息并传输到应用程序中；投影显示模块，用于将接收到的信息投影到指定平面上。采用该设备不会对人体造成伤害，对使用者的操作动态捕捉准确，对于图像的触摸控制还原度高，并且便于携带，提高了使用者在应用过程中的互动体验感。
文档编号G06F3/042GK102968222SQ20121044100
公开日2013年3月13日 申请日期2012年11月7日 优先权日2012年11月7日
发明者程洪, 罗军, 刘雅齐, 代仲君, 杨路 申请人:电子科技大学, 布法罗机器人科技(苏州)有限公司