一种基于深度数据的模拟触摸操作系统及操作方法
【技术领域】
[0001] 本发明涉及模拟触摸屏技术领域，尤其涉及一种基于深度数据的模拟触摸操作系 统及操作方法。
【背景技术】
[0002] 随着多媒体信息查询应用的快速发展，人们越来越多地使用触摸屏进行信息查 询，这是因为触摸屏不仅能够满足人们快速查询有用信息的需求，而且还具有坚固耐用、反 应速度快、节省空间、易于交流等许多优点。
[0003] 触摸屏作为一种最新的电脑输入设备，它是目前最简单、方便、自然的一种人机交 互方式，它赋予了多媒体以崭新的面貌，是极富吸引力的全新多媒体交互设备。利用触摸屏 技术，用户只要用手指轻轻地触碰计算机屏幕上的图符或文字就能实现对主机进行操作， 从而使人机交互更为直截了当，方便了广大用户操作，同时提升了用户的使用感受。
[0004] 触摸屏在我国的应用范围非常广阔，主要应用在公共信息查询方面，例如电信局、 税务局、银行、电力等部门的业务查询，还有城市街头信息查询，此外还应用于办公、工业控 制、军事指挥、电子游戏、点歌点菜、多媒体教学、房地产预售等；将来，触摸屏还将更多地走 入家庭。
[0005] 但是，随着触摸屏所需的尺寸变的越来越大，导致触摸屏的成本越来越高；另外， 由于用户经常直接在触摸屏上直接操作，非常容易造成触摸屏设备的损害，从而导致产生 较高的维修费用。而模拟触屏系统则是将普通的墙壁、地面或会议桌模拟成一个触摸屏，大 大降低了初期投入成本及后期维护成本，具有研宄价值和现实意义。
【发明内容】
[0006] 基于【背景技术】存在的技术问题，本发明提出了一种基于深度数据的模拟触摸操作 系统及操作方法。
[0007] 本发明提出的一种基于深度数据的模拟触摸操作系统，包括：
[0008] 数据采集模块，用于采集触摸场景的深度图，获取触摸场景的深度差；
[0009] 数据处理模块，与数据采集模块连接，用于对触摸场景的深度差进行处理得到触 摸点深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标；
[0010] 显示模块，与数据处理模块连接，用于根据触摸点屏幕坐标、触摸点状态和触摸 API在屏幕平面上显示触摸操作。
[0011] 优选地，所述数据采集模块具体包括：利用深度传感器获取触摸场景的深度图，触 摸场景的深度图包括无触摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触 摸场景的深度图进行时域去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度 数据，所述深度数据为深度图上的像素点与深度传感器之间的距离，对深度数据进行差法 运算得到触摸场景的深度差depthdifT;
[0012] 优选地，所述数据采集模块为双目立体视觉摄像头、基于结构光法的红外摄像头 (kinectl)、基于飞行时间法的激光摄像头（kinect2);
[0013] 优选地，所述对触摸场景的深度图进行时域去噪包括：噪声估计、检测运动并计算 权值、时域加权去噪；
[0014] 优选地，所述噪声估计过程具体包括：假设图像被均值是0,方差为〇2的高斯噪 声污染，估计噪声标准差O;输入有噪图像当前帧为gt，前一帧为gH，记X=gt-gH，则X
【主权项】
1. 一种基于深度数据的模拟触摸操作系统，其特征在于，包括： 数据采集模块，用于采集触摸场景的深度图，获取触摸场景的深度差； 数据处理模块，与数据采集模块连接，用于对触摸场景的深度差进行处理得到触摸点 深度坐标，对触摸点深度坐标进行处理得到触摸点屏幕坐标； 显示模块，与数据处理模块连接，用于根据触摸点屏幕坐标、触摸点状态和触摸API在 屏幕平面上显示触摸操作。
2. 根据权利要求1所述的基于深度数据的模拟触摸操作系统，其特征在于，所述数据 采集模块具体包括；利用深度传感器获取触摸场景的深度图，触摸场景的深度图包括无触 摸操作的纯背景深度图和有触摸操作的带目标背景深度图，对触摸场景的深度图进行时域 去噪，获取去噪之后的纯背景深度图和带目标背景深度图的深度数据，所述深度数据为深 度图上的像素点与深度传感器之间的距离，对深度数据进行差法运算得到触摸场景的深度 差depthdiff; 优选地，所述数据采集模块为双目立体视觉摄像头、基于结构光法的红外摄像头 化inectl)、基于飞行时间法的激光摄像头化inect2); 优选地，所述对触摸场景的深度图进行时域去噪包括；噪声估计、检测运动并计算权 值、时域加权去噪； 优选地，所述噪声估计过程具体包括；假设图像被均值是0,方差为0 2的高斯噪声污 染，估计噪声标准差0 ;输入有噪图像当前帖为gt，前一帖为gW，记x=gt-gw，则X符合 高斯分布；-X~.'V佩式）口.? = 2口2 记y= |gt-gW|，即y= 1x1，则y的概率密度函数p(y)为：
即，
优选地，所述检测运动并计算权值具体包括；计算当前帖中每一点与其前一帖中对应 点及其周围邻域（局部窗）的平均绝对差异ME，其公式如下：
其中，H、W为局部窗的高和宽，权重初始值Wi= 1，局部差异m(i，j)其去噪权重I't; |(/，./) 成反比，噪声标准差0为函数输入，thi，th2可根据0进行设置； 优选地，所述时域加权去噪具体包括： 对当前帖的每一像素进行去噪，其公式如下：
再下一帖去噪前再对权值wt进行更新，其公式如下：
设置最大值来限制Wt的取值范围，其公式如下：
3.根据权利要求1或2所述的基于深度数据的模拟触摸操作系统，其特征在于，所述数 据处理模块具体用于；对触摸场景的深度差depthdiff进行分离得到待选触摸点，对待选 触摸点进行统计筛选得到触摸点，获取触摸点深度坐标，将触摸点深度坐标转换成触摸点 空间坐标，将触摸点空间坐标进行处理得到触摸点屏幕坐标； 优选地，所述数据处理模块为PC主机、An化oid/ipad平板、An化oid/iPhone手机； 优选地，对触摸场景的深度差depthdiff进行分离得到待选触摸点具体包括： 对触摸场景的深度差depthdiff选取两个阔值minT虹1和maxT虹1，初步分离出背景、 噪点和非触摸点，得到第一待选触摸点；优选地，小于minThrl的像素点位置定义为背景W 及噪点，大于maxThrl的像素点位置定义为非触摸点，处在两个阔值之间的像素点位置定 义为第一待选触摸点； W第一待选触摸点为中屯、取MXM窗口的深度差depthdiff均值mean,对mean选取两 个阔值minT虹2和maxThr2,进一步分离出噪点和非触摸点，得到第二待选触摸点；优选地， 小于minThr2的像素点位置定义为噪点，大于maxThr2的像素点位置定义为非触摸点，处在 两个阔值之间的像素点位置定义为第二待选触摸点； 优选地，对待选触摸点进行统计筛选得到触摸点具体包括；统计第二待选触摸点周围MXM邻域内同样的第二待选触摸点的个数，筛选出触摸点集合；优选地，个数小于P则表示 该待选触摸点为噪点，个数大于等于p则表示该待选触摸点为触摸点； 优选地，获取触摸点深度坐标具体包括；对于单点触控，直接对触摸点集合内的触摸点 坐标取均值，得到单点触控的触摸点深度坐标；对于多点触控，利用聚类算法对触摸点集合 内的触摸点进行聚类，对每一类中取均值作为触摸点，得到多点触控的触摸点深度坐标；优 选地，在得到触摸点深度坐标之后对触摸点深度坐标进行位置修正； 优选地，将触摸点深度坐标转换成触摸点空间坐标具体包括；利用坐标转 换将触摸点深度坐标转换成触摸点空间坐标；优选地，坐标转换的公式如下：
其中，X、Y分别为真实世界坐标系中的横 坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真 实世界坐标系中的Z轴坐标，f为图像的焦距； 优选地，将触摸点空间坐标进行处理得到触摸点屏幕坐标具体包括；利用触摸点空间 坐标和屏幕校准模块得到的屏幕平面方程，得到触摸点在屏幕平面上的垂直映射点，通过 计算得到垂直映射点在屏幕平面的相对位置，得到触摸点屏幕坐标。
4. 根据权利要求1-3中任一项所述的基于深度数据的模拟触摸操作系统，其特征在 于，所述显示模块具体用于；根据触摸点屏幕坐标、触摸点状态和触摸API发送的触摸操作 消息在屏幕上对触摸操作进行显示； 优选地，所述显示模块为投影仪； 优选地，触摸点状态包括；inrange(在范围内）、undate(更新）、incontact(接触）、down(按下）和up(弹起）。
5. 根据权利要求1-4中任一项所述的基于深度数据的模拟触摸操作系统，其特征在 于，所述模拟触摸操作系统还包括；屏幕校准模块，与数据处理模块连接，用于根据计算得 到的屏幕平面方程对触摸场景的深度图进行校准，得到屏幕平面与触摸场景的深度图之间 的映射关系； 优选地，所述屏幕校准模块为PC主机、An化oid/ipad平板、An化oid/iPhone手机； 优选地，所述屏幕校准模块具体用于；获取四个平面方程，在多个平面中选取最优平 面，根据最优平面方程确定屏幕平面方程，屏幕校准修正； 优选地，获取四个平面方程具体包括：根据数据处理模块得到屏幕上四个顶 点的深度坐标，利用坐标转换将深度坐标进行转换得到四个顶点的空间坐标，再 根据=点确定一个平面原则确定四个平面方程；优选地，坐标转换的公式如下：
其中，X、Y分别为真实世界坐标系中的横 坐标与纵坐标，u、v为深度图像中的横坐标与纵坐标，Z为测量得到的深度信息同时也是真 实世界坐标系中的Z轴坐标，f为图像的焦距；优选地，根据=点确定一个平面原则确定四 个平面方程具体包括：已知S点坐标pl，p2,p3，S点确定的平面方程为Ax+By+Cz+D= 0， 其中： A= (p2.y-pl.y)X(p3.z-pl.z)-(p2.z-pl.z)X(p3.y-pl.y)； B= (p2.z-pl.z)X(p3.x-pl.x)-(p2.x-pl.X)X(p3.z-pl.z); C= (p2.x-pl.x)X(p3.y-pl.y)-(p2.y-pl.y)X(p3.x-pl.x)； D= -(AXpl.x+BXpl.y+CXpl.z); 优选地，在多个平面中选取最优平面具体包括：获取每个平面与其他= 个平面的平面夹