专利名称：一种非接触式界面操作方法及系统的制作方法
一种非接触式界面操作方法及系统
技术领域
本发明属于电子设备操作控制技术及人机交互技术领域，尤其涉及一种非接触式界面操作方法及系统。
背景技术：
触摸屏作为一种新的电脑输入设备，是简单、方便、自然的一种人机交互方式，用户只要用手指碰到触摸屏的图符或文字，就可实现对主机的操作。针对现有的触摸屏操作系统，必须通过手接触屏幕表面才能实现触摸控制，因此手在操作时只有点击、滑动等二维平面动作，同时针对目前公共场所用到的ATM、取号机等都用到触摸屏操作，大家都去接触同一屏幕，会造成公众的交叉感染，产生安全隐患。发明内容
有鉴于此，本发明所要解决的技术问题是提供一种非接触式界面操作方法及系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
本发明公开了一种非接触式界面操作方法，包括记录3D显示的操作界面中操作点的第一坐标；识别并记录人手的第二坐标；判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
在一些可选的实施例中，所述的记录第一坐标包括通过3D方式显示操作界面；以显示器一角为坐标原点确定第一坐标系，确定操作界面中操作点在第一坐标系中的坐标。
在一些可选的实施例中，所述的记录人手的第二坐标包括通过两个摄像头采集人手的手势及位置信息；以其中任一摄像头为坐标原点确定第二坐标系，确定人手在第二坐标系中的坐标。
在一些可选的实施例中，所述的判断是否对应包括以显示器一角为坐标原点确定第一坐标系，将所述第二坐标转换至所述第一坐标系中；比较转换后的第二坐标与所述第一坐标，若相同，则确定为对应。
本发明的另一方面是提出了一种非接触式界面操作系统，其特征在于，包括第一单元记录3D显示的操作界面中操作点的第一坐标；第二单元识别并记录人手的第二坐标；判断单元判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
在一些可选的实施例中，所述的第一单元包括显示模块通过3D方式显示操作界面；第一模块以显不器一角为坐标原点确定第一坐标系，确定操作界面中操作点在第一坐标系中的坐标。
在一些可选的实施例中，所述的第二单元包括采集模块通过两个摄像头采集人手的手势及位置信息；第二模块以其中任一摄像头为坐标原点确定第二坐标系，确定人手在第二坐标系中的坐标。
在一些可选的实施例中，所述的判断单元包括转换模块以显示器一角为坐标原点确定第一坐标系，将所述第二坐标转换至所述第一坐标系中；比较模块比较转换后的第二坐标与所述第一坐标，若相同，则确定为对应。
为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。
本发明在3D空间中，通过肢体动作对3D显示的系统进行操作，在操作时人可以在空间中做多种三维动作，实现系统的多种操作，并且它不需要不接触任何设备，避免公共场所的交叉感染。实现了不通过任何输入设备，也不需要触摸到主机，就可对3D显示的操作系统进 行操作，更加灵活的实现了人机交互。它适用于公共场所中的各种对外开放设备， 如银行ATM、取号机、通讯商的话费缴纳机，火车站和地铁内的自动售票机等。
说明书附I是本发明的方法示意图；图2是本发明的方法流程图；图3是本发明的系统示意图；图4是3D显不原理图；图5是双目摄像头采集肢体位置示意图；图6是双目摄像头采集肢体位置示意图；图7是本发明两种坐标系空间不意图；图8是本发明操作系统效果图；图9是本发明实施例一效果图；
图10是本发明实施例一效果图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。
本发明基于目前的3D显示技术和机器视觉技术，将3D显示的立体图像和人的肢体在空间中对应，如图I所示；在视觉上形成肢体触碰到空间中图像的感觉，从而实现真实的隔空操作，即实现非接触式操作。使人机交互更加灵活，并且不需要接触任何设备，避免公共场所设备的交叉感染。
本发明提出的一种非接触式界面操作方法，如图2，具体流程如下步骤201 :记录3D显示的操作界面中操作点的第一坐标；首先，对于系统操作界面，利用3D显示技术，将系统操作界面在三维空间中显示。3D显示技术就是利用一系列的光学方法，使人的左右眼产生视差从而接收不同的画面，在大脑形成3D立体效果。人双眼能同时看同一方向，但是眼间距离越65mm，因此不能瞄上同一直线，在一定范围内双眼看到的图像有差异。
如图4所示，左右眼分别看到左眼图和右眼图，那么视线在中间会有一个交点，在这个交叉处，视觉上会形成两图合成的立体图像，这样大脑将两幅图合成为一个在交点处立体图。通过3D显示原理，以显示器的左上角为空间原点O,显示器面为XY平面，垂直显示器方向为Z轴，我们可以得到系统操作界面中操作点在三维空间中的坐标W。
步骤202 :识别并记录人手的第二坐标；人看到三维显示的立体操作界面，并通过肢体动作对看到的界面进行操作。用双目摄像头采集的肢体动作。并对它进行动作识别，同时计算出肢体在运动中的3D坐标。
如图5和图6所示，两台焦距为/的摄像机平行放置，光轴之间的距离为八图5中的两个矩形分辨表示左右摄像机的成像平面，O1和Or为左右摄像机的焦点，对于场景中的任意一点八在左右摄像机成像平面上的成像点分别为A和&，它们在成像平面上的成像坐标(图像坐标)为夕和7，则视差定义为= y - X r ;如6所示。
以图5中的左摄像机焦点O1为原点，O1Or所在直线为Z轴，左摄像机光轴为Z轴， 垂直于^轴的为Y轴，则P点在O1坐标系中的坐标可以按照公式(I)计算d d d 步骤203 :判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
通过步骤201和步骤202，我们计算出了操作点j, Z)的坐标和人做动作时的肢体坐标W，由于两个坐标不是在同一坐标系下，根据左摄像头和显示器的位置关系，将/7点转换到和j点相同的坐标系下，得到在同一坐标系下的J, W。具体坐标转换方式如下由于摄像头放在显示器的上方，此处设左摄像头与原点O的距离为7，即在以0为原点的空间坐标系的X轴上，其光轴与X轴垂直，与XY平面夹角为〃，如图7所示。
由步骤202中计算肢体坐标时，以左摄像头光轴为Z轴，那么设肢体坐标点为P(x,y,z),则将/^转换到以0为原点的空间坐标系下的/，如下式所示疒 IX = X+I< y = ^jy2 +Z2 cos Θ(2)z = -Jy2 + Z2 sin Θ最后，利用识别技术判断出人的肢体动作，此动作需要触碰到在三维空间某一位置的操作点，若D和Zy两点重合，说明此动作在空间中触碰到视觉上三维显示的操作点，但并非触到显示器本身，此时操作系统进行动作响应，否则不响应。
如图8所示，人在显示器前看到3D显示的系统操作界面，然后在三维空间中用肢体动作去操作，利用两个摄像头采集下人的动作，利用识别跟踪技术，确定肢体运动形式并记录运动过程中的3D坐标，根据运动形式以及肢体坐标与界面操作点的坐标对应，来判断系统是否响应当前操作。在上述这一过程中，在大脑视觉上人的肢体接触到了系统操作界面，而在真实空间中，人体任何部分始终不用接触显示器，也不用借助其它的传感装置，仅仅在空间中系统界面显示区域进行运动，就可实现对系统的操作，因此实现了非接触式操作。
具体实施例一本实施例模拟银行办理业务需要拿号排队，取号机为非接触式操作系统。
I.客户站在取号机前，利用3D眼镜或者其它技术看到在空间显示的操作界面。界面示意图如图9所示；其中界面前面三个业务操作块即客户看到的3D显示的界面，把取号机显示器左上角当作空间坐标原点0，根据3D显示原理计算出3D显示的操作块坐标队
2.客户需要操作个人业务，伸手点击显示在空间的个人业务块，处于显示器处的两个摄像机对手运动进行采集，判断是手指点击动作后，通过式(I)计算出手指的3D坐标 P,如图10所示。
3.根据摄像头A与0之间的位置关系，将手指坐标产转换到以0为原点的空间坐标系下为广，计算式(2)。若经过转换后的手指坐标^与个人业务块坐标D相同，即在视觉上已经点击到界面中操作块，此时操作系统给予响应，打印出个人业务的排号纸条。
下面介绍本发明提出的非接触式操作系统图3为本发明的非接触式操作系统结构示意图，该系统包括第一单元301、第二单元 302和判断单元303。
上述第一单元301 :记录3D显示的操作界面中操作点的第一坐标；上述第二单元302 :识别并记录人手的第二坐标；上述判断单元303 :判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
进一步上述第一单元中301包括显示模块3011和第一模块3012。
上述显示模块3011 :通过3D方式显示操作界面；上述第一模块3012:以显示器一角为坐标原点确定第一坐标系，确定操作界面中操作点在第一坐标系中的坐标。
进一步上述第二单元302包括采集模块3021和第二模块3022。
上述采集模块3021 :通过两个摄像头采集人手的手势及位置信息；上述第二模块3022 :以其中任一摄像头为坐标原点确定第二坐标系，确定人手在第二坐标系中的坐标。
进一步上述判断单元303包括转换模块3031和比较模块3032。
上述转换模块3031 :以显示器一角为坐标原点确定第一坐标系，将所述第二坐标转换至所述第一坐标系中；上述比较模块3032 :比较转换后的第二坐标与所述第一坐标，若相同，则确定为对应。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样， 本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语 “包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，·”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
权利要求
1.一种非接触式界面操作方法，其特征在于，包括记录3D显示的操作界面中操作点的第一坐标；识别并记录人手的第二坐标；判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
2.如权利要求I所述的方法，其特征在于，所述的记录第一坐标包括通过3D方式显示操作界面；以显示器一角为坐标原点确定第一坐标系，确定操作界面中操作点在第一坐标系中的坐标。
3.如权利要求I所述的方法，其特征在于，所述的记录人手的第二坐标包括通过两个摄像头采集人手的手势及位置信息；以其中任一摄像头为坐标原点确定第二坐标系，确定人手在第二坐标系中的坐标。
4.如权利要求I所述的方法，其特征在于，所述的判断是否对应包括以显示器一角为坐标原点确定第一坐标系，将所述第二坐标转换至所述第一坐标系中；比较转换后的第二坐标与所述第一坐标，若相同，则确定为对应。
5.一种非接触式界面操作系统，其特征在于，包括第一单元记录3D显示的操作界面中操作点的第一坐标；第二单元识别并记录人手的第二坐标；判断单元判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应。
6.如权利要求5所述的系统，其特征在于，所述的第一单元包括显示模块通过3D方式显示操作界面；第一模块以显不器一角为坐标原点确定第一坐标系，确定操作界面中操作点在第一坐标系中的坐标。
7.如权利要求5所述的系统，其特征在于，所述的第二单元包括采集模块通过两个摄像头采集人手的手势及位置信息；第二模块以其中任一摄像头为坐标原点确定第二坐标系，确定人手在第二坐标系中的坐标。
8.如权利要求5所述的系统，其特征在于，所述的判断单元包括转换模块以显示器一角为坐标原点确定第一坐标系，将所述第二坐标转换至所述第一坐标系中；比较模块比较转换后的第二坐标与所述第一坐标，若相同，则确定为对应。
全文摘要
本发明公开了一种非接触式界面操作方法及系统，包括记录3D显示的操作界面中操作点的第一坐标；识别并记录人手的第二坐标；判断所述第一坐标与第二坐标是否对应，以使操作界面进行响应；本发明在3D空间中，通过肢体动作对3D显示的系统进行操作，在操作时人可以在三维空间中做多种动作，实现系统的多种操作，使人机交互更加灵活，并且它不需要接触任何设备，避免公共场所设备的交叉感染。
文档编号G06F3/042GK102880352SQ201110193258
公开日2013年1月16日 申请日期2011年7月11日 优先权日2011年7月11日
发明者程懿远, 胡洪磊, 王嘉, 鲍东山 申请人:北京新岸线移动多媒体技术有限公司