用户接口和用于从用户接口的第一操作模式变换成3d手势模式的方法
【专利摘要】提出一种用户接口和用于从用户接口的第一操作模式变换3D手势模式的方法，借助于3D手势模式用户接口的操作可通过多个在空间中自由实现的手势（下面称为3D手势）实现。方法包括步骤：?在预定义的区域中借助于传感器检测用户的手部(4)，?识别用户的手部(4)的预定义的姿势和/或用户的手部(4)的预定义的运动，以及?从第一操作模式变换成3D手势模式。
【专利说明】
用户接口和用于从用户接口的第一操作模式变换成3D手势模式的方法
技术领域
[0001]本发明涉及用户接口以及用于用户接口的第一操作模式变换成3D手势模式的方法，借助于3D手势模式用户接口的操作可通过多个在空间中自由实现的手势实现。尤其是本发明涉及通过轻松然而安全地初始化3D手势模式避免错误操作步骤。
【背景技术】
[0002]在自由空间中的手势操作非常受欢迎。借助于这种3D手势用户可以与人机接口通信，而不用与输入设备身体接触。例如通过基于光学和/或红外的系统识别手势并且转换为控制命令。对于3D手势操作的开始和接下来操作的实现在现有技术中已知不同的方法。
[0003]DE102012000263A1公开方法和设备用于通过使用在三维空间中实现的手势操作车辆中的功能。如果通过在车辆的顶盖区域中布置的检测设备在有效检测区域中对于第一预定持续时间检测到使用者的手部或手指，则激活手势控制。对于使用者的学习过程提出，通过光学和/或声学反馈在手势操作期间实现使用者的盲操作。
[0004]DE102006037156A1描述交互的操作设备，通过操作设备实现在显示设备表示的图形内容的手势操作。根据确定的操作意图最优地表示用于激活与其相关联的功能的在显示设备上表示的图形内容。例如在接近按钮的情况下放大地表示按钮。
[0005]DE102009008041A1公开用于用触摸屏操作机动车的方法，其中设置接近传感器用于识别用于实现或者初始化机动车的功能的实现的手势。如果在触摸屏的周围实现手部的手势而不触摸触摸屏，则实现机动车的功能。
[0006]在现有技术中已知方法没有尽可能重复利用简化手势操作的初始化的技术可能性。在此本发明的任务在于满足前述需求。
【发明内容】
[0007]根据本发明前述任务通过具有权利要求1所述特征的方法以及通过具有权利要求6所述特征的用户接口解决。此外提出用于解决该任务的用户终端装置，计算机程序产品，信号序列和运输工具。该方法用于从第一操作模式(其中用于开始用户接口或者与其以通信技术连接的EDV-设施的多个功能的3D手势操作不可能)变换从3D手势模式(借助于3D手势模式用户接口的操作可通过多个在空间中自由实现的手势实现)。第一操作模式可以例如完全在操作上通过以硬件设计的按钮，旋转压力调节器，移动/滑动变阻器等等，并且备选地或附加地通过使用显示单元(例如触摸屏)的触摸敏感的表面设计。换句话说在第一操作模式中不通过3D手势调用与图形内容关联的功能。在3D手势模式的开始在第一步骤中在传感器的预定义的检测区域中检测用户的手部。传感器可以设计成例如光学传感器和/或红外-传感器(例如红外-LED-板条(Leiste))。原则上可以使用全体在用于识别3D手势的现有技术中已知并且证明有效的传感器。在第二步骤中识别用户的手部的预定义的姿势和/或用户的手部的预定义的运动。用户的手部的预定义的姿势和/或手部的预定义的运动可以原则上任意或者以合适的方式选择。仅重要的是，手部的预定义的姿势或者预定义的运动在3D手势模式的开始进行预定义。相对于现有技术在此不仅适合于在预定义的区域中手部的存在，从而尽可能避免从第一操作模式到3D手势模式的转换的偶然发动。
[0008]从属权利要求示出本发明的优选改进方案。
[0009]优选地根据本发明的方法包括开始定时器。定时器可以例如响应于识别用户手部的预定义的姿势和/或响应于识别用户手部的预定义的运动开始。在这个改进方案中首先如果预定义的姿势和/或运动在定时器到期之前没有结束，则转换到3D手势模式。换句话说在定时器到期时检查，预定义的姿势/运动是否还继续并且首先响应于两个条件从第一操作模式转换到3D手势模式。
[0010]预定义的姿势可以包括例如在用于3D手势-识别的使用的传感器的方向上和/或在用户接口的显示单元的方向上打开的手掌。在此打开的手掌基本上位于平行于显示单元的表面或者基本上垂直于传感器的方向。附加地作为预定义的姿势的条件可以要求，手部的手指以预定义的方式叉开和/或伸展。备选地或附加地可以预定义一个或多个其他手势，以便开始或结束手势操作。对此的其他示例为所谓的“拇指向上”手势或抓握手势(例如或多个或所有手指尖的相聚或者在使用的传感器的方向上和/或在用户接口的显示单元的方向上打开的手部姿势的拳头的紧握)。这种手势证实为传感器可更安全识别并且在此为适合用于3D手势模式的开始。
[0011]可选地响应于识别手部的预定义的姿势或者手部的预定义的运动关于3D手势模式这时激活的光学和/或声学通知可以输出到用户。备选地或附加地该通知还可以响应于完成的转换到3D手势-模式实现。这样避免了，尽管3D手势操作可已经实现，用户不必要长地占据预定义的姿势或者实施运动。例如根据本发明设计的车辆的驾驶员可以快速又获得其驾驶任务，这提高了交通安全性。作为光学通知例如手部符号可在显示单元的图形内容的边缘区域中表示，尤其是动画示出。备选地或附加地声音信号，卡搭噪声或语音输出实现作为声学通知。所述通知表示不触目的可能性，通知用户关于3D手势模式的成功开始。
[0012]根据本发明的第二方面提出用户接口，其包括传感器用于检测用户的手部在空间中自由实现的手势。此外用户接口具有显示单元用于表示自由选择的图形内容。对此显示单元可以例如设计为矩阵屏幕，其在运输工具的仪表板中作为组合仪表和/或作为中央信息显示器嵌入。附加地设置评估单元(其例如可以包括可编程处理器)用于识别传感器的信号中的多个手势。在汽车环境中这种评估单元还称为“电子控制装置(ECU)”。评估单元设立成识别用户的手部的预定义的姿势和/或用户的手部的预定义的运动。对此评估单元可以分析检测的运动模式并且与(例如在本地或无线连接的数据库)存储的参考进行比较。如果比较成功，换句话说也就是识别的3D手势与3D手势模式的开始关联，则评估单元将根据本发明的用户接口从第一操作模式(其中虽然识别单独的在3D手势模式的开始设置的手势，但不是多个3D手势的使用与不同的功能调用结合)置换为3D手势模式(其中，这成为可能)。特征，特征组合和由此得出的优点相应于连同根据本发明的方法实施的如此明显，从而为了避免重复参考上面实施。
[0013]优选地传感器可以是光学传感器，例如在运输工具的顶盖上布置。备选地或附加地还可以在红外区域工作的传感器中设置，以实现或支持手势识别。
[0014]优选地可以设置光学和/或声学输出单元用于输出关于3D手势模式的成功开始的通知。在LED或矩阵-显示器为光学的输出单元时，优选地扬声器用于输出声学通知(例如语音输出，声音信号，噪声)。
[0015]根据本发明的第三方面提出计算机程序产品(例如数据存储器)，其上存储指令，其使得根据本发明的第二提及的方面的用户接口的评估单元的可编程处理器能够执行根据第一提及的发明方面的方法的步骤。计算机程序产品可以设计为CD，DVD，蓝光盘，闪速存储器，硬盘，RAM/R0M，高速缓存等等。
[0016]根据本发明的第四方面提出表示信号序列的指令，其使得根据本发明的第二提及的方面的用户接口的评估单元的可编程处理器能够执行根据第一提及的本发明方面的方法步骤。这样还将对于下列情况以信息技术提供指令置于保护之下:在此要求的存储介质位于所附权利要求的适用范围之外。
[0017]根据本发明的第五方面提出用户终端装置，其可设计成例如便携电子装置。尤其是电子无线通信装置(如智能电话，平板-PC或笔记本电脑/膝上型电脑)适合于通过根据本发明的用户接口扩展并且使得变成用户友好可操作。便携用户终端装置经常具有总体需要的硬件以便于支持3D手势操作。此外关于用户终端装置和与其相关的特征和优点参考上面实施。
[0018]根据本发明的第六方面提出运输工具，其可以设计成例如汽车，运输器，卡车，飞行器和/或船舶。根据本发明运输工具包括用户接口，如其连同第二提及的本发明方面上面详细所述的一样。显示单元可以设计成固定嵌入到运输工具的仪表板中的中央屏幕和/或作为组合仪表。这样运输工具同样设立用于解决根据本发明的任务或者用于在根据本发明的方法中使用。
【附图说明】
[0019]下面参考所附附图详细描述本发明的实施例。在附图中:
图1是根据本发明设计的汽车的实施例中的根据本发明的用户接口的实施例的组件的示意概览；
图2是根据本发明设计的用户终端装置的实施例中的根据本发明的用户接口的实施例的组件的示意概览；
图3是用于解释根据本发明的方法的实施例的第一方法步骤的表示；
图4是根据本发明可使用的手势的选择；
图5是用于解释根据本发明的方法的第二实施例的第一方法步骤的表示；以及图6是阐明根据本发明的方法的实施例的步骤的流程图。
【具体实施方式】
[0020]图1示出作为运输工具的汽车10，其中根据本发明的用户接口的屏幕3作为显示单元嵌入到汽车10的仪表板中。在屏幕3之下布置传感器5，所述传感器在屏幕3之前在空间中展开检测区域9。设置扬声器11用于输出用户接口 I的通知。最后用于提供用于手势识别的预定义的参考的数据存储器还包含在汽车10中。所述的组件以信息技术连接到以电子控制装置7的形式的评估单元。此外电子控制装置7设立用于在屏幕3上表示图形内容2。
[0021]图2示出关于以智能电话形式的根据本发明的用户终端装置20的实施例中的根据本发明的用户接口的实施例的组件的概览。智能电话的屏幕3是显示单元，微处理器7是评估单元，闪速存储器8是存储介质并且扬声器11是根据本发明的用户接口 I的信号传送器。附加地红外-LED-板条5作为传感器与微处理器7以信息技术连接。后者还与天线17耦合以便无线地与无线基础设施或者其他用户终端装置通信。智能电话20的键盘6部分自由切割(freigeschnitten)，以便于可以看到位于其后的组件。
[0022]图3示出操作步骤，其中在作为显示单元的屏幕3上通过用户的手部4操作菜单2用于选择作为图形内容的无线电发生器。在3D手势操作的开始用户的手部4实施在用户接口的检测区域中的预定义的手势。在示例中它是，打开的手部指向屏幕3的方向上并且手部4的五个手指保持伸展并且适度叉开。作为其响应(未示出)评估单元设立成还将手部4的其他手势转换成控制屏幕3上的菜单2的命令。仅仅可选地可以规定，手部4的示出的姿势必须对于固定预定义的时间占用或者保持。
[0023]图4示出与根据本发明的用户接口I交互的可能的手部姿势和手势。在子图a中手部4的打开的手掌指向屏幕3的方向上。手部4的手指伸展并且(轻微)叉开的。在子图b中表示手部4的指示手势，其中仅指示手指伸展，其余手指收缩到拳头。在子图c中说明指点手势或者点击手势，其中手部4的指示手指首先伸展并且随后在屏幕3的方向上下翻。
[0024]图5示出操作步骤，其跟随在图3中讨论的登记过程可接在成功3D手势操作之后。用于3D手势操作的结束并且因此为了保护根据本发明的用户接口防止偶然手势操作，打开的具有伸展以及(适度)叉开的手指指向屏幕3的方向的手部4沿着箭头P从传感器(两个都未示出)的检测区域引到外面。换句话说根据本发明还规定，用户的手部4的预定义的姿势和/或用户的手部4的运动设置用于3D手势模式的结束。这样用户可以独立决定，用于3D手势操作的可能性是否继续存在(在这种情况下手部4在没有预定义的姿势/运动的情况下从用户接口的检测区域引到外面)，或他是否想要如前所述结束3D手势模式。
[0025]图6示出用于从用户接口的第一操作模式转换到3D手势模式的根据本发明的方法的实施例的方法步骤。在第一步骤100中在显示单元上表示图形内容，所述图形内容适合随后关于3D手势操作。对此用户将其手部导引到用户接口的传感器的预定义的检测区域中。在步骤200中用户的手部通过传感器检测并且在步骤300中检测用户手部的预定义的姿势和/或运动。尤其是对此适合的是一方面传感器可安全地检测并且然而还是在用户工作时与一般姿势/运动的良好区分的手势。在步骤400中开始定时器，定时器的到期提出用于3D手势模式的开始的另外的条件。如果定时器到期，在预定义的姿势/运动结束之后(是)，则系统留着第一操作模式中。相应地在这种情况下方法返回步骤100。如果定时器到期，在用户手部的预定义的姿势/运动结束之前，则系统在步骤500中从第一操作模式转换到3D手势模式并且在步骤600中输出光学和声学关于下列的通知:成功激活3D手势模式。
[0026]此外当根据连同所附附图解释的实施例详细描述根据本发明的方面和有利实施方式时，对于技术人员来说在不背离本发明的范围的情况下表示的实施例的特征的修改和组合是可能的，本发明的保护范围通过所附权利要求来限定。
[0027]附图标记列表I用户接口
2菜单 3屏幕4用户的手5传感器7电子控制装置8数据存储器9检测区域10汽车11扬声器100-600方法步骤P箭头
【主权项】
1.一种用于从用户接口(I)的第一操作模式变换成3D手势模式的方法，借助于所述3D手势模式能通过下面称为3D手势的多个在空间中自由实现的手势实现用户接口(I)的操作，包括下列步骤: -借助于传感器(5)检测(200)在预定义的区域(9)中的用户的手部(4)， -识别(300)用户手部(4)的预定义的姿势和/或用户的手部(4)的预定义的运动，以及 -从第一操作模式变换(500)为所述3D手势模式。2.如权利要求1所述的方法，还包括步骤 -开始(400)定时器，并且在在定时器到期之前用户的手部(4)的识别的预定义的姿势和/或用户的手部(4)的预定义的运动未结束的条件下， -从所述第一操作模式变换(500)成所述3D手势模式。3.如权利要求2所述的方法，其中所述定时器响应于用户的手部(4)的预定义的姿势的识别(300)和/或用户的手部(4)的预定义的运动的识别(300)开始。4.如先前权利要求之一所述的方法，其中 -所述预定义的姿势包括 -尤其是具有叉开的手指的在用于手势识别的传感器(5)的方向上和/或在显示单元(3)的方向上打开的手掌， -和/或“拇指向上”手势，和/或其中 -所述预定义的运动包括抓握手势。5.如先前权利要求之一所述的方法，还包括 输出(600)关于所述3D手势模式这时有效的光学和/或声学通知。6.—种用户接口，包括 -传感器(5)，用于检测(200)由用户的手部(4)在空间中自由实现的手势，下面称为3D手势， -显示单元(3)，用于表示图形内容(2)，以及 -评估单元(7)，用于识别传感器(5)信号中的多个手势， 其中所述评估单元(7)设立成识别(300)用户的手部(4)的预定义的姿势和/或用户的手部(4)的预定义的运动，以及 所述用户接口(I)作为其响应从第一操作模式移动到3D手势模式。7.如权利要求6所述的用户接口，其中所述传感器(5)是光学传感器和/或在红外区域中工作的传感器。8.如权利要求6或7所述的用户接口还包括，尤其是光学和/或声学的输出单元用于输出关于所述3D手势模式激活或者去激活的通知。9.用户终端装置，尤其是电子无线通信装置，包括如权利要求6-8中任一项所述的用户接口⑴。10.计算机程序产品，包括指令，当其在如权利要求6-8中任一项所述的用户接口(I)的可编程处理器(8)上执行时，其促使所述用户接口(I)执行如权利要求1-5中任一项所述的方法的步骤。11.代表信号序列的指令，当其在如权利要求6-8中任一项所述的可编程处理器(8)上执行时，其促使所述用户接口(I)，执行如权利要求1-5中任一项所述的方法的步骤。12.—种运输工具，其包括如权利要求6-8中任一项所述的用户接口(I)，其中所述显示单元(3)设计为固定地嵌入运输工具(10)的仪表板中的中央屏幕和/或设计为运输工具(10)的组合仪表。
【文档编号】G06F3/01GK106030462SQ201580009060
【公开日】2016年10月12日
【申请日】2015年2月6日
【发明人】H.维尔德, M.P.切尔尼克
【申请人】大众汽车有限公司