移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法
【专利摘要】本发明的移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法算出根据3D摄像头(6)的检测信号确定的操作者A的手部位置与用于进行手势操作的预先规定的手部位置的差所对应的强调度R，在每次根据3D摄像头(6)对操作者(A)的手部的检测，算出强调度(R)时，以所算出的强调度(R)通知手势操作的操作对象物，从而将操作者(A)的手部向预先规定的手部位置引导。
【专利说明】移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法
技术领域
[0001]本发明涉及一种识别移动体内操作者手势的移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法。
【背景技术】
[0002]已提出一种系统，其识别操作者所做的手势后，对移动体内存在于离开操作者的位置的设备进行操作。这种系统需要正确识别手势后进行操作，因此将用于做手势的空间位置告知操作者很重要。
[0003]例如，专利文献I已公开一种系统，其使用全息图等技术将操作开关和按钮等操作系统的虚像显示在空间，识别对该虚像做出的手势后对设备进行操作。该系统中，显示在空间内的虚像如同实际的操作对象设备的操作系统一般，能够对其做手势。因此，操作者能够轻易得知显示虚像的位置是用于做手势的空间位置。
[0004]此外，专利文献2所记载的发明中，将操作者的视点位置与操作对象物的位置用直线连接，在该直线上的空间内检测到操作者的手指时，判断正在对该操作对象物进行操作。通过如上方式，操作者能够根据自己的视点与操作对象物的三维位置关系得知用于做手势的空间位置。
现有技术文献 [专利文献]
[0005][专利文献I]日本专利特开2005-234676号公报[专利文献2]日本专利特开2005-280396号公报
【发明内容】
发明所要解决的技术问题
[0006]专利文献I需要一种特殊装置，其使用全息图等技术将操作开关和按钮等操作系统的虚像显示在空间，因此存在系统结构复杂而导致成本增加的课题。
[0007]此外，专利文献2以操作者的视点作为基准判断用于做手势的空间位置，因此根据操作者的头部动作，用于做手势的空间位置也会发生偏移。因此，由于头部动作导致错误检测操作者的视点时，操作者无法得知用于做手势的位置，可能无法正确进行操作。
[0008]本发明为解决上述课题开发而成，其目的在于得到一种移动体用手势引导装置、移动体用手势引导系统及移动体用手势引导方法，其能够以简单结构实现，且能够引导成用于进行手势操作的合适状态。
解决技术问题所采用的技术方案
[0009]本发明所述的移动体用手势引导装置具备:强调度算出部，所述强调度算出部根据检测操作者的手部的传感器的检测信息，确定操作者的手部位置，算出操作者的手部位置与进行手势操作的预先规定的位置的差所对应的强调度；以及通知控制部，所述通知控制部在每次根据传感器对操作者的手部的检测，由强调度算出部算出强调度时，以所算出的强调度将手势操作的操作对象物通知给通知装置后，将操作者的手部向预先规定的位置引导。
发明效果
[0010]根据本发明，具有能够以简单结构实现，且能够引导成用于进行手势操作的合适状态的效果。
【附图说明】
[0011]图1是表示本实施方式I所述的移动体用手势引导装置的结构的方块图。
图2是表示实施方式I所述的移动体用手势引导装置的动作的流程图。
图3是表示操作者的手部、操作对象物及做手势区域的位置关系的图。
图4是表示操作者的手部形状的图。
图5是表示实施方式I的操作对象物的通知方式的图。
图6是表示实施方式2的操作对象物与做手势区域的关系的图。
图7是表示操作者的手部距做手势区域的中心位置的偏离方向所对应的通知方式的一例的图。
图8是表示实施方式3的操作对象物与所对应的多个做手势区域的关系的图。
图9是表示实施方式3的各做手势区域与操作对象物的关系的图。
图10是表示实施方式3的各通知装置的操作对象物与做手势区域的关系的图。
图11是表示本发明实施方式4所述的移动体用手势引导装置的结构的方块图。
图12是表示做手势区域的设定画面的一例的图。
【具体实施方式】
[0012]以下根据附图对更详细说明本发明和实施本发明的方式进行说明。
实施方式1.图1是表示本实施方式I所述的移动体用手势引导装置的结构的方块图。移动体用手势引导装置I在乘坐在车辆等移动体上的操作者对操作对象物进行手势操作时，将操作者的手部向预先规定的做手势区域引导，并向对该手势操作预先规定的手部形状引导。
图1中，移动体用手势引导装置I具备运算部2、I/F(接口)部3、以及事件检测部4，上述各部通过总线5分别连接。
此外，移动体用手势引导装置I经由I/F部3与3D摄像头6、扬声器7、HUD(平视显示器)8、以及中心显示器9连接。
[0013]运算部2相当于安装在移动体用手势引导装置I上的CPU，进行各种控制的运算处理。此外，运算部2如图1所示，具备通知控制部20、强调度算出部21、以及手势识别部22。例如，通知控制部20、强调度算出部21、以及手势识别部22通过由软件编程的CPU实现。
[0014]通知控制部20在每次根据3D摄像头6对操作者的手部的检测，由强调度算出部21算出强调度时，以所算出的强调度将手势操作的操作对象物通知给通知装置，来将操作者的手部向预先规定的位置和对手势操作预先规定的手部形状引导。此处，操作对象物例如是作为手势操作对象的元件或应用。 此外，通知装置是将操作对象物通知给操作者的装置，图1中相当于扬声器7、HUD8、中心显示器9。即，操作对象物的通知方式包括:通过由扬声器7输出的声音进行通知的方式；以及通过HUD8或中心显示器9显示的显示物进行通知的方式。
此时，通过声音进行通知的方式中，根据强调度改变通知声音的音量、声音的种类等。通过显示物进行通知的方式中，根据强调度改变显示物的透明度、颜色、大小、形状等。
[0015]强调度算出部21根据操作者的手部的检测信息，确定操作者的手部位置及形状，算出操作者的手部位置及形状与进行手势操作的预先规定的手部位置及形状的差所对应的强调度。
例如，将操作者的手部位置与做手势区域的位置的差定量化，并将操作者的手部形状与对操作对象物的手势操作预先规定的手部形状的差定量化后，分别得出差异度，然后分别使用该差异度算出强调度。此时，强调度算出部21算出强调度，使得操作者的手部越靠近做手势区域且操作者的手部形状越接近预先规定的形状，强调度的值越大。
通过如上方式，操作者的手部越靠近对操作对象物预先规定的做手势区域，越强调通知操作对象物。如此，操作者通过将手部向强调操作对象物的方向移动，从而操作者的手部被引导至进行手势操作的预先规定的手部位置(做手势区域)，并被引导成对该手势操作预先规定的手部形状。
[0016]I/F部3是在移动体用手势引导装置1、3D摄像头6、扬声器7、HUD8、以及中心显示器9之间进行信息交换的接口。另外，由移动体用手势引导装置1、3D摄像头6、扬声器7、HUD8、以及中心显示器9构成将操作者的手部向做手势区域和预先规定的手部形状引导的移动体用手势引导系统。
[0017]事件检测部4经由天线4a及总线5检测来自外部的事件。此处，事件的含义是指产生了应该通知用户的信息，所述信息包括:经由天线4a检测到的来自车辆外部的邮件来信、或者经由总线5从车载传感器(图中未显示)获得的缺少汽油等信息。
[0018]3D(三维)摄像头6是检测操作者的手部的传感器。例如，根据3D摄像头6的检测信息(拍摄信息)，获得用于确定拍摄视野内的操作者的手部的空间位置(深度信息)及手部形状的图像信息。强调度算出部21输入这些信息作为3D摄像头6的检测信息，从而确定操作者的手部位置及形状。
3D摄像头6例如能够使用立体摄像头或T0F(Time Of Flight:飞行时间)摄像头实现。
[0019]扬声器7是通过声音输出以听觉方式通知操作对象物的通知装置。此外，HUD8及中心显示器9是显示操作对象物所对应的显示物来以视觉方式通知的通知装置。另外，HUD8是设置在驾驶座前方的挡风玻璃或方向盘与挡风玻璃之间的投影板等上投影显示信息的显示器。中心显示器9是配置在车室内前方的仪表板的中央部附近的显示器。
[0020]另外，如图1所示的示例中，移动体用手势引导装置I具备手势识别部22，表示出手势识别部22识别做手势区域中操作者的手势操作的结构，但是并不限定于此。
即，也可以通过如下方式构成:将识别手势操作的构成要素设置在与移动体用手势引导装置I不同的装置上，与通知控制部20及强调度算出部21协同来识别手势操作。
此外，表示出移动体用手势引导装置I将操作者的手部向进行手势操作的预先规定的手部位置(做手势区域)引导，并向对该手势操作预先规定的手部形状引导的示例，但是并不限定于此。 例如，强调度算出部21根据传感器的检测信息，仅确定操作者的手部位置，算出该操作者的手部位置与做手势区域的差所对应的强调度。
而且，通知控制部20在每次根据传感器对操作者的手部的检测，由强调度算出部21算出强调度时，以所算出的强调度将手势操作的操作对象物通知给通知装置，从而将操作者的手部向预先规定的位置引导。
[0021]接着对动作进行说明。
图2是表示实施方式I所述的移动体用手势引导装置的动作的流程图，并根据该图2所示流程图的流程进行说明。
首先，事件检测部4检测事件(步骤ST1)。事件检测部4通知检测到事件后，强调度算出部21将预先规定的强调度R的初始值输出到通知控制部20。此处，为了在事件发生时便于用户识别该事件所对应的操作对象物，将强调度R的初始值设为最高的强调度或者与其相应的值。
[0022]通知控制部20对通知装置进行控制，使其以强调度R的初始值通知事件所对应的操作对象物。具体地进行说明，即通知控制部20根据事件检测部4检测到的事件的相关信息与从强调度算出部21输入的强调度R的初始值，确定事件所对应的操作对象物，并输出以强调度R的初始值通知所确定的操作对象物的通知命令。通知命令经由I/F部3被输出给通知装置(扬声器7、HUD8、中心显示器9)。扬声器7、HUD8、中心显示器9根据通知命令以强调度R的初始值通知事件所对应的操作对象物(步骤ST2)。
[0023]图3是表示操作者的手部、操作对象物及做手势区域的位置关系的图。图3中，操作者A是用方向盘12进行驾驶的驾驶员。例如，事件是邮件来信时，邮件来信所对应的图标10显示在HUD8的投影构件(挡风玻璃或投影板)8a上。此处，图标10是作为手势操作对象的操作对象物。一旦出现邮件来信，由于已设定强调度R的初始值，因此图标10被立即明确显示，便于操作者A确认。例如，图标10以最低的透明度显示。
[0024]如上述所示，操作对象物的相关事件发生，从而通知装置以强调度R的初始值通知操作对象物时，如果该事件发生后已经过设定时间，则强调度算出部21依次算出从强调度R的初始值逐渐降低的强调度R。通知控制部20对通知装置进行控制，使其以强调度算出部21依次算出的强调度R通知操作对象物。如此，通知装置以逐渐降低的强调度R通知操作对象物(步骤ST3)。
[0025]如此，事件发生且通知操作对象物后经过设定时间仍未检测到对该操作对象物进行手势操作的操作者A的手部时，将强调度R逐渐降低来通知操作对象物。如此，能够防止以较高的强调度R不必要地持续通知操作对象物。
例如，在HUD8的投影构件8a上显示有图标10时，图标10被重叠显示在驾驶员的前方视野中，从而阻碍驾驶员的视野。
因此，如果经过设定时间仍未检测到操作者A的手部，则将强调度R逐渐降低，显示图标10使其透明度相应地变高。如此，图标10逐渐变得不明显，能够抑制驾驶员的视野受到阻碍。
另外，经过上述设定时间后又经过预先规定的时间仍未检测到操作者A的手部时，判断操作者A没有操作意愿，可以停止通知操作对象物。
[0026]事件发生后经过上述设定时间前或者经过上述设定时间后通知装置以逐渐降低的强调度R通知操作对象物的期间，强调度算出部21处于3D摄像头6检测操作者A的手部的检测等待状态。此处，如果未检测到操作者A的手部(步骤ST4:否)，则该检测等待状态持续。
3D摄像头6检测到操作者A的手部后(步骤ST4:是)，强调度算出部21根据3D摄像头6的检测信息，确定操作者A的手部位置及形状。3D摄像头6的检测信息是3D摄像头6拍摄到的3D影像，能够从该3D影像中得到操作者A的手部的二维影像及该影像的各像素所具有的纵深坐标。根据这些信息，确定操作者A的手部位置(空间位置)及手部形状。
[0027]接着，强调度算出部21算出所确定的操作者A的手部位置与预先规定的做手势区域11的位置差及所确定的操作者A的手部形状与对操作对象物的手势操作预先规定的手部形状的差异度所对应的强调度R(步骤ST5)。此处，做手势区域11如图3所示，被配置在操作者A与操作对象物即图标10之间。通过如上方式，操作者A能够一边视觉确认操作对象物一边直观地进行手势操作。
[0028]此外，强调度R例如根据下述式(I)算出。其中，下述式(I)中，如图3所示，d是从做手势区域11的中心O的位置坐标到操作者A的手部位置坐标的距离。另外，距离d是O以上的值，在操作者A的手部位于中心O时其值为O。此外，s是操作者A的手部形状与对操作对象物的手势操作预先规定的手部形状的差异度。相互的形状差异越大，差异度s取越大的正值。另外，α和β是正系数，用α和β设定强调度R中距离d和差异度s的影响程度。
另外，将操作者A的手部向做手势区域11引导，但不将操作者A的手部形状向对手势操作预先规定的手部形状引导时，即在算出强调度R的过程中不考虑差异度s时，例如将系数β设为O即可。
R= I/(α.d+β.s)......(I)
[0029]图4是表示操作者的手部形状的图。例如，对操作对象物的手势操作预先规定的手部形状是如图4(a)所示的形状a时，如果操作者A的手部是类似形状a的形状，则差异度s为较小值。另一方面，操作者A将手部形状变为图4(b)所示的形状b或图4(c)所示的形状c时，差异度s的值变大。如此，操作者A的手部偏离做手势区域11或者与预先规定的手部形状不同时，根据上述式(I)算出的强调度R为较低值。即，上述式(I)中，操作者A的手部越靠近做手势区域11内且操作者A的手部形状越接近预先规定的手部形状，强调度R的值越大。
[0030]通知控制部20对通知装置进行控制，使其按照步骤ST5以强调度算出部21算出的强调度R通知操作对象物。如此，通知装置以强调度R通知操作对象物(步骤ST6)。重复执行从步骤ST4到步骤ST6的处理，直至操作者A的手部进入做手势区域11内(直至距离d为O)。即，通知控制部20对通知装置进行控制，使其在上述重复期间，在每次由3D摄像头6依次检测到操作者A的手部，相应地由强调度算出部21算出强调度R时，以所算出的强调度R通知操作对象物。通知装置根据通知控制部20的控制，以强调度算出部21依次算出的强调度R通知操作对象物。
[0031]图5是表示实施方式I的操作对象物的通知方式的图，示出了通知邮件来信所对应的操作对象物的情况。如图5所示，强调度R为最大时，将邮件来信所对应的图标的透明度设为最小后显不。此外，通知邮件来?目的通知声首的首量也设为最大。相反地强调度R为最小时，将邮件来信所对应的图标的透明度设为最大来显示，通知邮件来信的通知声音的音量也设为最小。通知装置根据操作者A的手部位置及形状，以强调度算出部21依次算出的强调度R显示图标并输出通知声音。操作者A将手部向图标明确显示且通知声音变大的方向移动，从而操作者A的手部被引导至做手势区域11。
[0032]强调度算出部21根据3D摄像头6的检测信息算出强调度R后，根据距离d判定操作者A的手部是否存在于做手势区域11内(步骤ST7)。此处，如果操作者A的手部未进入做手势区域11内(步骤ST7:否)，则返回步骤ST4的处理。
另外，事件发生后经过设定时间仍未检测到操作者A的手部进入做手势区域11内时，强调度算出部21依次算出强调度R使其逐渐降低，通知控制部20可以对通知装置进行控制，以由强调度算出部21依次算出的强调度R通知操作对象物。通过如上方式，也能够防止持续通知不必要的操作对象物。
[0033]另一方面，操作者A的手部位于做手势区域11内时(步骤ST7:是)，强调度算出部21将此情况通知给通知控制部20。
通知控制部20从强调度算出部21接到上述通知后，对通知装置进行控制，通知操作者A的手部存在于做手势区域11内(步骤ST8)。例如，从扬声器7输出特殊声音，或者对操作对象物进行特殊显示。如此，操作者A能够识别出在移动体用手势引导装置I中能够识别手势操作。
[0034]此后，手势识别部22对做手势区域11内的操作者A的手部的指尖转动、摇手、特殊手部形状等手势操作进行识别(步骤ST9)。如此执行手势操作的识别結果的相应处理。
例如，事件为邮件来信时，执行指示阅读邮件的“选择”或者结束通知而不拆封邮件的“取消”等处理。
[0035]另外，由手势识别部22识别出“用手向右滑动”等表示不需要操作对象物的手势操作时，通知控制部20对通知装置进行控制，结束该操作对象物的通知。即，消除操作对象物的显示或停止通知声音的输出。如此，能够防止持续通知不必要的操作对象物。例如，能够消除HUD8上阻碍驾驶员的视野的不必要的操作对象物。
[0036]手势识别部22无法识别手势操作且操作者A的手部远离做手势区域11时，通知控制部20对通知装置进行控制，输出特殊声音或进行特殊显示，从而将处于手势操作无法识别状态的情况通知给操作者A。如此，操作者A能够直观地得知已远离做手势区域11，能够立即转到从步骤ST4开始的处理。
[0037]此外，实施方式I所述的移动体用手势引导装置I中，如图3所示，手势识别部22使操作对象物与做手势区域11 一对一对应，来对做手势区域11中进行的手势操作进行识别。例如，使多个不同的操作对象物与公共的做手势区域对应时，需要在公共的做手势区域对各个操作对象物进行手势操作。此时，如果每个操作对象物对应不同的手势操作，则容易引起操作失误。因此，使操作对象物与做手势区域11一对一对应，从而操作者A在每个操作对象物的做手势区域中进行操作对象物所对应的手势操作即可。如此，能够减少操作失误的发生。
[0038]如以上所示，根据本实施方式I，强调度算出部21根据3D摄像头6的检测信号，确定操作者A的手部位置，算出操作者A的手部位置与进行手势操作的预先规定的手部位置的差所对应的强调度R。通知控制部20在每次根据3D摄像头6对操作者A的手部的检测，由强调度算出部21算出强调度R时，以所算出的强调度R将手势操作的操作对象物通知给通知装置，来将操作者A的手部向预先规定的位置引导。
特别是强调度算出部21算出操作者A的手部位置与进行手势操作的预先规定的做手势区域11的中心位置的距离d所对应的强调度R。
采用这种结构后，无需为了对操作对象物的手势操作进行识别而使用全息图等将操作对象物的虚像显示在空间，能够以简单结构实现移动体用手势引导装置I。此外，操作者A将手部向强调通知操作对象物的方向移动，从而操作者A的手部被引导至进行手势操作的预先规定的手部位置(做手势区域)。如此，操作者A的手部被引导至用于进行手势操作的合适位置，能够提高手势操作的识别精度。
[0039]此外，根据本实施方式I，强调度算出部21根据3D摄像头6的检测信息，进一步确定操作者A的手部形状，算出操作者A的手部位置及形状与进行手势操作的预先规定的位置及对手势操作预先规定的手部形状的差所对应的强调度R，通知控制部20以强调度算出部21算出的强调度R将手势操作的操作对象物通知给通知装置后，将操作者A的手部向预先规定的位置和对手势操作预先规定的手部形状引导。
特别是强调度算出部21算出操作者A的手部位置与做手势区域11的中心位置的距离d及操作者A的手部形状与对操作对象物的手势操作预先规定的手部形状的差异度s所对应的强调度R。
通过采用这种结构，能够将操作者A的手部向用于进行手势操作的做手势区域11引导，进而向对该手势操作预先规定的手部形状引导。如此，能够将操作者A的手部向用于进行手势操作的合适状态引导，能够提高手势操作的识别精度。
[0040]进而，根据本实施方式I，在操作对象物的相关事件发生，导致通知装置通知该操作对象物时，如果事件发生后经过设定时间，则强调度算出部21依次算出强调度R使其逐渐降低，通知控制部20对通知装置进行控制，以由强调度算出部21依次算出的强调度R通知操作对象物。通过如上方式，能够防止持续通知不必要的操作对象物。
[0041 ]进而，根据本实施方式I，手势识别部22使操作对象物与做手势区域11 一对一对应，来对做手势区域11内的操作者A的手部的手势操作进行识别。通过如上方式，操作者A在每个操作对象物的做手势区域中进行操作对象物所对应的手势操作即可。如此，能够减少操作失误的发生。
[0042]进而，根据本实施方式I，由手势识别部22识别出表示不需要操作对象物的手势操作时，通知控制部20对通知装置进行控制，使其不通知该操作对象物。通过如上方式，能够防止持续通知不必要的操作对象物。
[0043]进而，根据本实施方式I，通知控制部20对通知装置进行控制，使其通知操作者A的手部已进入或者远离做手势区域11。通过如上方式，操作者A能够直观地得知已进入或者远离做手势区域11。
[0044]进而，根据本实施方式I，做手势区域11被配置在操作者A与操作对象物之间。通过如上方式，操作者A能够一边确认操作对象物一边直观地进行手势操作。
[0045]实施方式2.实施方式I中，强调度算出部21通过将从操作者A的手部位置到做手势区域11的中心位置的距离d用于算出强调度R，从而将操作者A的手部位置与做手势区域11的中心位置的差反馈给操作者A。但是，该方法中，操作者A无法得知手部向哪个方向偏离，将手部引导至做手势区域11可能耗费较多时间。
因此，实施方式2中，算出在做手势区域11的内外检测到的操作者A的手部距做手势区域11的中心位置的偏离方向，以与该偏离方向相应的通知方式通知操作对象物，来将操作者A的手部向做手势区域11的中心位置引导。通过如上方式，操作者A能够根据通知装置对操作对象物的通知得知应该将手部向上下左右的哪个方向移动。
[0046]实施方式2所述的移动体用手势引导装置I与上述实施方式I所示的结构基本相同，但是如上述所示，通知控制部20及强调度算出部21的内部处理不同。因此，以下参照图1对实施方式2所述的移动体用手势引导装置I的结构进行说明。
[0047]图6是表示实施方式2的操作对象物与做手势区域的关系的图。图7是表示操作者的手部距做手势区域的中心位置的偏离方向所对应的通知方式的示例的图。图6中，操作者A是用方向盘12进行驾驶的驾驶员，手势操作对象的图标10显示在HUD8的投影构件8a上。做手势区域11是例如图6所示的长方体的空间区域。将该做手势区域11的中心O设为原点，定义xy平面与操作者A侧相对的xyz坐标系。
[0048]实施方式2中，算出操作者A的手部相对于做手势区域11内的xy面的中心O的位置向左右方向偏离的dx的值及向上下方向偏离的dy的值，根据dx及dy的值确定操作者A的手部相对于中心O的偏离方向。
进而，如图7(a)所示，将做手势区域11内的上述xy面投影到操作者A侧，算出操作者A的手部相对于操作者A的手部位置的上述xy面的投影面的中心位置(从中心O向操作者A侧延长的延长线(z轴)与该投影面的交点位置)向左右方向偏离的dx的值及向上下方向偏离的dy的值，根据dx及dy确定操作者A的手部相对于上述投影面的中心位置的偏离方向。
[0049]强调度算出部21将对由3D摄像头6在做手势区域11的内外检测到的操作者A的手部算出的强调度R、以及如上述确定的操作者A的手部距做手势区域11的中心位置的偏离方向通知给通知控制部20。
通知控制部20对通知装置进行控制，以强调度算出部21算出的强调度R及偏离方向的相应通知方式通知操作对象物。
[0050]例如，操作对象物为与邮件来信相对应的图标10时，如图7(b)所示，图标1a中，dx及dy均为正值，操作者A的手部相对于中心O或从中心O向操作者A侧延长的延长线(z轴)上的点(xy面的投影面的中心)向右上方向偏离。
因此，图标1a中，为了以视觉方式表示操作者A的手部相对于中心O或从中心O向操作者A侧延长的延长线(z轴)上的点(上述投影面的中心)向右上方向偏离，其右上部分以操作者A的手部位置及形状(距离d及差异度s)所对应的强调度R即强调度R所对应的透明度显示，其他部分以高于右上部分的透明度显示。
[0051]此外，图标1b中，dx及dy均为0，操作者A的手部位于中心O或上述投影面的中心位置。图标1b中，如图7(b)所示，图标整体以操作者A的手部位置及形状(距离d及差异度S)所对应的强调度R所对应的透明度显示。
[0052]同样地，图标1c中，dx及dy均为负值，操作者A的手部相对于中心O或上述投影面的中心向左下方向偏离。
因此，图标1c中，为了以视觉方式表示操作者A的手部相对于中心O或上述投影面的中心向左下方向偏离，其左下部分以操作者A的手部位置及形状(距离d及差异度s)所对应的强调度R的透明度显示，其他部分以高于左下部分的透明度显示。
[0053]图标1d中，dx为正值，dy为负值，操作者A的手部相对于中心O或上述投影面的中心向右下方向偏离。
因此，图标1d中，为了以视觉方式表示操作者A的手部相对于中心O或上述投影面的中心向右下方向偏离，其右下部分以操作者A的手部位置及形状(距离d及差异度s)所对应的强调度R的透明度显示，其他部分以高于右下部分的透明度显示。
[0054]如上述所示，图标1a仅右上部分以较深的颜色显示，操作者A能够以视觉方式得知手部相对于做手势区域11的中心O或上述投影面的中心向右上方向偏离。
另一方面，图标1b的整体的颜色深度均匀，操作者A能够以视觉方式得知手部位于做手势区域11的中心O或上述投影面的中心。通过如上方式，操作者A能够直观地理解自己的手部相对于做手势区域11的位置向上下左右的哪个方向偏离，从而能够更轻易地进行正确的手势操作。
[0055]此外，已示出根据操作者A的手部的偏离方向改变显示方式的情况，但是也可以改变利用声音的听觉方式。例如，事先设定相对于做手势区域11的中心O或上述投影面的中心的上下左右偏离的相应的种类互不相同的声音。
操作者A的手部相对于中心O或从中心O向操作者A侧延长的延长线(z轴)上的点(上述投影面的中心)向右上方向偏离时，由扬声器7输出右上方向偏离所对应的种类的声音。
另一方面，操作者A的手部位于中心O或上述投影面的中心时，由扬声器7输出手部位于中心时所对应的种类的声音。另外，扬声器7输出的声音的音量与强调度R相对应。
[0056]如以上所示，根据本实施方式2，强调度算出部21进一步算出由3D摄像头6在做手势区域11的内外检测到的操作者A的手部距做手势区域11的中心O或从该中心O向操作者A侧延长的延长线(z轴)上的点(xy面的投影面与z轴的交点)的偏离方向，通知控制部20以由强调度算出部21算出的强调度R及偏离方向所对应的通知方式将操作对象物通知给通知装置后，将操作者A的手部向做手势区域11的中心位置引导。
通过如上方式，操作者A能够直观地理解相对于做手势区域11的位置向上下左右的哪个方向偏离，从而能够更轻易地进行正确的手势操作。
[0057]实施方式3.实施方式3中，对存在多个做手势区域的情况进行叙述。通过设置多个做手势区域，能够扩大进行手势操作的场所及手势操作的种类范围。
[0058]实施方式3所述的移动体用手势引导装置I与上述实施方式I所示的结构基本相同，但是如上述所示，在使用多个做手势区域的方面，内部处理不同。因此，以下参照图1对实施方式3所述的移动体用手势引导装置I的结构进行说明。
[0059]图8是表示实施方式3的操作对象物与所对应的多个做手势区域的关系的图。图8中，操作者A是用方向盘12进行驾驶的驾驶员，作为手势操作对象的图标10显示在HUD8的投影构件8a上。做手势区域13，14为操作者A对图标10的左手用和右手用的做手势区域。
[0060]手势识别部22中，使图标10与做手势区域13—对一对应或者使图标10与做手势区域14 一对一对应，来对操作者A的手部的手势操作进行识别。即，操作者A可以对图标10在任意做手势区域中进行手势操作。如此在如图8所示的情况下，无论操作者A是左撇子还是右撇子，都能够用便于松开方向盘12的手进行手势操作。
[0061]同样地也可以设置对图标10的副驾驶座或后座的乘客用的做手势区域。通过如上方式，乘客也能够对图标10进行手势操作。
[0062]图9是表示实施方式3的各做手势区域与操作对象物的关系的图。图9中，操作者A是用方向盘12进行驾驶的驾驶员，作为手势操作对象的图标10，15显示在HUD8的投影构件8a上。图标1是做手势区域16所对应的图标，图标15是做手势区域17所对应的图标。
[0063]操作者A在做手势区域16内对图标10进行手势操作，从而执行来信邮件的阅读处理。此外，在做手势区域17内对图标15进行手势操作，从而执行到加油站的导航处理。
如此识别出在各做手势区域中各不相同的操作对象物的手势操作，因此能够执行多个操作对象物所对应的处理。此外，对“用手滑动”等手势操作设定在各做手势区域中各不相同的含义，从而能够扩大手势操作的种类范围。
[0064]图10是表示实施方式3的各通知装置的操作对象物与做手势区域的关系的图。图10中，操作者A是用方向盘12进行驾驶的驾驶员，作为手势操作对象的图标10显示在HUD8的投影构件8a上，同样地手势操作对象的图标15显示在中心显示器9的画面9a上。此外，做手势区域18是图标10所对应的做手势区域，做手势区域19是图标15所对应的做手势区域。
[0065]识别出操作者A在做手势区域18进行的手势操作时，通知控制部20对做手势区域18所对应的HUD8，输出手势操作的处理结果的通知命令。同样地，操作者A在做手势区域19进行手势操作时，通知控制部20对做手势区域19所对应的中心显示器9，输出手势操作的处理结果的通知命令。
即，通知控制部20进行控制，使由手势识别部22识别出手势操作的做手势区域所对应的通知装置输出手势操作的处理结果。通过如上方式，操作者A能够根据做手势区域选择希望输出手势操作的处理结果的通知装置。
[0066]如以上所示，根据本实施方式3，在多个部位设置做手势区域，因此能够扩大进行手势操作的场所及手势操作的种类范围。
例如，设置左手用和右手用的做手势区域13，14，从而无论操作者A是左撇子还是右撇子，都能够用便于松开方向盘12的手对操作对象物进行手势操作。此外，设置驾驶员以外的同行乘客用的做手势区域，使得乘客也能够对操作对象物进行手势操作。
[0067]此外，根据本实施方式3，手势识别部22对各做手势区域中各不相同的操作对象物的手势操作进行识别。通过如上方式，能够执行多个操作对象物所对应的处理。此外，能够对“用手滑动”等手势操作设定在各做手势区域中各不相同的含义。
[0068]进而，根据本实施方式3，通知控制部20进行控制，使由手势识别部22识别出手势操作的做手势区域所对应的通知装置输出手势操作的处理结果。通过如上方式，操作者A能够根据做手势区域选择希望输出手势操作的处理结果的通知装置。
[0069]实施方式4.图11是表示本发明实施方式4所述的移动体用手势引导装置的结构的方块图。图11中，实施方式4所述的移动体用手势引导装置IA具有与实施方式I的结构不同的运算部2A，运算部2A具备实施区域设定部23。实施区域设定部23是改变做手势区域11的位置的位置改变部。此外，实施区域设定部23具备调整部23a，所述调整部23a根据来自外部的指示调整做手势区域11的位置。另外，图11中，对与图1相同的构成要素赋予相同符号，并省略说明。
[0070]例如，用户或维护的负责人通过使用实施区域设定部23从而能够在任意时刻改变做手势区域11的位置。
图12是表示做手势区域的设定画面的一例的图。首先，用户或维护的负责人在中心显示器9等显示装置所显示的菜单画面中进行选择，来启动实施区域设定部23。
实施区域设定部23启动后，调整部23a将图12所示的设定画面9b显示在中心显示器9上。另外，设定画面也可以显示在HUD8上。
[0071]设定画面9b具有设定栏9c，所述设定栏9c用于设定做手势区域11的中心O的位置坐标(中心坐标)、以及表示其大小的宽度和高度。通过由用户使用触摸屏或硬件按键等输入装置在设定栏9c中设定中心坐标、宽度和高度，从而调整部23a在基于该设定值的位置上设定做手势区域U。如此，用户能够将做手势区域11的位置改变到便于进行手势操作的场所。
[0072]图12中，例如，在从通知装置的HUD8上显示的操作对象物沿其显示面的法线方向(z轴)向操作者A侧设定10cm。进而，距该显示面1cm的位置为中心0，以该中心O作为原点在X轴方向设定20cm(经由中心O在-X轴方向设置-1Ocm且在+X轴方向设置+1cm)的值，在y轴方向设定20cm(经由中心O在-y轴方向设置-1Ocm且在+y轴方向设置+1cm)的值。进而设定宽度20cm后，在z轴方向规定20cm(经由中心O在_z轴方向设置-1Ocm且在+z轴方向设置+1cm)的值，通过将高度设为20cm后，将包括中心O在内的xy面在z轴方向规定在投影到-1Ocm位置的面到投影到+1cm位置的面的区间，形成长方体的空间区域，将该长方体的空间区域定义为做手势区域。
[0073]另外，设定栏9c中，可以将操作者A的位置与操作对象物之间的任意空间位置预先设定为做手势区域11的初始位置。通过如上方式，如果上述初始位置便于操作者A进行手势操作，则不需要进行位置改变，因此能够简化做手势区域11的位置设定。
此外，图12中已示出将操作对象物的位置作为基准改变做手势区域11的位置的情况，但是操作者A是用方向盘12进行驾驶的驾驶员时，也可以将方向盘12的位置(例如方向盘12的左端位置)作为基准。
[0074]此外，实施区域设定部23也可以对由手势识别部22识别出手势操作的操作者A的手部位置进行学习，根据该学习结果改变做手势区域11的位置。
例如，实施区域设定部23依次储存由操作者A进行手势操作的手部位置，算出过去进行过预先规定次数的手势操作的位置中的相同次数超过阈值的位置或者过去进行过预先规定次数的手势操作的平均位置。然后，实施区域设定部23将算出的位置作为中心O或者作为顶点位置等改变做手势区域11的位置。
通过如上方式，能够将做手势区域11的位置改变到适合操作者A的位置。
[0075]但是，做手势区域11过于接近方向盘12等时，操作者A对方向盘12的操作可能被误判为手势操作。
因此，可以由实施区域设定部23对可改变的做手势区域11的位置范围设定限制。例如，在实施区域设定部23中将位于距方向盘12预先规定的距离内的空间位置设定为禁止位置，以免将做手势区域11的位置改变到该禁止位置。通过如上方式，能够减少手势操作的误识别。
[0076]如以上所示，根据本实施方式4，具有改变做手势区域11的位置的实施区域设定部23，因此能够移动做手势区域，而不是将其设为固定位置。此外，由于具备根据来自外部的设定内容调整做手势区域11的位置的调整部23a，能够将做手势区域11设定在操作者A喜好的场所。
[0077]此外，根据本实施方式4，实施区域设定部23对识别出手势操作的操作者A的手部位置进行学习，根据该学习结果改变做手势区域11的位置。通过如上方式，能够设定便于操作者A进行手势操作的做手势区域11。此时，由实施区域设定部23在可改变的做手势区域11的位置范围设定限制。如此，能够防止将做手势区域11设定在容易引起误识别的场所，能够减少手势操作的误识别。
[0078]另外，本发明在该发明的范围内，可进行各实施方式的自由组合，或进行各实施方式的任意构成要素的变形，又或者在各实施方式中可省略任意构成要素。
工业上的实用性
[0079]本发明所述的移动体用手势引导装置能够以简单结构实现，且能够引导成用于进行手势操作的合适状态，例如，优选作为车载信息设备的操作装置。
[符号说明]
[0080]I, IA移动体用手势引导装置2,2k 运算部
3I/F 部
4事件检测部 4a 天线
5总线
63D摄像头
7扬声器
8HUD
8a投影构件
9中心显示器 9a 画面
9b设定画面
9c设定栏
10，10a?10d，15 图标11，13，14，16?19做手势区域12方向盘
20通知控制部
21强调度算出部
22手势识别部
23实施区域设定部 23a 调整部
【主权项】
1.一种移动体用手势引导装置，其特征在于， 具备: 强调度算出部，所述强调度算出部根据检测操作者的手部的传感器的检测信息，确定所述操作者的手部位置，算出所述操作者的手部位置与进行手势操作的预先规定的位置的差所对应的强调度；以及 通知控制部，所述通知控制部在每次根据所述传感器对所述操作者的手部的检测，由所述强调度算出部算出强调度时，以所算出的强调度将所述手势操作的操作对象物通知给通知装置，来将所述操作者的手部向所述预先规定的位置引导。2.如权利要求1所述的移动体用手势引导装置，其特征在于， 所述强调度算出部还根据所述传感器的检测信息，确定所述操作者的手部形状，算出所述操作者的手部位置及形状与进行所述手势操作的预先规定的位置及对所述手势操作预先规定的手部形状的差所对应的强调度， 所述通知控制部以由所述强调度算出部算出的强调度将所述手势操作的操作对象物通知给所述通知装置，来将所述操作者的手部向所述预先规定的位置和对所述手势操作预先规定的手部形状引导。3.如权利要求1所述的移动体用手势引导装置，其特征在于， 所述强调度算出部算出所述操作者的手部位置与进行所述手势操作的预先规定的做手势区域的中心位置的距离所对应的强调度。4.如权利要求2所述的移动体用手势引导装置，其特征在于， 所述强调度算出部算出所述操作者的手部位置与所述做手势区域的中心位置的距离、以及所述操作者的手部形状与对所述手势操作预先规定的手部形状的差异度所对应的强调度。5.如权利要求1所述的移动体用手势引导装置，其特征在于， 所述操作对象物的相关事件发生，导致所述通知装置通知了该操作对象物时，如果所述事件发生后经过设定时间，则所述强调度算出部依次算出强调度使其逐渐降低， 所述通知控制部对所述通知装置进行控制，使其以所述强调度算出部依次算出的强调度通知所述操作对象物。6.如权利要求3所述的移动体用手势引导装置，其特征在于， 所述强调度算出部进一步算出由所述传感器在所述做手势区域的内外检测到的所述操作者的手部距该做手势区域的中心或从该中心向操作者侧延长的延长线上的点的偏离方向， 所述通知控制部以由所述强调度算出部算出的强调度及与所述偏离方向相对应的通知方式将所述操作对象物通知给所述通知装置，来将所述操作者的手部向所述做手势区域的中心位置引导。7.如权利要求3所述的移动体用手势引导装置，其特征在于， 具备手势识别部，所述手势识别部使所述操作对象物与所述做手势区域一对一对应，来对所述做手势区域的所述操作者的手部的手势操作进行识别。8.如权利要求7所述的移动体用手势引导装置，其特征在于， 由所述手势识别部识别出表示不需要所述操作对象物的手势操作时，所述通知控制部对所述通知装置进行控制，使其不通知该操作对象物。9.如权利要求7所述的移动体用手势引导装置，其特征在于， 在多个部位设置所述做手势区域。10.如权利要求9所述的移动体用手势引导装置，其特征在于， 所述手势识别部对各做手势区域中各不相同的操作对象物的手势操作进行识别。11.如权利要求9所述的移动体用手势引导装置，其特征在于， 所述通知控制部进行控制，使由所述手势识别部识别出手势操作的做手势区域所对应的通知装置输出所述手势操作的处理结果。12.如权利要求9所述的移动体用手势引导装置，其特征在于， 所述多个做手势区域是移动体的驾驶员的右手用和左手用的做手势区域或所述驾驶员以外的乘客用的做手势区域。13.如权利要求9所述的移动体用手势引导装置，其特征在于， 所述做手势区域被配置在所述操作者与所述操作对象物之间。14.如权利要求3所述的移动体用手势引导装置，其特征在于， 具备位置改变部，所述位置改变部改变所述做手势区域的位置。15.如权利要求14所述的移动体用手势引导装置，其特征在于， 所述位置改变部具备调整部，所述调整部根据来自外部的设定内容调整所述做手势区域的位置。16.如权利要求14所述的移动体用手势引导装置，其特征在于， 所述位置改变部对识别出手势操作的所述操作者的手部位置进行学习，根据该学习结果改变所述做手势区域的位置。17.如权利要求16所述的移动体用手势引导装置，其特征在于， 由所述位置改变部在可改变的所述做手势区域的位置范围设定限制。18.如权利要求3所述的移动体用手势引导装置，其特征在于， 所述通知控制部对所述通知装置进行控制，使其通知所述操作者的手部已进入或者离开所述做手势区域。19.一种移动体用手势引导系统，其特征在于， 具备: 传感器，所述传感器检测操作者的手部； 通知装置，所述通知装置通知操作对象物； 强调度算出部，所述强调度算出部根据所述传感器的检测信息，确定所述操作者的手部位置，算出所述操作者的手部位置与进行手势操作的预先规定的手部位置的差所对应的强调度；以及 通知控制部，所述通知控制部在每次根据所述传感器对所述操作者的手部的检测，由所述强调度算出部算出强调度时，以所算出的强调度将所述手势操作的操作对象物通知给所述通知装置，来将所述操作者的手部向所述预先规定的位置引导。20.一种移动体用手势引导方法，其特征在于， 包括如下步骤: 由强调度算出部根据检测操作者的手部的传感器的检测信息，确定所述操作者的手部位置，算出所述操作者的手部位置与进行手势操作的预先规定的手部位置的差所对应的强调度；以及 由通知控制部在每次根据所述传感器对所述操作者的手部的检测，由所述强调度算出部算出强调度时，以所算出的强调度将所述手势操作的操作对象物通知给所述通知装置，来将所述操作者的手部向所述预先规定的位置引导。
【文档编号】G06F3/01GK106030460SQ201480075742
【公开日】2016年10月12日
【申请日】2014年2月18日
【发明人】平野敬, 熊谷太郎, 太田脩平
【申请人】三菱电机株式会社