本发明涉及车载装置。
背景技术：
在专利文献1中记载了如下的车载设备的操作装置，其将车载设备的操作的菜单和附在操作部上的驾驶员的手的影像重叠地显示于平视显示器(hud)，并能够在观察该影像的同时进行操作，由此车载设备的选择操作简单且迅速，能够以不妨碍驾驶的的方式进行操作。
在先技术文献
专利文献
专利文献1：日本国特开2010-215194
技术实现要素：
发明要解决的课题
然而，对于驾驶中的车载设备的操作，在专利文献1所记载的技术中，与操作相关的菜单始终显示于hud，因此有可能妨碍驾驶操作。另外，为了进行操作，需要将操作用的专用的器件设置于车内的某一部位，导致成本增加并且产生设置上的制约。而且，即便在使用仅语音的接口的情况下，需要花费语音识别所需的处理的处理时间、用于听取所朗读的语音的时间，有损操作性、便利性。
用于解决课题的手段
根据本发明的第一方案，车载装置具备：手势检测部，其识别处于规定的范围内的用户的手的位置；驾驶状况识别部，其检测车辆的驾驶状况；以及手势控制部，其控制基于手势检测部对手的位置的识别结果得到的手势操作的状态，在驾驶状况识别部检测到的车辆的驾驶状况为规定的无效化对象状态时，手势控制部将手势操作无效化。
发明效果
根据本发明，能够提高驾驶中的驾驶员对车载设备的操作的安全性、操作性。
附图说明
图1是本发明的第一实施例中的车载装置的结构图。
图2(a)是感测部的设置位置的例子。
图2(b)是手势检测区域的例子。
图2(c)是手势检测区域的例子。
图3(a)是第一实施例中的动作流程的例子。
图3(b)是第一实施例中的动作流程的例子。
图4(a)是显示部和外部显示部的显示例。
图4(b)是显示部和外部显示部的显示例。
图4(c)是显示部和外部显示部的显示例。
图4(d)是显示部和外部显示部的显示例。
图5(a)是外部显示部的显示例。
图5(b)是外部显示部的显示例。
图5(c)是外部显示部的显示例。
图5(d)是外部显示部的显示例。
图6是显示部和外部显示部的显示例。
图7(a)是外部显示部的显示例。
图7(b)是外部显示部的显示例。
图8(a)是感测部的设置例。
图8(b)是与感测部的位置相应的动作的对应例。
图9是感测部及用户的手的形态的例子。
图10(a)是用户的手的放置方式的例子。
图10(b)是外部显示部的显示例。
图11(a)是显示部的显示例。
图11(b)是针对显示内容的显示部位的例子。
图11(c)是针对显示内容的显示部位的例子。
图12(a)是动作流程的例子。
图12(b)是外部显示部的显示例。
图12(c)是外部显示部的显示例。
图12(d)是外部显示部的显示例。
图12(e)是外部显示部的显示例。
图12(f)是外部显示部的显示例。
图12(g)是外部显示部的显示例。
图13是第二实施例中的车载装置的结构图。
图14(a)是与驾驶负荷等级相应的控制模式的例子。
图14(b)是与驾驶负荷等级相应的控制模式的例子。
图14(c)是与驾驶负荷等级相应的控制模式的例子。
图14(d)是与驾驶负荷等级相应的控制模式的例子。
图15(a)是外部显示部的显示例。
图15(b)是外部显示部的显示例。
图16(a)是显示部的显示例。
图16(b)是外部显示部的显示例。
图17是本发明的第三实施例中的车载装置的结构图。
图18是驾驶室的外观例。
图19是显示部和外部显示部的显示例。
图20是通过手势和转向装置控制器进行的操作方法的例子。
图21是外部显示部的显示例。
图22是外部显示部的显示例。
图23是外部显示部的显示例。
图24是动作流程的例子。
图25是通过转向装置控制器和触摸面板进行的操作方法的例子。
图26(a)是示出与手向特定器件的接近相应的操作器件的选择方法的表。
图26(b)是示出与手的位置、移动方向相应的操作器件的选择方法的表。
图26(c)是示出与行驶/停止状态相应的操作器件和显示器件的选择方法的表。
图27是动作流程的例子。
图28是通过转向装置控制器和指令器控制器进行的操作方法的例子。
图29是通过手势和转向装置控制器进行的操作方法的例子。
图30是本发明的第五实施例中的车载装置的结构图。
图31是驾驶室的外观例。
图32是手势检测区域及用户的手的移动方式的例子。
图33是手势检测区域及用户的手的移动方式的例子。
图34是与转向装置转向角相应的手势操作的判别方法和显示部的显示例。
图35是动作流程的例子。
图36(a)是转向装置操作中的转向角的例子。
图36(b)是与转向装置转向角相应的手势操作的有效/无效判定的例子。
图37是动作流程的例子。
图38(a)是转向装置操作中的转向角和角速度的例子。
图38(b)是与转向装置操纵量相应的手势操作的有效/无效判定的例子。
图39是与转向装置的旋转方向相应的手势操作方法的例子。
图40是示出与转向装置的旋转方向相应的手势操作的控制方法的表。
图41是动作流程的例子。
图42是示出转向装置与手势检测区域的关系的例子。
具体实施方式
以下，参照附图而对本发明的实施方式详细地进行说明。
(第一实施方式)
《结构的说明》
图1是第一实施方式中的车载装置101的结构图。
车载装置控制部102是对本车载装置101的动作整体进行控制的部分，通过按照收纳于存储部123的与消息管理器应用程序113及输出信息控制部114相关的程序进行运算，从而发挥作为消息管理器应用程序113及输出信息控制部114的功能。需要说明的是，在车载装置101中能够搭载消息管理器应用程序113及输出信息控制部114以外的应用程序，上述程序能够在出厂时预先存储于存储部123，另外，还能够经由通信部107或经由usb端子等未图示的外部连接if而通过用户的选择来存储于存储部123。另外，对作为车辆导航系统的基本的动作进行控制，并且根据各种输入信息对所输出的内容进行控制。
感测部103是检测用户的手与传感器之间的距离及用户的挥手的部分，例如包括：红外线距离传感器、激光距离传感器、超声波距离传感器、距离图像传感器、电解传感器、图像传感器等传感器；以及进行数据处理的微型计算机和在微型计算机上进行动作的软件。感测部103所使用的传感器并不特别限定，只要具有能够获得如下信号的功能即可，所述信号是为了检测直至用户的手为止的距离和挥手而得到的信号。
手势检测部104根据从感测部103得到的传感器数据，检测是否进行了用户的手放置和预先规定的规定手势(例如向上下左右的方向的挥手动作)。例如，对于手放置，检测规定的传感器值是否持续了一定时间，对于手势动作而言，通过解析多个传感器间的手的检测结果的反应时间差来进行检测。
开关操作部105是用于进行车载装置101的操作的硬件开关，搭载有按钮按下型、拨盘型的开关。
触摸操作部106将被触摸的坐标向车载装置控制部102发送，进行车载装置101的操作。
麦克风115取得车辆内部的声音。
语音识别部116根据所输入的声音数据而将语音转换为字符代码串。
通信部107与外部的网络连接，进行各种信息的输入输出。例如，进行与导航相关的信息的输入、消息的发送接收等。
外部开关操作部117是相对于车载装置101设置在其他的部位的开关操作部，可以列举设置于方向盘附近的转向装置开关、设置于车的中央控制台的指令器开关等。
显示部108是向用户提示影像信息的装置，例如为具有lcd(liquidcrystaldisplay)等显示器装置、以及影像内容、gui(graphicaluserinterface)等显示处理所需的运算处理装置、存储器的装置。
外部显示部109是设置于车载装置101以外的车内的位置的显示器，并显示影像。例如，可以列举设置于驾驶座的前方的平视显示器(hud)等。hud能够在使驾驶员(用户)前方的景色透过的同时显示各种信息。
声音输出部110是输出声音或语音的部分。
扬声器111输出来自声音输出部110的声音。
触觉if输出部112是向用户传达某种触感信息的部分，例如由超声波阵列构成，向装置的任意距离的位置在空间上传递压力，该超声波阵列由多个超声波元件构成。或者，也可以通过配备鼓风机而带来同样的效果。另外，也可以由设置于方向盘部等而使方向盘本身振动这样的振子构成，构成要素并不特别限定。
消息管理器应用程序113进行如下控制：与通信部107进行消息数据的交接，保存所输入的消息，并进行输出。另外，在发送消息的情况下，将发送消息向通信部107发送。
输出信息控制部114控制向显示部108或外部显示部109输出的内容。
图2(a)是感测部103的设置例。感测部103相对于显示部108配置于右置方向盘车辆中的驾驶员侧，能够检测物体距传感器元件的地点的距离信息及物体的动作。由此，如该图中的下图所示，将车载装置101与用户之间的空间划分为多个区域，详细地检测用户的手存在于哪个区域。如图所示，如接近传感器位置的区域201和更接近传感器位置的区域202那样进行划分。需要说明的是，传感器的元件数量、设置位置、所检测的区域不限定于此。
《主要动作流程》
使用图3(a)的动作流程，来对车载装置101的动作详细地进行说明。需要说明的是，消息管理器应用程序113在向显示部108、外部显示部109、扬声器111等输出部输出影像、语音的情况下，向输出信息控制部114发送影像或者语音信息，输出信息控制部114判定是否将接收到的信息向上述输出部输出，在以后的说明中为了简化说明，使用消息管理器应用程序113向显示部108输出影像、消息管理器应用程序113输出语音等表现。
首先，通过使车辆的发动机起动等，从而开始车载装置101的动作。在动作开始时的显示部108(在此设为中央显示器)上，通过输出信息控制部114而如图4(a)所示那样显示出与导航相关的显示和消息管理器应用程序113的图标401。在车载装置101的起动的同时，由车载装置控制部102在后台执行消息管理器应用程序113，在触摸操作部106检测到对图标401的触摸操作、手势检测部104检测到用户的规定的手势动作(例如在传感器前向左方向挥手)的情况下，由输出信息控制部114将消息管理器应用程序113激活。
另外，在动作开始时的外部显示部109(在此设为hud)上，由输出信息控制部114显示出与导航相关的显示和与消息管理器应用程序113相关的显示。在经由通信部107而从外部接收到消息的情况下(s301)，消息管理器应用程序113输出消息收到时的效果音，并使外部显示部109如图4(b)的图标402那样显示接收到的消息的总数，且向用户传达未读件数增加了的意旨。
之后，在手势检测部104、语音识别部116、开关操作部105、外部开关操作部117、或者触摸操作部106检测到用户进行了起动消息管理器应用程序113的操作的情况时(s303)，输出信息控制部114如图4(c)那样激活消息管理器应用程序113，从而切换为应用程序使用时的显示(s304)。之后，消息管理器应用程序113输出以从旧到新的顺序通过语音朗读接收到的消息的语音信息(s305)。图4(c)是在显示部108的一半画面进行作为消息管理器应用程序113的显示的情况下的显示例。
当触摸操作部106检测到对图4(c)中的图标403的区域的触摸时，消息管理器应用程序113使显示部108从图标403的区域的左侧起分别显示出用于进行表情文字(stamp)回复/固定语句回复、自由表达回复、消息后退/前进的各操作的显示。另外，消息管理器应用程序113在s305的语音信息的输出期间使外部显示部109如图4(c)的下图中的404那样显示当前的未读消息件数和朗读中的消息的发送者的姓名。在消息的朗读期间，手势检测部104检测到由用户进行的规定的手势动作(例如，向上方向或下方向的挥手动作)的情况下(s306：是)，消息管理器应用程序113以朗读未读消息中的最新的消息的方式向扬声器111输出语音信息(s308)。
在未检测到的情况下，消息管理器应用程序113继续以按照从旧到新的顺序朗读未读消息的方式输出语音信息(s307)，在最新消息的朗读控制结束了的情况下，使显示部108及外部显示部109如图4(d)那样保持显示最后的发送者而成为等待回复操作的状态(s309)。在等待回复操作的状态下，消息管理器应用程序113使外部显示部109如图5(a)那样显示图标501，该图标501表示能够通过手势进行回复操作的情况。
在手在图2(a)的区域202中进行了放置的状态下经过一定时间(例如，0.5秒)的情况下(s310：是)，判断为满足操作的开始条件，在外部显示部109以使作为回复操作的操作引导的菜单从画面的右侧滑动的方式切换显示，与此同时输出菜单出现的效果音(s311)。需要说明的是，也可以为，在区域202中检测到用户的手的情况下，消息管理器应用程序113输出传达该情况的效果音并以能够通过听觉来识别的方式传递效果音，并且通过如图5(b)那样使图标501向右侧移动或变更图标的颜色，从而以还能够通过视觉来识别的方式进行通知。另外，在区域201中检测到用户的手而不是在区域202中检测到用户的手且经过了一定时间(例如，0.3秒)的情况下，消息管理器应用程序113输出传达手放置的位置不同的情况的效果音。由此，在用户放置手时，即便不使视线移至手边，也能够在观看前方的同时进行手放置的操作。
对于用户的手的检测状态与效果音输出的关系，在图2(b)和(c)中示出更详细的内容。图2(b)、(c)是分别示出时间轴和感测部103的传感器值的图，并且是示出通过传感器值判断区域201和区域202的分界的图。
图2(b)是用户朝向区域202伸手并将手放置了一定时间的情况的例子。在手势检测部104检测到手进入到区域201的情况时输出效果音1。接下来，在检测到手进入到区域202的情况时输出效果音2。在持续检测到用户的手在区域202中存在了时间t1以上(例如0.5秒以上)的情况下，输出效果音3，如对s311进行说明那样切换外部显示部109的显示。
图2(c)的例子是在区域201中持续放置手的情况的例子。若检测到手进入到区域201的情况，则输出效果音1，若持续检测到手在区域201中存在时间t2以上(例如0.3秒以上)，则输出效果音4。之后，若在区域202中检测到手，则与图2(b)的例子同样(以下，有时将手在区域202中放置时间t1以上的操作简称作“手放置”)。
图5(c)是显示能够进行表情文字回复的操作菜单的情况的例子。图标502是如下操作引导，该操作引导意味着在放置手的状态下，当进行向上、左、下方向的手势时，能够选择与之对应的表情文字。另外，左上的1/2的显示意味着显示出的表情文字候补的页面总数和当前的页面。在该状态下，当检测到向上、左、下方向中的任一方向的手势的情况下(s312：是)，消息管理器应用程序113选择与该方向对应的表情文字来进行回复操作(s313)，再次转换为回复操作的等待状态s309。
在未检测到任一手势而用户的手离开了区域202的情况下(s312：否，s314：是)，将外部显示部109的显示内容切换为图5(d)那样(s315)。图标503意味着当前能够选择的表情文字的候补。图标504意味着，当进行与所显示的方向对应的手势操作(向上方向的挥手或向下方向的挥手)时，进行对应的操作。另外，“固定语句”这一显示意味着将回复方法切换为固定语句回复，“下一页面”这一显示意味着，能够将表情文字的选择候补从由图标503显示的表情文字切换为下一候补组。当一次显示许多选项时，尽管用户处于驾驶中但需要为了该选择而花费时间，存在欠缺对于驾驶的集中的可能性，因此在第一实施方式中，停留于提供位于上方、左方及下方的三个选项，另一方面，通过设置用于增加要发送的表情文字的选项的手势，能够向用户提供超过三个的选项。在检测到对应的手势操作的情况下(s316：是)，执行与之对应的操作(s317)。在未检测到手势(s316：否)而在区域202中检测到用户的手放置的情况下(s318：是)，消息管理器应用程序113转换为s311的状态，再次成为进行表情文字的选择的状态。
在未检测到用户的手并在该状态下经过了一定的时间(例如10秒)的情况下(s318：否，s319：是)，消息管理器应用程序113从外部显示部109的显示中取消操作引导，转换为s309的等待回复操作状态(s320)。在执行了回复操作的情况下，如图6那样，消息管理器应用程序113在显示部108显示回复操作结果的内容(在此为所选择的表情文字)，在外部显示部109显示进行回复操作的用户的姓名，并朗读回复内容。
需要说明的是，本动作流程限于代表性的例子而说明了本发明的车载装置101的动作，但动作、显示、效果音等不限定于该例子。例如，在本说明中，设想消息管理器应用程序113使用时的回复操作而进行了说明，但本发明不限定于此，能够应用于由车载装置控制部102进行的选择多个选项的所有操作。在图3(b)中示出将动作流程简化了的流程。基本的动作如上述说明那样，各步骤中的动作的说明与图3(a)的标注了相同的步骤编号的动作相同，但关于本图的s316，不限于向上下方向的挥手，也可以接受例如转向装置开关的操作等各种操作。
另外，在从外部接收到消息的情况下，也可以构成为在接收的同时进行朗读，另外也可以还在外部显示部109显示所接收的消息的内容。由此，用户更容易掌握消息。另外，也可以构成为，对于回复操作的等待，不等待至读完最新消息，而是随时可以接受。由此，用户能够随时进行回复操作。另外，对于待放置手的区域202，也可以在该区域内通过触觉if部112在空中提示触感。
例如，通过在区域的边界上呈现超声波元件阵列的压力点、或通过鼓风机而在区域的垂直线上赋予触感。由此，用户能够在观看前方的同时进行手放置，即便是驾驶期间的操作，也能够安全地进行回复操作。另外，在本例子中，在检测到手放置后，转换为表情文字回复操作的状态，但也可以构成为在此之前转换为回复方法的选择状态(表情文字、固定语句、自由表达等)。由此，用户能够在回复操作开始时选择自身要进行的回复方法。
另外，在本例子中，在检测到手放置并在外部显示部109显示操作引导后接受手势，但也可以在显示操作引导的一定时间之前(例如，0.2秒前)接受手势。由此，在用户熟悉操作而记得哪种手势与哪种操作对应的情况下，能够不在外部显示部109进行多余的显示而进行操作，另外能够缩短操作时间。
另外，在s319中计测一定时间的经过，但也可以在满足该条件前检测到规定的操作(例如，向左方向的挥手操作、开关操作等)的情况下，向s320转换。由此，用户能够在任意的时刻将外部显示部109的显示切换为导航用显示。
另外，对于在外部显示部109显示的操作引导及手势方向，不限定于三个方向，也可以使用任意的方向和数量。此时，可以设定容易在就坐于驾驶座的同时进行手势操作的方向。例如，对于朝向方向盘方向进行的手势，在动作中途手可能与方向盘碰撞，因此不将该手势方向作为对象。能够在设定画面中预先设定所乘坐的车的方向盘是右置方向盘还是左置方向盘，在为左置方向盘的情况下，如图7(a)、(b)那样对于在外部显示部109显示的操作引导，将上方、下方、右方这三个方向作为识别对象。需要说明的是，图7(a)、(b)分别与图5(c)、(d)对应。
另外，根据方向盘的设置部位，手势所使用的手也发生变化，因此还变更图标的显示、朝向。而且，根据方向盘的位置，各种图标的视觉效果也发生变化，因此也可以由用户单独地设定。由此，能够根据每种车型的方向盘设置位置而通过容易使用的手势操作来进行操作，用户能够在就坐于驾驶座的同时不勉强地通过手势来进行各种操作。
另外，也可以不如本例子那样将放置手的位置限定为一处，而是能够在多个部位进行手放置。例如，如图8(a)所示，在三处设置有三个传感器。此时，也可以根据对哪个传感器放置手，来决定回复方法。如图8(b)那样，对于传感器103a设为表情文字回复，对于传感器103b设为固定语句回复，对于传感器103c设为自由表达回复。由此，用户能够快速地选择回复方法，并进行回复操作。关于哪个传感器与哪个方法对应，可以由用户预先指定。
另外，也可以构成为，如图9所示，感测部103使用相机来检测手的接近及手势。预先学习既定的手的形态的图像，根据输入影像的图像与学习数据的图案识别，从而与距离、位置无关地检测用户的手放置。此时，也可以构成为，能够通过检测多个放置手时的手的形态(901a～903c)，来选择回复方法。由此，即便用户不将手伸向感测部103的前方来进行手势动作，也能够开始进行回复操作。
并且，也可以构成为，根据检测到手放置时的用户的手的位置、姿态，来变更接受的手势的方向、数量。例如，如图10(a)所示，在用户将肘部放在扶手上的状态下举起手而检测到手放置的情况下，如图10(b)那样，将左方向、下方向、右方向设为识别对象。这是因为，对于该状况下的用户的姿态，认为难以进行向上方向的手势，因此将该三个方向设为识别对象。而且，也可以构成为，用户能够预先将某一手势设定为识别对象。由此，用户能够以自由的姿态进行手势操作。
另外，在本例子中，将回复操作的操作菜单等显示于外部显示部109，但也可以构成为，根据各种器件的连接状态、设置位置等，来变更进行显示的部位及显示内容。例如，在hud未连接的情况下，如图11(a)那样将手势操作的引导显示于中央显示器。此时，如图11(b)那样，进行管理多个显示器的设置位置、连接状态并决定优先级的处理。基本上在优先级高的显示器上显示操作的引导，但在hud发生了故障的情况等无法使用的情况下，在下一优先级的显示器上进行显示。此时，也可以根据优先级来缩短显示引导的时间、或者将显示的信息量减少等。优先级能够通过在出厂时或销售时设定的方法、用户在未图示的设定画面中设定的方法、以根据与本车载终端连接的显示器的性质等来判别优先级的方式在本车载终端中进行程序化的方法等方法来设定。
并且，也可以构成为，在如图11(c)那样便携式外部设备(智能手机等)与车载装置101连接的情况下，根据设置位置来提高优先级。由此，在无法使用hud等显示操作引导的前提的器件的情况下，能够在代替的显示器中显示操作引导并进行操作。
另外，也可以构成为，在图3(a)或者图3(b)中的s311以后的回复操作中，不仅限于手势操作而能够使用可操作车载装置101的其他操作手段(语音识别操作、开关操作等)。图12(a)是此时的动作流程。在s316的步骤之后，在检测到用户要进行某一操作手段的准备动作的情况下(s1201：是)，将与该动作对应的操作引导显示于外部显示部109(s1202)。之后，在执行了选择操作的情况下(s1203：是)，执行通过所选择的选项进行的回复(s1204)。具体而言，在转换为s315的状态时，将如图12(b)所示的操作引导显示于外部显示部109。对于图标1201，上方的图标表示能够进行基于手势的选项的选择，中间的图标表示能够进行基于语音识别的选项的选择，下方的图标表示能够进行基于开关的选项的选择。
在检测到用户进行转向装置控制器操作的情况下(例如，转向装置开关的任意的按钮一度被按下、或在开关表面设置接触传感器并得到该接触传感器的反应的情况下)，转换为如图12(c)那样的画面。1201的图标通过图标颜色的变化来告知转向装置控制器操作被激活。对于1202的显示，显示与转向装置控制器的各按钮对应的表情文字的候补。根据被按下的转向装置控制器的按钮，来进行通过对应的表情文字回复的回复操作。需要说明的是，在经过了一定时间或转向装置控制器的接触传感器不再反应的情况下，返回图12(b)的画面。
另一方面，在检测到进行语音识别的情况下(按下语音识别开始开关等)，转换为如图12(d)那样的画面。1201的图标表示语音识别处于待机状态，1203的显示表示通过进行与各文字对应的表达而能够选择与之对应的表情文字的情况。在进行语音识别的结果与选项的某一方一致了的情况下，进行对应的表情文字的回复操作。在图12(d)的例子中仅显示“高兴”等与图标对应的文字，但也可以通过将发送的图标与文字并排显示，从而一眼就知晓发送的图标。当利用语音识别时，用户不使手离开方向盘就能够选择要发送的表情文字，因此能够有助于进一步的安全驾驶。
需要说明的是，对于三种操作手段，即便在任一方的操作中途状态下，若检测到各操作的开始触发，则也切换操作手段。另外，若处于通过开关操作和语音识别进行操作的操作状态，则在该状态下也接受通过向上下方向的挥手进行的手势操作。由此，在用户进行回复操作时，不限定于一个操作手段，能够根据驾驶的状况而另外根据用户的喜好来自由地选择回复的操作手段。另外，通过在切换各个操作手段时，提示当前能够通过哪种操作手段进行操作以及应该如何进行操作，由此用户能够不困惑于操作而快速且直观地进行操作。
另外，也可以构成为，根据车载装置101所控制的应用程序的动作状况，来改变用户放置手时能够操作的操作内容。图12(e)是在后台中活动着的应用程序仅为导航的情况下，提示朝向自己家的路线设定、当前地的地点登记、通过语音进行的目的地设定等与导航相关的操作来作为选择候补的例子。图12(f)是在音乐播放中等放置手的情况下，提示音乐停止、跳至下一曲、上一曲的操作等来作为选择候补的例子。图12(g)是在接收到拥堵信息等时放置手的情况下，提示听取拥堵信息的详细情况的操作、路线变更、目的地变更等来作为选择候补的例子。由此，能够根据用户的驾驶中的车载装置101所控制的应用程序的状况，来快速地选择各种操作。
根据以上所述的本发明的第一实施方式的车载装置101，用户即便在驾驶中也能够在观看前方的同时直观并且快速地进行操作。具体而言，能够在观看前方的同时快速地进行消息管理器应用程序的显示切换、消息的跳过操作等。另外，在进行对多个选项进行选择的操作的情况下，能够在观看前方向的同时，一边确认选择候补的内容，一边选择所期望的选项。而且，在熟悉操作的情况下，即便不观看显示也能够进行选项的操作，因此能够更加安全且快速地进行操作。
(第二实施方式)
《结构的说明》
图13是第二实施方式中的车载装置101的结构图。与图1的结构图相比，追加了车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120、地图db(数据库)121。对于车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120，也通过车载装置控制部102按照保存于存储部123的程序来进行运算，从而发挥作为车辆信息输入部118、操作手段控制部119、驾驶负荷推断部120的功能。
车辆信息输入部118是取得与行驶中的车辆相关的信息的部分，例如经由can(controlareanetwork)与车辆连接，取得车速、油门开度、制动程度、方向指示灯信号、转向装置角度等。
操作手段控制部119控制将来自手势检测部104、语音识别部116及各种开关操作部的操作输入反映为哪种操作。
驾驶负荷推断部120推定驾驶操作中的用户的驾驶负荷的程度。例如，除了来自上述的车辆信息输入部118的各种输入信号以外，还综合从通信部107输入的信息(地图信息、行驶中的道路的种类、与前方车辆的距离等)，来将驾驶负荷等级定义为四个阶段(无、低、中、高)。“无”是指等待红绿灯等的停车中、acc(adaptivecruisecontrol)等即便驾驶员不进行特别的操作也行驶的自动驾驶中的状况等，“低”是指在周围不存在障碍物的直线道路中的行驶等，“中”是指在一定速度以上且始终要求方向盘操作的行驶状况、交叉路口的左右转时等，“高”是指就要发生事故而要求重要的驾驶操作的状况等。
地图db121是保存有地图信息的数据库。
《动作说明》
对第二实施方式的车载装置101的动作详细地进行说明。基本的动作与第一实施方式中所述的动作相同，在第二实施方式中，其特征在于，根据驾驶负荷推断部120的输出来控制动作。车载装置控制部102对由驾驶负荷推断部120输出的驾驶负荷等级、此时能够操作的操作手段以及能够提示的显示内容预先进行定义。图14(a)～(d)示出该定义。
图14(a)示出各驾驶负荷等级下的各操作手段的使用的可否。在驾驶负荷等级为“无”或“低”的情况下，能够进行通过在第一实施方式中所述的全部操作手段回复的回复操作。另一方面，在驾驶负荷等级为“高”的情况下，禁止全部操作。在驾驶负荷为“中”的情况下，禁止通过手放置进行的操作引导的显示和之后的通过手势操作进行的选项的选择。这是因为，基于手放置的操作是强制进行单手驾驶的操作手段，因此在应当集中于驾驶操作的状况的情况下，禁止该操作。
在第二实施方式的外部显示部109上，如图15(a)的图标1503所示那样，显示当前的驾驶负荷等级。在本图中驾驶负荷等级意味着“中”的状态，将无法执行通过手的接近进行的操作的意旨设为如图标1501那样禁止通过手放置进行的操作的显示。另外，当在该状态下检测到用户放置手的情况下，通过改变图标1501的显示、颜色等来进行强调，并输出警告音、警告语音等，催促立即停止手放置。通过进行这种控制，用户能够掌握当前的驾驶负荷状况，并且极力防止如下情况：尽管处于需要进行方向盘操作时，但仍要显示操作引导而使单手长时间离开方向盘。另一方面，通过不使用手的语音识别的自由表达回复、通过瞬间的操作便能够完成的直接手势即便在驾驶负荷等级为“中”的状况下也能够使用。
而且，在驾驶负荷等级为“无”或“低”的状况下，在进行手放置后的回复操作处于中途的情况下驾驶负荷等级切换为“中”时，仅限于该操作中途的回复操作而允许通过开关操作和语音识别进行的选项的选择操作。此时，如图15(b)所示，示出了在三种操作手段的图标中禁止通过手放置和手势进行的选择操作的情况。
图14(b)是与驾驶负荷等级和中央显示器的输出内容相关的定义。首先，在驾驶负荷等级为“无”的情况下，消息管理器应用程序113将消息的文本全部显示。另外，在通过对画面上的操作图标进行触摸等基本的操作进行回复操作时，表情文字候补等选项也全部显示。在驾驶负荷为“低”或“中”的情况下，消息的文本设为非显示，仅显示消息发送者的姓名。另外，也不进行使用触摸操作的操作系统的显示。
并且，在驾驶负荷为“高”的情况下，还取消消息管理器应用程序113的画面，并显示与该状况相符的警告消息(例如，“注意车间距！”等)。需要说明的是，在驾驶负荷为“低”或“中”的情况下，当在进行实施手放置的回复操作的中途，驾驶负荷等级转换为“无”时，考虑显示于hud的操作引导的状态而也能够通过中央显示器上的触摸操作来进行该操作。例如，如图16(a)所示，设为处于在hud上进行表情文字回复的状态，在保持表情文字候补的内容和配置的信息的情况下，如图16(b)那样还显示于中央显示器。
具体而言，在保持hud上的表情文字候补1601的内容与画面上的配置关系的状态下，如1602那样显示在中央显示器上。并且，1602的内容配置为靠近驾驶员侧，以使驾驶员容易操作，能够通过触摸操作来进行表情文字的选择。另外，剩余的表情文字候补如1603那样配置在画面上的远离驾驶员侧的位置。反之，在停止中进行中央显示器上的操作的中途，在由于车的起步而使驾驶负荷切换为“低”或“中”的情况下，中止中央显示器上的选项的显示及选择操作，在保持处于操作中途的回复方法的基础上，转换为图3(a)的s315的步骤，并保持这样而继续进行操作。
图14(c)是与驾驶负荷等级和hud的输出内容相关的定义。首先，在驾驶负荷等级为“无”或“低”的情况下，显示朗读消息时的发送者姓名，另外，显示回复操作时的操作引导。在驾驶负荷等级为“中”的情况下，显示禁止通过手放置进行的操作的意旨，仅在驾驶负荷等级从“低”变更为“中”的情况下，继续显示操作引导的显示。在驾驶负荷等级为“高”的情况下，显示与该状况相符的警告消息(例如，“注意车间距！”等)。
图14(d)是与驾驶负荷等级和来自扬声器的声音输出相关的定义。在驾驶负荷等级为“无”至“中”的情况下，输出该时间点的操作音或朗读语音等。在驾驶负荷等级为“高”的情况下，仅输出警告音。需要说明的是，即便在已朗读消息的情况下也停止该输出。被停止了的朗读消息在驾驶负荷等级下降后再次开始朗读，并从该消息的开头起重新朗读。
需要说明的是，也可以构成为，根据驾驶负荷等级来变更用户的手放置检测算法及反馈方法。例如，假设在驾驶负荷等级为低时，在将手放置0.5秒以上的情况下，检测出手放置，那么在驾驶负荷等级为“无”的情况下，变更为在放置2秒以上的情况下检测出手放置。并且，在驾驶负荷等级为“无”的情况下，停止通过声音输出进行的手放置的反馈。由此，就认为在行驶中能够快速并且不使视线偏离前方地进行操作的手放置检测算法而言，考虑到在停止时允许触摸操作、不专心的情况，能够防止触摸操作等除手放置动作以外的动作所引起的误检测。
根据以上所述的本发明的第二实施方式的车载装置101，用户即便在驾驶中也能够一边观看前方，一边直观并且快速地进行操作，此外在停止中等余裕多时，能够接受更加多样的手段的操作、更多的信息量，并且在应当集中于驾驶操作的状况的情况下，防止因其他操作而使注意力转向驾驶操作以外情况，能够进行安全驾驶。
需要说明的是，在所有实施例中以车载装置为例而进行了说明，但本发明不限于此，也能够应用于个人计算机、数字指示牌、建筑机械、航空器、监视操作装置等具有显示器部和操作手段的装置。
(第三实施方式)
《结构的说明》
图17是第三实施方式中的车载装置101的结构图。与图1的结构图相比，追加了操作菜单应用程序1701、显示输出部1702、转向装置控制器1703、转向装置接触检测部1704、指令器控制器1705及指令器接触检测部1706。
操作菜单应用程序1701是按照保存于存储部123的程序而在显示部108及外部显示部109进行操作用菜单的显示的软件。
显示输出部1702具有在显示部108使用不内置于车载装置101的显示器装置的情况下向显示部108输出影像信号的功能。
转向装置控制器1703是配备于转向装置的开关部件，用于供用户输入操作。另外，转向装置接触检测部1704检测用户的手是否与所述转向装置控制器1703的开关部件接触。
指令器控制器1705是配置于车内的仪表板、中央控制台的开关部件，用于供用户输入操作。另外，指令器接触检测部1706检测用户的手是否与所述指令器控制器1705的开关部件接触。
图18示出第三实施方式中的驾驶室的外观。显示部108设置于仪表板的中央，能够进行基于触摸操作部106的触摸操作。另外，在显示部108的右上方配备有用于检测手势的感测部103。外部显示部109使用hud，能够在使驾驶员(用户)前方的景色透过的同时显示各种信息。在转向装置内配备有转向装置控制器1703。另外，在中央控制台上配备有指令器控制器1705。
《动作说明》
对第三实施方式的车载装置101的动作进行说明。基本的动作与在第一实施方式中所述的动作相同，在第三实施方式中，其特征在于，通过对感测部103进行的向上方向及下方向的挥手，来变更显示部108及外部显示部109的显示内容；以及根据由感测部103检测到的手的动作，来变更在外部显示部109显示的操作菜单及操作引导的形状。
图19示出通过对感测部103进行的向上方向及下方向的挥手，来变更显示部108及外部显示部109的显示内容的情形。图19的(a)、(b)、(c)的各显示示出由所述操作菜单应用程序1701控制的画面模式下的显示，(a)是音响操作模式，(b)是导航操作模式，(c)是空调操作模式。每当用户进行一次所述向上方向的挥手时，显示部108及外部显示部109的显示从图19的(a)向(b)、从(b)向(c)、从(c)向(a)进行切换。
图20示出在所述(b)导航操作模式下进行基于手势及转向装置控制器1703的操作的情形。如图20的(i)所示，当用户对感测部103放置手时，手势操作菜单2001显示于外部显示部109，引导用户通过从放置手的位置起使手向上方、下方、左方中的任一方向移动来选择与该方向对应的项目。另一方面，在图20的(i)中，当用户从放置手的状态使手向转向装置的方向返回时，如图20的(ii)所示，显示转向装置控制器操作菜单2002。在图20的(ii)的状态下，引导通过按下转向装置控制器1703的上、中、下的任一个开关来选择与该开关对应的项目。需要说明的是，在图20的(ii)的状态下，当用户不按下任一开关就再次对感测部103放置手时，成为图20的(i)的状态。
图21、图22、图23示出在图19及图20中说明的一系列的动作中的外部显示部109的画面转换。图21示出所述(b)导航操作模式，图22示出所述(a)音响操作模式，图23示出(c)空调操作模式的画面转换。
图24示出所述(b)导航操作模式下的外部显示部109的画面内的动作的详细情况。如上述那样，当在所述(b)导航操作模式下用户对感测部103放置手时，手势操作菜单2001显示于外部显示部109。在此，当用户从放置手的位置起使手向上方向移动时，如图24的2401所示，仅将与上方向对应的项目显示规定的时间，通过该显示用户能够确认选择所希望的项目。另外，当2401的显示经过规定的时间时，外部显示部109的显示返回用户放置手之前的状态。需要说明的是，对于所述转向装置控制器操作菜单2002，也成为同样的动作。
图26(a)是示出第三实施方式的车载装置101中的手势的检测状态与操作器件的对应的表。另外，图26(c)是示出与行驶及停止状态相应的操作器件和显示器件的对应的表。第三实施方式的输出信息控制部114按照图26(a)及图26(c)来决定规定的菜单的操作所使用的操作器件和显示器件。
如图26(a)所示，输出信息控制部114在手位于感测部103附近的情况下，判断为用户要通过手势进行操作。另外，在手远离感测部103的情况下，判断为用户要通过转向装置控制器1703进行操作。需要说明的是，在不具备转向装置控制器1703的车辆的情况下，也可以判断为用户要操作指令器控制器1705等车辆所具备的其他操作器件。输出信息控制部114根据这些判断而指示操作菜单应用程序1701进行规定的画面的输出。由此，能够得到如下效果：能够显示适于用户要操作的操作器件的操作菜单及操作引导，用户能够顺畅地进行使用所期望的操作器件的操作。
另外，如图26(c)所示，输出信息控制部114在车处于行驶中的情况下，在判断为用户要使用手势、转向装置控制器1703及指令器控制器1705进行操作时，在作为外部显示部109的hud显示操作菜单。由此，用户能够减少从对车辆前方进行视觉识别的状态移动视线地视觉识别操作菜单，因此能够得到可抑制因对操作菜单进行操作而引起的对驾驶操作的影响的效果。
需要说明的是，也可以为，在车处于停止中时，能够执行可由指尖进行细微操作且操作性高的触摸面板等上的操作。例如，也可以为，如图25所示，在转向装置控制器操作菜单2002显示于外部显示部109的状态下，在车停止了的情况下，当用户使手接近感测部103时，将如图25的2501所示的更详细的菜单显示于显示部108，并能够进行触摸操作。并且，也可以为，在车再次开始行驶时，取消显示部108的显示，在外部显示部109上再次显示转向装置控制器操作菜单2002。由此，在车处于停止中等不妨碍驾驶操作的状况下，用户将操作切换为触摸面板，能够得到可进行基于触摸操作的高效的操作的效果。
在第三实施方式中，在用户使手返回转向装置时，在外部显示部109显示转向装置控制器操作菜单2002，但在用户要通过返回到转向装置的手进行驾驶操作时，也认为会对转向装置控制器操作菜单2002的显示感到厌烦。因此，也可以为，如图27所示，在用户使手返回到转向装置时，如图27的2701所示，在外部显示部109中显示将显示菜单的部分减小了的简易菜单，在通过所述转向装置接触检测部1704检测到用户与转向装置控制器1703的开关接触时，显示转向装置控制器操作菜单2002。由此，能够得到如下效果：在用户通过转向装置控制器1703进行操作之前，不显示转向装置控制器操作菜单2002，因此能够减少菜单显示的厌烦感，而且还能够将外部显示部109的显示有效地用于驾驶所需的其他信息的显示。
(第四实施方式)
《结构的说明》
图28示出第四实施方式的车载装置101的操作的外观。与图20的外观图相比，追加了在用户使手接近指令器控制器1705时在外部显示部109显示指令器操作菜单2801的情形。另外，在第四实施方式中，如图9所示，感测部103使用相机。第四实施方式的感测部103检测在感测部103的周围用户的手向哪个方向移动。需要说明的是，只要能够检测用户的手移动的方向即可，感测部103也可以为相机以外的感测器件。
《动作说明》
对第四实施方式的车载装置101的动作进行说明。基本的动作与第三实施方式中所述的动作相同，在第四实施方式中，其特征在于，通过检测在感测部103的周围用户的手向哪个方向移动，从而变更在外部显示部109显示的操作菜单及操作引导的形状。
图28示出在所述(b)导航操作模式下进行基于手势、转向装置控制器1703及指令器控制器1705的操作的情形。如图28的(i)所示，当用户从对感测部103放置手的状态使手向转向装置的方向移动时，如图28的(i)所示，显示转向装置控制器操作菜单2002。另一方面，如图28的(ii)所示，当用户从对感测部103放置手的状态使手向指令器控制器1705的方向移动时，如图28的(ii)所示，在指令器控制器1705显示操作菜单2801。在图28的(ii)的状态下，对于搭载于指令器控制器1705的旋转控制器，引导通过使该旋转控制器旋转来选择一个项目。
图26(b)是示出第四实施方式的车载装置101中的与手的位置、移动方向相应的操作器件的选择的表。第四实施方式的输出信息控制部114按照图26(b)来决定规定的菜单的操作所使用的操作器件。
如图26(b)所示，输出信息控制部114在手处于感测部103附近的情况下，判断为用户要通过手势进行操作。另外，在用户的手从感测部103向转向装置控制器1703的方向或位置移动了的情况下，判断为用户要通过转向装置控制器1703进行操作。并且，在用户的手从感测部103向指令器控制器1705的方向或位置移动了的情况下，判断为用户要通过指令器控制器1705进行操作。需要说明的是，转向装置控制器1703及指令器控制器1705也可以是车辆所具备的其他操作器件。输出信息控制部114根据这些判断而指示操作菜单应用程序1701进行规定的画面的输出。由此，能够显示适于用户要操作的操作器件的操作菜单及操作引导，从而能够得到用户可顺畅地进行使用所期望的操作器件的操作的效果。
需要说明的是，也可以为，在显示操作菜单时，不基于用户的手从感测部103移动的方向、位置，而是基于由感测部103检测到的用户的手指指向方向。例如，也可以为，如图29所示，在图29的(i)的状态下，感测部103检测到用户手指指向空调操作盘2901，由此在外部显示部109显示空调操作用的转向装置控制器操作菜单2302。由此，能够得到用户无需对感测部103放置手就能够更顺畅地显示所期望的操作菜单的效果。
(第五实施方式)
《结构》
图30是第五实施方式的车载装置101的结构图。与图13及图17的结构图相比，追加了转向装置操作检测部3001、驾驶状况识别部3002及手势控制部3003。
驾驶状况识别部3002及手势控制部3003是作为功能模块而表现出通过由车载装置控制部102执行保存于存储部123的程序而实现的功能的模块。
转向装置操作检测部3001基于车辆信息输入部118所取得的转向装置角度的信息，来检测用户对转向装置的操作状况，并向驾驶状况识别部3002输出。
驾驶状况识别部3002基于转向装置操作检测部3001的输出来检测车辆的驾驶状况。当驾驶状况识别部3002判断为车辆的驾驶状况处于后述的规定的状态时，对手势控制部3003输出手势操作的无效化指令。
手势控制部3003通常将来自手势检测部104的输入向操作菜单应用程序1701输出，将基于手势的操作设为有效的状态。当驾驶状况识别部3002输出无效化指令时，手势控制部3003将来自手势检测部104的输入废弃而使其无效化，将基于手势的操作设为无效的状态。但是，也可以为，当驾驶状况识别部3002输出无效化指令时，手势控制部3003使手势检测部104的动作停止，即使手势检测部104对手势的检测停止。
图31是示出本实施例中的驾驶室的外观的图。在右置方向盘车辆中的转向装置内的左侧配备有用于检测手势的感测部3101。该感测部3101与在第一实施方式～第四实施方式中说明的感测部103相同，是检测用户的手与传感器之间的距离及用户的挥手的部分。外部显示部109使用hud，能够在使驾驶员(用户)前方的景色透过的同时显示各种信息。另外，显示部108设置于仪表板的中央，能够进行基于触摸操作部106的触摸操作。
在显示部108或者外部显示部109上进行与由感测部3101检测到的手势操作对应的显示。此时，图30所示的输出信息控制部114指示操作菜单应用程序1701进行规定的画面的输出，在显示部108或者外部显示部109中进行与手势操作相关的操作用菜单的显示。操作菜单应用程序1701是按照保存于存储部123的程序而在显示部108及外部显示部109上进行操作用菜单的显示的软件。
《动作》
对本实施例的车载装置101的动作进行说明。基本的动作与在第一实施方式中所述的动作相同。在第五实施方式中，感测部3101的设置位置与图2等所示的感测部103不同，在第一实施方式中位于显示部108的附近的手势检测区域变更为转向装置的左侧附近。
其特征在于，通过转向装置的左侧附近的向上方向、下方向等的挥手，来变更显示部108或者外部显示部109的显示内容；以及根据转向装置操作检测部3001检测到的转向装置角度，来控制是否变更在显示部108或者外部显示部109上显示的操作菜单及操作引导、即是否将用户的手势操作设为有效并接受。
由此，用户在驾驶中不会使手大幅远离转向装置，能够通过在转向装置附近的较小的动作进行手势操作，同时根据转向装置角度来切换手势操作的有效/无效，能够防止转向装置附近的驾驶操作与手势操作的混淆，能够实现对于输入的使用便利性提高。
需要说明的是，以转向装置操作检测部3001根据车辆信息输入部118所取得的转向装置角度等信息来检测转向装置的操作状况为例而进行了说明，但不限于此，也可以构成为使用相机、传感器来检测转向装置角度等用户的转向装置操作。
图32、图33是示出手势检测区域、用户的手相对于手势检测区域的移动方式的图。
图32及图33中的手势检测区域3201是将感测部3101进行用户的手的移动的检测的区域可视化的区域。如上述那样，在本实施方式中，在转向装置的左侧附近设定有手势检测区域3201，用户通过左手进行手势操作。
图32(i)是不使手在手势检测区域3201中停止而是以从上至下横穿手势检测区域3201的方式使手移动的挥手的手势操作。图32(ii)是不使手在手势检测区域3201中停止而是以从下至上横穿手势检测区域3201的方式使手移动的手势操作。在本实施方式中，将上述两个手势操作统称作“直接手势”。
图33是使手在手势检测区域3201中暂时停止的手放置之后使手移动的手势操作的方法，在本实施方式中，将其称作“手放置手势”。
当用户在手势检测区域3201内放置手时，例如将图20(i)所示的手势操作菜单2001显示于外部显示部109。如图33(i)～(iii)所示，通过用户从放置手的位置起使手向下方、上方、左方的任一方向移动，从而选择与该方向对应的项目。例如，在将图20(i)所示的手势操作菜单2001显示于外部显示部109的状态下，当用户使手向下方移动时，选择“目的地设定”。
图34是示出使用图32的直接手势的操作的例子的图，示出根据转向装置的转向角来改变对于手势操作的处理的情况。
图34(i)是转向装置操作检测部3001检测到转向装置基本未转动的状态，即转向角3410大致为零的状态。在该状态下，当检测到相对于手势检测区域3201的向下方向的挥手时，通过与输出信息控制部114的控制相应的操作菜单应用程序1701的动作，显示部108的显示内容从音响操作模式向空调操作模式切换。
图34(ii)示出转向角3411不为零的状态，即转向装置转动的状态。在转向装置的转向角为达到一定值以上时，手势控制部3003进行将手势检测部104检测到的用户的手势操作设为无效的控制。此时，输出信息控制部114使手势操作无效化，因此即便在检测到相对于手势检测区域3201的向下方向的挥手的情况下，也不执行用于将上述那样的与手势操作相关的操作用菜单显示于显示部108或者外部显示部109的控制。在图34(ii)的右下方示出的显示部108的显示内容仍为音响操作模式，手势操作被无效化。
(流程图)
使用流程图对车载装置101的动作进行说明。
图35是表示车载装置101的动作的流程图。车载装置101执行由图35表示动作的程序。
在步骤s3501中，手势检测部104开始来自用户的输入的等待，进入步骤s3502。
在步骤s3502中，判断手势检测部104是否检测到手势操作，在判断为检测到手势操作的情况下进入步骤s3503，在判断为未检测到手势操作的情况下留在步骤s3502。需要说明的是，本步骤中的手势操作是指上述的直接手势或者手放置手势。
在步骤s3503中，驾驶状况识别部3002根据来自转向装置操作检测部3001的信息，来判断转向装置转向角是否在预先确定的阈值以下。需要说明的是，该阈值保存于存储部123。在判断为转向装置转向角为阈值以下时进入步骤s3504，在判断为转向装置转向角大于阈值时进入步骤s3505。
在步骤s3504中，输出信息控制部114、操作菜单应用程序1701执行与在步骤s3502中检测到的手势操作对应的处理，结束由图35表示动作的程序。与手势操作对应的处理是指，例如图34(i)所示的显示部108或者外部显示部109的转换、选择操作的执行。
在步骤s3505中，驾驶状况识别部3002向手势控制部3003输出用于将手势操作无效化的无效化指令。根据该无效化指令，手势控制部3003如上述那样将来自手势检测部104的输入无效化、或者停止手势检测部104的动作，从而将手势操作无效化。之后，返回步骤s3501。
例如在用户进行手放置手势的情况下，在转向装置转向角为阈值以下时手势操作有效，因此首先检测手势检测区域3201中的用户的手放置，第一次执行步骤s3504。此时，输出信息控制部114使用操作菜单应用程序1701而使显示部108或者外部显示部109显示将表示与手放置后的用户的手的动作对应的手势操作的候补的手势操作菜单。由此，例如将如图20(i)所示的手势操作菜单2001显示于外部显示部109。接下来，在使进行放置的手移动时再次检测手势(s3502：是)，再次执行步骤s3504，根据在显示部108或者外部显示部109显示的手势操作菜单，执行与挥手对应的操作。
另一方面，在转向装置转向角大于阈值时，当检测到手势检测区域3201中的用户的手放置时，执行步骤s3505而使手势操作被无效化。此时，输出信息控制部114不执行步骤s3504，因此不使显示部108或者外部显示部109显示将上述的手势操作菜单。即，在该情况下，即便用户的手处于手势检测区域3201，输出信息控制部114也不使显示部108或者外部显示部109的显示内容变化。并且，之后，即便用户进行使放置的手移动的挥手动作，也不执行与该挥手相应的手势操作。
需要说明的是，在图35中，在步骤s3502中进行挥手检测后，在步骤s3505中无视已检测的手势，不将手势识别结果反映于功能操作，从而将手势操作无效化。但是，在转向装置转向角超过阈值的情况下，也可以不使手势检测部104进行挥手检测而将手势识别功能本身无效化，由此将手势操作无效化。
根据以上说明的第五实施方式，能够得到以下的作用效果。
(1)车载装置101具备：手势检测部104，其识别处于规定的手势检测区域3201内的用户的手的位置；驾驶状况识别部3002，其检测车辆的驾驶状况；以及手势控制部3003，其控制基于手势检测部104对的手的位置的识别结果得到的手势操作的状态。在驾驶状况识别部3002检测到的车辆的驾驶状况为无效化对象状态时，手势控制部3003将手势操作无效化。
由于像这样构成车载装置101，因此能够基于车辆的驾驶状况而将手势操作无效化，提高驾驶中的驾驶员对车载设备的操作的安全性、操作性。
(2)车载装置101具备：转向装置操作检测部3001，其检测用于驾驶车辆的转向装置操作；以及输出信息控制部114，其控制与车载装置101连接的显示部108或者外部显示部109的显示内容。驾驶状况识别部3002基于转向装置操作来检测车辆的驾驶状况。无效化对象状态是指，转向装置操作检测部3001检测到的用户的转向装置操作量、即转向装置转向角超过预先确定的阈值、即规定的操作量的状态。在手势操作被无效化的情况下，即便在用户的手的位置位于手势检测区域3201内的情况下，输出信息控制部114也不使显示部108或者外部显示部109的显示变化。
因此，当转向装置操作量超过规定的操作量时，即便进行直接手势，显示部108或者外部显示部109的显示也不转换，因此不会使驾驶员视觉识别到画面显示的转换而扰乱驾驶员的集中。
(3)在手势操作未被无效化的情况下，在由手势检测部104检测到在手势检测区域3201内用户进行了手放置的情况时，输出信息控制部114在步骤s3504中使显示部108或者外部显示部109显示图20(i)那样的手势操作菜单2001，该手势操作菜单2001表示与用户的手的动作对应的手势操作的候补。另一方面，在步骤s3505中手势操作被无效化的情况下，输出信息控制部114不使显示部108或者外部显示部109显示手势操作菜单2001。
因此，当转向装置操作量超过规定的操作量时，即便进行手放置手势，在显示部108或者外部显示部109也不进行手势操作菜单的显示，能够使用户意识到处于不接受手势操作的状态的情况。
(4)车载装置101具备检测用于驾驶车辆的转向装置操作的转向装置操作检测部3001。无效化对象状态是指，转向装置操作检测部3001检测到的用户的转向装置操作量超过预先确定的阈值、即规定的操作量的状态。手势控制部3003通过使手势检测部104的动作停止、或者将来自手势检测部104的输入无效化，来将手势操作无效化。
在转向装置转向角超过阈值的情况下，认为用户为了进行驾驶动作而转动转向装置。即，在转向装置附近为了进行驾驶动作而使手移动的可能性高。在这种情况下，若在转向装置附近进行手势识别，则将用于驾驶的手的移动误识别为手势操作的可能性高，因此通过排除这种情况，能够进行更符合实际的动作的适当的手势识别。
(5)转向装置操作量是指用户操作的转向装置的角度。
(第五实施方式的变形例1)
在上述的第五实施方式中，驾驶状况识别部3002基于转向装置操作检测部3001的输出来评价转向装置的角度、即转向装置转向角。但是，也可以评价转向装置的操作速度、即转向装置角速度。即，也可以在图35的步骤s3503中，判断转向装置角速度、即转向装置的操作速度是否为预先确定的阈值以下。
根据该变形例，除第五实施方式的作用效果以外，还能够得到以下的作用效果。
(1)转向装置操作量是指用户操作的转向装置的操作速度。
例如，转向装置角速度大致为零的状态是指转向装置转向角保持在固定值的状态，可以认为用户为了进行驾驶动作而将转向装置转动一定量，但缓慢地转过曲率大的弯道等对转向装置进行的操作量少的状态。在这种情况下，认为与转向装置转向角的大小无关，用户具有用于进行驾驶操作以外的动作的余裕，因此通过将手势操作设为有效，从而能够在更多的情况下进行手势操作，能够提高使用便利性。
(第五实施方式的变形例2)
在上述的第五实施方式中，在转向装置操作量为预先确定的阈值以上的情况下，将全部手势操作统一设为无效，即不接受全部手势操作。但是，也可以根据转向装置操作量而仅不接受特定的手势操作。
图36(a)是示出将转向装置操作的转向角定义为多个区域的例子的图。将转向角sa00至转向角sa01之间作为稍微转动方向盘的状态而设为区域3601，将转向角sa01至转向角sa02之间设为区域3602，将转向角sa02以上的大幅转动方向盘的状态设为区域3603。需要说明的是，区域分割不限于此，也可以构成为更加细微地对区域进行分割。
图36(b)是示出转向装置转向角的大小与手势操作的有效/无效的对应的图。本变形例的手势控制部3003按照图36(b)，根据转向装置转向角来判定将多个手势操作中的哪个手势操作的种类设为有效。
例如在转向装置转向角位于区域3601的情况下，手势控制部3003将图32所示的直接手势、图33所示的手放置手势双方均设为有效。这是因为，转向装置转向角小，因此几乎不进行用于驾驶的转向装置操作，从而认为在转向装置附近的手势检测区域3201中进行的手的动作是用户为了手势操作而进行的动作。
在转向装置转向角位于区域3603的情况下，手势控制部3003将直接手势、手放置手势均设为无效。这是由于，转向装置转向角大，因此用户集中于用于驾驶的转向装置操作，进行手势操作的可能性低，防止将用户为了驾驶而进行的转向装置操作误识别为手势操作。
在转向装置转向角位于区域3602的情况下，手势控制部3003仅将直接手势设为有效，而将手放置手势设为无效。这是因为，考虑了直接手势和手放置手势中的手的移动方式的特征。直接手势通过短时间的挥手动作而完成，相对于此，对于手放置手势，为了进行操作而进行在手势检测区域3201中将手放置一定时间的动作，用于驾驶的转向装置操作较少，适于在相对具有进行设备操作的余裕时进行。因此，考虑用于驾驶的转向装置操作所需的作业量，在作业量多时判断为用户进行手放置手势的可能性少，将手放置手势控制为无效。由此，能够防止因手势操作而意料之外地进行设备操作等，能够有助于使用便利性的提高。
需要说明的是，控制不限于此，例如也可以构成为仅在区域3601和区域3603进行判定，也可以分割为四个以上的区域。
根据该变形例，除第五实施方式中的作用效果以外，还能够得到以下的作用效果。
(1)手势控制部3003基于转向装置操作量，从用户进行的多个手势操作中仅将特定的手势操作无效化。
因此，能够根据转向装置操作量来限定所接受的手势操作。
(2)驾驶状况识别部3002在转向装置操作量增加时增加无效化的手势操作。
因此，用户进行手势操作的可能性越低，将用于驾驶的转向装置操作误认为手势操作的可能性越高，则越能够减少所接受的手势操作。
另外，通过综合使用驾驶状况识别部3002识别出的转向装置操作量，来控制是否将用户的手势操作设为有效并接受手势操作，从而能够进行误识别少的非常细致的手势识别处理。
(第六实施方式)
《结构》
第六实施方式的车载装置101的结构与第五实施方式相同。但是，车辆装置控制部102的动作与第五实施方式不同。
驾驶状况识别部3002不仅根据转向装置操作检测部3001输出的转向装置操作状况，还根据车辆信息输入部118取得的车速、油门开度、基于方向指示器的操作得到的方向指示灯信号等信息，来识别驾驶状况。所识别的驾驶状况是指，例如方向指示灯信号为开启而车速为零、即停车的状态，或者在行驶中转向装置向右方向转动的状态等。
《动作说明》
对第六实施方式中的车载装置101的动作进行说明。基本的动作与在第五实施方式中所述的动作相同，其特征在于，除转向装置操作检测部3001检测到的转向装置角度以外，还根据驾驶状况识别部3002识别出的用户对转向装置的操作速度(例如角速度)、方向指示灯信号(方向指示器)的开启/关闭、车速等，来控制是否将用户的手势操作设为有效并接受手势操作。
图37是示出第六实施方式中的车载装置101的动作的流程图。其中，对与第五实施方式的图35相同的处理标注相同的步骤编号并省略说明。
在步骤s3501中，手势检测部104开始来自用户的输入的等待，进入步骤s3502。
在步骤s3502中，判断手势检测部104是否检测到手势动作，在判断为检测到手势操作的情况下进入步骤s3506，在判断为未检测到手势操作的情况下留在步骤s3502。
在步骤s3506中，驾驶状况识别部3002判断车速是否为零，即处于停止中还是行驶中，在判断为车速为零的情况下进入步骤s3504，在判断为车速不为零的情况下进入步骤s3507。
在步骤s3507中，驾驶状况识别部3002判断方向指示器是否关闭、即方向指示灯信号是否关闭。通过方向指示器的开启关闭，来判断进行用于驾驶的转向装置操作的可能性是否高。在判断为方向指示器关闭的情况下进入步骤s3508，在判断为方向指示器开启的情况下进入步骤s3505。
在步骤s3508中，驾驶状况识别部3002判断转向装置的操作速度即角速度是否为预先确定的阈值以下。在判断为阈值以下的情况下进入步骤s3504，在判断为大于阈值的情况下进入步骤s3505。
在车速不为零、方向指示器开启或者转向装置角速度大于阈值的情况下执行的步骤s3505中，驾驶状况识别部3002无视在步骤s3502中检测到的手势动作的信号，返回步骤s3501。
在步骤s3504中，操作菜单应用程序1701执行与在步骤s3502中检测到的手势动作对应的操作，结束由图37表示动作的程序。
根据以上说明的第六实施方式，能够得到以下的作用效果。
(1)手势操作被无效化的无效化对象状态至少是车速不为零的状态。
因此，通过车辆正在行驶而推测为有进行转向装置操作的可能性，避免对为了转向装置操作而移动的手进行误识别的情况。
(2)手势操作被无效化的无效化对象状态是指，除转向装置角速度超过阈值的状态以外，还包括车辆的方向指示器开启的状态。
因此，通过方向指示器开启而推测为有进行转向装置操作的可能性，避免对为了转向装置操作而移动的手进行误识别的情况。
(第六实施方式的变形例1)
在上述的第六实施方式中，基于车速、方向指示器、转向装置角速度，来对于全部手势操作一律控制为有效/无效。但是，也可以为，通过将转向装置转向角和转向装置角速度组合，来评价对转向装置进行的驾驶动作的忙碌度，从而决定将多个手势操作中的哪个手势操作的种类设为有效。
图38(a)是表示将转向装置操作中的转向角示出的区域的定义及角速度av的定义的图。对于转向角的定义，与图36(a)相同，将转向角sa00至转向角sa01之间作为稍微转动方向盘的状态而设为区域3601，将转向角sa01至转向角sa02之间设为区域3602，将转向角sa02以上的大幅转动方向盘的状态设为区域3603。角速度av与方向盘的旋转方向无关而设为正值。
图38(b)是示出转向角和角速度的组合即转向装置操纵量和针对各个转向装置操纵量而将多个手势操作中的哪个手势操作的种类设为有效的图。图中的角速度av大致为零是指例如角速度为每1秒5度以下的状态，图中的阈值是指例如每1秒15度的角速度。
在转向装置转向角处于区域3601并且转向装置角速度av大致为零的情况下，手势控制部3003将在手势检测区域3201中检测到的手的动作判断为由用户进行的用于手势操作的动作。因此，将直接手势及手放置手势双方设为有效。另一方面，在即便处于区域3601中但转向装置角速度av大于阈值的情况下，判断正忙碌地进行转向装置动作而优先进行驾驶操作，对于手势操作，将直接手势、手放置手势均设为无效。
在转向装置转向角处于区域3602且转向装置角速度av大致为零的情况下，将直接手势和手放置手势双方设为有效，在转向装置角速度av大于阈值的情况下将直接手势和手放置手势双方设为无效。另外，在转向装置的角速度av不为零但小于阈值的情况下，仅将直接手势设为有效，而将手放置手势设为无效。
在转向装置转向角处于区域3603的情况下，由于转向装置转向角大而优先地判断为驾驶动作，与转向装置的角速度av的大小无关地将直接手势、手放置手势均设为无效。
根据以上说明的第六实施方式的变形例1，能够得到以下的作用效果。
(1)转向装置操作量是用户操作的转向装置的角度和转向装置的操作速度的组合，输出信息控制部114根据转向装置的角度和转向装置的操作速度的组合而使显示部108或者外部显示部109的显示不同。即，根据转向装置转向角和转向装置角速度av的组合，手势控制部3003判定将多个手势操作中的哪个手势操作的种类设为有效。其结果是，若为判定为有效的手势操作，则输出信息控制部114根据该手势操作来使显示部108或者外部显示部109的显示变化。另一方面，若为判定为无效的手势操作，则输出信息控制部114不使显示部108或者外部显示部109的显示变化。
这样，通过将转向装置转向角和转向装置角速度组合，来判定手势操作的有效/无效，从而例如在稳定地行驶于弯道等这样的转向装置转向角为固定量但几乎不进行对于转向装置的驾驶动作的情况下，用户能够进行对于对象器件的手势操作，能够得到能在抑制手势操作的误识别率的同时提高使用便利性的效果。
(第六实施方式的变形例2)
在上述的第六实施方式中，当符合规定的条件时，将全部手势操作一律设为无效。但是，也可以根据转向装置的旋转方向而仅将特定的手势操作设为无效。
图39、图40是示出根据转向装置的旋转方向而进行手势操作的控制的例子的图。
图39(i)示出在使转向装置右旋转的情况下、即进行右转弯行驶、右拐、向右侧行车道的车道变更等的情况下的直接手势的操作例。图39(ii)示出使转向装置左旋转的情况下的例子。
图40是示出在转向装置右旋转、转向装置左旋转的各个转向状况下，将直接手势操作的向下方向的挥手、向上方向的挥手中的任一方设为有效的图。
在使转向装置右旋转的图39(i)的情况下，设想通过将手附于转向装置并移动，从而手沿从左至右的方向通过手势检测区域3201。因此，将容易与驾驶操作混淆的直接手势的向上方向的挥手设为无效，不识别为手势动作。
在使转向装置左旋转的图39(ii)的情况下，与图39(i)相反，设想通过将手附于转向装置并移动，从而手沿从右至左的方向通过手势检测区域3201。因此，将容易与驾驶操作混淆的直接手势的向下方向的挥手设为无效，不识别为手势动作。
另外，在手放置手势中也同样地将容易与转向装置旋转方向混淆的手势操作方向设为无效。
(流程图)
图41是示出第六实施方式的变形例2的车载装置101的动作的流程图。其中，对与第六实施方式的图37相同的处理标注相同的步骤编号并省略说明。与图37所示的流程图的差异在于追加了步骤s3510。
在步骤s3508中做出否定判定时执行的步骤s3510中，驾驶状况识别部3002判断在步骤s3502中检测到的挥手动作的动作方向与在步骤s3508中检测到的转向装置的旋转方向是否一致。本步骤中的一致是指，转向装置右旋转时的向上方向的挥手及转向装置左旋转时的向下方向的挥手。在判断为一致的情况下进入步骤s3505，在判断为不一致的情况下进入步骤s3504。
根据以上说明的第六实施方式的变形例2，能够得到以下的作用效果。
(1)手势操作的无效化是指，不接受向与转向装置操作检测部3001检测到的用户的转向装置操作方向相同的方向移动手的手势操作。
这样，根据转向装置的旋转方向，进行改变对于直接手势中的向下方向的挥手和向上方向的挥手的有效/无效的控制，从而排除容易与转向装置的旋转方向混淆的手势操作，能够得到提高手势识别的精度的效果。
能够得到可适当地区别用于驾驶的转向装置操作与用于手势操作的手的动作的效果。
(第六实施方式的变形例3)
感测部3101在第五实施方式及第六实施方式中设置在转向装置上，但也可以在转向装置的附近设置感测部3101。换言之，在第五实施方式及第六实施方式中，手势检测区域3201与转向装置一起移动，但也可以构成为即便转向装置旋转手势检测区域3201也不移动。
图42是示出转向装置与手势检测区域的关系的图。
图42(i)是不将感测部4001设置在转向装置上，而设置在不与转向装置一起旋转的基座等传感器设置部位4002的例子。
图42(ii)是将感测部3101设置在转向装置上的例子，在使转向装置右旋转的情况下，手势检测区域3201与转向装置一起向右上方移动。
图42(iii)是从图42(i)的状态起使转向装置右旋转的例子。在该情况下，即便转向装置旋转，手势检测区域3201也不移动，而始终在相同的位置设置有手势检测区域3201。
在任一结构中，用户在驾驶中均不会使手大幅远离转向装置，能够在转向装置附近进行手势操作，能够得到实现使用便利性良好的器件操作的效果。
将以下的优先权基础申请的公开内容援引于此。
日本专利申请2015年第249369号(2015年12月22日申请)
附图标记说明
101车载装置；
102车载装置控制部；
103感测部；
104手势检测部；
105开关操作部；
106触摸操作部；
107通信部；
108显示部；
109外部显示部；
110声音输出部；
111扬声器；
112触觉if输出部；
113消息管理器应用程序；
114输出信息控制部；
115麦克风；
116语音识别部；
117外部开关操作部；
118车辆信息输入部；
119操作手段控制部；
120驾驶负荷推断部；
121地图db；
1701操作菜单应用程序；
1702显示输出部；
1703转向装置控制器；
1704转向装置接触检测部；
1705指令器控制器；
1706指令器接触检测部；
2001手势操作菜单；
2002转向装置操作菜单；
2201手势操作菜单；
2202转向装置操作菜单；
2301手势操作菜单；
2302转向装置操作菜单；
2401项目选择状态；
2402项目选择状态；
2501详细菜单；
2701简易菜单；
2801指令器控制器操作菜单；
3001转向装置操作检测部；
3002驾驶状况识别部；
3003手势控制部；
3101感测部；
3201手势检测区域；
3410转向装置转向角；
3411转向装置转向角；
4001感测部；
4002传感器设置部位。