专利名称：手势开关装置的制作方法
技术领域：
本发明涉及用于将操作员对控制对象的操作信息进行输入的手势开关装置，尤其是涉及适用于驾驶员不用触摸该车辆搭载设备的操作面板、或不妨碍车辆驾驶就能简单地对空调设备和音响设备等车辆搭载设备的动作进行操作的手势开关装置。
背景技术：
作为不用触摸该车辆搭载设备的操作面板就能对空调设备和音响设备等车辆搭载设备的动作进行操作的技术，已有利用照摄像机对驾驶员的身体的一部分(比如左手)进行摄像，对其画像图形进行辨认得到对上述车辆搭载设备的操作信息方面的提案(比如日本专利特开平11-134090号公报)。
另外，也有对驾驶员的表示为手指形状和移动的手势进行检测以得到对车辆搭载设备的操作信息的提案(比如日本专利特开2001-216069号公报)。
这里，从对诸如手掌、手、手指等摄像得到的图像中对其形状进行辨认的图案识别处理、通过跟踪识别到的手掌、手、手指等的位置变化来检测其移动的移动检测处理等来实现上述目的的装置称为手势开关装置。以下如无特别说明，将手掌、手、手指等简单地统称为手来说明。
但是，在车辆中搭载有上述音响设备和空调设备等各种辅助设备，而且各辅助设备的调节功能多种多样。比如搭载在车辆上的音响设备中有广播、磁带播放器、CD播放器等，其调节功能有音量、频道选择、播放、停止等功能。另外，对于空调设备也有温度、风量、风向等的调节功能。
但是，在上述两个传统例子中，都是以1个手形作为1个控制对象，操作量也是以某个手形来确定的，故驾驶员需要记忆极多的手形，有可能对驾驶带来障碍。
另一方面，从手势开关装置可输入的开关操作信息，一般来说仅是唯一地给予与手形的不同和手的移动方法等对应的信息，也存在着难以将各种控制对象分别合理地进行调节的问题。
即，在各种控制对象中，有像广播的频道选择或风量调节那样最好连续、或阶梯式进行大调节(变更)，或温度和音量等那样最好连续进行微调节。
因此，作为可从手势开关装置输入的开关操作信息，最好能比如根据驾驶员的喜好和控制对象进行变更，以提高其操作性。
而且，利用此类手势开关装置对车辆搭载设备的动作进行操作的场合，对借助手势开关装置来输入操作信息的驾驶员不带来妨碍驾驶操作的额外负担也是非常重要的。当然，根据控制对象的车辆搭载设备，最好能简单且合适地将该操作信息进行输入。
本
发明内容
有鉴于此，本发明的目的在于，提供一种手势开关装置，能使驾驶员等操作人员借助手势开关装置，将用来对各种车辆搭载设备等的控制对象的动作进行控制的操作信息简单而合适地输入到控制对象，尤其是该手势开关装置具有适用于将对应于控制对象的合适的操作信息进行输入的良好的操作性。
而且，本发明的目的在于，提供一种手势开关装置，能对车辆的驾驶员等操作者不施加额外负担、就能借助手势开关装置而将操作信息输入给控制对象。
采用本发明，能提供一种具有对放置在规定摄像区域内的手进行摄像的摄像装置、从该摄像得到的图像中对手的形状进行识别并检测该手的移动，从而得到对控制对象的操作信息的手势开关装置。
本发明的一种实施例的手势开关装置，其特征在于，具有根据识别到的手的形状及/或手的移动而从多个控制对象中选择1个的控制对象设定装置、根据该选择的控制对象而对由所述手的移动带来的操作信息的检测形态进行变更的检测形态变更装置。
控制对象设定装置，也可是每当检测预先设定好的手的移动图案、从多个控制对象中循环地选择1个的装置。另外，检测形态变更装置也可包括对摄像区域内的手的移动距离进行检测而作为操作信息的移动距离检测形态；对在摄像区域内移动了规定距离以上的手的停止位置的停止时间进行检测而作为操作信息的停止时间检测形态；对移动距离检测形态及停止时间检测形态中的至少1种进行设定的检测形态设定装置。移动距离检测形态，最好是将手的移动距离的检测，以规定移动距离为检测单位多步地进行。
采用上述手势开关装置，可根据控制对象和操作员比如驾驶员的喜好和习惯，能合适地设定给予各种控制对象的操作信息的检测形态。因此，操作员负担少，简单地进行操作就能对控制对象诸如各种车辆搭载设备的调节对象进行有效的操作等，在实用上起到极大的效果。尤其是可根据控制对象变更操作信息的检测形态，故即使是希望将较大的操作量分步地赋予的场合，相反地连续给予较小的操作量来调节的场合，也可获得根据控制对象而适当地给予操作信息等的效果。
采用本发明的其他实施例，也可提供车辆用手势开关装置，该装置特征在于，将摄像区域作成在车辆的方向盘侧方且操作该方向盘的驾驶员在维持其驾驶姿势的状态下伸展手臂就能涉及的区域。
摄像区域，可以设定在离开方向盘的外周部至少50mm的位置，并可设定在具有在驾驶员伸展的手的手指方向上大致600mm、手的宽度方向上大致350mm大小的呈长方形的区域内。另外，摄像区域内的手的移动的检测，也可将从图像中求得的手的重心位置朝手指方向的10～70mm的位移作为控制对象选择及/或控制对象的操作量进行检测。
采用上述车辆用手势开关装置，可不受驾驶员的驾驶操作所产生的手和手臂的移动，而能确切地检测手的形状及其移动带来的操作指示。而且，根据该检测结果，可获得对规定的车辆搭载设备能合适地赋予操作信息等在实用上极大的效果。尤其是，能可靠地对将胳膊放在扶手上的驾驶员在假想操作时获得实际感觉的手的移动进行检测，从而具有减轻驾驶员的操作负担等的效果。
本发明的又一实施例的车辆用手势开关装置，其特征在于，将摄像装置设置在如下的位置对操作该方向盘的驾驶员在维持其驾驶姿势的状态下能伸展手臂的区域进行摄像的位置。摄像装置可设置在车辆的顶部。
采用上述的车辆用手势开关装置，驾驶员可以没有负担地向上述车辆用手势开关装置中的控制对象输入操作信息。
本发明的又一实施例的手势开关装置，其特征在于，具有通过重复预先设定的手的移动图形、从多个控制对象中循环地选择1个的控制对象选择装置、根据所述手的移动而将该选择的控制对象的操作量进行变更的操作量变更装置。
手势开关装置也可以具有当检测出识别到的手形是预先设定的第1手形时、对该装置的动作开始予以识别的操作开始识别装置，控制对象选择装置，在同动作开始识别后，手的移动-其识别到的手形形成预先设定的第2手形-以此选择控制对象。操作开始识别装置也可以具有对形成第1手形的手没有把持或没有触摸特定的东西进行识别、并决定手势开关装置的动作开始的确认装置。第1手形，可以是持有东西时的形状，第2手形可以是用食指指东西时的形状。另外，手势开关装置可以具有在控制对象选择后，识别的手形形成预先设定的第3手形，当检测到摄像区域内的手的检测位置在规定时间没有位移时，促进操作量变更装置起动的起动促进装置。
采用上述手势开关装置，驾驶员等操作员，比如通过重复与用食指按压按钮开关的按压操作相对应的手的移动图形而可循环地对控制对象进行选择，另外，比如通过用第1手形进行与用手移动变速杆的操作相对应的手的移动，而可改变变速杆的操作量。这一点，在上述日本专利特开平11-134090号公报及特开2001-216069号公报中记载的技术中，用1个手指形状决定1个控制对象，对操作量的确定也是由手指形状对应分配的，因此，驾驶员需要记忆大量的手指形状，有妨碍驾驶之虞。
附图的简单说明
图1是表示本发明的实施例的手势开关装置的概要结构的示图。
图2是表示图1所示的手势开关装置的手指的摄像区域的示图。
图3是表示手势开关装置的开关操作信息的指示输入动作的概要顺序的示图。
图4A是表示用于将开关操作指示赋予手势开关装置的手指形状的例子的图。
图4B是表示手指形状的其他例子的图。
图4C是表示手指形状的又一例子的图。
图5是表示伴随手指的按压操作的控制对象的选择例子的图。
图6是表示与控制对象对应的输入模式的设定画面的例子的图。
图7是表示手势开关装置的开关操作信息输入用的大致处理顺序的一部分的流程图。
图8是表示接在图7所示的处理顺序后面的处理顺序的流程图。
图9是表示距离模式中的开关操作信息的检测顺序的流程图。
图10是表示时间模式中的开关操作信息的检测顺序的流程图。
图11是表示距离·时间模式中的开关操作信息的检测顺序的流程图。
图12A是表示带有实感地进行按压按钮开关的假想的开关操作频度与手指移动量的关系的图。
图12B是表示带有实感地进行杠杆开关的假想的开关操作频度与手指移动量的关系的图。
图12C是表示带有实感地进行假想的开关操作停止频度与停止时间的关系的图。
具体实施例方式
以下参照附图对本发明的实施例的手势开关装置进行说明。以下如无特别说明，则将手掌、手、手指等统称为手进行说明。
图1是表示实施例装置的主要部分的概要结构的示图，表示卡车的驾驶座的样子及通过微机(ECU)等实现的装置的功能。在驾驶座设有驾驶员操纵的方向盘1和组合开关(未图示)等，另外，在其控制盘上设有成为控制对象的音响设备和空调设备等的操作部2。在如此驾驶座上方的车顶上设有摄像机3，该摄像机3将方向盘1的侧方作为摄像区域，对将手臂朝该摄像区域伸展的驾驶员的手指进行摄像。该摄像机3由CCD摄像机等的小型摄像机构成。
上述摄像机3的摄像区域3a如图2所示，设定在方向盘1的侧方、离方向盘1的外周部至少50mm的位置，最好是离开100mm左右的位置。另外，该摄像区域3a，设定为具有将手臂向方向盘1的侧方伸展的驾驶员手的手指方向上大致600mm、手的宽度方向上大致350mm大小的呈长方形的区域。
如此设定后的摄像区域3a，是对把握在方向盘1上或对设置在方向盘1的立柱轴上的组合开关(未图示)进行操作的驾驶员的手不进行摄像的区域，而且设定为驾驶员不需很大地移动手臂就能移动手指的区域。尤其是驾驶员保持将手臂放置在设置于驾驶座侧部的扶手5上，不用改变其驾驶姿势手臂就能伸展胳膊的位置，是手无法触摸音响设备等的操作部2的位置。
由此，可防止将伴随驾驶操作的手的移动误作为开关操作信息进行检测。另外，也可设定成不会对直接操作音响设备等的操作部2的手进行检测。
在如此设定的摄像区域3a配置或邻接有操作变速机的齿轮变速手柄(未图示)的场合，比如可事先在齿轮变速手柄上设置感压传感器，借助该感压传感器来检测驾驶员对齿轮变速手柄的把持。只要事先考虑周到，就能很容易地辨别延伸到摄像区域3a内的手是操作齿轮变速手柄还是操作手势开关装置的状态，能可靠地防止将驾驶操作误当作开关操作信息进行检测。另外，也可利用立体摄像机作为摄像机3检测手的高度位置(与摄像机3的距离)，由此可辨别延伸至摄像区域3a内的手是操作齿轮变速手柄还是位于齿轮变速手柄的上方空间。
但是，如上所述的摄像区域3a，设定成驾驶员不必较大地移动手臂、而可使手指移动的区域，而且将假想操作开关时驾驶员能实感到的手指的移动(位移)为基准进行设定。即，对组装在音响设备等内的各种开关进行实际的按压操作的场合，作为其反作用力能实际感觉到开关操作。但是，在规定的空间内进行假想的开关操作的场合，没有伴随手的移动的反作用力，故无法直接感受到开关操作，反而是感觉到进行开关操作的自己的手指和手臂的移动。
为此，本发明者等，在假想1次次按压操作按钮开关时，另外多步地移动操作变速机的齿轮变速手柄时等，要进行多大程度的移动才能感觉到进行了开关操作作了实验。
另外，假想开关操作后使该手停止的动作，手要停止多长时间才能感觉到该操作已结束作了实验。
该实验是以具有大型汽车执照的多位具有驾驶经验的人员为对象而重复进行上述操作的，对其位移量和停止时间分别进行了实测。
图12A～图12C分别表示其实验结果。具体地说，图12A是将1次次按压操作按钮开关时手的移动量(位移量)为参数，对其操作频度进行了图示。其结果确认到，对于1次次按压操作按钮开关时手的移动量(位移量)，尽管有30～70mm的误差，但50mm的位移作为开关操作能感觉到的频度最高，平均为45mm。
另外，在将齿轮变速手柄分级前后进行变速操作的场合，如图12B所示，作为1级的操作有实感地进行移动的手的移动量(位移量)为10～40mm，30mm的位移作为1级的操作能感觉到的频度最高，另外，平均为23mm。而且，将手位移规定量后，将其移动停止，在完成1个动作的场合，作为其停止时间，如图12C所示，320m秒的频度最高。不过，该停止时间的测量是以80m秒为单位进行的。
从这些实验结果可以确认，驾驶员保持将其手臂搁在扶手上以自然的状态进行假想的开关操作的场合，操作开关时能有实感的(节度感)手的移动量(位移量)，在1次开关按压操作的场合为50mm左右，而在分级操作齿轮变速手柄的场合，每1级的位移量为30mm左右。在带有停止动作的场合，可确认为该动作停止期间是300米秒左右。
上述摄像机3的摄像区域3a的位置及其大小是，根据上述实验结果，比如后述那样设想对多步的开关操作(换档操作)前后方向分成5级进行，另外，考虑到驾驶员的体形和驾驶姿势等，延伸至方向盘1的侧方的手指的基准位置会发生变化来确定的。另外，考虑到手的大小一般从手腕至指尖的长度为200mm左右，手的宽度为120mm左右，因此定为上述那样的比如长为600mm、宽为350mm的大致矩形区域。
采用如此设定的摄像区域3a，不对随着驾驶操作产生的手的移动进行检测，在离开方向盘1的手无不舒服感且自然移动的状态下，能对该手进行可靠的摄像。而且，即使随着开关操作使手指的位置发生移动，其移动能在上述摄像区域3a内可靠地进行捕捉，利用比较简易的图像处理能容易地进行手的形状识别和其移动量的检测。
另外，从驾驶员的角度来看，不必改变其驾驶姿势，只要将手臂伸展至方向盘1的侧方即可，不必直接触摸音响设备等的操作部2，事先将设定了的手形做成样板，只要将手移动就可进行所需的开关操作。
因此，可减轻驾驶员的操作负担。另外，具有不会将伴随驾驶操作产生的手和手臂的移动作为开关操作指示进行检测，不必意识手势开关装置而可集中于驾驶操作，具有只要根据需要而将手移动至摄像区域3a内、就可方便地给予开关操作指示等的优点。
手势开关装置，基本上将由上述摄像机3摄像得到的驾驶员的手形和移动用微机(ECU)进行识别处理，根据其识别结果得到对控制对象的音响设备和空调设备的操作信息(开关操作信息)。而且，由该开关操作信息代替上述操作部2的操作，对这些音响设备和空调设备等进行操作。
具体来说，手势开关装置主要如图1所示，由摄像装置的摄像机3、从该摄像机3摄像得到的图像获得开关操作信息的微机(ECU)等构成。
ECU包括双值化处理部11，其从摄像机3向微机(ECU)输入的输入图像(以下简称为输入图像)最终进行双值化处理，去除其背景图像成分，仅将手的图像抽出；从由双值化处理抽出的图像中识别手形的形状识别部12；从识别的手的形状求出其重心位置的重心检测部13；根据上述形状识别部12得到的识别结果、及重心检测部13检测到的手的重心位置，对驾驶员的手的形状和其移动所表示的开关操作信息进行识别的操作指示识别部14。
该操作指示识别部14，大致包括边参照事先记录在存储器15内的手的形状图案边对该手的形状进行判断·识别的形状判断部16；跟踪手的重心位置的移动，对手的位移进行检测的位移量检测部17；对手的移动进行随时间的监视的定时器18。在重心位置检测及手的时间经过监视时，最好使用手掌部分。
操作指示识别部14，根据这些判断·监视结果，求出由驾驶员的手形和其移动所特定的规定的开关操作信息，将该开关操作信息向上述音响设备和空调设备等输出。
操作指示识别部14的形状判断部16，设有根据上述判断结果等向驾驶员进行规定的语音提示的引导部19。该语音提示比如对音响设备和空调设备(控制对象设备)、还有对音量·频道设定、风量·温度等(控制对象功能)进行特定的语音信息、和表示该开关操作的“吡”和“吡-”等的确认音通过喇叭20向驾驶员进行告知。
上述结构的手势开关装置中，其发明的特征之一是，如图3的开关操作动作的流程所示，根据选择了的控制对象，而将给予该控制对象的开关操作信息的输入模式有选择地进行切换这一点上。尤其是，作为开关操作信息的输入模式，这里准备了“距离模式”、“时间模式”、“距离·时间模式”3种，可根据控制对象(车辆搭载设备)进行选择。
下面对该开关操作进行说明。
该手势开关装置中，使用作为指定开关操作的手形、比如图4A～图4C所示的手指图形。具体地说，使用如图4A所示的握拳形状的图形(手形1)、图4B所示的竖起食指的食指指示形状的图形(手形2)、图4C所示的竖起大拇指的图案(手形3)。
食指指示形状的图形(手形2)是表示按压操作按钮那样开关的含义。另外，握拳形状的图形(手形1)是表示将手把持在对自动变速机的变速级进行切换的换档手柄那样的杆状开关上、进行前后换档操作的含义。而竖起大拇指的图案(手形3)是表示待机指示的含义。如此的手形图案，表示其形状特征的数据记录在上述存储器15内。通过对从输入图像中识别的手形与记录在上述存储器15内的图案的一致度(类似度)进行计算，能用于对手形的判断。
在驾驶员手握方向盘1操纵车辆的场合，图3的动作状态A1所示的驾驶员的手离开了摄像区域3a。此时的输入图像作为车室内的背景，仅是被排除处理的图像成分，故手势开关装置不会进行动作。对此，一旦驾驶员的手离开方向盘1进入动作状态A2所示的摄像区域3a内，则开始对手进行识别处理。在此场合，比如最好通过将手做成握拳形状(手形1)，指示开始开关操作信息的输入。
然后，对手的形状是否变换为按压操作开关的食指指示形状的图案(手形2)进行判断。当检测出食指指示形状的图案(手形2)的场合，如动作状态A3所示，重复按压操作(按压)选择开关，选择指定规定的功能·设备，进行其移动的检测。具体来说，对食指指示形状的手指的前后移动通过对其手掌的重心位置的变化(移动)进行检测，从而检测出其按压操作。
在此场合，每检测出1次按压动作，比如如图5所示那样，事先将其控制法进行设定，以将其控制对象作为“音量”、“频道(ch)”、“温度”、“风量”等循环地进行选择指定。
尤其是此时，每当检测出1次按压动作，就输出“吡”等的操作确认声、或用语音信息告知所选择的控制对象也是有用的。通过这样的语音提示，驾驶员不必用眼确认其操作状态就能明白，故可专心于驾驶操作。
选择所需的控制对象时，变更为与刚才不同的图形，比如动作状态A4所示的竖起大拇指的图案(手形3)，对指示功能选择操作的结束和开关操作量的输入开始进行指示。在此场合，其确认音最好能发出与上述的确认音不同的“吡-”等的声音。
然后，变更为动作状态A5所示的手握拳形状(手形1)，通过该手形1的前后移动，进行输入开关操作信息。此时，通过该手掌的重心位置的位移量等对该手形1的移动进行检测，并输出与该移动对应的开关操作信息。
具体地说，在该开关操作信息的输入中，根据由上述按压操作选择指定的控制对象，对应该检测的信息内容进行更改。
即，控制对象，有的需要将其控制量(开关操作信息)用大的变化量进行多步变更，有的需要用小的变化量进行连续细小地变更。
因此，根据所选择的控制对象，对比如将手的移动量作为开关操作信息的距离模式(动作状态A6a)、从位移了规定距离的手的停止时间求出其开关操作信息的时间模式(动作状态A6b)、另外将这些模式并用的距离·时间模式(动作状态A6c)进行选择性的设定。
这里，上述距离模式，是根据手掌距基准位置的移动量分级式地将开关操作信息进行输出的模式，适用于广播的频道选择和空调设备的风量·风向的选择设定的场合。
另外，时间模式，是将与从基准位置进行位移后的手的停止时间对应的开关操作信息进行输出的模式，适用于音响设备的音量和空调设备的温度等的调节的场合等。
而上述距离·时间模式，是当手的微小的移动时输出与其移动量对应的开关操作信息，而当至停止位置移动了规定距离以上的场合，输出与其停止位置处的手的停止时间相对应的开关操作信息的模式。
该距离·时间模式适合于对控制对象进行粗调节、微调节的场合等。
上述操作指示识别部14，如上所述，根据由控制对象选择性地设定的输入模式(距离模式/时间模式/距离·时间模式)，跟踪手掌在上述摄像区域3a内的移动，对手掌的移动量(位移量及其位移方向)和移动停止后的手掌的停止时间进行测量。然后将与这些测量结果对应的开关操作信息输出。
而且，对各种开关控制对象与上述各模式的对应关系、作为开关操作量检测出的内容(检测距离和时间)等也可事先固定地进行设定。但是，这些对应关系、检测距离、时间等，使用具有上述操作指示识别部14的比如图6所示的控制画面14a，也可事先按开关操作者(驾驶员)的喜好等进行合适地变更。
具体地说，对于多个控制对象，也可选择性地指定用何种输入模式将开关操作信息进行输入，并事先将成为其检测单位的手掌的位移量(移动距离)和测量时间等可分别作可变的设定。
(流程图)①初期判断图7～图11是表示实现上述处理功能的操作指示识别部14的概要的处理顺序。
现对该处理顺序进行说明。随着手势开关装置的起动，首先进行包括由摄像机3对摄像区域(识别区域)的设定和双值化处理中阈值的设定等在内的系统的初期设定(步骤S1)。
然后，清除用于计测手形的识别和手的移动的参数值等，并将控制图设定为“0”，对开关信息检测实行初始化(步骤S2)。
进行了以上初始化处理后，对输入图像中的手形进行识别(步骤S3)。
判断该手形是上述(手形1)、(手形2)、(手形3)中的哪一种(步骤S4)。
当手形是食指指示形的(手形2)的场合，判断上一次检测出的手形是哪一种(步骤S5)。
若上次的手形不是食指指示形(手形2)，则这次检测到的(手形2)的功能选择的模式被设定，将此时检测到的手掌的重心位置作为基准位置A进行记录(步骤S6)。
将表示上次检测到的手的位移量、且用于手的移动距离管理的参数B′设定为“0”(步骤S7)。
然后，将上次的手形更新为(手形2)(步骤S8)。
然后，重复执行自上述(步骤S3)开始的处理。
而在(步骤S5)中，在判断上次的手形为食指指示形的(手形2)的场合，接着求出此时检测到的手掌的重心位置相对于上述基准位置A的位移量B(步骤S9)。
然后判断是否满足参数B′不到阈值H1且这次检测到的位移量B超过了规定的判断阈值H1这样2个条件(步骤S10)。
当上述条件得到满足时，作为以(手形2)的状态进行了用于上述功能选择的按压操作，对控制对象进行1级变更(步骤S11)。
然后，将上次的手形更新为(手形2)，重复执行自(步骤S8)开始的步骤S3开始的处理。
而在(步骤S10)中，当没有满足上述位移量B不超过规定的判断阈值H1等条件时，将上述位移量B设作为上述的参数B′(步骤S12)。
然后，将上次的手形更新为(手形2)(步骤S8)。
然后重复执行自上述(步骤S3)开始的处理。
通过该(步骤S3)至(步骤S8)的处理，在仅以(手形2)的规定的移动量进行按压操作时，上述功能选择被执行，控制对象被选择性地设定。
另一方面，在上述(步骤S4)中，当检测出手形为(手形1)或(手形3)时，如以下图8所示，判断该手形是否是(手形1)或是(手形3)(步骤S13)。
如是(手形3)，则判断上述动作是指定待机状态，将此时检测到的手掌的重心位置作为基准位置C进行记录(步骤S14)。
同时将在后述的移动距离测量中使用的控制参数D′设定为“0”(步骤S15)。
然后，将上次的手形更新为(手形3)后(步骤S16)，重复执行自上述(步骤S3)开始的处理。
而当在(步骤S13)中，手形被判断为(手形1)时，接着判断上次检测得到的手形是哪一种(步骤S17)。
若上次的手形是(手形3)，则作为操作信息的输入模式已被设定，将控制图设定为“1”，并将移动距离的测量参数n和停止时间的测量参数t分别设定为“0”(步骤S18)。
另外，若上次的手形是握拳形的(手形1)，则通过判断控制图是否是“1”，来检查操作信息的输入模式是否已经设定(步骤S19)。
在控制图已是“1”的场合，检测此时检测到的手掌的重心位置与上述基准位置C之间的距离D(步骤S20)。
根据先前已功能选择的控制对象，判断上述3种输入模式中用哪种模式对开关操作信息进行检测(步骤S21)。
根据判断后的输入模式，进行开关操作信息的检测处理。
而在上次的手形不是(手形1)或(手形3)的场合(步骤S17)，或控制图不是“1”的场合(步骤S19)，重复执行从上述(步骤S2)所示的初期设定开始的处理顺序。
通过该处理，即可得到上述动作状态A2所示的开关操作信息的输入开始的指示。
②距离模式对于利用距离模式的开关操作信息的检测处理，如图9所例示的那样，将上述离开基准位置C的距离D与控制参数D′的值进行比较，根据其大小关系判断手掌是前进还是后退(步骤S22)。
当使手掌前进移动时，判断从上次周期至这次周期为止的移动距离是否超过规定的测量单位距离。即，判断后述的条件1是否成立(步骤S23)。
超过规定的测量单位距离时，增加控制参数n(步骤S24)。
然后，将该设定(开关操作信息)增加1级(步骤S25)。
相反，在手后退的场合，判断从上次周期至这次周期为止的移动距离是否超过规定的测量单位距离。即，判断后述的条件2是否成立(步骤S26)。
移动距离超过规定的测量单位距离时，减少控制参数n(步骤S27)。
并且，将该设定(开关操作信息)减少1级(步骤S28)。
另外，只要距离D与距离C之差(移动量)超过通过控制参数n而可变设定的规定步数的移动距离，且控制参数D′的值与距离C的差(移动量)不到通过控制参数n而可变设定的规定步数的移动距离，则上述条件1成立。
即，条件1，是判断上次周期至这次周期为止、手是否移动了大于由规定步数所确定的规定的测量单位距离的条件。而条件2，是手的移动方向向相反方向(后退)的场合的同样的判断条件。
如上所述，若得到了与手的移动距离对应的开关操作信息，则将距离D作为上述控制参数D′进行记录，然后更新其判断基准(步骤S29)。
并将(手形1)作为上次的手形进行记录(步骤S30)。
然后，回归到从上述(步骤S3)开始的处理。
通过将该处理重复执行，即可多步地输出与手掌的移动量对应的开关操作信息。
③时间模式另一方面，在设定了时间模式的场合，则按图10所示的顺序进行其检测处理。在此场合，首先判断移动距离D是否超过第3阈值H3(步骤S31)。
如没到第3阈值的场合，将时间参数t设定为“0”(步骤S32)。
并将(手形1)作为上次的手形进行记录(步骤S33)。
然后，回归到从上述(步骤S3)开始的处理。
而在(步骤S31)中，当判断移动距离D超过了第3阈值H3时，将时间参数t往上计数(步骤S34)。
并且判断往上计数后的时间参数t是否达到基准时间T1(步骤S35)。
当判断为时间参数t在T1以上时，将其设定(开关操作信息)增加1级(步骤S36)。
并将时间参数t复位至“0”。(步骤S37)。
并将(手形1)作为上次的手形进行记录(步骤S33)。
然后，回归到上述从(步骤S3)开始的处理。
而在(步骤S31)中，当判断移动距离D朝相反方向超过了第3阈值H3时，将时间参数t往上计数(步骤S38)。
并判断往上计数后的时间参数t是否达到基准时间T1(步骤S39)。
当判断为时间参数t在T1以上时，将其设定(开关操作信息)减少1级(步骤S40)。
并将时间参数t复位至“0”。(步骤S41)。
并将(手形1)作为上次的手形进行记录(步骤S33)。
然后，回归到上述从(步骤S3)开始的处理。
通过如此一系列的处理，在手掌移动规定的距离后停止时，输出与其停止时间对应的开关操作信息。
④距离·时间模式距离·时间模式是将上述距离模式和时间模式的处理根据手的移动距离分开使用。
具体如图11所示，判断上述控制参数n的值(步骤S42)。
根据参数n是在“-2”至“2”的范围内，还是在“3”以上或不到“-3”，而可分别实行从(步骤S22a)至(步骤S33a)所示的距离模式、或(步骤S24a)至(步骤S41a)所示的时间模式的处理。
而(步骤S22a)至(步骤S33a)所示的处理，是与上述(步骤S22)至(步骤S33)所示的处理相当。另外，(步骤S24a)至(步骤S41a)所示的处理，是与上述(步骤S24)至(步骤S41)所示的处理相当。
具有上述功能的手势开关装置，能简单有效地选择作为控制对象的设备，有选择性地设定与该控制对象对应的输入模式，将开关操作信息进行输入。
因此，如控制对象像风量和风向那样，即使在最好边给予较大的位移量边进行设定的场合，或相反如音量和温度那样最好边给予小的位移量边进行微调节的场合，都能简单地输入与该控制对象对应的开关操作量。
尤其是只要事先将该输入模式根据控制对象进行设定，就能简单地将符合操作意图的合适的开关操作信息进行输入等，在实用上具有极大的效果。
而且，如上所述，只要构成可对检测单位距离和检测单位时间等作可变设定，就能进行与开关操作者(驾驶员)的体形和喜好、甚至习惯相对应的设定。
另外也可进行与控制对象的设备特性对应的设定。因此，可实现操作负担小、使用容易的手势开关装置。
具有上述结构的手势开关装置，可简单地、有效地、不受伴随驾驶操作的手的移动的影响地、可靠地对手的形状及其移动所表现的开关操作指示进行检测。而且可根据该检测结果，将开关操作信息合适地给予规定的车辆搭载设备。尤其是对指示开关操作的手进行摄像的区域(摄像区域3a)，是在方向盘1的侧方的位置，可设定为驾驶员不必改变其驾驶姿势，自然地伸展手臂就能到达的范围，故不会对驾驶员增加操作负担。因此，在维持对音响设备等的操作部2直接进行操作的感觉的同时，可容易借助手势开关装置而指示输入开关操作信息等，在实用上具有极大的效果。
而且，本发明并不局限于上述实施例。实施例中是以右方向盘车为前提进行了说明，当然对左方向盘车的场合也同样适用。另外，并不局限于卡车等大型车，同样也适用于普通的轿车等。
对于其控制对象，当然也可扩展至导向装置的操作、刮水器的开·关和其动作间隔的调节、侧镜的开闭等。
另外，对于摄像区域A的大小，比如利用摄像机3的变焦距功能，也可事先做成能进行可变设定，另外，对于摄像区域A的位置，也可考虑驾驶员的习惯等做成可微调。在此场合，只要使摄像机3的安装角度可以调节。
此外，对于开关操作信息的输入模式，并不特定于上述3种模式，比如也可设置将手的形状本身作为开关操作信息进行读取的模式。另外，这里将其控制对象作为“音量”、“频道”、“温度”、“风量”直接进行选择，但也可将控制对象设备特定为“广播”、“磁带”、“CD”、“空调”等，在此基础上再特定“音量”、“频道”、“温度”、“播放”、“停止”等的控制对象，和特定“风量”、“风向”、“温度”等的控制对象。
在此场合，也只要根据最终特定的控制对象，将开关操作信息的检测形态进行变更设定即可。
另外，只要在本发明的宗旨范围内，可进行各种变形。
权利要求
1.一种手势开关装置，具有对放置在规定摄像区域内的手进行摄像的摄像装置，从其摄像得到的图像中对手的形状进行识别的同时检测该手的移动，从而得到对控制对象的操作信息，其特征在于，该手势开关装置包括根据识别到的手的形状及/或手的移动而从多个控制对象中选择1个的控制对象设定装置；根据该选择的控制对象而对由所述手的移动所带来的所述操作信息的检测形态进行变更的检测形态变更装置。
2.如权利要求1所述的手势开关装置，其特征在于，所述控制对象设定装置，是每次检测预先设定好的手的移动图案、从多个控制对象中循环地选择1个的装置。
3.如权利要求1所述的手势开关装置，其特征在于，所述检测形态变更装置包括对所述摄像区域内的手的移动距离进行检测并作为所述操作信息的移动距离检测形态；对所述摄像区域内移动了规定距离以上的手的停止位置的停止时间进行检测并作为所述操作信息的停止时间检测形态；对所述移动距离检测形态及停止时间检测形态中的至少1种进行设定的检测形态设定装置。
4.如权利要求3所述的手势开关装置，其特征在于，所述移动距离检测形态，是将对手的移动距离的检测，以规定移动距离为检测单位多步地进行的形态。
5.一种车辆用手势开关装置，具有对放置在规定摄像区域内的手进行摄像的摄像装置，从其摄像得到的图像中对手的形状进行识别的同时检测该手的移动，从而得到对控制对象的操作信息，其特征在于，将所述摄像区域设定在所述车辆的方向盘侧方、且操作该方向盘的驾驶员在维持其驾驶姿势的状态下能伸展手臂的区域。
6.如权利要求5所述的车辆用手势开关装置，其特征在于，所述摄像区域，设定在离开所述方向盘的外周部至少50mm的位置，并设定在具有驾驶员伸展的手的手指方向上大致600mm、手的宽度方向上大致350mm大小的大致呈长方形的区域。
7.如权利要求5所述的车辆用手势开关装置，其特征在于，对所述摄像区域内的手的移动的检测，是将从图像中求得的手的重心位置朝手指方向的10～70mm的位移作为控制对象选择及/或控制对象的操作量进行检测。
8.一种车辆用手势开关装置，具有对放置在规定摄像区域内的手进行摄像的摄像装置，从其摄像得到的图像中对手的形状进行识别的同时检测该手的移动，从而得到对控制对象的操作信息，其特征在于，所述摄像装置，设置在能对驾驶所述车辆的方向盘的驾驶员在维持其驾驶姿势的状态下能伸展手臂的区域进行摄像的位置。
9.如权利要求8所述的车辆用手势开关装置，其特征在于，所述摄像装置设置在所述车辆的顶部。
10.一种手势开关装置，具有对放置在规定摄像区域内的手进行摄像的摄像装置，从其摄像得到的图像中对手的形状进行识别的同时检测该手的移动，从而得到对控制对象的操作信息，其特征在于，该手势开关装置包括通过重复预先设定的手的移动图形，从多个控制对象中循环地选择1个的控制对象选择装置；根据所述手的移动而将该选择后的控制对象的操作量进行变更的操作量变更装置。
11.如权利要求10所述的手势开关装置，其特征在于，所述手势开关装置具有当检测出识别到的手形是预先设定的第1手形时、对该装置的动作开始进行识别的操作开始识别装置，所述控制对象选择装置，在该动作开始识别后，手的移动-其识别到的手形为预先设定的第2手形-以此选择控制对象。
12.如权利要求11所述的手势开关装置，其特征在于，所述操作开始识别装置具有对成为所述第1手形的手没有把持或接触特定的东西进行确认、并决定手势开关装置的动作开始的确认装置。
13.如权利要求11所述的手势开关装置，其特征在于，所述第1手形是把持东西时的形状，所述第2手形是用食指指东西时的形状。
14.如权利要求11所述的手势开关装置，其特征在于，所述手势开关装置具有起动促进装置，其选择了控制对象后，识别的手形为预先设定的第3手形，当检测到所述摄像区域内的手的检测位置在规定时间没有位移时，催促所述操作量变更装置起动。
全文摘要
一种手势开关装置，从放置于摄像区域内的手的图像中识别手形，并检测该手的移动，根据识别的手的形状及/或手的移动从多个控制对象从选择1个，根据该选择的控制对象，对手的移动确定的操作信息的检测形态进行变更。移动距离检测形态中，对摄像区域内的手的移动距离进行检测，以此作为操作信息，停止时间检测形态中，对摄像区域内的移动了规定距离以上的手的停止位置的停止时间进行检测并以此作为操作信息。摄像区域，比如设定在方向盘侧方且驾驶员在维持其驾驶姿势的状态下能伸展手臂的区域。采用本发明，能对车辆的驾驶员等操作者不施加额外负担、就能借助手势开关装置而将操作信息输入给控制对象。
文档编号B60K37/06GK1499344SQ20031010291
公开日2004年5月26日 申请日期2003年10月24日 优先权日2002年10月25日
发明者山本惠一, 佐藤广充, 斋藤英雄, 小泽慎治, 五十岚弘也, 充, 弘也, 治, 雄 申请人:三菱扶桑卡客车公司, 学校法人庆应义塾