操作输入装置的制作方法

专利名称：操作输入装置的制作方法
技术领域：
本发明涉及通过手的操作来对以车辆信息设备为代表的各种信息设 备进行输入的操作输入装置。
背景技术：
近年来，在汽车上安装有以汽车导航仪为代表的音频和空调等多种 设备，对驾驶员来说，在操作这些设备时进行的按钮操作和操作面板的 显示确认是非常麻烦的，存在增加视线移动的问题。
作为对此进行改善的方法，考虑了使用手势或者姿态的方法，例如， 提出有如下的装置(例如，参考专利文献1、专利文献2):利用照相机 对手的形状和手的动作进行检测，来分别作为形状姿态和方向姿态，并 通过一个姿态来选择操作模式，而通过另 一个姿态来变更该操作模式内 的参数。
专利文献1日本特开2001—216069号公报专利文献2日本特开2005—50177号公报
在使用这样的装置的情况下，随着设备和操作对象的数量的增加， 分别对应的手的形状和手的动作也增加，因此存在用户记忆姿态的负担 增大的问题。
并且，在使用照相机所拍摄的图像来检测姿态的情况下，亮度等的 周围环境对检测精度影响很大。尤其汽车的周围环境变化很大，因此， 存在很难始终高精度地检测姿态的问题。

发明内容
本发明是为了解决上述问题而提出的，其目的在于，提供即使设备 和操作对象增加也能够简单地进行姿态操作的操作输入装置。并且，本发明的目的在于，提供能够针对各种各样的周围环境，从 照相机所拍摄到的图像中高精度地检测姿态的操作输入装置。
本发明的操作输入装置具有摄像单元；手区域检测单元，其从摄 像单元所拍摄到的影像中检测人体的手区域；手操作判定单元，其根据 所检测出的手区域的形状和动作来判定手的操作；以及选择菜单提示单 元，其向用户告知根据所判定的操作而选择的菜单。
并且，本发明的操作输入装置具有两个以上的摄像单元；两个以 上的手区域检测单元，其从摄像单元所拍摄到的影像中检测人体的手区 域；两个以上的手操作判定单元，其根据所检测出的手区域的形状和动 作来判定手的操作；手操作判定选择单元，其从两个以上的手操作判定 单元所判定的结果中选择一个判定结果；以及选择菜单提示单元，其向 用户告知根据所判定的操作而选择的菜单。
本发明具有如下这样的效果通过构成如上所述的结构，可以向用
户告知通过简单的操作所选择的菜单，因此即使设备和操作对象增加， 也不会增加操作输入所需要的手的形状和手的动作的数量，从而可简单 地进行操作。
并且，本发明具有如下这样的效果由于构成为使用两个以上的照 相机来从两个以上的手操作判定单元的判定结果中选择一个判定结果， 所以能够在各种周围环境中得到较高的检测精度。


图1是示出本发明的实施方式1的操作输入装置的框图。 图2是本发明实施方式1中的手区域检测单元的框图。 图3是示出本发明实施方式1中的设备结构例的图。 图4是说明本发明实施方式1中的图像和检测区域的图。 图5是本发明实施方式1中的手操作判定单元的框图。 图6是说明本发明实施方式1中的轮廓方向直方图的图。 图7是本发明实施方式1中的另一手操作判定单元的框图。 图8是说明本发明实施方式1中的手方向判定单元的图。图9是说明本发明实施方式1中的搜索候选的显示和操作的图。
图10是本发明实施方式2中的手区域检测单元的框图。
图11示出本发明实施方式2中的设备结构例的图。
图12是说明本发明实施方式2中的图像和检测区域的图。
图13是示出本发明实施方式3的手操作输入装置的框图。
图14示出本发明实施方式3的设备结构例的图。
符号说明
11摄像单元；12手区域检测单元；12A手区域检测单元；13手操 作判定单元；13A手操作判定单元；14选择菜单提示单元；20可见光 照相机；21肤色区域提取单元；22差分区域提取单元；23 二值化校正 单元；24距离计算单元；25中央重点校正单元；26手区域候选检测单 元；27轮廓长度/面积计算单元；28手区域确定单元；51轮廓方向直方 图计算单元；52手方向判定单元；53判定结果存储单元；54时序数据 判定单元；71中心轮廓间距离计算单元；72手方向判定单元；73判定 结果存储单元；74时序数据判定单元；110红外线照相机；111差分区 域提取单元；112 二值化校正单元；113距离计算单元；114中央重点 校正单元；115手区域候选检测单元；116轮廓长度/面积计算单元；117 手区域确定单元；131手操作判定选择单元。
具体实施方式
实施方式l
图1是示出用于实施本发明的实施方式1中的操作输入装置的框图， 该操作输入装置包括以下部分例如用于对驾驶员向方向盘旁边伸出的 手进行拍摄的可见光照相机或红外线照相机等的摄像单元11;手区域检 测单元12，其根据摄像单元11所拍摄到的影像的影像信号来检测手区域； 手操作判定单元13，其根据手区域检测单元12所检测出的手区域的形状 和动作来判定手的操作；选择菜单提示单元14，其向用户告知根据手操 作判定单元13所判定的操作而选择的菜单。
图2是示出将可见光照相机20用作摄像单元11的情况下的手区域检测单元12的结构的框图，该手区域检测单元12包括以下部分肤色 区域提取单元21，其根据可见光照相机20所拍摄的影像的影像信号来提 取肤色区域；差分区域提取单元22，其根据同一个可见光照相机20所拍 摄的影像的影像信号生成背景图像，并提取该背景图像与当前影像之间 的差分区域；二值化校正单元23，其使肤色区域提取单元21和差分区域 提取单元22所提取的区域的图像数据二值化并对其进行校正；距离计算 单元24，其计算从二值化校正单元23所得到的二值化图像区域内部的点 到轮廓之间的最短距离，并检测该值为最大的距离最大点作为手的中心； 中央重点校正单元25，其对距离最大点的距离值加上校正值，其中，距 离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且距离最 大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单 元26，其从二值化图像区域中检测从上述距离最大点起预定距离内的范 围，作为手区域候选，其中该二值化图像区域包含加上校正值后的值为 最大的点；轮廓长度/面积计算单元27，其对手区域候选检测单元26所 检测出的手区域候选的轮廓进行跟踪，并计算轮廓的长度和区域的面积； 以及手区域确定单元28，其根据轮廓长度/面积计算单元27所得出的轮 廓的长度和面积来判定手区域候选是否为手。
图3示出了设备结构的示例，通过可见光照相机20来对方向盘附近 一带进行拍摄，并根据此处的手的操作来由挡风玻璃上的影像重叠单元 33进行菜单显示。在离方向盘很近的地方以较小的动作来进行手势和姿 态的操作是安全的。并且，对手进行拍摄的可见光照相机20优选设置在 这样的位置，即使进行操作的手位于图像的中央部、不会照到构成干 扰的人脸和窗外景色、并且不会形成逆光。例如，如图3所示设置在仪 表盘31的中央下方附近，并从那里对斜上方的方向盘附近一带进行拍摄。
来自可见光照相机20的摄像图像被输出为图4 (a)所示的图像，当 驾驶员在方向盘附近的操作区域内伸出手时，会输出图4 (b)所示的图 像。此时通过肤色区域提取单元21提取肤色区域，并提取出图4 (c)所 示的脸和手的区域。这里，作为能够减小亮度的影响的肤色提取，转换 到HSV (Hue、 Satumtion、 Value:色相、饱和度、亮度)颜色空间来进行提取。
在转换到HSV颜色空间后，能够对由逆光等所引起的亮度和肤色的 变化进行宽范围的检测。但是，在肤色区域中除了希望检测到的手之外， 还包含不希望检测到的驾驶员和其他乘客的脸等，并且当在车座或车顶 棚上存在与肤色相近的颜色时这些区域也会被检测出来。
另一方面，在差分区域提取单元22中，检测图4 (a)所示的背景图 像与图4 (b)所示的当前图像之间的差别较大的如图4 (d)所示的区域。 在该示例中，由于在图4 (a)和图4 (b)中手的位置发生了变化，所以 作为这些图像之间的差分，检测出了动作前后的两个手。在差分区域提 取中存在这样的问题，即如果对象物暂时没有动作，则不希望作为背 景的对象物也会成为背景，并且在背景与对象物的图像信号水平相近的 情况不能够顺利地进行提取。
因此，在二值化校正单元23中，根据肤色区域提取单元21和差分 区域提取单元22的输出来对检测区域进行校正。具体而言，求出这两个 区域的逻辑和，并通过膨胀处理、收縮处理和滤波处理，来对小孔区域 进行填充或去除微小的突起区域和噪声。通过这些处理，能够得到例如 图4 (e)所示的区域。利用该二值化校正单元23可以得到一个或两个以 上的二值化图像区域。
在距离计算单元24中，计算在二值化校正单元23所得到的二值化 图像区域中、从各区域内部的点到轮廓之间的最短距离，并检测该值为 最大的距离最大点，并将该位置作为手中心的候选。在图4 (f)中，提 取区域内的两个以上的闭合曲线是上述最短距离相等的点的集合，黑点 所表示的距离最大点是手中心的候选。这里，不以区域的重心作为手的 中心是因为，例如图4 (g)所示，在服装没有袖子从而检测到手臂区域 时，区域的重心不是手而是位于手臂上。
在中央重点校正单元25中，对距离最大点的距离值加上校正值，其 中，距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且 距离最大点的位置越靠近摄像画面的边缘则该校正值越小。这样进行中 央重点校正来检测手区域的候选是因为，在画面的中央拍摄到作为检测对象的手的可能性较高，而在图像的边缘则拍摄到作为干扰的物体(比
如脸)的可能性较高。例如图4 (h)所示，对于在画面的中央附近检测 到手，而在画面的右侧检测到脸区域的情况，仅依靠距离计算单元24而 得到的单纯的距离最大点位于脸一方的可能性高，从而会错误地将其判 断为手的候选，但是通过利用中央重点校正单元25来进行校正，能够检 测出靠近中央的手区域作为手的候选。
通过追加中央重点校正单元25，具有这样的效果，即即使在画面 的边缘检测到的干扰区域较大，也能够检测出画面中央部的手。另外， 在上述示例中，对距离最大点的距离计算结果加上校正值，但对该计算 结果乘以校正值也能够获得同样的效果。
接着，在手区域候选检测单元26中，检测经中央重点校正单元25 校正后的距离最大点的距离值为最大的点，将包含该点的二值化图像区 域中的、手的中心即距离最大点上方的区域部分作为手区域的候选。作 为其他手区域候选检测方法，也可以将与距离最大点相距预定距离内的 范围作为手区域的候选。
在轮廓长度/面积计算单元27中，针对由手区域候选检测单元26所 得到的区域，对二值化图像区域的轮廓进行跟踪，并计算轮廓的长度和 区域的面积。
在手区域确定单元28中，对由轮廓长度/面积计算单元27所计算出 的轮廓的长度和区域的面积是否进入了预定的范围进行调查，在进入了 预定的范围时，判断为手的区域，作为手区域检测单元12的输出。
图5是示出手操作判定单元13的结构例的框图，其由以下部分构成 轮廓方向直方图计算单元51，其针对从手区域检测单元12得到的区域， 对轮廓方向进行编码，计算表示轮廓方向的频度分布的直方图；手方向 判定单元52，其根据由轮廓方向直方图计算单元51计算出的直方图来求 出轮廓的方向成分的频度，并根据该结果来检测手区域的倾斜；判定结 果存储单元53，其将手方向判定单元52的判定结果保存预定时间；以及 时序数据判定单元54，其根据积蓄在判定结果存储单元53中的预定时间 的判定结果来判定包括动作信息在内的手的操作。在轮廓方向直方图计算单元51中，针对由手区域检测单元12所得 到的二值化图像区域的轮廓，例如根据如6 (a)所示的方向码来对轮廓 的方向进行编码，并生成其直方图。例如，对于图6 (b)所示的为了简 单而对像素进行了放大的区域，沿着逆时针方向对轮廓(在该图中为全 部涂为黑色的像素)进行跟踪，并对全周求出直方图，从而成为图6 (c) 所示的那样。
在手方向判定单元52中，根据由轮廓方向直方图计算单元51所计 算出的直方图来判定手的倾斜。如果针对图6 (c)所示的直方图将方向 相反的代码相加，则直方图被变换为图6 (d)所示的直方图。通过检测 该直方图的多数成分来判定手的方向。例如，如图6 (e)所示，在右上 斜成分(方向码6)和左下斜成分(方向码2)多的情况下，判定为手向 右上方倾斜；如图6 (f)所示，在上下成分(方向码3和7)多的情况下， 判定为手笔直地竖起；如图6 (g)所示，在左上斜成分(方向码0)和 右下斜成分(方向码4)多的情况下，判定为手向左上方倾斜；如图6 (h) 所示，在所有成分都大致相等的情况下，判断为手指弯曲。这样，能够 使用轮廓方向直方图检测出手的倾斜状态以及手指的弯曲伸直动作。
手方向判定单元52的判定结果保存在判定结果存储单元53中，时 序数据判定单元54根据判定结果存储单元53的预定时间的判定结果来 判定手的操作。虽然用1帧图像即可进行一次判定，但是作为几帧的时 序信息进行判断可以提高检测精度，还可以检测出摆手操作那样的动作 信息。并且，通过对多帧进行判定，对于例如出于其他目的而仅仅一瞬 间地将手伸出或者存在对面车的前照灯照射过来这样的干扰的情况，也 能够可靠地进行判定。
图7是示出手操作判定单元13的另一结构例的框图，其由以下部分 构成中心轮廓间距离计算单元71，其计算从由手区域检测单元12所得 到的手区域的中心到上述手区域的轮廓上的所有点之间的距离；手方向 判定单元72，其根据从中心轮廓间距离计算单元71所计算出的距离为最 大的点和距离为最小的点连接到上述手区域中心的两条线段的距离和方 向，来判定手的方向；判定结果存储单元73，其将手方向判定单元72的判定结果保存预定时间；以及时序数据判定单元74，其根据存储在判定 结果存储单元73中的预定时间的判定结果来判定包括动作信息在内的手 的操作。
在中心轮廓间距离计算单元71中，对由手区域检测单元12所得到 的二值化图像区域的轮廓进行跟踪，计算从手中心到轮廓线的距离为最 大的点及其距离值，并且计算从手中心到轮廓线的距离为最小的点及其 距离值。例如，如图8 (a)所示，在伸出食指的情况下，相对于手中心 (A)，距离最大的点被检测为指尖(B)，距离最小的点被检测为拳头的 位置(C)。
在手方向判定单元72中，能够根据由中心轮廓间距离计算单元71 所计算出的点和距离来判定手的操作，具体而言，能够利用A—B间距 离与A—C间距离的比率来判定手指的曲伸，以及根据A—B的方向矢量 来判定手指的方向。例如，如图8 (b)所示，在A—B间距离小于A—C 间距离的2倍的情况下，判定为收回手指；如图8 (c)所示，在A—B 间距离大于A—C间距离的2倍、并且(B)在(A)的右上方的情况下， 判定为手向右上方倾斜。像这样，能够根据手的中心、指尖的位置、以 及拳头的位置来检测手的倾斜状态以及手指的曲伸动作。
此后的判定结果存储单元73和时序数据判定单元74与图5中的判 定结果存储单元53和时序数据判定单元54相同。
手操作判定单元13或13A所判定的操作优选为，无论在任何状况和 任何层级的菜单中，都可以一样地进行操作，而且操作是直观的。在上 述两个手操作判定单元中，例如，能够执行以下操作通过伸出食指并 使食指倾斜的操作，来依次变更选择菜单的候选；通过使手指弯曲、像 按下按钮一样的操作来执行所选择的菜单；在希望返回时，通过左右摇
动手指以表示否定的操作来进行取消操作。用户通过这些手的操作至少 可以移动菜单候选的层级、选择所期望的菜单、并执行。因此，即使设
备和操作对象增加，也能够利用上述的手操作判定单元13或13A来简单 地进行操作，而不会增加操作输入所需的手形状和手动作的数量。
以上，对两个手操作判定单元进行了说明，但是，即可以利用它们双方，也可以利用其中的任一方。
图1的选择菜单提示单元14根据手操作判定单元13所判定的操作， 通过声音或者图像来表示所选择的菜单以告知用户。在通过图像进行显 示的情况下，例如，通过图3的挡风玻璃上的影像重叠显示装置33来显 示选择菜单。
本发明的操作输入装置能够与带有语音识别功能的汽车导航装置组 合在一起。例如，在带有语音识别功能的汽车导航装置中具有这样的功 能当说出"附近的便利店"时，对便利店进行检索并在汽车导航仪上 显示候选，通过触摸面板或按钮来选择目的地。与之相对，例如如图9 (a)所示的那样来显示候选，用户不需要触摸触摸面板或按钮，而例如 通过使手向右倾斜来使候选滚动到图9 (b)所示的画面，并通过使手指 弯曲的操作来确定目的地。
实施方式2
图10是示出用于实施本发明的实施方式2中的操作输入装置的框 图，该操作输入装置具有差分区域提取单元lll，其根据红外线照相机 110所拍摄的影像的影像信号生成背景图像，并提取该背景图像与摄像单 元所拍摄的当前影像之间的差分区域；二值化校正单元112，其根据差分 区域提取单元111的信息来使手区域的图像数据二值化并对其进行校正； 距离计算单元113，其计算从二值化校正单元112得到的手区域的二值化 图像区域的像素到摄像画面区域的边缘之间的最短距离；中央重点校正 单元114，其对距离计算单元113所输出的计算结果加上校正值，其中，
越靠近画面中央则该校正值越大，并且越靠近画面边缘则该校正值越小；
手区域候选检测单元115,其将中央重点校正单元114的输出为最大的位
置作为手的中心，并检测包含该点的二值化图像区域作为手位置的候选；
轮廓长度/面积计算单元116，其对手区域候选检测单元115所得到的二 值化图像区域的轮廓进行跟踪，并计算轮廓的长度和区域的面积；以及 手区域确定单元117，其根据轮廓长度/面积计算单元116所得出的轮廓
长度和面积来判定二值化图像区域是否为手。
图11是示出实施方式2中的设备结构的示例的图。在实施方式1的情况下，摄像单元是可见光照相机20，而在本实施方式中，摄像单元是 红外线照相机110，并追加了作为发光部的红外线LED 104。
虽然来自红外线照相机110的拍摄图像也取决于周围的亮度，但是 在与周围的红外线水平相比红外线LED 104能够发出足够强的红外线的 情况下，能够得到这样的图像，即如图12 (a)所示，与红外线LED 104 和红外线照相机110距离较近的手的部分对红外线的反射成分较多，从 而成为高亮度水平，而由于背景对红外线的反射量较少，所以成为低亮 度水平。
在差分区域提取单元111中，检测图12 (b)的背景图像与图12 (a) 的图像之间的差别较大的图12 (c)所示的区域。虽然与可见光照相机 20的情况相同，存在如果手暂时不进行动作则作为检测对象物的手会成 为背景图像的问题，但是与可见光照相机20不同的是具有这样的优点 即使在背景中存在与手的颜色和亮度相同的物体，也能够根据距红外线 LED 104和红外线照相机110的距离的不同，而与手区别开。
在二值化校正单元112中，对差分区域提取单元111的检测区域进 行校正处理来得到图12 (d)所示的区域，其中，该校正处理是通过膨胀 处理、收縮处理和滤波处理，来对小孔区域进行填充或去除微小的突起 区域和噪声等的处理。
此后的距离计算单元113、中央重点校正单元114、手区域候选检测 单元115、轮廓长度/面积计算单元116、手区域确定单元117分别与图2 中的距离计算单元24、中央重点校正单元25、手区域候选检测单元26、 轮廓长度/面积计算单元27、手区域确定单元28相同。
但是，像本实施方式那样，在摄像单元U是红外线照相机110的情 况下，可以省去中央重点校正单元114。这是因为，通过将红外线LED 的照射方向设定为手的操作位置，即使脸进入到红外线照相机110所拍 摄的图像的边缘，由于照射到脸上并被脸反射的红外线的水平低于画面 中央部的手部分的红外线水平，因此，脸的图像信号的水平较低。
在红外线LED 104的红外线水平低于周围的红外线水平的情况下， 例如，在夕阳直接从窗户射入等，即使红外线LED 104位于手的附近，但入射的红外线仍然强于其反射成分的情况下，可以通过将红外线LED 104熄灭，从而得到如图12 (e)所示的背景为高亮度、手的部分为低亮 度的图像，并利用差分区域提取单元111来对手进行检测。可以通过差 分区域提取单元111所保持的背景图像的平均亮度水平、或者将重点设 置在周边部的亮度水平，来进行周围的红外线水平的判定。
在本实施方式中，使用近红外线作为红外线，但是，使用远红外线 也能够实现相同的动作。但是，在使用远红外线的情况下，不需要作为 发光部的红外线LED104。
实施方式3
图13是示出用于实施本发明的实施方式3中的操作输入装置的框 图。该操作输入装置具有可见光照相机20和红外线照相机110来作为摄 像单元ll，并且该操作输入装置还具有以下部分手区域检测单元12， 其根据可见光照相机20所得到的影像信号来检测手的区域；手操作判定 单元13和13A，它们利用彼此不同的方法，根据手区域检测单元12所 得到的手的区域来对操作进行判定；手区域检测单元12A，其根据红外 线照相机IIO所得到的影像信号来检测手的区域；手操作判定单元13和 13A，它们利用彼此不同的方法，根据手区域检测单元12A所得到的手 的区域来对操作进行判定；手操作判定选择单元131，其从基于可见光照 相机20的两个以上的手操作判定单元的判定结果和基于红外线照相机 IIO的两个以上的手操作判定单元的判定结果中，选择一个判定结果；以 及选择菜单提示单元14，其向用户告知根据手操作判定单元131所选择 的操作而选择的菜单。
图14是具有可见光照相机20和红外线照相机110双方的情况下的 设备结构的示例。从可见光照相机20到两个以上的手操作判定单元13 和13A的处理、以及从红外线照相机110到两个以上的手操作判定单元 13和13A的处理，与实施方式1和实施方式2相同。
本实施方式3具有对由可见光照相机20和红外线照相机110所得到 的两个以上的判定结果进行选择的手操作判定选择单元131。手操作判定 选择单元131中的最简单的选择方法是判定结果的多数原则，但是，可见光照相机20的检测在白天比较明亮时检测精度较高，在夜晚比较暗时 检测精度下降；而红外线照相机110的检测在背景的红外线水平较高的 白天检测精度较低，在夜晚检测精度升高。因此，可以通过在白天选择 可见光照相机20的判定结果，而在夜晚选择红外线照相机110的判定结 果，由此提高检测的精度。可以通过时钟的时刻信息或者是否亮灯来对 白天和夜晚进行判定。
并且，是否具有用于由可见光照相机20进行高精度的检测的充分亮 度与红外线照相机110所拍摄的图像的红外线水平有很大关系，在红外 线水平较高时，具有用于由可见光照相机20进行高精度的检测的充分亮 度。因此，在红外线照相机110所得到的红外线水平低于预定值时，选 择基于红外线照相机110的判定，相反，在红外线水平高于预定值时， 选择基于可见光照相机20的判定，由此能够提高检测的精度。
并且，在无法准确地进行手区域检测的情况下，也无法准确地判定 手操作判定单元的判定结果，从而两个以上的手操作判定单元的判定结 果彼此不同。因此，选择手操作判定单元的结果差异小的摄像单元的判 定结果来提高可靠性。
在本实施方式中，将可见光照相机20和红外线照相机110的安装位 置如图14所示的那样共同安装在仪表盘中央的下部，但是也可以将这些 照相机都安装在后视镜或者室内镜的附近，并也可以将它们分别安装在 不同的位置。
权利要求
1. 一种操作输入装置，其特征在于，该操作输入装置具有摄像单元；手区域检测单元，其根据上述摄像单元所拍摄到的影像检测人体的手区域；手操作判定单元，其根据所检测出的手区域的形状和动作来判定手的操作；以及选择菜单提示单元，其向用户告知根据所判定的操作而选择的菜单。
2. —种操作输入装置，其特征在于，该操作输入装置具有 两个以上的摄像单元；两个以上的手区域检测单元，其根据上述两个以上的摄像单元所拍 摄到的影像检测人体的手区域；两个以上的手操作判定单元，其根据所检测出的手区域的形状和动 作来判定手的操作；手操作判定选择单元，其从上述两个以上的手操作判定单元所判定 的结果中选择一个判定结果；以及选择菜单提示单元，其向用户告知根据上述手操作判定选择单元所选择的操作而选择的菜单。
3. 根据权利要求1或2所述的操作输入装置，其特征在于， 上述手区域检测单元构成为包括肤色区域提取单元，其从可见光照相机所拍摄的影像中提取肤色区域；差分区域提取单元，其提取可见光照相机所拍摄的背景图像与当前 影像之间的差分区域；二值化校正单元，其使上述肤色区域提取单元和上述差分区域提取 单元所提取的区域的图像数据二值化并对其进行校正；距离计算单元，其计算从上述二值化校正单元所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测该值为最大的距离最大点作为手的中心；中央重点校正单元，其对距离最大点的距离值加上校正值，其中， 上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且 上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元，其从二值化图像区域中检测手区域候选，该 二值化图像区域包含加上了上述校正值后的距离最大点的距离值为最大 的点；轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面 积；以及手区域确定单元，其根据所计算出的轮廓长度和面积来确定上述手 区域候选是否为手。
4.根据权利要求1或2所述的操作输入装置，其特征在于， 上述手区域检测单元构成为包括差分区域提取单元，其提取红外线照相机所拍摄的背景图像与当前 影像之间的差分区域；二值化校正单元，其使上述差分区域提取单元所提取的区域的图像 数据二值化并对其进行校正；距离计算单元，其计算从上述二值化校正单元所得到的二值化图像 区域内部的点到轮廓之间的最短距离，并检测该值为最大的距离最大点 作为手的中心；中央重点校正单元，其对距离最大点的距离值加上校正值，其中， 上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且 上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元，其从二值化图像区域中检测手区域候选，该 二值化图像区域包含加上了上述校正值后的距离最大点的距离值为最大 的点；轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面 积；以及手区域确定单元，其根据所计算出的轮廓的长度和面积来确定上述手区域候选是否为手。
5. 根据权利要求1或2所述的操作输入装置，其特征在于， 上述手操作判定单元构成为包括-轮廓方向直方图计算单元，其计算表示所检测出的手区域的轮廓方 向频度分布的直方图；手方向判定单元，其根据上述轮廓方向直方图计算单元所得到的直 方图的大小来判定手的方向；判定结果存储单元，其保存上述手方向判定单元所得到的判定结果；以及时序数据判定单元，其根据保存在上述判定结果存储单元中的预定 时间的判定结果来判定当前的手操作。
6. 根据权利要求1或2所述的操作输入装置，其特征在于， 上述手操作判定单元构成为包括中心轮廓间距离计算单元，其计算从手区域检测单元所得到的手区 域的中心到上述手区域的轮廓上的所有点之间的距离；手方向判定单元，其根据从所计算出的距离为最大的点和距离为最 小的点连接到上述手区域中心的两条线段的距离和方向，来判定手的方 向；判定结果存储单元，其保存上述手方向判定单元所得到的判定结果；以及时序数据判定单元，其根据保存在上述判定结果存储单元中的预定 时间的判定结果来判定当前的手操作。
7. 根据权利要求1或2所述的操作输入装置，其特征在于， 上述手操作判定单元根据手区域检测单元的检测结果，至少进行进行菜单的候选变更、执行、取消的判定。
8. 根据权利要求1或2所述的操作输入装置，其特征在于， 摄像单元由红外线照相机构成，在红外线照相机所拍摄的图像的平均红外线水平低于预定值时，点 亮红外线LED (104)，在高于预定值时，熄灭红外线LED (104)。
9. 根据权利要求2所述的操作输入装置，其特征在于， 上述两个以上的摄像单元由可见光照相机和红外线照相机构成， 该操作输入装置还包括手操作判定结果选择单元，在各摄像单元中，通过上述两个以上的手操作判定单元来进行手操作的判定，该手操作判定结果选择单元选择基于如下摄像单元的判定结果对于同一摄像单元, 两个以上的手操作判定单元的判定结果之间的差别小。
10. 根据权利要求2所述的操作输入装置，其特征在于， 上述两个以上的摄像单元由可见光照相机和红外线照相机构成， 该操作输入装置还包括手操作判定结果选择单元，在红外线照相机所拍摄的图像的平均红外线水平低于预定值时，该手操作判定结果选择 单元选择基于红外线照相机的手操作判定结果，在红外线照相机所拍摄 的图像的平均红外线水平高于预定值时，该手操作判定结果选择单元选 择基于可见光照相机的手操作判定结果。
全文摘要
操作输入装置。在通过照相机对用户的手势或姿态进行拍摄来进行汽车导航的操作时，随着设备和操作对象数量的增加，分别对应的手形状和手动作相应地增加。因此，存在对于用户来说操作变复杂的问题。并且，在通过照相机来对手进行检测的情况下，在照相机拍摄图像中存在颜色信息相近的脸等时、或者太阳光或照明等的外界光发生变化时，存在检测精度下降的问题。本发明的操作输入装置具有手操作判定单元和菜单显示单元，由此能够简单地进行操作，并且能够准确地对操作进行判定。并且，本发明使用多台照相机并从两个以上的判定单元中选择一个结果，由此提高检测精度。
文档编号G01C21/36GK101419498SQ200810213329
公开日2009年4月29日 申请日期2008年8月22日 优先权日2007年10月22日
发明者冈田玲子, 大塚功, 松谷清志, 西田好宏, 辻雅之 申请人:三菱电机株式会社