专利名称：操作输入装置及操作输入方法
技术领域：
本发明是涉及操作输入装置及操作输入方法，特别是适用于对计算机设备及导航装置等赋予通过操作员操作输入的输入指命令的操作输入装置。
背景技术：
现有的对计算机设备及导航装置等赋予通过操作员操作输入的输入指令的操作输入装置，大多采用具有键盘、鼠标、跟踪球及操纵杆等遥控器、触摸屏等。这些操作输入装置都是通过人手实际接触进行操作的接触型输入设备，操作麻烦。
例如，在计算机设备上起动应用软件进行操作业时，就需要一个一个分开使用进行字符输入等的键盘、和进行位置指定等的鼠标或跟踪球，这种分开使用非常麻烦。另外，当操作车载的导航装置时，驾驶员为了安全，需要把车停下来，将手从方向盘上离开，来一个一个操作遥控器的操纵杆或触摸屏，无法进行简单的操作。
对此，也曾提出了检测空间上的手指移动，来进行操作输入的非接触型技术(例如，参照专利文献1)。在该专利文献1所记载的技术中，在对应于显示器画面的规定空间扫描红外线，通过红外线传感器检测红外线照射在进入该空间内的手指等指示物上。然后，从此时的红外线照射位置，求出由该指示物所指定的空间上的位置，并定位与该空间位置对应的显示器画面上的位置，输出由该位置指定确定的规定的操作指令。
专利文献1日本特开平8-202480号公报但是，在上述专利文献1中记载的技术中，由于应操作输入的空间位置被特定在红外线扫描面上，所以必须将手指等指示物特意移动到该空间面上。特别是，无论操作者相对于显示器画面是否总是位于同一位置，可以操作输入的空间却总是固定在对应于显示器画面的规定空间。因此，无论操作者在何处，都必须将手指等指示物特意移动到所确定位置的空间面上，使用非常困难。
另外，使用操作输入装置的操作者并不一定是一个人，也有可能是体态不同的操作者进行操作，而专利文献1中记载的技术，如上所述地，可以操作输入的空间面却被固定在规定的位置。但是，操作者的手到达的范围因体态不同而有所差异，因空间面位置的不同，对个子小的操作者会有操作输入较困难的问题。另外，由于空间面相对于显示器画面是以绝对位置关系规定的，所以当操作者的位置改变时，看空间面的角度各不相同，就会有在操作输入上产生误差的问题。
另外，在上述专利文献1所记载的技术中，由于与指示物的操作输入对应的移动与其他移动没有区别，所以只要指示物进入空间面就全都判断为操作输入，存在可能违反用户意图而进行操作输入的问题。
另外，上述的接触型及非接触型的操作输入装置，都只是可以对显示器画面上显示的目标进行操作输入，而不能对假定为位于显示器画面外侧的目标进行直接操作。
例如，导航装置的情况下，在显示器画面上显示的地图只是全部中的一小部分，在其周围存在接续的地图。这种地图信息中，在假定为位于显示器画面外的信息，可以从显示器画面内显示的信息中很容易想象出来，而且，即使在可以假定位置的地点位于画面外的情况下，现有技术也不能直接操作该地点。为此，需要反复进行画面的滚动操作，直到使所假定的地点进入画面内，非常麻烦。
另外，计算机设备及导航装置等的指令输入方法，广泛使用点压显示器画面上显示的按钮状指示区域的方法。例如，如果是触摸屏，则通过用手指触摸显示器画面上显示的按钮状的指示区域，来输入指令。
但是，当加大指示区域的面积时，则显示地图或电影等的主要内容信息的面积变小，主要的内容信息就不易观看了。反之，为了防止这一情况而减小指示区域的面积时，就会要求用手指点压的精度，产生及难以操作的问题。这一问题，尤其在像导航装置那样显示器画面的尺寸不那么大时更为显著。
发明内容
本发明就是为了解决这一问题而提出的，其目的在于，在所确定的固定空间不需要特意移动手指等指示物，提高使用的方便性。
另外，本发明的目的还在于，与操作者所在位置无关，从任何位置都可以进行普通的操作输入。
另外，本发明的目的还在于，与操作者所在位置无关，无论从何处操作都难以产生误差。
另外，本发明的目的还在于，可以避免进行违反用户意图的操作的不当情况。
本发明是鉴于这样的实际情况而形成的，其目的在于，对于假定为位于显示器画面外侧的点及目标，可以直接进行操作输入。
另外，本发明的目的还在于，加大显示主要内容信息的面积的同时，而不减小指示区域，可以容易地进行操作输入。
为了解决上述的课题，本发明检测物体的三维位置，并检测连接显示器画面和规定基准点而形成的虚拟的指示(ポインティング)空间内物体的三维移动，并且，计算出将指示空间内的物体所存在的位置映射在显示器画面上而得到的显示器画面上的对象点坐标，根据物体的三维移动和对应于物体位置的显示器画面上的对象点坐标，判断操作输入内容。
另外，也可以识别指示空间内的物体是规定的指示物，并基于对识别为是指示物的物体检测出的指示空间内的位置，检测该指示物的三维移动及在显示器画面上的对象点的坐标。
另外，上述的指示空间，是连接显示器画面与位于离开该显示器画面的位置上的规定基准点而形成的锥体状的虚拟空间，规定的基准点最好设定在例如操作者眼睛的位置。另外，规定的基准点也可以将接触显示器画面与连接在各空间上对该显示器画面的四角进行指示动作时的物体位置所得到的面的双方为断面具有的锥体顶点的位置作为初始值，跟踪操作者移动而移动。另外，当可以假定操作者的移动很小时，也可以固定在初始值。
另外，在显示器画面的外部假定具有一定大小的延长面，并对显示器画面和延长面合在一起的展开面进行设定。然后，检测对该展开面进行的指示动作，输出对应的操作指令。
发明的效果根据上述构成的本发明，由于可以用手指等指示物操作的指示空间，设定成连接显示器画面和基准点的圆锥状，所以不必进行将手指等指示物特意移动到被固定为平面状的空间面上的操作。另外，如果指示物的位置是在指示空间内，则指示物也可以是显示器画面和操作者间的任意位置，所以在操作者的手可以够到的范围内，可以通常地进行操作输入。这样，可以提高空间上的人机接口的操作输入装置的使用方便性。
另外，根据本发明，由于显示器画面上的坐标是映射指示物存在的位置而得到的，所以无论操作者相对于显示器画面位于哪个位置，都可以使在操作输入中产生误差的不良情况减到最小限度。
另外，根据本发明，由于从在指示空间内所检测的物体中识别规定的指示物，并只以该指示物为对象进行操作输入内容的判断，所以即使指示物以外的物体在指示空间内移动，也不会判断为有操作输入。另外，由于只在指示物进行规定的移动时才判断为有操作输入，所以可以区别对应于指示物操作输入的移动与其他的移动，即使指示物偶然在指示空间内移动，只要是无意图的移动，也不会判断为有操作输入。这样，可以防止违反用户意图进行操作输入的不良情况。
另外，当把操作者眼睛的位置设定为规定指示空间的规定的基准点时，如果操作者移动，则指示空间也随移动的眼睛位置移动。这样，无论操作者相对于显示器画面移动到什么位置，也不必进行像现有技术那样把手指等指示物特意移动到被固定的空间面上的操作，可以通常地进行操作输入，可以更加提高空间上的人机接口的使用方便性。
另外，当规定指示空间的规定基准点，是设定在接触连接显示器画面、与在各空间上对该显示器画面的四角进行指定操作时的指示物位置所得到的面的双方为断面具有的锥体顶点的位置时，操作者盯着显示器画面对显示器画面内的位置进行普通指示时的指示物位置，一定包含在指示空间中。这样，可以以更自然的形式进行操作输入，可以更加提高空间上的人机接口的使用方便性。
另外，不仅在显示器画面的内侧，还可以对在显示器画面的外侧假定的延长面进行指示动作，所以，对于假定为位于显示器画面外侧的点及目标，可以直接进行操作输入。
另外，通过将延长面的一部分或全部分割成1个以上的区域，分别将其设定为指示区域，并对各个指示区域分配命令执行等，使显示器画面的内部几乎全用作显示主要的内容信息显示，可以使显示器画面外部预测的延长面作为命令执行的指示区域使用。这样，可以加大显示主要内容信息的面积，而指示区域也不减小，使操作输入容易进行。
图1是表示第1实施方式例的操作输入装置构成例的图。
图2是表示第1实施方式的微型计算机具有的功能构成的方框图。
图3是用于说明第1实施方式的指示空间的概念图。
图4是为用于说明第1～第4实施方式的指示动作的内容的图。
图5是表示第1～第4实施方式的操作输入装置的动作的流程图。
图6是表示第2实施方式的操作输入装置构成例的图。
图7是用于说明第2实施方式的指示空间的概念图。
图8是表示第2实施方式的微型计算机具有的功能构成的方框图。
图9是用于说明有效眼睛的概念图。
图10是表示第3实施方式的微型计算机具有的功能构成的方框图。
图11是表示基准点的校准画面的图。
图12是用于说明以立体摄像机作为位置检测装置使用时的物体的位置检测方法的图。
图13是用于说明第1实施方式的变形例所涉及的指示空间和指示面的概念图。
图14是用于说明第1实施方式的被扩展的指示空间的概念图。
图15是表示进行拖拉动作时的动作例的图。
图16是表示进行点击动作时的动作例的图。
图17是用于说明第2实施方式的被扩展的指示空间的概念图。
图18是用于说明第1实施方式的变形例所涉及的被扩展的指示空间和指示面的概念图。
具体实施例方式
(第1实施方式)
下面，参照
本发明的一实施方式。图1是表示第1实施方式的操作输入装置构成例的图。如图1所示，第1实施方式的操作输入装置的构成包括作为位置检测装置的三维图象传感器1、具备CPU2a、ROM2b、RAM2c等构成的微型计算机(以下简称为微机)2、及作为对显示器20进行显示控制的显示控制装置的显示控制器3。
三维图象传感器1用于检测空间上的物体三维位置。例如对物体照射光束，通过测量反射回来的光束来检测与物体之间的距离(物体的相对位置)。该三维图象传感器1，例如可以使用美国专利第6,515,740号说明书中公开的公知技术。如果使用该美国专利中记载的技术，则不仅可检测物体相对于三维图象传感器1的设置位置的三维相对位置，而且可以检测物体的三维形状。即，当物体上有凹凸不平，在物体的表面上存在距三维图象传感器1的距离差时，通过输出对应于该距离差的位置信息，可以检测出物体的三维形状。
微机2具有的CPU2a对整个操作输入装置进行控制。ROM2b中存储操作输入装置的工作所需要的各种程序。RAM2c暂时存放在CPU2a的各种处理过程中所得到的数据、及各种处理结果所得到的数据。即CPU2a根据ROM2b中所存储的各种程序，将RAM2c作为工作存储器使用，同时对操作输入装置的工作进行控制。
图2是表示微机2具有的功能构成的方框图。而图3是用于说明本实施方式的指示空间的概念图。如图2所示，本实施方式的微机2，其功能构成包括指示空间设定部21、指示物识别部22、坐标检测部23、移动检测部24及操作输入内容判断部25。
如图3所示，指示空间设定部21，设定连接显示器20的画面(以下称为显示器画面30)与位于离开该显示器画面30的位置的规定基准点31而形成的锥体状的虚拟指示空间32。
此处，在多数情况下，基准点31设定在估计操作者所在的位置上。例如，当将本实施方式的操作输入装置应用在车载用导航装置上时，最好在驾驶席的安全枕前的空间，将基准点31设定在假定为驾驶员眼睛位置的一点上。图3表示了这一状态。即，车载用导航装置的情况下，显示器画面30设置在仪表盘的大体中央，而驾驶席在车辆的靠右侧(或靠左侧)，所以指示空间32如图3所示形成倾斜的锥体状。
这时，由于预先知道显示器画面30的位置和基准点31的位置(例如在RAM2c及其他未图示的存储器中作为信息存储)，所以指示空间32可唯一决定。
指示物识别部22通过三维图象传感器1检测指示空间32内的物体，识别为规定的指示物34。在本实施方式中，指示物34是棒状的突出物。例如操作者伸出的一根手指、操作者拿的笔及指示工具等就相当于指示物34。
当将三维图象传感器1设置在显示器画面30的附近时，指示物34向着显示器画面30的方向，即向着三维图象传感器1的方向进行操作。这时，如上所述，由于三维图象传感器1输出对应于与物体之间的距离的位置信息，所以当棒状物体向着三维图象传感器1的方向时，只输出仅对该棒状物体的尖端部分近的位置信息，从而，可以将输出该近的位置信息的部分作为指示物34存在的位置进行检测。
另外，当在显示器画面30和基准点31之间的指示空间32的侧面设置三维图象传感器1时，指示物34从三维图象传感器1看去是向着横向操作。如上所述，三维图象传感器1可以对应于物体的三维形状输出位置信息。从而，指示物识别部22，根据与从三维图象传感器1输出的物体形状对应的位置信息，判断在指示空间32内是否存在大于等于规定长度、且小于等于规定粗细的物体，当存在时，可以将该物体识别为指示物34。
坐标检测部23基于通过三维图象传感器1所检测的指示空间32内的指示物34的位置，利用映射关系，检测显示器画面30上的对象点36的坐标。即，坐标检测部23将通过基准点31的位置和指示物34的位置的线35同显示器画面30交叉的对象点36，作为显示器画面30的坐标，根据在指示空间32内识别并检测出的指示物34的位置进行计算。通过三维图象传感器1所检测的指示物34的位置，是从三维图象传感器1看的相对位置，但由于预先知道三维图象传感器1本身的位置，所以也可以检测指示物34的绝对位置。
坐标检测部23将检测的对象点36的坐标信息输出给显示控制器3。显示控制器3根据由坐标检测部23供给的对象点36的坐标信息，进行在显示器画面30上的对象点36的坐标位置、根据需要显示规定标记(例如，箭头标记等)的控制。
移动检测部24检测指示空间32内的指示物34的三维移动。如上所述，三维图象传感器1随时输出指示空间32内的物体的三维位置信息，通过指示物识别部22检测物体是否是指示物34。从而，通过观察有关指示物34的位置信息的变化，可以检测指示物34的三维移动。
操作输入内容判断部25，根据由坐标检测部23所检测的显示器画面34上的对象点36的坐标、及由移动检测部24所检测的指示物34的三维移动，判断由操作者进行的指示物34的操作输入内容，输出对应的操作指令。
例如如图4所示，在指示空间32内，当指示物34在显示器画面30的规定坐标范围内以大于等于规定速度接近显示器画面30移动时，操作输入内容判断部25判断为进行了指示开始动作。另外，在指示空间32内，当指示物34在显示器画面30的规定坐标范围内以大于等于规定速度远离显示器画面30移动时，判断为进行了指示解除动作。
另外，在指示空间32内，指示物34进行上述的指示开始动作后，在规定时间内进行指示解除动作时，判断为进行了点击动作。另外，在指示空间32内，指示物34进行上述指示开始动作后，不进行指示解除动作，而是由坐标检测部23检测的显示器画面30上的对象点36的坐标进行移动动作时，则判断为进行了拖拉动作，并将在显示器画面30上的坐标上的移动量作为拖拉量检测。
操作输入内容判断部25将表示检测的操作输入内容的信息输出给显示控制器3。显示控制器3根据从操作输入内容判断部25供给的信息，控制显示器画面30上的显示。例如，当通过操作输入内容判断部25判断为进行了拖拉动作时，进行显示控制，使由坐标检测部23检测出的显示器画面30上的对象点36的坐标位置(有箭头标记的位置)上的目标，向拖拉的方向移动该拖拉量。
下面对上述构成的本实施方式的操作输入装置的操作进行说明。图5是表示本实施方式的操作输入装置操作的流程图。在图5中，首先通过三维图象传感器1检测空间上的物体的三维位置(步骤S1)。然后，通过指示物识别部22判断该物体是否在指示空间32中(步骤S2)。当物体在指示空间32内时，指示物识别部22再判断该物体是否是指示物34(步骤S3)。当物体不在指示空间32内时，或者即使物体在指示空间32内但它不是指示物34时，返回到步骤S1的处理。
当通过指示物识别部22识别出指示空间32内的指示物34时，通过移动检测部24检测指示空间32内的指示物34的三维移动(步骤S4)。再基于由三维图象传感器1检测的指示空间32内的指示物34的位置，利用映射关系，通过坐标检测部23计算显示器画面30上的对象点36的坐标(步骤S5)。该步骤S4的处理和步骤S5的处理顺序也可以颠倒。
最后，操作输入内容判断部25根据由移动检测部24检测的指示物34的三维移动、及与由坐标检测部23检测的指示物34的位置对应的显示器画面30上的对象点36的坐标，判断操作输入内容，输出对应的操作指令(步骤S6)。即，根据是否有过规定的移动来判断点击动作或拖拉动作，并输出对应于该动作的操作命令。
例如，当操作输入内容判断部25判断为向着在对象点36的坐标位置存在的目标(例如GUI的操作按钮)进行了拖拉动作时，输出用于执行分配给该操作按钮的处理的操作指令。当操作输入内容判断部25判断为对在对象点36的坐标位置存在的目标(例如图标)进行了拖拉动作时，将使该目标向拖拉的方向仅移动拖拉量的操作指令，输出给显示控制器3。在进行地图显示的导航装置上使用本实施方式的操作输入装置时，也可以输出使地图整体滚动的操作指令，使由指示开始动作所指示的地点向拖拉的方向仅移动拖拉量。
如以上详细说明，根据本实施方式，不是在像现有技术那样被固定成平面状的场所检测空间上的手指等指示物34，而是在锥体状的指示空间32内进行检测，根据其位置和移动来判断操作内容。这样，就不必进行将手指等指示物特意移动到固定成平面状的空间面上的麻烦操作，只要是在指示空间32内，就可以在喜欢的地方进行操作输入。
另外，根据本实施方式，由于显示器画面30上的对象点36的坐标，是对指示物34存在的位置进行映射得到的，所以操作者无论相对于显示器画面30处于什么位置，都可以使在操作输入中产生误差的不良情况减到最小限度。
另外，根据本实施方式，由于在指示空间32内检测出的物体中，只以识别为规定指示物34的物体作为对象，进行操作输入内容的判断，所以，即使在指示空间32内有指示物34以外的物体移动，也不判断为有过操作输入。另外，由于限定与操作输入内容对应的指示物34的移动，所以可区别对应于指示物34的操作输入的移动和除此之外的移动，即使在指示空间32内指示物34偶然移动，如果是无意图的移动，也不会判断为有过操作输入。这样，可以防止违反用户意图进行操作输入的不良情况。
(第2实施方式)下面对本发明的第2实施方式进行说明。图6是表示第2实施方式的操作输入装置构成例的图。在该图6中，由于具有与图1中所示的标号相同标号的部件具有相同功能，故在此省略其重复的说明。
如图6中所示，第2实施方式的操作输入装置具有作为位置检测装置的2个三维图象传感器1-1、1-2。一个三维图象传感器1-1与第1实施方式一样，用于对指示空间32内的指示物34的三维位置进行检测。另一个三维图象传感器1-2用于检测操作者眼睛的三维位置。
图7是为说明第2实施方式的指示空间的概念图。如图7中所示，在第2实施方式中，在由另一个三维图象传感器1-2所检测的操作者眼睛的位置上设定规定的基准点31。即，第2实施方式的指示空间32，是连接显示器画面30和操作者眼睛的位置31而形成的锥体状空间。
图8是表示第2实施方式的微机2的功能构成例的方框图。在该图8中，由于具有与图2中所示的标号相同标号的构成具有相同功能，所以在此省略其重复说明。如图8中所示，在第2实施方式中，微机2的功能构成具有基准点识别部26。另外，具有与图2所示的指示空间设定部21不同功能的指示空间设定部27。
基准点识别部26根据由另一个三维图像传感器1-2输出的信息，识别应作为基准点31的操作者眼睛。另外，指示空间设定部27设定以所识别的操作者眼睛的位置为基准点31的指示空间32。规定指示空间32的另一个要素的显示器画面30的位置信息，其预先登录在RAM2c等存储器中。在本实施方式中，指示物识别部22根据一个三维图象传感器1-1输出的指示空间32内的物体位置信息，识别指示物34。
如上所述，在将由三维图象传感器1-2所检测的操作者眼睛的位置作为指示空间32的基准点31进行设定时，当操作者移动时，根据移动的眼睛位置，指示空间32也移动。这样，无论操作者相对于显示器画面30移动到什么地方，也不必像现有技术那样，进行使手指等指示物34特意移动到固定的空间面上的麻烦操作，可以进一步提高使用方便性。另外，由于无论操作者相对于显示器画面30移动到什么位置，操作者总是盯着显示器画面30进行操作，所以可以使操作输入产生误差的不良情况控制在最小限度。
作为基准点31使用的操作者眼睛的位置，最好是有效眼睛的位置。如图9(a)所示，两眼看显示器画面30时，显示器画面30和操作者之间的指示物34看成双重的。这是由于如图9(b)和9(c)所示，对指示物34和显示器画面30用右眼看时和用左眼看时，看见的指示物34的位置是不同的缘故。
一般来说，当因视差而看见双重像时，由有效眼睛看的像起判断作用。例如，当有效眼睛是右眼时，睁开双眼，用手指指某个目标时，即使闭上左眼，指尖也不会偏离目标，而闭上右眼，指尖就会成为偏离目标的位置。从而，通过将指示空间32的锥体作为从操作者有效眼睛看显示器画面30的锥体，即使指示物34看成双重的，指示的对象点36也是所要的点。
操作者的有效眼睛是哪一个的信息，例如使用键盘、鼠标、操作杆等输入设备(未图示)事前登录在微机2的RAM2c或未图示的其他存储器等中即可。这时，指示物识别部22根据事先登录的有效眼睛的信息，根据另一个三维图象传感器1-2输出的信息，识别有效眼睛。然后，指示空间设定部27设定以有效眼睛为基准点31的指示空间32。
在第2实施方式中，对将操作者眼睛的位置设定为基准点31的例子进行了说明，也可以在鼻子的位置、嘴的位置、脸的中央等设定基准点31。
(第3实施方式)下面对本发明的第3实施方式进行说明。第3实施方式与图1中所示的第1实施方式一样，位置检测装置使用一个三维图象传感器1。第3实施方式的微机2的功能构成如图10所示的方框图。在该图10中，由于具有与图2中所示的标号相同标号的构成具有相同功能，故在此省略其重复的说明。
如图10所示，在第3实施方式中，微机2的功能构成，具有与图2中所示的指示空间设定部21不同功能的指示空间设定部28。指示空间设定部28在可设定操作者方便自然地操作指示物34的指示空间32的位置上，设定基准点31。具体来说，指示空间设定部28对显示控制器3发出指令，将图11所示的基准点31的校准画面显示在显示器画面30上。在该校准画面的四角显示有规定的标记40。
操作者在空间上对四角的标记40进行指示动作(例如指示开始动作或点击动作)。如果通过操作者对四角的标记40进行了指示动作，则指示空间设定部28对四角的每个标记分别，通过三维图象传感器1检测操作者开始或结束指示动作时的指示物34的位置，并确定连接这4个位置而构成的平面。指示空间设定部28假定显示器画面30(更准确的说是连接显示器画面30四角的标记40而构成的平面)、和连接对显示器画面30四角的标记40分别进行指示动作时的指示物34位置所得到的平面的双方作为截面而持有的锥体，并将成为其顶点的位置设定为基准点31。将连接这样得到的基准点31和显示器画面30而成的锥体，作为指示空间32进行设定。
在上述的第2实施方式中，在连接显示器画面30上想要操作的对象点36和假定为操作者眼睛位置的基准点31的直线35上，必须放置手指等指示物34进行指示动作。与其相比，根据第3实施方式，当使用图11这样的校准画面，对显示器画面30的四角进行指示动作时，如果该操作者在最容易操作的自然位置放置指示物34进行指示动作，可设定肯定包含由其四角规定的平面的指示空间。从而，对应每个操作者，可以在操作者便于操作输入的位置设定指示空间32，可以进一步提高空间上的人机接口的使用方便性。
另外，由于四角的标记40的指示动作一般是无意识地利用有效眼睛进行的，所以，如第2实施方式那样，也可以不必使用输入设备，事先将有效眼睛登录在存储器中，相当于在进行四角的标记40的指示动作时，自动设定有效眼睛。
(第4实施方式)下面对本发明的第4实施方式进行说明。第4实施方式是上述第2实施方式和第3实施方式的组合。即在第4实施方式中，利用一个三维图象传感器1-1，以与第3实施方式同样的动作，检测校准时指示物24的移动，求出基准点31，将其设定为初始值。另外，用与第2实施方式同样的动作，由另一个三维图象传感器1-2检测操作者的眼睛、鼻子、嘴、脸部中央等的移动，并根据该移动使基准点31从初始值移动。
这样，当操作者移动时，根据移动的眼睛等的位置，指示空间32也移动。从而，操作者相对于显示器画面30无论移动到什么部位，只要是指示空间32的移动进行跟踪，操作者的操作性就不变化，所以可以提高使用方便性。另外，由于无论操作者相对于显示器画面30移动到什么部位，操作者总是盯着显示器画面30进行操作，所以可以使在操作输入中产生误差的不良情况控制在最小限度。
在上述第1～第4实施方式中，作为位置检测装置，对于采用三维图象传感器的例子进行了说明，但是并不限于该例。例如也可以采用立体摄像机。图12是为说明以立体摄像机作为位置检测装置使用时的物体的位置检测方法的图。
如图12所示，例如在显示器画面30的右侧，向着有指示物34的指示空间32的方向设置基准摄像机41，并且，例如在显示器画面30的左侧，向着有指示物34的指示空间32的方向设置辅助摄像机。这2台摄像机41、42具有相等的光学系统，设置成光轴以距离d、角度θ交差。
在此，假设指示物34在基准摄像机41的摄像面上成像的成像点A1的位置为(x1，y1)，指示物34在辅助摄像机42的成像面上成像的成像点A2的位置为(x2，y2)。另外，当假设各摄像机41、42具有的镜头41a、42a的焦距为F时，则从显示器画面30看的指示物34的三维位置(x，y，z)可由下式求出。
x＝d·x1·G(x2)/H(x1，x2)y＝d·y1·G(y2)/H(y1，y2)z＝d·F·G(x1)/H(x1，x2)其中，G(x1)＝F·sinθ·x1(1-cosθ)H(x1，x2)＝(F+x1·x2)sinθ+F(x1-x2)cosθ另外，在上述第1～第4实施方式中，对在一个地方设置指示空间32的基准点31的例子进行了说明，但是也可以在多个地方设定基准点31，并设定多个指示空间32。另外，也可以根据操作者的位置切换基准点31的位置。例如在车载导航装置上使用上述第1实施方式的操作输入装置时，可将基准点31切换到在驾驶席、助手席、后部席的附近设置的规定中的任一个位置。另外，在车载导航装置上使用上述第2实施方式的操作输入装置时，可将基准点31切换到在驾驶席、助手席、后部席上坐着的操作者眼睛的任一个位置。另外，在车载导航装置上使用上述第3实施方式的操作输入装置时，可将基准点31切换到在驾驶席、助手席、后部席坐着的操作者通过校准设定的任一个位置。另外，第4实施方式是用第2实施方式和第3实施方式的组合来切换基准点31。
另外，在上述第2实施方式及第4实施方式中，采用了检测指示物34的一个三维图象传感器1-1和检测基准点31的另一个三维图象传感器1-2这两个，但是也可以用能够复盖指示物34和基准点31所在的两个区域的一个三维图象传感器，进行同样的操作。
另外，在上述第1～第4实施方式中，指示空间设定部21、27、28设定指示空间32，但是也可以在该指示空间32内再设定指示面。图13是为说明这时的指示空间32和指示面33的概念图。
例如，以第1实施方式为例说明，指示空间设定部21如图13所示地设定连接显示器画面30和位于离开该显示器画面30的位置的规定基准点31而构成的锥体状的虚拟指示空间32，并且，将把显示器画面30的坐标映射到指示空间32内的空间面设定为指示面33。
此处，指示面33必须设定在显示器画面30和操作者(在基准点31的前面)之间。该指示面33包括操作者使用指示物34进行指示动作(包括指示开始动作、指示解除动作、点击动作、拖拉动作)时的该指示物34尖端(指尖等)所在的位置，是假定为在操作者自然地移动指示物34时指示物34的轨迹的平面或曲面。
如上所述，在第1实施方式中，由于显示器画面30的位置和基准点30的位置是预先知道的，所以指示空间32是唯一确定的。与此相比，指示面33可根据指示空间32内的指示物34的移动进行动态设定。即，每当进行指示动作时，指示空间设定部21就动态地设定上述的指示面33。
(指示空间的扩展)可是，在上述第1～第4实施方式中，如图3所示，指示空间设定部21设定连接显示器20的画面(以下称显示器画面30)和位于离开该显示器画面30的位置上的规定基准点31而形成的锥体状的虚拟指示空间32。
但是，如图14所示，指示空间设定部21，也可以在显示器20的画面(以下称显示器画面30)的外部假定一定大小的延长面37，将显示器画面30和延长面37合在一起作为展开面38。然后，设定连接该展开面38和位于离开该展开面38的位置上的规定基准点3而形成的锥体上的虚拟指示空间32。
这时，在上述各实施方式的指示空间32的说明中，可以将显示器画面30当作展开面38。
当在第1实施方式中使用该指示空间时，当根据由坐标检测部23供给的对象点36的坐标信息、该坐标信息不是在延长面37上而是在显示器画面30上时，显示控制器3进行根据需要将规定的标记(例如，箭头标记等)显示在显示器画面30上的对象点36的坐标位置上的控制。
另外，当该坐标信息在延长面37上时，也可以进行在连接显示器画面30的中央部和由该坐标信息所表示的对象点36的线、与显示器画面30的端都相交的点上、显示规定的标记(例如，向着该对象点36方向的箭头标记等)的控制。
操作输入内容判断部25将表示检测的操作输入内容的信息输出给显示控制器3。例如，操作输入内容判断部25判断为向着在对象点36的坐标位置上存在的目标(例如GUI的操作按钮)进行了点击动作时，则输出用于执行分配给该操作按钮的处理的操作指令。此外，当操作输入内容判断部25判断为对在对象点36的坐标位置上存在的目标(例如图标)进行了拖拉动作时，则将使该目标向拖拉方向仅移动拖拉量的操作指令输出给显示控制器3。
当在进行地图显示的导航装置上使用本实施方式的操作输入装置时，也可以将地图整体滚动的操作指令输出给显示控制器3，以便使由指示开始动作所指示的地点向拖拉方向仅移动拖拉量。
或者，在将本实施方式的操作输入装置使用于导航装置时，当通过操作输入内容判断部25判断为进行了拖拉动作时，控制地图整体滚动的显示，使位于由坐标检测部23检测的展开面38上的对象点36的坐标位置上的地点(在指示了延长面37上的坐标位置时，退定为位于该延长面37上的地点)向拖拉方向仅移动拖拉量。
图15是表示进行拖拉操作时的动作例的图。该图15是表示将本实施方式的操作输入装置使用于导航装置时的操作例，图中表示了显示器画面30和延长面37的一部分。如图15所示，根据本实施方式，可以通过指示物34选定假定为显示器画面30外部的地点(图15(a))，并通过进行拖拉动作(图15(b))，滚动画面使位于显示器画面30外部的地点进入显示器画面30中。
在图15中，对通过拖拉动作使画面外部的地点滚动到画面内部的例子进行了说明，但是并不限于此。例如，也可以通过点击画面外部的地点，使画面滚动，所点击的地点自动移动到画面内的规定位置。作为画面内的规定位置，例如可以考虑画面中央、车辆的当前位置(显示车辆位置标记的位置)、显示着光标的位置等。
图16是表示进行了点击动作时的动作例的图。在图16所示的例子中，指示空间设定部21将延长面37的一部分分割成多个区域，分别设定为指示空间51。在各个指示区域51中，分配有执行规定处理的虚拟操作按钮。另外，为了使操作者知道在延长面37上存在指示区域51，沿着显示器画面30的外周部，对应指示区域51所在的位置，在显示器画面30上显示带状的操作接受区域52。
这时，操作者通过对位于显示器画面30外部的延长面37上的指示区域51进行点击动作，可以指示指令的执行。这时，操作输入内容判断部25判断在延长面37上的哪个指示区域51被点击，输出与被点击的指示区域51对应的命令的执行指令。这样，在显示器画面30上，可以加大显示主要内容信息的面积(操作接受区域52以外的区域面积)，而指示区域51也不减小，使操作输入容易进行。
在图16中表示了将延长面37的一部分分割成多个指示区域51的例子，但是也可以将延长面37的全部分割成多个指示区域51。另外，也可以在延长面37的一部分或全部上只设置一个指示区域51。另外，在对指示区域51进行了指示开始动作时，也可以在显示器画面30内以下拉方式显示对应的操作接受区域52。
正如以上详细说明的那样，根据本实施方式，由于不仅对显示器画面30的内侧，而且对在显示器画面30外侧假定的延长面37也可以进行指示动作，所以，对假定为位于显示器画面30外侧的点及目标，可以直接进行点击动作和拖拉动作。
这样，如图15所示，通过选定假定为显示器画面30外部的地点后进行拖拉动作或点击动作，不必在画面内重复多次操作直到画面外的假定地点进入画面内，也可以通过画面的滚动使期望的地点简单地移动到画面内。
另外，如图16所示，将延长面37的一部分或全部分割成1个以上的区域，将其分别设定为指示区域51，通过对各个指示区域51分配命令执行等，显示器画面30内部的几乎所有区域都可以用作主要内容信息的显示，可将在显示器画面30外部假定的延长面37作为命令执行的指示区域51使用。这样，可以加大显示主要内容信息的面积，同时指示区域51也不减小，容易进行操作输入。
关于上述第1～第4实施方式，增加了设定连接展开面38和基准点31而形成的指示空间32、并在该指示空间32内部进行指示动作的例子，但是也不限于此。例如，也可以在展开面38上进行指示动作。
此外，上述实施方式都只不过表示了实施本发明时的具体化的一例，因此，本发明的技术范围并不限定所解释的内容。即，本发明在不脱离其精神或主要特征的情况下，可以用各种形式实施。
产业上利用的可能性)本发明可用于对计算机设备或导航装置等赋予通过操作员操作输入的输入指令的操作输入装置中。
权利要求
1.一种操作输入装置，其特征在于，包括指示空间设定单元，设定连接展开面与位于离开该展开面的场所的规定基准点而形成的锥体状的虚拟指示空间；以及指示动作检测单元，检测在上述指示空间内进行的指示动作，并输出对应的操作指令。
2.如权利要求1所述的操作输入装置，其特征在于，上述展开面是显示器画面。
3.如权利要求1所述的操作输入装置，其特征在于，上述展开面包含显示器画面和在该显示器画面的外部假定的延长面而构成。
4.如权利要求1～3中任一项所述的操作输入装置，其特征在于，包括显示控制单元，当通过上述指示动作检测单元检测出进行了拖拉动作时，使画面滚动显示，以便使由上述指示动作指示的点在拖拉方向仅移动拖拉量。
5.如权利要求1～3中任一项所述的操作输入装置，其特征在于，包括显示控制单元，当通过上述指示动作检测单元检测出进行了点击动作时，使画面滚动显示，以便使由上述指示动作指示的点移动到上述显示器画面内的规定位置。
6.如权利要求3～5中任一项所述的操作输入装置，其特征在于，上述指示空间设定单元将上述延长面的一部分或全部分割成1个以上区域，将其分别设定为指示区域；上述指示动作检测单元输出与由上述指示动作指示的指示区域对应的命令的执行指令。
7.如权利要求1～6中任一项所述的操作输入装置，其特征在于上述指示动作检测单元包括位置检测单元，检测上述指示空间内的物体的三维位置；坐标检测单元，基于由上述位置检测单元检测的上述指示空间内的上述物体的位置，利用映射关系检测上述展开面中的对象点的坐标；移动检测单元，检测上述指示空间内的上述物体的三维移动；及判断单元，根据由上述坐标检测单元检测的上述展开面上的对象点坐标和由上述移动检测单元检测的上述物体的三维移动，判断操作输入内容，输出对应的操作指令。
8.如权利要求7所述的操作输入装置，其特征在于，包括指示物识别单元，识别由上述位置检测单元检测的上述指示空间内的物体是规定的指示物；对于由上述指示物识别单元识别为上述指示物的物体，上述坐标检测单元基于由上述位置检测单元检测的上述指示空间内的位置，检测上述展开面上的对象点的坐标；上述移动检测单元检测由上述指示物识别单元识别为上述指示物的物体的三维移动。
9.如权利要求7所述的操作输入装置，其特征在于，上述基准点是由上述位置检测单元检测的操作者的眼睛位置。
10.如权利要求7所述的操作输入装置，其特征在于，上述基准点是由上述位置检测单元检测的操作者的有效眼睛位置。
11.如权利要求8所述的操作输入装置，其特征在于，上述基准点是相当于把如下的2个面作为截面而持有的锥体顶点的位置，该2个面是上述展开面、和连接在各空间上对上述显示器画面的四角进行指示动作时的上述指示物位置而得到的面。
12.如权利要求8所述的操作输入装置，其特征在于上述指示空间设定单元，将相当于把如下的2个面作为截面而持有的锥体顶点的位置设定为上述基准点的初始值，该2个面是上述展开面、和连接在各空间上对上述显示器画面的四角进行指示动作时的上述指示物位置而得到的面；并根据由上述移动检测单元基于由上述位置检测单元检测的操作者的眼睛位置而检测的上述操作者眼睛的三维移动，使上述基准点从上述初始值开始移动。
13.如权利要求1所述的操作输入装置，其特征在于上述指示空间设定单元设定连接展开面和位于离开该展开面的位置上的规定基准点而构成的锥体状的虚拟指示空间，并且，将把上述展开面映射在离开该展开面的空间上的空间面设定为指示面；上述指示动作检测单元检测在上述指示面进行的指示动作，输出对应的操作指令。
14.一种操作输入方法，其特征在于，包括第1步骤，设定连接显示器画面或展开面与规定的基准点而构成的锥体状的虚拟指示空间，该展开面是包含显示器画面及在该显示器画面的外部假定的延长面而构成，上述规定的基准点位于离开该显示器画面或该展开面的场所；第2步骤，检测在由上述第1步骤设定的上述指示空间内进行的指示动作，并输出对应的操作指令。
全文摘要
本发明提供一种操作输入装置及操作输入方法，不必把手指等指示物特意移动到确定的空间，可以提高空间人机接口的使用方便性。该操作输入装置包括检测物体三维位置的三维图象传感器(1)；基于虚拟的指示空间内的物体位置、检测显示器画面上的对象点坐标的坐标检测部(23)；检测指示空间内的物体的三维移动的移动检测部(24)；以及根据物体的三维移动等判断操作内容的操作输入内容判断部(25)；通过将可由手指等指示物操作的指示空间设定成连接显示器画面和基准点的圆锥状，可以不必进行将指示物特意移动到被固定成平面状的空间面上的麻烦操作。
文档编号G06T1/00GK1694056SQ20051007012
公开日2005年11月9日 申请日期2005年4月30日 优先权日2004年5月6日
发明者远藤谦二郎 申请人:阿尔派株式会社