专利名称：基于手势的输入和目标指示的单个摄像机系统的制作方法
技术领域：
本发明涉及用于输入有关目标位置的信息的系统和方法，并且具体地涉及使用单个摄影图像的那些系统。
背景技术：
许多基于计算机的系统需要有关目标位置的信息。例如，常见的鼠标被用来选择屏幕上的一个控制或一个坐标。在其中把目标位置数据输入到在自动视频会议系统的领域中的计算机。例如，用户通过简单地指示物体或者通过用手柄控制它从而可以把一台摄像机瞄准在感兴趣的物体上。在允许用户不必使用鼠标或手柄而是通过使用通常用于向别人指示目标的常见手势来指示目标，根据系统上的许多工作面进行工作。
这些基于手势的系统比需要诸如话音命令(“命令控制”，本质上，一个基于语音的码元处理器，在此每个言语命令对应一个指令，例如“PAN-LEFT”“UP”“DOWN”等等)之类的显式命令、手柄控制的传统系统更直观并且更易于控制。
存在有一些确定方向的方法，其中，用户使用多个摄影视图来瞄准。例如，一个基于摄像机的系统在Masaaki Fukumoto，YasuhitoSuenga和Kenji Mase的文章“′Finger-Pointer′Pointinginterface by Image Processing”(“′手指-指针′图像处理的瞄准接口”)中被详细描述。这些系统常常很复杂，因为可能需要把多个角度视图合并来产生实际场景的三维模型以便确定与用户指示相合的三维向量。而且，摄像机需要被定位并被瞄准，并且将它们的位置和方向正确地定义。然后将三维模型用于确定用户指向的目标。在目标位于一个已知表面中的受限环境中，一种用于克服这种复杂性的技术是使用两个未校准摄像机和二维投射变换，这在美国序列号为No.09/572,991、申请日为2000年5月17日的另一专利申请“APPARATUS AND METHOD FOR INDICATION A TARGET BY IMAGEPROCESSING WITHOUT THREE-DIMENSIONAL MODELING”(用于通过没有三维模拟的图像处理来指示目标的设备和方法)中被描述，现将此申请的全部引用在此供参考。在这里，即使不需要校准，此申请的这种方法也需要多个摄像机，这些摄象机必须以一个真正分开的距离而被定位。
鼠标通过指示相对位置来指示屏幕上的一个期望的二维坐标位置。当一个鼠标最初被控制时，被它指示的那个位置的开始位置是随机的。只有通过使用反馈以及相对移动，用户才可以最终指示一个目标位置。工作与鼠标很像的另一种简单的单个摄像机的基于手势的技术在美国专利No.5,594,469中被描述。在这种方法中，通过单个摄像机来获得用户的手势，并且通过反馈指示位置。然后用户修改手势直到反馈信号指示所期望的结果为止。例如，用户移动他/她的手部并且位移的方向和幅度被映射为屏幕上光标的相对方向和幅度位移。可是，这种系统具有与鼠标或手柄相同的缺点，即，开始位置是随机的并且(通常可见的)需要反馈。
发明内容
简要地，通过把指示方向的投射输入在平面上来指示位于平面上的一个目标的位置。如果已知目标位于该平面中的一个等高线，则通过方向投射清楚地规定该位置，等高线和投射的交点就是期望的目标。可替代地，一个目标的二维位置可以通过按照连续步进的形式输入它的轴向坐标来被规定。在另一替换方法中，包含目标的图像被转换和/或被旋转并且再一次指示目标。然后将两个方向投射的交点用于确定目标在2维空间中的位置。可以通过一台摄像机或者诸如一个或多个无线电发射机、盲区投射等等之类的其它方法来输入这些方向指示。
在本系统中，策略是按照上面参考的美国专利申请No.09/572,991中公开的方式来使用二维投射变换，但是代替使用两个摄像机来提供单个方向指示向量在一个公共平面上独立的二维投射，单个摄像机的图像坐标被映射到只提供一维(而不是二维)坐标信息的一个已知平面上。然而，这种单一维数可以按照许多方式而被使用。例如，可以利用指示手势来控制诸如游标控制之类的单一轴线控制。显示在线路图上的直线上的一个点也可以被指示。同时，通过使用连续的手势输入，表明表格的一行和一列，则可指示一个期望的单元。可替代地，可将场景的图像投影在屏幕上并且在场景上指示目标。然后，在第一指示之后，可将该场景转换和/或旋转，并且再一次指出目标。从这两种瞄准指示的二维投射中，可以通过简单地找到两个投射的交点来推断目标的位置。
现在将结合附图描述本发明的一些优选实施例，以便更充分地了解本发明。参考附图，强调通过示例来示出的细节只是为了对本发明优选实施例的说明讨论的目的，为了提供相信是最有用并且最易于理解的本发明原理和概念。关于这点，除对于本发明的一种基本理解所必要的之外，不想更详细地示出本发明的结构细节，与附图一起做出的说明使得对本领域技术人员明确如何具体地实施本发明的多种形式。
图1A是用于实现本发明实施例的模具的一个顶视图。
图1B是图1A的模具的一个前视图。
图1C是图1A和1B的模具的一个侧视图。
图2是用于本发明实施例的建立结构的一个说明。
图3和4说明了在一个建立的摄影图像中的二维投射坐标之间的几何关系，其中，在两个等高线上指示的位置被用来指示一个点。
图5和6说明了在一个建立的摄影图像中的二维投射坐标之间的几何关系，其中，被移到两个位置在单一等高线上的指示位置被用来指示一个点。
图7是可用来实现本发明的物理结构的一个说明。
最佳实施方式参见图1A，1B和1C，一个摄像机150被提供在屏幕135与小孔155后面的平台110上。摄像机150可瞄准在屏幕前面的一个场景处如此以使摄像机150通过小孔155观看该场景。摄像机的150如此瞄准以使在它的图像中可看见小孔155的边缘170。因此，摄像机150的视域被小孔155稍微省略一部分。注意，在设备200中，屏幕135的目的是以小孔155的拐角261-264的形式呈现四个标记，并且有效用于那个目的的任何装置都将满足。例如，一个具有标记的透明玻璃或一个线路框架物体。正如由矩形小孔155或一个线路框架提供的，在拐角处加入直线在感测方面是有益的，它们允许使用内插来识别四个拐角的坐标从而相对于小标记的直接测量可增加坐标测量的精度。
现在参见图2，设备200处于它被用来观看用户30的一个位置中。在建立期间，照相机240暂时被放置于这样一个位置和方向上以使目标可以放置的点的轨迹，例如屏幕210，和设备200屏幕135的四个点261-264在它的视域之内。另外的四个点221-224也被标记在屏幕210上。这四个点221-224也在建立的摄像机240的视图范围中。单个建立的图像是建立的摄像机240所需要的全部。图像被用来计算把摄像机150图像中四个点261-264映射到建立的摄像机240图像中的四个点去的二维投射变换。一旦这个建立的变换被计算出，则它被用来把摄像机150图像中的任何图像坐标变换为建立的摄像机240的图像坐标。建立的摄像机240的图像是所有目标位置数据的根据，或者，通过适当地修改建立的变换，它的图像可以被变换到任何期望的平面。在一个示例实施例中，用户30的眼236和指尖235的坐标从摄像机150图像中的坐标被变换为摄像机240图像的坐标。
例示示出了用户30使用一个指示手势来指向一个目标260。在实验上已经确定被人使用来指向比如目标260之类的一个目标的手势是如此以致用户的指尖235、用户的右(或左)眼230以及目标260通过一条直线被结合。现在参见图3和4，屏幕210的平面被表示在350处而把用户30的眼236和指尖235结合的那条直线在330处。在建立的摄像机240视野中目标260的二维投射沿着由用户30的眼236和指尖235定义的直线或方向向量330的二维投射而存在。以325指示的摄像机240的焦点，和方向向量一起定义一个平面320。平面320和目标所在的平面350的交点定义方向向量330的投射。如果已知目标(例如T1)存在于平面350中的一个特定直线或等高线上，例如垂直轴或游标控制360，则可以通过寻找直线330和垂直轴或游标控制360的二维投射310的交点来获得目标点。
仍然参见图3和4，为了指示在平面350上的一个任意点，两个轴或游标控制360和365可以被连续地投影在屏幕210上，并且，位置可通过把垂直位置例如首先指示在垂直轴或游标控制360上并把水平位置例如然后指示在水平轴线或游标控制365上而被指示。这类似于这种方式通过规定一个表格的列然后它的行来挑选该表格的一个特定单元。
现在参见图5，一个点可以被规定在一个非直线460上。如果相应于方向向量430的投射线410只是在一个点处与曲线或等高线460交点，那么目标点可以被明白地确定。例如，可以用这种方式规定一个点在路线或另一物体的周线上的位置。同样，目标被认为存在于平面450上。
现在一起参见图5和6，假定一个任意的图像被规定在第一位置和方向上。在这个第一位置和方向中，一个目标473由方向向量430来指示。一旦此情形发生，则知道目标473存在于由方向向量430的投射所规定的直线410所定义的一条路径上。在这个实施例中，而非要求目标473存在于预定义直线或等高线460上，可是，图像的位置和/或方向被改变并且用户产生由方向向量430表示的另一指示。第二投射直线412然后被定义在平面450中。投射直线410和412的交点表示目标473的位置。当然，明显地，投射直线410和412相对于该场景而被定义。
虽然在上述的实施例中，目标是由一个指示手势以一种特定的方式(眼到指尖)来指示，但是没有理由此指示不能以其他方式而被导出。例如，一个瞄准设备或棍棒可以被使用。同时，目标可以是大体上存在于一个公共平面上的任意对象或图像，而不是该目标在一个屏幕上。然而进一步，对象或目标不需要存在于单个平面上，而是可以存在于多个平面上，其每一平面具有分别的记录标记组。通过使用其它变换还可以扩展本发明以使目标能够存在于除了平面表面之外的表面上。另一变化是以手势的方式来指示一个方向。图像的时序可用于得出一个方向，比如，在一个短时间间隔上手或手指的摆动方向，其将参加一个移动手势来指示一个方向。同时，另外一个适当的应用是一种白板应用。然而进一步，记录标记不需要是一个屏幕上的标记，而是可以是屏幕的拐角。同时，记录标记可以在建立期间在一个点处被投影在屏幕上然后被移走。记录点坐标然后可以被用来计算变换而不必另外参考记录标记直到建立被改变为止。此技术的另一应用是用于把摄像机瞄准在目标上的使用。一旦参考图像中的坐标是已知的，则摄像机可以被重新瞄准并被缩放以便获得目标。这在自动视频会议系统环境中很有用。
现在参见图7，可用来实现本发明应用的设备和方法在方框图中被说明。图像处理器505接收来自摄像机501中的图像数据。图像和坐标数据可以被储存在存储器510或非易失存储器520中。例如，变换数据(一旦被计算出)可以被储存在非易失存储器520中而存储器510用于来自摄像机501中的图像的计算以便导出可以被应用到应用处理530的目标的坐标x，y。应用处理可以操作多个图像处理步骤来完成上述连续的目标指示步骤。每次一个目标被指示时，则一个指示器522，比如一个话音响应系统，可以指示用户的输入。在一个语音响应系统中，用户可以这样指示，即，通过说出一个特定的单词或命令来完成他/她的当前手势。可替代地，用户可以使用手势、遥控按键或其它指示器522指示相同的内容。应用处理530然后在输出设备540上产生一个输出，比如在白板上的一个轨迹或者一个游戏化身的控制数据。在通过无线设备来获得二维投射的那些系统中，一个RF检测器524可以被提供。
注意由摄像机501收集的投射数据还可以从诸如声纳、无线、超频音响医学设备之类的其它来源或者能够形成二维投射的其它设备中得来。同时注意，可将同样的计算方法论用在与指示符的连接中，而不是通过摄像机获得它的方向。例如，瞄准管或枪瞄准与无线电发射机的方向可以通过计算机来获得并被用于确定目标在屏蔽上的位置。该技术使用于基于无线的写字板、网络白板，并且这样可以被使用来确定一个定点设备的方向而完全地避免对于摄像机的需要。注意，此设备还可以使用于美国专利申请No.09/572,991中，其在上面通过参考被结合。
对本领域技术人员来说很明显，本发明不局限于前述说明实施例的细节，并且本发明可以按照其它具体的形式被具体表达而没有偏离它的精神或重要属性。本实施例因此在各方面被考虑为是说明性的而非限定性的，由附加而不是前述的说明和出现在权利要求等价含意和范围内的所有变化来表示的本发明的范围因此意指被包含在其中。
权利要求
1.一种确定存在于预定义平面上的未知点位置的方法，包括如下步骤在空间中产生一条直线的一个指示；在空间中输入所述直线的二维投射；通过确定一条已知路径与所述二维投射的一个交点来沿着存在于一个平面中的所述已知路径确定一个位置。
2.如权利要求1所述的方法，其中，所述产生步骤包括一个人的手势。
3.如权利要求2所述的方法，其中，所述输入步骤包括通过摄像机获得一个图像。
4.如权利要求1所述的方法，其中，所述输入步骤包括通过二维投射变换把摄像机图像的二维投射变换到另一平面。
5.如权利要求1所述的方法，其中，所述产生步骤包括瞄准一个定点设备并通过利用摄像机的至少一个图像获得所述定点设备的一个方向并利用一个无线电接收机进行检测。
6.如权利要求1所述的方法，还包括在空间中产生一条直线的另外一个指示，在空间中输入所述另一条直线的另一二维投射，通过确定另一已知路径和所述另一二维投射的交点来沿着存在于所述平面中的所述另一已知路径确定另一位置，并且，从确定在其中指示所述位置和所述另一位置的所述指示中，计算一个目标点在所述平面中的坐标。
7.如权利要求6所述的方法，其中，所述计算步骤包括计算所述已知路径和所述另一已知路径的一个交点。
8.一种确定存在于预定义平面上的未知点位置的方法，包括如下步骤在已知二维表面上一个目标处瞄准的空间中产生第一直线的一个指示；在空间中输入所述第一直线的第一指示并且确定在空间中所述第一直线的第一二维投射；在所述平面上改变所述目标的位置；在瞄准所述目标的空间中产生第二直线的一个指示；在空间中输入所述第二直线的第二指示并且确定在空间中所述第二直线的第二二维投射； 和响应于所述第一和第二二维投射来计算所述目标的位置。
9.如权利要求8所述的方法，其中，所述改变步骤包括投射包括所述目标在内的一个场景的图像并且改变所述场景的所述图像如此以致于以固定的各自相对的方向和位置来保存所述场景中的目标关系。
10.一种用于识别目标的一维位置的图像处理计算机，包括可连接到摄像机以便从那里接收图像的一个控制器；所述控制器被编程来从所述图像中的第一个中计算在预定义平面上第一方向的所述图像的所述第一个中一个指示的第一二维投射；所述控制器还被编程来计算所述第一二维投射和存在于所述预定义平面中的第一预确定直线的第一交点；所述控制器还被编程来输出所述第一交点的一个指示。
11.如权利要求10所述的计算机，其中，所述控制器被编程来在与所述预定义平面一致的一个表面上产生与所述第一预确定直线一致的一个图像。
12.如权利要求10所述的计算机，其中所述控制器被编程来从所述图像中的第二个中计算在所述预定义平面上第二方向的所述图像的所述第二个中的一个指示的第二二维投射；所述控制器被编程来计算所述第二二维投射和存在于所述预定义平面中的第二预确定直线的第二交点；所述控制器被编程来计算响应于所述第一和第二交点的一个目标位置；所述第一交点的所述指示包括所述目标位置。
全文摘要
通过把被计算地投影的指示方向输入在一个平面上来指示位于平面上的一个目标的位置。如果已知该目标位于一个等高线上，则该位置被明白地规定。可替代地，一个目标的位置可以通过以连续步进的形式输入它的轴向坐标而被规定。在另一替换方法中，包含目标的图像被转换和/或被旋转并且目标再一次被指示。两个方向投射然后被用于确定目标在2维空间中的位置。方向指示可以通过一台摄像机或者诸如一个或多个无线电发射机之类的其它方法而被输入。
文档编号G06F3/041GK1636178SQ01806961
公开日2005年7月6日 申请日期2001年12月17日 优先权日2001年1月22日
发明者S·古塔, M·特拉科维克, M·-S·李 申请人:皇家菲利浦电子有限公司