专利名称：全向视觉系统、图像处理方法、控制程序和可读记录介质的制作方法
技术领域：
本发明涉及一种用于处理利用全向摄像机所获得的图像数据所表示的图像的全向视觉系统，该全向摄像机使用双曲面镜生成一种用于显示的透视投影图像。本发明还涉及一种使用该全向视觉系统的图像处理方法、一种控制程序和一种可读记录介质。
然而，在使用摄影机时，存在下述问题形成一帧图像费时间；难以处理图像的结合部分；而且，摄影机的驱动部分需要维修。因而，需要一种能够一次获得包含围绕摄像机360°投影区域的信息的图像的全向摄像机。
因此，人们已经做过研究，采用下述方法获得了一种能够一次捕捉包含360°投影区域信息图像的全向摄像机，所述方法是指使用一种利用诸如球面镜或锥形镜等凸镜的反射光捕捉图像的方法，或者一种使用超广角镜头捕捉图像的方法。但是，即使采用这种全向摄像机，在形成透视投影图像时仍然遇到困难，该透视投影图像看起来好象是被一种摄像机实时捕捉的图像。
为了解决这个问题，发明名称为“全向视觉系统”的日本专利文献平成6-295333描述了一种全向摄像机，它利用一种两片(two-sheeted)双曲面镜能够捕捉包含360°投影区域信息的图像；它还介绍了一种基于视觉信息执了所规定的转换从而快速地获得具有一个投影中心的透视投影图像的技术，该投影中心就是所述两片双曲面镜的一个焦点。
人们一直致力于获得一种能够基于由一全向摄像机所捕捉的图像而实时生成和显示透视投影图像的全向视觉系统的研究，该全向摄像机使用一种符合上述技术的两片双曲面镜，从而使透视投影图像的投影中心位于所述两片双曲面镜的一个焦点上，并且在由表示水平方向上一个角的摇摄角(pan angle)以及表示仰角或俯角的倾角所表示的一个任意方向上倾斜。
下面将结合图7-12描述一种使用两片双曲面镜的传统全向摄像机和生成一透视投影图像的方法，上述日本专利文献平成6-295333公开了这些内容。
首先，将结合图7和8介绍一种使用两片双曲面镜的全向摄像机。
图7为一个显示两个双曲面的视图。如图7所示，所述两个双曲面是指通过使双曲线围绕一实轴(一Z0轴)旋转所获得的曲面。这两个双曲面具有两个焦点，也就是两个双曲面中一个曲面的焦点Om和另一个曲面的焦点Oc。建立一个三维坐标系O-X0Y0Z0，其中Z0轴是一条垂直轴。两个双曲面的两个焦点分别位于(0，0，+c)和(0，0，-c)。所述两个双曲面由表达式(1)表示。X02+Y02a2-Z02b2=-1]]>c=a2+b2---(1)]]>其中，a和b是用于确定双曲线形状的常数。
在该全向摄像机中，两个双曲面中位于区域Z0＞0内的一个曲面被用作镜子。
图8为一种普通全向摄像机20的示意性视图。如图8所示，该全向摄像机20包括一双曲面镜21和一被设置在双曲面镜21下方以便在垂直方面面向上的摄像机22，该双曲面镜21被设置在垂直方向上以便面向下并且位于Z0＞0的区域内。在此情况下，双曲面镜21的焦点Om和摄像机22的棱镜23的主点Oc分别位于一个两片双曲面的两个焦点(0，0，+c)和0，0，-c)上。设置一诸如CCD成像元件或CMOS成像器的成像元件24，从而距该棱镜主点Oc的距离等于该棱镜的焦距f。
接下来，将结合图9和
图10介绍采用双曲面镜21的全向摄像机20的光学系统的特性以及一种基于采用双曲面镜21的全向摄像机20所捕捉图像生成透视投影图像的方法。
图9是一个用于解释图8所示光学系统和透视投影图像的视图。
在图9所示的一种光学系统中，从双曲面镜21周围向双曲面镜21的焦点Om传播的光被双曲面镜21反射。反射光通过棱镜23并被诸如CCD的成像元件24转换成一图像。在图9中，建立一个三维坐标系Om-XYZ，其中双曲面镜21的焦点Om是该坐标系的原点，棱镜23的光轴就是坐标系的Z轴，还建立了一个二维坐标系xy。
如图9所示，图像表面25即xy平面的原点位于Z轴上，沿Z轴正向，该原点距棱镜23焦点Oc的距离等于棱镜23的焦距f。该xy平面垂直于Z轴，并与XY平面平行。在图像表面25的xy平面内，x轴和y轴分别对应于成像元件24的长边方向和短边方向(也就是图像的水平轴和垂直轴)，Om-XYZ坐标系中的X轴和Y轴是分别平行于x轴和y轴的直线。基于从棱镜23焦点Oc通过图像表面25传送并被双曲面镜21所反射的光，采用双曲面镜21的全向摄像机20捕捉图像。反射光和图像表面25之间的交点被表示为映象点p(x，y)。
现在，讨论三维坐标系Om-XYZ中P点所发射的光在xy平面上的映象点p的位置。假设图像表面25上对应于三维坐标系内一任意点P(X，Y，Z)的映象点是p(x，y)。在此情况下，从点P(X，Y，Z)向焦点Om传送的光被双曲面镜21反射，以便被引导至棱镜23的焦点Oc并穿过图像表面25上的点P(x，y)，从而捕捉图像。在采用双曲面镜的全向摄像机21中，从点P向焦点Om传送的光完全被双曲面镜21反射，从而被引导至棱镜23的主点Oc，因此，沿一直线Om-P传送的光被全部影射到映象点p(x，y)。在此情况下，保持反射光的水平角，通过计算由y/x确定的点p的方位角θ，就获得由Y/X所确定的点P的方位角。
这里，该方位角θ被称作“摇摄角”。具体地说，沿X轴正向的摇摄角是0度，沿X轴反方向的摇摄角是180度，沿Y轴正向的摇摄角是90度，沿Y轴反方向的摇摄角是270度。
图10是一个表示包含图9所示的点P(X，Y，Z)和Z轴的垂直横截面的状态图。假设该垂直横截面包括原点是图10所示Om(0，0，0)的坐标系内的P点和Z轴，P点和映象点p之间的关系由下面的表达式(2)、(3)和(4)表示。Z=X2+Y2tanα---(2)]]>α=tan-1(b2+c2)sinβ-2bc(b2-c)2cosβ---(3)]]>β=tan-1(fx2+y2)---(4)]]>其中，图10所示的由表达式(3)所表示的角度α被称作P点的“倾角”。具体地说，一个与满足Z＝0的平面的夹角也就是倾角可以由一个是正值的仰角和一个是负值的俯角表示。
如上所述，将摄像机22的棱镜23主点设置在双曲面的焦点Oc位置，从而，根据映象点p(x，y)，由X轴和从双曲面镜21的焦点Om到P点的延伸直线所确定的摇摄角θ和倾角α被唯一地获得。在此情况下，通过变换表达式(1)-(4)获得表达式(5)和(6)，从而计算出x和y值。x=Xf(b2-c2)(b2+c2)z-2bcX2+Y2+Z2---(5)]]>y=Yf(b2-c2)(b2+c2)Z-2bcX2+Y2+Z2---(6)]]>表达式(5)和(6)不包含三角函数，从而能快速地进行计算。通过将三维坐标系内的点P(X，Y，Z)的值赋予上述表达式(5)和(6)，可以快速地获得图像表面25上对应于点P的点p(x，y)的值。
接下来，将介绍透视投影图像。
画从双曲面镜21的焦点Om到三维坐标系内的点G延伸的直线Om-G，如图9所示，点G距焦点Om的距离为D，并确定一透视投影图像表面26，其中直线Om-G是一条垂直于图像表面26的直线。从点P(X，Y，Z)向焦点Om传送的光线穿过透视投影图像表面26上的点P’(X’，Y’，Z’)。此时，透视投影图像是指在下述假设下通过对环境信息进行转换所获得的图像，所述假设是指透视投影图像表面26是一个屏幕，其中投影中心位于双曲面镜21的焦点Om，代表这样一种透视投影图像的数字图像数据被称作“透视投影图像数据”。
现在，讨论位于透视投影图表面26上的点P’(X’，Y’，Z’)的图像。由于双曲面镜21的特性，这种图像代表一个位于直线Om-P’延长线上的目标。在此情况下，当最靠近双曲面镜21并位于直线Om-P’延长线上的目标位于点P(X，Y，Z)时，根据来自点P(X，Y，Z)的光线，获得在透视投影图像表面26上点P’的图像。
然而，沿直线Om-P’的延长线传输的光线被映射到图像表面25上的映射点p(x，y)，通过将点P’(X’，Y’，Z’)的值赋予上述表达式(5)和(6)，就可以容易地获得映射点p(x，y)的值，而无须考虑点P(X，Y，Z)的位置。因此，根据透视投影图像表面26上每个点的三维坐标值，就能循序地获得图像表面25上的映射点p(x，y)，从而生成一透视投影图像。
接下来，将结合图11和12介绍一种生成透视投影图像的方法，其中，设置有一个包含如图9所示全向摄像机20的摄像机22，从而具有一垂直光轴(比如，Z轴即为一垂直轴)。
图11为一视图，用于说明在设置有普通摄像机22以便光轴(Z轴)为一垂直轴的情况下生成透视投影图像的方法。在图11中，结合图9所描述的情形，设置一个三维坐标系Om-XYZ，其中坐标系的原点位于双曲面镜21的焦点Om。
如图11所示，设置所述摄像机22，以便Z轴即双曲面镜21的光轴为一垂直轴。在此情况下，沿Z轴的向上垂直方向是正方向。图像表面25对应于摄像机22所获得的一输入图像。当将二维坐标系(x，y)的原点设置在双曲面镜21的光轴和图像表面25之间的交点g时，x轴和y轴分别是平行于摄像机22的成像元件24的长边和短边的直线，三维坐标系Om-XYZ的X轴和Y轴分别平行于x轴和y轴。
透视投影图像表面26为一个平面，其中，直线Om-G为一垂直轴。设定一个二维坐标系(i，j)，其原点位于点G，i轴是一条平行于XY平面的水平轴，j轴是一条以90°角与i轴和Om-G轴垂直相交的垂直轴。从透视投影图像表面26到双曲面镜21的焦点Om之间的距离是D，而透视投影图像表面26的宽度和高度分别是W和H。在此情况下，i轴始终平行于XY平面，因此当Z轴是垂直轴时，在所获得的透视投影图像内，水平表面总是被水平地显示。
这里，直线Om-G和点G分别被称作“转换中心轴”和“转换中心点”。使用摇摄角θ、倾角φ和距离D表示转换中心轴。摇摄角θ是X轴和伸进XY平面的直线Om-G之间的夹角，其大小在0°-360°之间，并可以由下面的表达式(7)表示。θ=tan-1YX=tan-1yx---(7)]]>在此情况下，上述倾角φ是指XY平面与直线Om-G之间的夹角，其大小在-90°至+90°之间，其中，XY平面与在XY平面上方(Z＞0)延伸的直线Om-G之间的夹角是正值，而XY平面与在XY平面下方(Z＜0)延伸的直线Om-G之间的夹角是负值。距离D与图9所示的距离D相同。根据透视投影图像表面26的距离D、宽度W和高度H，确定透视投影图像的视角。
接下来，将介绍生成透视投影图像的过程。
第一步，确定转换中心轴的摇摄角θ、倾角φ和距离D。然后，第二步骤，获得对应于透视投影图像表面26上二维坐标点P(i，j)的三维坐标系内点P(X，Y，Z)的坐标值。根据摇摄角θ、倾角φ和距离D，用于得到三维坐标系内点的坐标值的表达式可以由以下的表达式(8)表示。
X＝R·cosθ-i·sinθY＝R·sinθ+i·cosθZ＝D·sinφ-j·cosφ(R＝D·cosφ+j·sinφ)...............(8)此外，第三步，将点P(X，Y，Z)的值赋予上述表达式(5)和(6)，从而获得与透视投影图像表面26上的点P(i，j)对应的图像表面25上的映射点p(x，y)。
采用此方法，通过获得图像表面25上与透视投影图像26上所有点对应的点值，就能够生成其投影中心位于双曲面镜21的焦点Om上的透视投影图像。
图12为用于说明一个示例的视图，其中，一水平放置的物体“ABC”的图像被一全向摄像机捕获，该摄像机采用一双曲面镜，从而使其光轴为一垂直轴。
如图12所示，当图11所示摄像机22的光轴是一条垂直轴时，当假设透视投影图像表面261是一个屏幕时，根据从水平放置物体27即字母“ABC”传输到双曲面镜21的光线所获得的图像看上去象一个透视投影图像281。当摄像机22的光轴是一条垂直轴时，透视投影图像表面261的横向轴线是一条水平轴。因此，当看水平放置物体27时，物体27被显示成在透视投影图像281上水平放置的物体。
根据以下假设，即在全向摄像机20内设置摄像机22，透视投影图像281生成并被显示在摄像机22上，以便光轴总是位于垂直方向上，人们已经研制出上述普通全向视觉系统。然而，由于使用一凸镜的全向摄像机20的特性，摄像机22自身所反射的光被转换成一图像，因此就存在下述问题，即当捕捉一个围绕普通全向视觉系统的图像时，基本上位于摄像机22正下方的区域变成一盲点。
为了捕捉基本上位于使用双曲面镜21的全向视觉系统正下方的通常盲区的图像，可以想象到，将全向摄像机20倾斜设置，从而将基本上位于系统正下方区域的图像投影到双曲面镜21上，投影图像的映射数据被用作图像数据。
图13是一个用于解释当全向摄像机被倾斜设置从而其光轴(Z轴)倾斜时生成透视投影图像方法的视图。
在图13中，结合图12所示的情形，当假设透视投影图像表面262是一个屏幕时，根据从其上写有字母“ABC”的水平放置物体27传输到双曲面镜21的光线所获得的图像看上去象一个透视投影图像282。
在此情况下，光轴相对于垂直轴倾斜，因而，当使用普通的生成透视投影图像的方法时，透视投影图像表面262倾斜，从而透视投影图像表面262的倾斜与光轴的倾斜有关。因此，如图13所示，在假设透视投影图像表面262是一个屏幕时所所生成的透视投影图像282内，该水平放置的物体被显示成好象物体是倾斜的。
此外，由于包含在全向摄像机20内的摄像机22的倾角是XY平面和转换中心轴之间的夹角，在该光轴是一垂直轴的情况下，仰角和俯角就被准确地表示，以便一具有正值的倾角是仰角，一具有负值的倾角是俯角。因而，通过指定摇摄角θ、倾角φ和距离D，就能生成所规定的透视投影图像。然而，在光轴倾斜时，XY平面也相对于水平面倾斜，即使象普通情况那样指定摇摄角θ、倾角φ和距离D时，所生成的透视投影图像282与根据普通方法所生成的透视投影图像282相比具有不同的倾角。
具体地说，在普通的全向视觉(摄像机)系统中，当为了减少位于摄像机22正下方的盲区而使摄像机22的光轴相对于垂直轴倾斜时，所生成的透视投影图像282相对于水平面倾斜。因此，存在不能用肉眼看到正常图像的问题。
在本发明的一个实施例中，当所述全向摄像机的光轴对应于XYZ三维坐标系的Z轴，其中X、Y、Z坐标轴以该双曲面镜的焦点为原点并在该原点彼此相互垂直时，通过将Z轴与该垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，基于由此获得的每个角度分量信息，所述坐标旋转处理部分获得新的三维坐标。
在本发明的另一实施例中，所述XYZ三维坐标系内XY平面的X轴和Y轴分别平行于所述全向摄像机的成像元件的长边和短边。
在本发明的再一实施例中，所述坐标旋转处理部分是一个单轴或双轴坐标旋转处理部分，它使用X轴或Y轴中至少一个作为旋转角。
根据本发明的另一方面，提供一种全向视觉系统，包括一基于图像光的用于捕捉图像的全向摄像机，所述图像光通过收集被双曲面镜所反射的光而获得；以及一图像处理部分，用于根据全向摄像机所获得的输入图像数据，生成用于显示的代表透视投影图像的透视投影图像数据，该图像的投影中心位于双曲面镜的焦点；其特征在于设置所述全向摄像机以使其光轴与垂直轴倾斜一指定角度；所述图像处理部分包括一用于旋转三维坐标系的坐标旋转处理部分，通过沿相对于所述垂直轴倾斜的所述光轴的倾斜方向相反的方向使所述光轴倾斜一倾角从而获得新的三维坐标系，所述三维坐标系表示透视投影图像数据的每个点；而且所述图像处理部分生成能够水平地显示透视投影图像的透视投影图像数据。
在本发明的一个实施例中，当所述全向摄像机的光轴对应于XYZ三维坐标系的Z轴，而且其X、Y、Z坐标轴以双曲面镜的焦点为原点并在该原点彼此相互垂直时，通过将Z轴与垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，所述坐标旋转处理部分获得新的三维坐标。
在本发明的另一实施例中，所述XYZ三维坐标系内XY平面的X轴和Y轴分别平行于全向摄像机的成像元件的长边和短边。
在本发明的再一实施例中，所述坐标处理部分是一个单轴或双轴坐标旋转处理部分，它使用X轴或Y轴中至少一个作为一旋转角。
在本发明的另一实施例中，所述图像处理部分能够响应于透视投影图像的摇摄角操作，顺序地生成透视投影图像数据，其中倾斜角是可变的，因为通过所述双曲面镜焦点的一垂直轴被用作一旋转角。
在本发明的再一实施例中，所述图像处理部分能够响应于透视投影图像的摇摄角操作，顺序地生成透视投影图像数据，其中倾斜角是可变的，因为通过所述双曲面镜焦点的一垂直轴被用作一旋转角。
根据本发明的再一方面，提供一种图像处理方法，包括如下步骤根据使用一双曲面镜的全向摄像机所发送的图像数据，执行用于获得三维坐标系的操作，所述三维坐标系表示透视投影图像的每个点；执行坐标旋转操作，用于沿与一垂直轴倾斜的所述光轴的倾斜方向相反的方向使光轴倾斜一倾角。
在本发明的一个实施例中，当所述全向摄像机的光轴对应于XYZ三维坐标系的Z轴，而且其X、Y、Z坐标轴以双曲面镜的焦点为原点并在该原点彼此相互垂直时，通过将Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，所述坐标旋转步骤获得新的三维坐标。
根据本发明的另一方面，提供一种允许计算机执行本发明第三个方面所述图像处理方法中每个处理过程的控制程序。
根据本发明的另一方面，提供一种存储有本发明第四个方面所述控制程序的计算机可读取记录介质。
采用上述结构，一透视投影图像上的每个点被指定的三维坐标系被沿一个相对于所述垂直轴倾斜的光轴倾斜方向相反的方向旋转一个光轴倾角，从而获得一新的三维坐标系。因此，当光轴相对于垂直轴倾斜一指定角时，就能生成一允许透视投影图像被显示的透视投影图像数据，从而透视投影图像上水平放置的物体就被水平地显示，好象用肉眼就能看见该物体。
下面将结合图5详细地介绍本发明的功能。
图5是一个解释全向摄像机的透视投影图像表面数据的视图，在该摄像机中，光轴与垂直轴倾斜。
在图5中，为了生成透视投影图像表面数据，假设摇摄角θ、倾斜角φ和距离D已被指定。建立一透视投影图像表面82，以便一倾斜的光轴对应于Z轴。建立一透视投影图像表面83，以使垂直轴81对应于该Z轴。所述透视投影图像表面83对应于普通透视投影图像表面。具体地说，通过使透视投影图像表面83相对于所述垂直轴81倾斜一个光轴80的倾角(倾角α)，就得到所述透视投影图像表面82。
根据本发明的一个实施例，根据这样的假设，即基于摇摄角θ、倾斜角φ和距离D，所述透视投影图像表面82使用光轴80作为一基准轴，就得到三维坐标系内的透视投影图像表面82上的每个点P(X，Y，Z)的坐标。然后，得到对应于透视投影图像表面82上的点P(X，Y，Z)的透视投影图像表面83上的点P′(X′，Y′，Z′)的值。如图5所示，通过使用一坐标旋转处理部分142a(图1)使透视投影图像表面82沿与方向A相反的方向B倾斜，其中方向A是指光轴80相对于垂直轴81倾斜一个角度比如α的方向，也就是说，通过使用坐标旋转处理部分142a执行坐标旋转，而获得透视投影图像表面83。顺序重复执行上述操作，得到透视投影图像表面83上每个点的坐标值。通过将透视投影图像表面83上每个点P′(X′，Y′Z′)的值赋予上述表达式(5)和(6)，即使当全向摄像机12被设置成其光轴被倾斜一指定角α时，也能够生成允许目标物体(目标)被以水平方式显示的透视投影图像数据。
因此，能够将垂直设置的所述透视投影图像表面82转换成通常的透视投影图像表面83(也就是能够执行坐标旋转处理)，并基于普通透视投影图像表面83生成透视投影图像数据。与通常情况类似，通过指定相对于垂直轴81的摇摄角θ和倾斜角φ，就能在显示屏幕上水平地显示水平设置的物体，好象可以用肉眼看见该物体一样。
通常，物体的倾斜可以被划分成在O-XYZ三维坐标系内的旋转角，其旋转中心对应于坐标系原点，也就是一绕X轴的旋转角、一绕Y轴的旋转角和一绕Z轴的旋转角。
下列表达式是用于获得P′(X′，Y′，Z′)的值的旋转行列式(表达式9-11)，该点P′对应于通过使O-XYZ三维坐标系内的点P(X，Y，Z)绕X轴倾斜一α角、绕Y轴倾斜一β角、绕Z轴倾斜一γ角所获得的点。X′Y′Z′=1000cosαsinα0-sinαcosαXYZ---(9)]]>X′Y′Z′=cosβ0-sinβ010sinβ0cosβXYZ---(10)]]>X′Y′Z′=cosγsinγ0-sinγcosγ0001XYZ---(11)]]>在此情况下，根据上述旋转行列式(表达式9-11)，通过使点P(X，Y，Z)绕X、Y和Z轴沿一个与全向摄像机12的光轴的倾斜方向相反的方向倾斜所获得的点，获得与此点相对应的点P′(X′，Y′，Z′)的值，以便生成相对于一水平面水平的透视投影图像的数据。例如，当全向摄像机12绕X轴倾斜一α角，绕Y轴倾斜一β角，绕Z轴倾斜一γ角时，通过将-α、-β和-γ赋予由表达式9-11的旋转矩阵组合而成的行列式，可以获得点P′(X′，Y′，Z′)。
然而，如上所述，在实际中，基于由全向摄像机12所捕捉的图像确定绕X、Y、Z轴的每个旋转角是很困难的，并且由于确定绕X、Y、Z轴的旋转角所做的计算会引起增加计算复杂性的问题。
要使一个被全向摄像机获得的透视投影图像包含围绕全向摄像机360°投影区域的信息，因而在获得透视投影图像的目的仅仅是为了生成用于水平显示被水平放置物体的透视投影图像数据的情况下，当全向摄像机的光轴对应于Z轴时，绕Z轴的旋转角可以被忽略。自然地，可以使用一种Z轴不能旋转的全向摄像机。因此，通过省略表达式(11)就能够减少计算的复杂性。
此外，当使用一种可以绕旋转轴旋转一指定角度的机构时，其中所述旋转轴对应于与包含在全向摄像机内的成像元件的纵轴或横轴平行的一轴线，仅仅需要一用于确定绕X轴或Y轴旋转角的表达式，因此，可以进一步降低计算的复杂性。
因此，上文所述的本发明能够提供如下优点一个能够获得用于水平显示一物体的透视投影图像数据的全向视觉系统，该物体围绕该视觉系统被水平地设置，好象能够用肉眼看见该物体一样，即使全向摄像机被设置成其光轴相对于一水平面倾斜，以便捕捉基本上位于全向摄像机正下方区域内的图像；一种采用该视觉系统的图像处理方法；一种采用该视觉系统的控制程序；一种采用该系统的可读取记录介质。
通过下面结合附图所进行的详细介绍，对于本领域技术人员来说，本发明的这些和其它优点将变得更加清楚。
优选实施例介绍下面，将结合附图和一用于生成透视投影图像数据的全向摄像系统的示例描述本发明的全向视觉系统，从而即使全向摄像机被设置成其光轴倾斜，也能以水平方式显示一水平设置的目标。
图1为一方块图，显示本发明一实施例的全向视觉系统的主要结构。
在图1中，一全向视觉系统10包括一摄像机连接部分11；一设置在所述摄像机连接部分11上从而能够自由倾斜的全向摄像机12；一允许用户执行输入操作的操作部分13；一图像处理部分14；和一图像显示部分15。
如图2所示，摄像机连接部分11包括一对摄像机连接元件111。每个摄像机连接元件111的一端被固定在天花板、墙壁等上，另一端与全向摄像机12相连，从而全向摄像机12被夹在一对摄像机连接元件111之间。具体地说，一对摄像机连接元件111采用这种方式固定全向摄像机12，从而轴向方向平行于图2所示的X轴，同时支承全向摄像机12使其能够绕X轴旋转。采用这种结构，全向摄像机12绕一单轴旋转(本实施例中的X轴)，从而其光轴(Z轴)与一垂直轴倾斜，两者之间的夹角是一指定角α。
所述全向摄像机12包括一个包含一收集镜和一CCD成像元件的CCD摄像头121；一用于在一个方向上收集360°投影区域的周围光线的双曲面镜122；一用于保持双曲面镜122的镜保持器123；以及一个用于覆盖被连接在镜保持器123上的双曲面镜122的透明保持体124。该全向摄像机12将利用全向摄像机12自身所捕捉的360°投影区域的周围光线所获得的输入图像数据发送到图像处理部分14。在此情况下，上述X轴是指一条平行于该CCD摄像头121的所述成像元件(对应于图11中的成像元件24)的长边(或短边)并垂直穿过听述垂直轴和光轴的一条直线。所述一对摄像机连接元件111与所述摄像机保持器123的外周面相连。
所述操作部分13是一个用户与图像处理部分14的界面，它包括一个键盘或一专用控制器。操作部分13允许用户执行输入操作，从而改变诸如透视投影图像的摇摄角θ、倾斜角φ、变焦距距离D以及光轴的倾角α等参数。应该指出的是，当倾角α不是0度时，全向摄像机12被设置成其光轴(Z轴)倾斜，而当倾角α是0度时，全向摄像机12被设置成其光轴(Z轴)不倾斜，也就是光轴位于一垂直方向。
所述图像处理部分14包括一输入图像存储部分141、一透视投影图像转换部分142和一透视投影图像存储部分143。图像处理部分14在输入图像存储部分141规定的输入区域内临时存储全向摄像机12所传送的输入图像信息。基于存储在输入图像存储部分141内的输入图像数据以及用户的输入操作(诸如透视投影图像的摇摄角θ、倾斜角φ、变焦距距离D以及光轴的倾角α等不同参数)，图像处理部分14可以通过透视投影图像转换部分142将透视投影图像数据发送到透视投影图像存储部分143进行存储。输入图像数据和透视投影图像可以被图像处理部分14发送到图像显示部分15。应该指出的是，输入图像存储部分141和透视投影图像存储部分143每个都使用高速数据可再写性存储器。
所述透视投影图像转换部分142包括一坐标旋转处理部分142a，基于通过将全向摄像机12的光轴设置成与所述垂直轴倾斜并被全向摄像机12发送的输入图像数据，它生成透视投影图像数据。在此情况下，坐标旋转处理部分142a所进行的坐标旋转处理允许坐标转换，例如，水平放置的物体在图像显示部分15上被水平地显示，根据所转换的坐标，获得用于显示的透视投影图像数据。具体地说，由于坐标旋转处理部分142a是本发明的一个特征，将在下面详细地进行介绍，该坐标旋转处理部分142a在三维坐标系内沿相对于所述垂直轴倾斜的光轴的倾斜方向相反的方向旋转，所述光轴与垂直轴的倾角为α，所述三维坐标系表示透视投影图像上的每个点，从而水平地显示水平设置的物体，因此获得新的三维坐标系。与通用方法不同，为了在即使全向摄像机12的光轴倾斜情况下生成与水平平面平行的水平透视投影图像，坐标旋转处理部分142a并不使用XYZ坐标系计算透视投影图像表面的三维位置，在该XYZ坐标系中，光轴对应于Z轴。然而，为了生成这种透视投影图像，基于X-、Y-、Z轴，其中Z轴对应于垂直轴，坐标旋转处理部分142a计算透视投影图像表面。
所述图像显示部分15包括一CRT或一液晶监视器(液晶显示设备)并将上述输入图像数据或透视投影图像数据作为一图像进行显示。
下面将结合图3更详细地描述被全向摄像机12发送的输入图像数据。
如图3所示，一输入图像101具有一个沿从左上角的原点(0，0)到右侧横轴方向延伸的k轴以及一个沿从原点向下的一垂直轴延伸的1轴。输入图像101的宽度和高度分别是w和h。一反射图像区域102对应于围绕全向视觉系统10的360°投影区域基于双曲面镜122的反射光所捕捉的图像。一盲区103对应于摄像机设备也就是包含摄像收集镜或成像元件的成像设备自身的盲区。一直接输入区域104对应于双曲面镜122的反射光不能被投射到的区域，并对应于摄像设备(成像设备)直接捕捉到的图像。图3所示中心点g(gx，gy)对应于一表示棱镜中心的坐标点，所述光轴(Z轴)穿过该坐标点。一xy平面，即其X轴从作为原点的中心点g(gx，gy)朝向右的方向沿一横轴延伸，其Y轴从原点向上沿一垂直轴方向延伸，所述xy平面对应于图11所示的图像表面25。在此情况下，在输入图像101上xy坐标系统的点p(x，y)可以被表示成输入图像101上kl坐标系内的点p(k-gx，gy-l)。
接下来，将利用图4所示示范性透视投影图像，介绍透视投影图像转换部分142所进行的透视投影图像数据生成程序。
在图4中，在图11所示透视投影图像表面26的条件下，生成一透视投影图像105。该透视投影图像105具有一个沿从左上角的原点(0，0)到右侧的横轴延伸的k轴以及一个沿从原点向下的垂直轴方向延伸的l轴。该透视投影图像105的宽度和高度分别是w和h。转换中心点G(Gx，Cy)对应于图11所示的G点，并直接由摇摄角θ、倾斜角φ和距离D表示。建立一i轴和j轴，所述i轴从被当作原点的点G(Gx，Gy)向右沿一横轴方向延伸，所述j轴从点G(Gx，Gy)向下沿一垂直轴向下延伸。使用坐标系i和j表示图11所示透视投影图像表面26上的点。在此情况下，ij坐标系内的点P(i，j)可以被kl坐标系统内的点P(k-Gx，Gy-l)和XYZ坐标系统中的点P(X，Y，Z)所表示。
利用上述结构，下面将结合图5和6介绍生成透视投影图像数据的步骤。
图6为一流程图，显示生成透视投影图像数据的步骤，用于获得在透视投影图像上一任意点所表示图像的数据。
如图6所示，在步骤S1，基于图4所示透视投影图像上的点P(k，l)，获得透视投影图像上的i和j轴上的坐标。如上所述，坐标点P(i，j)被表示成P(i，j)＝P(k-Gx，Gy-l)。如图5所示，根据利用上述表达式(8)所获得的坐标点P(i，j)，获得使用光轴80作为基准轴的透视投影图像表面82上的点P(X，Y，Z)。
接下来，在步骤S2，获得与使用光轴80作为基准轴的透视投影图像表面82上的点P(X，Y，Z)相对应的透视投影图像表面83上的点P′(X′，Y′，Z′)。如图5所示，通过使透视投影图像表面82沿与方向A相反的方向B倾斜，得到所述透视投影图像表面83，全向摄像机12的光轴80沿方向A与垂直轴81倾斜。在该实施例中，假设全向摄像机12被设置成其光轴80与所述垂直轴81绕X轴倾斜一个角度α，通过将-α的值赋予坐标旋转表达式(9)，能够获得透视投影图像表面上一个点的值，通过使原始透视投影图像表面沿一个相对于一垂直轴倾斜的光轴方向相反的方向倾斜而获得上述该透视投影图像表面。当将-α的值赋予坐标旋转表达式(9)时，获得下述表达式(12)。X′Y′Z′=1000cosα-sinα0sinαcosαXYZ---(12)]]>当展开表达式(12)时，获得下述表达式(13)。X′＝XY′＝Y·cosα-Z·sinαZ′＝Y·sinα+Z·cosα...............(13)在本实施例中，基于表达式(13)进行旋转处理，从而获得采用所述垂直轴81作为基准轴的透视投影图像表面83上的点P′(X′，Y′，Z′)的值。
此外，在步骤S3，旋转处理之后的三维坐标值P′(X′，Y′，Z′)被赋予表达式(5)和(6)，用于计算图5所示输入图像上的点p(x，y)。
最后，在步骤S4，图像表面上的点p(x，y)被转换成kl坐标系中的点p(k，l)。点p(k，l)的坐标被表示成点p(x+gx，gy-y)。从输入图像存储部分141获得点p(k，l)所表示的图像数据，并将其复制到透视投影图像存储部分143上的一位置，该位置被指定为在透视投影图像上的点p(k，l)。
采用上述方式，根据图6所示流程图，获得对应于透视投影图像上所有点的输入图像上的点以复制图像数据，从而生成一透视投影图像。这种透视投影图像被按顺序地生成并在图像显示部分15上显示，从而处理动态图像。
已经对X轴是单轴的情形介绍了本实施例，即当所述全向摄像机12被设置成其光轴(Z轴)被倾斜时，全向摄像机12能绕X轴旋转。然而，本发明并不局限于此。Y轴可以是一单轴，全向摄像机12可以绕它旋转。此外，全向摄像机12可以绕两条轴线也就是X轴和Y轴旋转。最好是，全向摄像机12仅绕X轴或Y轴也就是一单轴旋转，与全向摄像机12绕两条或三条轴线旋转相比，上述情况降低了坐标旋转处理中的计算复杂性。
作为选择，在全向摄像机12绕例如三条轴线旋转时，当全向摄像机12的光轴被用作三维坐标系的Z轴时，在该三维坐标系中，X、Y、Z轴以双曲面镜122的焦点为坐标原点并在该原点彼此相互垂直。通过将Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，能够获得新的三维坐标。
虽然本发明没有具体介绍透视投影图像转换部分142的具体结构，透视投影图像转换部分142可以是一个包含程序的微型计算机或者可以是一专用IC芯片。
如图1所示，所述透视投影图像转换部分142包括一CPU(中央处理器)142c(一控制部分)，例如一微型计算机、一MPU(微处理器)，等等。根据存储在程序存储器内的计算机可操作控制程序和多种类型数据，透视投影图像转换部分142执行本发明的图像处理方法中的每个步骤。根据本发明的所述控制程序包括根据使用双曲面镜的全向摄像机12所发送的图像数据，生成透视投影图像坐标以获得表示透视投影图像上每个点的三维坐标的一坐标生成步骤；以及，通过使坐标生成步骤所生成的三维坐标沿相对于一垂直轴倾斜的光轴的倾斜方向相反的方向旋转一个光轴倾角而获得新的三维坐标的一坐标旋转步骤。坐标生成部分142b和坐标旋转处理部分142a分别执行所述坐标生成步骤和坐标旋转步骤。当全向摄像机12的光轴被用作三维坐标系的Z轴时，该三维坐标系的X、Y、Z坐标轴以双曲面镜122的焦点为原点，并在该原点彼此相互垂直。通过将Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，坐标旋转步骤能够获得新的三维坐标。一记录有本发明控制程序的计算机可读取记录介质(程序存储器142d)例如是一ROM(包括CD-ROM)、一EPROM、一EEPROM等，其起到所述全向视觉系统10的一存储部分的作用。
如上所述，根据本发明，即使当全向摄像机被设置成其光轴与一水平面倾斜，通过沿一个与光轴倾斜方向相反的方向使透视投影图像表面进行坐标旋转，就能够提供用于水平显示一水平放置物体的透视投影图像数据，好象该物体能被用肉眼看见。因此，即使全向摄像机采用倾斜方式设置，以便捕捉基本上位于全向摄像机正下方区域的图像，通过执行类似于传统全向视觉系统内所采用的操作步骤，也能够显示一透视投影图像，其中，水平放置的物体被水平地显示，好象该物体能被用肉眼看见。
以上已经对本发明作了十分详细的描述，所以阅读和理解了本说明书后，对于本领域的技术人员来说，本发明的各种改变和修改将变得明显。所以，所有这样的改动和修正也包括在此发明中，因此它们在权利要求书的保护范围内。
权利要求
1.一种全向视觉系统，用于通过对一使用双曲面镜的全向摄像机所发送图像数据进行处理而生成用于显示的透视投影图像数据，该系统包括一个用于旋转三维坐标系的坐标旋转处理部分，所述三维坐标系表示所述透视投影图像数据的每个点，通过沿相对于一垂直轴与双曲面镜的光轴的倾斜方向相反的方向使该双曲面镜的光轴倾斜一个角度，从而获得新的三维坐标系。
2.一种全向视觉系统，包括一基于图像光而捕捉图像的全向摄像机，通过收集被一双曲面镜反射的光而获得所述图像光；一图像处理部分，用于基于全向摄像机所获得的输入图像数据，生成用于显示的代表一透视投影图像的透视投影图像数据，该投影图像的投影中心位于所述双曲面镜的焦点；其特征在于，所述全向摄像机被设置成其光轴相对于一垂直轴倾斜一指定角度，所述图像处理部分包括一个用于旋转三维坐标系的坐标旋转处理部分，所述三维坐标系表示透视投影图像数据的每个点，通过沿相对于一垂直轴与双曲面镜的光轴的倾斜方向相反的方向使该双曲面镜的光轴倾斜一个角度，从而获得新的三维坐标系，和所述图像处理部分生成用于显示的透视投影图像数据，并能够水平地显示所述透视投影图像。
3.根据权利要求1所述全向视觉系统，其特征在于当所述全向摄像机的光轴对应于一个XYZ三维坐标系的Z轴，其中X、Y、Z轴以所述双曲面镜的焦点为原点，并在该原点彼此相互垂直时，通过将所述Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，所述坐标旋转处理部分获得新的三维坐标。
4.根据权利要求2所述全向视觉系统，其特征在于当所述全向摄像机的光轴对应于一个XYZ三维坐标系的Z轴，其中X、Y、Z坐标轴以双曲面镜的焦点为原点，并在该原点彼此相互垂直时，通过将所述Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，所述坐标旋转处理部分获得新的三维坐标。
5.根据权利要求3所述全向视觉系统，其特征在于所述XYZ三维坐标系XY平面内的X轴和Y轴分别平行于所述全向摄像机的一成像元件的长边和短边。
6.根据权利要求4所述全向视觉系统，其特征在于所述XYZ三维坐标系XY平面内的X轴和Y轴分别平行于所述全向摄像机的一成像元件的长边和短边。
7.根据权利要求5所述全向视觉系统，其特征在于所述坐标旋转处理部分为一个单轴或双轴坐标旋转处理部分，它使用X轴或Y轴中的至少一个作为一旋转角。
8.根据权利要求6所述全向视觉系统，其特征在于所述坐标旋转处理部分为一个单轴或双轴坐标旋转处理部分，它使用X轴或Y轴中的至少一个作为一旋转角。
9.根据权利要求2所述全向视觉系统，其特征在于所述图像处理部分能够响应于一透视投影图像的一摇摄角操作，顺序地生成透视投影图像数据，其中由于通过所述双曲面镜焦点的一垂直轴被用作一旋转角，倾斜角是可变的。
10.根据权利要求4所述全向视觉系统，其特征在于所述图像处理部分能够响应于一透视投影图像的一摇摄角操作，顺序地生成透视投影图像数据，其中由于通过所述双曲面镜焦点的一垂直轴被用作一旋转角，倾斜角是可变的。
11.根据权利要求6所述全向视觉系统，其特征在于所述图像处理部分能够响应于一透视投影图像的一摇摄角操作，顺序地生成透视投影图像数据，其中由于通过所述双曲面镜焦点的一垂直轴被用作一旋转角，倾斜角是可变的。
12.一种图像处理方法，包括如下步骤基于一个使用一双曲面镜的全向摄像机所发送的图像数据，执行用于获得三维坐标系的操作，所述三维坐标系表示一透视投影图像的每个点；通过沿相对于一垂直轴与所述光轴的倾斜方向相反的方向使一光轴倾斜一个角度，执行用于三维坐标系旋转的坐标旋转操作。
13.根据权利要求12所述图像处理方法，其特征在于当所述全向摄像机的光轴对应于一XYZ三维坐标系的Z轴，其中X、Y、Z坐标轴以双曲面镜的焦点为原点，并在该原点彼此相互垂直时，通过将所述Z轴与所述垂直轴的倾角分解成一个其X轴被用作一旋转轴时的旋转角、一个其Y轴被用作一旋转轴时的旋转角和一个其Z轴被用作一旋转轴时的旋转角，根据由此获得的每个角度分量信息，所述坐标旋转操作获得新的三维坐标。
14.一种允许计算机执行权利要求12所述图像处理方法中每个处理过程的控制程序。
15.一种存储有权利要求14所述控制程序的计算机可读取记录介质。
16一种允许计算机执行权利要求13所述图像处理方法中每个处理过程的控制程序。
17.一种存储有权利要求16所述控制程序的计算机可读取记录介质。
全文摘要
本发明提供一种全向视觉系统，其用于通过对一使用双曲面镜的全向摄像机所发送图像数据进行处理而生成用于显示的透视投影图像数据，该系统包括一个用于旋转三维坐标系的坐标旋转处理部分，所述三维坐标系表示所述透视投影图像数据的每个点，通过沿相对于一垂直轴与双曲面镜的光轴的倾斜方向相反的方向使该双曲面镜的光轴倾斜一个角度，从而获得新的三维坐标系。
文档编号H04N15/00GK1441386SQ0312009
公开日2003年9月10日 申请日期2003年1月29日 优先权日2002年1月29日
发明者川上健一, 熊田清, 中野孝一 申请人:夏普公司