专利名称：图像提供方法和设备的制作方法
技术领域：
本发明涉及一种图像提供方法和设备，该图像提供方法和设备在显示平面上在鱼眼图像(全向图像(all-direction image)中在任何视线方向非线性地形成图像，本发明更特别地涉及一种可以在观察者希望的方向实时提供运动图像的交互式图像提供方法和设备。
背景技术：
在采用监视摄像机的监视系统中，例如，一种已知的方法是，利用具有鱼眼式镜头的监视摄像机代替具有普通镜头的监视摄像机采集广角图像，以获得更广的监视区。在这种情况下，与利用具有普通镜头的监视摄像机提供的图像相比，具有鱼眼式镜头的监视摄像机提供的鱼眼图像更失真。因此，进行非线性变换处理，以根据鱼眼图像，在平面上显示在任何视线方向消除了失真的图像是已知的。这种非线性变换处理被称为归一化处理(去翘曲(dewarp))。
例如，用于归一化鱼眼图像的已知方法包括第3051173号和第3126955号日本专利公开的方法。归一化逻辑被公式化为通常类似的变换方程。因此，已经以具有编程语言的设备的方式，利用任一变换方程实现了归一化方法，或者在固定了在多个位置的区域要被绘画的区域并根据方程以查表的方式先前建立了变换规则后，实现该归一化方法。
在第3051173号日本专利的第5页上的第19行至30行的右栏以及图4公开的方法中，X-MAP处理器和Y-MAP处理器加速球体上的映射。此外，在第3126955号日本专利的第5页、第0021段以及图1公开的方法中，两个坐标运算部分使用查用表加速对球体的坐标计算。
然而，在上述第3051173号和第3126955号日本专利公开的这两种方法中，非线性变换处理过程将球体上的映射用作顺序计算显示像素的基础，而且仅在从多个预定的有限空间出发的视野(visual field)内进行归一化，因此所实现的交互性差。
发明内容
根据本发明的一个方面的图像提供设备包括鱼眼图像输入设备，用于输入鱼眼图像；鱼眼图像存储设备，用于存储所述输入鱼眼图像；视野信息输入设备，用于实时输入视野信息，该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ，φ)和视场角(γ)的信息；绘图区计算设备，用于根据所述输入视野信息，实时计算与所述视线方向垂直(orthogonal)并利用所述视场角确定了其大小的平面上的绘图区的每一像素；以及归一化处理设备，确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置，以根据鱼眼图像，实时形成消除了失真的归一化图像。
图1示出根据本发明的归一化处理过程的基本原理。
图2示出根据本发明的归一化处理过程的基本原理。
图3示出根据本发明的归一化处理过程的基本原理。
图4示出根据本发明第一实施例的交互式图像显示系统的配置。
图5是图4所示显示系统中的图像提供设备的运行过程的流程图。
图6示出图5所示图像提供设备内的归一化计算模块的运行过程。
图7是图6所示归一化计算模块的运行过程的流程图。
图8示出根据本发明第二实施例的图像提供设备的处理过程。
图9示出根据本发明第三实施例的图像提供设备处理的、被分割为多个块的鱼眼图像。
图10示出根据本发明第四实施例的立体图像显示系统。
图11示出图10所示系统的工作过程。
图12示出图10所示系统的工作过程。
具体实施例方式
现在，参考
本发明实施例。
<归一化处理的基本原理>
图1至3示出根据本发明实施例的归一化处理过程的基本原理。
如图1所示，可以将鱼眼图像看作从在虚拟建立的、在平面(半球体S的圆形底表面)上形成(develop)的半球体S的半球面上成像的对象获得的图像(失真全向图像)。在该半球体S上，原点O位于其底圆的中心，建立三维坐标系，其中从原点O伸出的正交的方向X轴和Y轴在包括底圆的平面上，而方向Z轴从原点O向半球体S的顶点延伸。
现在，从原点O到半球面的视线方向B作为输入信息给出。利用与Z轴的夹角的天顶角(zenithal angle)θ(倾角(tilt))和与X轴的夹角的方位角(全角(pan))φ给出视线方向B。该视线方向B是观众的视野中心。如图2所示，附加规定的变焦距放大率(zoommagnification)(视场角(field angle)γ)规定要绘制成(看成)平面A(虚拟透视摄像机的成像面)的部分，平面A与视线方向B垂直，而与图1所示半球面正切。可以将平面A内的任何位置表示为Eu和Ev的二维坐标系，其中原点位于与指出视线方向B的直线的交点P。该平面A被称为“绘图区”。“归一化处理”相当于根据原始鱼眼图像(显影在半球体S的圆形底表面上的失真全向图像)重构该绘图区。
现在，将说明根据鱼眼图像重构绘图区的处理过程。例如，平面A上的点Ps被表示为平面A与光线C的相交点，利用天顶角θs和方位角φs确定该相交点。因此，通过利用视线方向B的θ和φ计算点Ps的三维坐标以确定通过点Ps的光线C的θs和φs，并通过根据鱼眼投影的模型方程确定鱼眼图像上的对应点Ps’的像素位置，可以确定点Ps的亮度。
具体地说，假定半球体S是半径为1的单位球体，而指出绘图区的平面A在Eu轴方向的长度为2Ku，而在Ev方向的长度为2Kv，如图2所示，则可以利用变焦距放大率(视场角γ)和绘图区的宽高比α如下确定Ku和Kv。
Ku＝tan(γ/2)Kv＝α*tan(γ/2) (方程1)宽高比α取决于绘图区的窗口大小。假定平面A上的Eu轴方向上的位置是u，而平面A上的Ev轴方向的位置是v，则可以如下确定点Ps的三维坐标(Px，Py，Pz)。
Px＝-u*Ku*sinφ-v*Kv*cosφ*cosθ+sinθ*cosφPy＝u*Ku*cosφ-v*Kv*sinφ*cosθ+sinθ*sinφPz＝v*Kv*sinθ+cosθ (方程2)因此，利用确定的Px、Py和Pz，可以如下确定点Ps的天顶角θs和方位角φs。
θs＝tan#-1#((Px#2#+Py#2#)#1/2#/Pz)φs＝tan#-1#(Py/Px) (方程3)所确定的θs和φs可以提供鱼眼图像G上对应于平面A上的点Ps的点Ps’的极坐标(L，φs)。如图3所示，L通常被表示为单值函数L＝f(θ)，而L＝f*θs用作等距投影的模型方程，L＝2f*tan(θ/2)用作等立体角投影的模型方程。f是鱼眼式镜头的焦距。
如果鱼眼图像G的半径为r_px，而且使用下面的方程4所示的模型方程，当天顶角θs从0至pi/2变化时，方程4中点Ps’从鱼眼图像G的中心位置O被等距投影到鱼眼图像G的最外围，则可以如下确定L。
L＝2*r_px*θs/pi(方程4)因此，利用下面的方程5可以确定鱼眼图像G上对应于平面A上的点Ps的点Ps’在X-Y坐标系上的位置。
X_pixel＝L*cos(φs)Y_pixel＝L*sin(φs) (方程5)在上面的每个方程中，鱼眼式镜头的焦点位置和成像单元(element)的分辨率等可以改变鱼眼图像G的半径r_px以及鱼眼图像与归一化图像之间的像素对应。因此，在Ku和Kv计算过程和归一化处理过程中，优先考虑透镜特性和CMOS(或CCD)特性。
这些图像变换计算过程通常花费很长时间，而且难以实现实时处理。为了以高速进行这种图像变换计算过程，最好使用于一般管理的管理功能设备与用于归一化失真的计算模块功能分离，一般管理包括从外部输入图像和将图像输出到外部以及与输入设备连接。归一化计算模块优先使用3个并行处理计算模块。
<第一实施例>
图4示出根据本发明第一实施例的交互式图像显示系统的配置。该系统包括图像提供设备1，用于在指定的视野内，将鱼眼图像变换为归一化图像；鱼眼式成像设备2，用于实时地将全向图像，特别是运动图像提供到图像提供设备1；数字图像文件存储部分3，用于以诸如MPEG 2文件和JPEG文件组等的数字图像文件方式，累积鱼眼式成像设备等先前成像的鱼眼图像；输入设备4，用于输入诸如用户希望的视线方向(θ，φ)以及变焦距放大率(视场角γ)的信息，作为外部控制；以及输出设备5，例如监视器，用于显示图像提供设备1归一化的归一化图像。
图像提供设备1包括主输入处理部分11，用于对鱼眼图像进行输入处理(例如，A/D变换和各种解码处理)；变换设备12，是设备1的核心部分；以及D/A变换部分13，作为输出部分。图像提供设备1还包括输入接口14，用于从输入设备4输入诸如视线方向的信息；鱼眼图像存储部分16，用于存储原始鱼眼图像；以及归一化图像存储部分18，用于存储归一化图像。
变换设备12进一步包括管理功能部分21，用于进行全面管理，包括从外部输入鱼眼图像和归一化图像和将鱼眼图像和归一化图像输出到外部以及与输入设备4的连接；以及归一化计算模块22，用于归一化鱼眼图像的失真。
在管理功能部分21的管理下，上述配置使鱼眼式成像设备2成像的图像通过输入处理部分11实时地插入内部，并使该图像保持在鱼眼图像存储部分16内，作为鱼眼图像。还可以通过对先前在数字图像文件存储部分3内累积的数字图像文件(例如，MPEG 2文件和JPEG文件组)的任何文件进行输入处理，输入图像，并且还可以保持该图像，作为鱼眼图像。为了在希望的方向观看图像，用户(观众)可以使用诸如游戏杆鼠标的输入设备4将用户希望的视线方向(θ，φ)、变焦距放大率(视场角γ)输入到该实施例的设备。通过接口14，将该输入信息通知管理功能部分21。简单的键盘鼠标输入也可以用作输入信息的输入方法。
图5是图像提供设备1的处理流程的流程图。
管理功能部分21包括多种管理模式。这些管理模式有(1)用于从鱼眼式照相系统输入实时图像的模式；(2)用于从文件输入累积图像的模式；(3)用于输入显示的视线方向和变焦距放大率并用于控制显示的模式。
管理功能部分21首先工作，以确定鱼眼图像读取是实时型图像输入模式，还是累积图像输入模式(S1)。如果读取是实时型图像输入模式，则通过输入处理部分11，实时地从鱼眼式成像设备2读取图像(S2)。如果读取是累积图像输入模式，则通过输入处理部分11，从数字图像文件存储部分3读取数字图像文件(S3)。读取后，将鱼眼图像顺序存储到鱼眼图像存储部分16内。
与此同时，管理功能部分21执行输入显示的视线方向和变焦距放大率并控制显示的模式，以从输入设备4读取视线方向(θ，φ)和变焦距放大率(γ)，作为输入信息(S4)。为了在希望的方向观看图像，用户(观众)可以使用诸如游戏杆鼠标的输入设备4实时改变要求的视线方向和变焦距放大率，如同摄像机进行摄像操作。管理功能部分21实时读取输入信息。
读取了视线方向(θ，φ)和变焦距放大率(γ)后，管理功能部分21计算Ku和Kv的值，根据上述方程1，Ku和Kv规定绘图区的大小(S5)。还优先根据特性参数，例如先前存储的镜头特性和CMOS(或CCD)特性，规定Ku和Kv。归一化计算模块22对绘图区进行归一化处理(S7)。管理功能部分21使用归一化图像在诸如监视器的输出设备5上绘图(S8)。在每次读取输入信息时，都要执行上面的处理过程。
现在，说明归一化处理过程。图6示出归一化模块的处理过程的原理图。归一化计算模块22对绘图区内的每个像素的三维位置进行计算处理(S11)，然后，进行三维非线性纹理映射(mapping)处理(S12)，以对鱼眼图像进行归一化处理，从而产生归一化图像。
通过首先输入管理功能部分21计算的绘图区的大小(extent)Ku和Kv、输入设备4提供的视线方向(θ，φ)以及先前存储的镜头和成像系统等的特性参数，然后，运算上面的方程2以计算平面A上的每个像素(Ps)的三维位置(Px，Py，Pz)，平面A表示具有更新的u和v的绘图区，可以对绘图区内的每个像素的三维位置进行计算处理(S11)。
非线性纹理映射处理(S12)将每个像素的三维位置(Px，Py，Pz)的计算结果代入上面的方程3至5，以计算原始鱼眼图像G上对应于要在绘图区上绘制的归一化图像上的每个像素位置的像素位置(x_pixel，y_pixel)，然后，使该原始鱼眼图像G的像素位置上的颜色信息(例如，RGB和YUV)映射到绘图区上的相应像素。
从方程(方程1至5)可以看出，可以对每个像素，独立地进行三维位置计算处理(S11)和非线性纹理映射处理(S12)。因此，可以并行计算对多个像素的处理。因此，如图7所示，更多的可用硬件资源，例如CPU可以提供更高的并行性，而且计算处理过程的计算时间更短(S11和S12)。这样可以以交互方式实时绘制高图像质量的图像。
<第二实施例>
利用图形功能，例如图形专用处理器(GPU)，甚至可以以更快的速度执行归一化计算模块22的处理。具体地说，通过将表示图1所示绘图区的平面A看作以三维方式进行纹理映射的对象，可以在图板侧进行有效处理。
图8示出采用图形功能的归一化处理过程。该处理过程属于应用软件和图形处理。应用软件计算绘图区四角的每个点(图2所示的P0、P1、P2和P3)的三维位置(S21)。在图板侧执行的图形处理的三维纹理映射和缩进(indent)处理对绘图区上的每个像素位置进行计算(S22)并进行非线性纹理映射处理(S23)。根据四角的三维位置进行的内插处理计算绘图区上的每个像素位置。
根据作为输入信息提供的视线方向(θ，φ)、变焦距放大率(视场角γ)以及特性参数，对绘图区四角的每个点的三维位置进行的计算处理过程确定方向矢量V，如图2所示。可以确定轴向矢量(axisvector)Eu，因为其Z分量是0，而且它与方向矢量V正交。
下面的方程6可以计算轴向矢量Ev。
Ev＝V×Eu(矢量外积) (方程6)因为变焦距放大率(视场角γ)被确定，所以要显示的平面A的大小在Eu轴上的(-tanγ/2，tanγ/2)范围内。由于根据绘图窗口大小得知宽高比α，大小在Ev轴上的(-α*tanγ/2，α*tanγ/2)范围内。因此，利用矢量记法(notation)，如下确定四角的三维坐标值。
V+(-tanγ/2)Eu+(-α*tanγ/2)EvV+(-tanγ/2)Eu+(α*tanγ/2)EvV+(tanγ/2)Eu+(-α*tanγ/2)EvV+(tanγ/2)Eu+(α*tanγ/2)Ev (方程7)然后，在图板侧计算内插的每个点的三维坐标(Px，Py，Pz)。通过利用四维有理多项式近似分子和分母，甚至可以更快地处理非线性纹理映射处理过程(S23)中采用的上述方程3的三角函数的反函数。
<第三实施例>
如果先前建立了绘图区，而且处理局限于该绘图区，则仅对部分原始鱼眼图像G进行处理。因此，图4所示的管理功能部分21将截取原始鱼眼图像G的一部分，进行处理。
例如，假定鱼眼图像G分割为多个块g，然后，对每块进行解码处理，如图9所示。在本发明实施例中，假定方程1所示的Ku和Kv以及方程7所示的四角的三维位置被确定。因此，该实施例利用该信息计算围绕该要处理的区域的8个点P1至P8的坐标值，然后，仅插入含有这些坐标值的块g(图9中的阴影块)，作为要在输入处理部分11处理的块。例如，通过指定要处理的宏块，这在MPEG 2和JPEG等中是可能的。在CMOS摄像机中，仅捕获要处理的单元。
图5中的步骤6示出该处理过程。计算了Ku和Kv的值后(S5)，计算原始鱼眼图像上的截取块(cut-out block)(S6)，而且为了以更高速进行处理，读取有限数量的图像。
<第四实施例>
图10示出根据本发明第四实施例的立体图像显示系统。该系统包括并行设置的两个装备了鱼眼式镜头摄像机31和32；计算机33，含有两台用于归一化处理摄像机31和32输出的右鱼眼图像和左鱼眼图像的图像提供设备；输入设备34，用于使视线方向和变焦距放大率输入到计算机33；输出设备35，例如，监视器，用于交替显示计算机33归一化的右归一化图像和左归一化图像；以及液晶光闸眼镜(liquidcrystal shutter glass)36，与输出设备35同步工作。为了省略眼镜光闸眼镜，输出设备35可以使用肉眼立体观察显示器。
如图11所示，可以对用户提供各虚拟摄像平面，该平面对对应于右眼和左眼的两个摄像机分别规定同样的视线方向和变焦距放大率，甚至通过以交互方式同时改变虚拟摄像平面，可以提供立体图像。具体地说，可以以交互方式立体观察希望的方向上的图像。在视线从前面改变时，一个虚拟摄像平面与另一个虚拟摄像平面之间的深度始终存在差值，如图12所示。因此，可以对一个平面进行校正，以便与该视线方向平行，以致可以立体观察图像。
如上所述，可以迅速归一化鱼眼式镜头的失真，以便有助于以任何视线和变焦距迅速绘制运动图像。此外，利用交互式立体图像，可以进行监视和欣赏。
这种系统可以迅速绘制运动图像，而且可以应用于现有实时广播领域、车辆内使用的图像监视等。此外，例如，以立体观察方式使用该系统可以扩展欣赏广播领域的内容。对于监视用途，该系统可以安装在车辆上以广阔环顾周围情况，并以立体观察方式在诸如平行停车场的狭窄空间内操纵车辆，这非常有用。
<工业可应用性>
本发明适合应用于诸如广播和移动电话业务的实时分布内容、诸如封装介质等的累积与再现型内容，本发明尤其适合应用于实现车辆操纵支持的环境监视和工厂监视。
此外，以立体观察方式使用该系统可以扩展欣赏广播领域的内容。对于监视用途，该系统可以安装在车辆上以广阔环顾周围情况，并以立体观察方式在诸如平行停车场的狭窄空间内操纵车辆，这非常有用。
权利要求
1.一种图像提供设备，包括鱼眼图像输入设备，用于输入鱼眼图像；鱼眼图像存储设备，用于存储所述输入鱼眼图像；视野信息输入设备，用于实时输入视野信息，该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ，φ)和视场角(γ)的信息；绘图区计算设备，用于根据所述输入视野信息，实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素；以及归一化处理设备，确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置，以根据鱼眼图像，实时形成消除了失真的归一化图像。
2.根据权利要求1所述的图像提供设备，其中所述鱼眼图像是运动图像。
3.根据权利要求1所述的图像提供设备，其中假定所述鱼眼图像是根据在虚拟建立的、在平面上形成的半球体的半球面上成像的对象获得的图像，所述绘图区计算设备计算所述半球面的切面，作为绘图区，所述归一化处理设备包括三维位置计算设备，用于在其原点位于所述半球体底圆的中心的三维坐标系中，计算所述计算的绘图区上的每个像素的三维位置；以及非线性映射设备，用于计算通过所述原点的轴的天顶角θs和方位角φs以及所述计算的绘图区上的每个像素的三维位置，并将该天顶角和方位角用作确定所述鱼眼图像上的像素位置的基础。
4.根据权利要求1所述的图像提供设备，其中所述绘图区计算设备计算位于所述绘图区的四角的像素位置，通过进行内插处理，根据所述绘图区四角的像素位置，所述归一化处理设备计算所述绘图区上的每个像素位置。
5.根据权利要求1所述的图像提供设备，其中所述鱼眼图像被分割为多个块，可以分别使用每个块，所述图像提供设备进一步包括要读取块计算设备，所述要读取块计算设备用于根据所述计算的绘图区计算要读取的所述块，以及所述鱼眼图像输入设备仅输入所述计算的要读取块。
6.根据权利要求1所述的图像提供设备，其中所述鱼眼图像包括右和左两个系统图像，以便实现立体显示，根据所述输入视野信息，所述绘图区计算设备计算所述两个系统鱼眼图像的每一个的绘图区，以及对于每个所述计算的两个系统绘图区的每一个，所述归一化处理设备根据每个鱼眼图像形成归一化图像。
7.一种图像提供方法，包括输入鱼眼图像并将它存储在存储设备中；实时输入视野信息，该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ，φ)和视场角(γ)的信息；根据所述输入视野信息，实时计算与所述视线方向垂直并利用所述视场角确定了其大小的平面上的绘图区的每一像素；以及确定所述鱼眼图像上对应于所述计算的绘图区上的每个像素位置的像素位置，以根据该鱼眼图像，实时形成消除了失真的归一化图像。
8.根据权利要求7所述的图像提供方法，其中所述鱼眼图像是运动图像。
9.根据权利要求7所述的图像提供方法，其中假定所述鱼眼图像是根据在虚拟建立的、在平面上形成的半球体的半球面上成像的对象获得的图像，所述实时计算绘图区的步骤计算所述半球面的切面，作为绘图区，以及所述实时形成归一化图像的步骤包括在其原点位于所述半球体底圆的中心的三维坐标系中，计算所述计算的绘图区上的每个像素的三维位置；以及计算通过所述原点的轴的天顶角θs和方位角φs以及所述计算的绘图区上的每个像素的三维位置，并将该天顶角和方位角用作确定所述鱼眼图像上的像素位置的基础。
10.根据权利要求7所述的图像提供方法，其中所述实时计算绘图区的步骤计算位于所述绘图区的四角的像素位置，通过进行内插处理，根据所述绘图区四角的像素位置，所述实时形成归一化图像的步骤计算所述绘图区上的每个像素位置。
11.根据权利要求7所述的图像提供方法，该方法进一步包括将所述鱼眼图像分割为多个块，可以分别使用每个块；以及根据所述计算的绘图区计算要读取的所述块。
12.根据权利要求7所述的图像提供方法，其中所述鱼眼图像包括右和左两个系统图像，以便实现立体显示，根据所述输入视野信息，所述实时计算绘图区的步骤计算所述两个系统鱼眼图像的每一个的绘图区，以及对于所述计算的两个系统绘图区的每一个，所述实时形成归一化图像的步骤根据每个鱼眼图像形成归一化图像。
全文摘要
实时输入视野信息，该视野信息包括关于所述鱼眼图像的视野区的视线方向(θ，φ)和视场角(γ)的信息。根据输入视野信息，实时计算与视线方向垂直并利用该视场角确定了其大小的平面上的绘图区。确定鱼眼图像上对应于计算的绘图区上的每个像素位置的像素位置。这样根据该鱼眼图像，实时形成消除了失真的归一化图像。
文档编号H04N7/00GK1702693SQ20051000826
公开日2005年11月30日 申请日期2005年2月7日 优先权日2004年5月28日
发明者尾崎信之 申请人:株式会社东芝