专利名称：监视设备以及显示鸟瞰视图的方法
技术领域：
本发明涉及一种围绕诸如车辆等移动物体的监视技术，其中该移动物体上安装了鱼眼照相机。更具体地说，本发明涉及一种围绕移动物体的监视设备以及一种显示鸟瞰视图的方法，用于根据由鱼眼照相机捕获的图像来获得鸟瞰视图以确保驾驶员的安全驾驶。
背景技术：
迄今为止，用于移动物体的监视设备根据多个照相机捕获的图像使用图像处理技术生成合成图像，使得在驾驶移动物体时维持安全行驶。
例如，根据日本专利No.3300334，如图13所示，在监视设备1中，多个照相机3被安装在移动物体2的任意位置。监视设备1根据所述安装在任意位置的多个照相机3获得的图像生成合成图像以在车辆2内显示合成图像，从而使其可能有助于车辆2的安全行驶。合成图像通过图像处理过程生成，即预先在车辆2上方设置假想视点P并且从该假想视点P俯视车辆2。
在日本专利No.3300334中，使用了说明合成图像的像素与每个照相机图像的像素数据之间对应关系的映射表，用以生成鸟瞰视图。
由于从假想视点P捕获的图像是一个包含了车辆2的部分边缘的广角图像，通过观看该广角图像，车辆2的驾驶者就可能安全驾驶。
另一方面，根据监视设备1，由于每个照相机3使用的是具有标准镜头的普通照相机，这些照相机所覆盖的图像区域相对较小。为了覆盖移动物体行驶所需的区域，必须安装大量的照相机。在这种情况下，需要执行大量图像的合成处理过程，这样图像处理过程变得复杂而且需要花大量的处理时间。
而且，还必须预先生成映射表，这样就需要做大量的工作和花大量的时间来生成该表。
另外，公开号为No.2003-196645的日本未审专利申请中公开了另一种围绕车辆的监视设备。
根据该公开号为No.2003-196645的日本未审专利申请，如图14所示，在监视设备11中，在车辆12的驾驶者的盲点位置安装了盲点照相机13。另外，使用了鱼眼镜头的照相机(以下称作鱼眼照相机)14被反向安装在车辆12后备箱的中部位置。从鱼眼照相机14获得的移动物体后方区域的鱼眼图像通过去扭曲(dewarping)处理成普通的二维图像，以便向驾驶者提供该移动物体后部区域盲点的普通图像。
根据该监视设备11，当车辆12向前或者向后运行时，出现在车辆前方或后方的障碍物，或者进入后方区域的诸如其它车辆等的物体就变成了可见区域的可见物，因此可能有助于更安全的行驶。
发明内容
本发明是考虑了上述情况而作出的。本发明的目的是提供一种监视设备以及一种显示鸟瞰视图的方法，其使用一些鱼眼照相机获得广角图像来捕获车辆等周围的图像，并且其能够将该鱼眼图像高速转换成鸟瞰视图。
为达到上述目的，根据本发明的一个方面，提供了一种监视设备包括安装在移动物体上的至少一个鱼眼照相机，用来形成该移动物体周围的鱼眼图像去扭曲单元，利用去扭曲参数将至少部分由鱼眼照相机获得的鱼眼图像转换成二维图像；转换参数计算单元，计算用于从二维图像获得鸟瞰视图的转换参数，鸟瞰视图显示从假想位置俯视该移动物体的图像；鸟瞰视图生成单元，利用转换参数和去扭曲转换参数，通过顺序取得与鸟瞰视图的每个像素对应的位置数据来生成鸟瞰视图；以及显示装置，用来显示由图像生成单元生成的鸟瞰视图。
为达到上述目的，根据本发明的另一个方面，提供了一种监视设备包括安装在车辆上的多个鱼眼照相机，用来形成该车辆周围的鱼眼图像；去扭曲单元，利用去扭曲参数将至少部分鱼眼图像去扭曲成为二维图像；转换参数计算单元，计算用于将二维图像转换成鸟瞰视图的转换参数，其中每个视图都是从假想位置俯视该车辆；鸟瞰视图生成单元，利用转换参数计算单元获得的转换参数和去扭曲参数，通过顺序取得与鸟瞰视图的每个像素对应的鱼眼图像像素的位置数据来生成鸟瞰视图；图像叠加单元，用于将鸟瞰视图重叠成叠加图像；以及显示装置，用来显示由图像叠加单元生成的叠加图像。
为达到上述目的，根据本发明的另一个方面，提供了一种显示鸟瞰视图的方法，包括步骤将由安装在运动物体上的鱼眼照相机获得的，显示运动物体周围环境的鱼眼图像储存到第一存储器中；预先对部分鱼眼图像执行校准处理，并获得一组图像转换参数用来将鱼眼图像转换成鸟瞰视图以俯视该运动物体，将该参数储存到第二存储器中；以及利用第二存储器的该组图像转换参数，顺序计算与鸟瞰视图的每个像素数据对应的鱼眼图像的图像数据位置，并从第一存储器中顺序取得图像数据作为鸟瞰视图的像素数据提供给显示装置。
为达到上述目的，根据本发明的另外一个方面，提供了一种转换图像的方法，将由安装在移动物体上的鱼眼照相机获得的鱼眼图像转换成从假想俯视位置观察移动物体的鸟瞰视图，包括获得用于将鱼眼图像转换成去扭曲图像的去扭曲参数以及用于将去扭曲图像转换成鸟瞰视图的转换参数，从而将参数存入参数文档；以及利用存储在参数文档中的去扭曲参数和转换视角参数计算与鸟瞰视图中每个像素对应的鱼眼图像中的像素位置，并顺序地取得像素数据作为鸟瞰视图中的像素数据。
根据本发明，通过在车辆等的上方设置假想位点，根据捕获的包括车辆周围盲点区域等在内的图像，利用安装在诸如车辆等移动物体上预定位置的鱼眼照相机，可以形成鸟瞰视野。
因此，就有可能在驾驶者一边看到车辆周围的鸟瞰视图，从而驾驶者能容易地检查车辆周围障碍物等的位置。这样，可以提供一种监视设备以及一种显示鸟瞰视图的方法，通过防止车辆撞上或者碰到诸如该障碍物等的物体，以有助于安全行驶。
图1是安装了根据本发明的监视设备的车辆透视图；图2是表示安装了相据本发明的监视设备的车辆的假想视点图解；图3是表示根据本发明的监视设备的原理框图；图4是表示根据本发明的监视设备功能的方框图；图5是表示根据本发明的监视设备中的鸟瞰视图生成装置的原理框图；图6表示根据本发明的监视设备中的在线图像生成单元的原理框图；图7是表示图像区域之间关系的图解；图8(包括图8A、图8B)是表示根据本发明的监视设备中生成的鸟瞰视图的图例；
图9是表示用于从鱼眼图像获得鸟瞰视图的处理过程的流程图；图10是表示对图7中形成的鸟瞰视图的校准处理过程概念的图解；图11是表示图9所示的校准处理过程的步骤3的示意图；图12是表使用了GPU的鸟瞰视图处理过程的概念图解；图13是表示安装了已知监视设备的移动物体中的实际照相机与假想位点之间关系的示意图；以及图14是安装了已知监视设备的移动物体的侧面图。
具体实施例方式
参考附图，将对根据本发明实施例的，设在移动物体周围的监视设备进行说明。
图1至3是表示根据本发明实施例的监视设备30的示意图。
监视设备30用于监视诸如车辆31等移动物体的周围情况。如图1所示，在监视设备30中，具有储存图像数据功能(以下称为图像数据储存功能)的鱼眼照相机36分别安装在如私人汽车等的车辆31的两个侧视镜35上，因而由鱼眼照相机36获得的广角图像(以下称为鱼眼图像)具有有效的视野α1和α2，包括车辆31驾驶过程中和刚启动时驾驶者的盲点视野。尽管图中省略了，但如在车辆31前部和后部进一步提供鱼眼照相机36，利用鱼眼照相机就可能覆盖车辆31的所有周围环境。
如图2所示，监视设备30的概念是，通过在车辆上方31设置假想视点P获得鸟瞰视图，利用鱼眼照相机36获得的鱼眼图像，并且从该假想视点P俯视车辆31及其周围环境。监视设备30包括如下所述的鸟瞰视图生成装置37，根据安装在车辆31上的多个(n)鱼眼照相机36获得的鱼眼图像，产生从假想视点P观看到的鸟瞰视图。所获得的鸟瞰视图显示在例如显示装置42上，如，用于汽车导航装置的导航显示装置以及利用下述图像合成装置40的任何显示装置。注意稍后将说明生成鸟瞰视图的方法。
如图3所示，监视设备30还包括用于驾驶者操控的命令输入装置32，以及传感器信息输入装置33，用于接收安装在车辆31边缘上的各种传感器44a，44b...，和44n(如图4所示)中的传感器信息。
一旦用户进行输入操作，命令输入装置32就发出输入信号(Sa1和Sa2)并将该输入信号提供给控制装置34。传感器信息输入装置33接收来自于传感器44a，44b...，和44n的检测信号作为传感器信息，包括出现在车辆外部附近的固体物体的信息和各种车辆信息，如车辆31的状态(档位，驾驶角度，车速等等)。例如，从有效传感装置，如使用超高频滤波(EHF)的雷达或类似物，这是传感器44a，44b...，和44n的一个示例，可获得固体物体的检测信号。传感器信息输入装置33将检测信号作为传感器输入信号Sb提供给控制装置34和信号处理装置38。
信号处理装置38接收传感器输入信号Sb。例如，如果有固体物体在车辆周围作为障碍物阻碍了车辆的行驶，信号处理装置38就产生障碍物识别数据信号Sc2，将它提供给图像识别装置39。
通过图像识别方法，利用从鸟瞰视图生成装置37获得的图像数据信号Sd(Sd1至Sdn)，图像识别装置39识别驾驶过程中的需当心区域。在这种情况下，更优选地是，图像识别装置39还可以利用障碍物识别数据信号Sc2。一旦识别了需当心的区域，图像识别装置39就产生需当心区域数据信号Se以及声音引导信号Sf以便引起注意，并且输出该需当心区域数据信号Se以及声音引导信号Sf。
声音引导信号Sf通过安装的扬声器43被转换成声音，例如扬声器位于车辆31的驾驶员座位上以从扬声器43发出引导声音。
来自于图像识别装置39的需当心区域数据信号Se被输入图像合成装置40。同时，图像合成装置40接收需当心区域数据信号Se以及来自于鸟瞰视图生成装置37的合成鸟瞰视图数据信号Si。接着，图像合成装置40产生合成图像数据信号Sg，该信号显示被合成的合成图像以便获知鸟瞰视图中的需当心区域，并输出合成图像数据信号Sg至显示装置42。当显示装置42收到该合成图像数据信号Sg时，基于该合成图像数据信号Sg的合成图像就被显示在该显示装置42上。由此，该合成图像就呈现给驾驶者。
另一方面，如图4所示，命令输入装置32具有开关输入单元32a和声音输入单元32b。
例如在车辆31的驾驶者发出显示任意区域状态指令的情况下，通过适当地打开开关，开关输入单元32a能输出开关输入信号Sa1至控制装置34。
另外，通过车辆31驾驶者的转换到适当屏幕显示等的声音指令，声音输入单元32b能输出声音输入信号Sa2至控制装置34。控制装置34具有声音分析单元45。声音分析单元45对声音输入信号Sa2的声音指令的内容进行分析，并能够输出声音分析信号Sa21至控制器47。
在图4中，传感器44a，44b...，和44n检测车辆31的变速杆位置，转向盘旋转角(转向角)，车速或类似物作为检测信号，并输出该检测信号至传感器信息输入装置33。来自传感器信息输入装置33的检测信号作为传感器输入信号Sb被输入传感器分析单元46。传感器分析单元46分析该传感器输入信号Sb，并根据分析结果产生传感器分析信号Sb1。接着，传感器分析信号Sb1从传感器分析单元46中输出至控制器47。
如图4所示，包含在控制装置34中的控制器47接收从命令输入装置32输出的开关输入信号Sa1，从声音分析单元45输出的声音输入信号Sa21，以及从传感器分析单元46输出的传感器分析信号Sb1。接着，例如表示对感兴趣区域(ROI感兴趣区域)显示的感兴趣区域表达信号Sc1，以及鸟瞰视图生成指令信号Sh就被控制器47提供给鸟瞰视图生成装置37。
关于图3所示的鸟瞰视图生成装置37将参考图5作详细的说明。
图5所示的鸟瞰视图生成装置37设置成能在在线(online)鸟瞰视图生成时间根据鸟瞰视图生成指令信号Sh生成鸟瞰视图。此外，鸟瞰视图生成装置37设置成能显示并放大鸟瞰视图中根据感兴趣区域表达信号Sc1生成的感兴趣区域。鸟瞰视图生成装置37生成鸟瞰视图，从而产生并输出合成鸟瞰视图数据信号Si和图像数据信号Sd。
如图5所示，鸟瞰视图生成装置37包括用于选择照相机图像数据信号g1至gn传输的选择器50，用于执行校难处理产生转换参数以产生鸟瞰视图的校准(calibration)处理单元51，用于储存产生的转换参数的参数文档52，用于利用照相机图像数据信号g1至gn和参数文档52中的参数产生鸟瞰视图的在线图像生成单元53，以及用于显示校准处理的过程和结果的显示器54。注意显示器54可以为线出(line-out)(输出端子)以便显示另一台显示器。
鸟瞰视图生成装置37执行用于在校准处理单元51中执行校准处理过程的第一步骤(校准处理步骤)和用于当车辆31行驶时在在线图像生成单元53中生成鸟瞰视图的第二步骤(在线图像生成处理过程)。
在鸟瞰视图生成装置37中，从多个鱼眼照相机36获得的照相机图像数据信号g1，g2，...，gn被选择器50接收。照相机图像数据信号g1至gn在第一步骤时间被传输至校准处理单元51，在第二步骤时间被传输至在线图像生成单元53。而且，在线图像生成单元53还接收来自于控制装置34的感兴趣区域表达信号Sc1和鸟瞰视图生成指令信号Sh。
当校准处理单元51在车辆31行驶前接收了照相机图像数据信号g1至gn时，校准处理单元51启动校准处理作为第一步骤。在校准处理中，用户能够根据显示器54察看并检验该校准处理的过程和结果。注意以下将对第一步骤作详细描述。
在在线图像生成处理步骤中(第二步骤)，从如图6所示的鸟瞰视图部分60a，60b，...，60n在线获得的鱼眼图像最终通过作为图像合成单元的图像合成部分62被转换成从图2所示的假想视点P观看到的鸟瞰视图。概念性地说，首先，用于将鱼眼图像规范成普通的二维图像的去扭曲处理过程通过表达式1实现。
Px＝-U’·ku·sinφ-V’·kv·cosφcosθ+sinθcosφPy＝U’·ku·cosφ-V’·kv·sinφcosθ+sinθsinφPz＝V’·kv·sinθ+cosθθs＝tan-l(sqrt(Px2+Py2)/Pz)φs＝tan-l(Py/Px)l＝2*r_pxl*θs/nX_pixel＝l*cos(φs)Y_pixel＝l*sin(φs)接下来，通过表达式2将去扭曲图像转换成鸟瞰视图。
uiDviDwi=h11h12h13h21h22h23h31h32h33uv1]]>U’＝uiD/wiV’＝viD/wi在第二步骤中，分别使用了用于去扭曲处理鱼眼图像的去扭曲参数和用于将去扭曲的图像转换成鸟瞰视图的鸟瞰视图参数。为了用图7来描述每个图像之间的关系，如果已知鱼眼图像区域Gx和去扭曲图像区域Gy之间的关系，即表达式1中的参数，就有可能将鱼眼图像转换成去扭曲图像。具体地说，去扭曲参数与可使用的鱼眼照相机36的图像捕获特征相关。
此外，如果去扭曲图像区域Gy和鸟瞰图像区域Gz之间的关系，即表达式2中的参数已知的话，就可能将去扭曲图像转换成鸟瞰视图。更详细地说，鸟瞰视图参数与可使用的鱼眼照相机36的安装位置和姿势相关。
由于获得了与多个鱼眼照相机36相对应的多个鸟瞰视图，这些图像被整合成一个图像，以成为包含了车辆及其周围环境的合成的鸟瞰视图，从而恰当地表示车辆周围的状态。在这方面，在此使用的去扭曲处理可以用，例如本发明者的日本专利申请No.2004-158855的说明书中详细描述的方法。而且，为了实现高速处理，可以省略实际生成去扭曲图像本身的步骤。
下面，首先，将参考图9详细描述对来自鱼眼照相机36的鱼眼图像的校准处理步骤(第一步骤)的特定例子。接着，将参考图6详细描述在线图像生成处理步骤(第二步骤)。
在校准处理步骤(第一步骤)中，在鸟瞰视图生成装置37(尤其是在线图像生成单元53)执行在线图像生成处理步骤(第二步骤)之前，获得了用于在线图像生成处理步骤的去扭曲参数和鸟瞰视图参数。校准处理过程获得的去扭曲参数和鸟瞰视图参数存储在参数文档52中。
如图9所示，详细地说，校准处理步骤包括三个步骤(步骤1至步骤3)。
在步骤1，获得每个鱼眼照相机36的涉及表达式1的去扭曲参数。在步骤2，获得每个鱼眼照相机36的涉及表达式2的鸟瞰视图参数(H矩阵)。在步骤3，获得用于执行准直(alignment)校准的准直信息以便整合成多个鸟瞰视图。
首先，在步骤1中，计算对于将从鱼眼照相机36获得的鱼眼图像转换成普通的二维图像来说必要的去扭曲参数。也就是说，在单个鱼眼照相机36的CMOS(或者CCD)特征和镜头特征的基础上，计算图像捕获系统参数。图像捕获系统参数至少包括对应于图像尺寸的信息，鱼眼图像的中心位置信息，以及鱼眼图像的半径信息。参数与表达式1有直接关系，并用于坐标变换。
在表达式1中，鱼眼图像区域Gx中的一个像素的极坐标设为(θs，s)，其XY坐标表示为(X_pixel，Y_pixel)。另外，去扭曲区域Gy的一个像素的坐标表示为(Px，Py，Pz)。
参数ku和kv由图像大小和照相机的变焦倍率决定。另外，r_pxl为鱼眼图像的半径。
也就是说，去扭曲参数能够利用已知的鱼眼照相机36的信息如CMOS(或者CCD)特征，镜头特征等等预先计算出来。
在步骤2中，计算涉及表达式2的H矩阵。步骤2有两个子步骤来计算H矩阵。步骤2有两个子步骤的原因在于作为H矩阵系数等的鸟瞰视图参数不能仅仅通过如鱼眼照相机36的安装位置的已知信息计算出来。
在第一个子步骤中，如图10所示，鱼眼照相机36拍摄放置于G3地面上呈已知的四个或更多个点形状的标记物(marker)Q3的图像。然后，绘制从上方观看到的被捕获图像的角点连接成的形状并显示于显示器54上。接着，图形用户界面(下文称作GUI)作出与角点的对应关系。
在图10中，假设位于去扭曲平面G1上的标记物Q1是将通过鱼眼照相机拍摄的标记物Q3的鱼眼图像去扭曲得到的去扭曲图像。当包含标记物Q1的去扭曲图像转换成对应于鸟瞰视图平面G2上的标记物Q2的鸟瞰视图时，就得到了鸟瞰视图。也就是说，这里建立了鸟瞰视图的像素(Ui，Vi)与去扭曲图像的像素(Ui’，Vi’)之间的对应关系。因此，表达式3适用每个下标i。这里，H具有九个元素且αi未知。
αiUi′Vi′1=HUiVi1]]>在接下来的第二个子步骤中，假设h11＝1，未知量为X，可得出如表达式4和表达式5所示的最小二乘问题公式。
b’+A·X＝0[表达式5]
b′＝(u1＇ 0 0 u2＇ 0 0 u3＇ 0 0 u4＇ 0 0)tX＝(h12h13h21h22h23h31h32h33α1α2α3α4)tA=v1′1000000-u100000u1′v1′1000-v100000000u1′v1′1-1000v2′10000000-u20000u2′v2′10000-v20000000u2′v2′10-100v3′100000000-u3000u3′v3′100000-v3000000u3′v3′100-10v4′1000000000-u400u4′v4′1000000-v400000u4′v4′1000-1]]>因此，利用广义逆矩阵和奇异值分解可以解决该问题。从而获得H矩阵的每个元素。
尤其是如图7所示，基于鱼眼照相机36安装位置，鸟瞰视图生成装置37的校准处理单元51从鱼眼图像的部分鱼眼图像区域Gx获得去扭曲处理的图像。在这种情况下，希望通过鱼眼照相机36捕获具有已知形状的图形(figure)图像。
人们只需要对已知鱼眼图像的在鱼眼图像区域Gx上的鱼眼图像(包括已知图形的部分)执行去扭曲处理。去扭曲处理的图像显示在显示器54上，利用GUI指定(specify)已知图形的多个(四个或更多)点(像素位置)。例如，在已知图形的点为地面G3上的正方形四个点的情况下，可获得该正方形的鸟瞰视图。
然而，即使该正方形图像被鱼眼照相机36所捕获，其鱼眼图像和去扭曲图像通常并不呈正方形。然而如果操作者意识到该图像是从正方形捕获的，就可以在鸟瞰视图生成装置37的显示屏上指定与该正方形对应的像素。此时，通过指定，例如正方形的四个点，表达式3中的坐标(Ui，Vi)和(Ui’，Vi’)成为已知，因而可能得到H系数。
在这方面，该步骤中所用的地面G3上的已知图形并不限于正方形。只要是已知的图形，就能指定两个图形之间的对应关系。
也就是说，在校准处理步骤的步骤2的第二个子步骤中，可以很容易地倒推算出表达式3中的未知数。
接下来，如图11所示，在用于校准(calibrate)鸟瞰视图准直性的步骤3中，通过准直(align)屏幕上对应于在多个图像捕获区65a到65d内成像的标记物y11至y14的位置Q3’，可获得用于整合成一幅鸟瞰视图的准直信息。更详细地说，在从单个图像捕获区获得的鸟瞰视图显示于显示器54的情况下，用户通过使用GUI识别对应的标记物。这样，就可能得到指示单个鸟瞰视图位置关系的准直信息。
再回到图5，上述校准处理过程获得的去扭曲参数，鸟瞰视图参数，以及准直信息存储在参数文档52中并用于生成在线图像。
接下来，参考表示其结构框图的图6，将详细描述鸟瞰视图生成装置37中包含的在线图像生成单元53，以及在线图像生成处理步骤。
作为去扭曲单元、转换参数计算单元、以及鸟瞰视图生成单元，在线图像生成单元53包括鸟瞰视图部分60a至60n，其利用去扭曲转换参数和H矩阵转换参数，根据从多个鱼眼照相机36获得的照相机图像数据信号g1，g2，...，gn产生鸟瞰视图；以及图像合成部分62，用于接收由鸟瞰视图部分60a至60n处理并产生的图像数据信号Sd(Sd1至Sdn)以产生鸟瞰视图合成数据信号Si。
当鸟瞰视图部分60a至60n接收到分别从多个鱼眼照相机36得到的照相机图像数据信号g1，g2，...，gn时，利用如图5所示的参数文档52包含的参数，鸟瞰视图部分60a至60n产生与鸟瞰视图相对应的图像数据信号Sd。由于通过校准处理步骤已知各种参数，鸟瞰视图的像素与去扭曲图像的像素之间的对应位置就可以通过表达式2计算出来。另外，通过表达式1的关系，可以计算去扭曲图像的像素和原始鱼眼图像中的像素值(要纹理映射(texture map)的原始像素的值)。
在这些计算的基础上，计算与鸟瞰视图中任意像素相对应的鱼眼图像中的像素位置，并顺次取用该像素位置的图像数据，从而生成鸟瞰视图。在这种情况下，不必实际地获得去扭曲图像。因此，从鱼眼图像可直接获得鸟瞰视图。
图像合成部分62执行合成处理过程，以将由鸟瞰视图部分60a至60n产生的图像数据信号Sd1至Sd所包括的图像数据整合成一个图像数据。利用预先获得的准直信息，图像合成部分62产生包括图像处理过程产生的图像的合成鸟瞰视图数据信号Si，成为一幅鸟瞰视图。
为了产生鸟瞰视图合成图像数据信号Si，鸟瞰视图部分60a至60n利用表达式1和表达式2执行鸟瞰视图处理过程。
图像合成部分62功能是在直接整合图像数据信号Sd到一个图像信号的过程中，根据需要处理重叠区域。也就是说，在重叠区域图像中不是只绘制一个图像，而是混合绘制同一区域的多个图像数据信号Sd以便画出一个图像。因此，例如如图8所示的一幅鸟瞰视图，通过从安装在每边侧视镜上的鱼眼照相机36的有效视野α1和α2分别成像得到的图像的(人)x1和x2的脚，在复制的图像区67的一个公共点结合本。
通过这种方式，鱼眼照相机36捕获的图像被整合，并且在显示装置42上显示出一幅鸟瞰视图，如图2所示。因此，驾驶者很容易看到该图像。此外，由于该图像是高亮度显示的，就更容易被看到。
再回到图6，当生成在线图像时，在有鸟瞰视图生成指令信号Sh的情况下，鱼眼照相机36获得的鱼眼图像首先由在线图像生成单元53的鸟瞰视图部分60a至60n，通过选择并提取与每个鱼眼照相机36对应的去扭曲参数进行处理，从而获得上述去扭曲图像和鸟瞰视图。
另一方面，当生成在线图像时，在感兴趣区域表达信号Sc1从控制装置34输出的情况下，利用鱼眼照相机号以及以命令输入装置32分别指定的注意区域指令信号，图像合成部分62仅放大从鱼眼照相机获得的一个鱼眼图像中对应于所注意区域的部分，根据需要提供给显示装置，其中鱼眼照相机与一个对应于目标鱼眼照相机的鸟瞰视图部分相对应，从而使得可以显示所感兴趣部分(方向)的鸟瞰视图。
在监视设备30中，如图3所示，当图像合成装置40收到来自于图像识别装置39的需当心区域数据信号Se的情况下，图像合成装置40根据需要合成作为图像识别装置39的识别结果的需当心区域信号Se，和鸟瞰视图合成图像数据信号Si以提供给显示装置42，例如导航显示装置。
图像识别装置39根据鸟瞰视图中物体的移动矢量识别障碍物。特别是，例如，假设当作为移动物体的车辆31运动时，地面上静止物体根据在鸟瞰视景(图)中该车辆31的运动而发生改变。
另一方面，假设人(障碍物)行走在车辆31的左边，就能检测到与车辆31不一致的矢量运动。因此可以通过检测运动矢量的变化，将该运动看成障碍物。
如上所述，图像识别装置39检测在鸟瞰视图中运动物体是否有恒定的矢量，从而可以发现该不具有恒定矢量的移动物体作为移动障碍物。此外，如果假定车辆31在发现障碍物的地方向左转的情况下，汽车可能撞到障碍物，则图像识别装置39可以通过声音引导等来发出警告。
本发明的监视设备30可以采用GPU(图形处理器单元)来产生在线图像。由于GPU具有去扭曲图像处理功能用于执行去扭曲图像处理，以及鸟瞰视图处理功能用于执行鸟瞰视图处理(GPU功能)，所以GPU能够高速地执行去扭曲图像处理和鸟瞰视图处理。
根据采用了GPU 82的监视设备30，考虑到表达式2中的第一个表达式的左边是同次坐标表达式，可以例如通过预先用表达式2计算要显示的鸟瞰视图的四个角点，然后在同次坐标模式下执行图形内部的纹理映射，执行表达式2的纹理的计算。
在在线图像生成单元53中，采用了GPU 82的监视设备30包括替代了鸟瞰视图部分60a，60b，...，和60n的鸟瞰视图部分80a，80b，...，和80n。如图12所示，鸟瞰视图部分80a，80b，...，和80n包括应用处理区81用于执行应用处理过程(步骤a1至a4)，以及GPU 82用于高速执行去扭曲图像处理过程(步骤b1)和鸟瞰视像处理过程(步骤b2)。因此，通过应用处理区81和GPU82的协作，如图12所示的每个鸟瞰视图部分能够高速地执行处理过程。
应用处理部分81预先安装了应用软件用于执行应用处理过程，其中计算出作为鸟瞰视图的要被显示的绘制区域的四个角位置。应用处理过程包括步骤a1到a4。
在步骤a1中，确定作为鸟瞰视图的要显示区域。例如，该区域假定为矩形，四个角点(ui，vi)(i＝1至4)被指定以通过该矩形限定该区域。在步骤a2中，通过表达式2计算对应于四个角点的去扭曲图像中的纹理坐标(ui，vi，wi)。在步骤a3中，清楚地表示出对应于由步骤1确定的区域部分的根据步骤2的纹理映射目的地的坐标(ui’，vi’，wi’)，并且显示出整个鱼眼原始图像作为纹理。在步骤a4，清楚地显示出矩形部分的纹理映射目的地的坐标以及该纹理的坐标(ui，vi，wi)。
在这方面，a1至a4的每个步骤中，对应于去扭曲处理过程中采用的表达式1的处理过程由GPU 82的去扭曲处理功能实现，而对应于鸟瞰视图处理过程中采用的表达式2的处理过程由GPU 82的鸟瞰视图处理功能实现。
如图12所示，在步骤b1，以同次坐标对鱼眼图像存储器(第一存储器)61中的鱼眼图像70执行三维非线性纹理映射，产生的去扭曲图像数据存储在去扭曲图像存储器(第二存储器)63中作为去扭曲图像71。在步骤b2，对去扭曲图像71执行三维线性纹理映射以产生鸟瞰视图73。
另外，在用于执行每个纹理映射的步骤b1和b2中，将包括从鸟瞰位置看的鸟瞰视图的平面看作绘制区域，并看作三维执行的纹理映射目标。因此，可在图形板上执行大量的处理。
如上所述，执行每一纹理映射的步骤b1和b2中的至少一个是通过高速处理(GPU处理)执行的，因此尤其可以高速地执行色彩处理和运动图像处理。
在这方面，上述说明中，第一存储器61和第二存储器63可以是虚拟存储器。换句话说，不管第一存储器61和第二存储器63是否是虚拟存储器，各个鸟瞰视图部分80a，80b，...，和80n都可以执行。也就是说，由于中间不生成去扭曲图像，因而可以直接在线将鱼眼图像高速转换成鸟瞰视图。
注意GPU82不必在各个鸟瞰视图部分80a，80b，...，和80n都有。在线图像生成单元53A中可以共享GPU82。例如，在线图像生成单元53A可以包括至少一个鸟瞰视图部分80a，80b，...，和80n，以及一个GPU82。
如上所述，根据监视设备30，该监视设备30能高速地绘制移动图像，因而可以将该设备应用于安装在车辆上能够实时使用的视频监视器上。
此外，通过将设备安装在诸如车辆的移动物体上，可以提供对安全驾驶非常有效的监视设备。
在这方面，使用监视设备30的、作为移动物体实例的车辆31不必是移动的物体。在周围环境移动的系统中使用该设备的情况下，可以使用仅包含鱼眼照相机的物体，如固定的物体。
注意监视设备30的每个鱼眼照相机36并不总是具有图像数据存储功能。监视设备30可包括没有图像数据存储功能的鱼眼照相机36以及具有图像数据存储功能的图像捕获装置，或者鸟瞰视图生成装置进一步具有图像存储功能，以取代具有图像数据存储功能的鱼眼照相机36。
权利要求
1.一种监视设备，包括安装在移动物体上的至少一个鱼眼照相机，用来形成所述移动物体周围图像的鱼眼图像；去扭曲单元，利用去扭曲参数将至少部分由所述鱼眼照相机获得的鱼眼图像转换成二维图像；转换参数计算单元，计算用于从所述二维图像获得鸟瞰视图的转换参数，该鸟瞰视图显示从假想位置俯视所述移动物体的图像；鸟瞰视图生成单元，利用转换参数和去扭曲转换参数，通过顺序取得与鸟瞰视图的每个像素对应的位置数据来生成鸟瞰视图；以及显示装置，用来显示由图像生成单元生成的鸟瞰视图。
2.根据权利要求1的设备，其中所述转换参数计算单元包括用以选择性地指定所述去扭曲二维图像中的多个像素的指定单元。
3.根据权利要求1的设备，其中使用了多个鱼眼照相机并且提供了对应于每个鱼眼照相机的多个转换参数的计算。
4.根据权利要求3的设备，进一步包括图像合成单元，用以将所获得的对应于各个鱼眼照相机的多个鸟瞰视图合成为一个图像。
5.根据权利要求1的设备，进一步包括图像识别装置，用以识别鸟瞰视图中的障碍物。
6.根据权利要求5的设备，其中所述图像识别装置根据鸟瞰视图中的移动矢量识别障碍物。
7.一种监视设备，包括安装在车辆上的多个鱼眼照相机，用来形成该车辆周围的鱼眼图像；去扭曲单元，利用去扭曲参数将至少部分鱼眼图像去扭曲为二维图像，转换参数计算单元，计算用于将二维图像转换成鸟瞰视图的转换参数，其中每个视图是从假想位置俯视观看该车辆；鸟瞰视图生成单元，利用转换参数计算单元获得的转换参数和去扭曲参数，通过顺序计算与鸟瞰视图的每个像素对应的鱼眼图像像素的位置数据来生成鸟瞰视图；图像叠加单元，用于将鸟瞰视图重叠成叠加图像；以及显示装置，用于显示由图像叠加单元生成的叠加图像。
8.根据权利要求7的设备，其中所述鸟瞰视图生成单元使用图形处理单元的GPU功能。
9.一种显示鸟瞰视图的方法，包括步骤将由安装在运动物体上的鱼眼照相机获得的，显示运动物体周围环境的鱼眼图像储存到第一存储器中；预先对部分鱼眼图像执行校准处理，并获得一组图像转换参数用来将鱼眼图像转换成俯视该运动物体的鸟瞰视图，将该参数储存到第二存储器中；以及利用第二存储器的该组图像转换参数，顺序计算与鸟瞰视图的每个像素数据对应的鱼眼图像的图像数据位置，并从第一存储器中顺序取得图像数据作为鸟瞰视图的像素数据提供给显示装置。
10.根据权利要求9的方法，其特征在于所述执行步骤包括转换步骤，利用去扭曲参数将部分第一鱼眼图像转换成去扭曲的二维图像；计算步骤，计算转换参数，所述转换参数用于将去扭曲的二维图像转换成鸟瞰视图，其中所述去扭曲参数和所述转换参数作为图像转换参数组使用。
11.一种转换图像的方法，用于将由安装在移动物体上的鱼眼照相机获得的鱼眼图像转换成从移动物体的假想俯视位置观看到的鸟瞰视图，包括获得用于将鱼眼图像转换成去扭曲图像的去扭曲参数以及用于将去扭曲图像转换成鸟瞰视图的转换参数，从而将参数存入参数文档；以及利用存储在参数文档中的去扭曲参数和转换参数计算与鸟瞰视图中每个像素对应的鱼眼图像中的像素位置，并顺序地取得鱼眼图像的像素数据并作为鸟瞰视图的像素数据输出。
12.根据权利要求11的方法，其特征在于所述图像为移动图像。
全文摘要
本发明涉及一种用于向驾驶者提供移动物体盲点区域图像的监视设备。该监视设备包括安装在移动物体上的至少一个鱼眼照相机，用来形成所述移动物体周围图像的鱼眼图像；利用去扭曲参数将至少部分由所述鱼眼照相机获得的鱼眼图像转换成二维图像的去扭曲单元；转换参数计算单元，计算用于从所述二维图像获得鸟瞰视图的转换参数，鸟瞰视图显示从假想位置俯视所述移动物体的图像；利用转换参数和去扭曲转换参数，通过顺序取得与鸟瞰视图的每个像素对应的位置数据来生成鸟瞰视图的鸟瞰视图生成单元；以及用来显示由图像生成单元生成的鸟瞰视图的显示装置。
文档编号G06T1/00GK1731450SQ200510056550
公开日2006年2月8日 申请日期2005年2月16日 优先权日2004年8月5日
发明者尾崎信之 申请人:株式会社东芝