专利名称：图像校正、校正表生成装置、校正图像、校正表生成方法及程序的制作方法
技术领域：
本发明涉及用于对输入图像进行几何校正来生成输出图像的图像校正装置等的技术。
背景技术：
近年来，在以监视摄像机和电视对讲门铃为首的一些应用领域中，出现了希望一眼看到广阔视野范围的影像的要求。作为满足该要求的一个解决方案，在光学系统中采用鱼眼镜头并对水平视场角180度左右的范围进行拍摄的视频摄像机等正得到实际应用。但是，在利用这些设备拍摄的图像中，一般而言，被摄体空间中的直线呈现为弯曲很大，因此有以下要求，即希望对拍摄的图像实施用于减轻弯曲程度的几何校正。在鱼眼镜头中，根据其设计方针的差异，存在等距离投影方式、等立体角投影方式、正投影方式等各种投影方式。但是，无论哪种投影方式，如果校正后的图像中要表现的视场角小于180度，则通过利用透视变换，根据通过设计值和现有技术推测的被赋予的参数和投影模型，能够完全校正利用鱼眼镜头拍摄的图像(以下称为“鱼眼图像”)中的直线的弯曲。图13(a)表示鱼眼图像的例子。另外，图13(b)表示利用透视变换校正该鱼眼图像以确保左右方向的视场角较广的例子。如图13(b)所示，利用透视变换的校正结果中，虽然应为直线的部分被校正为直线，但图像的周边部被极端地拉伸，远近感被强调，成为不协调感明显的图像。这是由于校正的结果的图像中表现的视场角与观察该图像时的视场角大为不同所引起的问题。作为为了解决该问题而想到的技术，有日本特开2008-311890号公报所记载的技术。日本特开2008-311890号公报所记载的技术中，利用将分别为大致平面的正面和左右面平滑连接而得到的筒面来进行校正，以在左右方向确保超过180度的视场角，并且使上下方向延伸的直线状的被摄体和朝向光轴的直线状的被摄体分别看上去为直线。但是，在日本特开2008-311890号公报所公开的技术中，在输出图像的中心部分与左右端部分的中间附近，横向的直线急剧弯曲，因此例如在被摄体在摄像机之前横跨的情况下，存在感到不协调的问题。
发明内容
在说明书中公开的是能够减轻或消除校正后的图像中的不协调感的图像校正装置、校正图像生成方法、校正表生成装置、校正表生成方法、校正表生成程序及校正图像生成程序。例如，提供了对图13(a)的鱼眼图像进行校正而得到图13(d)那样的校正结果的方法。与原样利用作为现有技术的墨卡托制图法进行校正的结果的一例即图13(c)相比， 可知在图13(d)中，抑制了地平线的弯曲。
公开的图像校正装置对输入图像进行几何校正来生成校正图像，其特征在于，具备图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；校正表存储部，存储用于对上述输入图像进行几何校正的校正表；几何校正部，根据上述校正表对上述图像存储部中存储的上述输入图像进行几何校正；以及图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出；上述校正表如下生成计算与成为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。根据公开，能够减轻或消除校正后的图像中的不协调感。
图1是说明图像校正装置的结构例的图。图2是示意地例示校正表的图。图3是例示图像校正装置中的几何校正部的动作的流程图。图4是例示第一实施方式涉及的校正表生成装置的结构的模块图。图5是说明用于使输出图像的像素坐标与输入图像的坐标对应的坐标系的变换例的图，(a)是例示输出图像的坐标系的图。(b)是例示经度纬度坐标系的图。图6是说明用于使输出图像的像素坐标与输入图像的坐标对应的坐标系的变换例的图，(a)是例示用于根据经度和纬度求出光线方向矢量的坐标系的图。(b)是例示输入图像的坐标系的图。图7是用于说明被摄体空间中的直线在输出图像上弯曲的情况和不弯曲的情况的例子的图。图8是说明第一实施方式涉及的校正表生成装置中的校正纬度计算部校正纬度时利用的函数的例子的图。图9是例示第一实施方式涉及的校正表生成装置的动作的流程图。图10是例示第一实施方式涉及的校正表生成装置中的经度纬度计算部、校正纬度计算部及光线方向矢量计算部的动作的流程图。图11是例示第二实施方式涉及的校正表生成装置的结构的模块图。图12是例示第二实施方式涉及的校正表生成装置的动作的流程图。图13是表示对鱼眼图像(输入图像)适用现有技术的结果的图，(a)是例示鱼眼图像(输入图像)的图。(b)是对(a)的鱼眼图像(输入图像)利用作为现有技术的透视变换进行校正的结果的校正图像(输出图像)的一个例子。(c)是对(a)的鱼眼图像(输入图像)原样利用作为现有技术的墨卡托制图法进行校正的结果的校正图像(输出图像) 的一个例子。图14是对图13的(a)的鱼眼图像(输入图像)适用实施方式的结果的校正图像 (输出图像)的一个例子。
具体实施方式
<第一实施方式>以下，参照图1 图10说明第一实施方式。如图1所示，本实施方式涉及的图像校正装置10取入鱼眼图像等输入图像，对该图像进行校正，并将校正图像作为输出图像输出。图像生成装置30生成图像数据并将其供给至图像校正装置10。在本实施方式中， 以图像生成装置30是具备水平视场角180度的等距离投影方式的鱼眼镜头的数字视频摄像机的情况为例来进行说明。图像显示装置40是显示由图像校正装置10校正后的校正图像(输出图像)的显不器。本实施方式涉及的校正表生成装置20生成存放在图像校正装置10的后述的校正表存储部15中的校正表17。校正表生成装置20例如由个人计算机构成。校正表生成装置20在生成校正表17之后，在几何校正部13实施利用该校正表17 的几何校正处理之前，将该校正表17发送给图像校正装置10。其中，在不需要更新校正表17的情况下，即与校正表17的生成有关的参数没有变更的情况下，校正表生成装置20在发送生成的校正表17之后，可以与图像校正装置10分
1 ο[图像校正装置10的结构]如图1所示，图像校正装置10具备图像输入部11、图像存储部12、几何校正部13、 图像输出部14、校正表存储部15和校正表更新部16。图像输入部11读入从图像生成装置30供给的输入图像，并将其写入图像存储部 12。读入的输入图像的各像素的像素值是数字化的值，按照基准色(在本实施方式中设为 R、G、B这三种)取“0”到“255”的256个整数值之中的一个值。来自图像生成装置30的输入图像的读入利用与图像生成装置30的结构对应的接口来实施即可，例如，在从图像生成装置30以模拟信号供给输入图像的情况下，设为具备 A/D转换器的结构即可，在通过USB^niversalSerial Bus:通用串行总线)等以数字信号供给输入图像的情况下，设为具备与其对应的接口的结构即可。图像存储部12具备至少两个画面量的容量的能够存放从图像生成装置30供给的输入图像整体的大小的存储器(RAM =Random Access Memory 随机访问存储器)。图像存储部12将一个画面量用于由图像输入部11写入，将剩余的一个画面量用于由几何校正部13 读出，对于每个画面一边交替地交换职能一边使用。几何校正部13根据存放在后述的校正表存储部15中的校正表17，对存放在图像存储部12中的输入图像进行几何校正，将作为进行几何校正的结果的输出图像(校正图像)输出给图像输出部14。几何校正部13例如由FPGA(Field Programmable Gate Array 场可编程门阵列)或ASIC (Application Specific Integrated Circuit 特定应用集成电路)构成。其中，该几何校正部13进行的处理的详情在后面详细说明(参照图3)。图像输出部14将从几何校正部13输出的输出图像(校正图像)转换为适当的影像信号并输出给图像显示装置40。例如，在图像显示装置40构成为显示模拟影像信号的情况下，设为具备D/A转换器的结构即可。校正表存储部15事先存储后述的校正表17，例如是可改写的非易失性存储器。
校正表更新部16接收从校正表生成装置20发送的校正表17并存放在校正表存储部15中，与校正表生成装置20侧的接口相对应，例如设为具备USB接口或IEEE 1394接口等的结构即可。校正表17对几何校正部13输出的输出图像(校正图像)的各个像素，定义参照图像存储部12中存储的输入图像(鱼眼图像)上的哪个像素来决定这些输出图像(校正图像)的像素值。在本实施方式中，作为校正表17，使用重采样表，具体而言，使用“对几何输出部13输出的输出图像的各个像素，与表示与这些像素对应的图像存储部12中存储的输入图像上的二维坐标值的固定小数点数的组(x，y)建立对应的表”。校正表17在通过后述(参照图9及图10)的方法由校正表生成装置20生成之后，通过校正表更新部16存放在校正表存储部15中。重采样表(校正表)17例如图2所示，将输出图像上的像素坐标(u，ν)与输入图像上的坐标(x，y)建立对应。图2是u轴方向的像素数为640像素而ν轴方向的像素数为 480像素的情况下的重采样表(校正表)的例子。其中，u、v是整数，但x、y不一定是整数。 另外，在与输出图像上的像素坐标(u，ν)建立了对应的输入图像上的坐标(x，y)为输入图像的范围外的坐标的情况下，将预定的例外值、例如(-1，-1)等值与(u，ν)建立对应来存放。[图像校正装置10中的几何校正部13的动作]接着，参照图3(结构酌情参照图1)来说明图像校正装置10中的几何校正部13 的动作。首先，以在图像存储部12中存储着输入图像、且在校正表存储部15中存储着校正表17为前提。如图3的流程图所示，在步骤Sl中，几何校正部13将计数器的N的值设为“0”。在步骤S2中，几何校正部13决定与输出图像的第N个像素的坐标(u，ν)对应的输入图像上的坐标(X，IU具体而言，首先，几何校正部13将计数器的N的值除以输出图像的u轴方向的像素数而得到的商作为ν的值，将余数作为u的值(即，在u轴方向的像素数为“B”的情况下，N = ν ·Β+ιι)，计算输出图像上的像素坐标(u，ν)。接着，几何校正部13 根据校正表17，决定与输出图象上的像素坐标(u，ν)对应的输入图像上的坐标(X，y)。在步骤S3中，几何校正部13根据决定的输入图像上的坐标(x，y)，计算输出图像的第N个像素的像素值。具体而言，例如，根据输入图像上的坐标(x，y)，对于各基准色(即各RGB)，通过利用输入图像上的四相邻像素的像素值的双线性插补来决定输出图像的像素值即可。其中，在输出图像的像素值的计算中，也可以利用双三次插补等其他现有技术。其中，几何校正部13在输入图像上不存在对应的像素值的情况下，即根据重采样表17决定的输入图像上的坐标(x，y)为预定的例外值的情况下，将该输出图像的像素值设为例外值，例如“黑”即(R，G，B) = (0，0，0)。在步骤S4中，几何校正部13判断对输出图像的全部像素是否完成了像素值的计
笪弁。在判断为对输出图像的全部像素完成了像素值的计算的情况下(步骤S4 是)，几何校正部13结束几何校正处理。另一方面，在判断为输出图像的像素之中存在没有完成像素值的计算的像素的情况下(步骤S4 否)，几何校正部13对计数器的N的值加“1” (步骤SQ。其后，返回步骤 S2继续处理。要判断对输出图像的全部像素是否完成了像素值的计算，通过比较计数器的N的值和输出图像的像素数来判断即可。[校正表生成装置20的结构]如图4所示，校正表生成装置20具备经度纬度计算部21、校正纬度计算部22、光线方向计算部23、提取位置计算部M和提取位置登录部25。经度纬度计算部21计算与输出图像上的像素坐标(u，ν)对应的经度λ及纬度 Φ。例如，经度纬度计算部21使用世界地图的制作中利用的制图法之中的非投影圆筒制图法之一即墨卡托制图法，计算经度λ及纬度Φ。在本实施方式中，将输出图像的左端的像素坐标与经度“-90度(=- π/2)”建立对应，并将输出图像的右端的像素坐标与纬度“90 度(=η/2)”建立对应，因此利用用于将u轴方向的标度归一化的常数“W”，按照下面的 (1)式来计算。其中，在(1)式中，“Ψ = η/2”。[数学式1] u-u
权利要求
1.一种校正表生成装置，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，具备经度纬度计算部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；校正纬度计算部，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度；光线方向计算部，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向； 提取位置计算部，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；以及提取位置登录部，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中。
2.一种校正表生成装置，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，具备经度纬度计算部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；光线方向计算部，计算与上述经度及上述纬度对应的被摄体空间中的光线方向； 提取位置计算部，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；提取位置登录部，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中；以及修正校正表生成部，对从上述提取位置登录部输入的上述校正表的值进行校正。
3.如权利要求1或2记载的校正表生成装置，其特征在于，上述经度纬度计算部根据地图投影法中的圆筒制图法来计算上述经度及上述纬度。
4.如权利要求1或2记载的校正表生成装置，其特征在于，上述经度纬度计算部根据地图投影法中的墨卡托制图法来计算上述经度及上述纬度。
5.如权利要求1记载的校正表生成装置，其特征在于，上述校正纬度计算部在上述经度为λ且上述纬度为Φ的情况下，利用函数 ·(λ)，根据[数学式1]Φ = tarT1 {tan(O) · f(A)} 来计算上述校正纬度Φ ；上述函数f(X)对于校正所使用的上述经度λ的定义域之中的绝对值为O以上且 η/2以下的区域，设为 [数学式2]cos(A ) ^f(A)彡 1。
6.如权利要求1记载的校正表生成装置，其特征在于，上述校正纬度计算部在上述经度为λ且上述纬度为Φ的情况下，利用函数 ·(λ)，根据[数学式3]Φ = tarT1 {tan(O) · f(A)} 来计算上述校正纬度Φ ；上述函数 ·(λ)为校正所使用的上述经度λ的定义域的内部的最小值设为规定的值以上。
7.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于， 上述校正图像上的纵线成为等经度线；与作为基准的经度对应的上述校正图像上的纵线上的纬度的度数与地图投影法中的非投影圆筒制图法之一同样形成；关于作为横向的直线的被摄体直线、以及与作为上述基准的经度对应的等经度面与上述被摄体直线的交点的纬度Φ，上述校正图像上的上述被摄体直线的像与上述校正图像上的基于上述非投影圆筒制图法的上述被摄体直线的像相比，更靠近与纬度Φ的等纬度线对应的上述校正图像上的直线，其中，该被摄体直线被定义为被摄体空间中相对于与作为上述基准的经度对应的等经度面和等纬度面的双方垂直的平面、与相对于等纬度面平行的平面之间的交线。
8.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于，具备 图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；校正表存储部，存储用于对上述输入图像进行几何校正的校正表； 几何校正部，根据上述校正表对上述图像存储部中存储的上述输入图像进行几何校正；以及图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出； 上述校正表如下生成计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。
9.一种图像校正装置，对输入图像进行几何校正来生成校正图像，其特征在于，具备 图像输入部，输入上述输入图像；图像存储部，存储上述输入图像；几何校正部，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应，由此对上述图像存储部中存储的上述输入图像进行几何校正；以及图像输出部，将通过上述几何校正部校正后的上述输入图像作为上述校正图像输出。
10.一种校正表生成方法，生成用于对输入图像进行几何校正来生成校正图像的校正表，其特征在于，包括经度纬度计算步骤，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度；校正纬度计算步骤，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度；光线方向计算步骤，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向；提取位置计算步骤，计算与上述光线方向对应的上述输入图像上的位置，来作为提取位置；以及提取位置登录步骤，将上述提取位置与上述输出图像的像素位置建立对应并登录在上述校正表中。
11.一种校正图像生成方法，对输入图像进行几何校正来生成校正图像，其特征在于， 包括图像输入步骤，输入上述输入图像； 图像存储步骤，存储上述输入图像；校正表存储步骤，存储用于对上述输入图像进行几何校正的校正表； 几何校正步骤，根据上述校正表对通过上述图像存储步骤存储的上述输入图像进行几何校正；以及图像输出步骤，将通过上述几何校正步骤校正后的上述输入图像作为上述校正图像输出；上述校正表如下生成计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应。
12.一种校正图像生成方法，对输入图像进行几何校正来生成校正图像，其特征在于， 包括图像输入步骤，输入上述输入图像； 图像存储步骤，存储上述输入图像；几何校正步骤，计算与作为上述校正图像的输出图像上的各像素位置对应的经度及纬度，根据上述经度及上述纬度，计算对上述纬度进行校正而得到的校正纬度，计算与上述经度及上述校正纬度对应的被摄体空间中的光线方向，计算与上述光线方向对应的上述输入图像上的位置来作为提取位置，将上述提取位置与上述输出图像的像素位置建立对应，由此对通过上述图像存储步骤存储的上述输入图像进行几何校正；以及图像输出步骤，将通过上述几何校正步骤校正后的上述输入图像作为上述校正图像输出ο
13.一种校正表生成程序，用于执行权利要求10记载的方法。
14.一种校正图像生成程序，用于执行权利要求11或12记载的方法。
全文摘要
本发明的课题在于减轻或消除校正后的图像中的不协调感。图像校正装置(10)具备图像输入部(11)、图像存储部(12)、校正表存储部(15)、根据上述校正表对图像存储部中存储的输入图像进行几何校正的几何校正部(13)、以及将通过几何校正部校正后的输入图像作为校正图像输出的图像输出部(14)，校正表(17)如下生成计算与成为校正图像的输出图像上的各像素位置对应的经度及纬度，根据经度及纬度，计算对纬度进行校正而得到的校正纬度，计算与经度及校正纬度对应的被摄体空间中的光线方向，计算与光线方向对应的输入图像上的位置来作为提取位置，将提取位置与输出图像的像素位置建立对应。
文档编号G06T1/00GK102385741SQ20111003653
公开日2012年3月21日 申请日期2011年2月12日 优先权日2010年8月31日
发明者浜田达藏, 皆川刚 申请人:日立信息通讯工程有限公司