建立部10是用于将相机2摄像到的输入图像所处的输入图像平面上的 坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立对应的单元。在本实 施例中，坐标对应建立部10例如基于预先设定的、或动态输入的与相机2相关的各种参数、 以及预先决定的、输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系， 将输入图像平面上的坐标、空间模型MD上的坐标、以及处理对象图像平面R3上的坐标建立 对应。另外，与相机2相关的各种参数是例如相机2的光学中心、焦距、CCD尺寸、光轴方向 向量、相机水平方向向量以及投影方式等。进而，坐标对应建立部10将这些对应关系存储 到存储装置4的输入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射 41〇
[0061] 另外，在不生成处理对象图像的情况下，坐标对应建立部10省略空间模型MD上的 坐标与处理对象图像平面R3上的坐标的对应建立、以及该对应关系的向空间模型-处理对 象图像对应映射41的存储。
[0062] 图像生成部11是用于生成输出图像的单元。在本实施例中，图像生成部11例如 通过对处理对象图像实施标度变换、仿射变换或者扭曲变换，将处理对象图像平面R3上的 坐标与输出图像所处的输出图像平面上的坐标建立对应。进而，图像生成部11将该对应关 系存储到存储装置4的处理对象图像-输出图像对应映射42。进而，图像生成部11参照输 入图像-空间模型对应映射40以及空间模型-处理对象图像对应映射41，将输出图像中的 各像素的值与输入图像中的各像素的值建立关联来生成输出图像。各像素的值例如是亮度 值、色调值、色度值等。
[0063] 例如，图像生成部11基于预先设定的或动态输入的与虚拟相机相关的各种参数， 将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。另 外，与虚拟相机相关的各种参数是例如虚拟相机的光学中心、焦距、CCD尺寸、光轴方向向 量、相机水平方向向量以及投影方式等。进而，图像生成部11将该对应关系存储到存储装 置4的处理对象图像-输出图像对应映射42。进而，图像生成部11参照输入图像-空间模 型对应映射40以及空间模型-处理对象图像对应映射41，将输出图像中的各像素的值与输 入图像中的各像素的值建立关联来生成输出图像。
[0064] 另外，图像生成部11还可以不使用虚拟相机的概念而变更处理对象图像的标度 来生成输出图像。
[0065] 另外，图像生成部11在不生成处理对象图像的情况下，根据所实施的图像变换处 理，将空间模型MD上的坐标与输出图像平面上的坐标建立对应。进而，图像生成部11参照 输入图像-空间模型对应映射40,将输出图像中的各像素的值与输入图像中的各像素的值 建立关联来生成输出图像。在这种情况下，图像生成部11省略处理对象图像平面R3上的 坐标与输出图像平面上的坐标的对应建立、以及该对应关系向处理对象图像-输出图像对 应映射42的存储。
[0066] 图像调整部12是用于调整图像生成装置100生成的输出图像的单元。在本实施 例中，图像调整部12按照每个输入图像导出将与表示输入图像中的规定地物的图像对应 的空间模型MD上的坐标和与该空间模型MD上的坐标对应的处理对象图像平面R3上的坐 标连结的再投影线（后述）。进而，图像调整部12按照每个输入图像决定该再投影线的斜 率（例如，是相对于铅垂线的角度，下面作为"再投影角度"）来调整处理对象图像。另外， 图像调整部12以使与表示各输入图像中的规定地物的图像对应的处理对象图像平面R3上 的各坐标和空间模型MD的再投影轴（后述）之间的距离相等的方式，按照每个输入图像决 定再投影角度。另外，"表示各输入图像中的规定地物的图像"是表示在各输入图像中可能 存在的地物的图像，例如包括表示水平线、地平线等无穷远线的图像、表示在位于悬臂起重 机60周边的壁面上水平地描绘的线的图像、表示在路面上描绘的线的图像等。另外，关于 由图像调整部12进行的处理对象图像的调整，在后详细叙述。
[0067]接着，关于由坐标对应建立部10以及图像生成部11进行的具体的处理的一个例 子进行说明。
[0068] 坐标对应建立部10例如能够使用汉密尔顿的四元数，将输入图像平面上的坐标 与空间模型上的坐标建立对应。
[0069] 图5是用于说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。相 机2的输入图像平面被表示为将相机2的光学中心C作为原点的UVW正交坐标系中的一平 面。空间模型被表示为XYZ正交坐标系中的立体面。
[0070] 首先，坐标对应建立部10在使XYZ坐标系的原点平行移动到光学中心C(UVW坐标 系的原点）之后，使XYZ坐标系旋转，以分别使X轴与U轴、Y轴与V轴、Z轴与一W轴一致。 这是为了将空间模型上的坐标（XYZ坐标系上的坐标）变换成输入图像平面上的坐标（UVW 坐标系上的坐标）。另外，"一W轴"的符号"一"意味着一W轴的方向与Z轴的方向相反。 这是由于UVW坐标系将相机前方设为+W方向，XYZ坐标系将铅垂下方设为一Z方向。
[0071] 另外，在相机2存在多个的情况下，由于相机2的每个相机具有单独的UVW坐标 系，所以坐标对应建立部10使XYZ坐标系相对于多个UVW坐标系的每个坐标系平行移动并 且旋转。
[0072] 上述的变换通过在使XYZ坐标系平行移动以使相机2的光学中心C成为XYZ坐标 系的原点后，使XYZ坐标系旋转以使Z轴与一W轴一致，进一步使XYZ坐标系旋转以使X轴 与U轴一致来实现。因此，坐标对应建立部10通过以汉密尔顿的四元数记述该变换，从而 能够将上述2次的旋转汇集成1次的旋转运算。
[0073] 可是，用于使某向量A与另一向量B-致的旋转相当于将向量A与向量B展开的 面的法线作为轴并旋转向量A与向量B形成的角度的处理。进而，在将该角度设为0时， 根据向量A与向量B的内积，角度0以数式1进行表示。
[0074][数式1]
[0075]
[0076] 另外，向量A与向量B展开的面的法线的单位向量N根据向量A与向量B的外积， 以数式2进行表示。
[0077] 「数式 21
[0078]
[0079]另外，四元数在将i、j、k分别设为虚数单位的情况下，是满足数式3的超复数，
[0080][数 3]
[0081] ii = jj = kk = i jk = -1
[0082] 在本实施例中，四元数Q将实数成分设为t，将纯虚数成分设为a、b、c，以数式4进 行表示，
[0083][数式 4]
[0084] Q = (t；a,h,c) =t+ai+bj+ck
[0085] 四元数Q的共轭四元数以数式5进行表示。
[0086][数式5]
[0087] Q*= (t；-a,-b,-c) =t-ai~bj-ck
[0088] 四元数Q能够将实数成分t设为0(零）而用纯虚数成分a、b、c表现三维向量（a， b，c)，另外，还能够通过t、a、b、c的各成分，表现将任意的向量作为轴的旋转动作。
[0089] 进一步，四元数Q能够将连续的多次旋转动作进行统一而作为1次旋转动作进行 表现。具体地讲，四元数Q例如能够如下面那样表现将任意的单位向量C(l，m，n)作为轴并 且使任意的点S(sx，sy，sz)旋转了角度0时的点D(ex，ey，ez)。
[0090] [数式 6]
[0091] D= (0 ；ex,ey,ez) =QSQ*
[0092]苴由-
[0093]
[0094] 在此，在本实施例中，在将表示使Z轴与一W轴一致的旋转的四元数设为Qz时， XYZ坐标系中的X轴上的点X向点X'移动，所以点X'以数式7进行表示。
[0095] [数式 7]
[0096]X，=QZXQZ*
[0097] 另外，在本实施例中，在将表示使连结位于X轴上的点X'和原点的线与U轴一致 的旋转的四元数设为Qx时，表示"使Z轴与一W轴一致，进一步使X轴与U轴一致的旋转" 的四元数R以数式8进行表示。
[0098] [数式8]
[0099] R=QXQZ
[0100] 根据以上内容，用输入图像平面（UVW坐标系）上的坐标来表现空间模型（XYZ坐 标系）上的任意的坐标P时的坐标P'以数式9进行表示。
[0101] [数 9]
[0102] Pr =RPR*
[0103] 另外，在相机2的各个相机中四元数R是不变的，所以坐标对应建立部10只要在 之后执行该运算，就能够将空间模型（XYZ坐标系）上的坐标变换成输入图像平面（UVW坐 标系）上的坐标。
[0104] 在将空间模型（XYZ坐标系）上的坐标变换成输入图像平面（UVW坐标系）上的坐 标后，坐标对应建立部10计算线段CP'与相机2的光轴G形成的入射角a。另外，线段CP' 是连结相机2的光学中心C(UVW坐标系上的坐标）与在UVW坐标系中表示空间模型上的任 意的坐标P的坐标P'的线段。
[0105] 另外，坐标对应建立部10计算与相机2的输入图像平面R4(例如，C⑶面）平行 并且包括坐标P'的平面H上的偏角巾、以及线段EP'的长度。另外，线段EP'是连结平面 H与光轴G的交点E和坐标P'的线段，偏角巾是平面H上的U'轴与线段EP'形成的角度。
[0106] 相机的光学系统中，一般地，像高h成为入射角a以及焦距f的函数。因此， 坐标对应建立部10选择普通投影（h=ftana)、正投影（h=fsina)、立体投影（h= 2ftan(a/2))、等立体角投影（h= 2fsin(a/2))、等距离投影（h=fa)等适当的投影方 式来计算像高h。
[0107] 之后，坐标对应建立部10根据偏角巾将计算出的像高h分解成UV坐标系上的U 成分以及V成分，并且除以与输入图像平面R4的一个像素的像素尺寸相当的数值。由此， 坐标对应建立部10能够将空间模型MD上的坐标P(P'）与输入图像平面R4上的坐标建立 对应。
[0108] 另外，在将输入图像平面R4的U轴方向上的一个像素的像素尺寸设为au，将输入 图像平面R4的V轴方向上的一个像素的像素尺寸设为&￥时，与空间模型MD上的坐标P(P'） 对应的输入图像平面R4上的坐标（u，v)以数式10以及数式11进行表示。
[0109] [数 10]
[0110]
[0111]
[0112]
[0113] 通过这种方式，坐标对应建立部10将空间模型MD上的坐标与按各相机分别存在 的1个或者多个输入图像平面R4上的坐标建立对应，将空间模型MD上的坐标、相机标识符 以及输入图像平面R4上的坐标建立关联并存储到输入图像-空间模型对应映射40。
[0114] 另外，坐标对应建立部10使用四元数对坐标的变换进行运算，所以与使用欧拉角 对坐标的变换进行运算的情况不同，具有不会产生万向节死锁的优点。然而，坐标对应建立 部10不限定于使用四元数对坐标的变换进行运算，也可以使用欧拉角对坐标的变换进行 运算。
[0115] 另外，在能够进行向多个输入图像平面R4上的坐标的对应建立的情况下，坐标对 应建立部10还可以将空间模型MD上的坐标P(P'）与其入射角a最小的与相机相关的输 入图像平面R4上的坐标建立对应，也可以与操作者选择的输入图像平面R4上的坐标建立 对应。
[0116] 接着，关于空间模型MD上的坐标之中，将曲面区域R2上的坐标（具有Z轴方向的 成分的坐标）再投影到位于XY平面上的处理对象图像平面R3的处理进行说明。
[0117] 图6是用于说明由坐标对应建立部10进行的坐标间的对应建立的图。F6A是作 为一个例子表示采用普通投影（h=ftana)的相机2的输入图像平面R4上的坐标与空间 模型MD上的坐标之间的对应关系的图。坐标对应建立部10使连结相机2的输入图像平面 R4上的坐标和与该坐标对应的空间模型MD上的坐标的线段分别从相机2的光学中心C通 过，来将两坐标建立对应。
[0118] 在F6A的例子中，坐标对应建立部10将相机2的输入图像平面R4上的坐标K1与 空间模型MD的平面区域R1上的坐标L1建立对应，将相机2的输入图像平面R4上的坐标K2 与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1 一L1以及线段K2 - L2均从相机2的光学中心C通过。
[0119] 另外，在相机2采用普通投影以外的投影方式（例如，正投影、立体投影、等立体角 投影、等距离投影等）的情况下，坐标对应建立部10分别根据各投影方式，将相机2的输入 图像平面R4上的坐标Kl、K2与空间模型MD上的坐标Ll、L2建立对应。
[0120] 具体地讲，坐标对应建立部10基于规定的函数（例如，正投影（h=fsina)、立体 投影（h= 2ftan(a/2))、等立体角投影（h= 2fsin(a/2))、等距离投影（h=fa)等）， 将输入图像平面上的坐标与空间模型MD上的坐标建立对应。在这种情况下，线段K1 一LI 以及线段K2 -L2没有从相机2的光学中心C通过。
[0121] F6B是表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐 标之间的对应关系的图。坐标对应建立部10导入平行线组PL，该平行线组PL是作为位于 XZ平面上的再投影线组的平行线组，并且在与Z轴之间形成角度Y。进而，坐标对应建立 部10使空间模型MD的曲面区域R2上的坐标和与该坐标对应的处理对象图像平面R3上的 坐标均在平行线组PL之中的1条平行线上，来将两坐标建立对应。
[0122] 在F6B的例子中，坐标对应建立部10使空间模型MD的曲面区域R2上的坐标L2 与处理对象图像平面R3上的坐标M2在共同的平行线上，来将两坐标建立对应。
[0123] 另外，坐标对应建立部10也能够与曲面区域R2上的坐标同样地使用平行线组PL， 来将空间模型MD的平面区域R1上的坐标与处理对象图像平面R3上的坐标建立对应。然 而，在F6B的例子中，平面区域R1与处理对象图像平面R3成为共同的平面。因此，空间模 型MD的平面区域R1上的坐标L1与处理对象图像平面R3上的坐标Ml具有相同的坐标值。
[0124] 通过这种方式，坐标对应建立部10将空间模型MD上的坐标与处理对象图像平面 R3上的坐标建立对应，将空间模型MD上的坐标以及处理对象图像平面R3上的坐标建立关 联并存储到空间模型-处理对象图像对应映射41。
[0125] F6C是表示处理对象图像平面R3上的坐标与作为一个例子而采用普通投影（h= ftana)的虚拟相机