图像生成装置及操作支持系统的制作方法

本发明涉及一种根据安装于被操作体上的摄像机所拍摄到的输入图像而生成输出图像的图像生成装置及使用了该装置的操作支持系统。

背景技术：

已知有根据安装于挖土机的上部回转体上的摄像机所拍摄到的输入图像而生成输出图像的图像生成装置(例如，参考专利文献1。)。

该图像生成装置执行包括输入图像的旋转的图像处理，因此在输出图像上产生锯齿。

另外，作为减轻锯齿的方法，已知有最邻近插值、双线性插值、双三次插值等。

现有技术文献

专利文献

专利文献1：日本特开2011-221865号公报

技术实现要素：

发明要解决的课题

然而，最邻近插值无法充分减轻锯齿。另一方面，双线性插值或双三次插值存在对图像生成装置要求较高的运算能力，使图像生成装置的制造成本增大的问题。

鉴于上述问题点，希望提供一种在抑制运算负荷增大的同时能够提高画质的图像生成装置及使用了该装置的操作支持系统。

用于解决课题的手段

为了实现上述目的，本发明的实施例涉及一种图像生成装置，其根据安装于被操作体上的摄像机所拍摄到的输入图像而生成输出图像，所述图像生成装置具备输出图像生成构件，所述输出图像生成构件对所述输入图 像所在的输入图像平面上的输入像素的值和所述输出图像所在的输出图像平面上的输出像素的值建立对应而生成所述输出图像，由所述输出图像平面上的整数坐标点确定的输出像素的值，根据由从与所述整数坐标点对应的处于所述输入图像平面上的实数坐标点周围的4个整数坐标点中选择的2个整数坐标点确定的2个输入像素的值来决定。

并且，本发明的实施例所涉及的操作支持系统，其支持被操作体的移动或操作，其中，所述操作支持系统具备：上述图像生成装置；及显示部，设置于用来移动或操作所述被操作体的操作室中，并显示该图像生成装置所生成的输出图像。

发明效果

通过上述手段，能够提供一种在抑制运算负荷增大的同时能够提高画质的图像生成装置及使用了该装置的操作支持系统。

附图说明

图1是概略表示本发明的实施例所涉及的图像生成装置的结构例的框图。

图2是表示搭载有图像生成装置的挖土机的结构例的图。

图3是表示输入图像所投影的空间模型的一例的图。

图4是表示空间模型与处理对象图像平面之间的关系的一例的图。

图5是用于对输入图像平面上的坐标与空间模型上的坐标的对应建立进行说明的图。

图6是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。

图7是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。

图8是输出图像的显示例。

图9是对基于输出图像生成构件的插值处理的效果进行说明的图。

图10是对插值处理进行说明的概略图。

图11是表示输出图像生成构件的结构例的功能框图。

图12是表示插值处理的流程的流程图。

图13是表示垂线交点的坐标值的小数部分与第1像素值的权重α的关系的图。

具体实施方式

以下，参考附图对用于实施本发明的最佳方式进行说明。

图1是概略表示本发明的实施例所涉及的图像生成装置100的结构例的框图。

图像生成装置100为例如根据搭载于建设机械上的摄像机2所拍摄到的输入图像而生成输出图像，且将该输出图像提示给驾驶员的装置，其由控制部1、摄像机2、输入部3、存储部4及显示部5构成。

图2是表示搭载有图像生成装置100的挖土机60的结构例的图，挖土机60经由回转机构62将上部回转体63围绕回转轴PV回转自如地搭载于履带式下部行驶体61上。

并且，上部回转体63在其前方左侧部具备操纵室(驾驶室)64，在其前方中央部具备挖掘装置E，在其右侧面、左侧面及后面具备摄像机2(右侧方摄像机2R、左侧方摄像机2L、后方摄像机2B)。另外，在操纵室64内的驾驶员容易辨识的位置设置有显示部5。

接着，对图像生成装置100的各构成要件进行说明。

控制部1为具备CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等的计算机。控制部1例如将分别与后述坐标对应建立构件10及输出图像生成构件11对应的程序存储于ROM、NVRAM中，作为临时存储区域而利用RAM的同时，使CPU执行对应于各构件的处理。

摄像机2为用于获得呈现挖土机60周边的输入图像的装置，例如安装于上部回转体63的右侧面、左侧面及后面，以便能够拍摄成为在操纵室64内的驾驶员的死角的区域(参考图2。)。

并且，摄像机2根据来自控制部1的控制信号获得输入图像，并对控制部1输出所获得的输入图像。

输入部3为用于使操作人员能够对图像生成装置100输入各种信息的装置，例如为触控面板、按钮开关、指示设备及键盘等。

存储部4为用于存储各种信息的装置，例如为硬盘、光盘或半导体存储器等。

显示部5为用于显示图像信息的装置，例如为设置于建设机械的操纵室64(参考图2。)内的液晶显示器或投影仪等，其显示控制部1所输出的各种图像。

并且，图像生成装置100根据输入图像而生成处理对象图像，并对该处理对象图像实施图像变换处理而生成输出图像。然后，图像生成装置100将该输出图像提示给操作人员，因此操作人员能够直观地掌握挖土机60与周边障碍物的位置关系和距离感。

“处理对象图像”为根据输入图像而生成的图像。并且，处理对象图像例如为成为标度变换、仿射变换、畸变变换、视点变换处理等图像变换处理的对象的图像。并且，处理对象图像例如通过在将输入图像投影于规定的空间模型之后，将投影于该空间模型的投影图像再投影于其它二维平面而得到。在图像变换处理中使用了输入图像的情况下，为了防止该输入图像显示为不自然而进行向空间模型的投影。具体而言，在图像变换处理中使用了基于从上方拍摄地表的摄像机的输入图像、且为通过其广视角而包括具有高度的立体物(周边障碍物)的输入图像的情况下，为了防止该立体物(周边障碍物)显示得不自然而进行。另外，处理对象图像也可以不实施图像变换处理而直接作为输出图像而使用。

“空间模型”为由至少包括处理对象图像所在的平面即处理对象图像平面以外的平面或曲面在内的一个或多个平面或曲面构成的输入图像的投影对象。另外，处理对象图像平面以外的平面或曲面例如为与处理对象图像平面平行的平面，或者与处理对象图像平面之间形成角度的平面或曲面。

另外，图像生成装置100可以不生成处理对象图像，而是通过对投影于该空间模型的投影图像实施图像变换处理而生成输出图像。并且，投影图像也可以不实施图像变换处理，而是直接作为输出图像而使用。

图3为表示输入图像所投影的空间模型MD的一例的图，F3A表示从侧方观察挖土机60时的挖土机60与空间模型MD之间的关系，F3B表示从上方观察挖土机60时的挖土机60与空间模型MD之间的关系。

如图3所示，空间模型MD具有大致圆筒形状，并具有其底面内部的平 面区域R1和其侧面内部的曲面区域R2。

并且，图4表示空间模型MD与处理对象图像平面之间的关系的一例。如图4所示，处理对象图像平面R3为例如包括空间模型MD的平面区域R1的平面。另外，为清楚起见，图4中并非以如图3所示的大致圆筒形状，而是以圆筒形状表示空间模型MD，但空间模型MD可以是大致圆筒形状及圆筒形状中的任一种。在之后的附图中也相同。并且，如上所述，处理对象图像平面R3可以是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空间模型MD的平面区域R1的环状区域。

接着，对控制部1所具有的各种构件进行说明。

坐标对应建立构件10为用于对摄像机2所拍摄到的输入图像所在的输入图像平面上的坐标、空间模型MD上的坐标、处理对象图像平面R3上的坐标建立对应的构件。并且，坐标对应建立构件10根据例如与摄像机2有关的各种参数和预先确定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，对输入图像平面上的坐标、空间模型MD上的坐标、处理对象图像平面R3上的坐标建立对应。然后，坐标对应建立构件10将这些对应关系存储于存储部4的输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41中。与摄像机2有关的各种参数包括摄像机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等，可以是预先设定的值，也可以是经由输入部3输入的值。

另外，在不生成处理对象图像的情况下，坐标对应建立构件10省略空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应建立、以及该对应关系向空间模型·处理对象图像对应映射41的存储。

输出图像生成构件11为用于生成输出图像的构件，例如通过对处理对象图像实施标度变换、仿射变换或畸变变换，对处理对象图像平面R3上的坐标与输出图像所在的输出图像平面上的坐标建立对应。而且，输出图像生成构件11将该对应关系存储于存储部4的处理对象图像·输出图像对应映射42中。而且，输出图像生成构件11参考输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41，对输出图像中的各像素值和输入图像中的各像素值建立关联而生成输出图像。各像素值包括例如亮度值、色调值及彩度值等。

并且，输出图像生成构件11根据与假想摄像机有关的各种参数，对处理对象图像平面R3上的坐标和输出图像平面上的坐标建立对应，并将该对应关系存储于存储部4的处理对象图像·输出图像对应映射42中。而且，输出图像生成构件11参考输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41，对输出图像中的各像素值和输入图像中的各像素值建立关联而生成输出图像。与假想摄像机有关的各种参数包括假想摄像机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等，可以是预先设定的值，也可以是经由输入部3输入的值。

另外，输出图像生成构件11可以不使用假想摄像机的概念，而通过变更处理对象图像的标度而生成输出图像。

并且，在不生成处理对象图像的情况下，输出图像生成构件11根据所实施的图像变换处理对空间模型MD上的坐标和输出图像平面上的坐标建立对应。而且，输出图像生成构件11参考输入图像·空间模型对应映射40，对输出图像中的各像素值与输入图像中的各像素值建立关联而生成输出图像。该情况下，输出图像生成构件11省略处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、以及该对应关系向处理对象图像·输出图像对应映射42的存储。

接着，对基于坐标对应建立构件10及输出图像生成构件11的具体处理的一例进行说明。

坐标对应建立构件10例如能够使用哈密尔顿的四元数对输入图像平面上的坐标和空间模型上的坐标建立对应。

图5是用于对输入图像平面上的坐标与空间模型上的坐标的对应建立进行说明的图。在图5中，摄像机2的输入图像平面作为将摄像机2的光学中心C作为原点的UVW正交坐标系中的一个平面而表示，空间模型作为XYZ正交坐标系中的立体面而表示。

首先，坐标对应建立构件10在使XYZ坐标系的原点平移到光学中心C(UVW坐标系的原点)的基础上，使XYZ坐标系旋转，以分别使X轴与U轴、Y轴与V轴、Z轴与-W轴一致。这是为了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)。另外，-W轴上的符号“-”是指与Z轴的方向相反。这是因为UVW坐标系将摄像机前方设 为+W方向，XYZ坐标系将铅垂下方设为-Z方向。

另外，在存在多个摄像机2的情况下，摄像机2分别具有独立的UVW坐标系。因此坐标对应建立构件10使XYZ坐标系相对于多个UVW坐标系分别平移且旋转。

上述变换通过在以摄像机2的光学中心C成为XYZ坐标系的原点的方式使XYZ坐标系平移之后以Z轴与-W轴一致的方式旋转，进而以X轴与U轴一致的方式旋转来实现。坐标对应建立构件10能够用哈密尔顿的四元数来记述该变换，从而将这两次旋转汇总成一次旋转运算。

然而，用于使某一矢量A与其它矢量B一致的旋转，相当于将矢量A和矢量B所形成的面的法线作为轴而仅旋转矢量A和矢量B所形成的角度的处理。因此若将该角度设为θ，则由矢量A和矢量B的内积，将角度θ通过下式表示。

[数式1]

并且，矢量A和矢量B形成的面的法线的单位矢量N，由矢量A和矢量B的外积，通过下式表示。

[数式2]

另外，在将i、j、k分别设为虚数单位的情况下，四元数为满足下式的超复数。

[数式3]

ii＝jj＝kk＝ijk＝-1

在本实施例中，四元数Q将实成分设为t，将纯虚成分设为a、b、c，并通过下式表示。

[数式4]

Q＝(t；a，b，c)＝t+ai+bj+ck

四元数Q的共轭四元数通过下式表示。

[数式5]

Q^*＝(t；-a，-b，-c)＝t-ai-bj-ck

四元数Q能够将实成分t设为0(零)的同时，用纯虚成分a、b、c来表现三维矢量(a,b,c)，并且能够通过t、a、b、c各成分来表现将任意的矢量作为轴的旋转动作。

进而，四元数Q能够综合连续的多次旋转动作而作为一次旋转动作来表现，例如能够如下表现使任意的点S(sx,sy,sz)一边以任意的单位矢量C(l,m,n)为轴，一边仅旋转角度θ时的点D(ex,ey,ez)。

[数式6]

在此，在本实施例中，若将表示使Z轴与-W轴一致的旋转的四元数设为Qz，则XYZ坐标系中的X轴上的点X移动到点X'，因此点X'通过下式表示。

[数式7]

X′＝Q_zXQ_z^*

并且，在本实施例中，若将表示使连接处于X轴上的点X'和原点的线与U轴一致的旋转的四元数设为Qx，则表示“使Z轴与-W轴一致，进而使X轴与U轴一致的旋转”的四元数R通过下式表示。

[数式8]

R＝Q_xQ_z

由此，用输入图像平面(UVW坐标系)上的坐标来表现空间模型(XYZ坐标系)上的任意的坐标P时的坐标P'通过下式表示，

[数式9]

P′＝RPR^*

因为四元数R在各个摄像机2中不变，所以坐标对应建立构件10以后仅执行该运算便可以将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标。

在将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标之后，坐标对应建立构件10算出线段CP'和摄像机2的光轴G所形成的入射角α，所述线段CP'连接摄像机2的光学中心C(UVW坐标系上的坐标)与在UVW坐标系中表示空间模型上的任意的坐标P的坐标P'。

并且，坐标对应建立构件10算出线段EP'和平面H上的U'轴所形成的偏角及线段EP'的长度，所述线段EP'将与摄像机2的输入图像平面R4(例如，CCD面)平行且包括坐标P'的平面H上的、平面H和光轴G的交点E与坐标P'进行连接。

在摄像机的光学系统中，通常图像高度h成为入射角α及焦点距离f的函数，因此坐标对应建立构件10选择通常射影(h＝ftanα)、正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等适当的射影方式来算出图像高度h。

之后，坐标对应建立构件10将所算出的图像高度h通过偏角分解成UV坐标系上的U成分及V成分，并利用相当于输入图像平面R4的按照一个像素的像素尺寸的数值进行除法运算，由此能够对空间模型MD上的坐标P(P')与输入图像平面R4上的坐标建立对应。

另外，若将输入图像平面R4的U轴方向上的按照一个像素的像素尺寸设为a_U，且将输入图像平面R4的V轴方向上的按照一个像素的像素尺寸设 为aV，则与空间模型MD上的坐标P(P')对应的输入图像平面R4上的坐标(u,v)通过下式表示。

[数式10]

[数式11]

如此，坐标对应建立构件10对空间模型MD上的坐标和按照每一个摄像机存在的一个或多个输入图像平面R4上的坐标建立对应，并对空间模型MD上的坐标、摄像机辨识码及输入图像平面R4上的坐标建立关联，并存储于输入图像·空间模型对应映射40中。

并且，坐标对应建立构件10使用四元数对坐标的变换进行运算，因此与使用欧拉角对坐标的变换进行运算的情况不同，具有不会产生万向节锁定的优点。然而，坐标对应建立构件10并不限定于使用四元数来对坐标的变换进行运算，也可以使用欧拉角对坐标的变换进行运算。

另外，在能够对多个输入图像平面R4上的坐标建立对应的情况下，坐标对应建立构件10可以对空间模型MD上的坐标P(P')和与其入射角α最小的摄像机有关的输入图像平面R4上的坐标建立对应，也可以与操作人员选择的输入图像平面R4上的坐标建立对应。

接着，关于将空间模型MD上的坐标中的曲面区域R2上的坐标(具有Z轴方向的成分的坐标)再投影于处于XY平面上的处理对象图像平面R3的处理进行说明。

图6是用于对基于坐标对应建立构件10的坐标之间的对应建立进行说明的图。并且，F6A是表示作为一例采用通常射影(h＝ftanα)的摄像机2的输入图像平面R4上的坐标与空间模型MD上的坐标之间的对应关系的图。如 图2所示，坐标对应建立构件10使连接摄像机2的输入图像平面R4上的坐标和对应于该坐标的空间模型MD上的坐标的线段分别通过摄像机2的光学中心C，从而对两个坐标建立对应。

在F6A的例子中，坐标对应建立构件10对摄像机2的输入图像平面R4上的坐标K1与空间模型MD的平面区域R1上的坐标L1建立对应，并使摄像机2的输入图像平面R4上的坐标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1-L1及线段K2-L2都通过摄像机2的光学中心C。

另外，在摄像机2采用通常射影以外的射影方式(例如正射影、立体射影、等立体角射影、等距离射影等。)的情况下，坐标对应建立构件10根据各个射影方式使摄像机2的输入图像平面R4上的坐标K1、K2与空间模型MD上的坐标L1、L2建立对应。

具体而言，坐标对应建立构件10根据规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(α/2))、等立体角射影(h＝2fsin(α/2))、等距离射影(h＝fα)等。)，对输入图像平面上的坐标与空间模型MD上的坐标建立对应。该情况下，线段K1-L1及线段K2-L2不会通过摄像机2的光学中心C。

F6B为表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标之间的对应关系的图。如F6B所示，坐标对应建立构件10导入位于XZ平面上的平行线群PL，且是与处理对象图像平面R3之间形成角度β的平行线群PL，并使空间模型MD的曲面区域R2上的坐标和与该坐标对应的处理对象图像平面R3上的坐标都落在平行线群PL中的一条线上，将两个坐标建立对应。

在F6B的例子中，坐标对应建立构件10使空间模型MD的曲面区域R2上的坐标L2和处理对象图像平面R3上的坐标M2落在共同的平行线上，将两个坐标建立对应。

另外，与曲面区域R2上的坐标相同地，坐标对应建立构件10能够使用平行线群PL对空间模型MD的平面区域R1上的坐标与处理对象图像平面R3上的坐标建立对应，然而，在F6B的例子中，平面区域R1和处理对象图像平面R3成为共同的平面，因此，空间模型MD的平面区域R1上的坐标L1和处理对象图像平面R3上的坐标Ml具有相同的坐标值。

如此，坐标对应建立构件10对空间模型MD上的坐标与处理对象图像平 面R3上的坐标建立对应，并对空间模型MD上的坐标及处理对象图像平面R3上的坐标建立关联，并存储于空间模型·处理对象图像对应映射41中。

F6C是表示处理对象图像平面R3上的坐标与作为一例采用通常射影(h＝ftanα)的假想摄像机2V的输出图像平面R5上的坐标之间的对应关系的图。如F6C所示，输出图像生成构件11通过使连接假想摄像机2V的输出图像平面R5上的坐标和与该坐标对应的处理对象图像平面R3上的坐标的线段分别通过假想摄像机2V的光学中心CV，并对两个坐标建立对应。

在F6C的例子中，输出图像生成构件11使假想摄像机2V的输出图像平面R5上的坐标N1与处理对象图像平面R3(空间模型MD的平面区域R1)上的坐标Ml建立对应，并使假想摄像机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时，线段M1-N1及线段M2-N2都通过假想摄像机2V的光学中心CV。

另外，在假想摄像机2V采用通常射影以外的射影方式(例如正射影、立体射影、等立体角射影、等距离射影等。)的情况下，输出图像生成构件11根据各射影方式使假想摄像机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标Ml、M2建立对应。

具体而言，输出图像生成构件11根据规定的函数(例如正射影(h＝fsinα)、立体射影(h＝2ftan(a/2))、等立体角射影(h＝2fsin(a/2))、等距离射影(h＝fa)等。)对输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。该情况下，线段M1-N1及线段M2-N2不会通过假想摄像机2V的光学中心CV。

如此，输出图像生成构件11将输出图像平面R5上的坐标与处理对象图像平面R3上的坐标建立对应，将输出图像平面R5上的坐标及处理对象图像平面R3上的坐标建立关联，并存储于处理对象图像·输出图像对应映射42中，坐标对应建立构件10一边参考输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41，一边将输出图像中的各像素的值与输入图像中的各像素的值建立对应而生成输出图像。

另外，F6D是将进行组合的图，表示摄像机2、假想摄像机2V、空间模型MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。

接着，参考图7对图像生成装置100生成处理对象图像的处理(以下，设 为“处理对象图像生成处理”。)、及使用所生成的处理对象图像生成输出图像的处理(以下，设为“输出图像生成处理”。)进行说明。另外，图7是表示处理对象图像生成处理(步骤S1～步骤S3)及输出图像生成处理(步骤S4～步骤S6)的流程的流程图。并且，预先确定摄像机2(输入图像平面R4)、空间模型(平面区域R1及曲面区域R2)及处理对象图像平面R3的配置。

首先，控制部1通过坐标对应建立构件10对处理对象图像平面R3上的坐标与空间模型MD上的坐标建立对应(步骤S1)。

具体而言，坐标对应建立构件10获得在平行线群PL与处理对象图像平面R3之间形成的角度，并算出从处理对象图像平面R3上的一坐标延伸的平行线群PL的一条线与空间模型MD的曲面区域R2交叉的点。然后，坐标对应建立构件10将与所算出的点对应的曲面区域R2上的坐标作为与处理对象图像平面R3上的该一坐标对应的曲面区域R2上的一坐标而导出，并将该对应关系存储于空间模型·处理对象图像对应映射41中。另外，在平行线群PL与处理对象图像平面R3之间形成的角度可以为预先存储于存储部4等中的值，也可以为经由输入部3由操作人员动态地输入的值。

并且，当处理对象图像平面R3上的一坐标与空间模型MD的平面区域R1上的一坐标一致时，坐标对应建立构件10将平面区域R1上的该一坐标作为与处理对象图像平面R3上的该一坐标对应的一坐标而导出，并将该对应关系存储于空间模型·处理对象图像对应映射41中。

之后，控制部1通过坐标对应建立构件10对通过上述处理而导出的空间模型MD上的一坐标与输入图像平面R4上的坐标建立对应(步骤S2)。

具体而言，坐标对应建立构件10获得采用通常射影(h＝ftanα)的摄像机2的光学中心C的坐标，并算出从空间模型MD上的一坐标延伸的线段且是通过光学中心C的线段与输入图像平面R4交叉的点。而且，坐标对应建立构件10将与所算出的点对应的输入图像平面R4上的坐标作为与空间模型MD上的该一坐标对应的输入图像平面R4上的一坐标而导出，并将该对应关系存储于输入图像·空间模型对应映射40中。

之后，控制部1判定是否已对处理对象图像平面R3上的所有坐标与空间模型MD上的坐标及输入图像平面R4上的坐标建立对应(步骤S3)，当判定为未对所有坐标建立对应时(步骤S3的“否”)，重复进行步骤S1及步骤S2的处 理。

另一方面，控制部1在判定为已对所有坐标建立对应时(步骤S3的“是”)，使处理对象图像生成处理结束，之后开始输出图像生成处理，并通过输出图像生成构件11对处理对象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。

具体而言，输出图像生成构件11通过对处理对象图像实施标度变换、仿射变换或畸变变换而生成输出图像，并将根据所实施的标度变换、仿射变换或畸变变换的内容确定的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理对象图像·输出图像对应映射42中。

或者，在使用假想摄像机2V生成输出图像的情况下，输出图像生成构件11可以根据所采用的射影方式由处理对象图像平面R3上的坐标算出输出图像平面R5上的坐标，并将该对应关系存储于处理对象图像·输出图像对应映射42中。

或者，在使用采用通常射影(h＝ftanα)的假想摄像机2V生成输出图像的情况下，输出图像生成构件11获得该假想摄像机2V的光学中心CV的坐标，而且算出从输出图像平面R5上的一坐标延伸的线段且是通过光学中心CV的线段与处理对象图像平面R3交叉的点。之后，输出图像生成构件11可以将与所算出的点对应的处理对象图像平面R3上的坐标作为与输出图像平面R5上的该一坐标对应的处理对象图像平面R3上的一坐标而导出，并将该对应关系存储于处理对象图像·输出图像对应映射42中。

之后，控制部1通过输出图像生成构件11而参考输入图像·空间模型对应映射40、空间模型·处理对象图像对应映射41及处理对象图像·输出图像对应映射42。然后，控制部1探求输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应关系、及处理对象图像平面R3上的坐标与输出图像平面R5上的坐标的对应关系。然后，控制部1获得由与输出图像平面R5上的各坐标对应的输入图像平面R4上的坐标确定的像素所具有的值(例如亮度值、色调值及彩度值等)。然后，控制部1将该获得的值作为由对应的输出图像平面R5上的各坐标确定的像素值而采用(步骤S5)。即，输出图像生成构件11对输出图像 上的像素值和输入图像上的像素值建立关联而生成输出图像。另外，在多个输入图像平面R4上的多个坐标对应于输出图像平面R5上的一个坐标的情况下，输出图像生成构件11可以导出基于由这多个输入图像平面R4上的多个坐标确定的多个像素各自的值的统计值(例如平均值、最大值、最小值、中间值等。)，并采用该统计值作为由输出图像平面R5上的该一坐标确定的一个像素的值。

之后，控制部1判定是否已对输出图像上的所有像素值与输入图像上的像素值建立对应(步骤S6)，在判定为未对所有像素值建立对应的情况下(步骤S6的“否”)，重复进行步骤S4及步骤S5的处理。

另一方面，控制部1在判定为已对所有像素值建立对应的情况下(步骤S6的“是”)，生成输出图像，并结束该一系列处理。

另外，在不生成处理对象图像的情况下，图像生成装置100省略处理对象图像生成处理，并将输出图像生成处理中的步骤S4的“处理对象图像平面上的坐标”可读取成“空间模型上的坐标”。

通过以上结构，图像生成装置100能够生成可以使操作人员直观地掌握建设机械和周边障碍物的位置关系的处理对象图像及输出图像。

并且，图像生成装置100以从处理对象图像平面R3经由空间模型MD到达输入图像平面R4的方式执行坐标的建立对应，由此能够使处理对象图像平面R3上的各坐标与输入图像平面R4上的一个或多个坐标可靠地对应。并且，与以从输入图像平面R4经由空间模型MD到达处理对象图像平面R3的顺序执行坐标的对应建立的情况相比，图像生成装置100能够迅速生成更优质的处理对象图像。其原因为，在以从输入图像平面R4经由空间模型MD到达处理对象图像平面R3的顺序执行坐标的对应建立的情况下，能够使输入图像平面R4上的各坐标与处理对象图像平面R3上的一个或多个坐标可靠地对应，但是存在处理对象图像平面R3上的坐标的一部分与输入图像平面R4上的任意坐标都不建立对应的情况，在该情况下需要对这些处理对象图像平面R3上的坐标的一部分实施插值处理等。

并且，在仅将与空间模型MD的曲面区域R2对应的图像进行放大或缩小的情况下，图像生成装置100只是通过变更在平行线群PL与处理对象图像平面R3之间形成的角度而仅对空间模型·处理对象图像对应映射41中的与 曲面区域R2相关联的部分进行改写，而无需改写输入图像·空间模型对应映射40的内容，就能够实现所希望的放大或缩小。

并且，当变更输出图像的观察方法时，图像生成装置100仅通过变更与标度变换、仿射变换或畸变变换相关联的各种参数的值来改写处理对象图像·输出图像对应映射42，而无需改写输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41的内容，就能够生成所希望的输出图像(标度变换图像、仿射变换图像或畸变变换图像)。

同样地，当变更输出图像的视点时，图像生成装置100仅通过变更假想摄像机2V的各种参数的值来改写处理对象图像·输出图像对应映射42，而无需改写输入图像·空间模型对应映射40及空间模型·处理对象图像对应映射41的内容，就能够生成从所希望的视点观察到的输出图像(视点变换图像)。

接着，参考图8对输出图像的结构例进行说明。另外，图8是将使用搭载于挖土机60上的3台摄像机2(右侧方摄像机2R、左侧方摄像机2L及后方摄像机2B)的输入图像而生成的输出图像显示于显示部5时的显示例。

图像生成装置100将这3台摄像机2各自的输入图像投影于空间模型MD的平面区域R1及曲面区域R2上，之后再投影于处理对象图像平面R3而生成处理对象图像。然后，图像生成装置100通过对该所生成的处理对象图像实施图像变换处理(例如标度变换、仿射变换、畸变变换、视点变换处理等。)而生成输出图像。然后，图像生成装置100同时显示从上空俯视挖土机60附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图像(处理对象图像平面R3中的图像)。

另外，在图像生成装置100不生成处理对象图像的情况下，输出图像通过对投影于空间模型MD的图像实施图像变换处理(例如视点变换处理。)而生成。

并且，输出图像生成为，被修整成圆形，以便能够自然地显示挖土机60进行回转动作时的图像，并且该圆的中心CTR在空间模型MD的圆筒中心轴上且在挖土机60的回转轴PV上，并且所述输出图像显示为，根据挖土机60的回转动作，将其中心CTR作为轴进行旋转。此时，空间模型MD的圆筒中心轴可以与再投影轴一致，也可以不一致。

另外，空间模型MD的半径例如为5米，平行线群PL与处理对象图像平 面R3之间形成的角度可以如下设定：当物体(例如工作人员。)存在于从挖土机60的回转中心离开挖掘装置E的最大到达距离(例如12米。)的位置时，该物体以足够大的尺寸(例如7毫米以上。)显示在显示部5。

另外，输出图像也可以将挖土机60的CG图像配置成，挖土机60的前方与显示部5的画面上方一致且其回转中心与中心CTR一致。这是为了更容易理解挖土机60和输出图像中显现的物体之间的位置关系。另外，输出图像也可以将包含方位等各种信息的边框图像配置于其周围。

接着，参考图9对输出图像中所产生的锯齿进行说明。另外，图9是对基于输出图像生成构件11的插值处理的效果进行说明的图。并且，F9A表示输入图像，F9B表示未实施插值处理的输出图像，F9C表示已实施插值处理的输出图像。并且，F9B及F9C的输出图像是将由F9A的虚线区域G1表示的输入图像的一部分向逆时针方向旋转且进行放大的图像。

锯齿是在光栅图像的轮廓上可看到的锯齿状刻纹，例如由为了使输入图像旋转以生成输出图像而将输入图像平面上的实数坐标点变换为整数坐标点时的取整误差而引起。

对输入图像上的像素进行确定的坐标值及对输出图像上的像素进行确定的坐标值均由整数值表示。但在导出与输出图像平面上的坐标对应的输入图像平面上的坐标时，有时算出该输入图像平面上的坐标值而作为实数值(包括小数的值)。该情况下，实数值例如因小数点以下被四舍五入而变换为整数值。这是因为无法使用实数值作为确定输入图像上的像素的坐标值。从而，由输出图像平面上的整数坐标点确定的像素(以下，设为“输出像素”。)与由最接近于输入图像平面上的实数坐标点的整数坐标点确定的像素建立对应。而且，例如即使在对亮度值完全不同的2个像素进行确定的2个整数坐标点之间存在该实数坐标点，输出图像上的像素也被与由输入图像平面上的2个整数坐标点中的一个所确定的像素建立对应。而且，由这2个整数坐标点中的另一个所确定的像素值并不反映于输出图像上的像素值中。其结果，包含在输出图像中的各个图像的轮廓表现为锯齿状刻纹。

如此，锯齿通过四舍五入时的取整误差而引起。而且，显示部5的分辨率越低，锯齿越显著。

因此，输出图像生成构件11使用参考图10及图11进行说明的插值处理 来减轻锯齿。

图10是对插值处理进行说明的概略图，且表示输入图像平面的一部分。输入图像平面通过XY正交坐标系来表示，包括整数坐标点A(0,0)、B(0,1)、C(1,1)、D(1,0)。并且，图11是表示输出图像生成构件11的结构例的功能框图。

在本实施例中，如图11所示，输出图像生成构件11主要包括整数坐标点选择部110、权重导出部111及加权平均部112。

整数坐标点选择部110为从处于与输出像素对应的输入图像平面上的实数坐标点(以下，设为“对应实数坐标点”。)附近的2个以上的整数坐标点中选择2个整数坐标点的功能要件。在本实施例中，对应实数坐标点为利用在图5及图6中进行说明的关系由输出图像生成构件11所导出的坐标点。并且，在本实施例中，整数坐标点选择部110从处于对应实数坐标点周围的4个整数坐标点中选择2个整数坐标点。具体而言，如图10所示，处于对应实数坐标点P(0.63,0.19)的周围的4个整数坐标点为A(0,0)、B(0,1)、C(1,1)及D(1,0)。而且，整数坐标点选择部110选择A-B、A-C、A-D、B-C、B-D、及C-D这6个组合(整数坐标点对)中的1个组合。

在本实施例中，整数坐标点选择部110从对应实数坐标点P对6个线段AB、AC、AD、BC、BD、CD分别引下垂线。而且，整数坐标点选择部110在选择6条垂线PQ、PR、PS、PT、PU、PV中最短的垂线PV及与该垂线PV相关联的线段BD，进而选择与线段BD相关联的2个整数坐标点B、D。

并且，在本实施例中，X轴方向及Y轴方向上的整数坐标点的间隔通过值“1”被标准化，4个整数坐标点A、B、C、D构成正方形。因此实数坐标点Q(0.00,0.19)及S(1.00,0.19)的Y坐标值均与对应实数坐标点P(0.63,0.19)的Y坐标值相等。同样地，实数坐标点R(0.63,1.00)及T(0.63,0.00)的X坐标值与对应实数坐标点P(0.63,0.19)的X坐标值相等。

并且，实数坐标点U(0.41,0.41)为线段AC上的实数坐标点，因此相对于整数坐标点A处于X坐标值的增量与Y坐标值的增量相等的关系。同样地，线段PV上的实数坐标点相对于对应实数坐标点P处于X坐标值的增量与Y坐标值的增量相等的关系。

并且，实数坐标点V(0.72,0.28)为线段BD上的实数坐标点，因此相对于 整数坐标点B处于X坐标值的增量与Y坐标值的减量相等的关系。同样地，线段UP上的实数坐标点相对于实数坐标点U处于X坐标值的增量与Y坐标值的减量相等的关系。

因此，实数坐标点U的X坐标及Y坐标的值均为将对应实数坐标点P的X坐标值和Y坐标值的合计“0.82”进行二等分的值“0.41”。并且，实数坐标点V的X坐标值为将对从值“1”减去合计“0.82”的差值“0.18”进行二等分的值“0.09”相加于对应实数坐标点P的X坐标值“0.63”而得到的值“0.72”。并且，实数坐标点V的Y坐标值为将对差值“0.18”进行二等分的值“0.09”相加于对应实数坐标点P的Y坐标值“0.19”而得到的值“0.28”。

如此，实数坐标点Q～V的坐标值可以从对应实数坐标点P的坐标值直接或者通过加法运算、减法运算、二等分等简单的运算而导出。因此，从处于对应实数坐标点周围的4个整数坐标点中选择2个整数坐标点的上述选择方法为适合于二进制运算的选择方法。

权重导出部111为从由所选择的2个整数坐标点所确定的2个像素(以下，设为“输入像素”。)值中导出确定输出像素值时的各输入像素值的权重的功能要件。

在本实施例中，权重导出部111在2个整数坐标点B、D被选择的情况下导出线段BV的长度相对于线段BD的长度的比率而作为由整数坐标点D所确定的输入像素值的权重α。并且，权重导出部111导出线段VD的长度相对于线段BD的长度的比率而作为由整数坐标点B所确定的输入像素值的权重β(＝1-α)。

具体而言，如图10所示，实数坐标点V的X坐标值的小数部分相当于线段AW的长度相对于线段AD的长度“1”的比率。另外，实数坐标点W为从实数坐标点V对线段AD引下的垂线的交点。而且，线段BV的长度相对于线段BD的长度的比率与线段AW的长度相对于线段AD的长度的比率相等。因此，权重导出部111采用实数坐标点V的X坐标值的小数部分而作为由整数坐标点D所确定的输入像素值的权重α。并且，权重导出部111采用实数坐标点V的Y坐标值的小数部分而作为由整数坐标点B所确定的输入像素值的权重β。另外，实数坐标点V的Y坐标值的小数部分为从值“1”减去实数坐标点V的X坐标值的小数部分的值，相当于1-α。如此，权重导出部111从对应实 数坐标点P的坐标值直接导出权重α、β，能够省略比例计算等比较复杂的运算。

加权平均部112为对2个输入像素值进行加权平均的功能要件。在本实施例中，加权平均部112使用权重导出部111所导出的权重α、β对2个输入像素值进行加权平均。具体而言，加权平均部112对2个输入像素中的一个(以下，设为“第1像素”。)值乘以权重α，算出输出像素值中的第1像素值的贡献度。并且，加权平均部112对2个输入像素中的另一个(以下，设为“第2像素”。)值乘以权重β，算出输出像素值中的第2像素值的贡献度。而且，加权平均部112导出第1像素值的贡献度和第2像素值的贡献度的合计即2个输入像素值的加权平均而作为输出像素值。

例如，在对由整数坐标点B、D所确定的2个输入像素各自的亮度值进行加权平均的情况下，加权平均部112使用实数坐标点V的坐标值。具体而言，加权平均部112对由整数坐标点D所确定的输入像素(第1像素)的亮度值乘以实数坐标点V的X坐标值的小数部分(权重α)，从而算出第1像素的亮度值的贡献度。并且，加权平均部112对由整数坐标点B所确定的输入像素(第2像素)的亮度值乘以实数坐标点V的Y坐标值的小数部分(权重β)，从而算出第2像素的亮度值的贡献度。然后，加权平均部112将第1像素的亮度值的贡献度和第2像素的亮度值的贡献度进行合计，从而导出输出像素的亮度值。

并且，在上述实施例中对垂线PV最短的情况进行了说明，但对其它垂线最短的情况也适用相同的说明。

另外，上述插值方法适用于对应实数坐标点P存在于4个整数坐标点A～D以外的位置上的情况。因此，在对应实数坐标点P存在于整数坐标点A～D中的任一位置时，输出图像生成构件11不执行2个整数坐标点的选择、权重的导出及加权平均的运算，而采用由作为整数坐标点的对应实数坐标点P所确定的1个输入像素值而直接作为输出像素值。并且，在6条垂线中存在2条以上最短的垂线的情况下，输出图像生成构件11预先确定在这些相同长度的垂线中选择哪一条。例如，输出图像生成构件11可以根据预先设定的优先顺序来选择1条垂线。并且，上述插值方法适用于对应实数坐标点P的X坐标及Y坐标的值均为0以上且1以下的情况，但同样也适用于i以上且i+1以下(i为整数)的情况。

接着，参考图12对输出图像生成构件11使用2个输入像素值来导出1个输出像素值的插值处理的流程进行说明。另外，图12是表示插值处理的流程的流程图。输出图像生成构件11例如在图7的步骤S5中进行该插值处理。并且，在以下流程中，对垂线PV最短的情况进行说明，但对其它垂线最短的情况也适用相同的说明。

首先，整数坐标点选择部110从对应实数坐标点P周围的4个整数坐标点A～D中选择2个整数坐标点B、D(步骤S51)。具体而言，整数坐标点选择部110从对应实数坐标点P对6个线段AB、AC、AD、BC、BD、CD分别引下垂线。而且，整数坐标点选择部110选择6个垂线PQ、PR、PS、PT、PU、PV中最短的垂线PV及与该垂线PV相关联的线段BD，进而选择与线段BD相关联的2个整数坐标点B、D。

之后，整数坐标点选择部110导出从对应实数坐标点P对连接所选择的2个整数坐标点B、D的线段BD引下的垂线PV的垂线交点(实数坐标点)V的坐标值(步骤S52)。

另外，整数坐标点选择部110也可以使用表示对应实数坐标点P的位置(坐标值)与最短垂线的对应关系的最短垂线参照表来选择整数坐标点对。具体而言，最短垂线参照表为l行m列的数组，与对相邻的整数坐标点之间进行l等分及m等分时的插值处理对应。另外，l、m为2以上的自然数，优选为适合于二进制运算的2的幂次方数(例如16)。并且也可以为l＝m。通过该最短垂线参照表，整数坐标点选择部110能够从对应实数坐标点P的坐标值唯一地导出整数坐标点对。并且，最短垂线参照表可以保持对应实数坐标点P的位置(坐标值)与垂线交点的位置(坐标值)的对应关系。该情况下，整数坐标点选择部110能够从对应实数坐标点P的坐标值唯一地导出垂线交点的坐标值。

之后，权重导出部111根据垂线交点的坐标值来导出权重α、β(步骤S53)。具体而言，权重导出部111采用垂线交点的X坐标值的小数部分而作为由整数坐标点D所确定的第1像素值的权重α。并且，权重导出部111采用垂线交点的Y坐标值的小数部分而作为由整数坐标点B所确定的第2像素值的权重β。

另外，权重导出部111可以以n级表现垂线交点的X坐标及Y坐标各自的 小数部分，以便适合于二进制运算。同样地，权重导出部111也可以以n级来表现十进制且具有0以上且1以下的实数值的权重α。另外，n为2的幂次方数，例如为256。该情况下，整数坐标点选择部110以按照256级(8位)量化的状态导出垂线交点的X坐标及Y坐标各自的小数部分。关于权重α也相同。

图13是表示垂线交点的X坐标的小数部分dx及Y坐标的小数部分dy与第1像素值的权重α的关系的图。另外，dx、dy及α均为0～255范围内的十进制整数即可通过8位表现的值。

如图13所示，在确定第1像素的整数坐标点为整数坐标点A，且确定第2像素的整数坐标点为整数坐标点D的情况下，第1像素值的权重α通过(255-dx)表示。并且，在确定第1像素的整数坐标点为整数坐标点B，且确定第2像素的整数坐标点为整数坐标点D的情况下，第1像素值的权重α由{255-(255-dy+dx)/2}表示。关于其它组合也相同。另外，基于值“2”的除法运算可通过1次右移位运算而实现。

之后，加权平均部112对由2个整数坐标点确定的2个输入像素值进行加权平均而导出输出像素值(步骤S54)。具体而言，加权平均部112根据第1像素值的权重α而导出输出像素值。例如可以考虑为第1像素具有YCbCr方式的颜色数据(Y1、Cb1、Cr1)，且第2像素具有颜色数据(Y2、Cb2、Cr2)的情况。另外，Y1、Y2为亮度信号，例如具有256级(8位)的等级。并且，Cb1、Cb2、Cr1、Cr2为色差信号，例如具有256级(8位)的等级。该情况下，输出像素的亮度信号Y由Y＝{α·Y1+(255-α)·Y2}/256表示。并且，输出像素的色差信号Cb由Cb＝{α·Cb1+(255-α)·Cb2}/256表示，色差信号Cr由Cr＝{α·Cr1+(255-α)·Cr2}/256表示。另外，基于值“256”的除法运算可通过8次右移位运算而实现。

通过以上结构，图像生成装置100对由对应实数坐标点P周围的4个整数坐标点中的2个整数坐标点所确定的2个输入像素各自的值进行加权平均，从而导出输出像素值。因此，能够在抑制运算负荷的增大的同时提高画质。例如，图像生成装置100能够通过提高颜色的再现性而提高画质。因此，在根据搭载于挖土机60的摄像机2所拍摄到的输入图像而生成的输出图像中，能够使根据由挖土机的回转、行驶、挖掘作业等引起的摄像机2的振动而产生的锯齿不明显。

并且，与如双线性插值那样对由对应实数坐标点P周围的4个整数坐标点所确定的4个输入像素各自的值进行加权平均的处理相比，在图像生成装置100中执行的插值处理能够将加权平均处理的执行次数从3次削减为1次，能够缩短运算时间。并且，在图像生成装置100中执行的插值处理能够实现适合于基于FPGA等的组装安装的低运算量。因此，图像生成装置100能够避免除法运算电路等的搭载。

以上，对本发明的优选实施例进行了详细说明，但本发明并不限定于上述实施例，在不脱离本发明的范围的情况下可以对上述实施例追加各种变形及替换。

例如，在上述实施例中，整数坐标点选择部110通过选择6条垂线PQ、PR、PS、PT、PU、PV中最短的垂线而选择整数坐标点对。然而，本发明并不限定于该结构。例如，整数坐标点选择部110也可以选择处于与对应实数坐标点中最接近位置上的整数坐标点和处于第2接近位置上的整数坐标点而作为整数坐标点对。并且，整数坐标点选择部110可以利用其它选择方法来选择整数坐标点对。

并且，图像生成装置100采用圆筒状空间模型MD而作为空间模型，但可以采用具有多棱柱等其它柱状形状的空间模型，也可以采用由底面及侧面这两个面构成的空间模型，或者也可以采用仅具有侧面的空间模型。

并且，图像生成装置100与摄像机一同搭载于具备铲斗、斗杆、动臂、回转机构等可动部件且自行的建设机械上。而且，组装于将周围图像提示给驾驶员的同时支持该建设机械的移动及这些可动部件的操作的操作支持系统中。然而，图像生成装置100也可以与摄像机一同搭载于如产业用机械或固定式起重机等具有可动部件但不自行的其它被操作体上，也可以组装于支持这些其它被操作体的操作的操作支持系统中。

并且，本申请主张基于2014年1月21日申请的日本专利申请2014-009019号的优先权，并将该日本专利申请的全部内容通过参考援用于本申请中。

符号的说明

1-控制部，2-摄像机，2L-左侧方摄像机，2R-右侧方摄像机，2B-后方摄像机，3-输入部，4-存储部，5-显示部，10-坐标对应建立构件，11-输出 图像生成构件，40-输入图像·空间模型对应映射，41-空间模型·处理对象图像对应映射，42-处理对象图像·输出图像对应映射，60-挖土机，61-下部行驶体，62-回转机构，63-上部回转体，64-操纵室。