图像生成装置及操作支持系统的制作方法

图像生成装置及操作支持系统的制作方法
【专利摘要】本发明提供一种图像生成装置及操作支持系统，图像生成装置(100)由3个摄像机的输入图像生成输出图像。与摄像机的拍摄范围重叠的区域对应的输入图像部分在输出图像中形成格子花纹。格子花纹将通过把摄像机(2B)作为波源的波所描绘的圆和把摄像机(2R)作为波源的波所描绘的圆而被划分的格子作为单位图案。形成单位图案的像素值为对摄像机(2B)的第一输入图像的像素值和摄像机(2R)的第二输入图像的像素值进行加权平均的值。在形成通过2个波而形成的腹线所通过的单位图案及节线所通过的单位图案中的一个单位图案的像素中，第一输入图像的像素值的权重(wB)的平均值为第二输入图像的像素值的权重(wR)的平均值以上，在形成另一个单位图案的像素中，权重(wB)的平均值为权重(wR)的平均值以下。
【专利说明】
图像生成装置及操作支持系统
技术领域
[0001] 本发明涉及一种基于安装于被操作体上的多个摄像机所拍摄到的多个输入图像 而生成输出图像的图像生成装置及使用了该装置的操作支持系统。
【背景技术】
[0002] 已知有一种图像生成装置，其防止在根据多个摄像机所拍摄到的多个输入图像而 生成的输出图像中的、与多个摄像机的拍摄范围重叠的重叠区域对应的输出图像部分物体 的消失(例如参考专利文献1。）。
[0003] 该图像生成装置根据安装于挖土机上的3个摄像机所拍摄到的多个输入图像而生 成输出图像。而且，与3个摄像机中的2个摄像机各自的拍摄范围重叠的区域对应的这2个摄 像机各自的输入图像部分在输出图像中以最终形成格子花纹的方式建立对应。格子花纹将 通过以第一摄像机的位置作为波源的第一波峰所描绘的圆、第一波谷所描绘的圆、以第二 摄像机的位置作为波源的第二波峰所描绘的圆、第二波谷所描绘的圆而被划分的格子作为 单位图案。而且，对与通过第一波及第二波形成的腹线所通过的单位图案对应的输出图像 平面上的坐标与第一摄像机的输入图像平面上的坐标建立关联，对与通过第一波及第二波 形成的节线所通过的单位图案对应的输出图像平面上的坐标与第二摄像机的输入图像平 面上的坐标建立关联。通过该结构，专利文献1的图像生成装置在维持与重叠区域对应的输 出图像部分中的物体的辨识性的同时，能够防止该物体的消失。
[0004] 现有技术文献
[0005] 专利文献
[0006] 专利文献1:日本特开2010-256295号公报

【发明内容】

[0007] 发明要解决的课题
[0008] 然而，上述图像生成装置在输出图像的分辨率较低的情况下，有时会使与重叠区 域对应的输出图像部分的美观性降低。
[0009] 鉴于上述问题，希望提供一种能够改善由2个波所描绘的花纹表现的输出图像部 分的美观性的图像生成装置及使用了该装置的操作支持系统。
[0010]用于解决技术课题的手段
[0011]本发明的实施例涉及一种图像生成装置，其根据安装于被操作体上的多个摄像机 所拍摄到的多个输入图像而生成输出图像，其中，与所述多个摄像机中的2个摄像机各自的 拍摄范围重叠的区域对应的所述多个摄像机中的2个摄像机各自的输入图像部分，在所述 输出图像中以形成格子花纹的方式配置，所述格子花纹将通过以第一摄像机的位置作为波 源的第一波的波峰所描绘的圆、该第一波的波谷所描绘的圆、以第二摄像机的位置作为波 源的第二波的波峰所描绘的圆、该第二波的波谷所描绘的圆而被划分的格子作为单位图 案，形成所述单位图案的像素的值为对所述第一摄像机所拍摄到的第一输入图像的像素的 值和所述第二摄像机所拍摄到的第二输入图像的像素的值进行加权平均的值，通过所述第 一波及所述第二波形成的腹线所通过的单位图案及节线所通过的单位图案中的一个单位 图案中，与各像素有关的所述第一输入图像的像素值的权重的平均值为与各像素有关的所 述第二输入图像的像素值的权重的平均值以上，另一个单位图案中，与各像素有关的所述 第一输入图像的像素值的权重的平均值为与各像素有关的所述第二输入图像的像素值的 权重的平均值以下，所述第一输入图像的像素值的权重及所述第二输入图像的像素值的权 重根据与所述第一波和所述第二波的合成波的振幅有关的物理量而确定。
[0012]并且，本发明的实施例所涉及的操作支持系统，其支持被操作体的移动或操作，其 中，所述操作支持系统具备:上述图像生成装置;及显示部，设置于用来移动或操作所述被 操作体的操作室中，并显示该图像生成装置所生成的输出图像。
[0013]发明效果
[0014] 通过上述手段，能够提供一种能够改善由2个波描绘的花纹来表现的输出图像部 分的美观性的图像生成装置及使用了该装置的操作支持系统。
【附图说明】
[0015] 图1是概略表示本发明的实施例所涉及的图像生成装置的结构例的框图。
[0016] 图2是表示搭载有图像生成装置的挖土机的结构例的图。
[0017] 图3A是表示输入图像所投影的空间模型的一例的图。
[0018] 图3B是输入图像所投影的空间模型的一例的图。
[0019]图4是表示空间模型与处理对象图像平面之间的关系的一例的图。
[0020] 图5是用于对输入图像平面上的坐标与空间模型上的坐标的对应建立进行说明的 图。
[0021] 图6A是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。
[0022]图6B是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。
[0023]图6C是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。
[0024]图6D是用于对基于坐标对应建立构件的坐标之间的对应建立进行说明的图。
[0025]图7是表示处理对象图像生成处理及输出图像生成处理的流程的流程图。
[0026]图8是输出图像的显示例。
[0027]图9A是对基于输出图像生成构件的插值处理的效果进行说明的图。
[0028]图9B是对基于输出图像生成构件的插值处理的效果进行说明的图。
[0029] 图9C是对基于输出图像生成构件的插值处理的效果进行说明的图。
[0030] 图10是对插值处理进行说明的概略图。
[0031] 图11是表示输出图像生成构件的结构例的功能框图。
[0032] 图12是表示插值处理的流程的流程图。
[0033] 图13是表示垂线交点的坐标值的小数部分与第一像素值的权重α的关系的图。 [0034]图14是输出图像的其它显示例。
[0035]图15Α是用于说明同色错觉的图。
[0036]图15Β是用于说明同色错觉的图。
[0037]图16是用于对生成带来同色错觉的明暗图案的方法的一例进行说明的图。
[0038] 图17是表示将图16的格子花纹配置于输出图像平面上的状态的图。
[0039] 图18是表示格子花纹形成处理的流程的流程图。
[0040] 图19A是图14中示出的输出图像。
[0041] 图19B是在图14的输出图像中应用了带来同色错觉的格子花纹的输出图像。
[0042]图20是输出图像的另一显示例。
[0043] 图21A是用于对2个摄像机各自的拍摄范围的重叠区域中的物体的消失防止效果 进行说明的图。
[0044] 图21B是图21A的局部放大图。
[0045]图22A是图20中示出的输出图像。
[0046]图22B是在图20的输出图像中应用了带来同色错觉的格子花纹的输出图像。
[0047]图23是表示平均化边界处理的流程的概略图。
[0048]图24是在从"场"的值变换成"权重"的值时使用的变换曲线的一例。
[0049]图25是在从"场"的值变换成"权重"的值时使用的变换曲线的另一例。
[0050]图26A是表示2种单位图案区域的各自区域中的像素配置的图。
[00511图26B是表示与图26A的各像素有关的权重WB的值的图。
[0052]图26C是表示与图26A的各像素有关的权重WB的值的图。
[0053]图27A是对周边减光措施处理进行说明的图。
[0054]图27B是对周边减光措施处理进行说明的图。
[0055]图28A是对侧缘措施处理进行说明的图。
[0056]图28B是对侧缘措施处理进行说明的图。
[0057]图29A是对远方区域图案化措施处理进行说明的图。
[0058]图29B是对远方区域图案化措施处理进行说明的图。
[0059]图30A是对平均化边界处理的效果进行说明的图。
[0060]图30B是对平均化边界处理的效果进行说明的图。
[0061]图30C是对平均化边界处理的效果进行说明的图。
[0062]图31是表示输出图像改善处理的流程的流程图。
【具体实施方式】
[0063]以下，参考附图对用于实施本发明的最佳方式进行说明。
[0064] 图1是概略表示本发明的实施例所涉及的图像生成装置100的结构例的框图。
[0065] 图像生成装置100为例如根据搭载于建设机械上的摄像机2所拍摄到的输入图像 而生成输出图像，并将该输出图像提示给驾驶员的装置，其由控制部1、摄像机2、输入部3、 存储部4及显示部5构成。
[0066]图2是表示搭载有图像生成装置100的挖土机60的结构例的图，挖土机60经由回转 机构62将上部回转体63围绕回转轴PV回转自如地搭载于履带式下部行驶体61上。
[0067] 并且，上部回转体63在其前方左侧部具备操纵室（驾驶室)64,在其前方中央部具 备挖掘装置E，在其右侧面、左侧面及后面具备摄像机2(右侧方摄像机2R、左侧方摄像机2L、 后方摄像机2B)。另外，在操纵室64内的驾驶员容易辨识的位置设置有显示部5。
[0068] 接着，对图像生成装置100的各构成要件进行说明。
[0069] 控制部1 为具备CPU(Central Processing Unit)、RAM(Random Access Memory)、 R0M(Read Only Memory)、NVRAM(Non_Volatile Random Access Memory)等的计算机。控制 部1例如将分别与后述坐标对应建立构件10及输出图像生成构件11对应的程序存储于ROM、 NVRAM中，作为临时存储区域而利用RAM的同时，使CPU执行对应于各构件的处理。
[0070] 摄像机2为用于获得呈现挖土机60周边的输入图像的装置，例如安装于上部回转 体63的右侧面、左侧面及后面，以便能够拍摄成为在操纵室64内的驾驶员的死角的区域(参 考图2。）。
[0071] 并且，摄像机2根据来自控制部1的控制信号获得输入图像，并对控制部1输出所获 得的输入图像。
[0072] 输入部3为用于使操作人员能够对图像生成装置100输入各种信息的装置，例如为 触控面板、按钮开关、指示设备及键盘等。
[0073] 存储部4为用于存储各种信息的装置，例如为硬盘、光盘或半导体存储器等。
[0074]显示部5为用于显示图像信息的装置，例如为设置于建设机械的操纵室64(参考图 2。）内的液晶显示器或投影仪等，其显示控制部1所输出的各种图像。
[0075]并且，图像生成装置100根据输入图像而生成处理对象图像，并对该处理对象图像 实施图像变换处理而生成输出图像。然后，图像生成装置100将该输出图像提示给操作人 员，因此操作人员能够直观地掌握挖土机60与周边障碍物的位置关系和距离感。
[0076] "处理对象图像"为根据输入图像而生成的图像。并且，处理对象图像例如为成为 标度变换、仿射变换、畸变变换、视点变换处理等图像变换处理的对象的图像。并且，处理对 象图像通过例如在将输入图像投影于规定的空间模型之后，将投影于该空间模型的投影图 像再投影于其它二维平面而得到。在图像变换处理中使用了输入图像的情况下，为了防止 该输入图像显示得不自然而进行向空间模型的投影。具体而言，在图像变换处理中使用基 于从上方拍摄地表的摄像机的输入图像，且为通过其广视角包括水平方向的图像(例如天 空部分。）的输入图像的情况下，为了防止导致如同天空部分在地表一样显示得不自然而进 行向空间模型的投影。另外，处理对象图像也可以不实施图像变换处理而直接作为输出图 像而使用。
[0077] "空间模型"为至少由包括处理对象图像所在的平面即处理对象图像平面以外的 平面或曲面在内的一个或多个平面或曲面构成的输入图像的投影对象。另外，处理对象图 像平面以外的平面或曲面例如为与处理对象图像平面平行的平面，或者与处理对象图像平 面之间形成角度的平面或曲面。
[0078]另外，图像生成装置100可以不生成处理对象图像，而是通过对投影于该空间模型 的投影图像实施图像变换处理而生成输出图像。并且，投影图像也可以不实施图像变换处 理，而是直接作为输出图像而使用。
[0079]图3A及图3B是表示输入图像所投影的空间模型MD的一例的图，图3A表示从侧方观 察挖土机60时的挖土机60与空间模型MD之间的关系，图3B表示从上方观察挖土机60时的挖 土机60与空间模型MD之间的关系。
[0080] 如图3A及图3B所示，空间模型MD具有大致圆筒形状，并具有其底面内部的平面区 域R1和其侧面内部的曲面区域R2。
[0081] 并且，图4表示空间模型MD与处理对象图像平面之间的关系的一例。如图4所示，处 理对象图像平面R3为例如包括空间模型MD的平面区域R1的平面。另外，为清楚起见，图4中 并非以如图3A及图3B所示的大致圆筒形状，而是以圆筒形状表示空间模型MD，但空间模型 MD可以是大致圆筒形状及圆筒形状中的任一种。在之后的附图中也相同。并且，如上所述， 处理对象图像平面R3可以是包括空间模型MD的平面区域R1的圆形区域，也可以是不包括空 间模型MD的平面区域R1的环状区域。
[0082]接着，对控制部1所具有的各种构件进行说明。
[0083]坐标对应建立构件10为用于对摄像机2所拍摄到的输入图像所在的输入图像平面 上的坐标、空间模型MD上的坐标、处理对象图像平面R3上的坐标建立对应的构件。并且，坐 标对应建立构件10根据例如与摄像机2有关的各种参数和预先确定的输入图像平面、空间 模型MD及处理对象图像平面R3的相互的位置关系，对输入图像平面上的坐标、空间模型MD 上的坐标、处理对象图像平面R3上的坐标建立对应。然后，坐标对应建立构件10将这些对应 关系存储于存储部4的输入图像?空间模型对应映射40及空间模型·处理对象图像对应映 射41中。与摄像机2有关的各种参数包括摄像机2的光学中心、焦点距离、CCD尺寸、光轴方向 矢量、摄像机水平方向矢量、射影方式等，可以是预先设定的值，也可以是经由输入部3输入 的值。
[0084]另外，在不生成处理对象图像的情况下，坐标对应建立构件10省略空间模型MD上 的坐标与处理对象图像平面R3上的坐标的对应建立、以及该对应关系向空间模型·处理对 象图像对应映射41的存储。
[0085]输出图像生成构件11为用于生成输出图像的构件，例如通过对处理对象图像实施 标度变换、仿射变换或畸变变换，对处理对象图像平面R3上的坐标与输出图像所在的输出 图像平面上的坐标建立对应。而且，输出图像生成构件11将该对应关系存储于存储部4的处 理对象图像?输出图像对应映射42中。而且，输出图像生成构件11参考输入图像?空间模 型对应映射40及空间模型?处理对象图像对应映射41，对输出图像中的各像素值和输入图 像中的各像素值建立关联而生成输出图像。各像素值包括例如亮度值、色调值及彩度值等。
[0086] 并且，输出图像生成构件11根据与假想摄像机有关的各种参数，对处理对象图像 平面R3上的坐标和输出图像平面上的坐标建立对应，并将该对应关系存储于存储部4的处 理对象图像?输出图像对应映射42中。而且，输出图像生成构件11参考输入图像?空间模 型对应映射40及空间模型?处理对象图像对应映射41，对输出图像中的各像素值和输入图 像中的各像素值建立关联而生成输出图像。与假想摄像机有关的各种参数包括假想摄像机 的光学中心、焦点距离、CCD尺寸、光轴方向矢量、摄像机水平方向矢量、射影方式等，可以是 预先设定的值，也可以是经由输入部3输入的值。
[0087] 另外，输出图像生成构件11可以不使用假想摄像机的概念，而通过变更处理对象 图像的标度而生成输出图像。
[0088] 并且，在不生成处理对象图像的情况下，输出图像生成构件11根据所实施的图像 变换处理对空间模型MD上的坐标和输出图像平面上的坐标建立对应。而且，输出图像生成 构件11参考输入图像?空间模型对应映射40,对输出图像中的各像素值与输入图像中的各 像素值建立关联而生成输出图像。该情况下，输出图像生成构件11省略处理对象图像平面 R3上的坐标与输出图像平面上的坐标的对应建立、以及该对应关系对处理对象图像?输出 图像对应映射42的存储。
[0089] 接着，对基于坐标对应建立构件10及输出图像生成构件11的具体处理的一例进行 说明。
[0090] 坐标对应建立构件10例如能够使用哈密尔顿的四元数对输入图像平面上的坐标 和空间模型上的坐标建立对应。
[0091] 图5是用于对输入图像平面上的坐标与空间模型上的坐标的对应建立进行说明的 图。在图5中，摄像机2的输入图像平面作为将摄像机2的光学中心C作为原点的UVW正交坐标 系中的一个平面而表示，空间模型作为XYZ正交坐标系中的立体面而表示。
[0092] 首先，坐标对应建立构件10在使XYZ坐标系的原点平移到光学中心C(UVW坐标系的 原点）的基础上，使XYZ坐标系旋转，以分别使X轴与U轴、Y轴与V轴、Z轴与-W轴一致。这是为 了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上 的坐标）。另外，-W轴上的符号是指与Z轴的方向相反。这是因为UVW坐标系将摄像机前方 设为+W方向，XYZ坐标系将铅垂下方设为-Z方向。
[0093] 另外，在存在多个摄像机2的情况下，摄像机2分别具有独立的UVW坐标系。因此坐 标对应建立构件10使XYZ坐标系分别相对于多个UVW坐标系平移且旋转。
[0094] 上述变换通过在以摄像机2的光学中心C成为XYZ坐标系的原点的方式使XYZ坐标 系平移之后，使其以Z轴与-W轴一致的方式旋转，进而以X轴与U轴一致的方式旋转来实现。 坐标对应建立构件10能够用哈密尔顿的四元数来记述该变换，从而将这二次旋转汇总成一 次旋转运算。
[0095] 然而，用于使某一矢量A与其它矢量B-致的旋转，相当于将矢量A和矢量B所形成 的面的法线作为轴而仅旋转矢量A和矢量B所形成的角度的处理。因此若将该角度设为Θ，则 根据矢量A和矢量B的内积，角度Θ通过下式表不。
[0096] [数式 1]
[0097]
[0098] 并且，矢量A和矢量B形成的面的法线的单位矢量N，由矢量A和矢量B的外积，通过 下式表示。
[0099] [数式2]
[0100]
[0101] 另外，在将i、j、k分别设为虚数单位的情况下，四元数为满足下式的超复数。
[0102] [数式 3]
[0103] i i = j j = kk = i jk = -1
[0104] 在本实施例中，四元数Q将实成分设为t，将纯虚成分设为a、b、c，并
[0105] 通过下式表示。
[0106] [数式 4]
[0107] Q=(t；a,b,c) =t+ai+b j+ck
[0108] 四元数Q的共辄四元数通过下式表示。
[0109] [数式5]
[0110] Q*= (t;-a，-b，_c) = t-ai_bj-ck
[0111] 四元数Q能够将实成分t设为0(零)的同时，用纯虚成分a、b、c来表现三维矢量(a， 13，(3)，并且能够通过18、13、(3各成分来表现将任意的矢量作为轴的旋转动作。
[0112] 进而，四元数Q能够综合连续的多次旋转动作而作为一次旋转动作来表现，例如能 够如下表现使任意的点S (sx，sy，sz) -边以任意的单位矢量C (1，m，η)为轴，一边仅旋转角 度Θ 时的点D(ex，ey，ez)。
[0113][数式 6]
[0114] D=(0;ex，ey，ez)=QSQ* 其中
[0115]在此，在本实施例中，若将表示使Z轴与-W轴一致的旋转的四元数设为Qz，则XYZ坐 标系中的X轴上的点X移动到点X'，因此点X'通过下式表示。
[0116] [数式 7]
[0117] X7 =QzXQz*
[0118] 并且，在本实施例中，若将表示使连接处于X轴上的点X'和原点的线与U轴一致的 旋转的四元数设为Qx，则表示"使Z轴与-W轴一致，进而使X轴与U轴一致的旋转"的四元数R 通过下式表示。
[0119][数式8]
[0120] R = QXQZ
[0121] 由此，用输入图像平面(UVW坐标系)上的坐标来表达空间模型(XYZ坐标系)上的任 意的坐标P时的坐标P '通过下式表示，
[0122] [数式 9]
[0123] P'=RPR*
[0124] 因为四元数R在各个摄像机2中不变，所以坐标对应建立构件10以后仅执行该运算 便可以将空间模型(XYZ坐标系)上的坐标变换成输入图像平面(UVW坐标系)上的坐标。
[0125] 在将空间模型(XYZ坐标系）上的坐标变换成输入图像平面(UVW坐标系）上的坐标 之后，坐标对应建立构件10算出线段CP'和摄像机2的光轴G所形成的入射角α，所述线段CP' 连接摄像机2的光学中心C (UVW坐标系上的坐标)与UVW坐标系中表示空间模型上的任意的 坐标Ρ的坐标Ρ'。
[0126] 并且，坐标对应建立构件10算出线段ΕΡ'和平面Η上的U'轴所形成的偏角φ及线段 ΕΡ'的长度，所述线段ΕΡ'将与摄像机2的输入图像平面R4(例如，(XD面)平行且包括坐标Ρ' 的平面Η上的、平面Η与光轴G的交点E与坐标P'进行连接。
[0127] 在摄像机的光学系统中，通常图像高度h成为入射角α及焦点距离f的函数，因此坐 标对应建立构件10选择通常射影(h = ftana)、正射影(h = fsina)、立体射影(h = 2ftan(a/ 2))、等立体角射影(11 = 2€8；[11(€[/2))、等距离射影(11 = €€0等适当的射影方式来算出图像高 度h。
[0128] 之后，坐标对应建立构件10将所算出的图像高度h通过偏角φ分解成UV坐标系上的 U成分及V成分，并利用相当于输入图像平面R4的按照一个像素的像素尺寸的数值进行除法 运算，由此能够对空间模型MD上的坐标Ρ(Ρ'）与输入图像平面R4上的坐标建立对应。
[0129] 另外，若将输入图像平面R4的U轴方向上的按照一个像素的像素尺寸设为au，且将 输入图像平面R4的V轴方向上的按照一个像素的像素尺寸设为av，则与空间模型MD上的坐 标P(P'）对应的输入图像平面R4上的坐标(u，v)通过下式表示。
[0130] [数式 10]
[0131]
[0132]
[0133]
[0134] 如此，坐标对应建立构件10对空间模型MD上的坐标和每一个摄像机中存在的一个 或多个输入图像平面R4上的坐标建立对应，并对空间模型MD上的坐标、摄像机辨识码及输 入图像平面R4上的坐标建立关联，并存储于输入图像?空间模型对应映射40中。
[0135] 并且，坐标对应建立构件10使用四元数对坐标的变换进行运算，因此与使用欧拉 角对坐标的变换进行运算的情况不同，具有不会产生万向节锁定的优点。然而，坐标对应建 立构件10并不限定于使用四元数来对坐标的变换进行运算，也可以使用欧拉角对坐标的变 换进行运算。
[0136] 另外，在能够对多个输入图像平面R4上的坐标建立对应的情况下，坐标对应建立 构件10可以对空间模型MD上的坐标P(P'）和与其入射角α最小的摄像机有关的输入图像平 面R4上的坐标建立对应，也可以和操作人员选择的输入图像平面R4上的坐标建立对应。
[0137] 接着，关于将空间模型MD上的坐标中的曲面区域R2上的坐标(具有Ζ轴方向的成分 的坐标)再投影于处于ΧΥ平面上的处理对象图像平面R3的处理进行说明。
[0138] 图6Α~图6D是用于对基于坐标对应建立构件10的坐标之间的对应建立进行说明 的图。并且，图6Α是作为一例表示采用通常射影(h = ftana)的摄像机2的输入图像平面R4上 的坐标与空间模型MD上的坐标之间的对应关系的图。如图2所示，坐标对应建立构件10使连 接摄像机2的输入图像平面R4上的坐标和与该坐标对应的空间模型MD上的坐标的线段分别 通过摄像机2的光学中心C，将两个坐标建立对应。
[0139] 在图6A的例子中，坐标对应建立构件10对摄像机2的输入图像平面R4上的坐标K1 与空间模型MD的平面区域R1上的坐标L1建立对应，并对摄像机2的输入图像平面R4上的坐 标K2与空间模型MD的曲面区域R2上的坐标L2建立对应。此时，线段K1-L1及线段K2-L2都通 过摄像机2的光学中心C。
[0140]另外，在摄像机2采用通常射影以外的射影方式(例如正射影、立体射影、等立体角 射影、等距离射影等。）的情况下，坐标对应建立构件10根据各个射影方式对摄像机2的输入 图像平面R4上的坐标ΚΙ、K2与空间模型MD上的坐标LI、L2建立对应。
[0141] 具体而言，坐标对应建立构件10根据规定的函数(例如正射影(h = fsinc〇、立体射 影(11 = 2;^311(€[/2))、等立体角射影(11 = 2€8；[11(€[/2))、等距离射影(11 = €€0等。），对输入图 像平面上的坐标与空间模型MD上的坐标建立对应。该情况下，线段K1-L1及线段K2-L2不会 通过摄像机2的光学中心C。
[0142] 图6B为表示空间模型MD的曲面区域R2上的坐标与处理对象图像平面R3上的坐标 之间的对应关系的图。如图6B所示，坐标对应建立构件10导入位于XZ平面上的平行线群PL、 且是与处理对象图像平面R3之间形成角度β的平行线群PL，并使空间模型MD的曲面区域R2 上的坐标和与该坐标对应的处理对象图像平面R3上的坐标都落在平行线群PL中的一条线 上，将两个坐标建立对应。
[0143] 在图6B的例子中，坐标对应建立构件10使空间模型MD的曲面区域R2上的坐标L2和 处理对象图像平面R3上的坐标M2落在共同的平行线上，将两个坐标建立对应。
[0144] 另外，与曲面区域R2上的坐标相同地，坐标对应建立构件10能够使用平行线群PL 对空间模型MD的平面区域R1上的坐标与处理对象图像平面R3上的坐标建立对应。但在图6B 的例子中，因为平面区域R1和处理对象图像平面R3成为共同的平面，所以空间模型MD的平 面区域R1上的坐标L1和处理对象图像平面R3上的坐标Ml具有相同的坐标值。
[0145] 如此，坐标对应建立构件10对空间模型MD上的坐标与处理对象图像平面R3上的坐 标建立对应，并将空间模型MD上的坐标及处理对象图像平面R3上的坐标建立关联，并存储 于空间模型?处理对象图像对应映射41中。
[0146] 图6C是表示处理对象图像平面R3上的坐标与作为一例采用通常射影(h = ftanc〇 的假想摄像机2V的输出图像平面R5上的坐标之间的对应关系的图。如图6C所示，输出图像 生成构件11使连接假想摄像机2V的输出图像平面R5上的坐标和与该坐标对应的处理对象 图像平面R3上的坐标的线段分别通过假想摄像机2V的光学中心CV，对两个坐标建立对应。
[0147] 在图6C的例子中，输出图像生成构件11使假想摄像机2V的输出图像平面R5上的坐 标N1与处理对象图像平面R3(空间模型MD的平面区域R1)上的坐标Ml建立对应，并使假想摄 像机2V的输出图像平面R5上的坐标N2与处理对象图像平面R3上的坐标M2建立对应。此时， 线段M1-N1及线段M2-N2都通过假想摄像机2V的光学中心CV。
[0148] 另外，在假想摄像机2V采用通常射影以外的射影方式(例如正射影、立体射影、等 立体角射影、等距离射影等。）的情况下，输出图像生成构件11根据各射影方式使假想摄像 机2V的输出图像平面R5上的坐标N1、N2与处理对象图像平面R3上的坐标M1、M2建立对应。
[0149] 具体而言，输出图像生成构件11根据规定的函数(例如正射影(h = fsina)、立体射 影(h = 2ftan(a/2))、等立体角射影(h = 2fsin(a/2))、等距离射影(h = fa)等。）对输出图像 平面R5上的坐标与处理对象图像平面R3上的坐标建立对应。该情况下，线段M1-N1及线段 M2-N2不会通过假想摄像机2V的光学中心CV。
[0150]如此，输出图像生成构件11将输出图像平面R5上的坐标与处理对象图像平面R3上 的坐标建立对应，将输出图像平面R5上的坐标及处理对象图像平面R3上的坐标建立关联， 并存储于处理对象图像?输出图像对应映射42中，坐标对应建立构件10-边参考所存储的 输入图像?空间模型对应映射40及空间模型?处理对象图像对应映射41，一边将输出图像 中的各像素的值与输入图像中的各像素的值建立对应而生成输出图像。
[0151] 另外，图6D是将图6A~图6C进行组合的图，表示摄像机2、假想摄像机2V、空间模型 MD的平面区域R1及曲面区域R2、以及处理对象图像平面R3的相互的位置关系。
[0152] 接着，参考图7对图像生成装置100生成处理对象图像的处理（以下，设为"处理对 象图像生成处理"。）、及使用所生成的处理对象图像生成输出图像的处理（以下，设为"输出 图像生成处理"。）进行说明。另外，图7是表示处理对象图像生成处理(步骤S1~步骤S3)及 输出图像生成处理(步骤S4~步骤S6)的流程的流程图。并且，预先确定摄像机2(输入图像 平面R4)、空间模型(平面区域R1及曲面区域R2)及处理对象图像平面R3的配置。
[0153] 首先，控制部1通过坐标对应建立构件10对处理对象图像平面R3上的坐标与空间 模型MD上的坐标建立对应(步骤S1)。
[0154] 具体而言，坐标对应建立构件10获得在平行线群PL与处理对象图像平面R3之间形 成的角度，并算出从处理对象图像平面R3上的一个坐标延伸的平行线群PL的一条线与空间 模型MD的曲面区域R2交叉的点。然后，坐标对应建立构件10将与所算出的点对应的曲面区 域R2上的坐标作为与处理对象图像平面R3上的该一个坐标对应的曲面区域R2上的一个坐 标而导出，并将该对应关系存储于空间模型?处理对象图像对应映射41中。另外，在平行线 群PL与处理对象图像平面R3之间形成的角度可以为预先存储于存储部4等中的值，也可以 为经由输入部3由操作人员动态地输入的值。
[0155] 并且，当处理对象图像平面R3上的一个坐标与空间模型MD的平面区域R1上的一个 坐标一致时，坐标对应建立构件10将平面区域R1上的该一个坐标作为与处理对象图像平面 R3上的该一个坐标对应的一个坐标而导出，并将该对应关系存储于空间模型?处理对象图 像对应映射41中。
[0156] 之后，控制部1通过坐标对应建立构件10对通过上述处理而导出的空间模型MD上 的一个坐标与输入图像平面R4上的坐标建立对应(步骤S2)。
[0157] 具体而言，坐标对应建立构件10获得采用通常射影(h = ftana)的摄像机2的光学 中心C的坐标，并算出从空间模型MD上的一个坐标延伸的线段且是通过光学中心C的线段与 输入图像平面R4交叉的点。而且，坐标对应建立构件10将与所算出的点对应的输入图像平 面R4上的坐标作为与空间模型MD上的该一个坐标对应的输入图像平面R4上的一个坐标而 导出，并将该对应关系存储于输入图像?空间模型对应映射40中。
[0158] 之后，控制部1判定是否已对处理对象图像平面R3上的所有坐标与空间模型MD上 的坐标及输入图像平面R4上的坐标建立对应(步骤S3)，当判定为未对所有坐标建立对应时 (步骤S3的"否"），重复进行步骤S1及步骤S2的处理。
[0159]另一方面，控制部1在判定为已对所有坐标建立对应时(步骤S3的"是"），使处理对 象图像生成处理结束，之后开始输出图像生成处理，并通过输出图像生成构件11对处理对 象图像平面R3上的坐标与输出图像平面R5上的坐标建立对应(步骤S4)。
[0160]具体而言，输出图像生成构件11通过对处理对象图像实施标度变换、仿射变换或 畸变变换而生成输出图像，并将根据所实施的标度变换、仿射变换或畸变变换的内容确定 的、处理对象图像平面R3上的坐标与输出图像平面R5上的坐标之间的对应关系存储于处理 对象图像?输出图像对应映射42中。
[0161]或者，在使用假想摄像机2V生成输出图像的情况下，输出图像生成构件11可以根 据所采用的射影方式由处理对象图像平面R3上的坐标算出输出图像平面R5上的坐标，并将 该对应关系存储于处理对象图像?输出图像对应映射42中。
[0162]或者，在使用采用通常射影(h = ftana)的假想摄像机2V生成输出图像的情况下， 输出图像生成构件11获得该假想摄像机2V的光学中心CV的坐标，而且算出从输出图像平面 R5上的一个坐标延伸的线段且是通过光学中心CV的线段与处理对象图像平面R3交叉的点。 然后，输出图像生成构件11可以将与所算出的点对应的处理对象图像平面R3上的坐标作为 与输出图像平面R5上的该一个坐标对应的处理对象图像平面R3上的一个坐标而导出，并将 该对应关系存储于处理对象图像?输出图像对应映射42中。
[0163] 之后，控制部1通过输出图像生成构件11而参考输入图像?空间模型对应映射40、 空间模型?处理对象图像对应映射41及处理对象图像?输出图像对应映射42。然后，控制 部1探求输入图像平面R4上的坐标与空间模型MD上的坐标的对应关系、空间模型MD上的坐 标与处理对象图像平面R3上的坐标的对应关系、及处理对象图像平面R3上的坐标与输出图 像平面R5上的坐标的对应关系。然后，控制部1获得由与输出图像平面R5上的各坐标对应的 输入图像平面R4上的坐标确定的像素所具有的值(例如亮度值、色调值及彩度值等）。然后， 控制部1将该获得的值作为由对应的输出图像平面R5上的各坐标确定的像素值而采用（步 骤S5)。即，输出图像生成构件11对输出图像上的像素值和输入图像上的像素值建立关联而 生成输出图像。另外，在多个输入图像平面R4上的多个坐标对应于输出图像平面R5上的一 个坐标的情况下，输出图像生成构件11可以导出基于由这多个输入图像平面R4上的多个坐 标确定的多个像素各自的值的统计值(例如平均值、最大值、最小值、中间值等。），并采用该 统计值作为由输出图像平面R5上的该一个坐标确定的值。
[0164] 之后，控制部1判定是否已对输出图像上的所有像素值与输入图像上的像素值建 立对应(步骤S6)，在判定为未对所有像素值建立对应的情况下(步骤S6的"否"），重复进行 步骤S4及步骤S5的处理。
[0165] 另一方面，控制部1在判定为已对所有像素值建立对应的情况下(步骤S6的"是"）， 生成输出图像，并结束该一系列处理。
[0166] 另外，图像生成装置100在不生成处理对象图像的情况下省略处理对象图像生成 处理。该情况下，输出图像生成处理中的步骤S4的"处理对象图像平面上的坐标"可替换成 "空间模型上的坐标"。
[0167] 通过以上结构，图像生成装置100能够生成可以使操作人员直观地掌握建设机械 和周边障碍物的位置关系的处理对象图像及输出图像。
[0168] 并且，图像生成装置100以从处理对象图像平面R3经由空间模型MD到达输入图像 平面R4的方式执行坐标的建立对应，由此能够使处理对象图像平面R3上的各坐标与输入图 像平面R4上的一个或多个坐标可靠地对应。并且，与以从输入图像平面R4经由空间模型MD 到达处理对象图像平面R3的顺序执行坐标的建立对应的情况相比，图像生成装置100能够 迅速生成更优质的处理对象图像。其原因为，在以从输入图像平面R4经由空间模型MD到达 处理对象图像平面R3的顺序执行坐标的建立对应的情况下，能够使输入图像平面R4上的各 坐标与处理对象图像平面R3上的一个或多个坐标可靠地对应，但是存在处理对象图像平面 R3上的坐标的一部分与输入图像平面R4上的任意坐标都不建立对应的情况，在该情况下需 要对这些处理对象图像平面R3上的坐标的一部分实施插值处理等。
[0169] 并且，在仅将与空间模型MD的曲面区域R2对应的图像进行放大或缩小的情况下， 图像生成装置100只是通过变更在平行线群PL与处理对象图像平面R3之间形成的角度而仅 对空间模型?处理对象图像对应映射41中的与曲面区域R2相关联的部分进行改写，而无需 改写输入图像?空间模型对应映射40的内容就能够实现所希望的放大或缩小。
[0170] 并且，当变更输出图像的观察方法时，图像生成装置100仅通过变更与标度变换、 仿射变换或畸变变换相关联的各种参数的值来改写处理对象图像?输出图像对应映射42， 而无需改写输入图像?空间模型对应映射40及空间模型?处理对象图像对应映射41的内 容就能够生成所希望的输出图像(标度变换图像、仿射变换图像或畸变变换图像）。
[0171]同样地，当变更输出图像的视点时，图像生成装置100仅通过变更假想摄像机2V的 各种参数的值来改写处理对象图像?输出图像对应映射42,而无需改写输入图像?空间模 型对应映射40及空间模型?处理对象图像对应映射41的内容就能够生成从所希望的视点 观察到的输出图像(视点变换图像）。
[0172]接着，参考图8对输出图像的结构例进行说明。另外，图8是将使用搭载于挖土机60 上的3台摄像机2 (右侧方摄像机2R、左侧方摄像机2L及后方摄像机2B)的输入图像而生成的 输出图像显示于显示部5时的显示例。
[0173]图像生成装置100将这3台摄像机2各自的输入图像投影于空间模型MD的平面区域 R1及曲面区域R2上，之后再投影于处理对象图像平面R3而生成处理对象图像。然后，图像生 成装置100通过对该所生成的处理对象图像实施图像变换处理(例如标度变换、仿射变换、 畸变变换、视点变换处理等。）而生成输出图像。然后，图像生成装置100同时显示从上空俯 视挖土机60附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周围的图 像(处理对象图像平面R3中的图像）。
[0174]另外，在图像生成装置100不生成处理对象图像的情况下，输出图像通过对投影于 空间模型MD的图像实施图像变换处理(例如视点变换处理。）而生成。
[0175] 并且，输出图像生成为，被修整成圆形，以便能够自然地显示挖土机60进行回转动 作时的图像，并且该圆的中心CTR在空间模型MD的圆筒中心轴上且在挖土机60的回转轴PV 上，并且输出图像显示为，根据挖土机60的回转动作，将其中心CTR作为轴进行旋转。此时， 空间模型MD的圆筒中心轴可以与再投影轴一致，也可以不一致。
[0176] 另外，空间模型MD的半径例如为5米，平行线群PL与处理对象图像平面R3之间形成 的角度可以如下设定：当物体(例如工作人员。）存在于从挖土机60的回转中心离开挖掘装 置E的最大到达距离(例如12米。）的位置时，该物体以足够大的尺寸(例如7毫米以上。）显示 在显示部5。
[0177] 另外，输出图像也可以将挖土机60的CG图像配置成挖土机60的前方与表示部5的 画面上方一致，且其回转中心与中心CTR-致。这是为了更容易理解挖土机60和输出图像中 显现的物体之间的位置关系。另外，输出图像也可以将包含方位等各种信息的边框图像配 置于其周围。
[0178]接着，参考图9A~图9C对在输出图像中产生的锯齿进行说明。另外，图9A~图9C是 对基于输出图像生成构件11的插值处理的效果进行说明的图。并且，图9A表示输入图像，图 9B表不未实施插值处理的输出图像，图9C表不已实施插值处理的输出图像。并且，图9B及图 9C的输出图像是将由图9A的虚线区域G1表示的输入图像的一部分向逆时针方向旋转且进 行放大的图像。
[0179]锯齿是在光栅图像的轮廓上可看到的锯齿状刻纹，例如由为了使输入图像旋转以 生成输出图像而将输入图像平面上的实数坐标点变换为整数坐标点时的取整误差而引起。
[0180]对输入图像上的像素进行确定的坐标值及对输出图像上的像素进行确定的坐标 值均由整数值表示。但在导出与输出图像平面上的坐标对应的输入图像平面上的坐标时， 有时算出该输入图像平面上的坐标值而作为实数值(包括小数的值）。该情况下，实数值例 如因小数点以下被四舍五入而变换为整数值。这是因为无法使用实数值作为确定输入图像 上的像素的坐标值。从而，由输出图像平面上的整数坐标点确定的像素（以下，设为"输出像 素"。）与由最接近于输入图像平面上的实数坐标点的整数坐标点确定的像素建立对应。而 且，例如即使在对亮度值完全不同的2个像素进行确定的2个整数坐标点之间存在该实数坐 标点，输出图像上的像素也会与由输入图像平面上的2个整数坐标点中的一个所确定的像 素建立对应。而且，由这2个整数坐标点中的另一个所确定的像素值并不反映于输出图像上 的像素值中。其结果，导致包含在输出图像中的各个图像的轮廓表现为锯齿状刻纹。
[0181] 如此，锯齿通过四舍五入时的取整误差而引起。而且，显示部5的分辨率越低，锯齿 越显著。
[0182] 因此，输出图像生成构件11使用参考图10及图11进行说明的插值处理来减少锯 齿。
[0183] 图10是对插值处理进行说明的概略图，且表示输入图像平面的一部分。输入图像 平面通过XY正交坐标系来表示，包括整数坐标点A( 0，0)、B(0，1)、C(1，1)、D(1，0)。并且，图 11是表示输出图像生成构件11的结构例的功能框图。
[0184] 在本实施例中，如图11所示，输出图像生成构件11主要包括整数坐标点选择部 110、权重导出部111及加权平均部112。
[0185] 整数坐标点选择部110为从与输出像素对应的输入图像平面上的实数坐标点（以 下，设为"对应实数坐标点"。）附近所存在的2个以上的整数坐标点选择2个整数坐标点的功 能要件。在本实施例中，对应实数坐标点为利用图5及图6A~图6D中进行说明的关系由输出 图像生成构件11导出的坐标点。并且，在本实施例中，整数坐标点选择部110从处于对应实 数坐标点周围的4个整数坐标点中选择2个整数坐标点。具体而言，如图10所示，处于对应实 数坐标点P(0.63,0.19)的周围的4个整数坐标点为4(0,0)、8(0，1)、0(1，1)及0(1，0)。而且 整数坐标点选择部110选择A-B、A-C、A-D、B-C、B-D、及C-D这6个组合(整数坐标点对）中的1 个组合。
[0186] 在本实施例中，整数坐标点选择部110从对应实数坐标点P对6个线段AB、AC、AD、 BC、BD、CD分别引下垂线。而且，整数坐标点选择部110在6条垂线?〇、？1^3、？1\?1]、？￥中选择 最短的垂线PV及与该垂线PV相关联的线段BD，进而选择与线段BD相关联的2个整数坐标点 B、D〇
[0187] 并且，在本实施例中，X轴方向及Y轴方向上的整数坐标点的间隔为值"Γ，4个整数 坐标点A、B、C、D构成正方形。因此实数坐标点Q(0.00，0.19)及S( 1.00，0.19)的Y坐标值均与 对应实数坐标点P(〇 . 63，0.19)的Y坐标值相等。同样地，实数坐标点R(0.63，1.00)及T (0.63，0.00)的X坐标值与对应实数坐标点P(0.63，0.19)的X坐标值相等。
[0188] 并且，实数坐标点U(0.41，0.41)为线段AC上的实数坐标点，因此处于相对于整数 坐标点A的X坐标值的增量与Y坐标值的增量相等的关系。同样地，线段PV上的实数坐标点处 于相对于对应实数坐标点P的X坐标值的增量与Y坐标值的增量相等的关系。
[0189] 并且，实数坐标点V(0.72,0.28)为线段BD上的实数坐标点，因此处于相对于整数 坐标点B的X坐标值的增量与Y坐标值的减量相等的关系。同样地，线段UP上的实数坐标点处 于相对于实数坐标点U的X坐标值的增量与Y坐标值的减量相等的关系。
[0190] 因此，实数坐标点U的X坐标及Y坐标的值均为将对应实数坐标点P的X坐标值和Y坐 标值的合计"〇. 82"进行二等分的值"0.41"。并且，实数坐标点V的X坐标值为将对从值"Γ减 去合计"0.82"的差值"0.18"进行二等分的值"0.09"相加于对应实数坐标点P的X坐标值 "0.63"而得到的值"0.72"。并且，实数坐标点V的Y坐标值为将对差值"0.18"进行二等分的 值"0.09"相加于对应实数坐标点P的Y坐标值"0.19"而得到的值"0.28"。
[0191 ]如此，实数坐标点Q~V的坐标值可以从对应实数坐标点P的坐标值直接或者通过 加法运算、减法运算、二等分这种简单的运算而导出。因此，从处于对应实数坐标点周围的4 个整数坐标点选择2个整数坐标点的上述选择方法为适合于二进制运算的选择方法。
[0192] 权重导出部111为从由所选择的2个整数坐标点所确定的2个像素（以下，设为"输 入像素"。）值导出确定输出像素值时的各输入像素值的权重的功能要件。
[0193] 在本实施例中，权重导出部111在2个整数坐标点B、D被选择的情况下导出线段BV 的长度相对于线段BD的长度的比率而作为由整数坐标点D所确定的输入像素值的权重α。并 且，权重导出部111导出线段VD的长度相对于线段BD的长度的比率而作为由整数坐标点Β所 确定的输入像素值的权重β( = 1_α)。
[0194] 具体而言，如图10所示，实数坐标点V的X坐标值的小数部分相当于线段AW的长度 相对于线段AD的长度"Γ的比率。另外，实数坐标点W为从实数坐标点V对线段AD引下的垂线 的交点。而且，相对于线段BD的长度的线段BV的长度比率与长度的线段AW的长度相对于线 段AD的比率相等。因此权重导出部111采用实数坐标点V的X坐标值的小数部分而作为由整 数坐标点D所确定的输入像素值的权重α。并且，权重导出部111采用实数坐标点V的Y坐标值 的小数部分而作为由整数坐标点Β所确定的输入像素值的权重β。另外，实数坐标点V的Υ坐 标值的小数部分为从值"Γ减去实数坐标点V的X坐标值的小数部分的值，相当于l-α。如此 权重导出部111从对应实数坐标点Ρ的坐标值直接导出权重α、β，能够省略比例计算等比较 复杂的运算。
[0195] 加权平均部112为对2个输入像素值进行加权平均的功能要件。在本实施例中，加 权平均部112使用权重导出部111所导出的权重α、β对2个输入像素值进行加权平均。具体而 言，加权平均部112对2个输入像素中的一个（以下，设为"第一像素"。）值乘以权重α，算出输 出像素值中的第一像素值的贡献度。并且，加权平均部112对2个输入像素中的另一个（以 下，设为"第二像素"。）值乘以权重β，算出输出像素值中的第二像素值的贡献度。而且，加权 平均部112导出第一像素值的贡献度和第二像素值的贡献度的合计即2个输入像素值的加 权平均而作为输出像素值。
[0196] 例如，在对由整数坐标点B、D所确定的2个输入像素各自的亮度值进行加权平均的 情况下，加权平均部112使用实数坐标点V的坐标值。具体而言，加权平均部112对由整数坐 标点D所确定的输入像素(第一像素）的亮度值乘以实数坐标点V的X坐标值的小数部分(权 重α)，从而算出第一像素的亮度值的贡献度。并且，加权平均部112对由整数坐标点B所确定 的输入像素(第二像素）的亮度值乘以实数坐标点V的Υ坐标值的小数部分(权重β)，从而算 出第二像素的亮度值的贡献度。然后，加权平均部112将第一像素的亮度值的贡献度和第二 像素的亮度值的贡献度进行合计，从而导出输出像素的亮度值。
[0197] 并且，在上述实施例中对垂线PV最短的情况进行了说明，但对其它垂线最短的情 况也适用相同的说明。
[0198] 另外，上述插值方法适用于对应实数坐标点Ρ存在于4个整数坐标点Α~D以外的位 置上的情况。因此在对应实数坐标点P存在于整数坐标点A~D中的任一位置时，输出图像生 成构件11不执行2个整数坐标点的选择、权重的导出及加权平均的运算，而采用由作为整数 坐标点的对应实数坐标点P所确定的1个输入像素值而直接作为输出像素值。并且，在6条垂 线中存在2条以上最短的垂线的情况下，输出图像生成构件11预先确定在这些相同长度的 垂线中选择哪一条。例如，输出图像生成构件11可以根据预先设定的优先顺序来选择1条垂 线。并且，上述插值方法适用于对应实数坐标点P的X坐标及Y坐标的值均为0以上且1以下的 情况，但同样也适用于i以上且i+Ι以下（i为整数)的情况。
[0199] 接着，参考图12对输出图像生成构件11使用2个输入像素值来导出1个输出像素值 的插值处理的流程进行说明。另外，图12是表示插值处理的流程的流程图。输出图像生成构 件11例如在图7的步骤S5中进行该插值处理。并且，在以下流程中，对垂线PV最短的情况进 行说明，但对其它垂线最短的情况也适用相同的说明。
[0200] 首先，整数坐标点选择部110从对应实数坐标点P周围的4个整数坐标点A~D中选 择2个整数坐标点B、D(步骤S51)。具体而言，整数坐标点选择部110从对应实数坐标点P对6 个线段48^(^0、8(^0、〇)分别引下垂线。而且，整数坐标点选择部110选择6个垂线?0、？1?、 ?3、？1^1]、？￥中最短的垂线?￥及与该垂线?￥相关联的线段80，进而选择与线段80相关联的2 个整数坐标点B、D。
[0201] 之后，整数坐标点选择部110导出从对应实数坐标点P对连接所选择的2个整数坐 标点B、D的线段BD引下的垂线PV的垂线交点(实数坐标点)V的坐标值(步骤S52)。
[0202 ]另外，整数坐标点选择部110也可以使用表示对应实数坐标点P的位置(坐标值)与 最短垂线的对应关系的最短垂线参照表来选择整数坐标点对。具体而言，最短垂线参照表 为1行m列的数组，与对相邻的整数坐标点之间进行1等分及m等分时的插值处理对应。另外， l、m为2以上的自然数，优选为最适合于二进制运算的2的幂次方数(例如16)。并且也可以为 l=m。通过该最短垂线参照表，整数坐标点选择部110能够从对应实数坐标点P的坐标值唯 一地导出整数坐标点对。并且，最短垂线参照表可以保持对应实数坐标点P的位置(坐标值） 与垂线交点的位置(坐标值)的对应关系。该情况下，整数坐标点选择部110能够从对应实数 坐标点P的坐标值唯一地导出垂线交点的坐标值。
[0203] 之后，权重导出部111根据垂线交点的坐标值来导出权重α、β(步骤S53)。具体而 言，权重导出部111采用垂线交点的X坐标值的小数部分而作为由整数坐标点D所确定的第 一像素值的权重α。并且，权重导出部111采用垂线交点的Υ坐标值的小数部分而作为由整数 坐标点Β所确定的第二像素值的权重β。
[0204] 另外，权重导出部111可以以η级表现垂线交点的X坐标及Υ坐标各自的小数部分， 以便适合于二进制运算。同样地，权重导出部111也可以以η级来表现十进制且具有0以上且 1以下的实数值的权重α。另外，η为2的幂次方数，例如为256。该情况下，整数坐标点选择部 110以按照256级(8位)量化的状态导出垂线交点的X坐标及Υ坐标各自的小数部分。关于权 重α也相同。
[0205]图13是表示垂线交点的X坐标的小数部分dx及Υ坐标的小数部分dy与第一像素值 的权重α的关系的图。另外，dx、dy及α均为〇~255范围内的十进制整数即可通过8位表现的 值。并且图13的值"255"，虽然理论上的值为"256"，但为了以8位来表示垂线交点的坐标值 的小数部分而代替"256"进行使用。
[0206]如图13所示，在确定第一像素的整数坐标点为整数坐标点Α，且确定第二像素的整 数坐标点为整数坐标点D的情况下，第一像素值的权重α通过(255-dx)表示。并且，在确定第 一像素的整数坐标点为整数坐标点B，且确定第二像素的整数坐标点为整数坐标点D的情况 下，第一像素值的权重α由{255-(255-dy+dx)/2}表示。关于其它组合也相同。另外，基于值 "2"的除法运算可通过1次右移位运算而实现。
[0207] 之后，加权平均部112对由2个整数坐标点确定的2个输入像素值进行加权平均而 导出输出像素值(步骤S54)。具体而言，加权平均部112根据第一像素值的权重α而导出输出 像素值。例如可以考虑为第一像素具有YCbCr方式的颜色数据(￥1、〇31、&1)，且第二像素具 有颜色数据(Y2、Cb2、Cr2)的情况。另外，Y1、Y2为亮度信号，例如具有256级(8位)的等级。并 且，〇31、〇32、01、02为色差信号，例如具有256级(8位)的等级。该情况下，输出像素的亮度 信号Υ由￥={〇\￥1+(255-€〇\￥2}/256表示。并且，输出像素的色差信号〇3由〇3={€^〇31+ (255-c〇XCb2}/256表示，色差信号 Cr 由 Cr={aXCrl + (255-c〇XCr2}/256 表示。另外，根据 上述原因而使用值"255"来代替值"256"。并且，基于值"256"的除法运算可通过8次右移位 运算而实现。
[0208] 通过以上结构，图像生成装置100对由对应实数坐标点P周围的4个整数坐标点中 的2个整数坐标点所确定的2个输入像素各自的值进行加权平均，从而导出输出像素值。因 此能够抑制运算负荷的增大的同时提高画质。例如，图像生成装置100能够通过提高颜色的 再现性而提高画质。因此在根据搭载于挖土机60的摄像机2所拍摄到的输入图像而生成的 输出图像中，能够使根据由挖土机的回转、行驶、挖掘作业等引起的摄像机2的振动而产生 的锯齿不明显。
[0209] 并且，与如双线性插值那样对由对应实数坐标点P周围的4个整数坐标点所确定的 4个输入像素各自的值进行加权平均的处理相比，在图像生成装置100中执行的插值处理能 够将加权平均处理的执行次数从3次削减为1次，能够缩短运算时间。并且，在图像生成装置 100中执行的插值处理能够实现适合于基于FPGA等的组装安装的低运算量。因此图像生成 装置100能够避免除法运算电路等的搭载。
[0210] 接着，参考图14~图19,对图像生成装置100使输入图像之间的明亮度(亮度)差不 明显的处理进行说明。
[0211]图14是表示搭载于挖土机60的三台摄像机2(左侧方摄像机2L、右侧方摄像机2R及 后方摄像机2B)的各自的输入图像和使用这些输入图像而生成的输出图像的图。
[0212]图像生成装置100在将这三台摄像机2各自的输入图像投影于空间模型MD的平面 区域R1及曲面区域R2上的基础上，再投影于处理对象图像平面R3而生成处理对象图像。然 后，图像生成装置100通过对所生成的处理对象图像实施图像变换处理(例如标度变换、仿 射变换、畸变变换、视点变换处理等)而生成输出图像。然后，图像生成装置100同时显示从 上空俯视挖土机60附近的图像(平面区域R1中的图像)和从挖土机60在水平方向上观察周 围的图像(处理对象图像平面R3中的图像）。
[0213]在图14中，左侧方摄像机2L的输入图像及后方摄像机2B的输入图像分别包括从不 同的角度拍摄挖土机60周围的相同的场所的重叠部分。但这些重叠部分分别根据与各摄像 机有关的照明环境等的不同而以不同的明亮度拍摄，其亮度不同。关于右侧方摄像机2R的 输入图像和后方摄像机2B的输入图像之间的重叠部分也相同。
[0214]因此，基于这3个输入图像而生成的输出图像将导致使看到该输出图像的驾驶员 有不自然的感觉。这是因为，在该输出图像平面上的坐标可以与多个输入图像平面上的坐 标建立对应的情况下，该输出图像平面上的坐标与入射角最小的摄像机有关的输入图像平 面上的坐标建立对应。即，其原因为，即使拍摄相同的场所，在基于左侧方摄像机2L的输入 图像的输出图像上的区域与基于后方摄像机2B的输入图像的输出图像上的区域之间的边 界(参考图中用点划线包围的区域R6。）处，其亮度急剧变化。同样地，其原因为，即使拍摄相 同的场所，在基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B的 输入图像的输出图像上的区域之间的边界(参考图中用点划线包围的区域R7参照。）处，其 亮度急剧变化。
[0215] 因此，图像生成装置100利用基于棋盘阴影错觉（同色错觉）的效果，使输入图像之 间的亮度差不明显。
[0216] 图15A及图15B是用于对同色错觉进行说明的图（Edward H.Adelson，"Checker shadow i llusion"，1995年，网址〈URL: http: //web .mit · edu/persci/people/adelson/ checkershadow_illusion.html〉）。并且，图15A表示为了带来同色错觉而利用的棋盘图案 (格子花纹），图15B表示棋盘图案(格子花纹)上的点P1~点P3及点P4~点P6上的亮度变化 的曲线图。
[0217] 如图15A所示，包括点P2的单位图案的亮度看似比包括点P5的单位图案的亮度低。 另外，包括点P2的单位图案被具有比包括点P2的单位图案的亮度高的亮度的2个单位图案 (包括点P1的单位图案及包括点P3的单位图案。）所夹持。并且，包括点P5的单位图案被具有 比包括点P5的单位图案的亮度低的亮度的2个单位图案(包括点P4的单位图案及包括点P6 的单位图案。）所夹持。
[0218] 然而，该亮度差源于对各个单位图案形成格子花纹的情况及包括点P4~点P6的单 位图案群进入物体0BJ的影子的情况进行识别的观察人员的错觉。因此，实际上，如图15B所 示，包括点P2的单位图案的亮度与包括点P5的单位图案的亮度相等。
[0219] 如此，该观察人员有如下错觉:分别包括点P1、点P3及点P5的3个单位图案具有相 同的亮度;及分别包括点P2、点P4及点P6的3个单位图案具有相同的亮度。
[0220] 图16是用于对生成带来同色错觉的明暗图案的方法的一例进行说明的图，表示从 2个波源一边形成波峰(实线圆）及波谷(虚线圆），一边扩展而彼此干渉的2个波。另外，2个 波源例如为右侧方摄像机2R及后方摄像机2B。并且，在图16中，为便于说明，右侧方摄像机 2R在图中的左侧表示，图中的右斜上方对应于挖土机60的后方。
[0221]并且，在图16中，2个扇形区域2Ra、2Ba分别表示右侧方摄像机2R的拍摄范围及后 方摄像机2B的拍摄范围，用粗实线表示的腹线ANL表示连接2个波彼此增强的点的线，用粗 虚线表示的节线NL表示连接2个波彼此减弱的点的线。另外，如图16所示，腹线ANL及节线NL 交替出现。
[0222] 并且，在图16中，由将右侧方摄像机2R作为波源而扩展的波的1个波谷所描绘的线 (虚线圆）、紧接着该1个波谷而产生的1个波峰所描绘的线(实线圆）、将后方摄像机2B作为 波源而扩展的波的1个波谷所描绘的线(虚线圆）、紧接着该1个波谷而产生的1个波峰所描 绘的线(实线圆)所确定的菱形区域分别形成单位图案区域LT。
[0223] 在图16中示出的多个单位图案区域LT被描绘在输出图像平面上的情况下，平均亮 度分别不同的2个输入图像能够形成带来同色错觉的格子花纹。另外，后方摄像机2B的输入 图像与单位图案区域LT中的腹线ANL所通过的（涂成灰色的）单位图案区域LT1建立对应。并 且，右侧方摄像机2R的输入图像与单位图案区域LT中的节线NL所通过的（涂成白色的）单位 图案区域LT2建立对应。
[0224]另外，当右侧方摄像机2R的输入图像与单位图案区域LT中的腹线ANL所通过的（涂 成灰色的）单位图案区域LT1建立对应，且后方摄像机2B的输入图像与单位图案区域LT中的 节线NL所通过的（涂成白色的）单位图案区域LT2建立对应的情况时也相同地，平均亮度分 别不同的2个输入图像能够形成带来同色错觉的格子花纹。
[0225] 并且，图16的格子花纹使用波长及相位相等的2个波来形成，但也可以使用波长及 相位中的一方或双方不同的2个波而形成。这是为了能够灵活地调整单位图案区域LT1、LT2 的尺寸、形状。
[0226] 图17表示将图16中示出的格子花纹配置于输出图像平面(平面区域R1)上的状态， 表示如下格子花纹:存在于挖土机60的CG图像的右后方（图中的右下方）的、在右侧方摄像 机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域配置的格子花纹;及存在于挖土机 60的CG图像的左后方（图中的左下方）的、在左侧方摄像机2L的拍摄范围与后方摄像机2B的 拍摄范围的重叠区域配置的格子花纹。
[0227] 在图17中，在右侧方摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域 配置的格子花纹，例如为右侧方摄像机2R的输入图像与（涂成灰色的）单位图案区域LT1建 立对应，且后方摄像机2B的输入图像与（涂成白色的）单位图案区域LT2建立对应。
[0228]并且，在左侧方摄像机2L的拍摄范围与后方摄像机2B的拍摄范围的重叠区域配置 的格子花纹，例如为左侧方摄像机2L的输入图像与（涂成灰色的）单位图案区域LT3建立对 应，后方摄像机2B的输入图像与(涂成白色的)单位图案区域LT4建立对应。
[0229] 图18是表示图像生成装置100对2个摄像机中的任一个摄像机的输入图像平面上 的坐标和与这2个摄像机各自的拍摄范围的重叠区域对应的输出图像平面上的各坐标建立 对应，并形成带来同色错觉的格子花纹的处理（以下，设为"格子花纹形成处理"。）的流程的 流程图。
[0230] 图像生成装置100的控制部1例如通过坐标对应建立构件10,在图7的处理对象图 像生成处理的步骤S2中，在对空间模型MD的平面区域R1上的一个坐标与多个输入图像平面 上的坐标可建立对应时，执行该格子花纹形成处理。具体而言，在对空间模型MD的平面区域 R1上的一个坐标与分别与2个摄像机对应的2个输入图像平面中的1个输入图像平面的一个 坐标建立对应时，执行该格子花纹形成处理。
[0231]首先，控制部1获得与2个摄像机(例如右侧方摄像机2R及后方摄像机2B。）的拍摄 范围重叠的区域对应的、空间模型MD的平面区域R1上的一个坐标(步骤S11)。
[0232] 接着，控制部1获得2个摄像机的各摄像机中的光学中心的坐标(步骤S12)。
[0233] 接着，控制部1选择与步骤S11中获得的空间模型MD中的平面区域R1上的一个坐标 建立对应的摄像机(步骤S13)。
[0234] 具体而言，控制部1将右侧方摄像机2R的光学中心的坐标设为(Xcaml，Ycaml)，将后方 摄像机2B的光学中心的坐标设为(X cam2，Y_2)，将建立对应的对象即空间模型MD的平面区域 R1上的一个坐标设为0&_，￥&_)。并且，将把右侧方摄像机2对乍为波源而扩展的波的波 长设为Admm]，将相位设为Pjrad]，将把后方摄像机2B作为波源而扩展的波的波长设为λ 2 [mm]，将相位设为P2[rad]。然后，当以下条件式成立时，控制部1选择右侧方摄像机2R而作 为与其平面区域R1上的一个坐标建立对应的摄像机，当以下条件式不成立时，选择后方摄 像2B而作为与其平面区域R1上的一个坐标建立对应的摄像机。
[0235] [数式 12]
[0236]
[0237] 另外，控制部1也可以在上述条件式成立时，选择后方摄像机2B而作为与其平面区 域R1上的一个坐标建立对应的摄像机，在上述条件式不成立时，选择右侧方摄像机2R而作 为与其平面区域R1上的一个坐标建立对应的摄像机。
[0238] 另外，上述条件式相当于平面区域R1上的坐标(Xtarget，Ytarget)是包括于图17中示 出的单位图案区域LT1还是包括于单位图案区域LT2的判定式。
[0239] 并且，在本实施例中，在光学中心的坐标为二维坐标，且从波源产生的波为平面波 的前提下，控制部1根据平面区域R1上的一个坐标(二维坐标)与2个摄像机各自的光学中心 的坐标(投影于包括平面区域R1的平面上的二维坐标)之间的二维距离来选择摄像机。但控 制部1也可以将光学中心的坐标设为(包括高度信息的）三维坐标，且将从波源产生的波设 为球面波，并且根据平面区域R1上的一个坐标(三维坐标)与2个摄像机各自的光学中心的 坐标(三维坐标)之间的三维距离来选择摄像机。
[0240] 并且，在本实施例中，控制部1选择和与2个摄像机(例如右侧方摄像机2R及后方摄 像机2B。）的拍摄范围重叠的区域对应的、空间模型MD的平面区域R1上的一个坐标建立对应 的摄像机。但控制部1也可以选择和与2个摄像机的拍摄范围重叠的区域对应的、处理对象 图像平面R3上的一个坐标建立对应的摄像机。
[0241] 该情况下，控制部1也可以根据处理对象图像平面R3上的一个坐标(二维坐标)与2 个摄像机各自的光学中心的坐标(投影于包括处理对象图像平面R3的平面上的二维坐标） 之间的二维距离来选择摄像机。并且，控制部1也可以根据处理对象图像平面R3上的一个坐 标(三维坐标)与2个摄像机各自的光学中心的坐标(三维坐标)之间的三维距离来选择摄像 机。另外，处理对象图像平面R3也可以包括平面区域R1。
[0242] 之后，控制部1通过坐标对应建立构件10对所选择的摄像机的输入图像平面上的 一个坐标与空间模型MD的平面区域R1上的一个坐标建立对应(步骤S14)。然后，控制部1对 空间模型MD上的坐标、摄像机识别码及输入图像平面上的坐标建立关联，并存储于输入图 像?空间模型对应映射40中。
[0243] 之后，控制部1判定是否对与2个摄像机的拍摄范围重叠的区域对应的、空间模型 MD的平面区域R1上的所有坐标与2个摄像机中的1个输入图像平面上的坐标建立了对应(步 骤S15)。然后，控制部1在判定出未对所有坐标建立对应的情况下(步骤S15的"否"），重复步 骤S11~步骤S14的处理。
[0244] 另一方面，控制部1在判定出对所有坐标建立了对应的情况下（步骤S15的"是"）， 结束该格子花纹形成处理。
[0245] 另外，在上述内容中，控制部1对与2个摄像机的拍摄范围重叠的区域对应的，空间 模型MD的平面区域R1上的各坐标或处理对象图像平面R3上的各坐标与2个摄像机中的1个 输入图像平面上的坐标建立对应。但控制部1也可以进而对与2个摄像机的拍摄范围重叠的 区域对应的、空间模型MD的曲面区域R2上的各坐标与2个摄像机中的1个输入图像平面上的 坐标建立对应。
[0246] 如此，控制部1能够使用如上所述的条件式容易地对空间模型MD上的各坐标与2个 摄像机中的1个输入图像平面上的坐标建立对应，能够生成合适的格子花纹。
[0247] 图19A及图19B表示图14中所示出的输出图像与在图14的输出图像中应用了带来 同色错觉的格子花纹的输出图像的差异。另外，图19A表示在图14中示出的输出图像，图19B 表示应用了带来同色错觉的格子花纹的输出图像。
[0248]包括基于左侧方摄像机2L的输入图像的输出图像上的区域与基于后方摄像机2B 的输入图像的输出图像上的区域之间的边界的图19A的用单点划线包围的区域R6提示有显 著的亮度的差异。但基于左侧方摄像机2L的输入图像的输出图像上的区域与基于后方摄像 机2B的输入图像的输出图像上的区域成为格子花纹并混合存在的图19B的用单点划线包围 的区域R8,其亮度的差异变得不明显。因此图像生成装置100不易使看到包括该区域R8的输 出图像的驾驶员感觉到不自然。
[0249] 同样地，包括基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄 像机2B的输入图像的输出图像上的区域之间的边界的图19A的用单点划线包围的区域R7提 示有显著的亮度的差异。但基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后 方摄像机2B的输入图像的输出图像上的区域成为格子花纹并混合存在的图19B的用单点划 线包围的区域R9,其亮度的差异变得不明显。因此图像生成装置100不易使看到包括该区域 R9的输出图像的驾驶员感觉到不自然。
[0250] 接着，参考图20~图22,对图像生成装置100在生成与2个摄像机各自的拍摄范围 的重叠区域对应的输出图像部分时防止存在于该输出图像部分的物体消失的处理进行说 明。
[0251] 图20为表示搭载于挖土机60的三台摄像机2(左侧方摄像机2L、右侧方摄像机2R及 后方摄像机2B)各自的输入图像与使用这些输入图像而生成的输出图像的图。
[0252] 图像生成装置100在将这三台摄像机2各自的输入图像平面上的坐标投影在空间 模型MD的平面区域R1及曲面区域R2上的坐标的基础上，再投影于处理对象图像平面R3而生 成处理对象图像。然后，通过对该生成的处理对象图像实施图像变换处理(例如标度变换、 仿射变换、畸变变换、视点变换处理等)而生成输出图像。然后，显示从上空俯视挖土机60附 近的图像(平面区域R1中的图像)与从挖土机60在水平方向上观察周边的图像(处理对象图 像平面R3中的图像）。
[0253]在图20中，右侧方摄像机2R的输入图像及后方摄像机2B的输入图像分别在右侧方 摄像机2R的拍摄范围与后方摄像机2B的拍摄范围的重叠区域内捕捉有人物(参考右侧方摄 像机2R的输入图像中的用双点划线包围的区域R10、及后方摄像机2B的输入图像中的用双 点划线包围的区域R11)。
[0254]然而，基于这些右侧方摄像机2R的输入图像、及后方摄像机2B的输入图像而生成 的输出图像，其输出图像平面上的坐标和与入射角最小的摄像机有关的输入图像平面上的 坐标建立对应。因此，如图20所示，导致该重叠区域内的人物消失(参考输出图像内的用单 点划线包围的区域R12)。
[0255]因此，图像生成装置100利用用于带来同色错觉而形成的格子花纹，在生成与2个 摄像机各自的拍摄范围的重叠区域对应的输出图像部分时，防止存在于该输出图像部分的 物体消失。
[0256] 图21A及图21B是对在2个摄像机各自的拍摄范围的重叠区域的物体的消失防止效 果进行说明的图，图21A表示用于形成图16中示出的用于带来同色错觉的格子花纹的波的 图，图21B表示图21A的局部扩大图。
[0257] 在图21A中，用虚线包围的投影图像PRJ1表示后方摄像机2B的输入图像中的物体 0BJ1的图像根据用于生成路面图像的视点变换，在连接该后方摄像机2B与该物体0BJ1的线 的延长方向上延伸的投影图像(使用后方摄像机2B的输入图像生成该输出图像部分中的路 面图像时显示出的图像）。
[0258]并且，用虚线包围的投影图像PRJ2表示右侧方摄像机2R的输入图像中的物体0BJ1 的图像根据用于生成路面图像的视点变换，在连接该右侧方摄像机2R与该物体0BJ1的线的 延长方向上延伸的投影图像(使用右侧方摄像机2R的输入图像来生成该输出图像部分中的 路面图像时显示出的图像）。
[0259]另外，投影图像PRJ1及投影图像PRJ2在最终的输出图像上并不以原来的状态显 示，如图21B所示，以局部缺损的状态显示。
[0260]并且，在图21A中，表示投影图像PRJ1的虚线区域中，涂成灰色的部分表示与腹线 ANL所通过的单位图案区域LT1(参考图16)的重叠部分。而且，与该重叠部分对应的输出图 像上的各坐标与后方摄像机2B的输入图像平面上的坐标(形成物体0BJ1的图像的区域内的 坐标)建立对应。
[0261]另一方面，表示投影图像PRJ1的虚线区域中，涂成白色的部分表示与节线NL所通 过的单位图案区域LT2(参考图16)的重叠部分。而且，表示与该重叠部分对应的输出图像上 的各坐标与右侧方摄像机2R的输入图像平面上的坐标(不形成物体OBJ 1的图像的区域内的 坐标)建立对应。
[0262]另外，在表示投影图像PRJ1的虚线区域中，与涂成灰色的部分对应的输出图像上 的各坐标可以与右侧方摄像机2R的输入图像平面上的坐标(不形成物体OBJ 1的图像的区域 内的坐标)建立对应。并且，在表示投影图像PRJ1的虚线区域中，与涂成白色的部分对应的 输出图像上的各坐标可以与后方摄像机2B的输入图像平面上的坐标(形成物体0BJ1的图像 的区域内的坐标)建立对应。
[0263]该情况下，如图21B所示，投影图像PRJ1通过包含将与其延伸方向正交的圆（将后 方摄像机2B的位置作为波源的波的波峰及波谷所描绘的圆）的局部作为其边界线的单位图 案区域LT2而缺损。但投影图像PRJ1由于相邻的单位图案区域LT1相互使顶点接触，因此很 难分割成细丝状，且单位图案区域LT2分别包括与其延伸方向正交的圆的一部分，因此其轮 廓也以容易识别的清楚的状态保存。
[0264]并且，投影图像PRJ1具有如下倾向，即物体OBJ 1的高度越高，在从摄像机远离的方 向上延伸越长，且越从摄像机远离，放大得越大。但单位图案区域LT1及LT2均为越从摄像机 远离，越以与其投影图像PRJ1相同程度更加放大，因此其缺口状态也大致均匀地维持。
[0265]而且，在图21A中，在表示投影图像PRJ2的虚线区域中，涂成黑色的部分表示与节 线NL所通过的单位图案区域LT2(参考图16)的重叠部分。而且，与该重叠部分对应的输出图 像上的各坐标与右侧方摄像机2R的输入图像平面上的坐标(形成物体0BJ1的图像的区域内 的坐标)建立对应。
[0266] 另一方面，在表示投影图像PRJ2的虚线区域中，涂成白色的部分表示与腹线ANL所 通过的单位图案区域LT1(参考图16)的重叠部分。而且与该重叠部分对应的输出图像上的 各坐标与后方摄像机2B的输入图像平面上的坐标（不形成物体0BJ1的图像的区域内的坐 标)建立对应。
[0267] 另外，在表示投影图像PRJ2的虚线区域中，与涂成黑色的部分对应的输出图像上 的各坐标可以与后方摄像机2B的输入图像平面上的坐标(不形成物体OBJ 1的图像的区域内 的坐标)建立对应。并且，在表示投影图像PRJ2的虚线区域中，与涂成白色的部分对应的输 出图像上的各坐标可以与右侧方摄像机2R的输入图像平面上的坐标(形成物体0BJ1的图像 的区域内的坐标)建立对应。
[0268] 此时，如图21B所示，与投影图像PRJ1同样地，投影图像PRJ2通过包含将与其延伸 方向正交的圆（将右侧方摄像机2R的位置作为波源的波的波峰及波谷所描绘的圆）的一部 分作为其边界线的单位图案区域LT1而缺损。但投影图像PRJ2由于相邻的单位图案区域LT2 相互使顶点接触，因此不易分割成细丝状，且单位图案区域LT1分别包括与其延伸方向正交 的圆的一部分，因此其轮廓也以容易识别的清楚的状态被保存。
[0269]而且，与投影图像PRJ1同样地，投影图像PRJ2具有如下倾向，即物体0BJ1的高度越 高，在从摄像机远离的方向上延伸得越长，且越从摄像机远离，放大得越大。但单位图案区 域LT1及LT2均为越从摄像机远离，越以与该投影图像PRJ2相同的程度更加放大，因此其缺 口状态也大致均匀地维持。
[0270]图22A及图22B表示图20中示出的输出图像与在图20的输出图像中应用了带来同 色错觉的格子花纹的输出图像的差异。另外，图22A表示图20中示出的输出图像，图22B表示 应用了带来同色错觉的格子花纹的输出图像。
[0271]包括基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机2B 的输入图像的输出图像上的区域之间的边界的图22A的用单点划线包围的区域R13提示人 物消失的状态。但基于右侧方摄像机2R的输入图像的输出图像上的区域与基于后方摄像机 2B的输入图像的输出图像上的区域成为格子花纹并混合存在的图22B的用单点划线包围的 区域R14不会使人物消失，而是以容易识别该人物的状态提示。因此图像生成装置100能够 可靠地使看到包括该区域R14的输出图像的驾驶员识别该人物的存在。
[0272] 根据以上结构，图像生成装置100通过利用用于带来同色错觉的格子花纹，在生成 与2个摄像机各自的拍摄范围的重叠区域对应的输出图像部分时，能够防止存在于该输出 图像部分的物体消失。并且，与以2个输入图像各自的局部区域交替配置成齿梳状的方式接 合2个输入图像的情况相比，图像生成装置100能够以容易识别的方式保存存在于与其重叠 区域对应的输出图像部分的物体的投影图像的轮廓，并能够以驾驶员更容易识别的状态显 示其局部缺损的物体的投影图像。
[0273] 然而，图像生成装置100只要利用格子花纹就不得不接受由投影图像的残片化引 起的美观性变差。尤其，在输出图像的分辨率较低的情况下，单位图案区域LT1、LT2的细微 部分劣化，因此，由噪声的产生等引起的美观性的变差变得更显著。其结果，有可能会产生 无法发挥原来的设计意图即以容易识别的形式保存投影图像的轮廓的情况。
[0274] 另外，不利用格子花纹，而是在生成与重叠区域对应的输出图像部分时对后方摄 像机2B的输入图像中的像素值和右侧方摄像机2R的输入图像中的像素值进行平均化的情 况下，控制部1能够防止由投影图像的残片化引起的美观性变差。但通过投影图像的半透明 化会导致投影图像的辨识性变差。并且，从一开始若不利用格子花纹，则无法实现基于格子 花纹的上述效果，因此无法直接采用这种平均化。
[0275] 因此，图像生成装置100的控制部1为了在维持投影图像的辨识性的同时防止美观 性变差而调整单位图案区域LT1、LT2各自的细微部分中的像素值。具体而言，控制部1对后 方摄像机2B的输入图像中的像素值和右侧方摄像机2R的输入图像中的像素值进行加权平 均，从而导出形成单位图案区域LT1、LT2的像素值。另外，在本实施例中，控制部1能够利用 在插值处理时利用的加权平均部112导出后方摄像机2B的输入图像中的像素值和右侧方摄 像机2R的输入图像中的像素值的加权平均。通过该结构，控制部1并用格子花纹和平均化， 在能够维持该输出图像部分的辨识性的同时防止美观性下降。另外，基于格子花纹的辨识 性的改善与基于平均化的美观性的改善之间具有权衡关系。具体而言，作为各像素值采用 的加权平均值越接近于简单平均值，美观性越得到改善，但辨识性下降。这是因为虽然基于 格子花纹的残片化被消除，但投影图像半透明化。因此如以下说明，控制部1根据各像素的 位置适当地调整在加权平均时使用的权重系数，从而实现辨识性和美观性的平衡。
[0276] 图23是表示为了改善与重叠区域对应的输出图像部分的美观性而控制部1对后方 摄像机2B的输入图像中的像素值和侧方摄像机2L、2R的输入图像中的像素值进行加权平均 的处理（以下，设为"平均化边界处理"。）的流程的概略图。另外，以下，为便于说明，对将后 方摄像机2B的输入图像中的像素值和右侧方摄像机2R的输入图像中的像素值进行加权平 均的情况进行说明。然而，即使在对后方摄像机2B的输入图像中的像素值和左侧方摄像机 2L的输入图像中的像素值进行加权平均的情况下，也可以适用相同的说明。
[0277] 首先，控制部1在输出图像平面上设定"场"。"场"是与时空(输出图像平面上）的各 点相关联的物理量。若在"场"中指定坐标，则确定某一物理量。上述
[0278] [数式 13]
[02791
[0280]为"场的"一个例子，是与将右侧方摄像机2R的位置作为波源的波和将后方摄像机 2B的位置作为波源的波的合成波的振幅有关的物理量。另外，"。^，。^彡表示右侧方摄像 机2R的光学中心的坐标，（Xcam2，Ycam2 )表不后方摄像机2B的光学中心的坐标，（Xtarget，Ytarget) 表示空间模型MD的平面区域R1上的一个坐标。并且，λ:表示将右侧方摄像机2R作为波源而 扩展的波的波长[mm]，Pi表示将右侧方摄像机2R作为波源而扩展的波的相位[rad]，λ 2表示 将后方摄像机2Β作为波源而扩展的波的波长[mm]，Ρ2表示将后方摄像机2Β作为波源而扩展 的波的相位[rad]。
[0281 ]在本实施例中，控制部1设定由上述式表示的场。该情况下，"场"的值f通过 表示。而且，图17中示出的单位图案区域LT1内的"场"的值f通过0<f<l表示，单位图案 区域LT2内的"场"的值f通过-l<f <0表示。
[0282]并且，控制部1可以将与把右侧方摄像机2R的位置作为波源的波和把后方摄像机 2B的位置作为波源的波的合成波的振幅有关的物理量即
[0283] [数式 14]
[0284]
[0285] 设定为"场"。该情况下，"场"的值f通过-1彡f<l表示。而且，图17中示出的单位图 案区域LT1内的"场"的值f通过0<f<l表示，单位图案区域LT2内的"场"的值f通过-1彡 0表示。
[0286] 之后，控制部1将"场"的值f变换为"权重"的值w。"权重"为在加权平均时使用的权 重系数。在本实施例中，控制部1将"场"的值f变换为后方摄像机2B的输入图像中的像素值 的"权重"的值w B。并且，值WB与右侧方摄像机2R的输入图像中的像素值的"权重"的值WR之间 具有互补的关系，值WB和值WR的合计设为始终恒定，若值WB增加，贝值WR减少。
[0287] 图24是在从"场"的值f向"权重"的值WB的变换中使用的变换曲线的一例。图24的 变换曲线通过下式表示，
[0288] [数式 15]
[0289]
[0290] 例如在增强与重叠区域对应的输出图像部分的格子花纹的对比度时使用。另外， A〇为表示陡度的参数，例如0<A〇彡0.12。
[0291] 图25是在从"场"的值f向"权重"的值WB的变换中使用的变换曲线的另一例。图25 的变换曲线通过wz&fMl-Mf表示，例如在减弱与重叠区域对应的输出图像部分中的格 子花纹的对比度时使用。另外上为表示陡度的参数，例如为OSA^l^ApO时成为线性。
[0292] 并且，在现阶段中"权重"的值WB变换成-1以上且+1以下的值。这是为了在后续处 理中使用时的便利。该变换中使用取整处理（用最小值、最大值来限制）、标度变换(线性变 换)等。
[0293] 并且，在使用上述"场"及变换曲线的情况下，单位图案区域LT1内的像素值以后方 摄像机2B的输入图像中的像素值的权重w B成为右侧方摄像机2R的输入图像中的像素值的 权重wR以上的状态导出。即，以后方摄像机2B的输入图像中的像素值的影响（贡献度)成为 右侧方摄像机2R的输入图像中的像素值的影响（贡献度）以上的方式导出。并且，单位图案 区域LT2内的像素值以右侧方摄像机2R的输入图像中的像素值的权重w R成为后方摄像机2B 的输入图像中的像素值的权重wB以上的状态导出。即，以右侧方摄像机2R的输入图像中的 像素值的影响（贡献度)成为后方摄像机2B的输入图像中的像素值的影响（贡献度）以上的 方式导出。
[0294] 另外，关于单位图案区域LT1内的像素，可以以权重wR成为权重wB以上的状态导出， 且关于单位图案区域LT2内的像素，可以以权重w B成为权重wR以上的状态导出。并且，与单位 图案区域LT1内的像素有关的权重WB、WR在每一个像素中可以是不同的值，也可以是相同的 值。对于与单位图案区域LT2内的像素有关的权重wB、wR也相同。
[0295] 另外，与单位图案区域LT1内的所有像素有关的权重wB不必为权重wR以上，且与单 位图案区域LT2内的所有像素有关的权重WR不必成为权重WB以上。例如也可以用与单位图案 区域LT1内的各像素有关的权重WB的平均值成为权重WR的平均值以上且与单位图案区域LT2 内的各像素有关的权重WR的平均值成为权重WB的平均值以上的变换曲线来导出权重WB、WR。 在与单位图案区域LT1内的像素有关的权重WR以成为权重WB以上的状态导出，且与单位图案 区域LT2内的像素有关的权重WB以成为权重WR以上的状态导出的情况下也相同。
[0296] 图26A~图26C是表示与单位图案区域LT1中的像素有关的权重WB的值和与单位图 案区域LT2中的像素有关的权重WB的值的关系的图。具体而言，图26A是表示单位图案区域 LT1及单位图案区域LT2中的各像素的配置的图，单位图案区域LT1包括像素 G1~G5,单位图 案区域LT2包括像素 G6~G10。在本实施例中，像素 G1、G5是存在于单位图案区域LT1的周缘 部的像素，像素 G3为存在于单位图案区域LT1的中心部的像素，像素 G2、G4是存在于单位图 案区域LT1的中心部与周缘部之间的中间部的像素。
[0297] 同样地，像素 G6、G10是存在于单位图案区域LT2的周缘部的像素，像素 G8是存在于 单位图案区域LT2的中心部的像素，像素 G7、G9是存在于单位图案区域LT2的中心部与周缘 部之间的中间部的像素。
[0298] 并且，图26B及图26C表示与图26A的各像素有关的权重WB的值。图26B表示在表示 单位图案区域LT 1中的权重WB值的变化的变化线TL1 (虚线)和表示单位图案区域LT2中的权 重wb值的变化的变化线TL2(单点划线)在以零值横切单位图案区域LT1与单位图案区域LT2 的边界线BL时成为连续的例子。另外，图26B中示出的例子会带来2种单位图案区域的边界 比较不明显的输出图像。并且，图26C表示在变化线TL1、TL2横切边界线BL时不连续的例子。 另外，在图26C中示出的例子会带来2种单位图案区域的边界比较明显的输出图像。
[0299]具体而言，图26B表示分别与包括在单位图案区域LT1中的像素 G1~G5有关的权重 WB的值为0以下，即权重WR以下，且表示分别与包括在单位图案区域LT2中的像素 G6~G10有 关的权重wB的值为0以上，即权重WR以上。
[0300]并且，图26C表示分别与包括在单位图案区域LT1中的像素 G1及G5和包括在单位图 案区域LT2中的像素 G7~G9有关的权重wb的值为0以上，即权重WR以上，且表示分别与包括在 单位图案区域LT1中的像素 G2~G4和包括在单位图案区域LT2中的像素 G6及G10有关的权重 WB的值为0以下，即权重WR以下。
[0301]并且，图26B及图26C中，均具有变化线TL1的轨迹与变化线TL2的轨迹正负颠倒的 关系。具体而言，从单位图案区域LT1的中心朝向轮廓时的权重wb的变化线TL1的轨迹具有 将从单位图案区域LT2的中心朝向轮廓时的权重w B的变化线TL2的轨迹正负颠倒的关系。对 于权重WR也相同。
[0302]之后，控制部1根据需要对所导出的"权重"的值wb进行修正。在本实施例中，控制 部1执行加法运算修正及乘法运算修正。加法运算修正为对"权重"的值WB相加加法运算修 正值的处理。加法运算修正值优选具有能够将"权重"的值WB的最大值和最小值颠倒的大 小，在"权重"的值WB为-1以上且1以下的情况下，可取得-2以上且2以下的值。在本实施例 中，加法运算修正值的值越大，"权重"的值WB变得越大，后方摄像机2B的输入图像中的像素 值的影响越增大。乘法运算处理为对"权重"的值WB相乘乘法运算修正值的处理。乘法运算 修正值可取得0以上且1以下的值。在本实施例中，乘法运算修正值的值越小，"权重"的值WB 越接近于零（中间值），输出图像中的像素值越接近于后方摄像机2B的输入图像中的像素值 与右侧方摄像机2R的输入图像中的像素值的简单平均值。而且，当乘法运算修正值的值为 零时，值WB成为与值WR相等，使用值WB及值WR算出的加权平均值成为简单平均值。
[0303]在本实施例中，控制部1执行作为加法运算修正的一例的周边减光措施处理。图 27A及图27B是对周边减光措施处理进行说明的图，图27A表示将后方摄像机2B的输入图像 的中心点作为中心的半径为r[像素]的圆，图27B表示半径r与加法运算修正值C B1的关系。另 外，周边减光措施处理为使由周边光量的降低引起的输入图像周边部的暗度变得不明显的 处理。
[0304]具体而言，控制部1导出与后方摄像机2B的输入图像中的像素的位置对应的加法 运算修正值CB1，并将对所导出的加法运算修正值(^以0以上且1以下的值进行取整处理（用 最小值〇、最大值1来限制)之后乘以-2的值，与对应的"权重"的wb进行加法运算。另外，对加 法运算修正值C B1乘以_2(负值），是为了减小后方摄像机2B的输入图像周边部中的像素值的 权重的值wb，从而减小该像素值的影响。
[0305]加法运算修正值(^通过以下式表示。另外，Bo是表示陡度的参数，例如1彡Bo彡52。 并且，表示加法运算修正值CB1达到值1时的r的值，在本实施例中为400 [像素]。
[0306] [数式 16]
[0307]
[0308] 同样地，控制部1导出与右侧方摄像机2R的输入图像中的像素的位置对应的加法 运算修正值CR1(省略图示。），并将对所导出的加法运算修正值C R1W〇以上且1以下的值进行 取整处理（用最小值〇、最大值1来限制)之后乘以+2的值，与对应的"权重"的值wb进行加法 运算。另外，对加法运算修正值C R1乘以+2(正值），是为了加大后方摄像机2B的输入图像中的 像素值的权重的值wb而增大该像素值的影响，从而减小右侧方摄像机2R的输入图像周边部 中的像素值的影响。
[0309]并且，控制部1执行作为加法运算修正的另一例的侧缘措施处理。图28A及图28B是 对侧缘措施处理进行说明的图，图28A表示从后方摄像机2B的输入图像的中心点向右延伸 水平距离X[像素]的箭头，图28B表示水平距离X与加法运算修正值C B2的关系。另外，侧缘措 施处理是使与一个输入图像的侧端部的像素对应的输出图像上的像素与对应于另一个输 入图像的像素的输出图像上的像素相邻时的像素值的急剧变化不明显的处理。
[0310] 具体而言，控制部1导出与后方摄像机2B的输入图像中的像素的位置对应的加法 运算修正值CB2,并将对所导出的加法运算修正值C B2以0以上且1以下的值进行取整处理（用 最小值〇、最大值1来限制)之后乘以-2的值，与对应的"权重"的值wb进行加法运算。另外，对 加法运算修正值C B2乘以_2(负值），是为了减小后方摄像机2B的输入图像的侧端部中的像素 值的权重的值wb，从而减小该像素值的影响。
[0311] 加法运算修正值CB2通过以下式表示。另外，B2是表示陡度的参数，例如0彡B2< 1。 并且，B3表示加法运算修正值CB2达到值1时的X的值，在本实施例中为± 320 [像素]。
[0312] [数式 17]
[0313]
[0314] 同样地，控制部1导出与右侧方摄像机2R的输入图像中的像素的位置对应的加法 运算修正值CR2(省略图示。），并将对所导出的加法运算修正值C R2以0以上且1以下的值进行 取整处理（用最小值〇、最大值1来限制)之后乘以+2的值，与对应的"权重"的值 WB进行加法 运算。另外，对加法运算修正值CR2乘以+2(正值），是为了加大后方摄像机2B的输入图像中的 像素值的权重的值wb而增大该像素值的影响，从而减小右侧方摄像机2R的输入图像的侧端 部中的像素值的影响。
[0315] 并且，控制部1执行作为乘法运算修正的一例的远方区域图案化措施处理。图29A 及图29B是对远方区域图案化措施处理进行说明的图，图29A表示将空间模型MD的中心点作 为中心的半径为R[像素]的圆，图29B表示半径R与乘法运算修正值C P的关系。另外，图29A中 的白色表示"权重"的值wB为-1，图29A中的黑色表示"权重"的值 WB为+1，图29A中的中间色表 示"权重"的值wb大于-1且小于+1。远方区域图案化措施处理是使与重叠区域对应的输出图 像部分的远方区域(从空间模型MD的中心远离的区域）中的格子花纹变得不明显的处理。具 体而言，远方区域图案化措施处理使作为远方区域中的像素值而采用的加权平均值接近于 简单平均值。即，通过使乘法运算修正值接近于零而使值wb接近于值WR。因此远方区域图案 化措施处理在维持与重叠区域对应的输出图像部分的远方区域以外区域中的三维物体图 像的辨识性的同时，能够改善远方区域中的三维物体图像的美观性。另外，在远方区域中， 作为俯视图像的性质变弱，因此与接近于中心的区域相比，不易产生三维物体图像的消失。 因此即使作为像素值采用的加权平均值接近于简单平均值，对输出图像进行识别的操作人 员也可适当地识别三维物体图像的存在。
[0316] 具体而言，控制部1导出与输出图像中的像素的位置对应的乘法运算修正值&，并 将所导出的乘法运算修正值&与对应的"权重"的值wb进行乘法运算。这是为了使远方区域 中的像素的值接近于后方摄像机2B的输入图像中的像素的值与右侧方摄像机2R的输入图 像中的像素的值的简单平均值。
[0317] 乘法运算修正值CP通过以下式表示。另外，B4是表示陡度的参数，例如0<B4<10。 并且，B5表示乘法运算修正值Cp达到拐点时的R的值，在本实施例中为150 [像素]。
[0318][数式 18]
[0319]
[0320]如此，控制部1通过执行加法运算修正及乘法运算修正对"权重"的值wb进行修正。 在本实施例中，如以下式所示，控制部1对"权重"的值WB进行修正。另外，在以下式中值W ' B表 示修正后的值。
[0321][数式 19]
[0322] w7 b= (wb-2 X Cbi+2 X Cri-2 X CB2+2 X Cr2) X Cp
[0323] 另外，控制部1也可以省略周边减光措施处理、侧缘措施处理及远方区域图案化措 施处理中的至少1种。例如控制部1也可以省略周边减光措施处理、侧缘措施处理及远方区 域图案化措施处理的所有处理，也可以省略周边减光措施处理或侧缘措施处理。
[0324] 之后，控制部1将经过修正的"权重"的值w'B换算成可安装于硬件的形式。在本实 施例中，控制部1将"权重"的值w'B标度变换成0以上且255以下的值。这是为了设为适合于 二进制运算的值。
[0325] 并且，控制部1以后方摄像机2B的输入图像中的像素值的"权重"的值w ' b和右侧方 摄像机2R的输入图像中的像素值的"权重"的值w'r的合计成为255的方式导出值w'B、w' R。另 外，值w ' R是从经过修正的"权重"的值w ' b中导出的值。
[0326]例如，若后方摄像机2B的输入图像中的像素值的"权重"的值w'B为最大值即255， 则控制部1将右侧方摄像机2R的输入图像中的像素值的"权重"的值w'r设为最小值即0。该 情况下，控制部1将右侧方摄像机2R的输入图像中的像素值的贡献度设为零，将后方摄像机 2B的输入图像中的像素值直接用作输出图像的像素值。
[0327] 或者，若值w 'b为最小值即0，则控制部1将值w 'R设为最大值即255。该情况下，控制 部1将后方摄像机2B的输入图像中的像素值的贡献度设为零，将右侧方摄像机2R的输入图 像中的像素值直接用作输出图像的像素值。
[0328] 或者，若值w ' b为153，则控制部1将值w ' R设为102。该情况下，控制部1以后方摄像机 2B的输入图像中的像素值的贡献度与右侧方摄像机2R的输入图像中的像素值的贡献度之 比成为3:2的方式确定输出图像的像素值。
[0329]在本实施例中，后方摄像机2B的输入图像中的像素值与右侧方摄像机2R的输入图 像中的像素值的加权平均，使用控制部1的输出图像生成构件11中的加权平均部112 (参考 图11。）执行。加权平均部112根据后方摄像机2B的输入图像中的像素值的权重w'B导出输出 图像中的像素值。例如可以考虑后方摄像机2B的输入图像中的像素值具有YCbCr方式的颜 色数据(￥3、〇33、03)，且右侧方摄像机21?的输入图像中的像素值具有颜色数据(￥4、〇34、 Cr4)的情况。另外，Y3、Y4为亮度信号，例如具有256级(8位）的等级。并且Cb3、Cb4、Cr3、Cr4 为色差信号，例如具有256级（8位）的等级。该情况下，亮度信号Y通过Y={w' BXY3+(255-w ，b)XY4}/256表示。并且，色差信号 Cb 通过 Cb={w'BXCb3+(255-w'B)XCb4}/256表示，色差 信号Cr通过〇={￥、\〇3+(255-￥'0\〇4}/256表示。另外，根据上述理由而使用值"255" 来代替值"256"。并且，基于值"256"的除法运算通过8次右移位运算而实现。通过该结构，与 插值处理中的加权平均相同，关于平均化边界处理中的加权平均，图像生成装置100也能够 实现适合于基于FPGA等的组装安装的低运算量。因此图像生成装置100即使在装配插值处 理及平均化边界处理的情况下，也能够避免搭载除法运算电路等。
[0330]图30A~图30C是对平均化边界处理的效果进行说明的图，图30A表示不应用平均 化边界处理，而应用格子花纹形成处理生成的输出图像的1例。并且，图30B为应用平均化边 界处理而生成的输出图像的1例，表示在与重叠区域对应的输出图像部分后方摄像机2B的 输入图像中的像素值和侧方摄像机2L、2R的输入图像中的像素值被加权平均的状态。并且， 图30C为应用平均化边界处理而生成的输出图像的另1例，表示在与重叠区域对应的输出图 像部分后方摄像机2B的输入图像中的像素值和侧方摄像机2L、2R的输入图像中的像素值被 简单平均的状态。另外，图像生成装置100也能够应用平均化边界处理而生成图30A所示的 输出图像。
[0331]如图30所示，与重叠区域对应的输出图像部分中的三维物体图像的辨识性在图 30A中最高，并按图30B、图30C的顺序降低。即操作人员在图30A中示出的输出图像中能够最 清楚地识别出与重叠区域对应的输出图像部分的三维物体图像，在图30B、图30C中示出的 输出图像中，因基于加权平均或简单平均的像素值的混合而三维物体图像模糊，从而不易 识别三维物体图像。
[0332]另一方面，与重叠区域对应的输出图像部分的美观性在图30C中最佳，并按图30B、 图30A的顺序降低。即操作人员在图30C中示出的输出图像中不受格子花纹的干扰，但在图 30B、图30A中示出的输出图像中，有时因存在格子花纹而感觉到不自然。
[0333]根据上述性质，图像生成装置100的操作人员根据挖土机的作业环境、气候、周围 的明亮度等，能够自由地调整具有权衡关系的辨识性和美观性的平衡。其结果，操作人员能 够根据需要改善输出图像的美观性。
[0334] 接着，参考图31对输出图像生成构件11根据输出图像中的像素的位置选择性地执 行平均化边界处理和插值处理而改善输出图像的处理（以下设为"输出图像改善处理"。）的 流程进行说明。另外，图31是表示输出图像改善处理的流程的流程图。并且，输出图像生成 构件11例如执行该输出图像改善处理，以代替在图7的步骤S5中单独执行图12的插值处理。
[0335] 首先，输出图像生成构件11判定要导出像素值的像素是否属于与重叠区域对应的 输出图像部分(步骤S61)。
[0336] 在判定为属于与重叠区域对应的输出图像部分时(步骤S61的"是"），输出图像生 成构件11执行平均化边界处理(步骤S62)。
[0337] 另一方面，在判定为不属于与重叠区域的对应的输出图像部分时（步骤S61的 "否"），输出图像生成构件11执行插值处理(步骤S63)。
[0338] 另外，平均化边界处理中的加权平均和插值处理中的加权平均均通过输出图像生 成构件11的加权平均部112而执行。在本实施例中，加权平均部112对这2个加权平均并不作 特别区别，而是使用二进制运算来执行加权平均。具体而言，加权平均部112在插值处理中 使用权重α对1个输入图像中的2个像素值进行加权平均，在平均化边界处理中使用权重w对 2个输入图像中的2个像素值进行加权平均。因此图像生成装置100无需分别准备用于平均 化边界处理中的加权平均的功能要件及用于插值处理中的加权平均的功能要件。该构成在 输出图像生成构件11由FPGA实现的情况等，在控制部1的资源有一定限制的情况下是有效 的。
[0339] 通过以上结构，图像生成装置100使用设定于输出图像平面上的"场"的值，一个摄 像机的输入图像中的像素值的权重和另一个摄像机的输入图像中的像素值的权重以可调 整的方式确定。另外，"场"的值为与合成波的振幅有关的物理量，所述合成波为将拍摄范围 的一部分重叠的2个摄像机中的一个摄像机作为波源的波和将另一个摄像机作为波源的波 的合成波。而且，通过对一个摄像机的输入图像中的像素值和另一个摄像机的输入图像中 的像素值进行加权平均，能够导出与重叠区域对应的输出图像部分中的像素值。因此能够 自由地调整具有权衡关系的输出图像的辨识性和美观性的平衡，并能够根据需要改善输出 图像部分的美观性。
[0340] 并且，控制部1将与上述2个波的合成波的振幅有关的物理量即"场"的值变换为一 个摄像机的输入图像中的像素值的"权重"的值。并且，从一个摄像机的输入图像中的像素 值的"权重"的值中导出另一个摄像机的输入图像中的像素值的"权重"的值。并且，一个摄 像机的输入图像中的像素值的"权重"的值、及另一个摄像机的输入图像中的像素值的"权 重"的值均变换成规定范围（例如〇以上且255以下）内的值。并且，将一个摄像机的输入图像 中的像素值的"权重"的值和另一个摄像机的输入图像中的像素值的"权重"的值的合计始 终维持恒定(例如255)。因此关于平均化边界处理中的加权平均，图像生成装置100能够实 现适合于基于FPGA等的组装安装的低运算量。
[0341] 并且，控制部1使用规定的变换曲线将"场"的值变换为一个摄像机的输入图像中 的像素值的"权重"的值。因此关于与重叠区域对应的输出图像部分中的各像素，图像生成 装置1〇〇根据2个摄像机的位置关系能够唯一地确定2个摄像机各自的输入图像中的像素值 的"权重"的值。
[0342] 并且，控制部1将2个输入图像各自的周边部的像素值的权重修正为较低。因此，在 与重叠区域对应的输出图像部分，图像生成装置100能够使由周边光量的降低引起的输入 图像的周边部的暗度不明显。
[0343]并且，控制部1将2个输入图像各自的侧端部的像素值的权重修正为较低。因此在 与重叠区域对应的输出图像部分，图像生成装置100能够使与一个输入图像的侧端部的像 素对应的输出图像上的像素与对应于另一个输入图像的像素的输出图像上的像素相邻时 的像素值的急剧变化不明显。
[0344] 并且，控制部1对于与重叠区域对应的输出图像部分的远方区域中的像素，以一个 摄像机的输入图像的像素值的权重接近于另一个摄像机的输入图像的像素值的权重的方 式修正2个输入图像各自的像素值的权重。因此，图像生成装置100能够使远方区域的格子 花纹不明显。
[0345] 以上，对本发明的优选实施例进行了详细说明，但本发明并不限定于上述实施例， 在不脱离本发明的范围的情况下可以对上述实施例追加各种变形及替换。
[0346] 例如，在上述实施例中，图像生成装置100可以使用运算值来导出"场"的值f、"权 重"的值w、加法运算修正值CB1、C R1、CB2、CR2、乘法运算修正值CP、经过修正的"权重"的值w '等 各种值，也可以使用预先准备的参照表导出。
[0347] 并且，图像生成装置100在将"权重"的值w、加法运算修正值(^、(^、(^、(^、乘法运 算修正值C P等变换为规定范围内的值时，除了取整处理以外，还可以使用标度变换等。并 且，在进行各个运算时可以单独进行变换处理，也可以在几个连续的运算之后进行变换处 理。
[0348]并且，图像生成装置100采用圆筒状空间模型MD而作为空间模型，但可以采用具有 多棱柱等其它柱状形状的空间模型，也可以采用由底面及侧面这两个面构成的空间模型， 或者也可以采用仅具有侧面的空间模型。
[0349]并且，图像生成装置100与摄像机一同搭载于具备铲斗、斗杆、动臂、回转机构等可 动部件且自行的建设机械上。而且组装于将周围图像提示给驾驶员的同时支持该建设机械 的移动及这些可动部件的操作的操作支持系统中。然而，图像生成装置1〇〇也可以与摄像机 一同搭载于如产业用机械或固定式起重机等具有可动部件但不自行的其它被操作体上，也 可以组装于支持这些其它被操作体的操作的操作支持系统中。
[0350] 并且，本申请主张基于2014年2月12日申请的日本专利申请2014-024471号的优先 权，并将该日本专利申请的全部内容通过参考援用于本申请中。
[0351] 符号的说明
[0352] 1-控制部，2-摄像机，2L-左侧方摄像机，2R-右侧方摄像机，2B-后方摄像机，3-输 入部，4-存储部，5-显示部，10-坐标对应建立构件，11-输出图像生成构件，40-输入图像· 空间模型对应映射，41-空间模型?处理对象图像对应映射，42-处理对象图像?输出图像 对应映射，60-挖土机，61-下部行驶体，62-回转机构，63-上部回转体，64-操纵室，110-整数 坐标点选择部，111-权重导出部，112-加权平均部。
【主权项】
1. 一种图像生成装置，其根据安装于被操作体上的多个摄像机所拍摄到的多个输入图 像而生成输出图像，其特征在于， 与所述多个摄像机中的2个摄像机各自的拍摄范围重叠的区域对应的所述多个摄像机 中的2个摄像机各自的输入图像部分，在所述输出图像中以形成格子花纹的方式配置， 所述格子花纹将通过以第一摄像机的位置作为波源的第一波的波峰所描绘的圆、该第 一波的波谷所描绘的圆、以第二摄像机的位置作为波源的第二波的波峰所描绘的圆、该第 二波的波谷所描绘的圆而被划分的格子作为单位图案， 形成所述单位图案的像素的值为对所述第一摄像机所拍摄到的第一输入图像的像素 的值和所述第二摄像机所拍摄到的第二输入图像的像素的值进行加权平均的值， 通过所述第一波及所述第二波而形成的腹线所通过的单位图案及节线所通过的单位 图案中的一个单位图案中，与各像素有关的所述第一输入图像的像素值的权重的平均值为 与各像素有关的所述第二输入图像的像素值的权重的平均值以上，另一个单位图案中，与 各像素有关的所述第一输入图像的像素值的权重的平均值为与各像素有关的所述第二输 入图像的像素值的权重的平均值以下， 所述第一输入图像的像素值的权重及所述第二输入图像的像素值的权重根据与所述 第一波和所述第二波的合成波的振幅有关的物理量而确定。2. 根据权利要求1所述的图像生成装置，其中， 从所述腹线所通过的单位图案的中心朝向轮廓时的所述第一输入图像的像素值的权 重或所述第二输入图像的像素值的权重的变化线的轨迹，与从所述节线所通过的单位图案 的中心朝向轮廓时的所述第一输入图像的像素值的权重或所述第二输入图像的像素值的 权重的变化线的轨迹，具有正负颠倒的关系。3. 根据权利要求1所述的图像生成装置，其中， 具有控制部，该控制部将根据所述输出图像中的像素的位置而确定的、与所述第一波 和所述第二波的合成波的振幅有关的物理量变换成所述第一输入图像的像素值的权重， 所述第一输入图像的像素值的权重、及所述第二输入图像的像素值的权重均被变换成 规定范围内的值， 所述第一输入图像的像素值的权重和所述第二输入图像的像素值的权重的合计为恒 定。4. 根据权利要求3所述的图像生成装置，其中， 所述控制部使用规定的变换曲线将所述物理量变换成所述第一输入图像的像素值的 权重。5. 根据权利要求3所述的图像生成装置，其中， 所述控制部将所述第一输入图像及所述第二输入图像各自的周边部的像素值的权重 修正为降低。6. 根据权利要求3所述的图像生成装置，其中， 所述控制部将所述第一输入图像及所述第二输入图像各自的侧端部的像素值的权重 修正为降低。7. 根据权利要求3所述的图像生成装置，其中， 关于与所述多个摄像机中的2个摄像机各自的拍摄范围重叠的区域对应的输出图像部 分的远方区域中的像素，所述控制部以所述第一输入图像的像素值的权重接近于所述第二 输入图像的像素值的权重的方式对所述第一输入图像及所述第二输入图像各自的像素值 的权重进行修正。8. -种操作支持系统，其支持被操作体的移动或操作，其特征在于， 所述操作支持系统具备： 权利要求1所述的图像生成装置;及 显示部，设置于用来移动或操作所述被操作体的操作室中，并显示该图像生成装置所 生成的输出图像。
【文档编号】H04N7/18GK105900417SQ201480073027
【公开日】2016年8月24日
【申请日】2014年11月6日
【发明人】清田芳永, 市川智子
【申请人】住友重机械工业株式会社