处理对象图像生成装置、处理对象图像生成方法及操作支援系统的制作方法
【技术领域】
[0001] 本发明涉及处理对象图像生成装置、处理对象图像生成方法及使用了该装置或者 方法的操作支援系统，基于输入图像，生成成为用于获得输出图像的图像变换处理的对象 的处理对象图像。
【背景技术】
[0002] 已知有一种图像生成装置：将来自相机的输入图像映射到三维空间上的规定的空 间模型上，参照该映射后的空间数据生成并显示从该三维空间中的任意的虚拟视点观察的 视点变换图像（例如，参照专利文献1)。
[0003] 该图像生成装置将在车辆上搭载的相机摄像到的图像投影到由包围该车辆的多 个平面或者曲面构成的立体的空间模型上，使用投影到该空间模型上的图像来生成视点变 换图像（是将虚拟地反映出从正上方观察路面的状态的路面图像以及虚拟地反映出水平 方向的水平图像进行组合后的图像），对驾驶员显示生成的视点变换图像。
[0004]由此，该图像生成装置在驾驶车辆的驾驶员看到了该视点变换图像时，能够毫无 不适感地将该视点变换图像中的物体与位于车外的实际的物体建立对应。
[0005] 另外，已知有与专利文献1记载的图像生成装置相比能够提高调整输出图像时的 灵活性的图像生成装置（参照专利文献2)。
[0006] 现有技术文献
[0007] 专利文献
[0008] 专利文献1 :日本专利第3286306号说明书
[0009] 专利文献2 :日本专利第5135380号说明书
【发明内容】
[0010] 发明所要解决的问题
[0011] 鉴于上述内容，希望提供更容易地进行输出图像的调整的处理对象图像生成装 置、处理对象图像生成方法以及使用了该装置或者方法的操作支援系统。
[0012] 用于解决问题的手段
[0013] 本发明的实施例的处理对象图像生成装置，基于由多个相机拍摄的多个输入图 像，生成成为用于获得输出图像的图像变换处理的对象的处理对象图像，上述处理对象图 像生成装置具备：坐标对应建立部，将各输入图像所处的各输入图像平面上的坐标、投影有 各输入图像的空间模型中的坐标、以及处理对象图像平面上的坐标建立对应，该处理对象 图像平面是上述处理对象图像所在的平面，并且是投影到上述空间模型而得到的图像进行 再投影的平面；以及图像调整部，按照每个输入图像分别决定对上述空间模型上的坐标和 与该空间模型上的坐标对应的上述处理对象图像平面上的坐标进行连结的直线的斜率，来 调整上述处理对象图像，上述坐标对应建立部以使与1个输入图像相关的上述直线分别在 与上述处理对象图像平面垂直的平面上平行的方式，将上述空间模型上的坐标与上述处理 对象图像平面上的坐标建立对应，或者上述坐标对应建立部以使与1个输入图像相关的上 述直线分别通过单一的规定点的方式，将上述空间模型上的坐标与上述处理对象图像平面 上的坐标建立对应，上述图像调整部以在上述处理对象图像平面上的与各输入图像对应的 图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述处理对象图 像平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。
[0014] 另外，本发明的实施例的处理对象图像生成方法，基于由多个相机拍摄的多个输 入图像，生成成为用于获得输出图像的图像变换处理的对象的处理对象图像，上述处理对 象图像生成方法包括：坐标对应建立步骤，将各输入图像所处的各输入图像平面上的坐标、 投影有各输入图像的空间模型中的坐标、以及处理对象图像平面上的坐标建立对应，该处 理对象图像平面是上述处理对象图像所在的平面，并且是投影到上述空间模型而得到的图 像进行再投影的平面；以及图像调整步骤，按照每个输入图像分别决定对上述空间模型上 的坐标和与该空间模型上的坐标对应的上述处理对象图像平面上的坐标进行连结的直线 的斜率，来调整上述处理对象图像，在上述坐标对应建立步骤中，以使与1个输入图像相关 的上述直线分别在与上述处理对象图像平面垂直的平面上平行的方式，上述处理对象图像 平面上的坐标与上述空间模型上的坐标被建立对应，或者以使与1个输入图像相关的上述 直线分别通过单一的规定点的方式，上述处理对象图像平面上的坐标与上述空间模型上的 坐标被建立对应，在上述图像调整步骤中，以在上述处理对象图像平面上的与各输入图像 对应的图像部分的边界线上，使得与表示各输入图像中的规定地物的图像对应的上述处理 对象图像平面上的各坐标一致的方式，按照每个输入图像分别决定上述直线的斜率。
[0015] 另外，本发明的实施例的操作支援系统，对被操作体的移动或者操作进行支援，该 操作支援系统具备：上述的处理对象图像生成装置；以及显示部，设置在用于使上述被操 作体移动或对上述被操作体进行操作的操作室，显示基于上述处理对象图像生成装置生成 的处理对象图像而生成的输出图像。
[0016] 发明效果
[0017] 根据上述的方案，能够提供更容易地进行输出图像的调整的处理对象图像生成装 置、处理对象图像生成方法以及使用了该装置或者方法的操作支援系统。
【附图说明】
[0018] 图1是示意地表示本发明的实施例的图像生成装置的构成例的框图。
[0019] 图2是表示搭载有图1的图像生成装置的悬臂起重机的构成例的图。
[0020] 图3是表示投影有输入图像的空间模型的一个例子的图。
[0021] 图4是表示空间模型与处理对象图像平面之间的关系的一个例子的图。
[0022] 图5是用于说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。
[0023] 图6是用于说明由坐标对应建立部进行的坐标间的对应建立的图。
[0024] 图7是用于说明平行线组的作用的图。
[0025] 图8是用于说明辅助线组的作用的图。
[0026] 图9是表示处理对象图像生成处理以及输出图像生成处理的流程的流程图。
[0027] 图10是在悬臂起重机的行走体上安装的8台相机的配置图。
[0028] 图11是图10的8台相机的摄像范围的示意图。
[0029] 图12是表示从图10的8台相机的输入图像经过局部图像生成输出图像的处理的 流程的框图。
[0030] 图13是表示图12的处理中的输入图像、局部图像以及输出图像的例子的图。
[0031] 图14是说明行走体监视图像的特征的图。
[0032]图15是说明输出图像与再投影角度的关系的一个例子的图。
[0033] 图16是表示输出图像调整处理的流程的流程图。
[0034]图17是表示空间模型与再投影线的关系的模式图。
[0035] 图18是表示搭载有本发明的实施例的图像生成装置的挖土机的构成例的图。
[0036] 图19是表示投影有输入图像的空间模型的另一个例子的图。
[0037] 图20是表示在图18的挖土机上搭载的3台相机各自的输入图像、以及使用这些 输入图像而生成的输出图像的图。
[0038]图21是说明输出图像与再投影角度的关系的另一个例子的图。
【具体实施方式】
[0039] 下面，参照附图并进行用于实施本发明的最优方式的说明。
[0040] 图1是示意地表示本发明的实施例的在悬臂起重机上搭载的图像生成装置100的 构成例的框图。
[0041] 图像生成装置100是监视悬臂起重机的周边的周边监视装置的一个例子，主要由 控制装置1、相机2、存储装置4、无线通信装置5a、5b以及显示装置6构成。具体地讲，图像 生成装置1〇〇基于在悬臂起重机上搭载的相机2摄像到的输入图像生成输出图像，并将该 输出图像显示到显示装置6。
[0042] 图2是表示搭载有图像生成装置100的悬臂起重机60的构成例的图，图2左图是 悬臂起重机60的侧视，图2右图是悬臂起重机60的前视。
[0043] 悬臂起重机60是在室外设置的移动式起重机，主要具有在轨道RA上行走的行走 体61、在行走体61上设置的塔体62、在塔体62上设置的转动体63以及安装于转动体63 的悬臂64。
[0044] 行走体61具有由一对腿部61a、61b和连接这些一对腿部61a、61b的桁架部61c 构成的门型形状的框架，该行走体61由驱动源61d驱动。在图2的状态下，转动体63在一 X侧端部的+Y侧具备驾驶室63a，在一X侧端部的中央部安装有悬臂64。另外，在行走体 61上设置有控制装置1、相机2以及无线通信装置5a，在转动体63上设置有无线通信装置 5b，在驾驶室63a内的操作者容易观察到的位置设置有显示装置6。
[0045] 接着，关于图像生成装置100的各构成要素进行说明。
[0046]控制装置 1 是具备CPU(CentralProcessingUnit)、RAM(RandomAccess Memory)、R0M(ReadOnlyMemory)、NVRAM(Non_VolatileRandomAccessMemory)等的计 算机。在本实施例中，控制装置1设置于行走体61或者塔体62,该控制装置1例如将与后 述的坐标对应建立部10、图像生成部11以及图像调整部12各自的功能要素对应的程序存 储到ROM、NVRAM，利用RAM作为临时存储区域来使CPU执行与各功能要素对应的处理。另 外，控制装置1也可以设置于转动体63。
[0047] 相机2是用于取得反映出悬臂起重机60的周围的输入图像的装置，该相机2由 CCD(ChargeCoupledDevice)、CMOS(ComplementaryMetalOxideSemiconductor)等摄 像元件构成。在本实施例中，相机2例如包括以能够对成为位于驾驶室63a内的操作者的 死角的区域进行摄像的方式安装于行走体61的多个行走体用相机（后述）。另外，相机2 还可以装配广角透镜或者鱼眼透镜，以便能够对宽广的范围进行摄像。
[0048] 另外，相机2根据来自控制装置1的控制信号取得输入图像，对控制装置1输出取 得的输入图像。另外，在使用鱼眼透镜或者广角透镜取得了输入图像的情况下，相机2对控 制装置1输出对通过使用这些透镜而产生的明显的扭曲、倾斜进行了修正的修正完毕的输 入图像。另外，相机2也可以保持原样地对控制装置1输出没有对该明显的扭曲、倾斜进行 修正的输入图像。在该情况下，控制装置1对该明显的扭曲、倾斜进行修正。
[0049] 存储装置4是用于存储各种信息的装置，例如是硬盘、光盘或者半导体存储器等。
[0050] 无线通信装置5a、5b是用于以无线的方式发送接收信息的装置。在本实施例中， 无线通信装置5a设置于行走体61，并与控制装置1有线连接。另外，无线通信装置5b设置 于转动体63,并与显示装置6有线连接。进而，无线通信装置5a以无线的方式对无线通信 装置5b发送控制装置1基于相机2的输入图像而生成的输出图像。无线通信装置5b在以 无线的方式接收到从无线通信装置5a发送的输出图像时，对显示装置6输出接收到的输出 图像。另外，无线通信装置5a、5b也可以配置于控制装置1与相机2之间。在这种情况下， 无线通信装置5a设置于行走体61或者塔体62,并与相机2有线连接。另外，无线通信装置 5b设置于转动体63,并与设置于转动体63的控制装置1有线连接。根据该构成，图像生成 装置100能够排除与在采用有线连接时产生的电缆的处理、电缆的保护等相关的问题。例 如，在塔体62设置有驾驶员或是操作者的升降用的台阶、电梯等。另外，在塔体62设置有 连结设置于行走体61的设备与设置于转动体63的设备的大量配线。因此，存在难以确保 用于设置更多的电缆的空间的情况。即使在这样的情况下，图像生成装置100通过使用无 线通信装置5a、5b，也能够在相机2与显示装置6之间发送接收图像。
[0051] 显示装置6是用于显示图像信息的装置，该显示装置6例如是在悬臂起重机60的 驾驶室63a(参照图2)内设置的液晶显示器或者投影仪等，显示控制装置1输出的各种图 像。
[0052] 另外，图像生成装置100还可以基于输入图像生成处理对象图像，通过对该处理 对象图像实施图像变换处理，来生成使得能够直观地掌握与周围物体的位置关系、距离感 的输出图像，并将该输出图像显示于显示装置6上。
[0053] "处理对象图像"是基于输入图像而生成的、成为图像变换处理（例如是标度变换 处理、仿射变换处理、扭曲变换处理、视点变换处理等。）的对象的图像。具体地讲，"处理 对象图像"例如是从输入图像生成的、适合于图像变换处理的图像，在此，该输入图像是由 从上方对地表进行摄像的相机所摄像的输入图像，并且是利用其宽广的视场角而包括水平 方向的图像（例如天空部分）的输入图像。更具体地讲，图像生成装置100以不会不自然 地显示该水平方向的图像（例如，不会将天空部分处理成位于地表）的方式，将该输入图像 投影到规定的空间模型。进而，图像生成装置100通过将投影到该空间模型的投影图像再 投影到其他的二维平面来生成处理对象图像。另外，处理对象图像还可以不实施图像变换 处理而直接用作输出图像。
[0054] "空间模型"是输入图像的投影对象。具体地讲，"空间模型"由至少包括处理对象 图像所处的平面即处理对象图像平面以外的平面或者曲面的1个或者多个平面或是曲面 构成。处理对象图像所处的平面即处理对象图像平面以外的平面或者曲面是例如，与处理 对象图像平面平行的平面，或者在与处理对象图像平面之间形成角度的平面或是曲面。
[0055] 另外，图像生成装置100还可以不生成处理对象图像，而是通过对投影到该空间 模型的投影图像实施图像变换处理来生成输出图像。另外，投影图像还可以不实施图像变 换处理而直接用作输出图像。
[0056] 图3是表不投影有输入图像的空间模型MD的一个例子的图，图3左图表不从侧方 观察行走体61时的行走体61与空间模型MD之间的关系，图3右图表示从上方观察行走体 61时的行走体61与空间模型MD之间的关系。
[0057] 如图3所示，空间模型MD具有圆筒形状，并且具有其底面内侧的平面区域R1和其 侧面内侧的曲面区域R2。
[0058] 另外，图4是表示空间模型MD与处理对象图像平面R3之间的关系的一个例子的 图，处理对象图像平面R3是例如包括空间模型MD的平面区域R1在内的平面。另外，处理 对象图像平面R3可以如上述那样，是包括空间模型MD的平面区域R1在内的圆形区域，还 可以是不包括空间模型MD的平面区域R1在内的环状区域。
[0059] 接着，关于控制装置1具有的各种功能要素进行说明。
[0060] 坐标对应