处理对象图像生成装置、处理对象图像生成方法及操作支援系统的制作方法_4

文档序号:9264919阅读:来源:国知局
成作为输出图像的行走体监视图像的处理。另外,图10是使用了悬臂起 重机60的行走体61的俯视、侧视、以及前视的8台相机的配置图。另外,图11是使用了行 走体61的俯视、侧视、以及如视的8台相机的摄像范围的不意图。另外,图12是表不从8 个输入图像经过4个局部图像生成1个输出图像的处理的流程的框图。另外,图13是表示 图12的处理中的输入图像、局部图像以及输出图像的例子的图。另外,图14是说明行走体 监视图像的特征的图。
[0162] 如图10所示,在悬臂起重机60的行走体61上安装有8台相机2 - 1~2 - 8。 具体地讲,如行走体61的俯视F10A、侧视F10B、以及前视F10C所示,在行走体61上安装有 对腿部61a的外侧(+Y侧)摄像的2个相机2 - 1、2 - 5、对轨道延伸方向的一侧(+X侧) 摄像的相机2 - 2、对一对腿部61a、61b之间的空间摄像的2个相机2 - 3、2 - 7、对轨道 延伸方向的另一侧(一X侧)摄像的相机2 - 6、以及对腿部61b的外侧(一Y侧)摄像的 2个相机2 - 4、2 - 8。
[0163] 相机2 - 1安装于桁架部61c的+Y侧的上端部,并具有在图11的俯视F11A以及 前视F11C中的以双点划线表示的光轴,该光轴在点CP1上与路面交叉。另外,在俯视F11A 以及前视F11C中的以粗的光点图形表示的区域CR1表示相机2 - 1的摄像范围的一部分。 另外,在图11中,为了使图清晰明了,省略相机的图示。另外,侧视F11B是从DB方向观察 俯视F11A中的以点线表示的铅垂面的部分剖视图,前视F11C是从DC方向观察侧视F11B 中的以点线表示的铅垂面的部分剖视图。另外,在侧视F11B中,为了使图清晰明了,省略腿 部61a、61b的一部分的图示。
[0164] 相机2 - 2安装于桁架部61c的下表面,并具有在俯视F11A以及侧视F11B中的 以虚线表示的光轴,该光轴在点CP2与路面交叉。另外,在俯视F11A以及侧视F11B中的以 左下降斜线图形表示的区域CR2表示相机2 - 2的摄像范围的一部分。另外,在俯视F11A 中的区域CR1 - 2表示相机2 - 1的摄像范围与相机2 - 2的摄像范围重复的区域。另外, 相机2 - 2还可以安装于桁架部61c的上表面或者侧面。
[0165] 相机2 - 3安装于桁架部61c的下表面,并具有在侧视F11B中的以点划线表示的 光轴,该光轴在点CP3与路面交叉。另外,在俯视F11A、侧视F11B、以及前视F11C中的以右 下降斜线图形表示的区域CR3表示相机2 - 3的摄像范围的一部分。另外,在俯视F11A以 及侧视F11B中的区域CR2 - 3表示相机2 - 2的摄像范围与相机2 - 3的摄像范围重复 的区域。
[0166] 相机2 - 4安装于桁架部61c的一Y侧的上端部,并具有在俯视F11A以及前视 F11C中的以双点划线表示的光轴,该光轴在点CP4与路面交叉。另外,在俯视F11A以及前 视F11C中的以粗的光点图形表示的区域CR4表示相机2 - 4的摄像范围的一部分。另外, 在俯视F11A中的区域CR2 - 4表示相机2 - 2的摄像范围与相机2 - 4的摄像范围重复 的区域。
[0167] 相机2 - 5安装于桁架部61c的+Y侧的上端部,并具有在俯视F11A中的以双点 划线表示的光轴,该光轴在点CP5与路面交叉。另外,在俯视F11A中的以细的光点图形表 示的区域CR5表示相机2 - 5的摄像范围的一部分。另外,在俯视F11A中的区域CR1 - 5 表示相机2 - 1的摄像范围与相机2 - 5的摄像范围重复的区域。
[0168] 相机2 - 6安装于桁架部61c的下表面,并具有在俯视F11A以及侧视F11B中的 以虚线表示的光轴,该光轴在点CP6与路面交叉。另外,在俯视F11A以及侧视F11B中的以 右下降斜线图形表示的区域CR6表示相机2 - 6的摄像范围的一部分。另外,在俯视F11A 中的区域CR5 - 6表示相机2 - 5的摄像范围与相机2 - 6的摄像范围重复的区域。另外, 相机2 - 6还可以安装于桁架部61c的上表面或者侧面。
[0169] 相机2 - 7安装于桁架部61c的下表面,并具有在侧视F11B中的以点划线表示的 光轴,该光轴在点CP7与路面交叉。另外,在俯视F11A以及侧视F11B中的以左下降斜线图 形表示的区域CR7表示相机2 - 7的摄像范围的一部分。另外,在俯视F11A以及侧视F11B 中的区域CR6 - 7表示相机2 - 6的摄像范围与相机2 - 7的摄像范围重复的区域。
[0170] 相机2 - 8安装于桁架部61c的一Y侧的上端部,并具有在俯视F11A中的以双点 划线表示的光轴,该光轴在点CP8与路面交叉。另外,在俯视F11A中的以细的光点图形表 示的区域CR8表示相机2 - 8的摄像范围的一部分。另外,在俯视F11A中的区域CR6 - 8 表示相机2 - 6的摄像范围与相机2 - 8的摄像范围重复的区域。另外,在俯视F11A中的 区域CR4 - 8表示相机2 - 4的摄像范围与相机2 - 8的摄像范围重复的区域。
[0171] 如上述那样配置的8台相机2 - 1~2 - 8分别对控制装置1输出输入图像G1~ G8〇
[0172] 接着,参照图12以及图13说明从由8台相机2 - 1~2 - 8输出的8个输入图 像G1~G8经过4个局部图像生成1个输出图像的处理的流程。
[0173] 在本实施例中,控制装置1具有:作为局部图像生成装置的三图像合成装置20 - 1~20 - 4,使用3个输入图像,生成构成最终的输出图像的一部分的局部图像之一;以及 作为输出图像生成装置的四图像合成装置21 - 1,使用4个局部图像生成1个输出图像。
[0174] 另外,图13上层表不8台相机2 - 1~2 - 8的各个相机输出的8个输入图像 G1~G8的例子。另外,图13中层表示4台三图像合成装置20 - 1~20 - 4的各个三图 像合成装置输出的4个局部图像(中间图像)G11~G14的例子。另外,图13下层表示四 图像合成装置21 - 1输出的输出图像G20的例子。
[0175] 三图像合成装置20 - 1基于来自相机2 - 1的输入图像G1、来自相机2 - 2的输 入图像G2、以及来自相机2 - 3的输入图像G3生成中间图像G11。进而,三图像合成装置 20 - 1对四图像合成装置21 - 1输出生成的中间图像G11。
[0176] 同样地,三图像合成装置20 - 2基于来自相机2 - 2的输入图像G2、来自相机2 - 3的输入图像G3、以及来自相机2 - 4的输入图像G4生成中间图像G12。另外,三图像合成 装置20 - 3基于来自相机2 - 5的输入图像G5、来自相机2 - 6的输入图像G6、以及来自 相机2 - 7的输入图像G7生成中间图像G13。另外,三图像合成装置20 - 4基于来自相机 2 - 6的输入图像G6、来自相机2 - 7的输入图像G7、以及来自相机2 - 8的输入图像G8 生成中间图像G14。进而,三图像合成装置20 - 2、20 - 3、20 - 4对四图像合成装置21 - 1输出生成的中间图像G12、G13、G14。
[0177] 四图像合成装置21 - 1基于来自三图像合成装置20 - 1~20 - 4的局部图像 (中间图像)G11~G14生成输出图像G20。进而,四图像合成装置21 - 1经由无线通信装 置5a、5b对显示装置6输出生成的输出图像G20。
[0178] 其结果,图13中层的中间图像G11包括将输入图像G1的一部分建立对应的图像 部分G1P、将输入图像G2的一部分建立对应的图像部分G2P1、以及将输入图像G3的一部分 建立对应的图像部分G3P1。
[0179] 另外,图13中层的中间图像G12包括将输入图像G2的另一部分建立对应的图像 部分G2P2、将输入图像G3的另一部分建立对应的图像部分G3P2、以及将输入图像G4的一 部分建立对应的图像部分G4P。
[0180] 另外,图13中层的中间图像G13包括将输入图像G5的一部分建立对应的图像部 分G5P、将输入图像G6的一部分建立对应的图像部分G6P1、以及将输入图像G7的一部分建 立对应的图像部分G7P1。
[0181] 另外,图13中层的中间图像G14包括将输入图像G6的另一部分建立对应的图像 部分G6P2、将输入图像G7的另一部分建立对应的图像部分G7P2、以及将输入图像G8的一 部分建立对应的图像部分G8P。
[0182] 另外,图13下层的输出图像G20包括将中间图像G11~G14的各个中间图像建立 对应的图像部分G11P~G14P。
[0183] 在此,参照图13以及图14说明由图像生成装置100生成的输出图像G20的详细 情况。另外,图14是输出图像G20的一个例子,与图13下层的输出图像G20对应。另外, 图14中的以点线表示的圆表示空间模型MD的平面区域R1与处理对象图像平面R3之间的 边界。另外,图14中的以点线表示的4条线段LSI~LS4表示将对行走体61的侧方摄像 的侧方用相机(相机2 - 1、2 - 4、2 - 5、2 - 8)的输入图像的一部分建立对应的图像部 分与将对沿着轨道RA的远方的行走路径摄像的远方用相机(相机2 - 2、2 - 6)的输入图 像的一部分建立对应的图像部分之间的边界线。另外,图14中的白色圆圈表示空间模型MD 的圆筒中心CTR。另外,图14中的点线以及白色圆圈在实际的输出图像G20中不显示。
[0184] 如图13以及图14所示,图像生成装置100将8台相机2 - 1~2 - 8的各个相 机的输入图像投影到空间模型MD的平面区域R1以及曲面区域R2上,并将投影到曲面区域 R2的图像再投影到处理对象图像平面R3。进而,图像生成装置100基于投影到平面区域R1 的图像、以及再投影到处理对象图像平面R3的图像,生成输出图像G20。
[0185] 具体地讲,图像生成装置100将空间模型MD分割成底面成为四半圆的4个局部空 间模型,并且,将处理对象图像平面R3分割成对应的4个局部处理对象图像平面。进而,图 像生成装置100将3台相机的输入图像投影到1个局部空间模型的平面区域以及曲面区 域,并将投影到曲面区域的图像再投影到对应的局部处理对象图像平面(参照图13中层)。 进而,图像生成装置100基于投影到4个平面区域的图像、以及再投影到4个局部处理对象 图像平面的图像,生成输出图像G20 (参照图13下层参照)。通过这种方式,图像生成装置 100生成行走体监视图像作为输出图像G20,该行走体监视图像同时显示从上空俯视行走 体61附近的图像(平面区域R1中的图像)和从行走体61在水平方向上观察周围的图像 (处理对象图像平面R3中的图像)。
[0186] 另外,在本实施例中,如图13以及图14所示,图像生成装置100使一对腿部61a、 61b之间的空间的路面图像(图像部分G3P1、G3P2、G7P1、G7P2)与行走体61的侧方的空间 的图像(图像部分G1P、G4P、G5P、G8P)直接地相邻。即,图像生成装置100以行走体61的 腿部61a、61b宛如不存在的方式生成输出图像G20。
[0187] 另外,在本实施例中,如图14所示,图像生成装置100以行走体61的X轴方向长 度与空间模型MD的圆筒的直径一致的方式生成输出图像G20。另外,图像生成装置100以 该圆筒面从腿部61a、61b的两端部(俯视中的腿部61a的2个端部和腿部61b的2个端部 的合计4个端部)通过的方式生成输出图像G20。
[0188] 进一步地,在本实施例中,如图14所示,图像生成装置100将线段LSI设定成图像 部分G1P与图像部分G2P1的边界线(参照图13中层),该线段LSI是从圆筒中心CTR和 腿部61a的俯视中的+X侧的端部通过的直线的一部分。同样地,图像生成装置100将线段 LS2设定成图像部分G4P与图像部分G2P2的边界线(参照图13中层),该线段LS2是从圆 筒中心CTR和腿部61b的俯视中的+X侧的端部通过的直线的一部分。另外,图像生成装置 100将线段LS3设定成图像部分G5P与图像部分G6P1的边界线(参照图13中层),该线段 LS3是从圆筒中心CTR和腿部61a的俯视中的一X侧的端部通过的直线的一部分。另外,图 像生成装置100将线段LS4设定成图像部分G8P与图像部分G6P2的边界线(参照图13中 层),该线段LS4是从圆筒中心CTR和腿部61b的俯视中的一X侧的端部通过的直线的一部 分。另外,圆筒中心CTR是相机2 - 2、2 - 3、2 - 6、2 - 7的安装位置。根据该图像配置, 图像生成装置100在图像部分62?1、62?2、66?1、66?2(参照图13中层)中,能够显示从圆 筒中心CTR观察腿部61a、61b的端部的水平图像,并能够向操作者提示腿部61a、61b的端 部的延伸方向外侧。
[0189] 根据以上的构成,搭载图像生成装置100的悬臂起重机60通过向操作者提示行走 体监视图像,能够促进悬臂起重机60的操作者的安全确认。其结果,悬臂起重机60能够防 止操作者使行走体61行走时的周边障碍物(人、车辆等)与行走体61的碰撞。另外,悬臂 起重机60通过向操作者提示一对腿部61a、61b之间的空间内的样子,能够防止操作者使行 走体61行走时的、该空间内的周边障碍物(人、车辆等)与行走体61的碰撞。另外,悬臂 起重机60通过向操作者提示一对腿部61a、61b的各个腿部的外侧的空间的样子,能够防止 操作者使行走体61行走时的、该外侧的空间内的周边障碍物(人、车辆等)与行走体61的 碰撞。
[0190] 另外,图像生成装置100分别准备对沿着轨道RA的远方的行走路径摄像的远方用 相机、以及对位于行走体61的一对腿部61a、61b之间的附近的行走路径的路面摄像的附近 用相机。具体地讲,图像生成装置100具备相机2 - 2以及2 - 6作为远方用相机,具备相 机2 - 3以及2 - 7作为附近用相机。因此,即使在远方的行走路径的摄像环境(例如,周 围的亮度)与附近的行走路径的摄像环境不同的情况下,图像生成装置100也能够有效地 利用各个相机的自动增益控制功能、昼夜功能等。即,图像生成装置100能够防止为了向一 方的摄像环境的适应而牺牲向另一方的摄像环境的适应。例如,在一对腿部61a、61b之间 的空间的亮度与一对腿部61a、61b的外侧的空间的亮度不同的情况下,若用1个相机对这 些亮度不同的2个空间摄像,则与某一方的空间对应的图像部分成为曝光过度或者曝光不 足。然而,在分别用单独的相机对亮度不同的2个空间摄像时,能够以适当的曝光对与2个
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1