专利名称：图像生成装置及操作支持系统的制作方法
技术领域：
本发明涉及基于安装在被操作体上的多个摄像机构摄像的多个输入图像来生成输出图像的图像生成装置及使用该装置的操作支持系统。
背景技术：
已知有将来自照相机的输入图像映射到三维空间上的规定的空间模型中、一边参照该映射的空间数据一边生成从该三维空间中的任意的假想视点观察的视点变换图像并进行显示的图像生成装置(例如，参照专利文献I)。
专利文献I所公开的图像生成装置将搭载在车辆上的照相机摄像的图像投影到由包围该车辆的多个平面或曲面构成的立体的空间模型中。图像生成装置使用投影在该空间模型中的图像生成视点变换图像，将所生成的视点变换图像对驾驶者进行显示。所谓视点变换图像，是对虚拟地呈现从正上方观察路面的状态的路面图像与呈现水平方向的水平图像进行组合的图像。由此，图像生成装置当驾驶车辆的驾驶者看到该视点变换图像时，能够将该视点变换图像中的物体与处于车外的实际的物体没有别扭感地建立对应。以往技术文献专利文献专利文献I :日本专利第3286306号说明书
发明内容
发明所要解决的课题专利文献I所公开的图像生成装置基于照相机摄像的路面上的特征点制作空间模型，根据车辆的移动(该车辆与该特征点之间的位置关系的变化)将该空间模型修正。在制作或修正空间模型时，没有考虑两个照相机各自的摄像范围重复的区域中的物体在向空间模型的投影时从图像消失的问题。因而，由于没有为了防止这样的图像的消失而将空间模型修正，所以不能适当地生成包含重复的区域中的物体的视点变换图像。所以，本发明的目的是使用防止两个照相机的各自的摄像范围重复的区域中的物体从图像中消失的空间模型生成输出图像的图像生成装置及使用该装置的操作支持系统。用于解决课题的手段为了达到上述目的，根据本发明的一技术方案，提供一种图像生成装置，基于安装在被操作体上的多个摄像部摄像的多个输入图像来生成输出图像，其特征在于，具备坐标对应建立部，将具有中心轴和侧面的柱状的空间模型中的坐标与该多个输入图像分别所处的多个输入图像平面的各自中的坐标建立对应，其中所述空间模型是包围该被操作体而配置的空间模型；和输出图像生成部，经由该柱状的空间模型中的坐标，将该多个输入图像平面的各自中的坐标的值与该输出图像所处的输出图像平面中的坐标的值建立对应而生成该输出图像；该柱状的空间模型的中心轴与侧面之间的距离根据该摄像部的设置位置决定。
根据本发明的另一技术方案，提供一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备上述图像生成装置和将该图像生成装置生成的输出图像进行显示的显示部。发明效果根据本发明，能够提供使用防止两个照相机的各自的摄像范围重复的区域中的物体从图像消失的空间模型来生成输出图像的图像生成装置及使用该装置的操作支持系统。
图I是表示本发明的一实施例的图像生成装置的概略结构的块图。图2是搭载图像生成装置的挖掘机的侧视图。
图3A是将输入图像投影的空间模型的侧视图。图3B是图3A所不的空间|旲型的俯视图。图4是表示空间模型与处理对象图像平面之间的关系的立体图。图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。图6A是表示采用通常射影的照相机的输入图像平面上的坐标与空间模型MD上的坐标之间的对应关系的图。图6B是表示空间模型MD的曲面区域上的坐标与处理对象图像平面上的坐标之间的对应关系的图。图6C是表示处理对象图像平面上的坐标与采用通常射影的假想照相机的输出图像平面上的坐标之间的对应关系的图。图6D是表示照相机、假想照相机、空间模型MD的平面区域及曲面区域、以及处理对象图像平面的相互的位置关系的图。图7A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。图7Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β I的状态的图。图8Α是表示位于XZ平面上的辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图SB是表示辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图9Α是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。图9Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β2的状态的图。图10是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。图11是处理对象图像生成处理及输出图像生成处理的流程图。图12Α是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的俯视图。
图12B是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的立体图。图12C是用来说明在存在一个棒状的物体的情况下生成的处理对象图像的俯视图。图13A是用来说明在存在两个棒状的物体的情况下照相机与空间模型之间的位置关系的俯视图。图13B是用来说明在存在两个棒状的物体 的情况下照相机与空间模型之间的位置关系的立体图。图13C是用来说明在存在两个棒状的物体的情况下生成的处理对象图像的俯视图。图14A是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的俯视图。图14B是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的立体图。图14C是用来说明在存在两个棒状的物体的另一情况下生成的处理对象图像的俯视图。图15是表示输出图像的显示例的图。图16A是表示从上方观察挖掘机时的照相机的摄像范围与空间模型之间的位置关系的图。图16B是表示从斜上方观察空间模型时的照相机的摄像范围与空间模型之间的位置关系的图。图16C是表示基于如图16A、图16B所示那样设置的照相机摄像的输入图像、图像生成装置生成的处理对象图像的图。图17是表示基于如图16A、图16B所示那样设置的照相机摄像的输入图像、图像生成装置生成的处理对象图像的一例的图。图18是表示图像生成装置基于如图16A、图16B所示那样设置的照相机摄像的输入图像生成的处理对象图像的另一例的图。图19A是为了说明决定空间模型的半径能够取的值的范围的次序的一例而从上方观察挖掘机60的俯视图。图19B是为了说明决定空间模型的半径能够取的值的范围的次序的一例而从侧方观察挖掘机60的俯视图。图20是用来说明照相机的摄像范围与空间模型之间的位置关系的俯视图。
具体实施例方式
以下，参照附图对本发明的实施方式进行说明。图I是概略地表示本发明的一实施方式的图像生成装置的概略结构的块图。一实施方式的图像生成装置100例如基于搭载在建筑机械上的照相机2摄影的输入图像来生成输出图像，将该输出图像向驾驶者提示。如图I所示，图像生成装置100包括控制部I、照相机2、输入部3、存储部4及显示部5。
图2是搭载有图像生成装置100的挖掘机60的侧视图。挖掘机60具有履带式的下部行驶体61、回转机构62及上部回转体63。上部回转体63经由回转机构62绕回转轴PV旋转自如地搭载在下部行驶体61上。在上部回转体63的前方左侧部设有驾驶舱(驾驶室)64，在前方中央部设有挖掘配件E。在上部回转体63的右侧面及后面上设有照相机2 (右侧方照相机2R、后方照相机2B)。在驾驶舱64内的驾驶者容易辨识的位置上设置有显示部5。接着，对图像生成装置100的各构成单元进行说明。控制部I 包括具备 CPU (Central Processing Unit)、RAM (Random AccessMemory)> ROM (Read Only Memory)> NVRAM (Non-Volatile Random Access Memory)等的计算机。例如，在ROM或NVRAM中保存有分别对应于后述的坐标对应建立部10及输出图像生成部11的程序。CPU使用RAM作为临时存储区域，并且执行对应于各机构的程序而进行 处理。照相机2是用来取得呈现挖掘机60的周边的输入图像的装置，包括右侧方照相机2R及后方照相机2B。右侧方照相机2R及后方照相机2B例如安装在上部回转体63的右侧面及后面上，以使其能够对作为处于驾驶舱64中的驾驶者的死角的区域进行摄影(参照图2)。右侧方照相机2R及后方照相机2B分别具备CCD (Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置(例如，前面及左侧面)上，也可以安装广角透镜或鱼眼透镜，以便能够将较大的范围摄影。照相机2根据来自控制部I的控制信号取得输入图像，将所取得的输入图像向控制部I输出。另外，照相机2在使用鱼眼透镜或广角透镜而取得了输入图像的情况下，将因使用这些透镜而产生的外观上的畸变及歪斜修正后的已修正的输入图像向控制部I输出。但是，照相机2也可以不将所取得的输入图像修正而原样向控制部I输出。在此情况下，控制部I将外观上的畸变及歪斜修正。输入部3是用来使操作者能够对图像生成装置100输入各种信息的装置，例如包括触摸面板、按钮开关、指针设备、键盘等。存储部4是用来存储各种信息的装置，例如包括硬盘、光盘、或半导体存储器等。显示部5是用来显示图像信息的装置，例如包括设置在建筑机械的驾驶舱64 (参照图2)内的液晶显示器或投影仪。显示部5显示控制部I输出的各种图像。此外，图像生成装置100也可以基于输入图像生成处理对象图像、通过对该处理对象图像实施图像变换处理而生成能够直观地掌握与周边障碍物的位置关系及距离感的输出图像后、将该输出图像向驾驶者提示。“处理对象图像”是作为基于输入图像生成的图像变换处理(例如，标度变换、仿射变换、畸变变换、视点变换处理)的对象的图像。例如，有在图像变换处理中使用通过其较广的像角包含水平方向的图像(例如是空的部分)的输入图像的情况，其中，所述输入图像是基于从上方对地表进行摄像的照相机的输入图像。在这样的情况下，将该输入图像投影到规定的空间模型中，以使该水平方向的图像不会被不自然地显示(例如使得不会将空的部分作为处于地表的部分处理)。并且，通过将投影在空间模型中的投影图像再投影到别的二维平面中，能够得到适合于图像变换处理的图像。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。“空间模型”是输入图像的投影对象，至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面(例如与处理对象图像平面平行的平面或在与处理对象图像平面之间形成角度的平面或曲面)。另外，图像生成装置100也可以不生成处理对象图像，而通过对投影在该空间模型中的投影图像实施图像变换处理来生成输出图像。此外，投影图像也可以不实施图像变换处理而原样作为输出图像使用。图3A、图3B是表不将输入图像投影的空间模型MD的一例 的图。图3A表不从侧方观察挖掘机60时的挖掘机60与空间模型MD之间的关系，图3B表示从上方观察挖掘机60时的挖掘机60与空间模型MD之间的关系。如图3A、图3B所示，空间模型MD具有半圆筒形状。半圆筒形状的底面内部包括平面区域Rl,侧面内部包括曲面区域R2。图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图。在图4中，处理对象图像平面R3例如是包括空间模型MD的平面区域Rl的平面。另外，在图4中，为了明确化，使空间模型MD与图3所示那样的半圆筒形状不同、用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。这在以后的图中也是同样的。此外，处理对象图像平面R3如上述那样，也可以是包括空间模型MD的平面区域Rl的圆形区域，也可以是不包括空间模型MD的平面区域Rl的环状区域。接着，对控制部I具有的坐标对应建立部10及输出图像生成部11进行说明。坐标对应建立部10为了将照相机2摄像的输入图像所处的输入图像平面上的坐标(也有称作输入坐标的情况)、空间模型MD上的坐标(也有称作空间坐标的情况)、和处理对象图像平面R3上的坐标(也有称作投影坐标的情况)建立对应而设置。例如，基于预先设定的、或者经由输入部3输入的照相机2的光学中心、焦点距离、(XD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应。将这些对应关系保存到存储部4的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41中。另外，坐标对应建立部10在不生成处理对象图像的情况下，将空间模型MD上的坐标与处理对象图像平面R3上的坐标建立对应、以及该对应关系的向空间模型一处理对象图像对应映射表41的保存省略。输出图像生成部11是用来生成输出图像的机构。输出图像生成部11例如通过对处理对象图像实施标度变换、仿射变换或畸变变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系保存到存储部4的处理对象图像一输出图像对应映射表42中。输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。此外，输出图像生成部11基于预先设定的或者经由输入部3输入的假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系存储到存储部4的处理对象图像一输出图像对应映射表42中。并且，输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。另外，输出图像生成部11也可以不使用假想照相机的概念，而将处理对象图像的标度变更来生成输出图像。此外，输出图像生成部11在不生成处理对象图像的情况下，根据实施的图像变换处理将空间模型MD上的坐标与输出图像平面上的坐标建立对应。并且，输出图像生成部11一边参照输入图像一空间模型对应映射表40，一边将输出图像中的各像素的值(例如亮度 值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。在此情况下，输出图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、以及将该对应关系向处理对象图像一输出图像对应映射表42的保存省略。接着，对由坐标对应建立部10及输出图像生成部11进行的处理的一例进行说明。坐标对应建立部10例如可以使用哈密尔顿的四元数将输入图像平面上的输入坐标与空间模型上的空间坐标建立对应。图5是用来说明输入图像平面上的坐标与空间模型上的坐标的对应建立的图。将照相机2的输入图像平面表不为以照相机2的光学中心C为原点的UVW正交坐标系的一平面，将空间模型表示为XYZ正交坐标系的立体面。首先，坐标对应建立部10为了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)，在使XYZ坐标系的原点平移到光学中心C (UVff坐标系的原点)后，使XYZ坐标系旋转，以使X轴与U轴一致、Y轴与V轴一致、Z轴与-W轴分别一致。这里，符号意味着方向相反。这是因为UVW坐标系将照相机前方作为+W方向、XYZ坐标系将铅直下方作为-Z方向。 在存在多个照相机2的情况下，照相机2分别具有独立的UVW坐标系。由此，坐标对应建立部10使XYZ坐标系相对于多个UVW坐标系分别平移且旋转。上述变换通过在使XYZ坐标系平移以使照相机2的光学中心C成为XYZ坐标系的原点后、旋转以使Z轴与-W轴一致、再旋转以使X轴与U轴一致来实现。因而，坐标对应建立部10通过将该变换用哈密尔顿的四元数记述，将这两次的旋转汇总为一次旋转运算。用来使某个矢量A与别的矢量B —致的旋转相当于以矢量A和矢量B展开的面的法线为轴、旋转矢量A与矢量B形成的角度的处理。如果设旋转的角度为Θ，则由矢量A与矢量B的内积将角度Θ如以下这样表示。[数式I ]
/ \
./ AmBV = COS Tn——
I剛J此外，矢量A和矢量B展开的面的法线的单位矢量N由矢量A与矢量B的外积如以下这样表示。[数式2]
权利要求
1.一种图像生成装置，基于安装在被操作体上的多个摄像部摄像的多个输入图像来生成输出图像，其特征在于， 具备 坐标对应建立部，将具有中心轴和侧面的柱状的空间模型中的坐标与上述多个输入图像分别所处的多个输入图像平面的各自中的坐标建立对应，其中，所述空间模型是以包围上述被操作体的方式配置的空间模型；和 输出图像生成部，经由上述柱状的空间模型中的坐标，将上述多个输入图像平面的各自中的坐标的值与上述输出图像所处的输出图像平面中的坐标的值建立对应而生成上述输出图像； 上述柱状的空间模型的中心轴与侧面之间的距离根据上述摄像部的设置位置决定。
2.如权利要求I所述的图像生成装置，其特征在于， 上述被操作体是能够行驶及回转的机械； 设定上述柱状的空间模型的中心轴与侧面之间的距离，以使该距离在回转时比在行驶时小。
3.如权利要求I所述的图像生成装置，其特征在于， 能够将与上述多个摄像部中的两个摄像部各自的摄像范围重复的区域对应的、上述多个摄像部中的两个摄像部各自的输入图像部分，与其他输入图像部分区分显示。
4.如权利要求I所述的图像生成装置，其特征在于， 能够将与上述多个摄像机构中的两个摄像机构各自的摄像范围重复的区域对应的、上述多个摄像机构中的两个摄像机构各自的输入图像部分中的一个，与该输入图像部分中的另一个及其他输入图像部分区分显示。
5.如权利要求I所述的图像生成装置，其特征在于， 上述坐标对应建立部将作为图像变换处理的对象的处理对象图像所处的处理对象图像平面中的坐标、与上述柱状的空间模型中的坐标建立对应； 上述输出图像生成部经由上述处理对象图像平面中的坐标和上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像平面中的坐标的值建立对应而生成上述输出图像。
6.如权利要求I所述的图像生成装置，其特征在于， 还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息进行保存的存储部。
7.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备 权利要求I所述的图像生成装置；和 对该图像生成装置生成的输出图像进行显示的显示部。
8.如权利要求7所述的操作支持系统，其特征在于， 上述显示部设置在用来移动或操作上述被操作体的操作室中。
全文摘要
图像生成装置(100)基于安装在被操作体(60)上的多个摄像部(2B、2R)摄像的多个输入图像来生成输出图像。坐标对应建立部(10)将具有中心轴和侧面的柱状的空间模型(MD)中的坐标、与多个输入图像所处的多个输入图像平面的各自中的坐标建立对应。输出图像生成部(11)经由柱状的空间模型中的坐标，将多个输入图像平面的各自中的坐标的值与输出图像所处的输出图像平面中的坐标的值建立对应而生成输出图像。柱状的空间模型的中心轴与侧面之间的距离根据摄像部(2B、2R)的设置位置决定。
文档编号B60R1/00GK102792334SQ20118001344
公开日2012年11月21日 申请日期2011年4月8日 优先权日2010年4月12日
发明者清田芳永 申请人:住友重机械工业株式会社