专利名称：图像生成装置及操作支持系统的制作方法
技术领域：
本发明涉及基于安装在可回转动作的被操作体上的摄像机构摄像的输入图像来生成输出图像的图像生成装置及使用该装置的操作支持系统。
背景技术：
已知有将来自照相机的输入图像映射到三维空间上的规定的空间模型中、一边参照该映射的空间数据一边生成从该三维空间中的任意的假想视点观察的视点变换图像并进行显示的图像生成装置(例如，参照专利文献I)。专利文献I所公开的图像生成装置将搭载在车辆上的照相机摄像的图像投影到由包围该车辆的多个平面或曲面构成的立体的空间模型中。图像生成装置使用投影在该空间模型中的图像来生成视点变换图像，将所生成的视点变换图像对驾驶者进行显示。所谓视点变换图像，是对虚拟地呈现从正上方观察路面的状态的路面图像与呈现水平方向的水平图像进行组合的图像。由此，当驾驶车辆的驾驶者看到该视点变换图像时，图像生成装置能够将该视点变换图像中的物体与处于车外的实际的物体没有别扭感地建立对应。以往技术文献专利文献专利文献I :日本专利第3286306号说明书
发明内容
发明要解决的课题专利文献I所公开的图像生成装置以搭载在车辆上为前提，没有设想向能够进行回转动作的建筑机械等被操作体的搭载。因此，专利文献I所记载的图像生成装置不能生成适合于回转动作时的被操作体周边的监视的视点变换图像。所以，本发明的目的是提供一种生成适合于回转动作时的周边监视的输出图像的图像生成装置及使用该装置的操作支持系统。用于解决课题的手段为了达到上述目的，根据本发明的一技术方案，提供一种图像生成装置，基于安装在能够进行回转动作的被操作体上的摄像部摄像而得到的输入图像来生成输出图像，其特征在于，具备坐标对应建立部，将具有中心轴的柱状的空间模型中的坐标、与该输入图像所处的输入图像平面中的坐标建立对应，其中，所述空间模型是以包围该被操作体的方式配置的空间模型；和输出图像生成部，经由该柱状的空间模型中的坐标，将该输入图像平面中的坐标的值与该输出图像所处的输出图像平面中的坐标的值建立对应而生成该输出图像；该柱状的空间模型配置为，使该摄像部的光轴与该柱状的空间模型的中心轴交叉。根据本发明的另一技术方案，提供一种图像生成装置，基于安装在能够进行回转动作的被操作体上的多个摄像部摄像而得到的输入图像生成输出图像，其特征在于，具备坐标对应建立部，将具有中心轴的柱状的空间模型中的坐标、与该输入图像所处的输入图像平面中的坐标建立对应，其中，所述空间模型是以包围该被操作体的方式配置的空间模型；和输出图像生成部，经由该柱状的空间模型中的坐标，将该输入图像平面中的坐标的值与该输出图像所处的输出图像平面中的坐标的值建立对应而生成该输出图像；该柱状的空间模型配置为，使从该多个摄像部的各自的光学中心向该柱状的空间模型的中心轴引下的垂线分别相互垂直。根据本发明的又一技术方案，提供一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备上述图像生成装置和将该图像生成装置生成的输出图像进行显示的显示部。发明效果根据本发明，能够提供一种生成适合于进行回转动作时的周边监视的输出图像的图像生成装置及使用该装置的操作支持系统。
图I是表示本发明的一实施例的图像生成装置的概略结构的块图。图2是搭载有图像生成装置的挖掘机的侧视图。图3A是将输入图像投影的空间模型的侧视图。图3B是图3A所示的空间模型的俯视图。图4是表示空间模型与处理对象图像平面之间的关系的立体图。图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。
图6A是表示采用通常射影的照相机的输入图像平面上的坐标与空间模型MD上的坐标之间的对应关系的图。图6B是表示空间模型MD的曲面区域上的坐标与处理对象图像平面上的坐标之间的对应关系的图。图6C是表示处理对象图像平面上的坐标与采用通常射影的假想照相机的输出图像平面上的坐标之间的对应关系的图。图6D是表示照相机、假想照相机、空间模型MD的平面区域及曲面区域、以及处理对象图像平面的相互的位置关系的图。图7A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。图7Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β I的状态的图。图8Α是表示位于XZ平面上的辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图SB是表示辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图9Α是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。图9Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β2的状态的图。
图10是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成了角度β的状态的图。图11是处理对象图像生成处理及输出图像生成处理的流程图。图12Α是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的俯视图。图12Β是用来说明在存在一个棒状的物体的情况下照相机与空间模型之间的位置关系的立体图。图12C是用来说明在存在一个棒状的物体的情况下生成的处理对象图像的俯视图。图13Α是用来说明在存在两个棒状的物体的情况下照相机与空间模型之间的位 置关系的俯视图。图13Β是用来说明在存在两个棒状的物体的情况下照相机与空间模型之间的位置关系的立体图。图13C是用来说明在存在两个棒状的物体的情况下生成的处理对象图像的俯视图。图14Α是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的俯视图。图14Β是用来说明在存在两个棒状的物体的另一情况下照相机与空间模型之间的位置关系的立体图。图14C是用来说明在存在两个棒状的物体的另一情况下生成的处理对象图像的俯视图。图15是表示输出图像的显示例的图。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。图I是概略地表示本发明的一实施方式的图像生成装置的概略结构的块图。一实施方式的图像生成装置100例如基于搭载在建筑机械上的照相机2摄影的输入图像来生成输出图像，将该输出图像向驾驶者提示。如图I所示，图像生成装置100包括控制部I、照相机2、输入部3、存储部4及显示部5。图2是搭载图像生成装置100的挖掘机60的侧视图。挖掘机60具有履带式的下部行驶体61、回转机构62及上部回转体63。上部回转体63经由回转机构62绕回转轴PV旋转自如地搭载在下部行驶体61上。在上部回转体63的前方左侧部设有驾驶舱(驾驶室)64，在前方中央部设有挖掘配件Ε。在上部回转体63的右侧面及后面上设有照相机2 (右侧方照相机2R、后方照相机2Β)。在驾驶舱64内的驾驶者容易辨识的位置上设置有显示部5。接着，对图像生成装置100的各构成单元进行说明。控制部I 包括具备 CPU (Central Processing Unit)、RAM (Random AccessMemory)> ROM (Read Only Memory)> NVRAM (Non-Volatile Random Access Memory)等的计算机。例如，在ROM或NVRAM中保存有分别对应于后述的坐标对应建立部10及输出图像生成部11的程序。CPU使用RAM作为临时存储区域，并且执行对应于各机构的程序而进行处理。照相机2是用来取得呈现挖掘机60的周边的输入图像的装置，包括右侧方照相机2R及后方照相机2B。右侧方照相机2R及后方照相机2B例如安装在上部回转体63的右侧面及后面上，以使其能够对作为处于驾驶舱64中的驾驶者的死角的区域进行摄影(参照图2)。右侧方照相机2R及后方照相机2B分别具备CCD (Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置(例如，前面及左侧面)上，也可以安装广角透镜或鱼眼透镜，以便能够将较大的范围摄影。照相机2根据来自控制部I的控制信号取得输入图像，将所取得的输入图像向控制部I输出。另外，照相机2在使用鱼眼透镜或广角透镜取得了输入图像的情况下，将通过使用这些透镜而产生的外观上的畸变及歪斜修正后的已修正的输入图像向控制部I输出。 但是，照相机2也可以不将所取得的输入图像修正而原样向控制部I输出。在此情况下，控制部I将外观上的畸变及歪斜修正。输入部3是用来使操作者能够对图像生成装置100输入各种信息的装置，例如包括触摸面板、按钮开关、指针设备、键盘等。存储部4是用来存储各种信息的装置，例如包括硬盘、光盘或半导体存储器等。显示部5是用来显示图像信息的装置，例如包括设置在建筑机械的驾驶舱64 (参照图2)内的液晶显示器或投影仪。显示部5显示控制部I输出的各种图像。此外，图像生成装置100也可以基于输入图像生成处理对象图像、通过对该处理对象图像实施图像变换处理而生成能够直观地掌握与周边障碍物的位置关系及距离感的输出图像后、将该输出图像向驾驶者提示。“处理对象图像”是作为基于输入图像生成的图像变换处理(例如，标度变换、仿射变换、畸变变换、视点变换处理)的对象的图像。例如，有在图像变换处理中使用由从上方对地表进行摄像的照相机带来的输入图像、即通过其较广的像角包含水平方向的图像(例如是空的部分)的输入图像的情况。在这样的情况下，将该输入图像投影到规定的空间模型中，以使该水平方向的图像不会被不自然地显示(例如使得不会将空的部分作为处于地表的部分处理)。并且，通过将投影在空间模型中的投影图像再投影到别的二维平面中，能够得到适合于图像变换处理的图像。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。“空间模型”是输入图像的投影对象，至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面(例如与处理对象图像平面平行的平面、或与处理对象图像平面之间形成角度的平面或曲面)。另外，图像生成装置100也可以不生成处理对象图像，而通过对投影在该空间模型中的投影图像实施图像变换处理来生成输出图像。此外，投影图像也可以不实施图像变换处理而原样作为输出图像使用。图3A、图3B是表不将输入图像投影的空间模型MD的一例的图。图3A表不从侧方观察挖掘机60时的挖掘机60与空间模型MD之间的关系，图3B表示从上方观察挖掘机60时的挖掘机60与空间模型MD之间的关系。
如图3A、图3B所示，空间模型MD具有半圆筒形状。半圆筒形状的底面内部包括平面区域Rl,侧面内部包括曲面区域R2。图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图。在图4中，处理对象图像平面R3例如是包括空间模型MD的平面区域Rl的平面。另外，在图4中，为了明确化，使空间模型MD与图3所示那样的半圆筒形状不同、用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。这在以后的图中也是同样的。此外，处理对象图像平面R3如上述那样，也可以是包括空间模型MD的平面区域Rl的圆形区域，也可以是不包括空间模型MD的平面区域Rl的环状区域。接着，对控制部I具有的坐标对应建立部10及输出图像生成部11进行说明。坐标对应建立部10为了将照相机2摄像的输入图像所处的输入图像平面上的坐标(也有称作输入坐标的情况)、空间模型MD上的坐标(也有称作空间坐标的情况)和处理对象图像平面R3上的坐标(也有称作投影坐标的情况)建立对应而设置。例如，基于预先设定 的、或者经由输入部3输入的照相机2的光学中心、焦点距离、CXD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等的关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标和处理对象图像平面R3上的坐标建立对应。将这些对应关系保存到存储部4的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41中。另外，坐标对应建立部10在不生成处理对象图像的情况下，将空间模型MD上的坐标与处理对象图像平面R3上的坐标的对应建立、以及该对应关系的向空间模型一处理对象图像对应映射表41的保存省略。输出图像生成部11是用来生成输出图像的机构。输出图像生成部11例如通过对处理对象图像实施标度变换、仿射变换或畸变变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系保存到存储部4的处理对象图像一输出图像对应映射表42中。输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。此外，输出图像生成部11基于预先设定的、或者经由输入部3输入的假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系存储到存储部4的处理对象图像一输出图像对应映射表42中。并且，输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。另外，输出图像生成部11也可以不使用假想照相机的概念，而将处理对象图像的标度变更来生成输出图像。此外，输出图像生成部11在不生成处理对象图像的情况下，根据实施的图像变换处理将空间模型MD上的坐标与输出图像平面上的坐标建立对应。并且，输出图像生成部11一边参照输入图像一空间模型对应映射表40，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。在此情况下，输出图像生成机构11将处理对象图像平面R3上的坐标与输出图像平面上的坐标的对应建立、以及该对应关系的向处理对象图像一输出图像对应映射表42的保存省略。接着，对由坐标对应建立部10及输出图像生成部11进行的处理的一例进行说明。坐标对应建立部10例如可以使用哈密尔顿的四元数将输入图像平面上的输入坐标与空间模型上的空间坐标建立对应。图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。将照相机2的输入图像平面表不为以照相机2的光学中心C为原点的UVW正交坐标系的一平面，将空间模型表示为XYZ正交坐标系的立体面。首先，坐标对应建立部10为了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)，在使XYZ坐标系的原点平移到光学中心C (UVff坐标系的原点)后，使XYZ坐标系旋转，以使X轴与U轴一致、Y轴与V轴一致、Z轴 与-W轴分别一致。这里，符号意味着方向相反。这是因为UVW坐标系将照相机前方作为+W方向、XYZ坐标系将铅直下方作为-Z方向。在存在多个照相机2的情况下，照相机2分别具有各自的UVW坐标系。由此，坐标对应建立部10使XYZ坐标系相对于多个UVW坐标系分别平移且旋转。上述变换通过使XYZ坐标系平移以使照相机2的光学中心C成为XYZ坐标系的原点后、旋转以使Z轴与-W轴一致、再旋转以使X轴与U轴一致来实现。因而，坐标对应建立部10通过将该变换用哈密尔顿的四元数记述，将这两次的旋转汇总为一次旋转运算。用来使某个矢量A与别的矢量B —致的旋转相当于以矢量A和矢量B展开的面的法线为轴、旋转矢量A与矢量B形成的角度的处理。如果设旋转的角度为Θ，则由矢量A与矢量B的内积将角度Θ如以下这样表示。[数式I]
/ \ n _/[ A * BV = COS I-
I M ^ y此外，矢量A和矢量B展开的面的法线的单位矢量N由矢量A与矢量B的外积如以下这样表示。[数式2]
AxBJV=-—
A\B sinu另外，四元数是在设i，j，k分别为虚数单位的情况下、满足以下的条件的超复数。[数式3]ii=jj=kk=ijk=_l在本实施例中，四元数Q设实成分为t，设纯虚成分为a，b，C，如以下这样表示。[数式4]Q= (t ；a, b, c) =t+ai+bj+ck因而，四元数Q的共轭四元数如以下这样表示。
[数式5]Q*= (t ;_a, _b, _c) =t-ai_bj_ck四元数Q可以在设实成分t为0 (零)的同时、用纯虚成分a，b，c表现三维矢量(a, b, C)。此外,还可以通过t, a, b, c的各成分表现以任意的矢量为轴的旋转动作。进而，四元数Q可以将连续的多次的旋转动作综合而表现为一次的旋转动作。例如，使任意的点S (sx, sy, sz) —边以任意的单位矢量C (I,m,η)为轴一边旋转角度Θ时的点D (ex, ey, ez)可以如以下这样表现。[数式6]D= (O ；ex, ey, ez) =QSQ*其中，
权利要求
1.一种图像生成装置，基于安装在能够进行回转动作的被操作体上的摄像部摄像而得到的输入图像来生成输出图像，其特征在于， 具备 坐标对应建立部，将具有中心轴的柱状的空间模型中的坐标与上述输入图像所处的输入图像平面中的坐标建立对应，其中，所述空间模型是以包围上述被操作体的方式配置的空间模型；和 输出图像生成部，经由上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像所处的输出图像平面中的坐标的值建立对应而生成上述输出图像； 上述柱状的空间模型配置为，使上述摄像部的光轴与上述柱状的空间模型的中心轴交叉。
2.如权利要求I所述的图像生成装置，其特征在于， 设有多个上述摄像部； 上述柱状的空间模型配置为，使将上述摄像部的各自的光轴向垂直于上述中心轴的一平面投影的成分分别在上述柱状的空间模型的中心轴上的一点处交叉。
3.如权利要求2所述的图像生成装置，其特征在于， 上述柱状的空间模型配置为，使从上述摄像部的各自的光学中心向上述柱状的空间模型的中心轴引下的垂线分别相互垂直。
4.如权利要求I所述的图像生成装置，其特征在于， 还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息保存的存储部。
5.如权利要求I所述的图像生成装置，其特征在于， 上述坐标对应建立部将作为图像变换处理的对象的处理对象图像所处的处理对象图像平面中的坐标、与上述柱状的空间模型中的坐标建立对应； 上述输出图像生成部经由上述处理对象图像平面中的坐标和上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像平面中的坐标的值建立对应而生成上述输出图像。
6.如权利要求I所述的图像生成装置，其特征在于， 将上述输出图像修剪为圆形而生成，以使该圆形的中心在上述柱状的空间模型的中心轴上、并且在上述被操作体的回转轴上。
7.一种图像生成装置，基于安装在能够进行回转动作的被操作体上的多个摄像部摄像而得到的输入图像来生成输出图像，其特征在于， 具备 坐标对应建立部，将具有中心轴的柱状的空间模型中的坐标与上述输入图像所处的输入图像平面中的坐标建立对应，其中，所述空间模型是以包围上述被操作体的方式配置的空间模型；和 输出图像生成部，经由上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像所处的输出图像平面中的坐标的值建立对应而生成上述输出图像； 上述柱状的空间模型配置为，使从上述多个摄像部的各自的光学中心向上述柱状的空间模型的中心轴引下的垂线分别相互垂直。
8.如权利要求7所述的图像生成装置，其特征在于， 上述坐标对应建立部将作为图像变换处理的对象的处理对象图像所处的处理对象图像平面中的坐标、与上述柱状的空间模型中的坐标建立对应； 上述输出图像生成部经由上述处理对象图像平面中的坐标和上述柱状的空间模型中的坐标，将上述输入图像平面中的坐标的值与上述输出图像平面中的坐标的值建立对应而生成上述输出图像。
9.如权利要求7所述的图像生成装置，其特征在于， 将上述输出图像修剪为圆形而生成，以使该圆形的中心在上述柱状的空间模型的中心轴上、并且在上述被操作体的回转轴上。
10.如权利要求7所述的图像生成装置，其特征在于， 还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息保存的存储部。
11.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备 权利要求I所述的图像生成装置；和 将该图像生成装置生成的输出图像进行显示的显示部。
12.如权利要求11所述的操作支持系统，其特征在于， 上述显示部设置在用来移动或操作上述被操作体的操作室中。
13.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备 权利要求7所述的图像生成装置；和 将该图像生成装置生成的输出图像进行显示的显示部。
14.如权利要求13所述的操作支持系统，其特征在于， 上述显示部设置在用来移动或操作上述被操作体的操作室中。
全文摘要
图像生成装置(100)基于安装在能够进行回转动作的被操作体(60)上的摄像部(2)摄像而得到的输入图像来生成输出图像。坐标对应建立部(10)以包围被操作体的方式配置，将具有中心轴的柱状的空间模型(MD)中的坐标、与输入图像所处的输入图像平面(R4)中的坐标建立对应。输出图像生成部(11)经由柱状的空间模型中的坐标，将输入图像平面(R4)中的坐标的值与输出图像所处的输出图像平面(R5)中的坐标的值建立对应，生成输出图像。柱状的空间模型(MD)配置为，使摄像部(2)的光轴与柱状的空间模型(MD)的中心轴交叉。
文档编号B60R1/00GK102792686SQ20118001340
公开日2012年11月21日 申请日期2011年4月8日 优先权日2010年4月12日
发明者清田芳永 申请人:住友重机械工业株式会社