专利名称：处理对象图像生成装置、处理对象图像生成方法及操作支持系统的制作方法
技术领域：
本发明涉及生成作为用来基于输入图像得到输出图像的图像变换处理的对象的处理对象图像的处理对象图像生成装置、处理对象图像生成方法、以及使用该装置或方法的操作支持系统。
背景技术：
已知有将来自照相机的输入图像映射到三维空间上的规定的空间模型中、一边参照该映射的空间数据一边生成从该三维空间中的任意的假想视点观察的视点变换图像并显示的图像生成装置(例如，参照专利文献I)。专利文献I所公开的图像生成装置将搭载在车辆上的照相机摄像的图像投影到由包围该车辆的多个平面或曲面构成的立体的空间模型中。图像生成装置使用投影在该空间模型中的图像来生成视点变换图像，将所生成的视点变换图像对驾驶者进行显示。所谓视点变换图像，是将虚拟地呈现从正上方观察路面的状态的路面图像与虚拟地呈现水平方向的水平图像组合的图像。由此，图像生成装置当驾驶车辆的驾驶者看到该视点变换图像时，能够将该视点变换图像中的物体与处于车外的实际的物体没有别扭感地建立对应。以往技术文献专利文献专利文献I :日本专利第3286306号说明书
发明内容
发明要解决的技术问题专利文献I所公开的图像生成装置使用投影在立体的空间模型中的图像生成视点变换图像。因而，例如在使用配置在车辆的周围的圆筒状的空间模型的情况下，当在该圆筒的中心轴上设定从正上方观察该圆筒的假想视点(假想照相机)时，能够生成有效的视点变换图像。但是，当在圆筒的侧面的上空的位置上设定从正上方观察该圆筒的假想照相机时，完全不能将投影在其内部侧面上的图像(作为视点变换图像中的水平图像的基础的图像)进行显示。或者，当设定了从外侧观察圆筒的侧面的假想照相机时，完全不能显示投影在圆筒的内部底面上的图像(作为视点变换图像中的路面图像的基础的图像)及投影在内部侧面上的图像(作为视点变换图像中的水平图像的基础的图像)。因而，可设定的假想照相机的位置被大幅地限制。、此外，专利文献I所公开的图像生成装置将投影在空间模型中的图像作为一体不可分的图像而生成视点变换图像。例如，在使用配置在车辆的周围的圆筒状的空间模型的情况下，即使是想要仅将投影在圆筒的内部侧面上的图像(作为视点变换图像中的水平图像的基础的图像)放大或缩小时，也需要将假想照相机的位置及像角等变更而重新进行视点变换图像的生成。由此，对投影在圆筒的内部底面上的图像(作为视点变换图像中的路面图像的基础的图像)也带来影响。这样，专利文献I所公开的图像生成装置在对视点变换图像进行调整的方面欠缺灵活性。所以，本发明的目的是提供一种生成能够进行输出图像的灵活的调整的处理对象图像的处理对象图像生成装置、处理对象图像生成方法、以及使用该装置或方法的操作支持系统。用于解决课题的手段为了达到上述目的，根据本发明的一技术方案，提供一种处理对象图像生成装置，基于摄像部摄像的输入图像、生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，具备坐标对应建立部，该坐标对应建立部将该输入图像所处的输入图像平面中的输入坐标、该输入图像投影的空间模型中的空间坐标和将投影在该空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中，所述处理对象图像平面是该处理对象图像所处的处理对象图像平面。
根据本发明的另一技术方案，提供一种处理对象图像生成方法，基于摄像部摄像的输入图像、生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于，具备坐标对应建立步骤，该坐标对应建立步骤将该输入图像所处的输入图像平面中的输入坐标、该输入图像投影的空间模型中的空间坐标和将投影在该空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中所述处理对象图像平面是该处理对象图像所处的处理对象图像平面。根据本发明的又一技术方案，提供一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备上述处理对象图像生成装置和显示部，所述显示部对基于该处理对象图像生成装置生成的处理对象图像生成的输出图像进行显示。发明的效果根据本发明，能够提供生成能够进行输出图像的灵活的调整的处理对象图像的处理对象图像生成装置、处理对象图像生成方法以及使用该装置或方法的操作支持系统。
图I是表示本发明的一实施例的处理对象图像生成装置的概略结构的块图。图2是搭载处理对象图像生成装置的挖掘机的侧视图。图3A是投影输入图像的空间模型的侧视图。图3B是图3A所示的空间模型的俯视图。图4是表示空间模型与处理对象图像平面之间的关系的立体图。图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。图6A是表示采用通常射影的照相机的输入图像平面上的坐标与空间模型MD上的坐标之间的对应关系的图。图6B是表示空间模型MD的曲面区域上的坐标与处理对象图像平面上的坐标之间的对应关系的图。图6C是表示处理对象图像平面上的坐标与采用通常射影的假想照相机的输出图像平面上的坐标之间的对应关系的图。图6D是表示照相机、假想照相机、空间模型MD的平面区域及曲面区域、以及处理对象图像平面的相互的位置关系的图。图7A是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。图7Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β I的状态的图。图8Α是表示位于XZ平面上的辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图SB是表示辅助线群的全部从Z轴上的起点朝向处理对象图像平面延伸的状态的图。图9Α是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。 图9Β是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β 2的状态的图。图10是表示在位于XZ平面上的平行线群与处理对象图像平面之间形成角度β的状态的图。图11是处理对象图像生成处理及输出图像生成处理的流程图。图12Α是用来说明在存在一个棒状的物体的情况下、照相机与空间模型之间的位置关系的俯视图。图12Β是用来说明在存在一个棒状的物体的情况下、照相机与空间模型之间的位置关系的立体图。图12C是用来说明在存在一个棒状的物体的情况下生成的处理对象图像的俯视图。图13Α是用来说明在存在两个棒状的物体的情况下、照相机与空间模型之间的位置关系的俯视图。图13Β是用来说明在存在两个棒状的物体的情况下、照相机与空间模型之间的位置关系的立体图。图13C是用来说明在存在两个棒状的物体的情况下生成的处理对象图像的俯视图。图14Α是用来说明在存在两个棒状的物体的另一情况下、照相机与空间模型之间的位置关系的俯视图。图14Β是用来说明在存在两个棒状的物体的另一情况下、照相机与空间模型之间的位置关系的立体图。图14C是用来说明在存在两个棒状的物体的另一情况下生成的处理对象图像的俯视图。图15是表示输出图像的显示例的图。
具体实施例方式以下，参照附图对本发明的实施方式进行说明。图I是概略地表示本发明的一实施方式的处理对象图像生成装置的概略结构的块图。—实施方式的处理对象图像生成装置100例如基于搭载在建筑机械上的照相机2摄影的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像。处理对象图像生成装置100通过对所生成的处理对象图像实施图像变换处理而生成输出图像，以便能够直观地掌握与周边障碍物的位置关系及距离感，并向驾驶者提示。如图I所示，处理对象图像生成装置100包括控制部I、照相机2、输入部3、存储部4、及显示部5。图2是搭载处理对象图像生成装置100的挖掘机60的侧视图。挖掘机60具有履带式的下部行驶体61、回转机构62、及上部回转体63。上部回转体63经由回转机构62绕回转轴PV旋转自如地搭载在下部行驶体61上。在上部回转体63的前方左侧部设有驾驶舱(驾驶室)64，在前方中央部设有挖掘配件E。在上部回转体63的右侧面及后面上设有照相机2 (右侧方照相机2R、后方照相机 2B)。在驾驶舱64内的驾驶者容易辨识的位置上设置有显示部5。接着，对处理对象图像生成装置100的各构成单元进行说明。控制部I 包括具备 CPU (Central Processing Unit)、RAM (Random AccessMemory)> ROM (Read Only Memory)> NVRAM (Non-Volatile Random Access Memory)等的计算机。例如，在ROM或NVRAM中保存有分别对应于后述的坐标对应建立部10及输出图像生成部11的程序。CPU使用RAM作为临时存储区域，并且执行对应于各机构的程序而进行处理。照相机2是用来取得呈现挖掘机60的周边的输入图像的装置，包括右侧方照相机2R及后方照相机2B。右侧方照相机2R及后方照相机2B例如安装在上部回转体63的右侧面及后面上，以使其能够将成为处于驾驶舱64中的驾驶者的死角的区域摄影(参照图2)。右侧方照相机2R及后方照相机2B分别具备CCD (Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等摄像元件。另外，照相机2也可以安装在上部回转体63的右侧面及后面以外的位置(例如，前面及左侧面)上，也可以安装广角透镜或鱼眼透镜，以便能够将较大的范围摄影。照相机2根据来自控制部I的控制信号取得输入图像，将所取得的输入图像向控制部I输出。另外，照相机2在使用鱼眼透镜或广角透镜取得了输入图像的情况下，将通过使用这些透镜发生的外观上的畸变及歪斜修正后的已修正的输入图像向控制部I输出。但是，照相机2也可以不将所取得的输入图像进行修正而原样对控制部I输出。在此情况下，控制部I将外观上的畸变及歪斜进行修正。输入部3是用来使得操作者能够对处理对象图像生成装置100输入各种信息的装置，例如包括触摸面板、按钮开关、指针设备、键盘等。存储部4是用来存储各种信息的装置，例如包括硬盘、光盘、或半导体存储器等。显示部5是用来显示图像信息的装置，例如包括设置在建筑机械的驾驶舱64 (参照图2)内的液晶显示器或投影仪。显示部5显示控制部I输出的各种图像。“处理对象图像”是作为基于输入图像生成的图像变换处理(例如，标度变换、仿射变换、畸变变换、视点变换处理)的对象的图像。例如，有在图像变换处理中使用通过其较广的像角包含水平方向的图像(例如是空的部分)的输入图像的情况，该输入图像是基于对地表从上方进行摄像的照相机的输入图像。在这样的情况下，将该输入图像投影到规定的空间模型中，以使该水平方向的图像不会被不自然地显示(例如使得不会将空的部分作为处于地表的部分处理)。并且，通过将投影在空间模型中的投影图像再投影到别的二维平面中，能够得到适合于图像变换处理的图像。另外，处理对象图像也可以不实施图像变换处理而原样作为输出图像使用。“空间模型”是输入图像的投影对象，至少包括作为处理对象图像所处的平面的处理对象图像平面以外的平面或曲面(例如与处理对象图像平面平行的平面、或在与处理对象图像平面之间形成角度的平面或曲面)。图3A、图3B是表示将输入图像投影的空 间模型MD的一例的图。图3A表示从侧方观察挖掘机60时的挖掘机60与空间模型MD之间的关系，图3B表示从上方观察挖掘机60时的挖掘机60与空间模型MD之间的关系。如图3A、图3B所示，空间模型MD具有半圆筒形状。半圆筒形状的底面内部包括平面区域Rl,侧面内部包括曲面区域R2。图4是表示空间模型MD与处理对象图像平面之间的关系的一例的图。在图4中，处理对象图像平面R3例如是包括空间模型MD的平面区域Rl的平面。另外，在图4中，为了明确化，使空间模型MD与图3所示那样的半圆筒形状不同、用圆筒形状表示，但空间模型MD是半圆筒形状及圆筒形状的哪种都可以。这在以后的图中也是同样的。此外，处理对象图像平面R3如上述那样，也可以是包括空间模型MD的平面区域Rl的圆形区域，也可以是不包括空间模型MD的平面区域Rl的环状区域。接着，对控制部I具有的坐标对应建立部10及输出图像生成部11进行说明。坐标对应建立部10是为了将照相机2摄像的输入图像所处的输入图像平面上的坐标(也有称作输入坐标的情况)、空间模型MD上的坐标(也有称作空间坐标的情况)、和处理对象图像平面R3上的坐标(也有称作投影坐标的情况)建立对应而设置的。例如，基于预先设定的或者经由输入部3输入的照相机2的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等关于照相机2的各种参数、和预先决定的输入图像平面、空间模型MD及处理对象图像平面R3的相互的位置关系，将输入图像平面上的坐标、空间模型MD上的坐标、和处理对象图像平面R3上的坐标建立对应。将这些对应关系保存到存储部4的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41中。输出图像生成部11是用来生成输出图像的机构。输出图像生成部11例如通过对处理对象图像实施标度变换、仿射变换、或畸变变换，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系保存到存储部4的处理对象图像一输出图像对应映射表42中。输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。此外，输出图像生成部11基于预先设定的、或者经由输入部3输入的假想照相机的光学中心、焦点距离、CCD尺寸、光轴方向矢量、照相机水平方向矢量、射影方式等各种参数，将处理对象图像平面R3上的坐标与输出图像所处的输出图像平面上的坐标建立对应。将对应关系存储到存储部4的处理对象图像一输出图像对应映射表42中。并且，输出图像生成部11 一边参照保存在坐标对应建立部10中的输入图像一空间模型对应映射表40及空间模型一处理对象图像对应映射表41，一边将输出图像中的各像素的值(例如亮度值、色调值、彩度值等)与输入图像中的各像素的值建立关联而生成输出图像。另外，输出图像生成部11也可以不使用假想照相机的概念，而将处理对象图像的标度变更来生成输出图像。接着，对由坐标对应建立部10及输出图像生成部11进行的处理的一例进行说明。坐标对应建立部10例如可以使用哈密尔顿的四元数将输入图像平面上的输入坐标与空间模型上的空间坐标建立对应。图5是用来说明将输入图像平面上的坐标与空间模型上的坐标建立对应的图。将照相机2的输入图像平面表不为以照相机2的光学中心C为原点的UVW正交坐标系的一平面，将空间模型表示为XYZ正交坐标系的立体面。 首先，坐标对应建立部10为了将空间模型上的坐标(XYZ坐标系上的坐标)变换为输入图像平面上的坐标(UVW坐标系上的坐标)，在使XYZ坐标系的原点平移到光学中心C (UVff坐标系的原点)后，使XYZ坐标系旋转，以使X轴与U轴一致、Y轴与V轴一致、Z轴与-W轴一致。这里，符号意味着方向相反。这因为UVW坐标系将照相机前方作为+W方向、XYZ坐标系将铅直下方作为-Z方向。 在存在多个照相机2的情况下，照相机2分别具有独立的UVW坐标系。由此，坐标对应建立部10使XYZ坐标系分别相对于多个UVW坐标系平移且旋转。上述变换通过在使XYZ坐标系平移以使照相机2的光学中心C成为XYZ坐标系的原点后、旋转以使Z轴与-W轴一致、再旋转以使X轴与U轴一致来实现。因而，坐标对应建立部10通过将该变换用哈密尔顿的四元数记述，将这两次的旋转汇总为一次旋转运算。用来使某个矢量A与别的矢量B —致的旋转相当于以矢量A和矢量B展开的面的法线为轴、旋转矢量A与矢量B形成的角度的处理。如果设旋转的角度为Θ，则由矢量A与矢量B的内积将角度Θ如以下这样表示。[数式I]
/ \
Λ _/ AmB0 = COS -
[MW,此外，矢量A和矢量B展开的面的法线的单位矢量N由矢量A与矢量B的外积如以下这样表示。[数式2]
AxB
A Λ
λ|/5 SinO另外，四元数是在设i、j、k分别为虚数单位的情况下、满足以下的条件的超复数。[数式3]ii = j j = kk = ijk = -I在本实施例中，四元数Q设实成分为t，设纯虚成分为a、b、C，如以下这样表示。[数式4]
Q = (t ；a, b, c) = t+ai+bj+ck因而，四元数Q的共轭四元数如以下这样表示。[数式5]Q* = (t ;_a, _b, _c) = t—ai—bj—ck四元数Q可以在设实成分t为O (零)的同时、用纯虚成分a、b、c表现三维矢量(a, b, C)。此外,还可以通过t、a、b、c的各成分表现以任意的矢量为轴的旋转动作。进而，四元数Q可以将连续的多次的旋转动作综合而表现为一次的旋转动作。例如，可以将任意的点S (sx, sy, sz) —边以任意的单位矢量C (I, m, η)为轴一边旋转角度Θ时的点D (ex, ey, ez)如以下这样表现。[数式6]D = (O ；ex, ey, ez) = QSQ*其中，
权利要求
1.一种处理对象图像生成装置，基于摄像部摄像的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于， 具备坐标对应建立部，该坐标对应建立部将上述输入图像所处的输入图像平面中的输入坐标、上述输入图像投影的空间模型中的空间坐标和将投影在上述空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中所述处理对象图像平面是上述处理对象图像所处的处理对象图像平面。
2.如权利要求I所述的处理对象图像生成装置，其特征在于， 上述坐标对应建立部将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应，以使将上述处理对象图像平面上的多个坐标位置与分别对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别在与上述处理对象图像平面垂直的平面中平行。
3.如权利要求I所述的处理对象图像生成装置，其特征在于， 上述坐标对应建立部将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应，以使将上述处理对象图像平面上的多个坐标位置与分别对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别通过单一的规定点。
4.如权利要求I所述的处理对象图像生成装置，其特征在于， 还具有将通过上述坐标对应建立部的对应建立而得到的对应关系信息作为映射信息保存的存储部。
5.一种处理对象图像生成方法，基于摄像部摄像的输入图像，生成作为用来得到输出图像的图像变换处理的对象的处理对象图像，其特征在于， 具备坐标对应建立步骤，所述坐标对应建立步骤将上述输入图像所处的输入图像平面中的输入坐标、上述输入图像投影的空间模型中的空间坐标和将投影在上述空间模型中的图像再投影的处理对象图像平面中的投影坐标建立对应，其中，所述处理对象图像平面是上述处理对象图像所处的处理对象图像平面。
6.如权利要求5所述的处理对象图像生成方法，其特征在于， 上述坐标对应建立步骤具备将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应、以使将上述处理对象图像平面上的多个坐标位置与对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别在与上述处理对象图像平面垂直的平面中平行的步骤。
7.如权利要求5所述的处理对象图像生成方法，其特征在于， 上述坐标对应建立步骤具备将上述空间模型上的上述空间坐标与上述处理对象图像平面上的上述投影坐标建立对应、以使将上述处理对象图像平面上的多个坐标位置与对应于该多个坐标位置的上述空间模型上的多个坐标位置连结的直线分别通过单一的规定点的步骤。
8.如权利要求5所述的处理对象图像生成方法，其特征在于， 还具有将通过上述坐标对应建立步骤的对应建立而得到的对应关系信息作为映射信息保存到存储部中的步骤。
9.一种操作支持系统，支持被操作体的移动或操作，其特征在于，具备 权利要求I 3中任一项所述的处理对象图像生成装置；对基于上述处理对象图像生成装置生成的处理对象图像生成的输出图像进行显示的显示部。
10.如权利要求9所述的操作支持系统，其特征在于， 上述显示部被设置在用来移动或操作上述被操作体的操作室中。
全文摘要
处理对象图像生成装置(100)基于摄像部摄像的输入图像生成作为用来得到输出图像的图像变换处理的对象的处理对象图像。坐标对应建立部(10)将输入图像所处的输入图像平面中的输入坐标、输入图像投影的空间模型(R1、R2)中的空间坐标和将投影在空间模型中的图像再投影的处理对象图像平面(R3)中的投影坐标建立对应，其中，所述处理对象图像平面是处理对象图像所处的处理对象图像平面。
文档编号H04N7/18GK102792685SQ20118001308
公开日2012年11月21日 申请日期2011年4月8日 优先权日2010年4月12日
发明者清田芳永 申请人:住友重机械工业株式会社