专利名称：立体匹配处理系统、立体匹配处理方法和记录媒介的制作方法
技术领域：
本发明涉及立体匹配处理系统、立体匹配处理方法和存储程序的计算机可读记录媒介，并且更具体地，涉及可以正确地对多个图像之间的一致位置进行匹配的立体匹配处理系统、立体匹配处理方法和记录媒介。
背景技术：
三维数据自动生成方法通常采用对从人造卫星、飞机等获得的图像执行立体匹配的技术，以便生成表示地形的三维数据(数字表面模型(DSM)数据)。还提出了使用了操作者的存在以允许操作者对未成功匹配的任何位置进行矫正的技术。立体匹配处理用于由从不同视角拾取的两个图像即所谓的立体图像中寻找匹配点(在匹配点处拾取了相同位置)，以及用于通过使用匹配点之间的视差根据三角测量原理计算到目标对象的深度或者目标对象的形状。已经提出了各种立体匹配处理技术。例如，广泛使用的、作为区域相关技术而公开的技术是通过将相关窗口设定为左图像中的模板，在移动右图像中的搜索窗的同时将该模板与右图像中的搜索窗之间的之间相关系数计算为它们的匹配度，以及搜索出匹配度高的位置(例如，参见专利文献1)。通过限制搜索窗仅在图像中核线的方向上移动，这个技术减低了处理量，并且由此对于左图像中的每个点，可以获得X方向位移的量，即与左图像中的点匹配的右图像中的点的视差。核线是对于立体图像中之一的给定点，可以在立体图像中之另一个中绘制为一范围的线条，与给定点匹配的点可以存在于该范围中(例如，参见非专利文献1)。通常，核线的方向与图像扫描线的方向不同。然而，坐标变换可以对核线的方向进行重定向以使其与图像扫描线的方向一致。在以上阐明的非专利文献1中描述了怎样进行这样的坐标变换。在已经以上述方式经历重定向的立体图像中，可以限制匹配点搜索窗仅在扫描线上移动。因此，可以获得视差为左图像和右图像中的匹配点的X坐标值之间的差。现有技术文献专利文献专利文献1 日本专利申请KOKOKU公开号H08-16930。非专利文献非专利文献1 “Handbook of Image Analysis”(由 Mikio Takagi 和 Haruhisa Shimoda编辑，东京大学出版社1991年1月出版，第597-599页)。
发明内容
本发明将要解决的问题然而，采用立体匹配的相关三维数据生成技术不能排除不具有织构的区域或者针对该区域不能通过相关系数找到匹配区域的区域。因此，三维数据的图像包括许多在与周围存在很大不同的错误高度的点。特别地，建筑物等使得周围物被隐藏，并且因此图像可能包括无法找到匹配点的许多点，或者包括在显著凸出高度的点，或者图像中的建筑物可能丢失主体的显著部分。因此，通过立体匹配的相关三维数据生成技术可能产生相应点的不匹配所固有的错误，并且其不能够生成高精度的三维信息，这带来的问题是该技术不能应用到表示城市区域等(包括许多建筑物)的复杂图像。为了解决以上阐明的问题而做出本发明，并且本发明的一个目标是提供可以正确地对表示多个图像间的相同位置的区域进行匹配的立体匹配处理系统、立体匹配处理方法和记录媒介。用于解决问题的手段为了实现上述目标，根据本发明的第一方面的立体匹配处理系统包括关联单元， 将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定单元，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当线段确定单元确定绘制了线段时，关联单元将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。根据本发明的第二方面的立体匹配处理方法包括关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中在线段确定步骤中确定绘制了线段时，在关联步骤中将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示相同位置的项而相互关联。根据本发明的第三方面的计算机可读记录媒介存储程序以用于允许计算机执行 关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当在线段确定步骤中确定绘制了线段时，在关联步骤中将扫描线与线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。本发明的效果根据本发明，有可能提供可以正确地对多个图像之间的一致位置进行匹配的立体匹配处理系统、立体匹配处理方法和计算机可读记录媒介。
图1是示出立体匹配处理系统的示例性配置的框图；图2是示出怎样显示辅助线输入屏幕的示例的示意图；图3A是示出怎样显示立体匹配结果的示例的示意图；图3B是示出怎样显示立体匹配结果的示例的示意图；图4是用于阐明DP匹配处理的示意图；图5是例示搜索面的示意图6是用于阐明立体匹配处理的示意图；图7是示出辅助线输入处理的示例的流程图；图8是示出立体匹配处理的示例的流程图；图9A是例示搜索面的示意图；图9B是例示搜索面的示意图；图10是用于阐明利用辅助线的使用对关联进行矫正的示意图；图11是示出修改示例中搜索面的示意图；图12是用于阐明在修改示例中利用辅助线的使用对关联进行矫正的示意图；以及图13是示出修改示例中搜索面的示意图。
具体实施例方式接下来，将关于附随的附图对用于实施本发明的最佳方式进行阐述。图1是示出根据本发明的一个实施方式的立体匹配处理系统的示例性配置的框图。立体匹配处理系统 1例如通过通用计算机来进行配置，并且该系统包括显示单元10、辅助线输入单元11、相对定向单元12、立体匹配单元13以及正交处理/绝对定向单元14(如图1所示)。显示单元10例如包括IXD(液晶显示器)。图2是示出怎样显示辅助线输入屏幕的示例的示意图。图3A和图3B是示出怎样显示立体匹配结果的示例的示意图。显示单元 10对在图2中示出的、包括通过从不同方向拾取相同对象获得的两个航空照片图像(此后称作左图像和右图像)的辅助线输入屏幕进行显示，或者对图3A和图3B示出的左图像和右图像的立体匹配的结果进行显示。辅助线输入单元11包括例如键盘和鼠标，并且当例如操作者在显示单元10上显示的辅助线输入屏幕上的左图像和右图像中绘制辅助线时使用该单元。辅助线是操作者用来将左图像和右图像中的一致位置关联起来的线段。相对定向单元12例如由以下实施CPU(中央处理单元)、ROM(只读存储器)、 RAM(随机存取存储器)以及硬盘驱动器，并且该单元执行对在图像拾取时使用的照相机参数进行定向的定向处理，以及根据需要执行将左图像和右图像重新投影到公共平行平面上的平行化处理。术语定向是要获得评估对象的预定值。更具体地，在定向处理中，相对定向单元12读取左图像和右图像中共同地出现的对象的坐标值，并且通过使用读取的两个坐标值，定向在图像拾取时使用的照相机参数如左图像和右图像之间的照相机旋转角度。以这种方式，相对定向单元12可以对在图像拾取时使用的如下照相机参数进行定向，这些参数即使是在接近垂直方向的方向上获取航空照片时也由于像飞机姿态改变等的效应而难以被包括进来。此后，相对定向单元12执行平行化处理以便将左图像和右图像重新投影到公共平行平面上，使得将各自图像中的核点互连的左图像和右图像中的核线与多个扫描线之一重合。立体匹配单元13例如由以下实施CPU、ROM、RAM以及硬盘驱动器。另外，立体匹配单元在RAM中具有用于辅助线输入标志的区域，该标志指示辅助线已经分别输入到左图像和右图像中，以及具有用于存储辅助线和扫描线相交的交点的坐标的交点坐标缓存器。
5
立体匹配单元13执行立体匹配处理，更具体地，在以已经经历通过相对定向单元 12的平行化处理的左图像和右图像(一对平行化的图像)上执行DP(动态编程)匹配处理，由此测量左图像和右图像之间的位移(视差)以及生成视差数据。图4是用于阐明DP匹配处理的示意图。更具体地，在DP匹配处理中，当没有通过由操作者给出的、到辅助线输入单元11的操作将辅助线输入到左图像和右图像中时，立体匹配单元13检查左图像和右图像之间沿着相同扫描线的相关性，并且搜索出在它们之间具有最大相关系数的格子区域，如图4所示。图5是例示搜索面的示意图。立体匹配单元13在图5所示的搜索面上关联具有最大相关性系数的格子区域的中心坐标。在这个搜索面中，水平轴Xl表示右图像的χ坐标， 并且垂直轴χ2表示左图像的χ坐标。立体匹配单元13通过针对每个扫描线执行这样的关联而生成视差数据，并且将如图3Α中示出的这样的图像作为立体匹配结果显示在显示单元10上。相反地，当由操作者给出的、到辅助线输入单元11的操作分别将辅助线输入到左图像和右图像中时，对于输入了辅助线的部分，立体匹配单元在搜索面上关联扫描线和辅助线相交的交点的坐标。相比而言，对于没有输入辅助线的部分，立体匹配单元在搜索面上关联具有最大相关系数的格子区域的中心位置的坐标。图6是用于阐明立体匹配处理的示意图。通过对图6中示出的每个扫描线执行这样的关联，立体匹配单元13生成通过辅助线进行矫正的视差数据，并且将如图3Β所示的这样的图像作为立体匹配结果显示在显示单元10上。此后，通过组合使用生成的视差数据和通过相对定向单元12进行定向的照相机参数，立体匹配单元13根据三角测量原理计算三维坐标系统中与每个像素相对应的位置， 并且提取包括指示对象在地表之上的高度的海拔数据的DSM(数字表面模型)数据，由此获得到该对象的深度和对象的形状。正交处理/绝对定向单元14例如由以下实施CPU、ROM、RAM以及硬盘驱动器，并且该单元通过使用DSM数据执行将航空照片图像和DSM数据变换为正交图像和正交数据的正交处理，以及通过使用已经经历了正交处理的航空照片图像和DSM数据执行获得对象在地球表面上的精确坐标(更具体地，对象的经度和纬度)的绝对定向处理，而生成正交图像和正交DSM数据。正交图像包括颜色数据以及指示通过绝对定向获得的经度和纬度的经度数据和纬度数据。正交DSM数据包括指示对象在表面之上的高度的海拔数据和经度数据及纬度数据。通过获得经度数据和纬度数据，使得有可能将在不同时刻拾取的航空照片的图像中的相同对象的位置相互关联。接下来将关于附随的附图对由采用以上阐明的配置的立体匹配处理系统执行的处理进行阐述。立体匹配处理系统周期性地执行辅助线输入处理和立体匹配处理。辅助线输入处理和立体匹配处理以任意定时执行，例如当操作者给出指令、当存在预定图像以及当变成预定时间时。图7是详细示出辅助线输入处理的流程图。在辅助线输入处理中，立体匹配单元 13确定是否已通过由操作者给出的、到辅助线输入单元11的操作将辅助线输入到了显示单元10上显示的辅助线输入屏幕上的左图像和右图像中的每个图像中(步骤S11)。此时， 当没有输入辅助线时(步骤Sll ；否)，则立体匹配单元13直接结束辅助线输入处理。相反，当在步骤Sll的处理中确定已经输入了辅助线时(步骤Sll ；是)，则立体匹配单元13针对左图像和右图像的每个图像获得扫描线和辅助线相交的交点的坐标，并且将获得的坐标存储在RAM中提供的交点坐标缓存器中(步骤S12)。此后，立体匹配单元13将RAM中提供的辅助线输入标志设定为0N(步骤S13)，并且结束辅助线输入处理。图8是详细示出立体匹配处理的流程图。在立体匹配处理中，相对定向单元12执行定向处理以便对在图像拾取时使用的照相机参数进行定向(步骤S21)，并且执行平行化处理以便将左图像和右图像重新投影到公共平行平面上使得核线与多个扫描线中的任何一个重合(步骤S22)。接下来，立体匹配单元13检查RAM中提供的辅助线输入标志是否被设定为0N，以便确定辅助线是否已经输入到左图像和右图像中的每个图像之中(步骤S23)。当在步骤S23的处理中确定没有辅助线被输入时(步骤S23 ；否)，则立体匹配单元13生成未通过辅助线进行矫正的视差数据(步骤S24)。在步骤S24的处理中，立体匹配单元13检查左图像和右图像之间沿着相同扫描线的相关性，并且搜索具有最大相关系数的每对格子区域。接下来，立体匹配单元13在搜索面上关联具有最大相关系数的那对格子区域的中心坐标。立体匹配单元13针对每个扫描线执行这样的关联，由此生成未通过辅助线进行矫正的视差数据。相反，当在步骤S23的处理中确定已经输入了辅助线(步骤S23 ；是)，则立体匹配单元13生成通过辅助线进行矫正的视差数据(步骤S25)。在步骤S25的处理中，针对其中已经输入了辅助线的部分，立体匹配单元13在搜索面上关联存储在RAM中提供的交点坐标缓存器中的、扫描线和辅助线之间的交点的坐标，并且针对其中没有输入辅助线的部分，在搜索面上关联具有最大相关系数的格子区域的中心位置的坐标。立体匹配单元13针对每个扫描线执行这样的关联，由此生成通过辅助线进行矫正的视差数据。此后，立体匹配单元13将基于在步骤S24或者步骤S25的处理中生成的视差数据的图像作为立体匹配结果显示在显示单元10上(步骤S26)，并且通过使用视差数据和在步骤S21的处理中经过定向的照相机参数来提取包括指示对象表面高度的海拔数据的DSM数据(步骤S27)。随后，正交处理/绝对定向单元14通过使用在步骤S27的处理中提取的DSM数据执行正交处理，由此将航空照片图像和DSM数据变换为正交图像和正交数据(步骤S28)。接下来，正交处理/绝对定向单元14通过使用已经经历了步骤28处的正交处理的DSM数据来执行绝对定向处理，由此生成正交图像和包括指示对象表面高度的海拔数据的正交DSM数据(步骤S29)。随后，将在具体示例中对执行上述处理的立体匹配处理系统的操作进行阐述。当没有输入辅助线时，由于在图8示出的步骤S23的处理中确定了辅助线输入标志设定为OFF，每对具有最大相关系数的格子区域的中心坐标通过步骤S24的处理在搜索面上相互关联。
图9A和9B是例示搜索面的示意图。图10是用于阐明利用辅助线的使用对关联进行矫正的示意图。当在步骤S24的处理中在图9A所示的搜索面上做出了错误关联时，操作者对辅助线输入单元11进行操作以关联地输入左图像上的辅助线A2和右图像上的辅助线Al，以及关联地输入左图像上的辅助线B2和右图像上的辅助线Bi。此后，在图7示出的步骤S12的处理中获得扫描线和各辅助线A1、A2、B1和B2彼此相交的交点的各自的χ坐标al、a2、bl和b2，并且在步骤S13的处理中，将辅助线输入标志设定为ON。此时，在图8示出的步骤S23的处理中确定辅助线输入标志设定为ON。因此，在步骤S25的处理中，如图9B所示，在搜索面上关联扫描线和辅助线A2在左图像中相交的交点的坐标a2与扫描线和辅助线Al在右图像中相交的交点的坐标al，以及在搜索面上关联扫描线和辅助线B2在左图像中相交的交点的坐标b2与扫描线和辅助线Bl在右图像中相交的交点的坐标bl。结果，立体匹配处理系统1可以矫正搜索面上的错误关联并且正确地将左图像和右图像的一致位置进行关联。如以上阐述的，根据本实施方式的立体匹配处理系统1可以通过应用通过辅助线的矫正而对搜索面上的错误关联进行矫正并且从而可以对呈现为立体匹配结果的视差数据进行矫正。另外，立体匹配处理系统1可以通过使用经矫正的视差数据提取DSM数据而获得精确地指示对象表面高度的海拔数据。本发明并不限于以上实施方式，而是可以改变和修改为各种形式。以下将会阐述可以应用到本发明的、以上实施方式的修改示例。以上实施方式阐述为在图8中示出的步骤S25的处理中，在搜索面上关联扫描线和辅助线A2在左图像中相交的交点的坐标a2与扫描线和辅助线Al在右图像中相交的交点的坐标al，以及在搜索面上关联扫描线和辅助线B2在左图像中相交的交点的坐标b2与扫描线和辅助线Bl在右图像中相交的交点的坐标bl，以及在其中，在搜索面上相互关联具有最大相关系数的格子区域的中心坐标。然而，本发明并不限于这种情况。图11是示出根据修改示例的搜索面的示意图。如在图11中所示，存在于对搜索面上的坐标(al，a2)和坐标(bl，b2)进行互连的线段上的所有点都可以被关联。是否输入用于做出这样的关联的辅助线(必须的辅助线)可以基于由操作者给出到辅助线输入单元11的操作而确定。以上实施方式阐述了一种示例情况，其中辅助线垂直于扫描线绘制，但是本发明并不限于这种情况。图12是用于阐明修改示例中对使用辅助线的关联的矫正的示意图。另外，图13是示出修改示例中的搜索面的示意图。辅助线可以平行于扫描线绘制(如图12 所示)。当平行于扫描线绘制辅助线时，可以将把左图像和右图像中的每个图像中的辅助线 (线段)分割为数目为n(n是自然数)的相等部分的点(等分点)按照从线段起点到线段终点的顺序在检查平面上相互关联(如图13所示)。以上实施方式阐述为在定向处理中，相对定向单元12读取左图像和右图像中共同出现的对象的坐标值，并且通过使用读取的两个坐标值，定向在图像拾取时使用的照相机参数，如左图像和右图像之间的照相机旋转角度。然而，本发明并不限于这种情况，并且怎样对在图像拾取时使用的照相机参数进行定向可以是任意的，并且在图像拾取时刻的照相机参数可以利用例如通过图绘制程序计算的值的使用而进行定向。以上实施方式阐述为正交处理/绝对定向单元14通过使用已经经历了正交处理的航空照片图像和DSM数据而执行获得对象的经度和纬度的绝对定向。然而，本发明并不限于这种情况，并且怎样执行绝对定向可以是任意的。例如，可以获得从预先检测了经度、 纬度和海拔值的航空照片图像上多个点的图像坐标到地球表面上的表面坐标(经度、纬度和海拔值)的换算公式。另外，可以使用航空三角测量数据，该数据指示了通过拾取其上放置了防空指示器的航空照片而测量的经度、纬度和海拔。这使得有可能获得图像上的任意坐标点的表面坐标值。防空指示器是它的形状可以从通过装配在飞机上的各种感测器拾取的航空照片的图像上清楚地识别，并且它的图像坐标可被测量的指示器。因此，当设定了防空指示器时， 指示了精确的三维坐标。以上实施方式阐述为正交图像包括颜色数据、经度数据和纬度数据，并且正交DSM 数据包括海拔数据、经度数据和纬度数据。然而，本发明并不限于这种情况。正交图像和正交DSM数据可以取代经度数据和纬度数据而包括在另一个坐标系中表示的坐标值数据，以及取代海拔数据而包括指示相对于任何其他基准的相对高度的高度数据。本申请基于第2008-300103号日本专利申请，该申请的说明书、权利要求和附图以引用的方式全部并入本说明书。图例1立体匹配处理系统10显示单元11辅助线输入单元12相对定向单元13立体匹配单元14正交处理/绝对定向单元
9
权利要求
1.一种立体匹配处理系统，包括关联单元，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定单元，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当所述线段确定单元确定绘制了所述线段时，所述关联单元将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
2.根据权利要求1所述的立体匹配处理系统，其中当在所述多个图像的每个图像中绘制了多个所述线段时，所述关联单元将所述多个图像的一个图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段与所述多个图像的另一图像中对所述扫描线与所述多个线段各自相交的交点进行互连的线段作为表示同一位置的项而相互关联。
3.根据权利要求2所述的立体匹配处理系统，其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将所述线段的起点相互关联并且将所述线段的终点相互关联以作为表示同一位置的项。
4.根据权利要求3所述的立体匹配处理系统，其中当分别在所述多个图像中平行于所述扫描线绘制所述线段时，所述关联单元将把所述多个图像的一个图像中的所述线段分割成预定数目的相等部分的等分点中的每个等分点与把所述多个图像的另一个图像中所述线段分割成所述预定数目的相等部分的等分点中的每个等分点按照从起点开始的顺序作为表示同一位置的项而相互关联。
5.一种立体匹配处理方法，包括关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
6.一种计算机可读记录媒介，存储程序以用于允许计算机执行以下步骤关联步骤，将多个图像中在同一扫描线上具有最大相关系数的区域作为表示同一位置的项而相互关联，所述多个图像通过从不同方向拾取同一对象的图像而获得；以及线段确定步骤，确定是否分别在所述多个图像中绘制了作为指示同一位置的项而相互关联的线段，其中当在所述线段确定步骤中确定绘制了所述线段时，在所述关联步骤中将所述扫描线与所述线段各自相交的交点，而不是在所述同一扫描线上具有最大相关系数的区域，作为表示同一位置的项而相互关联。
全文摘要
当操作者进行操作输入相互关联的左图像上的辅助线(A2)以及右图像上的辅助线(A1)，以及相互关联的左图像上的辅助线(B2)以及右图像上的辅助线(B1)时，立体匹配处理系统在搜索面上关联左图像上的扫描线与辅助线(A2)之间的交点的坐标(a2)与右图像上的扫描线与辅助线(A1)之间的交点的坐标(a1)，以及左图像上的扫描线与辅助线(B2)之间的交点的坐标(b2)与右图像上的扫描线与辅助线(B1)之间的交点的坐标(b1)。由此，立体匹配处理系统(1)可以对搜索面上错误的关联进行矫正，并且可以正确地对左图像和右图像上的一致位置进行关联。
文档编号G01B11/00GK102224523SQ20098014698
公开日2011年10月19日 申请日期2009年11月25日 优先权日2008年11月25日
发明者小泉博一, 柳生弘之, 神谷俊之 申请人:Nec软件系统科技有限公司