专利名称：图像处理设备、图像处理方法和记录介质的制作方法
技术领域：
本发明涉及一种图像处理装置、一种图像处理方法和一种存储程序的计算机可读记录介质并且具体地涉及一种对从互不相同的位置拾取的成对图像进行立体匹配过程的图像处理装置以及一种用于对从互不相同的位置拾取的成对图像进行立体匹配过程的图像处理方法和记录介质。
背景技术：
在地形分析等领域中经常使用一种通过对从不同视点拾取的成对图像进行立体匹配过程来计算三维信息(比如陆地的形状、建筑物的位置及其高度)的技术(例如参见专利文献1)。立体匹配过程是一种在两个图像之一中提取特征点(例如与在图像中出现的建筑物的拐角或者从地表面骤然突出的部分对应的点)并使用图像相关技术在另一图像中提取对应点，并且基于提取的特征点和对应点的位置信息来获取三维信息(包括对象的位置信息及其高度信息)的过程。根据立体匹配过程，当过程目标图像是通过拍摄例如其中有大量成群高层建筑物的市区而获得的图像时，一个图像中的特征点数目变得太大。因而为了减少该过程所必需的时间，提出一种将两个成对图像中的各图像划分成多个图像并且对各划分图像(下文简称为划分图像)进行立体匹配过程的技术。现有技术文献专利文献专利文献1 日本待审专利申请KOKOKU公开号H08-16930非专利文献非专利文献 1 Information Processing Society of Japan, National Lecture Collected Paper，第 64 卷，第 4 期(第 4· 767 至 4. 770 页)
发明内容
本发明将解决的技术问题根据上文说明的技术，由于处置的数据量对于各立体匹配过程而言为小，所以可以在短时间内完成针对一对图像的过程。然而关于如高层建筑物的高层物体的上部，视差在该对过程目标图像之间增加。在一些情况下，划分图像可能未包括与另一划分图像(与前一划分图像有对应关系)的特征点对应的对应点。在这一情况下难以进行立体匹配过程或者过程结果将不佳。已经鉴于前述境况而创造本发明，并且本发明的目的在于实现提高过程精确度而又加快图像处理。解决问题的手段根据本发明第一方面的一种图像处理装置对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，并且该图像处理装置包括设置单元，分别将第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像和第二图像的与第一图像的划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取单元，提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；重置单元，在提取单元不能提取对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得一个接合图像，而通过将设置为第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得另一接合图像；以及计算单元，计算第一图像的匹配图像中包括的点和第二图像的匹配图像中包括的对应点的三维信息。根据本发明第二方面的一种图像处理装置对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，并且该图像处理装置包括设置单元，分别将第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像及其周围的边际区域以及第二图像的与第一图像的划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；提取单元，提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；重置单元，在提取单元不能提取对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算第一匹配图像中包括的点和第二匹配图像中包括的对应点的三维信息。根据本发明第三方面的一种图像处理方法对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，并且该图像处理方法包括以下步骤分别将第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像和第二图像的与第一图像的划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；在提取单元不能提取对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为所述第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将设置为所述第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算第一图像的匹配图像中包括的点和第二图像的匹配图像中包括的对应点的三维信息。根据本发明第四方面的一种图像处理方法对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，并且该图像处理方法包括以下步骤分别将第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像及其周围的边际区域以及第二图像的与第一图像的划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；在提取单元不能提取对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算第一匹配图像中包括的点和第二匹配图像中包括的对应点的三维信息。一种计算机可读记录介质存储程序，该程序允许计算机作为以下单元来工作设置单元，分别将在互不相同的位置拾取的第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像和第二图像的与第一图像的划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取单元，提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；重置单元，在提取单元不能提取对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为所述第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将设置为所述第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算第一图像的匹配图像中包括的点和第二图像的匹配图像中包括的对应点的三维信息。一种计算机可读记录介质存储程序，该程序允许计算机作为以下单元来工作设置单元，分别将在互不相同的位置拾取的第一图像和第二图像划分成多个图像并且分别将第一图像的划分图像及其周围的边际区域以及第二图像的与第一图像的划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；提取单元，提取与第一匹配图像中的点对应并且在第二匹配图像中包括的对应点；重置单元，在提取单元不能提取对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算第一匹配图像中包括的点和第二匹配图像中包括的对应点的三维信息。本发明的效果变得有可能在短时间对成对的不同图像精确进行立体匹配过程。
图1是示出了根据本发明一个实施例的立体图像处理装置的框图；图2是用于说明图像数据的图；图3A是将图像表示为图像数据的图；图;3B是将图像表示为图像数据的图；图4A是示出了基于划分图像的匹配图像的图；图4B是示出了基于划分图像的匹配图像的图；图5A是示出了基于划分图像的匹配图像的图；图5B是示出了基于划分图像的匹配图像的图；图6A是示出了基于接合图像的匹配图像的图；图6B是示出了基于接合图像的匹配图像的图；图7是示出了立体图像处理装置的操作的流程图；图8A是用于说明立体图像处理的修改例子的图；图8B是用于说明立体图像处理的修改例子的图；并且
图9是示出了在立体图像处理装置由计算机实施时的示例物理配置的框图。
具体实施例方式下文将参照图1至图7给出对本发明实施例的说明。图1是根据一个实施例的立体图像处理装置10的框图。如图1中所示，立体图像处理装置10包括数据输入单元11、图像提取单元12、图像划分单元13、匹配图像设置单元14、对应点提取单元15、匹配遗漏检测单元16、划分图像接合单元17和三维信息计算单元18。从外部装置等(比如图像拾取设备)向数据输入单元11输入图像数据。图像数据是通过例如图像拾取设备等拾取地表面的图像而获得的拾取图像。图2是用于说明图像数据的图。在实施例中将给出对如下例子情况的说明，在该情况下如图2中所示输入通过在X轴方向上移动相机之时拾取地表面F之上的包括建筑物71和建筑物72的区域的图像而获得的两个图像。另外为了易于说明，假设数字相机70在图2中的虚线所示位置Pl的光轴和数字相机70在连续线所示位置P2的光轴相互平行并且核线(bipolar line)在两个图像之间一致。注意核线是可以绘制为如下范围的直线，在该范围中，对于立体图像中的一个图像中的给定点，与该点对应的点存在于另一图像中。图像提取单元12检测来自成对图像中的各图像的重叠区域并且从该对图像中的各图像提取与这一区域对应的图像。图3A和图;3B是各自将图像表示为图像数据的图。作为例子，图3A示出了数字相机70在位置Pl拾取的图像61，而图;3B示出了数字相机70在位置P2 (在位置Pl的+X侧上)拾取的图像62。图像提取单元12比较图像61与图像62 并且分别从具有相互共同区域的图像61和62提取两个提取图像61a和62a。图像划分单元13将从图像61提取的提取图像61a和从图像62提取的提取图像 62a中的各提取图像划分成设置于三行和五列的矩阵中的块图像。下文将提取图像61a在第m行的第η块图像表示为61a(m，η)，而将提取图像6 在第m行的第η块图像表示为 62a(m, η)。匹配图像设置单元14基于提取图像6Ia的块图像61a (m，η)和提取图像6 的块图像62a(m，η)来设置相互对应的匹配图像。图4Α和图4Β是各自示出了基于划分图像的匹配图像的图。例如为了基于块图像61a (1，1)和62a(l，l)来设置匹配图像，如图4A和图 4B中可见，匹配图像设置单元14向相应块图像61a (1，1)和62a(l，1)的周围添加边际区域 M0接着，匹配图像设置单元14将包括块图像61a(l，l)和边际区域M的区域设置为进行立体匹配过程的匹配图像SMAl (1,1),而将包括块图像62a (1，1)和边际区域M的区域设置为匹配图像SMA2(1，1)。此后，匹配图像设置单元14对块图像61a(l，2)至块图像61a(3，5) 和块图像6加(1，2)至块图像6加(3，5)进行相同过程。当在特征点与对应点之间有视差时以在与包括特征点的匹配图像对应的匹配图像中包括特征点的对应点这样的方式设置边际区域M。因而边际区域越大，则在对应匹配图像中包括的特征点与对应点之间的视差就变得越大。对应点提取单元15提取与匹配图像SMAl (m, η)中包括的和匹配图像SMA2 (m，η) 中包括的特征点相互对应的对应点。通过如下图像相关技术等进行这一过程，该图像相关技术检验在匹配图像SMAl (m，m)中的微小区域与匹配图像SMA2 (m，η)中的微小区域之间的相关。
例如，如图4A和图4B中可见，对应点提取单元15提取匹配图像SMA2(1，1)中包括的点bl至b4作为与匹配图像SMAl (1，1)中包括的建筑物71的特征点al至a4对应的对应点。匹配遗漏检测单元16确定与匹配图像SMAl (m, η)中的特征点对应的对应点是否都存在于匹配图像SMA2 (m, η)中。例如，如图4Α和图4Β中可见，如果在匹配图像SMA2(1，1)中包括与匹配图像 SMAl (1，1)中包括的特征点al至a4对应的所有对应点bl至b4，则匹配遗漏检测单元16 确定对应点的提取成功。图5A和图5B是各自示出了基于划分图像的匹配图像的图。反言之，如图5A和图5B中可见，如果在匹配图像SMAl (2，幻中仅包括建筑物72的特征点cl至 c4之中的特征点cl和c3而在匹配图像SMA2(2，;3)中未包括与建筑物72的特征点cl和 c3对应的对应点dl和d3，则匹配遗漏检测单元16确定对应点的提取未成功。三维信息计算单元18计算匹配图像SMAl中的特征点和从匹配图像SMA2提取的并且与该特征点对应的对应点的三维信息。具体而言，例如使用特征点和对应点的位置(以定位于位置Pl的数字相机70的视点为原点)以及三角测量技术来创建三维信息 (DSM(数字表面地图)数据(例如包括建筑物71、72的高度等))。当匹配检测单元16检测到匹配遗漏时，划分图像接合单元17将块图像(在X轴方向(图像61与图像62之间有视差的方向)上相互邻接)与在检测到遗漏的匹配图像中包括的块图像接合，由此限定图像61和图像62的新块图像。图6A和图6B是各自示出了基于接合图像的匹配图像的图。例如，如图6A和图 6B中可见，划分图像接合单元17将块图像61a(2，3)与在块图像61a(2，3)的-X侧上的块图像61a(2，2)和在块图像61a(2，3)的+X侧上的块图像61a(2，4)接合以便限定新块图像 61a (2，2-4)。另外将块图像62a (2，3)与在块图像62a (2，3)的-X侧上的块图像62a (2，2) 和在块图像62a(2，3)的+X侧上的块图像6加(2，4)接合以便限定新块图像62a(2，2_4)。当划分图像接合单元17限定块图像时，匹配图像设置单元14基于该块图像来重置匹配图像。例如，如图6A和图6B中可见，匹配图像设置单元14向相应块图像61a(2，2-4)和 62a(2, 2-4)的周围添加边际区域Μ。接着，匹配图像设置单元14将包括块图像61a(2，2_4) 和边际区域M的区域设置为进行立体匹配过程的匹配图像SMAl (2，2-4)而将包括块图像 62a (2, 2-4)和边际区域M的区域设置为进行立体匹配过程的匹配图像SMA2(2，2_4)。另外，在设置匹配图像SMAl (2，2-4)和匹配图像SMA2 (2，2_4)时，对应点提取单元 15提取与在匹配图像SMAl (2，2-4)中包括的特征点对应的在匹配图像SMA2 (2，2_4)中包括的对应点。如图6A和图6B中可见，作为与匹配图像SMAl (2，2-4)中包括的建筑物72的特征点cl至c4对应的对应点而提取的是匹配图像SMA2 (2，2-4)中包括的点dl至d4。在这一情况下，由于在匹配图像SMA2 (2，2-4)中包括匹配图像SMAl (2，2-4)中包括的特征点cl至 c4的所有对应点，所以匹配遗漏检测单元16未检测到匹配遗漏。接着将参照图7中所示流程图说明立体图像处理装置10的操作。在向数据输入单元11中输入图像数据时，立体图像处理装置10开始图7的流程图中所示相继过程。在第一步骤SlOl中，图像提取单元12从向数据输入单元11中输入的并且在图3A和图;3B中示出的图像61和图像62提取与相互重叠区域对应的图像61a、62a。当图像为共同(重叠)区域时，图像提取单元12可以能够提取任意区域。在下一步骤S102中，图像划分单元13分别将图3A和图中所示提取图像61a 和6 划分成块图像61a(m，η)和6h(m，η)。图像划分单元13可以将这样的图像划分成各自为任意形状的多个区域。在下一步骤S103中，如图4Α和4Β中所示，匹配图像设置单元14向相应块图像 61a (m, η)和6^i(m，n)添加边际区域M并且设置匹配图像SMAl和SMA2。边际区域M是与相应块图像61a和62a的外边缘对应的任意区域。在下一步骤S104中，对应点提取单元15提取与匹配图像SMAl中的特征点对应的并且在匹配图像SMA2中包括的对应点。例如，如图4A和图4B中所示，对应点提取单元15 提取匹配图像SMA2(1，1)中包括的点bl至b4作为匹配图像SMA1(1，1)中包括的建筑物71 的特征点al至a4的对应点。在下一步骤S105中，匹配遗漏检测单元16基于匹配图像SMAl中包括的特征点的对应点是否都包括在对应匹配图像SMA2中的事实来检测任何匹配遗漏。例如在如图5A和 5B中所示匹配图像SMAl (2,3)仅包括建筑物72的特征点cl至c4之中的特征点cl和c3 而匹配图像SMA2 (2，3)未包括与建筑物72的特征点cl和c3对应的对应点dl和d3时，匹配遗漏检测单元16确定对应点的提取未成功。当检测到匹配遗漏时(步骤S105 ；是)执行在步骤S106的过程，而当未检测到匹配遗漏时(步骤S105 ；否)执行在步骤S107的过程。在步骤S106中，划分图像接合单元17将检测到遗漏的匹配图像中包含的块图像与在X轴方向(在图像61和图像62之间存在视差的方向)上邻接的块图像接合，由此限定新块图像。例如，划分图像接合单元17如图6A和图6B中所示将在块图像61a(2，3)的 +X侧和在其-X侧的块图像61a(2，2)和61a(2，4)与块图像61a(2，3)接合，由此限定新块图像61a(2，2-4)。另外，划分图像接合单元将在块图像62a(2，；3)的+X侧和其-X侧的块图 ft 62a (2, 2)和62a (2，4)与块图像62a (2，；3)接合，由此限定新决图像62a (2，2_4)。在步骤S107中，三维信息计算单元18基于匹配图像SMAl中的特征点和从SMA2 提取的并且与特征点对应的对应点的位置信息来创建三维信息(DSM数据)。如上文说明的那样，根据实施例，基于块图像61a(m，η)和块图像6h(m，η)来设置相互对应的匹配图像SMAl和匹配图像SMA2。当从匹配图像SMA2未提取匹配图像SMAl 中的特征点的对应点时，将在出现视差的方向上邻接的块图像61a(m，η)接合在一起，从而限定新块图像61a (m，(n-l)-(n+l)) ^P 62a (m, (n_l) - (n+1))，并且基于那些块图像61a (m， (n-l)-(n+l))和6加(111，(n_l) -(n+1))来重置匹配图像SMAl和匹配图像SMA2。因而将在相互对应的匹配图像中包括特征点和对应点。因此当也对各划分图像进行针对图像61和图像62的立体匹配时有可能精确执行该过程。注意在实施例中，如图6A或者图6B中可见，划分图像接合单元17将三个块图像接合在一起以创建接合图像，但是本发明并不限于这一情况，并且当在图像61中的特征点与图像62中的对应点之间的视差大时，可以将四个或者更多图像接合在一起，并且基于这样的接合图像可以设置匹配图像。图8A和8B是各自用于说明立体图像处理的修改例子的图。如图8A和图8B中可见，当在图像61中建筑物跨两个块图像存在并且在图像62中这样的建筑物存在于一个块图像内时，可以将两个块图像接合在一起以创建接合图像。另外根据实施例，提取图像61a和6 分别被划分成十五个块图像，但是本发明并不限于这一情况，并且提取图像61a和6 可以被分别进一步分段并且可以划分成少于十五个块图像。另外，在实施例中，为了便于说明，给出对其中核线在图像61与图像62之间一致的情况的说明，但是当图像61中的核线与图像62中的核线不一致时，使用比如在待审日本专利申请KOKAI公开号2002-15756中公开的技术这样的技术，可以在进行图像提取单元12 的过程之前进行使图像61与图像62之间的对应点在相同线上(例如在与X轴平行的线上)的平行过程。通过执行这样的过程，在两个图像之间出现视差的方向变成X轴方向，并且通过进行前述实施例中说明的过程可以类似地创建三维数据。另外，在实施例中，将包括块图像61a(m，η)和62a(m, η)以及在块图像61a(m，η) 和6h(m，n)周围的边际区域M的区域设置为匹配图像SMAl和SMA2，但是本发明并不限于此，并且在无边际区域M时，可以设置尺寸与划分图像相同的匹配图像SMAl和SMA2。在这一情况下，当不能从与匹配图像SMAl对应的匹配图像SM2提取与匹配图像SMAl中包括的特征点对应的对应点时，在出现视差的方向上接合划分图像，并且扩大匹配图像。因而变得有可能从与匹配图像SMAl对应的匹配图像SMA2最终提取与匹配图像SMAl中包括的特征点对应的对应点。另外，在实施例中给出对其中图像数据为数字相机70拾取的成对图像61和图像 62的情况的说明，但是本发明并不限于这一情况，并且图像数据可以是通过数字化卫星照相而获得的图像或者可以是通过扫描普通模拟相机拾取的照相而获得的数字图像。另夕卜，在实施例中，使用图像相关技术来提取图像62中的与图像61中的特征点对应的对应点，但是本发明并不限于这一情况，并且可以使用其它技术，例如在待审日本专利申请KOKOKU公开号H8-16930中公开的技术。图9是示出了在立体图像处理装置由计算机实施时的示例物理配置的框图。实施例的立体图像处理装置10可以由与普通计算机装置的硬件配置类似的硬件配置实施。如图9中所示，立体图像处理装置10具有控制单元21、主存储器单元22、外部存储器单元23、 操作单元对、显示单元25和输入/输出单元26。主存储器单元22、外部存储器单元23、操作单元对、显示单元25和输入/输出单元沈都通过内部总线20连接到控制单元21。控制单元21包括CPU(中央处理单元)等并且根据外部存储器单元23中存储的控制程序30来执行立体匹配过程。主存储器单元22包括RAM(随机存取存储器)等，加载外部存储器单元23中存储的控制程序30并且作为用于控制单元21的工作区来使用。外部存储器单元23包括非易失性存储器(比如闪存、硬盘、DVD-RAM(数字万用盘随机存取存储器)或者DVD-RW (数字万用盘-可重写))、存储用于使控制单元21预先执行前述过程的控制程序30、根据来自控制单元21的指令向控制单元21供应控制程序30存储的数据并且存储从控制单元21供应的数据。操作单元M包括指示设备(比如键盘和鼠标)以及用于将键盘和其它指示设备连接到内部总线20的接口设备。图像数据的输入和发送/接收指令或者图像显示指令的输入通过操作单元M进行并且向控制单元21供应。显示单元25包括CRT(阴极射线管)或者IXD(液晶显示器)并且显示图像或者立体匹配过程的结果。输入/输出单元沈包括无线通信设备、无线调制解调器或者网络终端设备以及与之连接的串行接口或者LAN(局域网)接口。通过输入/输出单元沈接收图像数据或者发送计算结果。如图1中所示的立体图像处理装置10的数据输入单元11、图像提取单元12、图像划分单元13、匹配图像设置单元14、对应点提取单元15、匹配遗漏检测单元16、划分图像接合单元17和三维信息计算单元18的过程由使用控制单元21、主存储器单元22、外部存储器单元23、操作单元M、显示单元25和输入/输出单元沈作为资源来执行过程的控制程序30执行。另外，硬件配置和流程图仅为例子并且可以被任意改变和修改。包括控制单元21、主存储器单元22、外部存储器单元23、操作单元对、输入/输出单元沈和内部总线20并且执行立体图像处理装置10的过程的主要部分并不限于专用系统而且可以使用普通计算机系统来实现。例如用于执行前述操作的计算机程序可以在计算机可读记录介质(软盘、⑶-ROM、DVD-ROM等)中存储并且分发，并且计算机程序可以安装于计算机中以配置执行前述过程的立体图像处理装置10。另外，这样的计算机程序可以通过通信网络如因特网存储于服务器设备的存储器设备中，并且普通计算机系统可以下载这样的程序，由此配置立体图像处理装置10。当立体图像处理装置10的功能由OS (操作系统)和应用程序共享或者通过OS和应用程序的配合来实现时，可以在记录介质或者存储设备中仅存储应用程序部分。另外，计算机程序可以叠加于载波上并且可以经由通信网络分发。例如计算机程序可以通过通信网络放在BBS(电子公告牌系统)上，并且可以经由网络分发计算机程序。 然后，可以如同其它应用程序一样在OS的控制之下激活和执行计算机程序以实现可以执行前述过程的结构。本申请基于第2008-300220号日本专利申请，并且第2008-300220号日本专利申请的全文说明书、权利要求书和附图通过引用结合于本说明书中。图例
10立体图像处理装置
11数据输入单元
12图像提取单元
13图像划分单元
14匹配图像设置单元
15对应点提取单元
16匹配遗漏检测单元
17划分图像接合单元
18三维信息计算单元
21控制单元
22主存储器单元CN 102224522 A
23外部存储器单元
24操作单元
25显示单元
26输入/输出单元
30控制程序
61,62图像
61a，62a 提取图像
61a (m, η), 62a (m, η)
SMA1, SMA2 匹配图像
70数字相机
71,72建筑物
权利要求
1.一种图像处理装置，对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，所述图像处理装置包括设置单元，分别将所述第一图像和所述第二图像划分成多个图像并且分别将所述第一图像的划分图像和所述第二图像的与所述第一图像的所述划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取单元，提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对重置单元，在所述提取单元不能提取所述对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为所述第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将设置为所述第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算所述第一图像的所述匹配图像中包括的点和所述第二图像的所述匹配图像中包括的对应点的三维信息。
2.一种图像处理装置，对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，所述图像处理装置包括设置单元，分别将所述第一图像和所述第二图像划分成多个图像并且分别将所述第一图像的划分图像及其周围的边际区域以及所述第二图像的与所述第一图像的所述划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；提取单元，提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对重置单元，在所述提取单元不能提取所述对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算所述第一匹配图像中包括的点和所述第二匹配图像中包括的对应点的三维信息。
3.根据权利要求1所述的图像处理装置，其中所述重置单元在所述第一图像与所述第二图像之间出现视差的方向上接合邻接的划分图像。
4.一种图像处理方法，对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，所述图像处理方法包括以下步骤分别将所述第一图像和所述第二图像划分成多个图像并且分别将所述第一图像的划分图像和所述第二图像的与所述第一图像的所述划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对应点；在所述提取单元不能提取所述对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为所述第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将设置为所述第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算所述第一图像的所述匹配图像中包括的点和所述第二图像的所述匹配图像中包括的对应点的三维信息。
5.一种图像处理方法，对在互不相同的位置拾取的第一图像和第二图像进行立体匹配过程，所述图像处理方法包括以下步骤分别将所述第一图像和所述第二图像划分成多个图像并且分别将所述第一图像的划分图像及其周围的边际区域以及所述第二图像的与所述第一图像的所述划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对应点； 在所述提取单元不能提取所述对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算所述第一匹配图像中包括的点和所述第二匹配图像中包括的对应点的三维信息。
6.一种存储程序的计算机可读记录介质，所述程序允许计算机作为以下单元来工作 设置单元，分别将在互不相同的位置拾取的第一图像和第二图像划分成多个图像并且分别将所述第一图像的划分图像和所述第二图像的与所述第一图像的所述划分图像对应的划分图像设置为第一匹配图像和第二匹配图像；提取单元，提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对重置单元，在所述提取单元不能提取所述对应点时，将一个接合图像重置为第一匹配图像，而将另一接合图像重置为第二匹配图像，其中通过将设置为所述第一匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将设置为所述第二匹配图像的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算所述第一图像的所述匹配图像中包括的点和所述第二图像的所述匹配图像中包括的对应点的三维信息。
7.一种存储程序的计算机可读记录介质，所述程序允许计算机作为以下单元来工作 设置单元，分别将在互不相同的位置拾取的第一图像和第二图像划分成多个图像并且分别将所述第一图像的划分图像及其周围的边际区域以及所述第二图像的与所述第一图像的所述划分图像对应的划分图像及其周围的边际区域设置为第一匹配图像和第二匹配图像；执行单元，提取与所述第一匹配图像中的点对应并且在所述第二匹配图像中包括的对重置单元，在所述提取单元不能提取所述对应点时，将一个接合图像和包围所述一个接合图像的边际区域重置为第一匹配图像，而将另一接合图像和包围所述另一接合图像的边际区域重置为第二匹配图像，其中通过将所述第一匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述一个接合图像，而通过将所述第二匹配图像中包括的划分图像和与其邻接的不同划分图像接合而获得所述另一接合图像；以及计算单元，计算所述第一匹配图像中包括的点和所述第二匹配图像中包括的对应点的三维信息。
全文摘要
基于相互对应的块图像(61a(m，n)，62a(m，n))来设置相互对应的相应匹配图像(SMA1，SMA2)。当未从另一匹配图像检测到一个匹配图像中包括的特征点的对应点时，将在出现视差的方向上邻接的块图像接合在一起以便分别限定新块图像(61a(m，(n-1)-(n+1))，62a(m，(n-1)-(n+1)))。接着基于新限定的块图像来重置匹配图像。
文档编号G06T1/00GK102224522SQ200980146980
公开日2011年10月19日 申请日期2009年11月25日 优先权日2008年11月25日
发明者小泉博一, 柳生弘之, 神谷俊之 申请人:Nec软件系统科技有限公司