图像处理方法、装置和单元的制作方法

专利名称：图像处理方法、装置和单元的制作方法
技术领域：
本发明涉及用于处理图像，特别是用于组合关心的地区的重叠图像的方法、装置、 单元以及计算机程序。例如本发明可用在地理信息系统中用于城市规划、科学调查或环境 影响评估。
背景技术：
在地理信息系统中，常常需要通过组合从不同点，即位置，获得的多个重叠图像构 造关心的地区的图像，例如航空照片。首先图像构造处理一般包括图像的几何矫正，如透视校正。还可在曝光期间通过 自适应校正透镜实现透视校正。矫正处理产生正射校正的(orthorectified)图像。图像 还可进行缩放、透镜畸变校正、颜色或亮度校正，等等。然后构造处理一般包括使图像相应于可用的数字地形模型(DTM)、数字表面模型 (DSM)或数字高程模型(DEM)，即地面表面地形的数字表示。例如数字地形模型(DTM)通过 遥感或陆地测量获得。最后，图像构造处理包括例如通过校准和重合来组合重叠图像。用于组合来自不同位置的重叠图像的传统方法可需要附加的处理以获得平滑组 合图像，即在原始组成图像之间带有不易被察觉的过渡的组合的图像。这可被需要以满足 关心的地区的具体特征。该附加的处理常常是费力的且效率低的。因此，需要提供解决或部分地解决上述问题的图像处理方法。特别是，存在提供产 生更平滑的组合的图像且可以以自动的方式(如在计算机上)执行的用于组合关心的地区 的重叠图像的处理的需要。

发明内容
这种图像处理方法由权利要求1提供。有益的实施方式在从属权利要求中描述。本发明的图像处理方法用于选择关心的地区的两个重叠图像之间的接缝，其中该 两个图像限定重叠区域。本方法包括生成步骤和选择步骤。在生成步骤中，生成与重叠区 域的每个部分有关的差值。换言之，对于重叠区域的每个部分，生成差值。与一部分有关的 差值来源于在两个图像中的部分的至少一个特性之间的差。然后，在选择步骤中，选择在两 个点之间的穿过重叠区域的路径，两个点中的每一个位于重叠区域的边缘。路径的选择或 创建是基于沿着路径的部分的差值的和。该路径被设置为接缝。本方法提供用于以不引人注意的方式组合关心的地区的两个重叠图像的自动处 理。本方法适用于包含重叠区域的重叠图像，其中相同的元素可以不同的方式在两个图像 中描述。不同可包括从不同角度观察的建筑物或结构、表面如以不同的方式反射周围的事 物或天空的玻璃屋顶或外面的游泳池、在两个图像中具有不同位置或方位的移动物体或
λ 绝绝 八，寸寸。通过考虑在两个图像之间的差来选择路径，并且从而选择接缝，以避免重叠区域中的呈现两个图像之间的最明显的差别的部分。为此，对于重叠区域的每个部分，差值来源于在两个图像中的部分的特性之间的 差。因此创建差值的集合。差值的集合可采取差值矩阵或阵列的形式，并且可被叫作成本 栅格(cost grid)。在与大的差值有关的成本栅格中的部分表示是成本高的，并且优选地应 由路径来避免，而与小的差值有关的部分表示是成本低的，并且不需要由路径来避免。 然后路径在重叠区域的两个边缘点之间被选择，其基于沿着路径的部分的差值的 和。在一实施方式中，选择路径，其最小化沿着路径的部分的差值的和。在另一实施方式中， 选择路径，其最小化沿着路径的部分的差值的和除以沿着路径的部分的数量的结果。获得 的路径从而被选作为接缝。接缝是一条线，沿着该条线两个图像可被组合。在一实施方式中，当组合图像时， 在接缝的一侧上的部分从图像的第一个获得，而在接缝的另一侧上的部分从图像的第二个 获得。在一实施方式中，接缝用于以这样的方式组合，在接缝的一侧上的部分由在第一图像 中的它的特性获得主要部分(多于百分之50)，而在接缝的另一侧上的部分由在第二图像 中的它的特性获得主要部分。重叠图像的一部分可是像素、一组像素或任何类别的图像片 段。本发明的方法提供适当的接缝，沿着该接缝两个图像可以实际上不引人注意的方 式被组合，同时使能自动且有效的执行而没有人为干预，从而减少与产生组合的图像有关 的时间和成本。在一实施方式中，在生成和选择步骤之前，重叠图像被几何矫正。这是必要的，除 非在记录的时候图像被矫正，例如通过在照相机内的透视校正透镜进行了校正。在一实施方式中，在生成和选择步骤之前，使用数字地形模型(DTM)或类似的空 间或地形参考，以使两个重叠图像中的每一个相应于空间参考，并使图像相应于彼此。重叠 区域然后可合适地与在两个图像中空间地相应于彼此的点或部分一起处理。在一实施方式中，与每个部分有关的、且路径的选择所基于的差值是在两个图像 中的部分的辐射测量值之间的差。在另一实施方式中，差值是基于在两个图像中在部分的 辐射测量值的梯度之间的差。在又一实施方式中，差值是基于两个前述的差的组合。考虑在两个图像中对应的部分的辐射测量值之间的差，对于选择路径以尽可能地 避免重叠区域中呈现绝对辐射测量值中最明显的差的部分是有益的。这使能平滑组合。考虑在两个图像中在对应的部分的辐射测量值的梯度之间的差，对于选择路径以 尽可能地避免在图像中的不同位置(即，被移动的)边缘。边缘可例如是屋顶的周界或围绕 移动物体的周界。考虑用辐射测量值的梯度代替绝对辐射测量值，对克服可能的辐射测量 偏移量是有益的。这种偏移量，其可适用于重叠区域的全部部分，是在在两个图像中对应的 部分之间的绝对辐射测量值中的恒定差。这种偏移量可由图像记录或照相处理的特征(例 如曝光参数)引起。作为对于差值的基础，一实施方式提供在两个图像中的部分的绝对辐射测量值之 间的差和在两个图像中的部分的辐射测量值的梯度之间的差的组合。这导致一成本栅格， 其在放置大量权重以避免呈现明显的差(其可由偏移量产生)的地区和避免没有考虑空间 持久的差的边缘之间取得折衷。在一实施方式中，路径在两个点之间被选择，该两个点中的每个位于在两个图像的边缘之间的交叉点。换言之，所述路径的起始点和终点两者位于重叠区域的周界，并且它 们各自具有完全地位于图像的第一个而不在另一个中的邻近点，和完全地位于另一图像而 不在第一个中的另一邻近点。这使能够容易地组合两个图像而不需要作出进一步的决定， 并因此使能方便的计算机实现同时降低执行时间。在一实施方式中，选择步骤包括选择路径，沿着该路径差值的和是最小的或已知 最小的。可使用最短路径算法，如标准的Dijkstra最短路径搜索算法。所谓最短，意味着 选择最小化差值的和的路径。如果差值的集合被看作成本栅格，则最短路径是成本最低的 路径的同义词。这些算法的一些是众所周知的。因此该实施方式的方法可容易地被实现。 本方法不限于Dijkstra方法，而可使用任何最短路径搜索方法。在一实施方式中，在选择步骤中，即对于选择两个点之间的路径，考虑在重叠区域 内沿着路径的部分的位置。这为穿过重叠区域中间的路径供给更多的权重。在一实施方式中，选择步骤另外基于，即另外考虑，关于关心的地区的结构的信 息，由此叫作结构信息。结构信息可从外部的源接收或获得，如来自人工干预。结构信息可 与重叠区域的一些或全部部分有关。结构信息可包括建筑覆盖区。这提供机会以促使路径避免重叠区域的某些部分，如在数字模型地形(DTM)中已 知位于一些地方的大规模的建筑物。对于重叠区域中与结构信息有关的部分，可将大的数 量加到所生成的差值。该实施方式使能够通过加速(如最短路径识别)选择步骤的执行减 少计算机处理时间。在一实施方式中，方法包括，在选择接缝之后，用于沿着接缝组合两个重叠图像的 组合步骤。组合步骤可包括沿着接缝融合图像，即考虑在接缝的两侧上的两个图像的部分的 特性以控制图像的渐进合并。本发明还涉及组合重叠图像的集合的方法，特别是多于两个重叠图像。本方法包 括应用在图像的集合上的拼接步骤。拼接步骤首先包括确定重叠图像的集合是否确切地包括两个图像。如果如此，则 使用包括组合步骤的上述方法将两个重叠图像组合成一个图像。拼接步骤还包括确定重叠图像的集合是否包括多于两个图像。如果如此，则首先 将重叠图像的集合分离成两个子集。然后，拼接步骤被应用在两个子集的每一个上以获得 两个图像。当在该阶段应用拼接步骤时，每个子集被作为一集合来对待。然后使用包括组 合步骤的上述方法将两个获得的图像组合成一个图像。该方法使能够将大量的重叠图像组合成一个图像。处理是递归的，充分地适合于 方便的计算机实现和快速执行。图像的集合被反复地分离，并且图像被组合以构建拼接图， 而尽可能地不显示任何明显的接缝。本发明还涉及图像处理单元、图像处理装置以及计算机程序。计算机程序配置为 当在计算机或可编程装置上执行时，实现上述方法。在从属权利要求中描述有益的实施方 式。
图像处理单元配置为选择关心的地区的两个重叠图像之间的接缝。图像限定重叠 区域。图像处理单元包括生成单元和选择单元。生成单元配置为生成与重叠区域的每个部 分有关的差值。在生成单元中，与一部分有关的差值来源于在两个图像中的该部分的至少一个特性之间的差。选择单元配置为选择位于重叠区域的边缘的两个点之间的穿过重叠区 域的路径，其基于沿着路径的部分的差值的和。配置图像处理单元以使该路径被设置为接缝。
在一实施方式中，图像处理单还配置为将两个重叠图像组合成一个图像，并且为 此还包括组合单元，其配置为沿着接缝组合图像。本发明还涉及配置为组合重叠图像的集合的图像处理装置。该图像处理装置包括 配置为实现拼接步骤的拼接单元。拼接步骤将重叠图像的集合作为输入，并包括确定该集合是否确切地包括两个图 像，并且，如果如此，则使用上述的单元将两个图像组合成一个图像。拼接步骤还包括确定集合是否包括多于两个图像。如果如此，将集合分离成两个 图像子集。拼接步骤然后被应用在两个图像子集的每一个上以获得两个图像。最后，使用 包括组合单元的上述图像处理单元将两个所获得的图像组合成一个图像。本发明还涉及通过根据上述方法、使用上述的单元或使用上述的装置来组合关心 的地区的至少两个重叠图像所获得的关心的地区的图像。被组合来获得图像的至少两个重 叠图像至少包括由于获得，即记录图像的位置导致的差。


连同附图，现将描述本发明的实施方式，其中图1示意性地说明获得关心的地区的两个重叠图像的处理，以说明根据本发明的 方法；图2和3示意性地说明根据本发明的方法的两个实施方式的流程图；图4a和4b分别示出两个作为例证的第一和第二图像的剪切块，在它们的重叠区 域内，两者均示出相同的地理地区；图5说明在图4a和4b中所示的作为例证的地区的成本栅格，其中成本栅格包括 绝对辐射测量值的差和梯度辐射测量值的差的组合；图6a和6b说明两个作为例证的成本栅格，第一个以灰度等级，且第二个以两等 级，两者均仅示出辐射测量差；图7说明计算出的接缝(黑色)、分配给第一图像的栅格单元(浅灰色)、分配给 第二图像的栅格单元(深灰色)以及待通过融合以内插值替换的栅格单元(以白色)，其由 将本发明的方法的一实施方式应用到图4a和4b的重叠图像产生；图8a和8b示出作为例证的、在插值即融合以前图4a和4b的第一和第二图像的 每一图像的α栅格，其中白色单元代表1.0的α值，黑色单元代表0.0的α值，以及灰色 单元代表那些以插值为条件的α值；图9a和9b分别示出作为例证的、在插值(融合)之后第一图像和第二图像的每 一图像的α栅格，其中较亮的值代表较大的α (权重)值，最大值为1.0，最小值为0.0;图10说明在根据α栅格值融合图4a和4b的两个重叠图像之后作为例证的最终 拼接图；图11说明根据本发明的方法的一实施方式的、用于组合重叠图像的集合的拼接 步骤的流程图12和13示意性地说明根据本发明的两个实施方式的两个图像处理单元；以及图14和15示意性地说明根据本发明的实施方式的两个图像处理设备。
具体实施例方式现将结合具体实施方式
来描述本发明。可注意到这些具体实施方式
用来向技术人员提供更好的理解，而不是用来以任何方式限制本发明的范围，其由附加的权利要求来限 定。特别是，在它们不互相排斥的程度上，贯穿说明书独立地描述的实施方式可以被组合以 形成进一步的实施方式。图1示意性地说明在本发明的一实施方式中获得(即记录)两个重叠图像10a， IOb的处理。图1的上部部分示出从两个点2a，2b记录关心的地区的图像的处理的侧视图。 图1的下部部分示出两个相应的重叠图像10a，10b。两个图像10a，IOb由来自地面上方的两个不同位置2a，2b的航行器记录，航行器 如飞机、直升机、气球、以及飞艇(飞船)、火箭、轻型飞机(kite)，等等。图像10a，IOb还可 是卫星图像。关心的地区4可是城市地区，如在图1的上部部分示意性地示出。城市地区 包括建筑物6。在分别从两个位置2a和2b获得的两个图像IOa和IOb上建筑物6可能被 不同地表现。如在图1的下部部分所说明的，图像10a，IOb可并非必要地形成正方形。由于某 些原因，实际已记录的图像(在图1的下部部分所说明的两个正方形)的外围部分可能是 不可用的或不用的。如同样在图1的下部部分所示，图像IOa和IOb共有重叠区域14(浅 灰色阴影线地区)。本发明特别地包括选择穿过重叠区域14的路径16，该路径16从起始 点18a通到终点18b。起始点18a和终点18b可相互交换。起始点18a和终点18b两者都 在在图像10a，IOb的周界的交叉点上。虽然本文在航空摄影的背景下进行描述，但本发明可适用于任何背景，在该处记 录关心的地区、区域、目标、体积或物体的两个图像，其中两个图像重叠，并且其中存在找到 在图像之间的接缝的需要以沿着接缝将它们组合。本发明还适用于红外线成像、雷达或声 纳成像、海底测量、医学成像、超声波成像、磁共振成像、放射线照相成像、探地雷达成像、观 测天文学，等等。虽然由此针对从不同位置2a，2b获得的图像10a，IOb进行描述，但本发明可应用 于从相同点获得的图像。图2说明根据本发明的方法的一实施方式的流程图。该方法应用在一对重叠图像 10a, IOb 上。在生成步骤S22中，生成与重叠区域14的每个部分有关的差值。由此生成差值的 集合，其可采取成本栅格的形式。与每个部分有关的差值来源于在两个图像10a，IOb中该 部分的至少一个特性之间的差。生成步骤S22包括在两个重叠图像10a，IOb中，通过对于 重叠区域中的像素中的每一个计算在辐射测量值之间或辐射测量值的梯度之间的差，计算 对于重叠区域14的每个像素(或更一般地，部分)的成本栅格。在一实施方式中，为了搜索路径处理，在在两个图像10a，IOb中一部分的辐射测 量值的差和与该部分有关的成本之间的关系是线性的。在另一实施方式中，关系是非线性 的。
可基于辐射测量值计算差值，辐射测量值如三个RGB (红、绿以及蓝)分量，三个 YUV(亮度信息(Y)和颜色信息(U和V))分量等，但还可由多个灰色通道(如对于一些卫星 成像)组成。 在一实施方式中，一部分与来源于该部分自身和它的邻近部分的辐射测量的附加 的特性有关。这可以是，但不限于，由边缘检测滤波器计算的值。在一实施方式中，一部分与来源于其在重叠区域14内的位置的附加的特性有关， 该特性如在该部分与重叠区域14的边缘之间的距离。生成步骤S22可将用于确定重叠区域14的步骤的结果、以及矫正处理的结果作为 输入，如已经在上面所描述的。换句话说，在一实施方式中，生成步骤S22将正交图像作为 输入。图像中不是用作空间参考的数字地形模型(DTM)的一部分的元素(例如因为DTM具 有有限的精确性)可能未被适当矫正，因而在组合图像之前需要附加的处理。重叠区域14的确定(未图解的)可如下。第一步要确定由图像10a，IOb两者覆 盖的地区。这在每个像素的基础上完成。基于整个图像的地理参考信息，计算对于每个单 一像素的地理参考。然后，重叠区域包括对应于相同的地理参考信息的像素。本方法还包括选择步骤S24。该步骤S24包括选择在位于重叠区域14的周界的两 个点18a，18b之间的穿过重叠区域14的路径，其基于沿着该路径的部分的差值的和。在一 实施方式中，差值的集合用作针对最短路径搜索的距离函数。相同的差值集合可用于在每 个部分或每个像素的基础上确定是否使用融合。最后，路径设置为，即视为，接缝16。在一实施方式中，作为最短路径搜索的结果的 路径用作接缝16。因此接缝16可被自动地识别，即没有人为干预。在一实施方式中，结构信息，上面所描述的，可被添加到成本栅格以改变它。结构 信息可通过用户接口提供。在另一实施方式中，仅辐射测量值可被考虑以计算成本栅格。在一实施方式中，生成步骤S22是基于具有比像素分辨率低的分辨率的成本栅 格。换句话说，部分是多组像素。这减少了计算时间。在一实施方式中，在成本栅格生成S22之前或之后，完成找到起始点18a和终点 18b，如下。在重叠区域14搜索不管成本的数据如何接缝16必须通过的一些点。全部这些 点必须符合这三个标准(i)点位于重叠区域14的边界，(ii)点的邻近点位于“左”图像之内，但在“右”图像外，以及(iii)点的另一邻近点位于“右”图像之内，但在“左”图像外。通常，本方法产生两个点，但有时该方法可根本不产生点，或产生4个或更多点。 然而点的数量始终是偶数。在任何情况下，问题可以被简化为使用作为接缝16的起始点 18a和终点18b的两个点找到穿过成本栅格的接缝16。图3说明根据本发明的方法的流程图，其进一步包括组合步骤S26，用于沿着由选 择步骤S24所获得的选择的接缝16组合两个重叠图像10a，10b。在组合步骤S26期间，可 执行任选的融合以获得较平滑的图像组合，即在两个组合的图像10a，IOb之间的较平滑且 较不易被察觉的过渡。融合的目的在于避免组合之后在两个图像10a，IOb之间的明显易被察觉的过渡。 接近于接缝16的一些部分在两个图像10a，IOb之间融合，而不是简单地从图像10a，IOb中的一个获得。
已经可用的成本栅格可用于决定一部分是否要被融合或简单地被分配如果对于 该部分的差值低于给定的界限，则该部分被融合；否则该部分完全从它得到其主要部分的 图像获得。对于要融合的部分，基于到完全从第一图像IOa获得的最近的部分的距离和到完 全从第二图像IOb获得的最近的部分的距离，可计算融合率。在简单的实施方式中，融合率 关于距离是线性的，但它还可使用更高阶的函数。对于每个图像可独立地计算融合值，所以每个部分具有两个值一个针对第一图 像10a，一个针对第二图像10b。融合值可在从0. 0到1. 0的范围内被缩放，并且然后被解释为用于组合图像10a， IOb的α值。对于图像的一部分的α值由来自周围的部分的α值的插值确定。组合的图像的 部分因而是第一图像IOa和第二图像IOb的部分的α加权和。因为两个α值的和不要求 等于1. 0，所以完成最终的缩放以达到对于组合的图像的每个像素的1. 0的α值。图4a和4b示出两个作为例证的相同的关心的地区的重叠区域(或它的部分)。 归因于从其已经获得两个图像的位置的差是明显的。例如，尽管进行了矫正和缩放，在图像 的底部的教堂塔楼明显地描绘不同。图5示出作为例证的成本栅格，或差值的集合，其通过组合在图4a和4b的图像的 绝对辐射测量值之间的差和在图4a和4b的每个图像中的梯度辐射测量值之间的差来计 算。显然的，教堂屋顶的一些边缘引起大的差值(在图5中的白色值)。优选地，在最短路 径搜索的选择步骤S24期间，这些边缘被避免。通常，优选地，带有大的差值的部分或像素 应仅从一个图像中获得，即接缝16应避免这些部分。图6a和6b说明两个作为例证的成本栅格，第一个以灰度等级，第二个以两等级， 两者均仅示出辐射测量差。换句话说，成本栅格，或差值的集合，基于在图4a和4b的图像 的绝对辐射测量值之间的差来计算。在图5中教堂屋顶的明亮、明显的边缘不再显而易见。 当不存在偏移量时，图6a和6b的成本栅格是有益的。图7说明在生成和选择步骤S22，S24之后计算出的接缝16 (以黑色)。基于图5 的成本栅格选择该计算出的接缝16。图7还示出在作为结果的组合的图像中分配给图4a 的第一图像的部分(浅灰色)，在作为结果的组合的图像中分配给图4b的第二图像的部分 (深灰色)，以及通过融合以内插值替换的部分(以白色)。如所说明的，计算出的接缝适当 地避免了在两个图像中不同地描绘的全部的地区。图8a和8b示出作为例证的在插值即融合以前图4a和4b的第一和第二图像的每 一图像的α栅格，其中白色单元(或部分)代表1.0的α值，黑色单元代表0.0的α值， 以及灰色单元代表以插值为条件的单元。图9a和9b分别示出作为例证的在插值(融合)之后第一图像和第二图像的每一 图像的α栅格，其中较亮的值代表较大的α (权重)值，最大值为1.0，最小值为0.0。在 图像10a，IOb中呈现大的辐射测量差的重叠区域14的部分几乎完全地被分配到一个或另 一个图像而没有融合，即使当这些部分接近于接缝16时也是如此。所说明的每一像素的融 合考虑在每个像素和接缝16之间的距离。
图10示出作为例证的、在矫正、缩放、找到重叠区域14、找到起始点18a和终点 18b、应用生成步骤S22、应用选择步骤S24、以及应用包括融合的组合步骤S26之后的最终 拼接图，即组合的图像。所示的图像根据α栅格值组合图4a和4b的两个重叠图像。图11说明根据本发明的一实施方式方法的拼接步骤S28的示意性的流程图。拼 接步骤S28扩充在图1、2和3中所说明的步骤以组合关心的地区4的多于两个的图像。拼 接步骤S28的目 的是以这样的方式建立来自任意数量的图像的拼接图，该方式是在图像之 间的接缝不可见或实际上不可见。不限制图像的数量。当作为结果的拼接图超过通常使用 的图像格式的大小，可使用传统的平铺方法以存储作为结果的图像。拼接步骤S28以如在图11的顶部引入的向下的箭头所说明的步骤S281开始。步 骤S281存在于确定重叠图像10的集合是否确切地包括两个图像。如果如此(“是”)，S282， 则不需要进一步地分割，并且通过使用在图3中所说明的上述方法组合两个图像10a，10b。 然后S287获得一个图像且完成拼接步骤S28。如果步骤S281的结果是否定的，即如果它们是多于或少于两个图像而非确切地 两个图像(“否”)，S283确定重叠图像的集合是否包括多于两个图像10。如果步骤S283的结果是否定的(“否”)，则集合包括仅一个图像，并且图像是拼 接图。因此完成拼接步骤S28。如果步骤283产生肯定的确定(“是”)，即如果存在多于两个图像，S284集合被 分离成两个子集。拼接步骤S28，S285然后应用在两个子集中的每一个上。这是递归步骤。 在该阶段，通过好像每个子集是一集合一样的处理它们，拼接步骤S28，S285被应用在两个 子集的每一个上。当在每个子集上完成拼接步骤S28，S285两者时，S282组合两个获得的 图像。组合S282使用在图3中所说明的上述方法来实现。然后S287获得一个图像，并且 完成拼接步骤S28。当集合包括多于两个图像时，将图像的集合分离成两个子集的步骤S284可基于 集合的几何广度被执行。例如，如果由集合覆盖的地区的高度大于宽度，那么集合通过沿着 水平线切割分离。主要在水平线上方的全部图像是第一子集的部分，且主要在水平线下方 的全部图像10是第二子集的部分。在另一例子中，如果由集合覆盖的地区的宽度大于高 度，那么集合通过沿着垂直线切割分离。主要在垂直线的左手侧上的全部图像是第一子集 的部分，且剩余图像10，即主要在垂直线的右手侧的那些，是第二子集的部分。在一实施方式中，分离的步骤S284包括以这样的方式将初始图像集合分成图像 的两个子集，该方式是在两个子集之间的重叠区域是尽可能小的。这在组合由两个初始子 集拼接的两个图像的步骤S282期间减少了计算机存储器使用和管理成本。图11说明本发明的实施方式。又一些实施方式可在本发明的范围内。在一实施 方式中，确定多少图像组成集合的唯一步骤可代替两个步骤S281，S283来使用。图12说明图像处理单元50，如计算机实现的图像处理单元，包括生成单元52和选 择单元54。图像处理单元50配置为选择在关心的地区4的两个重叠图像10a，IOb之间的 接缝16。图像10a，IOb限定重叠区域14。生成单元52配置为生成与重叠区域14的每个部分有关的差值。生成单元52被 配置以使与一部分有关的差值来源于在两个图像10a，IOb中的该部分的至少一个特性之 间的差。换句话说，生成成本栅格，如上面参考生成步骤S22所解释的。
选择单元54配置为选择在位于重叠区域14的边缘的两个点18a，18b之间、穿过 重叠区域14的路径，其基于沿着该路径的部分的差值的和。例如，识别最短路径或短路径， 如上述参考选择步骤S24所解释的。
图像处理单元50进一步被配置以使路径被设置为接缝16。接缝16可用于组合两 个图像。图13说明根据本发明的另一实施方式的图像处理单元50。图13的图像处理单元 50不同于图12的图像处理单元50，这是由于它进一步包括组合单元56用于沿着所选择的 接缝16组合两个重叠图像10，IOb0例如这可以如上面参考组合步骤S26所描述的相同的 方式来完成。图14示意性地说明根据本发明的一实施方式的图像处理设备150。它包括处理 单元151a，如计算机处理单元(CPU)，和存储器元件151b，如存储器磁盘、光盘、闪存、磁带、 随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦PROM(EPROM)、电可擦 PROM(EEPROM)、它们的任意组合，等等。存储器元件151b包括带有用于在处理单元151a上 执行如上述的生成步骤的指令的代码部分152，和带有用于执行如上述的选择步骤的指令 的代码部分154。图像处理设备150还可例如使用计算机处理单元(CPU)、ASIC(专用集成电路)、 FPGA (现场可编程门阵列)、它们的任意组合，等等来执行或实现。图像处理设备150可以例如是计算机、膝上型电脑、移动终端、个人数字助理 (PDA)、手持设备，等等。图15示意性地说明根据本发明的进一步的实施方式的图像处理设备150。图15 的图像处理设备150不同于图14的图像处理设备150，因为它的存储器元件151b进一步包 括带有用于执行如上述的组合步骤的指令的代码部分156。在一实施方式中，本发明的方法包括步骤_确定重叠区域14，-计算对于重叠区域14的成本栅格，-找到对于接缝16的进入点(起始点18a)和退出点(终点18b)，-找到从进入点到退出点穿过成本栅格成本最低的路径；_分配融合值到在接缝16的两侧的地带；以及_根据融合值组合图像10a，10b，以使接缝是实际上不易被察觉的。在本文中使用术语“单元”或“元件”(例如在“图像处理单元” “生成单元” “选择 单元” “组合单元” “处理单元”或“存储器元件”中)的地方，没有作出关于可如何分布单 元或元件的组成部分和关于可如何集合单元或元件的限制。换句话说，单元或元件的组成 部分可分布在用于引起预期的功能的不同的软件或硬件组件或设备中。多个不同的单元或 元件还可被集合成用于提供预期的功能性。本发明还涉及计算机程序，该计算机程序配置成在计算机或可编程装置或设备上 执行时实现上述的方法。本发明还涉及计算机程序产品，其存储这样的计算机程序到存储 这样的计算机程序的计算机可读介质，并到存储这样的计算机程序的任何存储器存储设备。本发明的实施方式还包括
(i)用于选择在关心的地区的两个重叠图像之间的接缝的设备，所述图像定义重 叠区域，该设备包括处理单元和存储器元件，存储器元件包括代码部分，其当被加载在处理单元上时，在其上执行生成步骤，用于生成与重叠区 域的每个部分有关的差值，其中与部分有关的差值来源于在两个图像中的该部分的至少一 个特性的差；代码部分，其当被加载在处理单元上时，在其上执行选择步骤，用于选择在位于重 叠区域的边缘的两个点之间的、穿过重叠区域的路径，其基于沿着该路径的部分的差值的 和；以及代码部分，其当被加载在处理单元上时，在其上执行设置路径作为接缝。 (ii) (i)的设备，其中与一部分有关的差值是如下的任一个-在两个图像中的该部分的辐射测量值之间的差；-在两个图像中在该部分的辐射测量值的梯度之间的差；-两个前述的差的组合。(iii) (i)或(ii)的设备，其中位于重叠区域的边缘的两个点的每一个位于在两 个图像的边缘之间的交叉点。(iv) (i)、(ii)或(iii)的设备，其中选择步骤包括选择路径，沿着该路径差值的 和是最小的或已知最小的。(v) (i)、(ii)、(iii)或(iv)的设备，其中在选择步骤中，选择两个点之间的路径 进一步基于如下的任一个-沿着路径的部分的在重叠区域中的位置；-与沿着路径的部分或有些部分有关的值，其中该值来自外部的源；以及-两个前述的特性的组合。(vi)⑴、(ii)、(iii)、(iv)或(ν)的设备，进一步用于将两个重叠图像组合成一 个图像，存储器元件进一步包括代码部分，其当被加载在处理单元上时，在其上执行包括沿 着接缝组合图像的组合步骤。(vii) (vi)的设备，其中所述代码部分，当被加载在处理单元上时，在其上执行包 括沿着接缝组合并融合图像的组合步骤。(viii)用于组合重叠图像的集合的设备，该设备包括处理单元和存储器元件，该 存储器元件包括代码部分，其当被加载在处理单元上时，在其上执行应用在所述集合上的拼接步 骤，包括确定所述集合是否确切地包括两个图像，并且，如果如此，则使用(vi)或(vii)的 设备将两个图像组合成一个图像；以及确定集合是否包括多于两个图像，并且，如果如此(a)将集合分离成两个子集；(b)将拼接步骤应用在两个子集的每一个上以获得两个图像；以及(c)使用(vi)或(vii)的设备将两个所获得的图像组合成一个图像。(ix) (viii)的设备，其中应用在集合上的拼接步骤进一步包括确定集合是否包括一个图像，并且，如果如此，完成应用在集合上的拼接步骤。
尽管本发 明已经基于详细的实例被描述，但是详细的例子仅用来向技术人员提供 较好的理解，并不是用来限制本发明的范围。本发明的范围更确切地由附加的权利要求来 限定。
权利要求
一种用于选择关心的地区(4)的两个重叠图像(10a，10b)之间的接缝(16)的方法，所述图像(10a，10b)限定重叠区域(14)，所述方法包括生成步骤(S22)，用于生成与所述重叠区域(14)的每个部分有关的差值，其中与一部分有关的差值来源于在所述两个图像(10a，10b)中的所述部分的至少一个特性之间的差；以及选择步骤(S24)，用于基于沿着位于所述重叠区域(14)的边缘的两个点(18a，18b)之间的穿过所述重叠区域(14)的路径的所述部分的差值的和来选择所述路径；其中所述路径是所述接缝(16)。
2.根据权利要求1所述的方法，其中与一部分有关的所述差值是如下的任一个 -在所述两个图像(10a，IOb)中的所述部分的辐射测量值之间的差；-在所述两个图像(10a，IOb)中在所述部分的辐射测量值的梯度之间的差；以及 -两个前述的差的组合。
3.根据权利要求1或2所述的方法，其中位于所述重叠区域(14)的边缘的所述两个点 (18a, 18b)的每一个位于在所述两个图像(10a，IOb)的边缘之间的交叉点。
4.根据前述权利要求的任一项所述的方法，其中所述选择步骤(S24)包括选择路径， 沿着所述路径差值的和是最小的或已知最小的。
5.根据前述权利要求的任一项所述的方法，其中在所述选择步骤(S24)中，选择所述 两个点(18a，18b)之间的路径还基于如下的任一个-沿着所述路径的所述部分的在所述重叠区域(14)中的位置； _与沿着所述路径的所述部分或所述部分中的一些有关的值，其中所述值来自外部的 源；以及-两个前述的特性的组合。
6.根据前述权利要求的任一项所述的方法，还用于将所述两个重叠图像(10a，IOb)组 合成一个图像，还包括组合步骤(S26)，其包括沿着所述接缝(18)组合所述图像(10a，10b)。
7.根据权利要求6所述的方法，其中所述组合步骤(S26)包括沿着所述接缝(18)组合 并融合所述图像(10a，10b)。
8.一种用于组合重叠图像(10)的集合的方法，包括 应用在所述集合上的拼接步骤(S28)，包括确定(S281)所述集合是否确切地包括两个图像，并且，如果如此，则使用权利要求6或 7的所述方法将两个图像(10a，IOb)组合(S282)成一个图像；以及 确定(S283)所述集合是否包括多于两个图像，并且，如果如此 (i)将所述集合分离(S284)成两个子集；( )将所述拼接步骤(S28)应用(S285)在所述两个子集的每一个上以获得两个图像 (10a, IOb)；以及(iii)根据权利要求6或7的所述方法将两个所获得的图像(10a，10b)组合(S282)成一个图像。
9.根据权利要求8所述的方法，其中应用在所述集合上的所述拼接步骤(S28)还包括 确定所述集合是否包括一个图像，并且，如果如此，完成应用在所述集合上的所述拼接步骤(S28)。
10.一种图像处理单元(50)，其配置为选择关心的地区(4)的两个重叠图像(10a，IOb) 之间的接缝(16)，所述图像(10a, IOb)限定重叠区域(14)，所述单元(50)包括生成单元(52)，其配置为生成与所述重叠区域(14)的每个部分有关的差值，所述生成 单元(52)配置成使得与一部分有关的所述差值来源于在所述两个图像(10a，IOb)中的所 述部分的至少一个特性之间的差；以及选择单元(54)，其配置为基于沿着位于所述重叠区域(14)的边缘的两个点(18a，18b) 之间的穿过所述重叠区域(14)的路径的所述部分的差值的和来选择所述路径； 所述图像处理单元(50)被配置成使得所述路径被设置为所述接缝(16)。
11.根据权利要求10所述的单元(50)，其还被配置成使得与一部分有关的所述差值是 如下的任一个-在所述两个图像(10a，10b)中的所述部分的辐射测量值之间的差； -在所述两个图像(10a，IOb)中在所述部分的辐射测量值的梯度之间的差；以及 -两个前述的差的组合。
12.根据权利要求10或11所述的单元(50)，其还被配置成使得位于所述重叠区域 (14)的边缘的所述两个点的每一个位于所述两个图像(10a，IOb)的边缘之间的交叉点。
13.根据权利要求10至12任一项所述的单元(50)，其中所述选择单元(54)还配置成 包括选择路径，沿着所述路径差值的和是最小的或已知最小的。
14.根据权利要求10至13任一项所述的单元(50)，其中所述选择单元(54)还配置成 选择所述两个点(18a，18b)之间的路径还基于如下的任一个-沿着所述路径的所述部分的在所述重叠区域(14)中的位置； _与沿着所述路径的所述部分或所述部分中的一些有关的值，其中所述值来自外部的 源；以及一两个前述的特性的组合。
15.根据权利要求10至14任一项所述的单元(50)，其还被配置为将所述两个重叠图 像(10a，IOb)组合成一个图像，还包括组合单元(56)，其配置为沿着所述接缝(16)组合所述图像。
16.根据权利要求15所述的单元(50)，其中所述组合单元(56)还配置为沿着所述接 缝(16)组合并融合所述图像。
17.一种图像处理装置，其包括根据权利要求10至16任一项所述的单元(50)。
18.一种图像处理装置，其配置成用于组合重叠图像(10)的集合，包括 拼接单元，其配置为通过以下操作实现拼接步骤(S28)将所述集合作为输入；确定(S281)所述集合是否确切地包括两个图像，并且，如果如此，则使用权利要求15 或16的所述单元(50)将所述两个图像(10a，IOb)组合(S282)成一个图像；以及 确定(S283)所述集合是否包括多于两个图像，并且，如果如此，则 (i)将所述集合分离(S284)成两个子集；( )将所述拼接步骤(S28)应用(S285)在所述两个子集的每一个上以获得两个图像 (10a, IOb)；以及(iii)使用权利要求15或16的所述单元(50)将两个所获得的图像(10a，10b)组合成一个图像。
19.根据权利要求18所述的装置，其中所述拼接单元还配置为 >确定所述集合是否包括一个图像，并且，如果如此，则完成应用在所述集合上的所述拼 接步骤。
20.一种计算机程序，其配置成，当在计算机或可编程装置上执行时，实现根据权利要 求1至9的任一项所述的方法。
21.—种关心的地区(4)的图像，其通过根据权利要求6至9的所述方法的任一项、使 用权利要求15或16的单元(50)、根据权利要求17至19的任一项的装置或根据权利要求 20的计算机程序来组合所述关心的地区(4)的至少两个重叠图像(10)获得，其中所述至少两个重叠图像(10)至少包括由于获得所述图像(10)的位置(2)造成的差。
全文摘要
本发明涉及选择在关心的地区(4)的两个重叠图像(10a，10b)之间的接缝(16)的方法。它包括生成与重叠区域(14)的每个部分有关的差值，其中与部分有关的差值来源于在两个图像(10a，10b)中的该部分的至少一个特性之间的差。它还包括选择在位于重叠区域(14)的边缘的两个点(18a，18b)之间的、穿过重叠区域(14)的路径，其基于沿着该路径的部分的差值的和。该路径设置为接缝(16)。该接缝(16)可用于将重叠图像(10a，10b)组合成一个图像。本发明还涉及单元(50)、装置、计算机程序以及图像。
文档编号G06T3/40GK101960486SQ200880127633
公开日2011年1月26日 申请日期2008年2月28日 优先权日2008年2月28日
发明者R·威森法斯 申请人:因弗欧股份有限公司