专利名称：成像中约束点自主确定的方法
技术领域：
本发明涉及成像系统，更具体地涉及在一系列地理上重叠的数字图像中选择约束点的一种方法。
图像配准技术在地形评估和测绘中发挥重要的作用。从一系列地理上重叠的数字图像中，图像配准技术识别并自动配准对应在多个图像中的点(“约束点”)。这些图像是具有不同方向和/或标度的数字图像。这些图像也可以是在一年中的不同时间以及从不同的地形勘探中得到的。
一旦找到约束点，就计算出每个图像中的每个对应点的坐标，使得相对于这些点所在的图像的标度、方向和位置不变。从这些信息中就可以分析重叠图像的共同区域。根据所有重叠点的集合，有可能组合出单个大的图像。因此，需要提供一种方法和装置，以更通用和有用的方式在具有共同区域的不同数字图像中自动识别相同的地形点。
本发明包括一种方法和装置，用于在重叠的图像中选择约束点的位置，这种方法克服了现有技术中所出现的上述缺点。
为了更完整地理解本发明及其优点，下面结合附图进行详细的介绍。在附图中
图1是一个流程图，说明实现约束点自主配准的过程；图2也是一个流程图，说明对地理上重叠的图像排序的方法；图3给出了通过计算一个邻接数组对的富里叶反变换得到的数组；图4是一个流程图，说明按第一分辨率对图像数据数组进行相位相关的方法；图5也是一个流程图，说明按第二分辨率对图像数组进行相位相关的方法；图6的流程图说明评估潜在的约束点位置的方法；图7的流程图说明本发明的标准化互相关方法；
图8的流程图说明排列候选约束点位置的方法；图9的流程图介绍本发明的执行一致性检查功能的方法；以及图10的流程图说明将一个二次曲面装在一个从标准化互相关解数组中提取的3×3像素窗口上的方法。
现在参考附图，更具体来说是图1，图中给出了实现约束点自主配准的过程流程图。该处理过程被分为选择过程10和测定过程12。选择过程10从减少的分辨率成像(通常为1/64X)中识别粗略的约束点位置。测定过程12对由选择过程10提供的粗略约束点估算的位置细化到子像素数组。
选择过程10包括优化立体配对过程14。优化立体配对过程14将由某个图像采集装置(图中没有表示)提供的多个数字图像按环状次序排列，使得所有的配对，包括第一和最后一个图像的配对，都具有成功相位相关的高度可能性。这种方法使得相邻图像的季节以及定义相邻图像的取像几何形状的角度之间的差别最小化。这两个参数之间的差别的程度越小，在相邻图像之间成功相位相关的可能性就越大。
现在参看图2，该图更详细地介绍了根据本发明对地理上重叠的图像进行排序的方法。在步16中，每个图像被赋予一个从1到N的数字标记，这里的N＝图像的总数。被排序的图像存在一个两列的数组M中，其中，行的总数等于相同飞行图像对的数目加上留下的单个不配对的图像数目。数组M的第一位置包括最接近年中的图像。年中被定义为在北半球(包括赤道)的7月1日的午夜，以及在南半球的1月1日的午夜。在步18中，将最接近年中日期的相同飞行图像对的数字标记存在数组M的第一行中，其中，和前透视图像的标记存在第一列，和后透视图像的标记存在第二列上。
对于留下的每个相同飞行，计算立体图像对、最类似原先被存储的立体图像对的图像对立体几何角度，并且在步20中将图像对的标记存储在数组M的下一行中。通过将放在数组M中的最后立体几何角度的向量定义为(a1，a2，…a6)，并且将第i个没被存放的相同飞行立体图像对定义为(bi1，bi2，…，bi6)，确定包含最接近相关立体几何角度的立体图像对。下面等式(1)Σi=Σj=16Wj*|aj-bij|]]>被用来确定相同飞行立体图像对最小化等式(1)的索引。询问步22继续到下一个图像对，直到所有相同的飞行立体图像对已经被存在数组M中。
在询问步22确定所有相同飞行图像对已经被存放在数组M之后，步24确定在时间上最接近最近被存在数组M中的图像的单个图像，并且将该图像的数字标记存在数组M下一行的第2列上。通过询问步26，该过程继续直到所有单个图像的数字标记都已经被存在数组M中。
再回来看图1，一旦所有的图像都通过优化立体配对14被排序，相位相关器21确定连续有序图像之间的平移位移。为了确定每个相邻图像之间的平移位移，在描述图像的数据数组之间执行相位相关。通过对数组的富里叶反变换实现图像数据相邻数组的相位相关，计算数组的互功率谱的相位。
这一过程产生第三个数组，如图3所示，其峰值在所需的位移位置上。用相关器优值(FOM)来测量两个数据数组之间的相关程度，该优值定义为信号区中最大相关值和噪声区中最大相关值之间的差别。相位相关表面的峰值用max表示，其位置由(Δ1，ΔS)给出，噪声峰值(Nmax)位于以(Δ1，ΔS)为中心的5×5像素的信号区的外面。
现在参看图4，所示的流程图说明对相邻图像数据数组进行相位相关处理以确定图像之间平移位移的过程。该过程叠加一对图像并且在不旋转的情况下互相移位，直到重叠区中的图像特征一致。按次序对每个连续的配对执行两次相位相关处理。在不同的分辨率规格上执行每个这样的相位相关。第一种分辨率的选择取决于在所提供约束点位置附近可用数据量，而第二种分辨率一般为1/8X。
在步30中，在第一图像中选择一个64×64的像素窗口区(W)，而在第二个图像中则选择了一个128×128的像素搜索区(S)。步32在搜索区(S)中，选择25个重叠的64×64像素子区域，被标识为候选匹配区。候选匹配区在每一维中互相滞后16个像素。步34在第一图像窗口和每个候选匹配区之间执行相位相关。对于每次相关，存储一个特征向量。特征向量包括(max，Nmax，FOM，(Δ1，ΔS))。被记录的还有具有最大FOM的候选匹配区的索引，以及具有最大max值的候选匹配区的索引。
一旦搜索区(S)中的每个候选匹配区都已经和窗口(W)进行了相位相关，就在步36中执行另一次相位相关，即有效匹配验证(VMV)。VMV将由和每个候选匹配区相关处理(W)后得到的位移(Δ1，ΔS)加到每个候选匹配区的位置上，并且和被变换的候选匹配区进行相位相关(W)。这些另一次相关的特征向量(max，Nmax，FOM，(Δ1，ΔS))也被存储。
在询问步38中，如果VMV的最大FOM超过FOM的阈值，则认为相位相关是成功的。接着在步40中，窗口(W)的中心被映射到第一图像的64×64像素阵列的中心，而最佳匹配了候选匹配区的中心也被映射到第二图像中96×96像素阵列的中心点(S*)，该点由下式定义(2)S*＝S+(Δ1，ΔS)i+(Δ1，ΔS)v其中，(Δ1，ΔS)i＝初始候选匹配位移(Δ1，ΔS)v＝VMV位移步41根据图5说明的过程在第二种分辨率上执行相位相关处理。
如果在询问步38中，最大的FOM值没有超过FOM的阈值，则在步42中将所有25个候选匹配区的平移位移都加到各自的位置上，并且在步44中对变换的候选匹配区进行相位相关。在询问步46中，如果任何候选匹配区预测到和前面相位相关预测相同的匹配位置(在每一维中分别为±2像素)，则该候选匹配区被认为成功地匹配了第一图像中的窗口。在步40中，64×64像素的第一图像窗口被居中在初始的窗口位置上，而96×96像素的搜索区被居中在对应下式的点(S*)上(3)S*＝S+(Δ1，ΔS)i根据图5中说明的过程，在步41中进行相位相关处理。在步46中，如果没有一个候选匹配区能预测相同的位置，则认为相关处理失败，在步47中，必须由重致密功能提供新的约束点位置。
现在参看图5，该图说明采用第二种分辨率处理候选约束点的方法。在第一图像中选择64×64像素的窗口区(W)，并在第二图像中选择96×96像素的搜索区(S)，并且在步48中使之居中在图4所述的处理中得到的各自的约束点位置上。在搜索区中，步49选择9个重叠的候选匹配区(子区域)。这些候选匹配区在每一维中互相滞后16个像素。在步50中，窗口和每个候选匹配区进行相位相关。对于每次相关，如前面对图4所述的那样存储一个特征向量。被记录的还有具有最大FOM的候选区的索引、具有最大max候选区的索引以及中心候选匹配区(S5)的max值。
询问步51判定中心候选匹配区的max是否超出最大的阈值。如果是这样，则在步52中对S5执行一次有效匹配验证，并且在步54中，在左图像的W的中心以及右图像的S5+(Δ1，ΔS)5+(Δ1，ΔS)v选择当前图像对的约束点。如果中心候选匹配区的max没有超出预定的max的最大阈值，则如前面对图4所述的那样，在步56中执行有效匹配验证过程。
在询问步58中，如果来自VMV的FOM最大值超出FOM的阈值，则认为相位相关成功。接着，在步60中，将窗口(W)的中心映射到第一图的64×64像素阵列的中心，并且将最佳匹配候选区的中心也映射到第二图像中96×96像素阵列的中心。在询问步58中，如果步56中来自VMV的FOM最大值并没有超过FOM的阈值，则在步64中将所有25个候选匹配区的平移位移都加到各自的位置上，并且在步66中对被变换的候选匹配区进行相位相关。
在询问步68中，如果任何候选匹配区预测到和以前相位相关预测相同的匹配位置(在每维中分别为±2像素)，则该候选区被认为是成功地匹配了第一图像中的窗口，并在步60中将64×64像素的第一图像窗口居中在初始窗口位置，而96×96像素搜索区则居中在对应下式的点(S*)上(3)S*＝S+(Δ1，ΔS)i在步68中，如果没有候选匹配区预测相同位置，则认为相关失败，必须由重致密71提供新的约束点位置。
一旦某个图像对已经成功地进行相位相关，则所提供的约束点位置存在该配对的右手边图像中。该约束点位置的坐标在某个平面上被给出。为了转移到下一个配对，利用图像矫正的适当系数将该约束点位置映射到被矫正的(x，t)空间上，并且在步62中利用一组不同的系数将该点映射到下一配对的(r，s)空间上。这将在形成新窗口W的中心的下一配对的左手边图像中得到一个新的约束点位置。
再参看图1，候选区评估53为第一图像中的候选区提供了对信号电平和景象内容相关的评估过程。在每个候选区中的16个测试点位置上计算信号电平和景物内容相关。通过分析信号电平和景物内容相关，产生用于发现在遗留下来的图像中的约束点位置的测试点位置。
现在参看图6，该图更全面地说明评估候选区的方法。步72确定第一图像中候选区的数目，并且在第一图像的每个候选区中选择16个测试点位置。步74在每个候选区中的测试点上执行信号电平测试。信号电平测试确定以每个测试点位置为中心的7×15像素阵列中信号强度的标准偏差。应该理解，在信号电平测试中围绕测试点位置的像素阵列的大小可以具有由用户选择的不同维数。将计算得到的标准偏差和预定的阈值电平进行比较。如果在询问步76判定为16个测试点位置计算得到的标准偏差中的11个小于阈值电平，则该候选区被认为是不合适的，因为它具有微弱的信号噪声比，步78将处理转到下一个候选区。
如果在步76中判定候选区包含了足够的信号噪声比，则在步60中为该候选区计算景物内容相关。对于候选区内的每个测试点位置，以给定的测试点为中心的7×15像素窗口和4个不同的7×15窗口进行相位相关，其窗口中心被移动的距离相对于测试点中心约为(τ)。4个窗口中点的位置在(l，s-τ)，(l，s+τ)，(l-τ，s)以及(l+τ，s)。相关过程提供了4个自动相关估算P1，P2，P3和P4。根据下面的等式对样本(S)和行(l)的方向进行滞后τ的相关内容估算(4)Ps=P1+P22]]>(5)P1=P3+P42]]>如果询问步82判定行和样本方向的相关内容不在预定的阈值范围内，则该候选区被认为是不合适的，并在步78中将处理过程转到下一个候选区。否则，在步84中，该候选区被标识为对标准化互相关函数的合适候选区。
再回来看图1，由候选区评估53确认的候选约束点被提交给标准化互相关(NCC)90。第一立体对左手边图像中的候选约束点位置被指定为CAA功能所指示的。NCC企图找出右手边图像的共轭对。包含在NCC解数组中的最大相关器值被选择做为共轭约束点位置。
做为另一种有效性检查，FOM测试被应用到所选择的共轭约束点位置上。未能通过FOM测试的点不做进一步的处理。而通过FOM测试的点则被映射到已由最佳图像配对14标识的下一个立体对的左手边图像上。对每个立体对重复执行整个NCC处理过程。通过所有FOM测试(每个立体对1个)的候选约束点被映射回到原始图像，并且由闭合测试网络110找出故障和假匹配。
现在参看图7，该图更详细地示出实现标准化互相关功能的标准化互相关的方法。从CAA网络53中接收到的第一图像中的候选约束点位置在步92中和第二图像相关，在步94中选择最大的相关值作为第二图像中的共轭点。一旦确定最大的相关值，就能根据下式确定图像相关的FOM(6)FOM=Pmax*PmaxηmaxPGF*]]>＝Pmax*RATIO*PGF这里的Pmax和ηmax在图3中被定义，而PGF则由下式计算其中Pmax和Nmax在图3中定义，PGF由下式计算PGF＝10x其中x=log10[12(1+erf{P^max-μ^noiseσ^noiae})]N*]]>P^max=12(loge[1+Pmax1-Pmax])]]>μ^noiae=1/2NΣijloge(1+Pij1-Pij)]]>σ^noiae=[1NΣij(12loge[1+Pij1-Pij])2-μ^noiae2]12]]>并且，N为在相关处理过程中产生的Pij值的总数。
将FOM值和FOM的阈值进行比较，并且将没有超出FOM阈值的任何候选位置都在步96中降低为候选位置。
在步98中，由前面图像对的第二个图像和后面的图像组成的立体图像对被重组为立体对。在步100中，通过前面标准化互相关处理中的FOM测试的候选点又对下一个图像对相关。步102确定通过本次相关的FOM测试的点，并且如果询问步104确认存在其他的图像对，则提交这些点用于重组和相关处理。一旦所有的图像对已经被相关处理，步106将最后和第一个图像重组为一个立体对，并且在步108中对图像进行相关处理。在整个处理过程中通过FOM阈值要求的候选匹配被提交用于进一步分析。
对标准化互相关过程的上述讨论假定在每个图像中都存在成功的相关。如果因为某种原因而不成功时，将对这些图像终止标准化互相关处理，并将控制转到重致密71。如果用尽了所有的替换容差区域，也没有找到候选约束点，则处理过程回到约束点候选的交互选择。
再看图1，闭合测试110所执行的确认测试基于这样一种概念，当一个点经过所有所考虑的图像相关和映射而无误差时，将具有相同的经计算得到的坐标值，该值是在NCC处理开始时就被赋给该点的。因此，在其初始被赋予的坐标值和在闭合测试处理结束时其最后的映射值之间的差应为零。在对有效的候选约束点进行闭合测试处理之后，存在某些残留的误差。±2像素的容差阈值已经被建立。闭合误差大于该量的点被认为有故障，将不得留用于进一步的处理。
一旦标准化互相关90已经产生了多个候选约束点位置，则闭合测试110将最后图像中的候选约束点的位置从坐标(r，s)映射到坐标(x，t)，然后再回到第一立体对左手边图像中的坐标(r，s)。将被映射的候选约束点和该约束点的原始位置进行比较，并且放弃任何被两个以上像素划分的像素。两个像素的变化造成由标准化互相关过程引起的相关和映射误差。
候选约束点排列112接收已经通过闭合测试110的候选约束点的信息向量。候选约束点排列112根据被包含在候选点的信息向量中的数据选择在测定过程中最有可能成功地通过标准化互相关和闭合测试过程的3个候选约束点。
现在参考图8，该图说明根据候选约束点排列112对候选约束点位置进行排列的方法。在步114中，从由标准化互相关和闭合测试90和110产生的相关文件中读出所有的候选约束点。对于每个候选约束点，步116计算RATIO和PGF的平均值。RATIO和PGF的平均值对每个候选约束点位置形成了平均信息向量(Vm)，如下式所示(7)V~m=1/4Σn=14RATIOi]]>1/4Σi=14PGFi]]>步118将RATIO和PGF按降序分类排序。在步120中，候选约束点排列112根据被排序的RATIO平均值表选择前3个候选约束点。虽然本说明书根据候选约束点的RATIO平均值描述对候选约束点的排序，但也可以根据用户选择的PGF参数对候选约束点排序。最后，在步122中，输出被排序表中的前3个候选约束点用于进一步处理。
再回来看图1，一旦所有的候选约束点都由候选约束点排列112所排列，这些点被送到一致性检测130。一致性检查130从被排列的候选点中选出前2个或3个约束点位置，并且对每个立体配对，在三维目标空间中计算这些点之间的距离。
由3个候选约束点位置在三维目标空间中形成的三角形在所有的配选对中应该是一致的。满足这些标准的候选约束点使得用这3个点造成假匹配的可能性达到最小。为了计算形成该三角形的候选约束点之间的距离，一致性检查130在所有所考虑的立体配对中处理被排列的候选约束点和方向余弦。在只有一个约束点候选位置的情况下，不执行一致性检查130，该点被送到测定过程12。
现在参考图9，该图更完整地介绍一致性检查130执行对被排列好的候选约束点进行分析的方法。在询问步132中，判定是否存在不止一个的约束点候选位置。如果只有一个候选约束点存在，处理过程转到步146，将该候选约束点送到测定过程12。如果存在多于1个的约束点候选，则在步134中读出顶部的候选位置，通常为2个或3个，并且在步136中计算出在所有立体配对中这些点之间的距离。利用步136中计算出来的距离，步138确定立体对中特定约束点候选之间的距离的标准偏差。步140将这些标准偏差和预定的容差范围进行比较，如果所有的偏差都存在被指定的容差范围内，则在步146中，将前2个或3个候选点送到测定过程中。
如果一个或多个标准偏差不在所指定的容差范围内，步142确定将被排除的候选点，并且在步144中选择下一个被排列的候选约束点。步142中对被排除的候选约束点的确定将作进一步的讨论。一旦在步144中选择了新的约束点位置，控制返回到步136，并且再次确定新的候选约束点位置之间的距离和标准差。
如果没有一个标准差落在预定的容差范围之内，则在步142中执行下面的3个过程中的一个。
情况1一个标准差大于容差水平；并且a)其他两个标准差不相等；或者过程排除具有最大标准差的两个距离的共同约束点。
b)其他两个标准差相等。
过程排除包含所述的距离的约束点中较低级的约束点。
情况2两个标准差大于容差水平。
过程排除这两个距离的共同约束点。
情况3所有的3个标准差都大于容差；并且a)所有的3个标准差都不相等；或者过程排除两个最大标准差的共同约束点。
b)两个标准差相等而第三个标准差更大；或者过程排除包含最大标准差的段中较低级的约束点。
c)两个标准差相等而第三个标准差较小；或者过程排除两个最大标准差的共同约束点。
d)所有三个标准差都相等。
过程排除两个最低级的约束点的共同约束点。
再回来看图1，重致密71提供的逻辑，当在主要的容差范围内不能找到候选约束点位置时，用来重致密容差范围的替换位置。第一时间重致密71被用来确定初始的或主要的容差范围，计算主要范围两边的容差范围的替换位置。当在选择过程10内的任何点上未能找到候选约束点位置时，就利用容差范围的这些替换位置。
在完成选择过程10之后，留下的候选约束点(一般为3个)被提交给测定过程12。测定过程12提供的许多功能处理和选择过程10相同，但却是在满分辨率上执行处理过程。标准化互相关150利用了前面对图7讨论时的标准化互相关过程。然而，在这两个过程中存在几个显著的区别。在选择过程10期间应用到相关峰值上的步96的FOM测试不对测定过程12的标准化互相关150执行。所有的相关器峰值位置被接受作为有效的，并且闭合测试152被用来确定哪个位置被保持作为候选点。另外，用于填充7×15窗口的图像数据被采样4个或更多个像素，除了左右两边的图象外。最后，标准化互相关过程在全分辨率上执行，而不是采用1/4的分辨率。
在经过标准化互相关150分析之后，留下来的候选约束点以全分辨率被提交给闭合测试152。闭合测试152按照在讨论选择过程10的闭合测试100的相同方法分析并提交通过闭合测试的候选约束点。
一旦标准化互相关150和闭合测试152已经处理了候选约束点，通过的候选约束点都由约束点精度154处理，以评估候选约束点的精度。约束点精度154细化候选约束点位置到小数行和样本(子像素)精度，并确定和约束点候选位置的评估有关的误差。初始整数约束点位置被细化是通过将一个二次曲面拟合在从标准化互相关解数组中提取出来的3×3窗口中并确定将约束点整数位置细化到子像素精度所需的曲面拟合最大值。
现在参考图10，该图说明将二次曲面拟合在从标准化的互相关解数组提取出来的3×3像素窗口中的方法。以互相关数组的最大值为中心的3×3像素窗口是在步160中从该数组中提取的。满足被包含在被提取的3×3数组中的9个点的最小平方约束的二次曲面的系数在步162中由下面的二次方程确定(8)Z＝a0+a1x+a2y+a3x2+a4y2+a5xy二次曲面的曲面系数是根据下面的式子确定的a0＝(5CON1-3(CON4+CON5))/9a1＝CON2/6a2＝CON3/6a3＝CON4/2-CON1/3a4＝CON5/2-CON1/3a5＝CON6/4其中CON1=Σi=11Σj=11Pij]]>CON2=Σj=-11(Pij-Pij)]]>CON3=Σi=-11(Pi1-Pi-1)]]>CON4=Σj=-11(Pij+Pij)]]>CON5=Σi=-11(Pi1+Pi-1)]]>CON6＝(P-1-1-P11)-(P1-1+P-11)并且，Pij值表示相关过程所产生的最大值。余下的Plk值(l≠i，k≠j)表示以Pij为中点和最大值的相关值的3×3窗口。
最后，在步154中，根据下式找出二次曲面峰值的坐标(x，y)(9)如果a3＜0，则(x,y)=(a2a5-2a,a4H,a1a5-2a2a3H)]]>其中H＝4a3a4-a5在a3和H的任何其他条件下，二次曲面峰值的位置以缺省值作为窗口的中心，例如(x，y)＝(0，0)。
步166计算整数约束点位置的第二次评估，并且在步168中将两次评估组合起来提供最后的子像素约束点位置评估。第二评估的产生基于这样的假定7×15像素窗口和包括整数约束点比及第一子像素评估的线(l)方向的自动相关值根据下面的幂函数减少(10)ΦXX＝e-ατ通过定位沿线(L)的整数滞后值(N1≤5)来计算衰减比例α，线(L)的自动相关值P是最小的正自动相关值。在这一基础上，α被计算为-ln(P)/N1。这个自动相关模型被设计为准确地符合沿滞后值0和N1上计算的线P的自动相关值。接着，由沿(L)的滞后值给出第二子像素评估，该模型假定Φmax的值(标准化互相关函数的峰值)这样给出的(11)τ^=N1ln(p)*ln(φmax)]]>采用模拟立体成像到子像素精度的约束点的前位置所表示的精度一般为＜0.2像素(线和样本)，用于对方程10中所描述的加速相关模型上的曲面拟合评估。显然，通过一般提供两个所讨论模型之间某处的结果的一个处理过程就足以对一般的景物内容模型化。为此，通过组合来自步64中的两个评估过程的结果，确定最后的约束点评估值PTP。
虽然本发明的最佳实施例已经在附图中被说明并在上述的详细描述中加以介绍，但应该理解，本发明并不局限于所介绍的实施例，而是可以进行大量的重新安排、修改以及替换部分和要素，而不会脱离本发明的原理。
权利要求书按照条约第19条的修改1.在一系列的重叠图像中选择约束点位置的方法，包括步骤(a)对重叠图像的系列进行排序，以便使相邻图像对之间的成功相位相关达到最大；(b)根据重叠图像系列的排序结果，对相邻图像对进行相位相关处理，以便确定相邻图像对中重叠区之间的位移；(c)在相邻图像对的重叠区中选择初始候选约束点位置，该位置在减少的分辨率上对每个图像都有效；(d)确定候选约束点位置，这些约束点位置对采用全分辨率的多个重叠区中每个相邻的图像对之间的相位相关可能有效；(e)在全分辨率下对步(d)中通过多个图像中的所有相邻图像，确定的候选约束点位置进行相位相关处理，确定余下的约束点位置；(g)将余下的约束点位置细化到子像素的精度。
2.权利要求1的方法，其中，排序的步骤进一步包括步骤(a)将来自多个重叠图像中的第一图像对放入数组中的第一位置，所产生的第一图像对在时间上最接近预定的点(b)将在几何上最接近前面被放置的图像对的下一个图像对放在数组中的下一个存储位置中；并且(c)重复步骤(b)，直到所有的图像对都被放入数组中。
3.权利要求2的方法，其中排序的步骤进一步包括步骤(a)选择在时间上最接近前面被存在数组中的图像的没有配对的单个图像；(b)将所选择的没配对的单个图像放在数组中；并且(c)重复步骤(a)和(b)，直到来自多个重叠图像中的所有没配对的单个图像都已经被放在数组中。
4.权利要求1的方法，其中对相邻图像对进行相位相关处理的步骤进一步包括步骤在第一被减少的分辨率上，将第一图像中的搜索区相位相关到第二图像中的多个候选区，以便确定第一平移位移；
将第一和第二图像的中心平移到由第一平移位移指示的位置上；相位相关被平移的图像，以便确定在第二被减少分辨率上的重叠区的中心。
5.权利要求1的方法，进一步包括为标准化互相关评估相邻图像中重叠区的适合性，包括步骤在相邻图像的重叠区中选择多个候选区；确定第一候选区中的多个候选约束点的信号噪声比是否满足预定的阈值要求；排除未能满足预定的阈值要求的那些候选约束点；为满足预定的阈值要求的候选约束点，确定位于某个预定的景物相关范围内的候选约束点；以及在预定的景物相关阈值内将候选约束点分类为合适的候选约束点。
6.权利要求1的方法，其中选择初始候选约束点位置的步骤进一步包括步骤(a)对多个重叠图像的第一相邻图像对进行相位相关处理，以便选择初始的候选约束点(b)排除不能满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组为下一个相邻的图像对；(d)对下一相邻图像对进行相位相关处理，确定为下一相邻图像对余下的初始候选约束点；(e)排除不能满足优值阈值的余下的候选约束点；(f)重复步骤(c)到(e)，为多个重叠图像中的每个相邻图像对确定满足相位相关和优值阈值要求的候选约束点。
7.权利要求6的方法，其中选择初始候选约束点位置的步骤进一步包括步骤将满足相位相关和优值阈值要求的候选约束点从多个重叠图像的最后图像重组到多个重叠图像的第一图像；将余下的被重组候选约束点和相应的初始候选约束点进行比较；并且将没有落在对应初始候选约束点的预定数目像素之内的余下的被重组候选约束点排除掉。
8.权利要求1的方法，其中确定候选约束点位置的步骤进一步包括步骤为每个候选约束点计算RATIO平均值；根据RATIO平均值，将候选约束点排序进入表中；并且从排序的表中选择顶部的候选约束点。
9.权利要求1的方法，其中确定候选约束点位置的步骤进一步包括步骤计算每个候选约束点的PGF平均值；根据PGF平均值，将候选约束点排序进入表中；并且从排序的表中选择顶部的候选约束点。
10.权利要求1的方法，其中选择初始候选约束点位置的步骤进一步包括测试顶部排列的候选约束点的步骤。
11.权利要求10的方法，其中测试顶部排列候选点的步骤进一步包括步骤(a)确定多个重叠图像中每个相邻图像中顶部候选约束点之间的距离；(b)从步(a)中确定的距离中确定顶部候选约束点之间距离的标准差；(c)将顶部候选约束点之间的每个距离的标准差和预定的阈值标准差进行比较；(d)如果所有的标准差都没有超出预定阈值标准差，则通过这些候选约束点；并且(e)如果任何标准差超出预定的阈值标准差，则排除这些候选约束点。
12.权利要求1的方法，其中，在全分辨率上对候选约束点进行相位相关处理的步骤进一步包括步骤(a)对多个重叠图像中的第一相邻图像对进行相位相关处理，选择初始候选约束点；
(b)排除不满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组为下一相邻图像对；(d)对该下一相邻图像对进行相位相关处理以确定在下一相邻图像对中余下的初始候选约束点；(e)排除不满足优值阈值的余下的候选约束点；并且(f)重复步(c)至(e)，对多个重叠图像中的每个相邻图像对，确定满足相位相关和优值阈值需求的候选约束点。
13.权利要求12的方法，其中，在全分辨率上对候选约束点进行相位相关处理的步骤进一步包括步骤将通过相位相关和优值阈值要求的候选约束点从多个重叠图像的最后图像重组到多个重叠图像的第一个图像上；将余下的被重组候选约束点和对应的初始候选约束点进行比较；排除那些不在对应的初始候选约束点的预定数目像素内的余下的被重组的候选约束点。
14.权利要求1的方法，其中，对余下的约束点位置细化的步骤进一步包括步骤将一个二次曲面拟合在由相邻图像数组的相位相关所产生的一个数组中；确定该二次曲面的第一峰值位置；根据某个预定的函数确定第二个峰值位置；组合第一和第二峰值位置以确定最后的约束点位置。
15.确定候选约束点位置的图像相关方法，包括步骤(a)对多个重叠的图像中的第一相邻图像对进行相位相关处理，以便选择初始的候选约束点；(b)排除不满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组到下一个相邻的图像对；(d)对该下一个相邻图像对进行相位相关处理以确定在下一相邻图像对中余下的初始候选约束点；(e)排除不能满足优值阈值的余下的候选约束点；并且
(f)重复步(c)至(e)，直到对多个重叠的图像中的每个相邻图像对，选出满足相位相关和优值阈值要求的候选约束点。
16.权利要求15的方法，进一步包括步骤将满足相位相关和优值阈值要求的候选约束点从多个重叠图像的最后一个图像中重组到多个重叠图像的第一个图像中；将余下的被重组候选约束点和对应的初始候选约束点进行比较；排除不在对应的初始候选约束点的预定数目像素内的余下的被重组候选约束点。
17.在一系列重叠的图像中选择约束点位置的方法，包括步骤在降低的分辨率下，从重叠的图像中选择多个候选约束点位置，该选择步骤进一步包括对重叠的图像进行排序，使得相邻图像之间的成功相位相关的可能性达到最大；按照排序步骤所提供的次序，对相邻的图像对进行相位相关处理，以确定重叠区之间的位移；评估重叠区标准化互相关的合适度；利用相邻图像之间的标准化互相关，选择初始的候选约束点位置；从初始候选约束点位置中选择顶端的候选约束点位置；在全分辨率下将顶端的候选约束点位置细化到子像素的精度，细化的步骤进一步包括在全分辨率下，对所有相邻图像之间的候选约束点位置进行相位相关处理，以确定余下的候选约束点；以及将余下的候选约束点细化到子像素位置。
18.在一系列重叠的数字图像中选择约束点的方法，包括步骤通过降低分辨率下的相位相关，从重叠的数字图像系列中标识约束点位置；并且通过全分辨率下的标准化互相关，将被标识的约束点位置细化到子像素精度，以便在重叠的数字图像系列中选择约束点。
19.权利要求18的方法，其中，标识约束点位置的步骤进一步包括步骤
对重叠的数字图像系列进行排序，使相邻图像对之间成功的相位相关数达到最大；计算相邻图像对之间的平移位移；评估重叠区对标识化互相关的适合度；以及通过降低的分辨率下的标准化互相关，确定约束点的位置。
20.权利要求19的方法，其中，标识约束点位置的步骤进一步包括步骤通过闭合测试，放弃超出某个预定容差值的约束点位置；并且对通过闭合测试的约束点位置进行排列，使得在细化被标识的约束点位置的步骤中选择约束点的可能性最大。
21.权利要求20的方法，其中，排列约束点位置的步骤进一步包括计算约束点位置之间的距离以便在三维目标空间中进行一致性检查的步骤。
22.权利要求18的方法，其中，细化被标识的约束点位置的步骤进一步包括步骤；通过闭合测试，放弃那些超出某个预定的容差值的约束点位置；以及对通过闭合测试的约束点位置的精度进行评估，以便确定误差，从而能够进一步细化约束点位置到子像素的精度。
23.在一系列的重叠数字图像中选择约束点的方法，包括步骤通过降低分辨率下的相位相关，从重叠的数字图像序列中识别约束点位置，识别的步骤进一步包括步骤对重叠的数字图像系列进行排序，最大化相邻图像对之间成功的相位相关的数目；计算相邻图像对之间的平移位移；确定重叠区标准化互相关的适合度；通过标准化互相关确定约束点位置；通过闭合测试排除那些超出预定容差值的约束点位置；以及通过全分辨率下的标准化互相关，将被识别的约束点位置细化到子像素精度，细化步骤进一步包括步骤
通过闭合测试排除那些超出预定容差值的约束点位置；并且评估通过闭合测试的约束点位置的精度，以确定和评估步骤相关的误差，进一步细化约束点位置到子像素精度。
权利要求
1.在一系列的重叠图像中选择约束点位置的方法，包括步骤(a)对重叠图像的系列进行排序，以便使相邻图像对之间的成功相位相关达到最大；(b)根据重叠图像系列的排序结果，对相邻图像对进行相位相关处理，以便确定相邻图像对中重叠区之间的位移；(c)在相邻图像对的重叠区中选择初始候选约束点位置，该位置在减少的分辨率上对每个图像都有效；(d)确定候选约束点位置，这些约束点位置对采用全分辨率的多个重叠区中每个相邻的图像对之间的相位相关可能有效；(e)在全分辨率下对步(d)中通过多个图像中的所有相邻图像，确定的候选约束点位置进行相位相关处理，确定余下的约束点位置；(g)将余下的约束点位置细化到子像素的精度。
2.权利要求1的方法，其中，排序的步骤进一步包括步骤(a)将来自多个重叠图像中的第一图像对放入数组中的第一位置，所产生的第一图像对在时间上最接近预定的点(b)将在几何上最接近前面被放置的图像对的下一个图像对放在数组中的下一个存储位置中；并且(c)重复步骤(b)，直到所有的图像对都被放入数组中。
3.权利要求2的方法，其中排序的步骤进一步包括步骤(a)选择在时间上最接近前面被存在数组中的图像的没有配对的单个图像；(b)将所选择的没配对的单个图像放在数组中；并且(c)重复步骤(a)和(b)，直到来自多个重叠图像中的所有没配对的单个图像都已经被放在数组中。
4.权利要求1的方法，其中对相邻图像对进行相位相关处理的步骤进一步包括步骤在第一被减少的分辨率上，将第一图像中的搜索区相位相关到第二图像中的多个候选区，以便确定第一平移位移；将第一和第二图像的中心平移到由第一平移位移指示的位置上；相位相关被平移的图像，以便确定在第二被减少分辨率上的重叠区的中心。
5.权利要求1的方法，进一步包括为标准化互相关评估相邻图像中重叠区的适合性，包括步骤在相邻图像的重叠区中选择多个候选区；确定第一候选区中的多个候选约束点的信号噪声比是否满足预定的阈值要求；排除未能满足预定的阈值要求的那些候选约束点；为满足预定的阈值要求的候选约束点，确定位于某个预定的景物相关范围内的候选约束点；以及在预定的景物相关阈值内将候选约束点分类为合适的候选约束点。
6.权利要求1的方法，其中选择初始候选约束点位置的步骤进一步包括步骤(a)对多个重叠图像的第一相邻图像对进行相位相关处理，以便选择初始的候选约束点(b)排除不能满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组为下一个相邻的图像对；(d)对下一相邻图像对进行相位相关处理，确定为下一相邻图像对余下的初始候选约束点；(e)排除不能满足优值阈值的余下的候选约束点；(f)重复步骤(c)到(e)，为多个重叠图像中的每个相邻图像对确定满足相位相关和优值阈值要求的候选约束点。
7.权利要求6的方法，其中选择初始候选约束点位置的步骤进一步包括步骤将满足相位相关和优值阈值要求的候选约束点从多个重叠图像的最后图像重组到多个重叠图像的第一图像；将余下的被重组候选约束点和相应的初始候选约束点进行比较；并且将没有落在对应初始候选约束点的预定数目像素之内的余下的被重组候选约束点排除掉。
8.权利要求1的方法，其中确定候选约束点位置的步骤进一步包括步骤为每个候选约束点计算RATIO平均值；根据RATIO平均值，将候选约束点排序进入表中；并且从排序的表中选择顶部的候选约束点。
9.权利要求1的方法，其中确定候选约束点位置的步骤进一步包括步骤计算每个候选约束点的PGF平均值；根据PGF平均值，将候选约束点排序进入表中；并且从排序的表中选择顶部的候选约束点。
10.权利要求1的方法，其中选择初始候选约束点位置的步骤进一步包括测试顶部排列的候选约束点的步骤。
11.权利要求10的方法，其中测试顶部排列候选点的步骤进一步包括步骤(a)确定多个重叠图像中每个相邻图像中顶部候选约束点之间的距离；(b)从步(a)中确定的距离中确定顶部候选约束点之间距离的标准差；(c)将顶部候选约束点之间的每个距离的标准差和预定的阈值标准差进行比较；(d)如果所有的标准差都没有超出预定阈值标准差，则通过这些候选约束点；并且(e)如果任何标准差超出预定的阈值标准差，则排除这些候选约束点。
12.权利要求1的方法，其中，在全分辨率上对候选约束点进行相位相关处理的步骤进一步包括步骤(a)对多个重叠图像中的第一相邻图像对进行相位相关处理，选择初始候选约束点；(b)排除不满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组为下一相邻图像对；(d)对该下一相邻图像对进行相位相关处理以确定在下一相邻图像对中余下的初始候选约束点；(e)排除不满足优值阈值的余下的候选约束点；并且(f)重复步(c)至(e)，对多个重叠图像中的每个相邻图像对，确定满足相位相关和优值阈值需求的候选约束点。
13.权利要求12的方法，其中，在全分辨率上对候选约束点进行相位相关处理的步骤进一步包括步骤将通过相位相关和优值阈值要求的候选约束点从多个重叠图像的最后图像重组到多个重叠图像的第一个图像上；将余下的被重组候选约束点和对应的初始候选约束点进行比较；排除那些不在对应的初始候选约束点的预定数目像素内的余下的被重组的候选约束点。
14.权利要求1的方法，其中，对余下的约束点位置细化的步骤进一步包括步骤将一个二次曲面拟合在由相邻图像数组的相位相关所产生的一个数组中；确定该二次曲面的第一峰值位置；根据某个预定的函数确定第二个峰值位置；组合第一和第二峰值位置以确定最后的约束点位置。
15.确定候选约束点位置的图像相关方法，包括步骤(a)对多个重叠的图像中的第一相邻图像对进行相位相关处理，以便选择初始的候选约束点；(b)排除不满足优值阈值的初始候选约束点；(c)将没有被排除的初始候选约束点重组到下一个相邻的图像对；(d)对该下一个相邻图像对进行相位相关处理以确定在下一相邻图像对中余下的初始候选约束点；(e)排除不能满足优值阈值的余下的候选约束点；并且(f)重复步(c)至(e)，直到对多个重叠的图像中的每个相邻图像对，选出满足相位相关和优值阈值要求的候选约束点。
16.权利要求15的方法，进一步包括步骤将满足相位相关和优值阈值要求的候选约束点从多个重叠图像的最后一个图像中重组到多个重叠图像的第一个图像中；将余下的被重组候选约束点和对应的初始候选约束点进行比较；排除不在对应的初始候选约束点的预定数目像素内的余下的被重组候选约束点。
17.在一系列重叠的图像中选择约束点位置的方法，包括步骤在降低的分辨率下，从重叠的图像中选择多个候选约束点位置，该选择步骤进一步包括对重叠的图像进行排序，使得相邻图像之间的成功相位相关的可能性达到最大；按照排序步骤所提供的次序，对相邻的图像对进行相位相关处理，以确定重叠区之间的位移；评估重叠区标准化互相关的合适度；利用相邻图像之间的标准化互相关，选择初始的候选约束点位置；从初始候选约束点位置中选择顶端的候选约束点位置；在全分辨率下将顶端的候选约束点位置细化到子像素的精度，细化的步骤进一步包括在全分辨率下，对所有相邻图像之间的候选约束点位置进行相位相关处理，以确定余下的候选约束点；以及将余下的候选约束点细化到子像素位置。
全文摘要
在重叠的图像系列中选择约束点位置(62)的方法。首先对该图像系列排序(48)，使相邻图像之间的相位相关的可能性达到最大。接着对该有序图像系列中的相邻对进行相位相关处理(50)，以确定相邻对之间的平移位移。对相邻对中的重叠区的标准化相关性进行评估，并在某种降低的分辨率下从重叠区中选择初始候选约束点。接着在满分辨率下对最初选取的约束点进行相位相关处理(66)，并且将任何满足条件的候选约束点位置进一步细化到子像素的精度。
文档编号G06T7/00GK1164901SQ96190880
公开日1997年11月12日 申请日期1996年6月7日 优先权日1995年6月7日
发明者芬顿·林伍德·基文斯, 罗纳尔德·洛德·波沃登 申请人:E-系统公司