专利名称：：基于分段仿射变换的星载三片非共线tdiccd影像拼接方法
技术领域：
：本发明属于测绘科学与
技术领域：
，涉及一种基于分段仿射变换的星载三片非共线TDIC⑶影像拼接方法。
背景技术：
：对于星载高分辨率光学相机而言，为了解决由相对孔径减小和成像曝光时间变短等因素所引起的光学系统像面光谱能量不足的问题，采用延时积分电荷耦合元件(TDI(XD)作为成像传感器是目前一种主要的技术途径。TDIC⑶是利用电荷延时积分原理成像的新型光电成像器件，与普通的单积分线阵C⑶相比，能以多重延时积分成像的方式对地物多次曝光，成倍提升系统收集能量的能力，从而在低照度条件下获得高灵敏度、高输出速率、高空间分辨率、大的动态范围和相对较高的信噪比。受单片TDICCD像元个数的限制，星载高分辨率光学相机通常以多片TDICCD视场拼接的方式获取较大的成像视场。由于每片TDIC⑶在物理结构上是一个小面阵，加上受外壳包装等限制，多片TDIC⑶无法在焦面上按照一条直线进行物理排列，而通常采用三片品字形或多片上下交错形的非共线设计，其典型特征可以描述为将多片TDICCD在焦面上排成两列，与相机的整机推扫方向垂直；第二列填充由第一列形成的间隙，同一列TDIC⑶的首尾像元分别对齐，相邻两片TDICXD有一定的像元重叠。非共线TDIC⑶已成为当前国内外高分辨率光学卫星影像获取的主要传感器，IKONOS,QuickBird,Geoeye-I,WorldviewII,ALOS,OrbView-3,Formosat-2等国外高分辨率商业卫星和我国遥感二号、资源一号02B卫星以及未来即将发射的多颗高分辨率卫星都采用了非共线TDICXD相机作为成像载荷。与普通的单线阵CXD相比，非共线TDICXD特殊的物理结构和成像方式给高分辨率卫星影像高精度和高质量的几何处理带来了新的问题。多片TDIC⑶宽视场成像所获取的原始数据是按照每片TDICCD成像单独记录的，受传感器的视场摆放位置、地形起伏、行积分时间变化等因素的影响，无法直接形成一个完整的扫描景影像。需要在影像预处理环节对非共线TDICXD成像数据进行内视场拼接处理以形成空间上连续无缝的完整扫描景，满足后续影像产品的生产和制作要求。总体看来，国内外文献对星载非共线TDICCD成像数据内视场拼接理论和算法的介绍很少。目前主要的技术途径是由连接点统计相邻影像的水平和垂直偏移量，然后进行片间平移拼接。IKONOS和Quickbird等国外高分辨率商业卫星的光学相机大多采用多片交错形焦面设计，相邻TDICXD对同一地物的成像时间延迟很短，使得地形起伏和行积分时间变化等因素对非共线TDICCD成像的影响几乎可以忽略不计，只需要简单的片间平移即可满足子像素级的拼接精度(K.Jacobsen.CalibrationofOpticalSatelliteSensors[C].InternationalCalibrationandOrientationWorkshopEuroCOW2006.Casteldefels，2006，6S.，CD.；K.Jacobsen,2008.Satelliteimageorientation[C].InternationalArchivesofPhotogrammetry,RemoteSensingandSpatialInformationSciences，Vol.XXXVII，PartBl(WGI/5):703_709;)。对于釆用三片品字形焦面设计的星载非共线TDICCD相机，成像受地形起伏和行积分时间变化等因素的影响较为明显，使得拼接处理的情况要相对复杂。岳庆兴等(岳庆兴，周强，张春玲，尤淑撑，贾永红，邱振戈.CBERS-02B星全色影像的平差方法[J].国土资源遥感，2009，79(1)60-63.)指出CBERS-02B卫星HR相机的两侧TDICCD与中间TDICCD成像数据间存在拼接错位问题，但没有对此展开研究；李世威等(李世威，刘团结，王宏琦.基于图像匹配的CBERS-02B卫星HR相机图像拼接方法.遥感技术与应用.2009，24(3):374_378.)提出了基于图像匹配的资源一号02B卫星高分辨率(HR)相机影像拼接方法，其本质也是基于大量连接点统计相邻影像间的水平和垂直偏移量，然后对多片影像进行两两平移拼接。但是，传统的平移拼接方法无法顾及景内可能存在的行积分时间跳变，且拼接处理只能在相邻两片TDIC⑶成像数据间依次进行。因此，亟需深入开展非共线TDIC⑶成像数据的内视场拼接理论和技术的研究，并针对目前较为典型的三片品字形设计情况，不断提出对原始成像数据进行拼接预处理即虚拟拼接景生成的新方法、新思路，以改善拼接处理的可靠性、效率和精度，这对于保证卫星影像产品的辐射质量和几何质量等具有十分重要的意义。
发明内容本发明所要解决的问题是实现一种基于分段仿射变换的星载三片非共线TDICCD影像拼接方法，该方法可完成对三片非共线TDICCD成像数据的高效内视场拼接，以形成空间上连续无缝的完整虚拟扫描景。本发明提供的技术方案是对于星载三片非共线TDICXD成像数据的内视场拼接问题，将拼接后的虚拟扫描景看成是由焦面上首尾相连的三片虚拟CCD线阵获取得到的，其中两侧虚拟CCD线阵的位置与真实的两侧TDICCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙；根据行积分时间的变化情况，利用片间连接点构建中间虚拟CCD影像与中间TDICCD影像的分段仿射变换关系，然后遵循这种“两边参考、中间变换”的影像重采样原则，对三片非共线TDICXD成像数据进行内视场拼接以形成空间上连续无缝的完整扫描景。该技术方案包括以下步骤—、确定虚拟拼接景的行数和列数令星载三片非共线TDICXD影像的左片TDICXDl、中片TDI(XD2和右片TDI(XD3的长度即像元个数分别为S1,S2和S3,由三片非共线TDICXD获取的原始影像的扫描行数为L，列数为S，其中S=S1+S2+S3；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有Lv=L(1)Sv=S-O12-O23式中，O12CCDl和TDICCD2重叠像元设计个数，其中0<O12<min(S1,S2)；O23为TDICCD2和TDICCD3重叠像元设计个数，其中0<O23<min(S2,S3)；当S1≤S2，min(S1,S2)=S1；否则，min(S1,S2)=S2；当S2≤S3,min(S2,S3)=S2；否则，min(S2,S3)=S3；二、提取每相邻两片TDICXD影像的连接点；三、将虚拟拼接景看作是由焦面上首尾相连的三片虚拟CXD线阵即(XD1、(XD2和(XD3所获取，其中，(XD1、(XD3保持TDI(XD1、TDI(XD3原有摆放位置不变，(XD2则填充CXDl和(XD3的空隙；按照下列步骤建立TDI(XD2影像与虚拟(XD2影像间的分段仿射变换关系1)根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置Ti,其中0<Ti<L，i=1,2,…，n，n表示行积分时间跳变次数；2)将TDI(XD2影像分为N段，N=n+1；每段影像的起始扫描行号和终止扫描行号分别为Lsi和Lei,有Lsi=O(i=1)Lei=TiLsi=Ti-I(i=2，—,N-1)Lei=TiLsi=Ti-I(i=N)(2)Lei=L3)利用TDI(XD2影像与TDICXDl影像和TDI(XD3影像的连接点约束条件，计算虚拟(XD2影像到TDI(XD2影像的分段仿射变换系数令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(X，y)和(x',y')，且(χ'，y')对应于TDI(XD2影像上的点，(X，y)对应于TDICCDl或TDICCD3影像上的点，根据公式(3)，计算(x,y)在虚拟拼接景坐标系sol中的坐标为(s，1)s=x(x^S1)(3)1=ys=X-O12-O23(χ>S^S2)1=y4)基于(s，1)与(χ'，y')的同名点对应关系，基于公式⑷列误差方程式最小二乘平差解算(XD2影像到TDI(XD2影像的分段仿射变换系数aQi，au,a2i,b0i,bn，b2i(i=1,2—N)；χ'=a0i+auXs+a2iX1(4)y'=boi+b^Xs+b^Xl四、对原始影像进行重采样，生成虚拟拼接扫描景1.确定虚拟拼接景上三片虚拟CXD影像的拼接线位置令col_S对应(XD2影像在虚拟拼接景上的起始列号，col_e对应(XD2影像在虚拟拼接景上的终止列号，其中，col_s=S1,col_e=Sv-S3；2.对于虚拟拼接景上的任意像点(S，1)，按公式(5)计算其在原始影像上的像点坐标(X'，ι')，根据像点坐标(X'，y')经重采样得到像点的灰度值。当s≤cols时,<formula>formulaseeoriginaldocumentpage7</formula>当cd_S≤e时,<formula>formulaseeoriginaldocumentpage7</formula><formula>formulaseeoriginaldocumentpage7</formula>当s>cole时，，，<formula>formulaseeoriginaldocumentpage7</formula>本发明将拼接后的虚拟扫描景看作是由焦面上首尾相连的三片虚拟CCD线阵所获取，其中，两侧虚拟CCD线阵的位置与真实的两侧TDICCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙；根据行积分时间的变化情况，基于片间连接点构建中间虚拟CCD成像数据与中间TDICCD成像数据之间的分段仿射变换关系，然后遵循这种“两边参考、中间变换”的影像重采样原则，实现三片非共线TDICCD成像数据的高效内视场拼接，以形成空间上连续无缝的完整虚拟扫描景。图1是三片非共线TDICXD成像原理的示意图(a)相机焦面结构；(b)推扫成像模式；(c)原始影像坐标系；图2给出了虚拟拼接景物理含义的示意图；图3给出了拼接原理的示意图。具体实施例方式下面结合附图对本发明做进一步详细描述。如图1所示，三片TDIC⑶按品字形偏场排列于相机焦平面(图1(a))，沿卫星轨道推扫成像时三片TDIC⑶共享一套轨道姿态参数(图1(b))，M为三片TDIC⑶成像数据按时间(行计数)对齐后的原始影像(图1(C))。例如，pi和p2为TDICXDl影像和TDICCD2影像间的一对同名点，点P为其对应的物点。概括起来，基于分段仿射变换的星载三片非共线TDICXD影像拼接方法，其实施过程可以分为四个阶段第一阶段确定虚拟拼接景的行数和列数令星载三片非共线TDI(XD影像的左片TDI(XDl、中片TDI(XD2和右片TDI(XD3的长度即像元个数分别为S1;s2和S3,由三片非共线TDIC⑶获取的原始影像的扫描行数为L，列数为S，其中S=S1+S2+S3；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有<formula>formulaseeoriginaldocumentpage7</formula>式中，O12CCDl和TDICCD2重叠像元设计个数，其中0<O12<min(S1,S2)；O23为TDICCD2和TDICCD3重叠像元设计个数，其中0<O23<min(S2,S3)；当S1≤S2，min(S1,S2)=S1；否则，min(S1,S2)=S2；当S2≤S3,min(S2,S3)=S2；否则，min(S2,S3)=S3；第二阶段提取相邻TDICXD影像的连接点通过现有技术中的目视判读或影像自动匹配技术提取每相邻两片TDICXD影像的连接点。第三阶段建立虚拟(XD2影像与TDI(XD2影像的分段仿射变换关系原始影像由相机焦平面上三片品字形排列的TDICXD(如图2(a))所获取，若对TDI(XD2影像进行像面变换，使之与两侧TDICCD影像无缝拼接，那么根据中心投影几何关系，所构成的虚拟拼接景可以看作是由焦面上三片首尾相连的虚拟CCD线阵即CCD1、CCD2和(XD3所获取，如图2(b)所示，CXDl、(XD3保持TDICXDl、TDI(XD3原有位置不变，(XD2填充CXDl和(XD3的空隙。于是，按照下列步骤建立虚拟(XD2影像到TDI(XD2影像的分段仿射变换关系1.根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置Ti,其中0<Ti<L，i=1,2,…，n，n表示行积分时间跳变次数；2.将TDI(XD2影像分为N段，N=n+1；每段影像的起始扫描行号和终止扫描行号分别为Lsi和Lei,有Lsi=0(i=1)Lei=TiLsi=Ti-I(i=2，—,N-1)Lei=TiLsi=Ti-I(i=N)(2)Lei=L3.利用TDI(XD2影像与TDICXDl影像、TDI(XD3影像的连接点约束条件，计算虚拟CCD2影像到TDICCD2影像的分段仿射变换系数如图3(a)所示，令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(x，y)和(χ',ι')，且(χ'，y')对应于TDICCD2影像上的点，(x,y)对应于TDICCDl或TDICCD3影像上的点；如图3(b)，令虚拟拼接景影像坐标系为sol，则按照公式(3)计算(X，y)在虚拟拼接景上对应的像点坐标(s，1)s=x(x≤S1)(3)1=ys=X-O12-O23(χ>S+S2)1=y4.基于(s，1)与(χ'，y')的同名点对应关系，基于公式(4)列误差方程式最小二乘平差解算(XD2影像到TDI(XD2影像的分段仿射变换系数aQi，au,a2i,b0i,bn，b2i(i=1,2—N)；<formula>formulaseeoriginaldocumentpage8</formula>(4)<formula>formulaseeoriginaldocumentpage8</formula>第四阶段对原始影像进行重采样，生成虚拟拼接扫描景。1.确定虚拟拼接景上三片虚拟CXD影像的拼接线位置，如图3(b)所示令col_s对应(XD2影像在虚拟拼接景上的起始列号，col_e对应(XD2影像在虚拟拼接景上的终止列号，为了最大程度地保留TDICXDl影像和TDI(XD3影像，这里，col_s=S1,col_e=Sv-S3；2.对于虚拟拼接景上的任意像点(S，1)，按公式(5)计算其在原始影像上的像点坐标(X'，y')，经重采样得到像点的灰度值。当s≤cols时，<formula>formulaseeoriginaldocumentpage9</formula>当col_s<s(col—e时，<formula>formulaseeoriginaldocumentpage9</formula>当s>cole时，<formula>formulaseeoriginaldocumentpage9</formula>权利要求基于分段仿射变换的星载三片非共线TDICCD影像拼接方法，包括以下步骤一、确定虚拟拼接景的行数和列数令星载三片非共线TDICCD影像的左片TDICCD1、中片TDICCD2和右片TDICCD3的长度即像元个数分别为S1，S2和S3，由三片非共线TDICCD获取的原始影像的扫描行数为L，列数为S，其中S＝S1+S2+S3；令虚拟拼接景的扫描行数为Lv，列数为Sv，则有Lv＝LSv＝S-O12-O23(1)式中，O12为TDICCD1和TDICCD2重叠像元设计个数，其中0＜O12＜min(S1，S2)；O23为TDICCD2和TDICCD3重叠像元设计个数，其中0＜O23＜min(S2，S3)；当S1≤S2，min(S1，S2)＝S1；否则，min(S1，S2)＝S2；当S2≤S3，min(S2，S3)＝S2；否则，min(S2，S3)＝S3；二、提取每相邻两片TDICCD影像的连接点；三、将虚拟拼接景看作是由焦面上首尾相连的三片虚拟CCD线阵即CCD1、CCD2和CCD3所获取，其中，CCD1、CCD3保持TDICCD1、TDICCD3原有摆放位置不变，CCD2则填充CCD1和CCD3的空隙；按照下列步骤建立TDICCD2影像与虚拟CCD2影像间的分段仿射变换关系1)根据影像辅助数据判断景内是否存在行积分时间跳变，如果存在，找到行积分时间发生跳变的扫描行位置Ti，其中0＜Ti＜L，i＝1，2，...，n，n表示行积分时间跳变次数；2)将TDICCD2影像分为N段，N＝n+1；每段影像的起始扫描行号和终止扫描行号分别为Lsi和Lei，有<mrow><mfencedopen=''close=''><mtable><mtr><mtd><msub><mi>Ls</mi><mi>i</mi></msub><mo>=</mo><mn>0</mn></mtd></mtr><mtr><mtd><msub><mi>Le</mi><mi>i</mi></msub><mo>=</mo><msub><mi>T</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>=</mo><mn>1</mn><mo>)</mo></mrow></mrow><mrow><mfencedopen=''close=''><mtable><mtr><mtd><msub><mi>Ls</mi><mi>i</mi></msub><mo>=</mo><msub><mi>T</mi><mi>i</mi></msub><mo>-</mo><mn>1</mn></mtd></mtr><mtr><mtd><msub><mi>Le</mi><mi>i</mi></msub><mo>=</mo><msub><mi>T</mi><mi>i</mi></msub></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>=</mo><mn>2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mi>N</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow></mrow><mrow><mfencedopen=''close=''><mtable><mtr><mtd><msub><mi>Ls</mi><mi>i</mi></msub><mo>=</mo><msub><mi>T</mi><mi>i</mi></msub><mo>-</mo><mn>1</mn></mtd></mtr><mtr><mtd><msub><mi>Le</mi><mi>i</mi></msub><mo>=</mo><mi>L</mi></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>=</mo><mi>N</mi><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>3)利用TDICCD2影像与TDICCD1影像和TDICCD3影像的连接点约束条件，计算虚拟CCD2影像到TDICCD2影像的分段仿射变换系数令提取的每对连接点在原始影像坐标系xoy中的像点坐标为(x，y)和(x′，y′)，且(x′，y′)对应于TDICCD2影像上的点，(x，y)对应于TDICCD1或TDICCD3影像上的点，根据公式(3)，计算(x，y)在虚拟拼接景坐标系sol中的坐标为(s，l)<mrow><mfencedopen=''close=''><mtable><mtr><mtd><mi>s</mi><mo>=</mo><mi>x</mi></mtd></mtr><mtr><mtd><mi>l</mi><mo>=</mo><mi>y</mi></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>x</mi><mo>≤</mo><msub><mi>S</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow><mrow><mfencedopen=''close=''><mtable><mtr><mtd><mi>s</mi><mo>=</mo><mi>x</mi><mo>-</mo><msub><mi>O</mi><mn>12</mn></msub><mo>-</mo><msub><mi>O</mi><mn>23</mn></msub></mtd></mtr><mtr><mtd><mi>l</mi><mo>=</mo><mi>y</mi></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>x</mi><mo>></mo><msub><mi>S</mi><mn>1</mn></msub><mo>+</mo><msub><mi>S</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow>4)基于(s，l)与(x′，y′)的同名点对应关系，基于公式(4)列误差方程式最小二乘平差解算CCD2影像到TDICCD2影像的分段仿射变换系数a0i，a1i，a2i，b0i，b1i，b2i(i＝1，2...N)；x′＝a0i+a1i×s+a2i×l(4)y′＝b0i+b1i×s+b2i×l四、对原始影像进行重采样，生成虚拟拼接扫描景1)确定虚拟拼接景上三片虚拟CCD影像的拼接线位置令col_s对应CCD2影像在虚拟拼接景上的起始列号，col_e对应CCD2影像在虚拟拼接景上的终止列号，其中，col_s＝S1，col_e＝Sv-S3；2)对于虚拟拼接景上的任意像点(s，l)，按公式(5)计算其在原始影像上的像点坐标(x′，y′)；当s≤col_s时，<mfencedopen=''close=''><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><mi>s</mi></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><mi>l</mi></mtd></mtr></mtable></mfenced>当col_s＜s≤col_e时，<mrow><mfencedopen=''close=''><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><msub><mi>a</mi><mrow><mn>0</mn><mi>i</mi></mrow></msub><mo>+</mo><msub><mi>a</mi><mrow><mn>1</mn><mi>i</mi></mrow></msub><mo>×</mo><mi>s</mi><mo>+</mo><msub><mi>a</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mo>×</mo><mi>l</mi></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><msub><mi>b</mi><mrow><mn>0</mn><mi>i</mi></mrow></msub><mo>+</mo><msub><mi>b</mi><mrow><mn>1</mn><mi>i</mi></mrow></msub><mo>×</mo><mi>s</mi><mo>+</mo><msub><mi>b</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mo>×</mo><mi>l</mi></mtd></mtr></mtable></mfenced><mo>,</mo><mrow><mo>(</mo><mi>i</mi><mo>=</mo><mn>1,2</mn><mo>,</mo><mo>.</mo><mo>.</mo><mo>.</mo><mo>,</mo><mi>N</mi><mo>;</mo><msub><mi>Ls</mi><mi>i</mi></msub><mo>≤</mo><mi>l</mi><mo><</mo><msub><mi>Le</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>当s＞col_e时，<mfencedopen=''close=''><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><mi>s</mi><mo>+</mo><msub><mi>O</mi><mn>12</mn></msub><mo>+</mo><msub><mi>O</mi><mn>23</mn></msub></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><mi>l</mi></mtd></mtr></mtable></mfenced>根据像点坐标(x′，y′)经重采样得到像点的灰度值。全文摘要本发明涉及一种基于分段仿射变换的星载三片TDICCD影像拼接方法，将拼接后的虚拟扫描景看作是由焦面上首尾相连的三片虚拟CCD线阵所获取，其中，两侧的虚拟CCD与真实的TDICCD保持一致，中间虚拟CCD线阵则填充两侧虚拟CCD线阵的间隙，遵循“两边参考、中间变换”的原则，根据片间连接点建立TDICCD成像数据与虚拟CCD成像数据的像面变换模型，经影像重采样输出虚拟拼接扫描景，从而有效地改善了内视场拼接的效率、精度和可靠性。文档编号G01C11/04GK101799293SQ201010119968公开日2010年8月11日申请日期2010年3月5日优先权日2010年3月5日发明者王密,胡芬,金淑英申请人:武汉大学