适于多光谱图像压缩的配准预处理系统的制作方法
【专利摘要】本发明公开了一种适于多光谱图像压缩的配准预处理系统，主要解决卫星拍摄的多光谱图像由于未配准影响实时压缩性能的问题。本系统包括：图像输入模块(1)、图像缓存模块(2)和配准计算模块(3)。图像输入模块将全景相机产生的辅助数据和待配准多光谱图像数据重新组织成适于系统内部处理的图像数据，输出给图像缓存模块和配准计算模块；图像缓存模块缓存图像输入模块输入的图像数据；配准计算模块控制图像输入模块和图像缓存模块读入参考谱段和待配准谱段数据，利用该读入数据进行配准，并将配准后的多光谱图像输出到下级系统。本发明实现简单、处理实时、显著提高了后级系统的压缩性能，可用于卫星拍摄的多光谱图像压缩前的配准预处理工作。
【专利说明】适于多光谱图像压缩的配准预处理系统
【技术领域】
[0001] 本发明涉及通信【技术领域】，具体涉及多光谱图像压缩前的预处理工作，可用于卫 星拍摄的多光谱图像压缩传输前的配准。
【背景技术】
[0002] 图像配准就是将不同传感器或不同条件下获取的两幅或多幅图像进行匹配，叠加 的过程，它已经被广泛的应用于遥感分析、计算机视觉和图像处理等领域。
[0003] 多光谱图像是利用卫星或飞机对同一地区、同一时间的物体，采用不同的谱段拍 摄的图像的合集，例如红、绿、蓝和近红外四个谱段拍摄的多光谱图像。多光谱图像由于包 含谱段多，信息量大，可以利用其进行地面遥感、地貌分析等等。但由于多光谱图像所需存 储空间很大，在传回地面做处理前必须进行充分有效的压缩才能实现实时传输处理。
[0004] 在多光谱成像中，由于相机角度的问题，对同一物体进行拍摄所得到的不同谱段 的图像之间往往会有一定的偏移，该偏移会导致不同谱段图像间的相关性降低，进而影响 到对该组图像的压缩效果。因此，在对多光谱图像进行压缩之前，需要对各谱段图像进行配 准预处理，以提高不同谱段图像间的对齐程度，进而改善压缩性能。
[0005] 将图像分辨率为1024X 1024像素的多光谱图像MSI分别进行未配准与配准后压 缩，对比压缩比和PSNR得出：在无损压缩条件下，未配准图像的压缩比为1.64925,配准后 图像的压缩比为1.89259 ;在2倍有损压缩条件下，未配准图像的压缩比为2. 00956, PSNR 为57. 723dB，配准后图像的压缩比为2. 01043, PSNR为61. 49dB ;在4倍有损压缩条件下， 未配准图像的压缩比为4. 05134, PSNR为48. 275dB，配准后图像的压缩比为4. 03851，PSNR 为53. 1825dB ;在6倍有损压缩条件下，未配准图像的压缩比为6. 078511，PSNR为43. 66dB， 配准后图像的压缩比为6. 086132, PSNR为48. 355dB ;在8倍有损压缩条件下，未配准图 像的压缩比为7.998718, PSNR为4L 1275dB，配准后图像的压缩比为8.079755, PSNR为 45. 655dB。
[0006] 除此之外，还对其他多幅多光谱图像做了测试，结果均是配准后的多光谱图像的 压缩性能优于未配准的多光谱图像。
[0007] 配准预处理系统主要实现以下功能：对一组多光谱图像，通过一定的配准准则，确 定待配准图像与参考图像的像素偏移量，对待配准图像进行一定的处理，使得该多光谱图 像不同谱段之间达到对齐的效果，然后传给后级系统做压缩处理。
[0008] 现有针对多光谱图像配准大多集中在地面后处理方面，对于配准功能的实现，往 往采用较为精确、相对复杂的算法。例如中国科学院上海技术物理研究所在2004年发表于 《红外技术》的文章"多光谱图像配准实时处理技术研究"就针对多光谱图像的配准问题，提 出了基于边缘特征的匹配算法，并在DSP、FPGA上实现。其他类似方案采用了互信息、遗传 算法和MQ几何校正模型结合的算法进行多光谱图像的自动配准。中国科学院中国遥感卫 星地面站在2007年发表的"一种新的卫星多光谱图像自动配准算法"就是采用此方案，文 中具体介绍为：以互信息作为配准的相似度度量，利用遗传算法提高速度，利用MQ几何模 型能够建立几何关系。
[0009] 上述这些系统方案的缺点是：配准算法复杂度较高，硬件实现较为复杂，需要借助 DSP芯片配合FPGA实现；处理延迟较大，不能用于卫星上多光谱图像的实时高效传输。
【发明内容】
[0010] 本发明的目的是针对上述现有技术的不足，提出一种适于多光谱图像压缩的配准 预处理系统，以简化系统结构，减少硬件资源，实现卫星拍摄的多光谱图像的实时高效传 输。
[0011] 本发明的技术方案是这样实现的：
[0012] 一种适于多光谱图像压缩的配准预处理系统，其特征在于通过一片FPGA实现，它 包括图像输入模块、图像缓存模块和配准计算模块：
[0013] 所述图像输入模块，用于将电荷耦合元件(XD全景相机产生的辅助数据和待配准 多光谱图像各谱段数据重新组织成适于FPGA内部处理的图像数据，并输出给图像缓存模 块和配准计算模块；
[0014] 所述图像缓存模块，用于缓存图像输入模块的输入图像数据；
[0015] 所述配准计算模块，包括：
[0016] 两个下采样子模块，用于将从图像输入模块读出的图像数据和从图像缓存模块读 出的图像数据重新拆分为图像像素点，再对连续的4个像素点求取平均值得到一个新的下 采样像素点以代替原4个像素点，并输出给配准控制子模块；
[0017] 协方差计算子模块，用于求得配准控制子模块输入的两路谱段图像数据的协方 差，并将协方差值输出给配准控制子模块；
[0018] 配准控制子模块，用于完成多光谱图像配准，即：
[0019] 在配准开始后，选取三块参考谱段图像分别与待配准谱段图像进行一次块配准， 根据初始谱段偏移量判断图像缓存模块是否已经缓存配准计算所需数据：如果已缓存，则 输出读指令到图像缓存模块读出所需数据到下采样子模块，如果未缓存，则直接读出图像 输入模块数据到下采样子模块；
[0020] 当协方差计算子模块传回协方差值后，通过协方差值得到行偏移量，并根据本次 计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于 1，则块配准收敛，收敛计数加1，若绝对值大于1，则块配准不收敛，收敛计数清0,当收敛计 数等于8时块配准完成，该块偏移量为配准收敛的8次行偏移量的平均值；
[0021] 在对三块参考谱段图像配准完成后，通过错误判决得到最终偏移量：即将得到 的三个块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β ;计算 β-α |得到α与β差的绝对值Υ，再将Υ与设定门限值λ相比，若Υ彡λ，则对三个 块偏移量取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块 偏移量取平均值得到最终偏移量，其中，λ = 2;
[0022] 将最终偏移量输出给图像输出子模块；
[0023] 图像输出子模块，用于在配准完成后，根据配准控制子模块输入的配准后谱段偏 移量发出读信号到图像缓存模块读出缓存的图像数据，将其恢复为原始数据格式输出给下 级系统。
[0024] 本发明与现有技术相比具有以下优点：
[0025] (1)本发明采用单片FPGA实现，逻辑资源占用少，实现复杂度低，能够完成多光谱 图像配准的实时处理。
[0026] (2)本发明通过计算协方差的方法完成配准，处理过程既简单又相对精确，能够很 快求得配准后多光谱图像的偏移量，显著提升了后级压缩系统的压缩性能。
[0027] (3)本发明设有偏移量错误判决机制，当得到明显错误的偏移量时能够将其剔除 掉，避免了对正确结果造成的影响。
【专利附图】
【附图说明】
[0028] 图1是本发明的整体结构示意图；
[0029] 图2是本发明中的图像输入模块结构示意图；
[0030] 图3是本发明中的图像缓存模块结构示意图；
[0031] 图4是本发明中的配准计算模块结构示意图；
[0032] 图5是本发明配准计算模块中的协方差计算子模块结构示意图；
[0033] 图6是本发明配准计算模块中的配准控制子模块结构示意图；
[0034] 图7是本发明配准计算模块中的图像输出子模块结构示意图。
【具体实施方式】
[0035] 本发明具体实施例中采用的输入数据结构为CCD相机产生的辅助数据和多光谱 图像数据，以行为单位输入，每行为辅助数据和4个谱段的多光谱图像数据，发送正程逆程 持续时间相等；其中辅助数据的比特深度为8-bits无符号，总长度可以根据参数设置为 0-64的某个值，多光谱图像数据的比特深度为12-bits无符号，向下兼容更低比特深度的 多光谱图像数据，单谱段图像行宽长度可根据参数设置为1024-2048的某个值。
[0036] 本发明的软件仿真模型利用Microsoft Visual C++6.0开发平台和C/C++语言完 成实现，硬件实现结构采用Xilinx ISE 12.4集成开发环境和￥册1^吾言，在乂1111?公司的 型号为XC5Vfxl3t-lff 1738的FPGA器件上实现。
[0037] 下面结合附图对本发明的实现做详细的描述。
[0038] 参照图1，本发明的系统，包括3个模块：图像输入模块1、图像缓存模块2和配准 计算模块3。图像输入模块1接收CCD全景相机产生的辅助数据和待配准多光谱图像各谱 段数据，将其重新组织成适于FPGA内部处理的图像数据，输出给图像缓存模块2和配准计 算模块3 ;图像缓存模块2缓存图像输入模块1输入的图像数据，接收配准计算模块3的读 指令，在外存空闲的时刻读出缓存的图像数据并输出给配准计算模块3 ;配准计算模块3控 制图像输入模块1和图像缓存模块2读入参考谱段和待配准谱段数据，利用读入数据进行 配准，并将配准后的多光谱图像输出到下级系统。
[0039] 参照图2,所述的图像输入模块1，包括数据组织子模块11、缓存子模块12和输出 仲裁器13。由于图像缓存模块2支持的数据位宽为64-bits，所以数据组织子模块11将输 入的辅助数据和待配准多光谱图像各谱段数据进行分离并分别拼接成符合要求的64-bits 位宽数据，具体拼接过程为：
[0040] 对于辅助数据，以每8个为一组拼接成1个64-bits数据包；对于图像数据，以每 16个像素点为一组拼接成3个连续的64-bits数据包，其中对第6个和第12个像素点，不 能通过单个数据包完成全部拼接，故先将12-bits位宽的像素点分为两部分，即将高比特 部分写入当前数据包以达到64-bits，其余部分写入下一个数据包；当一行图像完成拼接 后最后一个数据包长度不足64-bits时，则对该包的低位补0。
[0041] 拼接完成后，将数据写入缓存子模块12暂时缓存，该模块由一个双端口 RAM实现， 待缓存到一整行后连续读出，通过输出仲裁器13判断该读出是辅助数据还是图像数据：若 为辅助数据，则只输出给图像缓存模块2,若为图像数据，则同时输出给图像缓存模块2和 配准计算模块3。
[0042] 参照图3,所述的图像缓存模块2,包括用户层子模块21和外存控制子模块22。用 户层子模块21根据图像输入模块1、配准控制子模块33和图像输出子模块34的读写缓存 指令发送相应指令到外存控制子模块22,外存控制子模块22由MIG控制器软核实现，用于 生成缓存芯片工作所需的各种控制信号。缓存芯片采用双倍速率同步动态随机存储器DDR SDRAM实现，其物理地址分为4个区域：BANK0、BANK1、BANK2和BANK3 ;根据图像输入模块1 输入的数据类型对它们进行分类并写入缓存芯片相应的地址区域中，以方便配准计算模块 3进行高速读取：C⑶全景相机产生的辅助数据存入第一区域ΒΑΝΚ0,第一谱段图像数据存 入第一区域ΒΑΝΚ0,第二谱段图像数据存入第二区域BANK1，第三谱段图像数据存入第三区 域BANK2，第四谱段图像数据存入第四区域BANK3。
[0043] 参照图4,所述的配准计算模块3,包括两个下采样子模块31和32、协方差计算子 模块33、配准控制子模块34和图像输出子模块35。第一下采样子模块31采样子模块31 接收图像输入模块1输入的数据包，第二下采样子模块32接收图像缓存模块2输入的数据 包。这两个下采样子模块对输入数据包的处理过程相同，即将输入的数据包在解包恢复原 像素点的同时，以每四个像素点为一组求一个均值以代替原四个像素点值，达到减少协方 差计算子模块33计算量的目的。将下采样后的数据以每两个为一组合成24-bits输出给 配准控制子模块34 :其中高12-bits为一个下采样点，低12-bits为另一个下采样点。协 方差计算子模块33,接收配准控制子模块34输入的两行图像数据，计算协方差值并输出给 配准控制子模块34。配准控制子模块34,配准开始后接收第一下采样子模块31和第一下 采样子模块32配准所需数据并输出到协方差计算子模块33计算协方差，根据协方差计算 子模块33返回的协方差值并判断是否完成配准，配准完成后输出配准偏移量到图像输出 子模块35。图像输出子模块35,配准完成后，根据配准控制子模块34输入的偏移量发出相 应读指令到图像缓存模块2读出所需数据，将其恢复为原始数据格式输出给下级系统。
[0044] 参照图5,所述的协方差计算子模块33,用于对配准控制子模块34输入的一行256 个参考谱段下采样像素点和一行256个待配准谱段下采样像素点求协方差值。该模块包括 第一累加器331、第二累加器332、第三累加器333、第四累加器334、第一乘法器335、第二乘 法器336、第五累加器337、第六累加器338、第一加法器339、第二加法器3310和第三加法 器3311。第一累加器331将输入参考谱段图像数据的高12-bits下采样数据进行累加运算 得到第一累加和Θ i，第二累加器332将输入参考谱段图像数据的低12-bits下采样数据进 行累加运算得到第二累加和Θ 2，第三累加器333将输入待配准谱段图像数据的高12-bits 下采样数据进行累加运算得到第三累加和Vi，第四累加器334将输入待配准谱段图像数据 的低12-bits下采样数据进行累加运算得到第四累加和Ψ 2 ;第一乘法器335将输入参考 谱段图像数据的高12-bits下采样数据和输入待配准谱段图像数据的高12-bits下采样数 据相乘，并将相乘结果输出给第五累加器337进行累加运算得到第五累加和〇，第二乘法 器336将输入参考谱段图像数据的低12-bits下采样数据和输入待配准谱段图像数据的低 12-bits下采样数据相乘，并将相乘结果输出给第六累加器338进行累加运算得到第六累 加和τ ;第一加法器339根据第一累加和与第二累加和θ2，计算参考谱段图像下采样 数据的像素点值总和：sumX = θ 1+Θ 2 ;第二加法器3310根据第三累加和Ψι与第四累加和 Ψ2，计算待配准谱段图像下采样数据的像素点值总和：sumY = Ψ d Ψ2 ;第三加法器3311根 据第五累加和σ与第六累加和τ，计算参考谱段图像下采样数据的像素点值和待配准谱 段图像下采样数据的像素点值对应相乘后的总和：sumXY= σ + τ ;
[0045] 根据上述已计算得到的数据求得两行图像数据的协方差值：
[0046]
【权利要求】
1. 一种适于多光谱图像压缩的配准预处理系统，其特征在于通过一片FPGA实现，它包 括图像输入模块（1)、图像缓存模块（2)和配准计算模块（3): 所述图像输入模块（1)，用于将电荷耦合元件CCD全景相机产生的辅助数据和待配准 多光谱图像各谱段数据重新组织成适于FPGA内部处理的图像数据，并输出给图像缓存模 块（2)和配准计算模块（3); 所述图像缓存模块（2)，用于缓存图像输入模块（1)的输入图像数据； 所述配准计算模块（3)，包括： 两个下采样子模块（31) (32)，用于将从图像输入模块（1)读出的图像数据和从图像缓 存模块（2)读出的图像数据重新拆分为图像像素点，再对连续的4个像素点求取平均值得 到一个新的下采样像素点以代替原4个像素点，并输出给配准控制子模块（34); 协方差计算子模块（33)，用于求得配准控制子模块（34)输入的两路谱段图像数据的 协方差，并将协方差值输出给配准控制子模块（34); 配准控制子模块（34)，用于完成多光谱图像配准，即： 在配准开始后，选取三块参考谱段图像分别与待配准谱段图像进行一次块配准，根据 初始谱段偏移量判断图像缓存模块（2)是否已经缓存配准计算所需数据：如果已缓存，则 输出读指令到图像缓存模块（2)读出所需数据到下采样子模块（32)，如果未缓存，则直接 读出图像输入模块（1)数据到下采样子模块（31); 当协方差计算子模块（33)传回协方差值后，通过协方差值得到行偏移量，并根据本次 计算与前一次计算得到的行偏移量的差的绝对值判断是否完成块配准：若绝对值小于等于 1，则块配准收敛，收敛计数加1，若绝对值大于1，则块配准不收敛，收敛计数清0,当收敛计 数等于8时块配准完成，该块偏移量为配准收敛的8次行偏移量的平均值； 在对三块参考谱段图像配准完成后，通过错误判决得到最终偏移量：即将得到的三个 块偏移量从小到大排列，得到最大值与中值的差α，最小值与中值的差β ;计算| β-α |得 到α与β差的绝对值Υ，再将Υ与设定门限值λ相比，若Υ彡λ，则对三个块偏移量 取平均值得到最终偏移量，反之，剔除与中值相差较大的偏移量，对剩下的两个块偏移量取 平均值得到最终偏移量，其中，λ = 2 ; 将最终偏移量输出给图像输出子模块（35); 图像输出子模块（35)，用于在配准完成后，根据配准控制子模块（34)输入的配准后谱 段偏移量发出读信号到图像缓存模块（2)读出缓存的图像数据，将其恢复为原始数据格式 输出给下级系统。
2. 根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述 的配准计算模块（3)在读取数据时，采用输入获取判断机制进行，即当图像缓存模块（2)中 已经缓存了配准计算所需数据时，优先读取缓存数据，否则，读取图像输入模块（1)输出的 数据。
3. 根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述 图像输入模块（1)，包括数据组织子模块（11)、缓存子模块（12)和输出仲裁器（13)，该数据 组织子模块（11)将输入的辅助数据和待配准多光谱图像各谱段数据分离并重新组织成适 于FPGA内部处理的图像数据，输出给缓存子模块（12)进行临时缓存，当缓存数据足够多时 通过输出仲裁器（13)连续输出给图像缓存模块（2)和配准计算模块（3)。
4.根据权利要求1所述的适于多光谱图像压缩的配准预处理系统，其特征在于，所述 图像缓存模块（2)，包括用户层子模块（21)和外存控制子模块（22)，该用户层子模块（21) 接收图像输入模块（1)、配准控制子模块（33)和图像输出子模块（34)的读写缓存指令，并 在外存空闲时发送相应指令到外存控制子模块（22)，令其生成外存工作所需的各种控制信 号。
【文档编号】G06T7/00GK104156954SQ201410377020
【公开日】2014年11月19日 申请日期:2014年8月1日 优先权日:2014年8月1日
【发明者】郭杰, 王柯俨, 赵文钰, 李云松, 雷杰, 贾超群, 程如飞, 宋娟 申请人:西安电子科技大学