专利名称：超高分辨率相机成像检测系统及方法
技术领域：
本发明属于电子信息学科领域，特别涉及超高分辨率相机成像检测系统及方法。
背景技术：
随着各种高速相机的发展，对所拍图像的采集速率要求不断提高，对连续实时存储时间要求不断加长，但目前的超高分辨率图像采集产品对图像数据采用单路信道存取方式，吞吐量不足，不能满足所拍摄海量图像数据的高速实时采集和存储的要求，尤其是卫星遥感这类采用多个超高分辨率相机连续监视拍摄的情况，所获取的数据数量大，处理困难。例如若想观察高空拍摄的图像细节或者全局图像，就需要对这些大容量的图像数据进行综合处理，现有技术缺乏有效手段，无法实时提供缩放，直接影响到图像的利用，限制了遥感相机的发展。如何针对超高分辨率相机成像提供高效的海量数据采集和处理手段，已经成为遥感影像技术中的性能突破瓶颈。
发明内容
本发明目的在于解决现有技术不足，提供一种能高速率采集图像数据并能即时处理的超高分辨率相机成像检测方案。
为实现上述目的，本发明提供的超高分辨率相机成像检测系统，设有与相机的多路感光单元分别连接的多路海量图像数据采集通道，及图形工作站，每路海量图像数据采集通道包含以下部分，
A.信号匹配单元，用于对来自相机感光单元的图像信号进行提取和解码；B.接口电路，用于电平转换和接口转换；C.I/O控制模块，用于控制相机工作模式；D.前端数据接收模块，用于图像数据的实时采集、缓存和发送；E.海量存储设备控制模块，用于图像数据的海量存储；F.海量图像快视处理器，用于该通道获取的图像数据实时显示；所述图形工作站与各路海量图像数据采集通道的海量图像快视处理器连接，用于整个系统的控制和全通道图像显示以及各种功能操作。
而且，所述信号匹配单元包括下行匹配单元和上行匹配单元，所述下行匹配单元用于去掉图像数据中的特定数据包头，提取其中的图像信号，并控制各个通道之间的采集同步，将匹配后的信号发送到接口电路；所述上行匹配单元用于将I/O控制模块发送过来的控制信号转换成相机能识别的命令后发送给相机，控制相机的状态。
而且，所述接口电路接收来自下行匹配单元的图像数据信号，并将信号电平转换为前端数据接收模块所适用的电平后发送给前端数据接收模块。
而且，所述I/O控制模块接收来自图形工作站对于相机的控制命令，然后将其发送给下行的匹配单元。
而且，所述前端数据接收模块将高速的图像数据分解为若干个低速图像数据发送至海量存储设备控制模块以便进行实时存储；或将图像数据实时发送至海量图像快视处理器以便进行实时显示。
而且，所述海量存储设备控制模块将前端数据接收处理模块发送过来的图像数据实时存储到海量存储设备；当出现来自海量图像快视处理器或图形工作站的读取存储图像命令要求时，将命令中所指定的图像块数据发送到海量图像快视处理器或图形工作站。
本发明还提供了一种采用上述超高分辨率相机成像检测系统的超高分辨率相机成像检测方法，多路海量图像数据采集通道的采集结果送到图形工作站，在图形工作站对采集结果进行综合处理，实现全局图像的显示和缩放。
而且，缩小图像时，采用图像金字塔结构对图像数据进行处理，从底层原始图像数据层开始，在每层的基础上抽样生成上一层金字塔图像，上一层的图像大小为相邻下层的1/4，同时按其位置的对应关系对相邻下层进行重采样得到图像的像素色彩值，依此重复构造，直至生成顶层图像数据层。
而且，放大图像时，在原图样本中添加插入采样点，令插入采样点的灰度值映射到原始图像矩阵中的特定点位，该采样点的点位坐标由缩放比确定，插入采样点的灰度值由映射点周围像素的灰度值确定。
而且，插入采样点的灰度值采用图像双线性插值算法确定，算法过程为(1)假设当前层图像的横向及纵向的采样频率相同，并且将需要显示的原图像区域R左上角的像素点a00作为采样的初始像素；(2)确定插入采样点b11在x轴方向投影b01左边最邻近的像素点a00，假设像素点a00与插入采样点b01的横向间距为Δx；(3)确定插入采样点b11在y轴方向投影b10上面最邻近的像素点a00，假设a00与b10的纵向间距为Δy；(4)确定像素点a00在x轴方向上的下一个像素点a01，像素点a00是在y轴方向上的下一个像素点a10，以及像素点a10在x轴方向上的下一个像素点a11；(5)依据下式求出插值点b11的灰度值g(b11)
g(b11)＝(1-Δy)[f(a00)(1-Δx)+f(a01)Δx]+Δy[f(a10)(1-Δx)+f(a11)Δx]g(b11)表示插入采样点b11的灰度值，f(a00)、f(a01)、f(a10)和f(a11)分别表示由插入采样点b11周围四个像素点a00，a01，a10，a11的灰度值。
本发明提供的超高分辨率相机成像检测系统能够同时采集多路图像数据，并由图形工作站进行综合处理，在高速图像数据采集、存储上实现质的突破。本发明还提供了超高分辨率相机成像检测方法，在图形工作站对采集结果进行综合处理，实现全局图像的显示和缩放。本发明提供的方案可以解决超高分辨率相机的图像数据高速采集、实时存储、快速回放、实时浏览、漫游和无级缩放等关键技术问题，不仅实现了高速图像数据采集存储，还使超高分辨率图像的采集和读图测试人员能充分利用采集存储数据的处理结果进行海量图像的实时记录及数据分析，高效准确地识别图像和获得相关信息。
图1是本发明超高分辨率相机成像检测系统示意图。
图2是本发明图像金字塔结构示意图。
图3是本发明图像双线性插值算法示意图。
图4是本发明实施例系统电路结构图。
具体实施例方式
本发明提供的超高分辨率相机成像检测系统，设有与相机的多路感光单元分别连接的多路海量图像数据采集通道，及图形工作站，每路海量图像数据采集通道包含以下部分，
A.信号匹配单元，用于对来自相机感光单元的图像信号进行提取和解码；B.接口电路，用于电平转换和接口转换；C.I/O控制模块，用于控制相机工作模式；D.前端数据接收模块，用于图像数据的实时采集、缓存和发送；E.海量存储设备控制模块，用于图像数据的海量存储；F.海量图像快视处理器，用于该通道获取的图像数据实时显示；所述图形工作站与各路海量图像数据采集通道连接，用于整个系统的控制和全通道图像显示以及各种功能操作。本发明具体实施时，可用图形工作站与每路海量图像数据采集通道的海量图像快视处理器连接，通过海量图像快视处理器向通道中各部分转发控制命令。
超高分辨率相机的光学接口提供多路光学信号(一般采用1～20个)，相应设置了多路感光单元将光学信号转换为电信号，现有技术中的超高分辨率图像采集产品采用单通道进行采集存储，然后传输到PC机进行存储、显示，传输速率受限于PC机的PCI总线结构，吞吐量不足。而本发明设置为每路感光单元配置专用通道并行采集，因此通道数目与具体实施时采用的超高分辨率相机具体结构相应。每个通道的传输速率可达到400MB/s，并且扩展通道后不影响采集的总速度。比如20通道最高可达8GB/s，因此采集数据效率特别高。并且本发明在多通道的基础上设计了各通道的结构，每路通道均可实时存储该通道的图像数据和显示图像数据，图形工作站则综合各路通道取得的图像数据，可以显示全局图像。不仅如此，图形工作站还可作为系统控制核心，通过控制命令反向控制相机的工作模式，也可主动要求调用各路通道的图像数据。可见本发明提供的超高分辨率相机成像检测系统综合提供了数据实时采集、数据实时存储、图像实时显示方案，不仅可以处理单路通道的数据，也可以整合各路通道资源进行全局图像处理、远程控制操作。例如通过图形工作站发送控制信号可以任选通道进行采集、存储，以免不必要地浪费存储空间和增加数据处理工作量。因此这种超高分辨率相机成像检测系统提供了一种高级的图像数据采集，已不止于仅由相机取得图像数据的程度。
本发明的超高分辨率相机成像检测系统可适用于几乎所有高分辨率相机，如全色光学相机，多光谱光学相机，可见近红外相机，短波红外相机，热红外相机，大面阵成像相机，推扫式相机，立体测图相机，中高分辨率多光谱成像仪。
每路海量图像数据采集通道的结构是系统中最重要的部分，具体实施时可采用大规模门阵列设计实现硬件，使数字电路更加集成，降低功耗，缩小电路面积，进一步提高性能，同时便于现场编程升级，可全表面贴装器件改善采集中的信噪比。参见图4，FPGA(现场可编程门阵列)是专用集成电路(ASIC)中集成度最高的一种，用户可对FPGA内部的逻辑模块和I/O模块重新配置，以实现用户的逻辑，相当于构建一个根据计算任务不同而实时定制的CPU。因而本发明具体实施例的海量图像数据采集通道采用FPGA电路结构，围绕FPGA设置电源管理电路、FPGA配置芯片、USB接口芯片、250G的PATA接口硬盘、DDR内存条(1G)、LVDS接口芯片。LVDS接口芯片属于混合信号IC，可以将显示像素数据从CPU主板传送至显示器，USB接口芯片用于通道与图形工作站的通信。FPGA主要实现以下三个模块前端数据接收处理模块用于对高速海量数据进行捕获、接收和解码。可根据采集数据的带宽，将高速的图像数据分解为若干个低速图像数据发送至海量存储设备控制模块进行实时存储；也可以将采集得到的数据实时发送至海量图像快视处理器进行实时显示。本发明实施例采用1GB的DDR内存，用于前端数据接收处理模块进行图像数据缓存。
海量存储设备控制模块用于将前端数据接收处理模块发送过来的图像数据实时存储到海量存储设备；当海量图像快视处理器或图形工作站有读取硬盘中所存储的图像的命令要求时，将命令中所指定的图像块数据发送到海量图像快视处理器或图形工作站。本发明实施例采用250G的PATA接口硬盘作为海量存储设备。实施时海量存储设备也可采用硬盘阵列。
海量图像快视处理器可用于实时显示某通道采集的图像数据，也可对某个通道存储在海量存储设备中的海量图像数据进行回放显示、浏览、漫游、缩放等操作。
为了同时支持从相机采集图像数据和通过图形工作站控制相机工作状态，所述信号匹配单元包括下行匹配单元和上行匹配单元，所述下行匹配单元用于去掉图像数据中的特定数据包头，提取其中的图像信号，并控制各个通道之间的采集同步，将匹配后的信号发送到接口电路；所述上行匹配单元用于将I/O控制模块发送过来的控制信号转换成相机能识别的命令后发送给相机，控制相机工作状态。所述接口电路接收来自下行匹配单元的图像数据信号，并将信号电平转换为前端数据接收模块所适用的电平后发送给前端数据接收模块。具体实施时，为了顺利接入图像数据，需要进行信号处理过程相机的光学接口的图像信息为光信号，经感光单元将光学接口提供的光信号转换成为电信号之后，通过匹配单元和接口电路将解码得到的图像数据送至前端数据接受处理模块。所述I/O控制模块接收来自图形工作站对于相机的控制命令，然后将其发送给下行的匹配单元。信号匹配单元、接口电路、I/O控制模块在具体实施时都可通过编程集成在FPGA中。
图形工作站可以采用PC机，因为各路通道已实时存储了图像数据，图形工作站可在此基础上进行处理，本发明提供的相应超高分辨率相机成像检测方法是多路海量图像数据采集通道的采集结果送到图形工作站，在图形工作站对采集结果进行综合处理，实现全局图像的显示和缩放。因为图像采集的速率高，图形工作站也可以很快响应图像数据并进行处理，在各个通道之间采集同步的情况下，实现全局图像的显示和缩放的速度也非常快，可以达到实时监控全局的效果。
缩放图像时，采用图像金字塔结构对图像数据进行处理，处理过程可参见图2从底层原始图像数据层开始，在每层的基础上抽样生成上一层金字塔图像，上一层的图像大小为相邻下层的1/4，同时按其位置的对应关系对相邻下层进行重采样得到图像的像素色彩值，依此重复构造，直至生成顶层图像数据层。采用图像金字塔的架构，原始大型图像被多分辨率分解，利用分层、分块后的图像金字塔，既可以总观图像全局，又能浏览细节的效果。
但是采用图像金字塔结构时，缩放的倍数只能是整数。从视觉效果上来看，缩放比例间距过大，因而图像缩放时的跳跃感很明显。因此，本发明图像金字塔结构处理基础上提供了海量图像无级变焦插值算法，这种算法来源于无级变焦插值算法，其基本原理是要实现图像的放大，需要在原图样本中间插入另外的采样点，令插入采样点的灰度值映射到原始图像矩阵中的特定点位，该点位的坐标由缩放比确定，插入采样点的灰度值由映射点周围像素的灰度值来确定。
海量图像无级变焦插值算法适于实现非整数比例的缩放，使相邻两幅图像间的影像过渡平滑，产生连续变动的视觉效果，算法过程可参见图3(1)假设当前层图像的横向及纵向的采样频率相同，并且将需要显示的原图像区域R左上角的像素点a00作为采样的初始像素；(2)确定插入采样点b11在x轴方向投影b01左边最邻近的像素点a00，假设像素点a00与插入采样点b11的横向间距为Δx；(3)确定插入采样点b11在y轴方向投影b10上面最邻近的像素点a00，假设a00与b10的纵向间距为Δy；(4)确定像素点a00在x轴方向上的下一个像素点a01，像素点a00是在y轴方向上的下一个像素点a10，以及像素点a10在x轴方向上的下一个像素点a11；(5)依据下式求出插值点b11的灰度值g(b11)g(b11)＝(1-Δy)[f(a00)(1-Δx)+f(a01)Δx]+Δy[f(a10)(1-Δx)+f(a11)Δx]g(b11)表示插入采样点b11的灰度值，f(a00)、f(a01)、f(a10)和f(a11)分别表示由插入采样点b11周围四个像素点a00，a01，a10，a11的灰度值。
对原始图像的每一个像素依次进行采样，重复以上五个步骤，得到缩放后的图像每个采样点(或插值点)的灰度值，输出该图像，即获得缩放图像。采用这种算法后达到图像平滑缩放的视觉效果。
参见图1，超高分辨率相机成像检测系统的基本工作过程是相机感光单元将光学接口提供的光信号转换成为电信号之后，通过信号匹配和接口电路将解码得到的图像数据送至前端数据接受处理模块，前端数据接受处理模块可将采集到的图像数据通过海量存储设备控制模块进行实时存储，也可以通过海量图像快视处理器进行实时显示。多路通道通过通讯接口连接到图形工作站，图形工作站可对相机取得的海量图像数据进行实时存储，也可以通过海量图像快视处理器进行实时运作控制，以及实现全局图像的显示和缩放等功能。
具体实施时可设定存储工作方式连续采集模式，预先设定采集图像的规模，每一次采集均形成一个文件，文件名自动生成，由触发信号启动每一次记录，图像数据量达到预设值时，便自动停止采集和存储；中断采集模式，用户只需按一个命令键就可以中途停止正在进行的采集、存储工作，而前面已采集的数据不会丢失，依然被保存。当图形工作站选择的是连续采集模式时，需要预先设定采集的图像大小或采集时间。将图像大小信息或采集时间的信息通过通讯接口发往海量存储设备控制模块。比如设定采集1小时，通过在图形工作站中的软件设定该采集时间长度后开始记时，同时海量存储设备控制模块开始接收由前端数据接收模块发送过来的图像数据，并实时地将接收得到的图像数据存储进海量存储设备。海量存储设备控制模块不仅存储原始图像数据，还将对原始图像数据进行抽样，得到的金字塔分层分块后的数据也同时存储在海量存储设备中方便图形工作站回放时的调用。
图形工作台的主要功能是对采集到的图像数据进行实时存储控制，采集结束后可对采集到的数据进行回放和漫游浏览显示。在图形工作台加载相应处理软件后，可以实现多种图形处理可对预览或漫游浏览的速度进行调节，可对采集到的图像进行图像的缩小、放大显示操作，可对采集到的图像进行图像旋转、镜像显示操作，可对采集到的某区域图像进行MTF及信噪比的计算，可对采集到的某区域图像进行直方图的计算和显示，可对感兴趣的图像区域进行实时抓拍并存储，可对采集到的图像中的所有通道进行位置调整，可对采集过的图像进行重新加载和管理。举例具体说明如下
图形工作站可将所有通道的图像同时显示。图形工作站可显示之前存储在图4中的PATA硬盘(阵列)中的图像数据。当需要回放以前采集到的图像时，图形工作站向海量存储设备控制模块发送读取图像数据的命令并且将其命令中所指定的金字塔图像层和该层中的图像块通过通讯接口传回图形工作站显示。
图形工作站可对之前采集到的图像数据进行回放显示，显示的时候可对图像进行拖动，从而全方位多角度地观察采集到的海量图像，并且在观察的时候还可调节视图滚动的速度和浏览方向，可控制自动浏览的开启与停止。
图形工作站可对采集到的图像数据进行放大和缩小的显示，并且采用金字塔加无级变焦算法的方案使图像越层显示时能平滑舒适，避免了视图显示跳跃的感觉。
图形工作站可对采集到的图像进行图像旋转、镜像显示操作，对采集到的某区域图像进行MTF及信噪比的计算，对采集到的某区域图像进行直方图的计算和直方图显示，对感兴趣的图像区域进行实时抓拍并存储。
图形工作站可对采集到的图像中的所有通道进行位置调整。由于某种原因，相机各通道图像之间可能会有重叠或错位，通过图形工作站中的软件可调整各个通道的图像位置。
除了在图形工作站进行图形显示外，还可采用海量图像快视处理器显示该路图像在海量存储设备控制模块进行图像存储的同时，海量图像快视处理器可对每一路的采集到的图像数据抽样后进行滚动预览显示。当图形工作站向海量图像快视处理器发送预览显示的命令时，每个通道中的海量图像快视处理器都将从前端数据接收模块接收到的图像数据进行一定的抽样后发送给显示设备。通过图形工作站可以调节预览的速度，如可选择1倍速，2倍速，4倍速等。图形工作站也可以控制图像快视处理器的滚动预览的开启。图像快视处理器也可以对该通道的采集图像进行指定区域的1∶1取景操作，这样便于实时观察采集到的图像的某个范围内的细节情况。
权利要求
1.超高分辨率相机成像检测系统，其特征在于设有与相机的多路感光单元分别连接的多路海量图像数据采集通道，及图形工作站，每路海量图像数据采集通道包含以下部分，A.信号匹配单元，用于对来自相机感光单元的图像信号进行提取和解码；B.接口电路，用于电平转换和接口转换；C.I/O控制模块，用于控制相机工作模式；D.前端数据接收模块，用于图像数据的实时采集、缓存和发送；E.海量存储设备控制模块，用于图像数据的海量存储；F.海量图像快视处理器，用于该通道获取的图像数据实时显示；所述图形工作站与各路海量图像数据采集通道连接，用于整个系统的控制和全通道图像显示以及各种功能操作。
2.如权利要求1所述的超高分辨率相机成像检测系统，其特征在于所述信号匹配单元包括下行匹配单元和上行匹配单元，所述下行匹配单元用于去掉图像数据中的特定数据包头，提取其中的图像信号，并控制各个通道之间的采集同步，将匹配后的信号发送到接口电路；所述上行匹配单元用于将I/O控制模块发送过来的控制信号转换成相机能识别的命令后发送给相机，控制相机的状态。
3.如权利要求2所述的超高分辨率相机成像检测系统，其特征在于所述接口电路接收来自下行匹配单元的图像数据信号，并将信号电平转换为前端数据接收模块所适用的电平后发送给前端数据接收模块。
4.如权利要求2所述的超高分辨率相机成像检测系统，其特征在于所述I/O控制模块接收来自图形工作站对于相机的控制命令，然后将其发送给下行的匹配单元。
5.如权利要求1或2或3或4所述的超高分辨率相机成像检测系统，其特征在于所述前端数据接收模块将高速的图像数据分解为若干个低速图像数据发送至海量存储设备控制模块以便进行实时存储；或将图像数据实时发送至海量图像快视处理器以便进行实时显示。
6.如权利要求1或2或3或4所述的超高分辨率相机成像检测系统，其特征在于所述海量存储设备控制模块将前端数据接收处理模块发送过来的图像数据实时存储到海量存储设备；当出现来自海量图像快视处理器或图形工作站的读取存储图像命令要求时，将命令中所指定的图像块数据发送到海量图像快视处理器或图形工作站。
7.一种采用权利要求1或2或3或4所述超高分辨率相机成像检测系统的超高分辨率相机成像检测方法，其特征在于多路海量图像数据采集通道的采集结果送到图形工作站，在图形工作站对采集结果进行综合处理，实现全局图像的显示和缩放。
8.如权利要求7所述的超高分辨率相机成像检测方法，其特征在于缩放图像时，采用图像金字塔结构对图像数据进行处理，从底层原始图像数据层开始，在每层的基础上抽样生成上一层金字塔图像，上一层的图像大小为相邻下层的1/4，同时按其位置的对应关系对相邻下层进行重采样得到图像的像素色彩值，依此重复构造，直至生成顶层图像数据层。
9.如权利要求8所述的超高分辨率相机成像检测方法，其特征在于采用海量图像无级变焦插值算法处理非整数倍缩放，算法过程为(1)假设当前层图像的横向及纵向的采样频率相同，并且将需要显示的原图像区域R左上角的像素点a00作为采样的初始像素；(2)确定插入采样点b11在x轴方向投影b01左边最邻近的像素点a00，假设像素点a00与插入采样点b01的横向间距为Δx；(3)确定插入采样点b11在y轴方向投影b10上面最邻近的像素点a00，假设a00与b10的纵向间距为Δy；(4)确定像素点a00在x轴方向上的下一个像素点a01，像素点a00是在y轴方向上的下一个像素点a10，以及像素点a10在x轴方向上的下一个像素点a11；(5)依据下式求出插值点b11的灰度值g(b11)g(b11)＝(1-Δy)[f(a00)(1-Δx)+f(a01)Δx]+Δy[f(a10)(1-Δx)+f(a11)Δx]g(b11)表示插入采样点b11的灰度值，f(a00)、f(a01)、f(a10)和f(a11)分别表示由插入采样点b11周围四个像素点a00，a01，a10，a11的灰度值。
全文摘要
本发明属于电子信息学科领域，特别涉及超高分辨率相机成像检测系统及方法。本发明提供的超高分辨率相机成像检测系统，设有与相机的多路感光单元分别连接的多路海量图像数据采集通道，及图形工作站，每路海量图像数据采集通道包含以下部分，信号匹配单元，接口电路，I/O控制模块，前端数据接收模块，海量存储设备控制模块，海量图像快视处理器；所述图形工作站与各路海量图像数据采集通道连接，用于整个系统的控制和全通道图像显示以及各种功能操作。本发明还提供了一种超高分辨率相机成像检测方法，多路海量图像数据采集通道的采集结果送到图形工作站，在图形工作站对采集结果进行综合处理，实现全局图像的显示和缩放。
文档编号G01C11/00GK101033960SQ200710051488
公开日2007年9月12日 申请日期2007年2月5日 优先权日2007年2月5日
发明者邓德祥, 吴敏渊, 曹庆源, 石文轩, 张青林 申请人:武汉大学