一种遥感相机图像实时采集处理系统的制作方法

本发明涉及航天遥感相机载荷地面检测技术领域，具体涉及一种遥感相机图像实时采集处理系统。

背景技术：

航天遥感相机载荷在出厂前需要进行大量的图像质量测试及标定，需要地面检测设备获取遥感相机载荷图像。通常选择matrox、silcon等公司生产的符合cameralink接口工业标准的图像采集卡作为航天遥感相机输出图像的解码媒介，配备将遥感相机载荷输出的lvds差分图像数据转换成符合cameralink接口工业标准输出图像数据的转换电路，由计算机直接实时采集获取图像。受图像采集卡的实时处理能力限制，往往需要开发与图像采集卡匹配的视频流采集存储软件，先采集存储视频流数据，再进行图像的后处理。随着商业航天的发展，卫星的批量化生产，图像审美的大众化发展，体积庞大、价格高昂、图像实时处理能力不足、图像评判过于专业化的传统地面检测设备制约了商业航天发展。

技术实现要素：

本发明为了解决传统航天遥感相机载荷地面检测设备存在的体积庞大、价格高昂、图像实时处理能力不足及图像评判过于专业化等问题，提供了一种单板架构的遥感相机图像实时采集处理系统。

一种遥感相机图像实时采集处理系统，包括差分转并行电路、fpga、接口匹配电路、嵌入式微处理器和数据存储电路，所述差分转并行电路接收遥感相机载荷输出的lvds差分视频图像数据，将差分视频图像数据转换为并行视频数据输出至fpga；所述fpga将并行视频数据转换为符合mipicsi-2接口协议的数据格式输出至接口匹配电路；所述接口匹配电路建立了fpga与嵌入式微处理器之间的符合mipi接口电气特性的信号传输桥梁；嵌入式微处理器接收符合mipicsi-2接口协议的视频图像信号，将原始视频图像信号通过数据存储电路存储，采用键鼠及显示外围设备显示输出或者通过内部isp进行图像处理后再进行存储及显示输出。

本发明的有益效果：

1、本发明所述系统硬件架构可在一块电路板实现，不需要上位机，解决了传统航天遥感相机载荷地面检测设备体积过大、过重等问题，且控制了地检设备成本，利于批量化生产。

2、本发明所述系统可根据需要实时输出原始视频图像或者经过系统内部isp图像信号处理单元实时处理后输出，实现了航天遥感相机载荷地面检测设备实时采集处理，加快了标定速度。

3、消费电子中广泛应用的isp图像信号处理在遥感相机图像实时采集处理系统中得到了应用，使输出图像更加符合消费级图像的大众化审美观，利用商业航天的发展。

附图说明

图1为本发明所述的一种遥感相机图像实时采集处理系统原理框图；

图2为本发明所述的一种遥感相机图像实时采集处理系统中fpga内部功能模块结构框图；

图3为本发明所述的一种遥感相机图像实时采集处理系统中接口匹配电路的电路原理图；

图4为本发明所述的一种遥感相机图像实时采集处理系统中嵌入式微处理器内部功能模块框图；

图5为本发明所述的一种遥感相机图像实时采集处理系统中嵌入式微处理器上电后工作流程。

具体实施方式

具体实施方式一、结合图1至图5说明本实施方式，一种遥感相机图像实时采集处理系统，包括差分转并行电路、fpga、接口匹配电路、嵌入式微处理器、数据存储电路、键鼠及显示外围设备等，差分转并行电路接收遥感相机载荷输出的lvds差分图像数据，将差分数据转换为并行数据输出给fpga；fpga将并行数据转换为符合mipicsi-2接口协议的数据格式输出；接口匹配电路建立了fpga与嵌入式微处理器之间的符合mipi(mobileindustryprocessorinterface)接口电气特性的信号传输桥梁；嵌入式微处理器接收符合mipicsi-2接口协议的视频图像信号，将原始视频图像信号通过数据存储电路直接存储，并根据图像测试需要，利用外围显示设备直接显示输出或者通过嵌入式微处理器内部isp(imagesignalprocessor，图像信号处理)进行图像处理后再进行存储及显示输出。

本实施方式所述的差分转并行电路可扩展多个相同模块，每个模块输入端与相机载荷输出差分信号线相连，输出端与fpga的管脚相连，多个模块之间输出的信号可由串口控制fpga进行切换接收。

其中差分转并行电路一般采用tlk2711、ds90cr218等芯片搭建实现而成；fpga是系统的控制及数据格式转换核心，接收差分转并行电路输出的并行视频图像数据，并对视频图像数据进行缓存及数据格式转换，以符合一定格式输出给接口匹配电路；接口匹配电路完成fpga管脚电气特性与mipicsi-2电气特性的相互匹配，搭建mipicsi-2接口协议传输数据的硬件条件；嵌入式微处理器通过选用具有mipicsi-2接口电气特性管脚的芯片实现，例如高通骁龙、联发科、海思等芯片均具备该接口，该电路单元主要用于对图像数据的实时处理，并与后端存储、键鼠、显示等外围设备相连接，使系统具备较好的人机交互能力；数据存储电路通常选取sata接口的高速存储盘连接相应的驱动电路实现，用于视频图像数据的实时存储；键鼠及显示外围设备用于系统的人机交互。

如图2所示，所述的fpga可选用xilinx公司的ultrascale+类型的产品，fpga通过硬件描述语言及ip核实现各模块功能算法，包括时序控制模块、数据缓存模块、串行数据接收控制模块、mipicsi-2发送子系统模块等。mipicsi-2发送子系统模块需要用到xilinx公司的ip硬核mipicsi-2transmitsubsystem，用于将视频图像数据转换成mipicsi-2接口协议格式发送给嵌入式微处理器。

时序控制模块根据前端差分转并行接口芯片的时序完成视频图像数据的捕获，同时产生mipicsi-2发送子系统模块工作时序及寄存器配置信号；数据缓存模块采用控制fpga内部fifo等ip核读写速率实现，实现前端接收数据速率与后端mipi接口的速率匹配，避免速率失配引起数据丢失，即接收串并转换模块输出的并行信号，将并行数据缓存在模块中，根据mipicsi-2发送子系统模块输入时钟速率进行数据转发，该模块与串行数据接收控制模块相互通信，可切换不同通道间的输入视频图像数据；串行数据接收控制模块主要实现串口接收功能，参照rs232串行数据传输接口协议完成该模块的功能实现，用于各差分转并行数据通道的切换，实现外部各台遥感相机之间的视频图像数据切换；mipicsi-2发送子系统模块是符合mipicsi-2发送端接口协议的ip核模块，通过时序控制模块对mipicsi-2发送子系统模块相关寄存器进行配置，并产生相应的时序，可驱动该模块将输入视频图像数据转换为符合mipicsi-2发送端接口协议的视频图像数据输出。

如图3所示，所述的接口匹配电路主要采用meticom公司生产的fpga转mipid-phy的桥接芯片mc20902实现，用于适配于满足mipi接口电气标准的信号，解决fpga与嵌入式微处理器之间mipi接口电气特性不匹配问题。fpga不含支持mipid-phy接口的io，与外围mipid-phy接口相连需要相应的外围硬件来实现。通常有两种方式实现fpga输出信号满足mipid-phy电气特性，一种是利用分立阻容元件搭建兼容电容适配网络，另一种是采用专用的mipid-phy接口芯片实现。采用mipid-phy接口芯片相较于分立电阻网络具有更高的lvds信号传输速率。mc20902芯片内部集成了5路满足csi-2标准协议mipid-phy接口，其hs模式数据率可达2.5gbps，lpdt模式数据率可达20mbps。当使用hs模式时，fpga需使用lvds差分io，确保高速信号传输的抗干扰能力；当使用lpdt时，fpga使用cmos电平io即可。图3中以hs开头的信号即为hs模式信号，以lp开头的信号即为lpdt模式信号，5路mipid-phy接口中传输4路mipicsi-2数据、1路mipicsi-2时钟。

如图4所示，所述的嵌入式微处理器采用集成mipicsi-2接口、多媒体处理器、isp图像信号处理硬核的图像处理微处理器，通过mipicsi-2接口进行视频图像的接收，利用多媒体处理器、isp图像信号处理进行视频图像的实时处理。所述的嵌入式微处理器由具有mipicsi-2接口电气特性管脚的芯片实现，需要使用到的功能模块包括处理器核心、mipicsi-2接口、多媒体处理器、图像信号处理器、hdmi接口、usb接口、uart串口、flashemmc程序加载入口、ddr3数据缓存接口等。其中，处理器核心通常有多个cortex系列核心构成，核心越多，处理速率越快，是整个微处理器数据处理的中枢；mipicsi-2接口主要用于视频图像数据的接收，其电气特性与接口匹配电路匹配；多媒体处理器一般具有jpeg压缩解压缩、h.264或h.265编解码等能力，可用于对视频图像数据进行解码解压缩操作；图像信号处理器即isp，是图像处理的关键单元，一般可对图像进行色彩处理(对比度、饱和度、亮度、色调、补偿等)、图像旋转缩放、渐晕校正、白平衡、缺陷像素修正、预处理滤波、图像插值、色差校正、边缘降噪、颜色串扰校正、数字图像处理(修饰、素描、锐利、反相等)、伽马校正等，应用过程中根据图像所需选择利用；hdmi接口用于对处理后的视频图像数据进行显示输出；usb接口通过连接usb转sata接口芯片可实现与sata存储盘相连，用于视频图像数据的实时存储记录，通过连接usb高速hub控制器可实现与键鼠的同时连接，用于遥感相机图像实时采集处理系统的参数设置；uart串口用于向fpga发送串口指令，对fpga进行参数配置；flashemmc是微处理器的程序存储器；ddr3数据缓存接口连接外围ddr3芯片可实现数据缓存空间的扩展，加快视频图像数据的处理速度。

如图5所示，所述的嵌入式微处理器及外围存储、键鼠、显示电路在嵌入式程序的驱动下，其工作流程是：系统上电后，嵌入式微处理器从flashemmc中自动加载驱动程序，在键盘鼠标的控制下输入设置参数，根据设置参数通过uart串口发送通道选择命令，通过mipicsi-2接口获取所选择通道的视频图像数据，利用嵌入式微处理器内部的多媒体处理器进行视频图像的预处理，根据用户对图像的处理需求，将预处理后的视频图像数据传送给嵌入式微处理器内部的isp进行视频图像处理，利用hdmi接口显示输出处理后的视频图像，同时利用sata硬盘存储视频图像数据。

整个工作流程中，可以通过键盘鼠标对通道选择、多媒体处理器所进行的视频图像预处理方法选择、isp视频图像处理功能选择，并通过hdmi接口显示视频图像，是参数的输入端，数据的显示端。人机交互能力较好。