一种遥感卫星在轨实时高速图像智能处理装置

1.本发明属于遥感卫星在轨图像处理技术领域，特别是涉及一种遥感卫星在轨实时高速图像智能处理装置。


背景技术：

2.大幅宽、高分辨率、大数据量光学遥感探测卫星已成为未来地球观测卫星的发展趋势之一。利用较高分辨率的遥感成像数据，对指定地区进行特定目标的快速探测、识别与判读，进而获得敏感目标的实时处理情报信息，具有较强的应用价值。
3.一方面，当前我国现有的遥感卫星绝大部分采用在轨成像获取遥感图像数据后，将数据通过无线数传设备发送至地面，地面再对数据进行接收、解析、处理等操作，实现对敏感目标的检测、识别和有效情报的生成。此类方法成熟可靠、安全性高，是遥感类卫星常用的数据和情报获取模式。其缺陷在于：地面通过该类方法获取情报信息的实时性不高，通常会有数十分钟至数个小时的滞后，因此不能实时获得敏感区域的情报数据。
4.另一方面，当前我国现有的遥感卫星仅少数具有在轨图像处理的能力，能够对遥感图像在轨进行实时压缩、实时云层判别等处理，其中极少部分卫星具有在轨实时图像处理、敏感目标实时检测的能力。其缺陷在于：1）该类卫星在轨图像实时处理装置的计算能力不强，因此只能在轨处理较小数据率的图像和采用较为简单的处理算法，满足不了大宽幅、高分辨率、大数据量遥感卫星图像数据的在轨实时智能处理要求；2）该类卫星在轨图像实时处理装置不具备软件的高速上注更新能力，不能实现复杂图像处理算法的上注更新迭代，应用能力受到一定限制。


技术实现要素：

5.本发明针对现有技术的不足，提供一种遥感卫星在轨实时高速图像智能处理装置，可以解决大数据量遥感图像的在轨实时高速处理和复杂图像处理软件的上注更新迭代问题。
6.为了达到上述目的，本发明提供的技术方案是一种遥感卫星在轨实时高速图像智能处理装置，包括数据接收模块、agx处理模块、配置管理模块、通信管理模块和供电模块五个部分。
7.数据接收模块，与卫星路由分系统相联，通过高速gtx接口接收路由分系统发送的原始图像数据，将图像数据缓存，并通过pcie接口发送给agx处理模块，实现高速原始图像数据的管理分发。
8.agx处理模块，作为一台智能化自主机器，承载复杂的图像处理算法，通过pcie接口接收模块发送的原始图像数据，并对图像数据进行实时处理，获得敏感目标或区域的情报信息，并将情报信息通过通信管理模块上报给卫星测控分系统和星务管理分系统，实现情报信息的实时下传至地面；通过配置管理模块实现在轨图像处理软件的高速上注更新。
9.配置管理模块，通过配置管理电路实现装置的配置管理和软件上注管理。
10.通信管理模块，与卫星平台相联，用于整个装置对外can总线和rs422通信功能的实现。
11.供电模块，通过内部电源芯片实现整个装置的供电保障。
12.而且，所述数据接收模块由核心fpga、数据接收电路、数据缓存电路和ddr3缓存单元、pcie接口电路组成，构成一个典型的高性能fpga最小系统。核心fpga需要满足各接口电路时序控制对fpga逻辑资源的需求和高速数据收发对片内缓存的需求；数据接收电路使用多路gtx收发器，用于接收路由单元发送的原始图像数据，数据接收电路采用aurora 8b/10b2.0协议进行数据收发，提供125mhz的差分时钟输入，采用交流耦合方式保证各模块互相断电而不产生馈电现象；数据缓存电路数据缓存区采用多片ddr3组成一组外部数据缓冲，用于gtx和pcie接口数据的缓存；pcie接口电路采用多路pcie实现数据接收模块和agx处理模块之间的高速数据交互，接口由fpga内嵌硬核实现，并完成dma操作，在agx处理模块端， pcie接口由内部集成控制器实现。
13.而且，所述agx处理模块需要有快速强大的计算能力、存储及工作温度适应能力，同时需要跟装置中其他模块的各个接口匹配，满足使用性能要求。agx处理模块通过pcie gen2与数据接收模块实现高速数据交互，接收原始图像数据，发送处理后获得的情报数据。使用串口接口与数据接收模块实现低速数据交互；用于调试的uart接口通过sn74lvc2g241dcu驱动后引出。以太网、usb2.0、hdmi接口直接连接至接插件用于调试；应用程序存储在外配的emmc flash中，并通过与配置管理模块之间的串口支持程序在线更新。采用单电源供电，上电启动由配置管理模块控制。agx处理模块图像处理软件主要实现遥感图像数据在轨实时处理功能，并可通过配置管理模块实现图像处理软件的在轨高速上注更新迭代。
14.而且，所述配置管理模块配置fpga软件，用于完成对配置管理模块接口fpga的程序加载和上注程序更新，以及agx处理模块图像处理程序的上注程序更新。配置管理模块的电路由actel fpga、v7程序flash、配置接口电路组成。系统指令通过内部总线接口送入actel fpga完成工作状态控制，上注程序通过上注接口写入配置管理fpga，上注数据在配置管理fpga内完成数据校验，正确完整的数据再进行判断，若为配置管理模块fpga上注，直接写入预留flash程序存储器中；若是agx处理模块图像处理应用软件，则通过串口/spi接口转发给agx处理模块，直接写入emmc程序存储器中，完成图像处理软件的上注更新。
15.而且，所述通信管理模块包括rs422接口、can通信接口和调试接口。rs422接口采用主备份设计，为3线制接口，包括时钟、数据、门控信号；can通信接口采用双总线冗余设计，接口电路由链路层和物理层组成；链路层由cpu自带的链接层协议接口，物理层采用专用芯片tja1040实现。
16.而且，所述供电模块使用dc/dc电源模块以及线性电源，采用二次直流电源供电的方式提供二次电源供电，提供各个模块所需要的直流电源。
17.而且，所述遥感卫星在轨实时高速图像智能处理装置具有两种工作模式：在轨实时高速图像处理模式和在轨软件高速上注模式。在轨实时高速图像处理模式主要通过星上的人工智能算法，用于完成卫星的在轨图像实时智能处理及情报实时下传，实现卫星的在轨高效、敏捷工作；在轨软件高速上注模式主要通过将地面定标结果与人工智能算法进行融合、优化并实时上注更新，从而完成人工智能算法与定量遥感的在轨融合，可结合在轨高
速图像处理模式用于实现卫星在轨的图像数据流切片、异常目标实时检测及敏感目标变化实时感知等功能。
18.而且，所述在轨实时高速图像处理模式中，卫星平台正常工作，星务管理分系统控制并监测卫星各个单机设备，测控分系统负责与地面站的测控通信和实时情报信息下传，电源分系统保障各设备供电。载荷分系统可根据实际任务需求进行设计，并能够获取指定目标区域的遥感图像。
19.在轨实时高速图像处理模式的工作步骤如下：步骤1，工作的所有相机将原始图像数据实时发送给路由分系统；步骤2，路由分系统将原始图像数据通过gtx接口实时转发给遥感卫星在轨实时高速图像智能处理装置的数据接收模块；步骤3，数据接收模块将接收到的图像数据通过pcie接口实时转发给agx处理模块；步骤4，agx处理模块根据指令对需要处理的图像进行接收、解析、处理，并生成情报信息；步骤5，agx处理模块将生成的情报信息分别进行以下处理，一是通过pcie接口发送给数据接收模块，数据接收模块再通过gtx接口发送给路由分系统进行存储，二是通过can通信接口发送给星务和测控分系统，再通过测控分系统的无线通道实时下传至地面，实现情报信息的地面实时获取。
20.而且，所述在轨软件高速上注模式中，卫星平台正常工作，星务管理分系统控制并监测卫星各个单机设备，测控分系统负责与地面站的测控通信和软件数据上传，电源分系统保障各设备供电。
21.在轨软件高速上注模式的工作步骤如下：步骤1，测控分系统中的x频段测控应答机接收地面站发送的软件上注数据包后，通过3线制rs422接口将数据发送给遥感卫星在轨实时高速图像智能处理装置的通信管理模块；应答机发送上注数据给通信管理模块有两种模式，一是将上注数据进行校验存储在应答机内存中，直至数据包上行发送完成，然后再根据指令将整个上注数据转发给通信管理模块，二是将接收的上注数据包直接实时透明转发给通信管理模块；步骤2，通信管理模块将接收到的上注数据包进行译码、解析，并将其发送给配置管理模块；步骤3，配置管理模块在fpga内完成数据校验，校验完成后判断上注数据类型，若为通信管理模块接口fpga上注软件数据，则将上注数据直接写入预留flash程序存储器中；若为agx处理模块图像处理上注软件数据，则通过串口将数据转发给agx处理模块，直接写入emmc程序存储器中，作为更新后的图像处理软件。
22.与现有技术相比，本发明具有如下优点：1）通过搭建星上在轨智能化处理的开放式硬件平台及高速上行通道，可实时上注并更新配置算法，并完成卫星图像的在轨高效、实时智能处理，可大幅提高遥感卫星的在轨工作效率和使用效能；2）本发明提供的装置可以将地面定标结果与人工智能算法进行融合、优化并实时上注更新，完成人工智能算法与定量遥感的在轨融合，从而实现卫星在轨的图像数据流切片、异常目标实时检测及敏感目标变化实时感知等功能；3）本发明提供的装
置具有功能密度高、质量体积小及高效稳定等优点，可促进同类型卫星技术的发展，为实现航天产品向轻小型化、智能化、批量化方向发展提供技术支持。
附图说明
23.图1为本发明实施例的结构布局图。
24.图2为本发明实施例的工作流程示意图。
25.图3为本发明实施例在轨实时高速图像处理模式原理框图。
26.图4为本发明实施例在轨软件高速上注模式原理框图。
具体实施方式
27.本发明提供一种遥感卫星在轨实时高速图像智能处理装置，包括数据接收模块、agx处理模块、配置管理模块、通信管理模块和供电模块五个部分。下面结合附图和实施例对本发明的技术方案作进一步说明。
28.1、数据接收模块数据接收模块，与卫星路由分系统相联，通过高速gtx接口接收路由分系统发送的原始图像数据，将图像数据缓存，并通过pcie接口发送给agx处理模块，实现高速原始图像数据的管理分发。如图1所示，数据接收模块由核心fpga、数据接收电路、数据缓存电路和ddr3缓存单元、pcie接口电路组成，构成一个典型的高性能fpga最小系统。
29.本实施例中核心fpga选用xilinx公司的xc7vx690t
‑
2ffg1930i，该fpga具有433200个逻辑单元，满足各接口电路时序控制对fpga逻辑资源的需求，具有24个rocketio gth收发器，用于实现sata物理层协议以及与相机控制模块和基带模块的aurora 8b/10b高速数据连接，内置2个pcie硬核，用于实现与gpu之间的高速数据连接，具有52920kb blockram，满足高速数据收发对片内缓存的需求。
30.数据接收电路共使用19路gtx收发器，用于接收路由单元发送的原始图像数据。数据接收电路采用aurora 8b/10b2.0协议进行数据收发，提供125mhz的差分时钟输入，采用交流耦合方式保证各模块互相断电而不产生馈电现象。
31.数据缓存电路数据缓存区采用6片ddr3组成一组外部数据缓冲，用于gtx和pcie接口数据的缓存。本实施例中选用的ddr3型号mt41k256m16ha
‑
125it。
32.pcie接口电路采用4路pcie实现数据接收模块和agx处理模块之间的高速数据交互，接口由fpga内嵌硬核实现，并完成dma操作。在agx处理模块端，4路pcie接口由内部集成控制器实现。
33.2、agx处理模块agx处理模块，作为一台智能化自主机器，承载复杂的图像处理算法，通过pcie接口接收模块发送的原始图像数据，并对图像数据进行实时处理，获得敏感目标或区域的情报信息，并将情报信息通过通信管理模块上报给卫星测控分系统和星务管理分系统，实现情报信息的实时下传至地面；通过配置管理模块实现在轨图像处理软件的高速上注更新。
34.本实施例中agx处理模块选用nvidia公司新一代ai产品 jetson agx xavier模块。jetson agx xavier模块尺寸小，提供32tops的加速计算能力，功耗低于30w，内嵌多种加速计算架构提高计算能力，同时集成了内存、存储，电源管理以及革新的散热设计。
jetson agx xavier模块采用volta架构，512核gpu with tensor cores，具有nvdla深度学习加速器，16gb lpddr4缓存，32gb emmc5.1的程序存储能力，支持5路pcie、5路uart、3路spi、2路can接口总线，具有
‑
25~+80℃的宽工作温度范围，能够适应真空卫星轨道工作环境。
35.agx处理模块通过4路pcie gen2与数据接收模块实现高速数据交互，接收原始图像数据，发送处理后获得的情报数据；使用串口接口与数据接收模块实现低速数据交互。
36.agx处理模块用于调试的uart接口通过sn74lvc2g241dcu驱动后引出；以太网、usb2.0、hdmi接口直接连接至接插件用于调试。
37.应用程序存储在外配的emmc flash中，并通过与配置管理模块之间的串口支持程序在线更新。
38.agx处理模块采用+12v单电源供电，上电启动由配置管理模块控制。
39.agx处理模块图像处理软件主要实现遥感图像数据在轨实时处理功能，并可通过配置管理模块实现图像处理软件的在轨高速上注更新迭代。
40.3、配置管理模块配置管理模块，通过配置管理电路实现装置的配置管理和软件上注管理。
41.配置管理模块配置fpga软件，运行于m2s090t中，用于完成对配置管理模块接口fpga的程序加载和上注程序更新，以及agx处理模块图像处理程序的上注程序更新。
42.配置管理模块的电路由actel fpga、3片v7程序flash、配置接口电路组成。系统指令通过内部总线接口送入actel fpga完成工作状态控制，上注程序通过上注接口写入配置管理fpga，上注数据在配置管理fpga内完成数据校验，正确完整的数据再进行判断，若为配置管理模块fpga上注，直接写入预留flash程序存储器中；若是agx处理模块图像处理应用软件，则通过串口/spi接口转发给agx处理模块，直接写入emmc程序存储器中，完成图像处理软件的上注更新。
43.4、通信管理模块通信管理模块，与卫星平台相联，用于整个装置对外can总线和rs422通信功能的实现。
44.通信管理模块包括rs422接口、can通信接口和调试接口。
45.rs422接口采用主备份设计，为3线制接口，包括时钟、数据、门控信号。
46.can通信接口采用双总线冗余设计，接口电路由链路层和物理层组成。链路层由cpu自带的链接层协议接口，物理层采用专用芯片tja1040实现。
47.5、供电模块供电模块，通过内部电源芯片转换为+12v二次电源，用于整个装置的供电保障。
48.本实施例中供电模块使用型号为ltm4620和ltm4628的dc/dc电源模块以及线性电源，采用二次直流电源供电的方式提供+12v二次电源供电，提供各个模块所需要的直流电源。
49.该遥感卫星在轨实时高速图像智能处理装置具有两种工作模式：在轨实时高速图像处理模式和在轨软件高速上注模式。
50.在轨实时高速图像处理模式主要通过星上的人工智能算法，用于完成卫星的在轨图像实时智能处理及情报实时下传，实现卫星的在轨高效、敏捷工作；在轨软件高速上注模
式主要通过将地面定标结果与人工智能算法进行融合、优化并实时上注更新，从而完成人工智能算法与定量遥感的在轨融合，可结合在轨高速图像处理模式用于实现卫星在轨的图像数据流切片、异常目标实时检测及敏感目标变化实时感知等功能。
51.在轨实时高速图像处理模式，如图3所示：卫星平台包括星务管理分系统、测控分系统和电源分系统，是现有卫星平台上普遍配备的系统。卫星平台上自带的星务管理分系统是卫星平台用于实现整星所有设备管理的分系统，包括任务规划、数据管理、星地上下行数据链路管理、时间管理、有效载荷管理等，可通过数据总线接收卫星上各类星载设备提交的工作参数；测控分系统负责卫星与地面测控设备实现遥测遥控和高速程序上注；电源分系统负责卫星各个设备的供电。载荷分系统包括卫星各种光学载荷，是遥感卫星的核心载荷，负责对感兴趣区域或目标遥感图像数据的获取，可以是一个或多个不同波段的光学相机。路由分系统负责卫星所有图像数据的接收、存储、回放，以及根据指令将数据路由给在轨实时处理高速图像处理装置。载荷分系统和路由分系统相关设备一起构成一个遥感卫星图像数据获取、存储、路由分发的通道。
52.卫星平台正常工作，星务管理分系统控制并监测卫星各个单机设备，测控分系统负责与地面站的测控通信和实时情报信息下传，电源分系统保障各设备供电。载荷分系统具有三台遥感相机，每台相机能够获取指定目标区域的遥感图像。本实施例中光学相机1为高精度遥感测绘相机，可获得地面优于0.5米分辨率的线阵测绘图像数据，幅宽不小于10km，峰值数据率达3.3gbps；光学相机2为高分辨率面阵视频相机，可获得地面优于0.3米分辨率的面阵视频图像数据，峰值数据率达2.86gbps；光学相机3为高光谱线阵相机，可获得地面优于10米分辨率的线阵高光谱图像数据，峰值数据率达3.24gbps。卫星在轨实际运行时，高精度遥感测绘相机和高光谱线阵相机可同时开机工作。
53.在轨实时高速图像处理模式的工作步骤如下：1）工作的所有相机将原始图像数据实时发送给路由分系统；2）路由分系统将原始图像数据通过gtx接口实时转发给遥感卫星在轨实时高速图像智能处理装置的数据接收模块；3）数据接收模块将接收到的图像数据通过pcie接口实时转发给agx处理模块；4）agx处理模块根据指令对需要处理的图像进行接收、解析、处理，并生成情报信息；5）agx处理模块将生成的情报信息分别进行以下处理，一是通过pcie接口发送给数据接收模块，数据接收模块再通过gtx接口发送给路由分系统进行存储，二是通过can通信接口发送给星务和测控分系统，再通过测控分系统的无线通道实时下传至地面，实现情报信息的地面实时获取。
54.通过测试，agx处理模块能够采用ai算法对典型目标进行实时检测和识别，典型目标包括海面舰船、机场飞机等，处理高精度测绘相机3.3gbps数据率的图像数据时不会出现数据堵塞和丢失，图像处理延时小于1.5s，典型目标检测率大于95%；从相机ccd探测器获取图像数据到地面站接收到对应图像的情报信息，总耗时小于3s。
55.在轨软件高速上注模式，如图4所示：卫星平台正常工作，星务管理分系统控制并监测卫星各个单机设备，测控分系统负责与地面站的测控通信和软件数据上传，电源分系统保障各设备供电。
56.在轨软件高速上注模式的工作步骤如下：1）测控分系统中的x频段测控应答机接收地面站发送的软件上注数据包后，通过3线制rs422接口将数据发送给遥感卫星在轨实时高速图像智能处理装置的通信管理模块。应答机发送上注数据给通信管理模块有两种模
式，一是将上注数据进行校验存储在应答机内存中，直至数据包上行发送完成，然后再根据指令将整个上注数据转发给通信管理模块，二是将接收的上注数据包直接实时透明转发给通信管理模块；2）通信管理模块将接收到的上注数据包进行译码、解析，并将其发送给配置管理模块；3）配置管理模块在fpga内完成数据校验，校验完成后判断上注数据类型，若为通信管理模块接口fpga上注软件数据，则将上注数据直接写入预留flash程序存储器中；若为agx处理模块图像处理上注软件数据，则通过串口将数据转发给agx处理模块，直接写入emmc程序存储器中，作为更新后的图像处理软件。
57.在轨软件高速上注模式时，x频段测控应答机接收地面站的软件上注上行数据率可达1mbps，自带的存储容量可达256mbyte，并具有断点续传能力。通过测试，装置可在1000s内上注更新完成100mbyte大小的ai图像处理软件。
58.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。