一种航天器海量数据代理分发实时系统及算力调整方法与流程

本发明涉及航天器载荷数据实时处理，具体涉及一种航天器海量数据代理分发实时系统及算力调整方法。

背景技术：

1、随着载荷分辨率的提高、多/高光谱相机等传感器等遥感器的出现，卫星获得的遥感数据量迅速增长。为了减轻星地数据传输的压力，提高信息利用的时效性，星上数据处理的需求日益紧迫。

2、目前部分载荷的数据量增加到了20gbps以上，如果数据不能有效且实时接收和分发，所获取到的星上数据将无法实时处理。

3、伴随着分辨率的提高，海量数据中的有效信息增多，卫星对海量数据获取信息的要求也逐渐提高，对算法和算力的需求也不断加大。因此，要求卫星数据实时处理系统可根据不同的需求，灵活扩展算力和使用算力。支持上述功能的前提是数据接收和分发需满足分布式计算节点获取数据的要求。

4、在卫星上做红外数据、可见光数据和高/超光谱的数据时，往往采用不同接收系统做数据接收，且采用不同计算系统架构处理数据，带来了计算系统内部算力不可调整、计算系统之间的算例不可共享的问题。导致目前对红外图像处理查找空中目标任务需求，以及对于可见光观察陆地/海洋目标任务需求，采用了两套互相独立的处理器。这不仅造成了星上处理资源的浪费，也进一步增加了卫星重量、布局和功耗上的负担。

5、如图12，目前已知的星上实时处理系统的前端数据分发部分，均采用固定的数据分发策略，导致后端的分布式并行处理系统只能通过预设工作模式工作。当处理系统采用备份的工作方式时，其备份算力不可使用，此种方式也造成了目前星上实时处理系统的尺寸大、重量高的特点，单位重量或功耗提供的算力有限。

技术实现思路

1、本发明提供了一种航天器海量数据代理分发实时系统，其目的在于解决大数据量实时接收的难题，并为后端的分布式处理节点提供数据分发的服务，使得星载高速大算例实时处理系统具备算力可扩展、功耗可管理、系统可备份、重量可优化的特性。

2、为实现上述目的，本发明的技术方案为：

3、本发明提供了一种航天器海量数据代理分发实时系统，包括数据代理分发系统、分发控制系统和分布式处理节点；

4、所述分发控制系统根据分布式系统数据处理的结果，生成分发策略，并将该策略告知数据代理分发系统；

5、所述数据代理分发系统用于接收前端发送的高速数据，并根据分发控制系统产生的分发策略执行系统内部数据分发，分发给相应的分布式处理节点；

6、分布式处理节点用于处理数据代理分发系统分发的数据。

7、在一实施例中，所述数据代理分发系统和分发控制系统包括冷备份和热备份。

8、在一实施例中，分布式处理节点包括1到n个系统，分布式处理节点1，2，……，n之间组成环备份系统，分布式处理节点的加电和断电以及程序运行受分发控制系统控制。

9、在一实施例中，数据代理分发系统设置有fpga；分发控制系统和分布式处理节点内设置有中间件；

10、所述fpga上设置有高速接口模块和缓存模块；外部数据在fpga缓存，向分发控制系统发出申请，分发控制系统内的相关中间件下发命令给fpga，fpga将缓存的外部数据分发给分布式处理节点内的相关中间件进行处理。

11、在一实施例中，所述fpga内部设置有数据分割模块。

12、一种算力调整方法，包括：

13、步骤一、分发控制系统在每次计算的开始和结束分别调用中间件并计时，得出一次计算的时长，中间件与预置的预期时长比较，预置的预期时长包括最大预期值和最小预期值；

14、步骤二、如果某种算法的计算时长连续n次大于最大预期值，则计算算力需求，计算需要再唤醒多少个分布式处理节点，由分发控制系统对需要的空闲分布式处理节点加电，加电后的分布式处理节点将加入节点表；

15、步骤三、如果某种算法的计算时长连续n次小于最小预期值，则计算算力余量，计算可以关闭多少个节点，由分发控制系统对多余分布式处理节点断电，并重新形成节点表。

16、在一实施例中，系统中有多个独立算法在同时计算，则对于每个独立算法，分别形成一个节点表，相当于每个独立算法对应一个独立的并行计算网络。

17、在一实施例中，系统发现异常节点包括分发控制系统周期性轮询分布式处理节点健康状态；并行计算中间件通过对每次分-集方式传输，判断数据计算或数据传输过程中是否出现传输超时或错误的判断，获得是否出现异常节点，并确定异常节点id。

18、在一实施例中，系统发现异常节点包括并行计算数据传输超时和计算错误。

19、在一实施例中，在传输超时判断的同时，判断传输数据的正确性。

20、本发明所达到的有益效果为：

21、本发明一种航天器海量数据代理分发实时系统，通过基础架构的设计，使得该系统可满足多种场合下的高速数据接收和预处理的需求，从而为统一星上处理架构，减少星上处理设备数量、减少系统重量，规范星上数据处理的方法提供支撑和帮助；

22、本发明一种航天器海量数据代理分发实时系统，通过动态调整发送给分布式子系统数据量，控制子系统数据处理时间，促使整个分布式处理系统(参与计算的集合体)满足星载实时处理数据的要求；

23、本发明一种航天器海量数据代理分发实时系统，通过动态调整发送给分布式子系统数据量，可有效调星上数据实时处理的算力变化，进而降低系统功耗和热耗，降低系统对卫星热控的需求；

24、本发明一种航天器海量数据代理分发实时系统，通过动态的调整数据发送地址，一方面便于分布式处理子系统易于算力扩展，一方面分布式子系统之间组成环备份的功能，极大的增加系统在轨运行可靠性。

技术特征：

1.一种航天器海量数据代理分发实时系统，其特征在于：包括数据代理分发系统、分发控制系统和分布式处理节点；

2.根据权利要求1所述的一种航天器海量数据代理分发实时系统，其特征在于：所述数据代理分发系统和分发控制系统包括冷备份和热备份。

3.根据权利要求1所述的一种航天器海量数据代理分发实时系统，其特征在于：分布式处理节点包括1到n个系统，分布式处理节点1，2，……，n之间组成环备份系统，分布式处理节点的加电和断电以及程序运行受分发控制系统控制。

4.根据权利要求1所述的一种航天器海量数据代理分发实时系统，其特征在于：数据代理分发系统设置有fpga；分发控制系统和分布式处理节点内设置有中间件；

5.根据权利要求4所述的一种航天器海量数据代理分发实时系统，其特征在于：所述fpga内部设置有数据分割模块。

6.一种算力调整方法，其特征在于：所述算力调整方法用于权利要求1-5任意一项所述的航天器海量数据代理分发实时系统，包括：

7.根据权利要求6所述的一种算力调整方法，其特征在于：系统中有多个独立算法在同时计算，则对于每个独立算法，分别形成一个节点表，相当于每个独立算法对应一个独立的并行计算网络。

8.根据权利要求6所述的一种算力调整方法，其特征在于：系统发现异常节点包括分发控制系统周期性轮询分布式处理节点的健康状态；并行计算中间件通过对每次分-集方式传输，判断数据计算或数据传输过程中是否出现传输超时或错误的判断，获得是否出现异常节点，并确定异常节点id。

9.根据权利要求8所述的一种算力调整方法，其特征在于：系统发现异常节点包括并行计算数据传输超时和计算错误。

10.根据权利要求9所述的一种算力调整方法，其特征在于：在传输超时判断的同时，判断传输数据的正确性。

技术总结
本发明涉及航天器载荷数据实时处理技术领域，具体涉及一种航天器海量数据代理分发实时系统及算力调整方法。包括数据代理分发系统、分发控制系统和分布式处理节点；所述分发控制系统根据分布式系统数据处理的结果，生成分发策略，并将该策略告知数据代理分发系统；所述数据代理分发系统用于接收前端发送的高速数据，并根据分发控制系统产生的分发策略执行系统内部数据分发，分发给相应的分布式处理节点；分布式处理节点用于处理数据代理分发系统分发的数据。通过基础架构的设计，使得该系统可满足多种场合下的高速数据接收和预处理的需求，为统一星上处理架构，减少星上处理设备数量、减少系统重量，规范星上数据处理的方法提供支撑和帮助。

技术研发人员：王明贺,于立佳,朱其星,郭清源,安剑,张鹏,刘志远,孙福磊,杨旭,徐明道,姜连祥
受保护的技术使用者：山东航天电子技术研究所
技术研发日：
技术公布日：2024/1/15