一种星载边缘计算系统中的分布式推理方法与流程

本发明涉及卫星网络领域，具体涉及一种星载边缘计算系统中的分布式推理方法。

背景技术：

1、星载边缘计算系统通过将计算、存储资源部署在卫星上，可以就近为用户提供计算和存储服务，典型的服务包括对用户终端产生的数据进行智能推理。

2、而考虑到单颗卫星上的计算和存储资源相对受限，有可能无法满足计算任务的资源需求，因此需要对计算任务进行切分，并合理部署切分后的子任务(选择合适的卫星执行切分后的子任务)。

3、以对图像进行目标识别为例，如果数据源持续产生待处理图片，则单颗卫星可能无法持续地完成目标识别任务。比如，当图片产生的速率是100张/秒，而单颗卫星对图片的处理速率是20张/秒，那么随着时间推移，会出现大量未完成处理的图片。因此需要多颗卫星进行分布式协同推理，从而提升推理速度。

技术实现思路

1、本发明针对上述问题，采用将推理过程进行分割，不同卫星上执行整个推理过程中的不同步骤的方式进行处理，

2、本发明采用的技术方案为：

3、一种星载边缘计算系统中的分布式推理方法，包括以下步骤：

4、(1)选取nchosen个参与分布式推理的卫星；其中，nchosen是可配置的偶数参数；

5、(2)建立神经网络模型切割最优化问题，根据求解得到的最优决策变量，确定nchosen个推理步骤分别包含哪些神经网络层；

6、(3)将切割神经网络模型后形成的nchosen个推理步骤依次放在nchosen个卫星上。

7、进一步的，步骤(1)中：选取卫星时的原则是依次选取的两个卫星之间具有星间链路，且最后选出的卫星与第一颗卫星之间有星间链路。

8、进一步的，步骤(2)中的推理步骤为：

9、将深度神经网络的部分相邻层进行合并，形成一个推理步骤，或单独一个层作为一个推理步骤；其中，每个推理步骤只包含连续相邻的若干层，不包括非连续相邻的层。

10、进一步的，步骤(2)具体过程为：

11、对模型切割问题进行最优化建模，最优化问题中的决策变量包括矩阵变量δ＝{δi,j}i∈i,j∈j和矩阵变量γ＝{γi,j}i∈i,j∈j；δi,j取值为0或者1，δi,j＝1代表将第j层部署在第i个卫星上，即将第j层划分到第i个步骤中，δi,j＝0代表不将第j层部署在第i个卫星上，即不将第j层划分到第i个步骤中；γi,j取值为0或者1，γi,j＝1代表由第i个卫星将第j层产生的中间结果发给选取出的下一个卫星，γi,j＝0代表不由第i个卫星将第j层产生的中间结果发给选取出的下一个卫星；

12、定义各个变量，包括：i代表集合{1,2,…,nchosen}，j表示深度神经网络模型中的层号集合，即集合{1,2,…,lmax}，lmax代表神经网络层数；ci代表第i个卫星每秒能够完成的运算量，lj代表深度神经网络中第j层处理所需要的运算量，则在第i个卫星上处理第j层所需的处理时长等于sj代表第j层产生的中间结果数据量，bi代表第i个卫星与第i+1个卫星之间的链路速率，表示第i个卫星与第i+1个卫星之间的信号传播时延，则如果由第i个卫星向第i+1个卫星发送第j层的中间结果，传输时延计算为

13、通过使用在传输中间结果的同时进行数据运算的方法，第i个卫星产生的总时延计算为即传输时延与处理时长两者的最大值；

14、然后对神经网络模型切割问题进行最优化建模：

15、

16、

17、

18、

19、

20、

21、

22、

23、

24、

25、

26、求解上述最优化问题后，根据求解得到的最优δ值，决定切割神经网络模型的具体方案，确定每个推理步骤包括哪些神经网络层。

27、本发明相比现有技术的优点为：能够显著提高在轨智能推理的速度，高效利用多颗卫星的计算资源。

技术特征：

1.一种星载边缘计算系统中的分布式推理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤(1)中：选取卫星时的原则是依次选取的两个卫星之间具有星间链路，且最后选出的卫星与第一颗卫星之间有星间链路。

3.根据权利要求1所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤(2)中的推理步骤为：

4.根据权利要求3所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤(2)具体过程为：

技术总结
本发明涉及卫星网络领域，具体涉及一种星载边缘计算系统中的分布式推理方法。为了解决单颗卫星上的计算和存储资源相对受限，有可能无法满足计算任务资源需求的问题，因此需要对计算任务进行切分，并合理部署切分后的子任务(选择合适的卫星执行切分后的子任务)。本发明主要针对星上推理类计算任务。首先选取参与分布式推理的卫星；然后建立神经网络模型切割最优化问题，根据求解得到的最优决策变量，确定推理步骤分别包含哪些神经网络层；最后将切割神经网络模型后形成的多个推理步骤依次放在选取的卫星上。本发明能够显著提高在轨智能推理的速度，高效利用多颗卫星的计算资源。

技术研发人员：李诚成,徐正乾,张亚生,孙晨华,郝志松
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：
技术公布日：2024/1/15