接入卫星的确定方法及装置与流程

本发明涉及卫星通信技术领域，尤其是涉及一种接入卫星的确定方法及装置。

背景技术：

随着全球经济和信息交流的迅猛发展，对通信的高效性、机动性、多样性提出了更迫切的要求，这使得通信技术得到了长足的进步，光依靠地面蜂窝网络还不能满足社会发展的需求，卫星通信网络与地面移动通信网络相互结合，将成为未来个人通信系统的重要组成部分。在一些重要领域，如空间通信、航空通信、海事通信、军事通信、应急支援、搜救、导航定位、气象以及遥测遥感等，卫星通信是其它通信方式无法替代的。根据提供服务的卫星所在的轨道高度，卫星通信系统可分为静止轨道卫星通信系统和非静止轨道卫星通信系统，其中非静止轨道卫星通信系统又可分为中轨卫星通信系统和低轨卫星通信系统。

接入控制属于无线资源管理的范畴。无线资源管理技术是包括低轨道(简称LEO)卫星通信系统在内的无线移动通信系统中的关键技术之一，它直接关系到系统的用户服务质量和性能。具体来说卫星系统的接入策略取决于卫星的位置，卫星的天线辐射范围，卫星的能耗，用户接入优先级等众多状态信息。有效的卫星接入策略所确定的接入卫星能够保障多卫星系统的良好运行，以及使用户获得良好的服务质量。

现有的多卫星接入策略主要考虑了卫星的位置，以及天线的辐射范围，实现了系统网络容量的最优。众所周知，卫星的寿命主要取决于能量的供应。目前，卫星除了发射前自带部分存储电能外，其工作的能量主要是依靠太阳能帆板接收到的太阳能转化为电能。由于空间环境的复杂性，每一时刻太阳能转化为电能是不均匀的，而且对于接入卫星的用户设备来说，清楚的知道每一时刻每一颗可接入卫星的能量情况也是不现实的。

现有技术中的卫星接入策略所确定的接入卫星能够实现卫星系统网络容量最优，但无法实现卫星系统的能量最优，确定的卫星系统能耗较大，使用寿命较短。

技术实现要素：

有鉴于此，本发明的目的在于提供一种接入卫星的确定方法及装置，以缓解现有技术中的卫星接入策略所确定的卫星系统能耗较大以及使用寿命较短的技术问题。

第一方面，本发明实施例提供了一种接入卫星的确定方法，包括：

基于待接入卫星的历史能量状态参数，确定当前时隙每个所述待接入卫星的能量状态参数，其中，所述能量状态参数用于表征在所述当前时隙所述待接入卫星的能量状态的转移情况，所述待接入卫星的数量为多个；

确定所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数，其中，所述用户设备的状态转移参数用于确定接入所述待接入卫星的用户设备的变化情况；

根据所述待接入卫星的能量状态参数和所述用户设备的状态转移参数确定所述待接入卫星组成的卫星系统的状态转移分布情况，其中，所述状态转移分布情况用于反映预设时间段内，每个所述待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映所述预设时间段内所述状态转移参数为各种预设状态转移参数的概率，所述预设时间段为从所述当前时隙到所述当前时隙的下一时隙的时间段；

根据所述状态转移分布情况构建决策模型，以根据所述决策模型确定所述待接入卫星中用于接入当前用户设备的目标接入卫星。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，基于待接入卫星的历史能量状态参数，确定当前时隙每个所述待接入卫星的能量状态参数包括：

通过第一公式计算每个所述待接入卫星在所述当前时隙的剩余能量；其中，表示每个所述待接入卫星在所述当前时隙的剩余能量，表示每个所述待接入卫星在所述当前时隙的上一时隙的剩余能量，表示每个所述待接入卫星在所述上一时隙获取到的能量，表示每个所述待接入卫星在所述上一时隙消耗的能量，E_max表示每个所述待接入卫星能够存储的最大能量；

按照预设步长对所述当前时隙的剩余能量进行离散化处理，离散化处理之后得到每个所述待接入卫星的能量状态参数ψ_k(j/i)，其中，i表示在所述上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在所述当前时隙t，所述待接入卫星k的能量状态参数所指示的能量等级。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，确定所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数包括：

通过第一状态转移函数计算公式计算所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率，m表示在所述当前时隙的上一时隙t-1，所述待接入卫星k的用户设备个数，n表示在所述当前时隙t，所述待接入卫星k的用户设备个数，m≤U_M-1表示在所述上一时隙t-1，所述待接入卫星k的用户设备个数未达到最大接入容量。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，确定所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数还包括：

通过第二状态转移函数计算公式计算所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率，m表示在所述当前时隙的上一时隙t-1，所述待接入卫星k的用户设备个数，n表示在所述当前时隙t，所述待接入卫星k的用户设备个数，m＝U_M表示在所述上一时隙t-1，所述待接入卫星k的用户设备个数已达到最大接入容量。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，根据所述待接入卫星的能量状态参数和所述用户设备的状态转移参数确定所述待接入卫星组成的卫星系统的状态转移分布情况包括：

根据状态转移公式确定所述待接入卫星组成的卫星系统的状态转移分布情况，其中，m表示在所述当前时隙的上一时隙t-1，所述待接入卫星k的用户设备个数，n表示在所述当前时隙t，所述待接入卫星k的用户设备个数，i表示在所述上一时隙t-1，所述待接入卫星k的能量状态参数所指示的能量等级，j表示在所述当前时隙t，所述待接入卫星k的能量状态参数所指示的能量等级，表示所述待接入卫星k的能量状态参数，ψ_k(j/i,A)表示接入所述待接入卫星k的用户设备的状态转移参数。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据所述状态转移分布情况构建决策模型包括：

确定每个所述待接入卫星的收益函数，其中，所述收益函数表示所述用户设备在接入所述待接入卫星之后，计算得到的效用值；

基于马尔科夫决策模型确定所述卫星系统的信仰转移概率，其中，所述信仰转移概率用于表征所述历史能量状态参数和真实能量状态参数的概率；

基于每个所述待接入卫星的收益函数和所述卫星系统的信仰转移概率，确定所述卫星系统的期望收益模型；

使用所述状态转移分布情况，对所述期望收益模型进行转换，转换之后得到所述决策模型。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，基于每个所述待接入卫星的收益函数和所述卫星系统的信仰转移概率，确定所述卫星系统的期望收益包括：

通过公式计算所述期望收益，其中，V^II(S/S⁰)表示所述期望收益，R^t(S^t,II(S^t))表示在所述当前时隙t所述卫星系统的收益函数，ω(S^t)表示在所述当前时隙t所述卫星系统的信仰转移概率，γ表示衰减系数，S⁰表示所述卫星系统的初始状态，t表示时间。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，使用所述状态转移分布情况，对所述期望收益模型进行转换，转换之后得到所述决策模型包括：

通过所述状态转移分布情况，将所述期望收益模型转换为迭代形式的期望收益模型，并将所述迭代形式的期望收益模型作为所述决策模型，其中，所述迭代形式的期望收益模型表示为下述公式：

其中，P(S'/S⁰,II)表示所述状态转移分布情况，R(S⁰,II(S⁰))表示在初始时隙卫星系统的收益函数，ω(S⁰)表示在所述初始时隙卫星系统的信仰转移概率，V^II(S'/S⁰)表示所述当前时隙的上一时隙的期望收益，表示所述卫星系统的状态集合。

第二方面，本发明实施例还提供了一种接入卫星的确定装置，包括：

第一确定模块，用于基于待接入卫星的历史能量状态参数，确定当前时隙每个所述待接入卫星的能量状态参数，其中，所述能量状态参数用于表征在所述当前时隙所述待接入卫星的能量状态的转移情况，所述待接入卫星的数量为多个；

第二确定模块，用于确定所述当前时隙接入每个所述待接入卫星的用户设备的状态转移参数，其中，所述用户设备的状态转移参数用于确定接入所述待接入卫星的用户设备的变化情况；

第三确定模块，用于根据所述待接入卫星的能量状态参数和所述用户设备的状态转移参数确定所述待接入卫星组成的卫星系统的状态转移分布情况，其中，所述状态转移分布情况用于反映预设时间段内，每个所述待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映所述预设时间段内所述状态转移参数为各种预设状态转移参数的概率，所述预设时间段为从所述当前时隙到所述当前时隙的下一时隙的时间段；

构建模块，用于根据所述状态转移分布情况构建决策模型，以根据所述决策模型确定所述待接入卫星中用于接入当前用户设备的目标接入卫星。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述第一确定模块包括：

计算子模块，用于通过第一公式计算每个所述待接入卫星在所述当前时隙的剩余能量；其中，表示每个所述待接入卫星在所述当前时隙的剩余能量，表示每个所述待接入卫星在所述当前时隙的上一时隙的剩余能量，表示每个所述待接入卫星在所述上一时隙获取到的能量，表示每个所述待接入卫星在所述上一时隙消耗的能量，E_max表示每个所述待接入卫星能够存储的最大能量；

离散化处理子模块，用于按照预设步长对所述当前时隙的剩余能量进行离散化处理，离散化处理之后得到每个所述待接入卫星的能量状态参数ψ_k(j/i)，其中，i表示在所述上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在所述当前时隙t，所述待接入卫星k的能量状态参数所指示的能量等级。

本发明实施例带来了以下有益效果：本发明实施例提供的一种接入卫星的确定方法，该方法包括：基于待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数，其中，能量状态参数用于表征在当前时隙待接入卫星的能量状态的转移情况，待接入卫星的数量为多个；确定当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，用户设备的状态转移参数用于确定接入待接入卫星的用户设备的变化情况；根据待接入卫星的能量状态参数和用户设备的状态转移参数确定待接入卫星组成的卫星系统的状态转移分布情况；其中，状态转移分布情况用于反映预设时间段内，每个待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映预设时间段内状态转移参数为各种预设状态转移参数的概率，预设时间段为从当前时隙到当前时隙的下一时隙的时间段；根据状态转移分布情况构建决策模型，以根据决策模型确定待接入卫星中用于接入当前用户设备的目标接入卫星；

与现有技术中的卫星接入策略无法实现卫星系统的能量最优，确定的接入卫星能耗较大相比，其通过待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数，并且确定当前时隙接入每个待接入卫星的用户设备的状态转移参数，根据待接入卫星的能量状态参数和用户设备的状态转移参数确定待接入卫星组成的卫星系统的状态转移分布情况，最终根据状态转移分布情况构建决策模型，从而确定待接入卫星中用于接入当前用户设备的目标接入卫星。该方法确定的卫星系统的状态转移分布情况综合考虑了待接入卫星的能量状态参数和用户设备的状态转移参数，并根据卫星系统的状态转移分布情况构建决策模型，进而确定用于接入当前用户设备的目标接入卫星，该方法确定的目标接入卫星可以实现卫星系统网络容量最优，同时也能实现卫星系统的能量最优，确定的目标接入卫星能耗较小，延长了卫星系统的使用寿命，大大的节约了成本，缓解了现有技术中的卫星接入策略所确定的卫星系统能耗较大以及使用寿命较短的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种接入卫星的确定方法的流程图；

图2为本发明实施例提供的待接入卫星组成的卫星系统的结构示意图；

图3为本发明实施例提供的确定当前时隙每个待接入卫星的能量状态参数的流程图；

图4为本发明实施例提供的根据状态转移分布情况构建决策模型的流程图；

图5为本发明实施例提供的一种接入卫星的确定装置的结构示意图。

图标：

11-第一确定模块；12-第二确定模块；13-第三确定模块；14-构建模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于现有技术中的卫星接入策略，它们只考虑了卫星的位置以及天线的辐射范围，能够实现卫星系统网络容量最优，但无法实现卫星系统的能量最优，确定的接入卫星能耗较大。基于此，本发明实施例提供的一种接入卫星的确定方法，该方法确定的卫星系统的状态转移分布情况综合考虑了待接入卫星的能量状态参数和用户设备的状态转移参数，并根据卫星系统的状态转移分布情况构建决策模型，进而确定用于接入当前用户设备的目标接入卫星，该方法确定的目标接入卫星可以实现卫星系统网络容量最优，同时也能实现卫星系统的能量最优，确定的目标接入卫星能耗较小，延长了卫星系统的使用寿命，大大的节约了成本。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种接入卫星的确定方法进行详细介绍。

一种接入卫星的确定方法，参考图1，包括：

S101，基于待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数，其中，能量状态参数用于表征在当前时隙待接入卫星的能量状态的转移情况，待接入卫星的数量为多个；

在本发明实施例中，参考图2，当任意用户设备(可以是卫星，也可以是笔记本电脑，手机等)被多卫星(图中只示出了两个卫星)同时覆盖(即图中的阴影部分)时，用户设备需要选择卫星系统(图中为两颗卫星组成的卫星系统)中的一个卫星进行接入通信。为了能够保证卫星系统的能量最优，确定目标接入卫星时，需要考虑待接入卫星的能量状态参数。但是，由于空间环境的复杂性，清楚的知道每一时刻每一颗待接入卫星的能量情况是不现实的，在本发明实施例中，优选通过待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数。

其中，能量状态参数用于表征在当前时隙待接入卫星的能量状态的转移情况。

S102，确定当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，用户设备的状态转移参数用于确定接入待接入卫星的用户设备的变化情况；

在本发明实施例中，在确定了每个待接入卫星的能量状态转移参数之后，为了保证卫星系统的网络容量最优，还需要确定当前时隙接入每个待接入卫星的用户设备的状态转移参数。

其中，用户设备的状态转移参数用于确定接入待接入卫星的用户设备的变化情况，具体可以理解为针对于某一个待接入卫星，在当前时隙用户设备到达或者离开该待接入卫星的覆盖范围的变化情况。

S103，根据待接入卫星的能量状态参数和用户设备的状态转移参数确定待接入卫星组成的卫星系统的状态转移分布情况，其中，状态转移分布情况用于反映预设时间段内，每个待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映预设时间段内状态转移参数为各种预设状态转移参数的概率，预设时间段为从当前时隙到当前时隙的下一时隙的时间段；

在本发明实施例中，为了同时实现卫星系统网络容量和能量的最优，基于多个待接入卫星的能量状态参数和用户设备的状态参数确定了待接入卫星组成的卫星系统的状态转移分布情况。该卫星系统的状态转移分布情况中同时包含了待接入卫星的能量状态参数和用户设备的状态参数，其中，状态转移分布情况用于反映预设时间段内，每个待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映预设时间段内状态转移参数为各种预设状态转移参数的概率，预设时间段为从当前时隙到当前时隙的下一时隙的时间段，而预设能量状态参数为多个，预设状态转移参数也为多个，状态转移分布情况实质为概率分布情况。

S104，根据状态转移分布情况构建决策模型，以根据决策模型确定待接入卫星中用于接入当前用户设备的目标接入卫星。

在得到卫星系统的状态转移分布情况后，进一步可根据状态转移分布情况构建决策模型，以通过决策模型确定用于接入当前用户设备的目标接入卫星。

进一步的，参考图3，基于待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数包括：

S301，通过第一公式计算每个待接入卫星在当前时隙的剩余能量；其中，表示每个待接入卫星在当前时隙的剩余能量，表示每个待接入卫星在当前时隙的上一时隙的剩余能量，表示每个待接入卫星在上一时隙获取到的能量，表示每个待接入卫星在上一时隙消耗的能量，E_max表示每个待接入卫星能够存储的最大能量；

在本发明实施例中，待接入卫星工作的能量主要是依靠太阳能帆板接收到的太阳能转化为电能。在短时间内(即时隙)，太阳能帆板获取到的太阳能可以看作是一个常数+高斯扰动(κ～N(0,σ²))，具体可以表示为其中，表示在当前时隙太阳能帆板获取到的太阳能功率，θ表示一个常数，κ表示高斯扰动。

根据前面时隙获取到的太阳能观测向量X＝[x₀,x₁,...,x_M-1]，就可以估计上一时隙待接入卫星捕获的太阳能功率，然后乘以时间就能得到能量，估计上一时隙待接入卫星捕获的太阳能功率的值表示为其中，x_i表示观测向量X的第i个分量，M表示观测向量的长度，即观测向量中包含的分量个数；中各物理量的含义和上述公式中的含义相同，在此不再赘述。

在确定上一时隙待接入卫星捕获的太阳能功率的值之后，就可以根据计算在上一时隙，待接入卫星捕获的太阳能表示为下述公式其中，η表示衰减系数，表示上一时隙待接入卫星捕获的太阳能功率的估计值，T表示时间。

进而，可以得到在当前时隙每个待接入卫星的剩余能量其中，表示每个待接入卫星在上一时隙的剩余能量，表示每个待接入卫星在上一时隙获取到的能量，表示每个待接入卫星在上一时隙消耗的能量，E_max表示每个待接入卫星能够存储的最大能量；

从第一公式中可知，每个待接入卫星剩余的能量＝(每个待接入卫星在上一时隙的剩余能量+每个待接入卫星在上一时隙获取到的能量-每个待接入卫星在上一时隙消耗的能量)和每个待接入卫星能够存储的最大能量中较小的一个。

原因是当每个待接入卫星在当前时隙的剩余能量达到E_max后，即使值再大，每个待接入卫星在当前时隙的剩余能量此时已经饱和，无法继续增大。

S302，按照预设步长对当前时隙的剩余能量进行离散化处理，离散化处理之后得到每个待接入卫星的能量状态参数ψ_k(j/i)，其中，i表示在上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级。

在本发明实施例中，优选的预设步长为B_M，其中，共M个等级(包括0，1，…，M-1)，P₀T表示单位能量，E_max表示每个待接入卫星能够存储的最大能量，本发明实施例对预设步长不做具体限制。

然后按照预设步长B_M对当前时隙的剩余能量进行离散化处理，得到每个待接入卫星的能量状态参数ψ_k(j/i)，具体表达式为其中，i表示在上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级，ΔB表示能量等级变化的差值，Pr表示概率，Pr(ΔB＝j-i/A)表示在执行A(A表示行为或者说是决策)的条件下，能量等级变化ΔB的概率，同时附加条件为j<B_M-1，表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级小于B_M-1。

j＝B_M-1表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级达到最大时，此时能量等级差值由B_M-1-i变化到ΔB^max的概率和。

进一步的，确定当前时隙接入每个待接入卫星的用户设备的状态转移参数包括：

通过第一状态转移函数计算公式计算当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率离开率，m表示在上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，m≤U_M-1表示在上一时隙t-1，待接入卫星k的用户设备个数未达到最大接入容量。

待接入卫星的用户设备的状态包括到达某一个待接入卫星覆盖范围的状态和离开某一个待接入卫星覆盖范围的状态。这是一个生灭过程，是随机的，其遵循负指数分布，建模得到第一状态转移函数计算公式：其中，λ表示到达率，μ表示离开率离开率，m表示在上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，m≤U_M-1表示在上一时隙t-1，待接入卫星k的用户设备个数未达到最大接入容量。

在本发明实施例中，以待接入卫星k为例进行说明，确定用户设备的状态转移参数时，都是在很短的时隙内，所以在当前时隙(待接入卫星k的用户设备个数)-(在上一时隙待接入卫星k的用户设备个数)的绝对值大于1的概率为0，即对于待接入卫星k来讲，用户设备个数的变化不可能大于1。

其中，n＝m+1表示在当前时隙内有一个用户设备到达待接入卫星k覆盖范围的概率为λ；

n＝m-1表示在当前时隙内有一个用户设备离开待接入卫星k覆盖范围的概率为mμ；

n＝m表示在当前时隙内待接入卫星k覆盖范围内的用户设备实质不变的概率为1-λ-mμ。

第一状态转移函数计算公式的条件为在上一时隙t-1，待接入卫星k的用户设备个数未达到最大接入容量。

进一步的，确定当前时隙接入每个待接入卫星的用户设备的状态转移参数还包括：

通过第二状态转移函数计算公式计算当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率，m表示在上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，m＝U_M表示在上一时隙t-1，待接入卫星k的用户设备个数已达到最大接入容量。

第二状态转移函数计算公式的条件为在上一时隙t-1，待接入卫星k的用户设备个数已达到最大接入容量。其中，中所包含的三个函数的含义和第一状态转移函数计算公式中的含义类似，在此不再进行赘述。

进一步的，根据待接入卫星的能量状态参数和用户设备的状态转移参数确定待接入卫星组成的卫星系统的状态转移分布情况包括：

根据状态转移公式确定待接入卫星组成的卫星系统的状态转移分布情况，其中，m表示在当前时隙的上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，i表示在上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级，表示待接入卫星k的能量状态参数，ψ_k(j/i,A)表示接入待接入卫星k的用户设备的状态转移参数。

在本发明实施例中，若待接入卫星组成的卫星系统包含有k个卫星，本发明实施例对其不做具体限制。对于待接入卫星而言，能量状态参数和用户设备的状态转移参数是独立的，那么待接入卫星的状态转移分布情况就是能量状态参数和用户设备的状态转移参数的乘积；又因为卫星系统包含有k个卫星，k个卫星之间又是相互独立的，所以卫星系统的状态转移分布情况为其中，n≤U_M且j≤B_M-1，A表示在能量状态参数和状态转移函数计算公式中的附加条件。

进一步的，参考图4，根据状态转移分布情况构建决策模型包括：

S401，确定每个待接入卫星的收益函数，其中，收益函数表示用户设备在接入待接入卫星之后，计算得到的效用值；

以卫星i为例进行说明，收益函数为：

其中，P_T表示传输功率，P_I表示干扰功率，d_j表示距离，N₀代表示噪声功率，W_i表示带宽，B_i表示能量状态，U_i表示用户设备个数。

S402，基于马尔科夫决策模型确定卫星系统的信仰转移概率，其中，信仰转移概率用于表征历史能量状态参数和真实能量状态参数的概率；

在本发明实施例中，由于待接入卫星的能量状态参数是通过待接入卫星的历史能量状态参数(即之前时间观测收集到的数据)估计的状态，并不能知道全部观测信息，因此称为部分可观测马尔科夫决策模型。信仰函数为ω(S')＝Pr(S'/O,A,Ω)，其中，S'表示历史系统状态，O表示所有可能观察到的系统状态的集合，A表示一组所有可能的用户设备的状态参数集合，Ω表示信仰状态向量。

S403，基于每个待接入卫星的收益函数和卫星系统的信仰转移概率，确定卫星系统的期望收益模型；

通过公式计算期望收益，其中，V^II(S/S⁰)表示期望收益，R^t(S^t,II(S^t))表示在当前时隙t卫星系统的收益函数，ω(S^t)表示在当前时隙t卫星系统的信仰转移概率，γ表示衰减系数，S⁰表示卫星系统的初始状态，t表示时间，II(S^t)表示在S^t状态下的决策。该预期报酬是依赖于策略II的期望收益。

S404，使用状态转移分布情况，对期望收益模型进行转换，转换之后得到决策模型。

具体的，通过状态转移分布情况，将期望收益模型转换为迭代形式的期望收益模型，并将迭代形式的期望收益模型作为决策模型，其中，迭代形式的期望收益模型表示为下述公式：

其中，P(S'/S⁰,II)表示状态转移分布情况，R(S⁰,II(S⁰))表示在初始时隙卫星系统的收益函数，ω(S⁰)表示在初始时隙卫星系统的信仰转移概率。V^II(S'/S⁰)表示当前时隙的上一时隙的期望收益，表示卫星系统的状态集合，S'表示表示历史系统状态。

对决策模型的公式进行求解，得到目标接入卫星，即：

其中，R(S,A)表示系统的收益函数，ω(S)表示系统的信仰转移概率，γ表示衰减系数，P^A(S'/S,A)表示卫星系统的状态转移分布情况，V^II*(S')表示历史的期望收益，表示卫星系统的状态集合，S'表示历史系统状态。

本发明实施例提供了一种接入卫星的确定方法，该方法确定的目标接入卫星可以实现卫星系统网络容量最优，同时也能实现卫星系统的能量最优，确定的目标接入卫星能耗较小，延长了卫星系统的使用寿命，大大的节约了成本，缓解了现有技术中的卫星接入策略所确定的接入卫星能耗较大，卫星系统使用寿命较短的技术问题。

另外，本发明实施例还提供了一种接入卫星的确定装置，参考图5，包括：

第一确定模块11，用于基于待接入卫星的历史能量状态参数，确定当前时隙每个待接入卫星的能量状态参数，其中，能量状态参数用于表征在当前时隙待接入卫星的能量状态的转移情况，待接入卫星的数量为多个；

第二确定模块12，用于确定当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，用户设备的状态转移参数用于确定接入待接入卫星的用户设备的变化情况；

第三确定模块13，用于根据待接入卫星的能量状态参数和用户设备的状态转移参数确定待接入卫星组成的卫星系统的状态转移分布情况，其中，状态转移分布情况用于反映预设时间段内，每个待接入卫星的能量状态参数为各种预设能量状态参数的概率，并反映预设时间段内状态转移参数为各种预设状态转移参数的概率，预设时间段为从当前时隙到当前时隙的下一时隙的时间段；

构建模块14，用于根据状态转移分布情况构建决策模型，以根据决策模型确定待接入卫星中确定用于接入当前用户设备的目标接入卫星。

第一确定模块11包括：

计算子模块，用于通过第一公式计算每个待接入卫星在当前时隙的剩余能量；其中，表示每个待接入卫星在当前时隙的剩余能量，表示每个待接入卫星在当前时隙的上一时隙的剩余能量，表示每个待接入卫星在上一时隙获取到的能量，表示每个待接入卫星在上一时隙消耗的能量，E_max表示每个待接入卫星能够存储的最大能量；

离散化处理子模块，用于按照预设步长对当前时隙的剩余能量进行离散化处理，离散化处理之后得到每个待接入卫星的能量状态参数ψ_k(j/i)，其中，i表示在上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级。

第二确定模块12，还用于：

通过第一状态转移函数计算公式计算当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率，m表示在当前时隙的上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，m≤U_M-1表示在上一时隙t-1，待接入卫星k的用户设备个数未达到最大接入容量。

第二确定模块12还用于：

通过第二状态转移函数计算公式计算当前时隙接入每个待接入卫星的用户设备的状态转移参数，其中，λ表示到达率，μ表示离开率，m表示在当前时隙的上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，m＝U_M表示在上一时隙t-1，待接入卫星k的用户设备个数已达到最大接入容量。

第三确定模块13还用于：

根据状态转移公式确定待接入卫星组成的卫星系统的状态转移分布情况，其中，m表示在当前时隙的上一时隙t-1，待接入卫星k的用户设备个数，n表示在当前时隙t，待接入卫星k的用户设备个数，i表示在上一时隙t-1，待接入卫星k的能量状态参数所指示的能量等级，j表示在当前时隙t，待接入卫星k的能量状态参数所指示的能量等级，表示待接入卫星k的能量状态参数，ψ_k(j/i,A)表示接入待接入卫星k的用户设备的状态转移参数。

构建模块14包括：

第一确地子模块，用于确定每个待接入卫星的收益函数，其中，收益函数表示用户设备在接入待接入卫星之后，计算得到的效用值；

第二确定子模块，用于基于马尔科夫决策模型确定卫星系统的信仰转移概率，其中，信仰转移概率用于表征历史能量状态参数和真实能量状态参数的概率；

第三确定子模块，用于基于每个待接入卫星的收益函数和卫星系统的信仰转移概率，确定卫星系统的期望收益模型；

转换子模块，用于使用状态转移分布情况，对期望收益模型进行转换，转换之后得到决策模型。

第三确定子模块还用于：

通过公式计算期望收益，其中，V^II(S/S⁰)表示期望收益，R^t(S^t,II(S^t))表示在当前时隙t卫星系统的收益函数，ω(S^t)表示在当前时隙t卫星系统的信仰转移概率，γ表示衰减系数，S⁰表示卫星系统的初始状态，t表示时间。

转换子模块还用于：

通过状态转移分布情况，将期望收益模型转换为迭代形式的期望收益模型，并将迭代形式的期望收益模型作为决策模型，其中，迭代形式的期望收益模型表示为下述公式：

其中，P(S'/S⁰,II)表示状态转移分布情况，R(S⁰,II(S⁰))表示在初始时隙卫星系统的收益函数，ω(S⁰)表示在初始时隙卫星系统的信仰转移概率，V^II(S'/S⁰)表示当前时隙的上一时隙的期望收益，表示卫星系统的状态集合。

本发明实施例所提供的一种接入卫星的确定装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。