一种基于联系上下文的在线学习波束选择方法与流程

本发明属于毫米波车辆通信系统领域，主要涉及在毫米波基站与动态移动的车辆之间进行最优波束选择的方法。

背景技术：

近年来，在关于新一代车辆-基站通信的研究中，研究人员着重强调了multi-gbps链路的必要性，该项技术被认为是实现5gvehicle-to-everything(v2x)通信的核心技术之一。multi-gbpslinks能够达到高数据速率，从而能使车辆通信系统能够获取准确的传感数据(例如，hd地图，雷达馈送)，这对于(半)自动驾驶车辆是至关重要的。目前，我们使用的4glte-a系统(低于6gh频段)有在通信期间会时而发生高拥塞状况，这在无人驾驶车辆中是不可取的，而正在研发中的5g通信系统计划使用未开发的毫米波频段(10-300ghz)来克服该障碍。毫米波通信具有高频段、短波长等特性，与传统信道相比，毫米波信道具有更高的路径损耗和穿透损耗的缺陷。而最新研究表明：(1)定向天线与波束成形的协作技术是能弥补毫米波高路径损耗缺陷的有效解决方案之一；(2)部署密度更高的微小基站能够弥补毫米波段(100-150米)短通信范围不足的缺点。上述结论证明了毫米波通信在实际场景中运用的可行性。然而，我们在实际对毫米波通信系统设计时也面对了许多新的挑战。首先，传统上对于6ghz以下频段的一般是全向传输的，但是在毫米波通信系统中，却是通过定向天线来选择精确波束传输数据。其次，毫米波通信信号由于高穿透损耗而易于通信堵塞(例如，建筑物，树叶)，造成通信性能大大降低。正是由于上述这些缺陷的限制，导致毫米波通信系统在实际生活场景的相关运用增加了很大困难。

在如今的移动网络中，我们能够通过专业的仪器来实际测量本地基站覆盖范围内的信号强度，能够使用经验数据来建立无线信道模型，从而为人们稳定通信交流提供保障。然而这种人工测量的方式对于未来高密集部署的5g微型蜂窝基站来说是耗时且不可取的。另外，这种方法无法衡量车辆和环境在动态变化下的情景。基于上述提到的种种缺陷，我们认为基站应该具备自主探索，学习和适应它们当前所处的环境，以便能够进行个性化，实时性的最优波束选择，从而达到系统最大的通信容量。鉴于此目的，我们提出在基站中放置中央处理区，能够利用强化学习中的在线学习的方法来进行波束训练，该方法通过搜集上下文信息(基站-车辆)来自主地表征其动态的周围环境，从而为当前连接的车辆与基站的通信做出最好决策。特别地，该信息(例如，用户的位置)与决定的结果(例如，波束选择)之间的相关性是未来最佳决策的关键。这比以往任何时候都更强调自主学习的必要性，特别是应对5g网络的大规模密集化。我们将基站-车辆系统中的波束选择问题建模为联系上下文多臂赌博机问题，并提出了一种用于毫米波基站的低复杂度的在线学习算法。该算法能使毫米波基站能够自主地从先前的决策与可用的上下文信息的关系中学习决策，这种方式能够很好适用于动态系统，例如应对环境堵塞和不同交通方式的动态变化情况。

技术实现要素：

本发明针对背景技术存在的缺陷，提出了一种方法，具体为一种基于联系上下文特征的波束选择方法。该方法是一种在线学习方法，可以有效解决毫米波通信系统数据传输中性能损失的问题，该发明适用于车辆与毫米波基站之间通信。

为了方便地描述本发明的内容，首先对本发明所使用的模型进行介绍，对本发明所使用的术语进行定义。

系统模型介绍：在无线电覆盖区域中，毫米波基站(mmwavebasestation，mmwbs)是终端之间进行信息传输的无线收发电台。本发明考虑在基站中配置具有选择波束能力的处理器，对毫米波基站发射的大规模天线阵列能够与终端装置进行定向对齐。假设波束集合为b且b＝|b|,假设毫米波基站只能同时选择最多m个波束且m∈n,m＜b。同时，本发明考虑车辆的流动性，用表示当前时刻基站所服务的车辆数量，其中t＝1,2,...,t为时间序号，t表示时间终点，也可表示时隙长度，vt表示最大的车辆数且vt≤vmax,vmax∈n。本发明的目的在于最优化每个时刻的最优波束集合，使得车辆对每个时刻的选择最优的波束。

定义1、如图1所示，车辆的特征空间用x＝[0,1]^x表示，xt＝{xt,i},xt,i∈vt,i，其中xt,i表示在时间t时，车辆i的上下文信息；其中，x表示车辆上下文特征的维度。将车辆特征空间的结果用pt表示，pt表示车辆的类型，(pt)^x表示x维超方体，大小为

定义2、如图1所示，毫米波基站所选择的m个波束作为集合，表示为st,j表示为在时间t时刻时为j的波束。

定义3、当车辆vt,j到达毫米波车辆覆盖区域时，毫米波基站发送数据到车辆，数据量表示其车辆奖赏，表示为定义一个随机变量rb(x)表示波束性能，范围为[0,rmax]，rmax表示汽车所能接收到的最大数据率。随机变量rb(x)的期望值表示为μb(x)，称为期望的波束性能。

定义4、nb,h(t)表示为在时间t下，波束为b∈b且h∈pt选择的次数。在t时刻时，所选择的波束集合表示为

定义5、在t时刻时，波束集合选择的方式为计算：

其中，k:{1,...,t}是阈值函数(决定探索或者利用的阶段)，表示为α＞0。

本发明的技术方案如下：

该方法具体为一种基于联系上下文式多臂赌博机的波束选择方法，方法的核心是基于联系上下文多臂赌博机算法，其过程主要包括特征空间划分与配对、波束训练探索阶段、波束训练利用阶段以及实际波束奖赏值更新等四部分。

本发明一种基于联系上下文特征的波束选择方法，包括以下步骤：

步骤1、车辆上下文特征空间划分:根据车辆类型将车辆的特征空间pt划分成pt个车辆特征子空间；

步骤2、初始化设置:在t＝1时，对所有的b∈b,h∈pt，设置nb,h＝0，t表示时刻，b表示单个波束，b表示波束集合，h表示单个车辆信息子空间，nb,h表示符合单个车辆特征子空间时与单个波束匹配时的实际计数，表示单个波束与其匹配的车辆特征子空间的期望值；

步骤3、在t时刻，先观测毫米波基站所服务的车辆数量vt，并提取其中每一个车辆的上下文特征xt,i并将其矢量化，其上下文特征集为

步骤4、根据提取到的车辆上下文特征，每个车辆将选择自己的车辆类型；选择标准描述为假设第i个车辆属于车辆特征子空间hi，则对特征子空间集合有找到其合适的车辆类型，满足xt,i∈ht,i∈pt,i＝1,...,vt；

步骤5、利用式子计算结果，表示波束集合，表示符合{·}条件的车辆集合，表示在t时刻下，车辆i在波束b与ht配对下被选中的次数。α＞0，α表示常数，x表示车辆特征空间的维度；

步骤6、如果步骤5中计算结果集合为非空；若u表示集合中波束的个数，m表示该算法设置的波束个数阈值，size(·)表示集合中波束的个数，则随机从集合中选择波束st,1,...,st,m；否则，即先从中选择st,1,...,st,u共u个波束，再按照式(1)的条件从大到小选择(m-u)个波束；

其中表示在t时刻下，符合式(1)条件的待选波束j，表示符合式(1)条件且已被选择的波束k，表示波束b属于除去集合中的u个波束以及满足式子①且已经被选了的波束k所组成的集合后所剩下的那部分波束集合，表示在t时刻，车辆特征空间与毫米波基站波束配对集合，表示在t时刻下，波束b与其配对的车辆i的期望值。

步骤7、如果步骤5中计算结果为空；则从选择st,1,...,st,m波束，即

步骤8、观察每辆车vt,i,i＝1,...,vt从波束st,j,j＝1,...,m中所接收的数据rj,i，vt,i表示在t时刻，第i辆车的上下文信息，vt表示t时刻最大的车辆数；

步骤9、更新与直到遍历完所有的车辆与波束，表示在t时刻下，所选波束j与其配对的车辆特征空间i对应的期望值，表示在t时刻下，所选波速j与其配对的车辆特征空间i的累计学习次数，接收的数据rj,i表示波束j与其配对车辆i的奖赏值；

步骤10、返回步骤3，t＝t+1。

本发明的有益效果：首先，本发明利用了车辆系统的上下文特征，有效地解决了毫米波通信性能易衰减的特性；并且，本发明所采用的在线学习的方法可以很好地处理网络大数据，更加符合实际通信环境的需求。

附图说明

图1为车辆特征空间划分示意图；

图2算法流程图。

具体实施方式

下面根据一个具体实施例详述本发明的技术方案。但不应将此理解为本发明上述主体的范围仅限于以下实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

首先对本发明的具体实施例所采用的数据进行介绍。本发明采用的数据来自于一个名为movieslens的数据库。数据来源于是2000年到2003年间，由6040个用户对3952部电影进行的共计1000209次评价。本发明将其中每个用户对每个电影的评价模拟为每辆车对毫米波基站的波束定向选择，即用户对应车辆，电影评价对应波束选择。

其次，根据实际情况，本发明中具体实施例的参数初始化设置如下：

时隙长度t设置为8760个小时，其中每个时隙之间相差1小时。用户的上下文特征仅考虑年龄和性别，分别是成年和未成年、男和女，即转化为车辆的特征空间at划分成mt＝4个子车辆特征空间。电影的特征根据隐语意算法划分成10个特征。基站波束选择数m设置为16，即最大可以选择16个波束。

定义5中的三个常数分别设置为：α＝0.5，t＝8760。

如图2所示是本发明的所提方法的实施流程图。包括以下步骤：

步骤1、车辆上下文特征空间划分:根据实际情况将车辆的特征空间pt划分成pt个子车辆特征空间。

步骤2、初始化设置:在t＝1时，对所有的b∈b,h∈pt，设置nb,h＝0，

步骤3、在t时刻，先观测毫米波基站所服务的车辆数量vt，并提取其中每一个车辆的上下文特征xt,i并将其矢量化，其上下文特征可以表示为

步骤4、根据提取到的车辆上下文特征，每个车辆将选择自己的车辆类型。选择标准可以描述为假设第i个车辆属于车辆子特征空间hi，则对特征子空间有找到其合适的车辆类型，满足xt,i∈ht,i∈pt,i＝1,...,vt

步骤5、利用式子计算结果。

步骤6、如果步骤5中计算结果集合为非空。若则随机从集合中选择波束st,1,...,st,m。否则，先从中选择st,1,...,st,u个波束；

再从选择(m-u)个波束。

步骤7、如果步骤5中计算结果为空。则从选择st,1,...,st,m个波束，即

步骤8、观察每辆车vt,i,i＝1,...,vt从波束st,j,j＝1,...,m中所接收的数据(奖赏值)rj,i。

步骤9、更新与直到遍历完所有的车辆与波束；

步骤10、返回步骤3，t＝t+1。