基于深度学习的区域网络流量预测方法与流程

[0001]
本发明属于无线通信技术领域，具体涉及一种基于深度学习的区域网络流量预测方法。


背景技术：

[0002]
近年来，随着第五代(5g)移动通信技术的飞速发展，诸如ar(augmented reality,增强现实)/vr(virtual reality,虚拟现实)，高清视频，自动驾驶等创新业务的应用，使得用户对网络流量的需求激增。为了满足这些业务严格的性能需求，精确的流量工程以及网络资源分配变得极为重要。因此基于大数据对移动流量进行预测和理解是实现无线资源智能分配，提高无线资源利用率的重要手段。现有的对区域流量预测的方法较多为单一的时间序列模型，没有考虑区域流量预测中的空间相关性，并且在有限的输入流量序列中没有涵盖流量的周期变化性，导致预测的准确度较低。本发明基于深度学习来提取流量序列的时间和空间相关性，通过流量序列分解来涵盖周期变化特性以提高预测的准确性。


技术实现要素：

[0003]
技术问题：为了解决上述问题，本发明提出一种基于深度学习的区域网络流量预测方法。针对区域流量中的时间相关性和空间相关性，采用3d卷积神经网络(convolution neural network,cnn)和卷积长短期记忆网络(convolution long short term memory network,convlstm)来进行时空相关性的特征提取。根据流量序列具有的紧密性、周期性、趋势性，抽取对应时刻的流量矩阵，使得神经网络预测模型在有限的输入流量序列长度上能够学习区域流量的周期变化特性。最后将不同部分的流量序列提取到的特征进行融合，得到最终的区域网络流量预测结果，可以有效提高区域网络流量预测的准确性。
[0004]
技术方案：本发明的一种基于深度学习的区域网络流量预测方法包括如下步骤：
[0005]
步骤1：获取区域网络流量序列，统计其在每个时刻使用的流量值：
[0006]
步骤2：根据区域流量序列的空间相关性以及时间相关性，抽取对应特性的流量矩阵序列作为深度学习预测模型的输入；其中时间相关性包括包括紧密性、周期性、趋势性：
[0007]
(2.1)空间相关流量矩阵序列的获得：任一坐标为(x,y)区域的流量值不仅与该区域过去时刻的流量值相关，还与附近r个区域的流量值也存在相关，即区域流量之间存在空间相关性，其中r的取值与模型复杂度和预测精度有关，可根据预测需求确定；为预测t+1时刻区域(x,y)的流量值将t＝1,2,3
…
时刻目标区域(x,y)的流量值与其周围共(2r+1)
×
(2r+1)个区域的流量一起，得到空间相关性流量矩阵序列其中任一时刻t的流量矩阵如下
[0008]
[0009][0010]
(2.2)不同时间相关特性流量矩阵序列的获得：为了预测t+1时刻区域(x,y)的流量值可利用时间序列的相关性，包括紧密性、周期性、趋势性，抽取对应特性的流量矩阵作为输入，得到三个输入流量矩阵序列，即紧密性流量矩阵序列、周期性流量矩阵序列、趋势性流量矩阵序列；
[0011]
步骤3：对于步骤2得到的三个输入流量矩阵序列，分别用3d卷积神经网络和卷积长短期记忆人工神经网络convlstm进行时间和空间相关性的提取；
[0012]
由于3d卷积的卷积核在2d卷积的基础上增加了时间维度，因此能在卷积的过程中同时提取空间和时间相关性；而convlstm在能提取时间相关性的长短期记忆人工神经网络lstm模块的基础上将全连接层改为了卷积运算，即加入了空间相关性的提取；
[0013]
步骤4：融合三个流量矩阵序列各自由3d卷积和convlstm提取的特征，基于注意力机制进行最终的流量预测；
[0014]
(4.1)三个流量矩阵序列各自由3d卷积和convlstm提取的特征在时间维度进行合并，通过一层1
×
1卷积融合各个通道的信息，输出融合后的时空特征，记为u，其中h和w表示空间维度大小，c表示时间维度大小；
[0015]
(4.2)对该特征u通过se模块(squeeze and excitation block)，以时间维度的注意力机制对特征的重要性进行自适应选择，具体过程如下：
[0016]
首先在时间维度进行全局平均池化(global average pooling)，即对于输入特征时间维度的每一个切片u
c
，其输出为
[0017][0018]
即通过全局平均池化得到全局的空间信息，其中z
c
是输出特征z在时间维度的切片，即z＝{z1,z2,
…
z
c
}，u
c
是输出特征u在时间维度的切片，即u＝{u1,u2,
…
u
c
}；
[0019]
(4.3)以上特征前两维表示空间信息，第三维表示时间信息，将x展开成一维的特征向量，通过多层感知机mlp神经网络模型得到区域流量序列的最终预测结果
[0020][0021]
其中δ表示激活函数，用relu激活函数。
[0022]
所述获取区域网络流量序列具体为：
[0023]
(1.1)将网络覆盖面积划分成n
×
m个1km
×
1km的网格区域，n、m为自然数，记左上角区域坐标为(0,0)，右下角区域坐标为(n-1,m-1)；对每个区域内的所有用户网络流量值以时间间隔t分钟进行采样，并求和得到每个区域对应的区域流量序列
[0024][0025]
其中(x,y)表示对应区域的坐标；为区域流量；
[0026]
(1.2)对区域流量序列进行尺度压缩和归一化，即对进行如下处理：
[0027][0028][0029]
其中μ表示区域(x,y)历史流量的平均值，σ表示区域(x,y)历史流量的标准差，ε为常数。
[0030]
所述紧密性流量矩阵序列：紧密性表示t+1时刻的流量值受最近l
c
个时刻流量值的影响，因此抽取的紧密性流量矩阵序列为
[0031][0032]
其中l
c
表示抽取的紧密性流量矩阵序列长度，其取值可以根据模型复杂度以及精度，由仿真择优确定；
[0033]
周期性流量矩阵序列：周期性表示流量序列存在以天为周期的重复变化特性，因此抽取的流量矩阵序列可以表示为
[0034][0035]
其中l
p
表示抽取的流量序列的长度，其取值可以根据模型复杂度以及精度，由仿真择优确定，p表示相邻流量矩阵的时间间隔，此处用一天的间隔来表示周期性，因此，p＝1440/t，1440表示一天共1440分钟；
[0036]
趋势性流量矩阵序列：趋势性表示流量序列存在随着季节变化的特性，因此抽取的流量矩阵序列可以表示为
[0037][0038]
其中l
q
表示抽取的流量序列的长度，其取值可以根据模型复杂度以及精度，由仿真择优确定，q表示相邻流量矩阵的时间间隔，此处用一星期的间隔来表示趋势性，因此q＝1440
×
7/t。
[0039]
所述空间相关性的提取具体为：
[0040]
(3.1)时空特征提取特征提取：对于表示紧密性、周期性、趋势性三部分的输入序列
[0041][0042][0043][0044]
采用同样的网络结构进行特征提取，因此，紧密性序列为：
[0045]
对于输入流量矩阵序列采用3d卷积神经网络进行时空特征提取，其过程为：
[0046][0047]
其中*表示矩阵相乘，w
ml
和b
m
分别表示卷积神经网络的权重和偏置，需要通过训练
进行优化，activation表示激活函数，此处采用relu激活函数，如下所示：
[0048][0049]
对于输入流量矩阵序列采用convlstm进行时空特征提取，其过程为：
[0050][0051][0052]
c
t
＝f
t
⊙
c
t-1
+i
t
⊙
tanh(w
xc
*x
t
+w
hc
*h
t-1
+b
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0053][0054]
h
t
＝o
t
⊙
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0055]
其中*表示矩阵相乘，
⊙
表示矩阵元素相乘，c
t
表示细胞状态，h
t
表示隐藏层状态，i
t
表示输入门，f
t
表示遗忘门，o
t
表示输出门，δ表示激活函数，一般可用sigmoid激活函数，w和b分别表示convlstm的权重和偏差，需要通过训练序列进行优化得到；
[0056]
(3.2)时空特征融合：为了同时利用3d卷积神经网络和convlstm提取的时间和空间相关性，需要通过融合层对两者提取的特征进行特征融合；融合过程为两者在时间维度进行合并，再经由一层1
×
1卷积进行特征降维，即以一种类似集成学习的方式集成了3d卷积和convlstm提取的特征，有利于提高模型的可靠性；
[0057]
所述基于注意力机制进行最终的流量预测为；
[0058]
(4.1)三个流量矩阵序列各自由3d卷积和convlstm提取的特征在时间维度进行合并，通过一层1
×
1卷积融合各个通道的信息，输出融合后的时空特征，记为u，其中h和w表示空间维度大小，c表示时间维度大小；
[0059]
(4.2)对该特征u通过se模块(squeeze and excitation block)，以时间维度的注意力机制对特征的重要性进行自适应选择，具体过程如下：
[0060]
首先在时间维度进行全局平均池化(global average pooling)，即对于输入特征时间维度的每一个切片u
c
，其输出为
[0061][0062]
即通过全局平均池化得到全局的空间信息，其中z
c
是输出特征z在时间维度的切片，即z＝{z1,z2,
…
z
c
}，u
c
是输出特征u在时间维度的切片，即u＝{u1,u2,
…
u
c
}；
[0063]
(4.3)以上特征前两维表示空间信息，第三维表示时间信息，将x展开成一维的特征向量，通过多层感知机mlp神经网络模型得到区域流量序列的最终预测结果
[0064][0065]
其中δ表示激活函数，用relu激活函数。
[0066]
所述输出特征z，通过全连接层来提取时间维度的重要性系数，如下：
[0067]
s＝δ2(w2δ1(w1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0068]
其中，δ1表示relu激活函数，δ2表示sigmoid激活函数，为全连接神经网络的权重，d表示缩放系数，用于降维减少参数量，与模型复杂度相关，根据需求确定；最终输出特征的每个时间切片为：
[0069][0070]
即对于输入特征u
c
通过乘以重要性系数s
c
来进行时间层面的自适应特征选择；其中s
c
是s在每个时间切片的重要性系数，即s＝{s1,s2,
…
s
c
}，是在时间维度的切片，即
[0071]
有益效果：本发明基于深度学习来提取区域流量序列的时间和空间相关性，并且通过时间序列抽取的方法在有限的输入长度下涵盖了流量序列的周期变化特性，以较高的准确率预测下一时刻的区域网络流量值，有利于无线资源的合理分配，提高资源利用率。
附图说明
[0072]
图1是本发明流量矩阵的示意图。
[0073]
图2是本发明基于深度学习的区域网络流量预测网络结构示意图。
具体实施例
[0074]
为了详细说明本发明所公开的技术方案，下面结合说明书附图以及具体实施例做进一步的阐述。
[0075]
本发明提供一种基于深度学习的区域流量预测方法。针对区域流量的时间相关性、空间相关性，通过3d卷积神经网络和convlstm等来同时提取该时空特征。通过时间序列抽取的方法在有限的输入序列长度下，使得预测网络能够学习流量序列的周期变化特性。最后通过多层感知机得到最终的区域流量预测结果。
[0076]
第一步：获取区域网络流量序列，统计其在每个时刻内使用的流量值。
[0077]
(1)将网络覆盖面积划分成n
×
m个1km
×
1km的网格区域，记左上角区域坐标为(0,0)，右下角区域坐标为(n-1,m-1)。对每个区域内的所有用户网络流量值以时间间隔t分钟(具体取值由各运营商根据预测需求确定)进行采样，并求和得到每个区域对应的区域流量序列
[0078][0079]
其中(x,y)表示对应区域的坐标。本实施例中t取10分钟。
[0080]
(2)对区域流量序列进行尺度压缩和归一化，即对进行如下处理：
[0081][0082][0083]
其中μ表示区域(x,y)历史流量的平均值，σ表示区域(x,y)历史流量的标准差，ε为常数，可取1
×
10-6
。
[0084]
第二步：根据区域流量序列的空间相关性以及时间相关性，抽取对应特性的流量矩阵序列作为深度学习预测模型的输入。其中时间相关性包括包括紧密性(colseness)、周
期性(period)、趋势性(trend)。
[0085]
(1)空间相关流量矩阵序列的获得。任一坐标为(x,y)区域的流量值不仅与该区域过去时刻的流量值相关，还与附近r个区域的流量值也存在相关，即区域流量之间存在空间相关性，其中r的取值与模型复杂度和预测精度有关，可根据预测需求确定。为预测t+1时刻区域(x,y)的流量值将t(t＝1,2,3
…
)时刻目标区域(x,y)的流量值与其周围共(2r+1)
×
(2r+1)个区域的流量一起，得到空间相关性流量矩阵序列其中任一时刻t的流量矩阵如下
[0086][0087]
本实施例中r取10。
[0088]
(2)不同时间相关特性流量矩阵序列的获得。为了预测t+1时刻区域(x,y)的流量值可利用时间序列的相关性，包括紧密性、周期性、趋势性，抽取对应特性的流量矩阵作为输入。
[0089]
紧密性流量矩阵序列。紧密性表示t+1时刻的流量值受最近l
c
个时刻流量值的影响，因此抽取的紧密性流量矩阵序列为
[0090][0091]
其中l
c
表示抽取的紧密性流量矩阵序列长度，其取值可以根据模型复杂度以及精度，由仿真择优确定。本实施例中l
c
取12，即过去2小时的流量序列。
[0092]
周期性流量矩阵序列。周期性表示流量序列存在以天为周期的重复变化特性，因此抽取的流量矩阵序列可以表示为
[0093][0094]
其中l
p
表示抽取的流量序列的长度，其取值可以根据模型复杂度以及精度，由仿真择优确定，p表示相邻流量矩阵的时间间隔，此处用一天的间隔来表示周期性，因此，p＝1440/t(1440表示一天共1440分钟)。本实施例中l
p
取3，p取144。
[0095]
趋势性流量矩阵序列。趋势性表示流量序列存在随着季节变化的特性，因此抽取的流量矩阵序列可以表示为
[0096][0097]
其中l
q
表示抽取的流量序列的长度，其取值可以根据模型复杂度以及精度，由仿真择优确定，q表示相邻流量矩阵的时间间隔，此处用一星期的间隔来表示趋势性，因此q＝1440
×
7/t。本实施例中l
q
取3，q取1008。
[0098]
第三步：对于步骤2得到的三个输入流量矩阵序列，分别用3d卷积神经网络和convlstm进行时间和空间相关性的提取。
[0099]
由于3d卷积的卷积核在2d卷积的基础上增加了时间维度，因此能在卷积的过程中同时提取空间和时间相关性。而convlstm在能提取时间相关性的lstm模块的基础上将全连
接层改为了卷积运算，即加入了空间相关性的提取。
[0100]
具体的运算过程见下面步骤。
[0101]
(1)时空特征提取特征提取。对于表示紧密性、周期性、趋势性三部分的输入序列
[0102][0103][0104][0105]
采用同样的网络结构进行特征提取。因此，以紧密性序列为例进行说明。
[0106]
对于输入流量矩阵序列采用3d卷积神经网络进行时空特征提取，其过程为：
[0107][0108]
其中*表示矩阵相乘，w
ml
和b
m
分别表示卷积神经网络的权重和偏置，需要通过训练进行优化，activation表示激活函数，此处采用relu激活函数，如下所示：
[0109][0110]
本实施例中，采用3
×3×
3的卷积核，采用2层3d卷积，每层的通道数为3和6。
[0111]
对于输入流量矩阵序列采用convlstm进行时空特征提取，其过程为：
[0112][0113][0114]
c
t
＝f
t
⊙
c
t-1
+i
t
⊙
tanh(w
xc
*x
t
+w
hc
*h
t-1
+b
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0115][0116]
h
t
＝o
t
⊙
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0117]
其中*表示矩阵相乘，
⊙
表示矩阵元素相乘，c
t
表示细胞状态，h
t
表示隐藏层状态，i
t
表示输入门，f
t
表示遗忘门，o
t
表示输出门，δ表示激活函数，一般可用sigmoid激活函数，w和b分别表示convlstm的权重和偏差，需要通过训练序列进行优化得到。本实施例中，采用2层convlstm，其时间维度的通道数分别为3和6。
[0118]
(2)时空特征融合。为了同时利用3d卷积神经网络和convlstm提取的时间和空间相关性，需要通过融合层对两者提取的特征进行特征融合。融合过程为两者在时间维度进行合并，再经由一层1
×
1卷积进行特征降维。即以一种类似集成学习的方式集成了3d卷积和convlstm提取的特征，有利于提高模型的可靠性。
[0119]
第四步：融合三个流量矩阵序列各自由3d卷积和convlstm提取的特征，基于注意力机制进行最终的流量预测。
[0120]
(1)三个流量矩阵序列各自由3d卷积和convlstm提取的特征在时间维度进行合
并，通过一层1
×
1卷积融合各个通道的信息，输出融合后的时空特征，记为u，其中h和w表示空间维度大小，c表示时间维度大小。
[0121]
(2)对该特征u通过se模块(squeeze and excitation block)，以时间维度的注意力机制对特征的重要性进行自适应选择，具体过程如下：
[0122]
首先在时间维度进行全局平均池化(global average pooling)，即对于输入特征时间维度的每一个切片u
c
，其输出为
[0123][0124]
即通过全局平均池化得到全局的空间信息。其中z
c
是输出特征z在时间维度的切片，即z＝{z1,z2,
…
z
c
}，u
c
是输出特征u在时间维度的切片，即u＝{u1,u2,
…
u
c
}。
[0125]
对该特征z通过全连接层来提取时间维度的重要性系数，如下：
[0126]
s＝δ2(w2δ1(w1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0127]
其中，δ1表示relu激活函数，δ2表示sigmoid激活函数，为全连接神经网络的权重，d表示缩放系数，用于降维减少参数量，与模型复杂度相关，可根据需求确定。最终输出特征的每个时间切片为：
[0128][0129]
即对于输入特征u
c
通过乘以重要性系数s
c
来进行时间层面的自适应特征选择。其中s
c
是s在每个时间切片的重要性系数，即s＝{s1,s2,
…
s
c
}，是在时间维度的切片，即本实施例中d取4。
[0130]
(3)以上特征前两维表示空间信息，第三维表示时间信息。将x展开成一维的特征向量，通过多层感知机(multi layer perceptron,mlp)神经网络模型得到区域流量序列的最终预测结果
[0131][0132]
其中δ表示激活函数，一般可用relu激活函数。本实施例中采用2层感知机。
[0133]
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方案为限，但凡本领域普通技术人员根据发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范。