一种并行程序的集合通信函数建模方法与流程

技术特征：

1.一种并行程序的集合通信函数建模方法，其特征在于：一种并行程序的集合通信函数建模方法具体过程为：

步骤一、在实验平台下测量集合通信函数N次，获得集合通信函数在不同的并行度和数据量下的通信时间数据；

所述N取值范围为1000-10000；

步骤二、用基于BP反向传播算法的人工神经网络对集合通讯函数在不同的并行度和数据量下的通信时间数据进行拟合，得到相应的通信函数的神经网络模型。

2.根据权利要求1所述一种并行程序的集合通信函数建模方法，其特征在于：所述步骤二中用基于BP反向传播算法的人工神经网络对集合通讯函数在不同的并行度和数据量下的通信时间数据进行拟合，得到相应的通信函数的神经网络模型；具体过程为：

步骤二一、数据预处理；

步骤二二、激活函数的选择；

步骤二三、根据步骤二一和步骤二二利用BP反向传播算法进行权重和阈值的更新。

3.根据权利要求2所述一种并行程序的集合通信函数建模方法，其特征在于：所述步骤二一中数据预处理；具体过程为：

集合通信函数在不同的并行度和数据量下的通信时间数据是在某一并行度下，变化数据量测量的通信时间或者是在某个数据量下，变化并行度测量的通信时间；

将集合通信函数在不同的并行度和数据量下的通信时间数据传到网络训练之前需要先打乱不同的并行度和数据量下的通信时间数据；

对不同的并行度和数据量下的通信时间数据进行归一化，归一化公式如下：

$x^{\′}=\frac{x-min}{max-min}$

max、min分别指某一维数据中的最大值、最小值，经过归一化，人工神经网络的输入特征的范围为(0,1)；x′为归一化后的某一维数据，x为归一化前的某一维数据；

所述某一维为并行度、数据量或通信时间。

4.根据权利要求3所述一种并行程序的集合通信函数建模方法，其特征在于：所述步骤二二中激活函数的选择；具体过程为：

选择Relu激活函数，Relu激活函数形式为：

f(z)＝max(0,z)

式中，z为Relu激活函数输入值，Relu激活函数梯度为1，并且只有一端饱和。

5.根据权利要求4所述一种并行程序的集合通信函数建模方法，其特征在于：所述步骤二三中根据步骤二一和步骤二二利用BP反向传播算法进行权重和阈值的更新；具体步骤如下：

(1)用l表示第几层，其范围为[1,2,3,…,n_l]，n_l表示神经网络模型的最终输出层；逐层计算2,3,…n_l的激活值，最终得到神经网络模型的输出结果，表示为h_W,b(x)，n_l为正整数；

(2)当l为第n_l层时，对n_l层的所有神经元中的某一神经元i，首先根据误差公式获得误差；

利用误差对第n_l层的第i个神经元的输入加权和求偏导：

式中，W为权向量，b为阈值，q是通信函数在不同的并行度和数据量下的通信时间数据中的样本数量，0为正整数；是第n_l层的第i个神经元的输入加权和，其中表示第l-1层第j个神经元与第l层第i个神经元之间的权重值，为第l-1层的第j个神经元的前向输出值；表示第l层的第i个神经元的前向输出值；1≤i≤S_l；w_ij∈W；S_l为第l层的神经元个数，为正整数；l为正整数；S_l-1第l-1层的神经元个数，为正整数；r_i为真实值；y_i为神经网络模型的输出值；残差表示l层的神经元对最终输出值产生的影响；表示神经元的激活函数；

(3)当l＝n_l-1,n_l-2,n_l-3,…,2中任一层时，第l层的第i个节点的残差计算方法为

式中，S_l+1为第l+1层的神经元个数，为正整数；为第l层权向量；残差表示l+1层的该神经元对最终输出值产生的影响；1≤j≤S_l；

(4)计算权值和阈值更新需要的偏导数，即

$\frac{\∂}{\∂W_{ij}^{\left(l\right)}}J(W,b)=a_j^{\left(l\right)}{\mathrm{\δ}}_i^{\left(l+1\right)},\frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b)={\mathrm{\δ}}_i^{\left(l+1\right)};$

式中，为第l层的第j个神经元的前向输出值；为神经网络模型第l层的第i个神经元阈值；

在误差公式后面加上L2正则项

其中，w表示正则项的参数λ是正则项系数，q是样本数量；L2为高斯先验；对J(W,b)求偏导后，将改为

引入动量因子ρ，更新权向量W和阈值b，具体公式表示为：

$W_{ij}^{\left(l\right)}\left(t\right)={\mathrm{\ρW}}_{ij}^{\left(l\right)}(t-1)-\mathrm{\η}\frac{\∂}{\∂W_{ij}^{\left(l\right)}}J(W,b)$

$b_i^{\left(l\right)}\left(t\right)={\mathrm{\ρb}}_i^{\left(l\right)}(t-1)-\mathrm{\η}\frac{\∂}{\∂b_i^{\left(l\right)}}J(W,b)$

式中，η为学习速率；为更新后的第l层第j个神经元与第l+1层第i个神经元之间的权向量；为更新前第l层第j个神经元与第l+1层第i个神经元之间的权向量；为第l层第j个神经元与第l+1层第i个神经元之间的权向量。

6.根据权利要求5所述一种并行程序的集合通信函数建模方法，其特征在于：所述正则项系数λ＝0.005。

7.根据权利要求6所述一种并行程序的集合通信函数建模方法，其特征在于：所述ρ设置为0.9。