基于强化学习的无功电压优化方法、装置、设备及介质与流程

1.本技术涉及电压控制技术领域，尤其涉及一种基于强化学习的无功电压优化方法、装置、设备及介质。


背景技术：

2.随着数字配电网接入越来越多的分布式电源，高渗透率的分布式电源并网会引起电压波动或者电压过高导致其脱网，严重制约主动配电网消纳可再生能源发电的能力，浪费电网资源和可再生能源。为此，主动配电网会利用无功电压控制算法，通过控制无功可调资源，实现降低网损和改善电压的目的。
3.目前，传统配电网电压控制算法主要基于模型驱动，包括集中式算法和分布式算法。集中式算法需要实时获取电网的状态信息，容易受到通信质量影响。分布式算法通常不需要与邻居通信，但是其优化效果严重依赖于配电网模型和参数精确性。而主动配电网具有高度非线性异构时变等复杂特性，以及存在配电网规模大和量测稀疏等因素，导致模型参数存在严重不确定性，从而导致在实际应用中难于获得高精度的配电网模型。可见，传统模型驱动优化控制方法难以适应业务需求。


技术实现要素：

4.本技术提供了一种基于强化学习的无功电压优化方法、装置、设备及介质，以解决基于模型驱动的传统优化方法难以获得高精度模型使得决策精度低，导致难以适应业务需求的技术问题。
5.为了解决上述技术问题，第一方面，本技术提供了一种基于强化学习的无功电压优化方法，包括：
6.利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率；
7.利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体；
8.基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。
9.在一些实现方式中，所述利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，包括：
10.利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据；
11.利用所述预设深度学习优化器，根据所述历史工况数据，输出无功电压控制数据；
12.基于所述无功电压优化数据和所述无功电压控制数据，计算所述预设深度学习优化器的第一损失函数；
13.基于所述第一损失函数更新所述预设深度学习优化器，并确定所述预设深度学习
优化器是否达到收敛条件；
14.若所述第一损失函数达到最小值，则判定所述预设深度学习优化器达到收敛条件，得到所述第一策略模型。
15.在一些实现方式中，所述利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据，包括：
16.利用所述名义模型，根据所述历史工况数据，对所述实际配电网进行潮流分析，输出所述无功电压优化数据，所述名义模型为：
[0017][0018]
其中，r
p
(x
t
,u
t
)为网损或发电成本，x
t
为因变量，u
t
为控制变量，d
t
为包含所述历史工况数据的扰动变量，b为主动配电网模型的模型参数，a为主动配电网模型的拓扑结构，g表示潮流方程，hv表示电压与控制变量的不等式约束方程。
[0019]
在一些实现方式中，所述利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体，包括：
[0020]
在所述马尔可夫决策过程中，以预设强化学习智能体观测实际配电网在当前时刻下的第一状态信息，所述第一状态信息包括节点注入有功功率、节点注入无功功率、节点电压和无功输出功率；
[0021]
利用所述第一策略模型，选择所述第一状态信息对应的第一动作信息，并计算所述预设强化学习智能体的第一奖励信息和观测下一时刻下的状态信息，以生成所述无功优化智能体。
[0022]
在一些实现方式中，所述基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体，包括：
[0023]
基于所述第一策略模型的模型参数，生成第二策略模型，并初始化两个预设批评家网络以及数据缓冲区；
[0024]
基于所述第二策略模型生成目标策略模型，基于两个所述批评家网络生成两个目标批评家网络；
[0025]
若所述数据缓冲区的数据量小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第二状态信息，并根据所述目标策略模型，选择所述第二状态信息对应的第二动作信息，对所述实际配电网进行无功电压优化，以及基于所述第二状态信息和所述第二动作信息更新所述数据缓冲区；
[0026]
若所述数据缓冲区的数据量不小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第三状态信息，并选择所述第三状态信息对应的确定性动作信息，对所述实际配电网进行无功电压优化，以及利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新。
[0027]
在一些实现方式中，所述选择所述第三状态信息对应的确定性动作信息，包括：
[0028]
基于预设策略函数，选择所述第三状态信息对应的确定性动作信息，所述预设策
略函数为：
[0029][0030]
其中，a为确定性动作信息，为训练的神经网络策略，∈为探索噪声，通常为一个小的高斯噪声，a
low
为无功可调设备的最小可调能力，a
high
为无功可调设备的最大可调能力。
[0031]
在一些实现方式中，所述利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新，包括：
[0032]
从所述数据缓冲区中，随机抽取若干组样本数据；
[0033]
基于所述样本数据，计算所述目标批评家网络的函数目标值；
[0034]
基于所述函数目标值，计算所述目标批评家网络的第二损失函数和所述目标策略模型的损失函数的第三损失函数；
[0035]
基于所述第二损失函数和第三损失函数，更新正则化系数、所述目标批评家网络和所述目标策略模型。
[0036]
第二方面，本技术还提供一种基于强化学习的无功电压优化装置，包括：
[0037]
训练模块，用于利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率；
[0038]
生成模块，用于利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体；
[0039]
优化模块，用于基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。
[0040]
第三方面，本技术还提供一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于强化学习的无功电压优化方法。
[0041]
第四方面，本技术还提供一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如第二方面所述的基于强化学习的无功电压优化方法。
[0042]
与现有技术相比，本技术至少具备以下有益效果：
[0043]
通过利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率，从而利用名义模型的优化结果为深度强化学习提供参考；利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体，从而将配电网无功优化问题转换为马尔可夫决策过程，并生成用户强化学习的无功优化智能体；最后基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体，从而利用强化学习智能体的无功优化能力的提高，逐渐降低名义模型的优化力度，摆脱对配电网模型的依赖，提高无功优化精度。
[0044]
此外，本技术利用基于不精确模型的无功优化算法的优化结果，降低强化学习的
学习成本，辅助强化学习决策，提升强化学习算法的收敛速度，优化精度，降低强化学习的成本，最终实现优于基于名义模型优化和基于强化学习方法的无功优化结果。在强化学习训练的初始阶段，使用基于名义模型优化训练结果得到的策略对策略模型进行初始化，保证初始m步时，强化学习智能体具有和相同的无功优化能力，保证强化学习智能体在实际电网中取得良好的降低网损和改善电压质量的效果。通过两个策略和的正则项对的更新进行限制，避免训练初期不精确的批评家网络对策略模型的负面影响，保证了学习的平稳性，同时该正则项可以避免策略产生的过拟合问题。
附图说明
[0045]
图1为本技术实施例示出的基于强化学习的无功电压优化方法的流程示意图；
[0046]
图2为本技术实施例示出的基于强化学习的无功电压优化装置的结构示意图；
[0047]
图3为本技术实施例示出的计算机设备的结构示意图。
具体实施方式
[0048]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0049]
请参照图1，图1为本技术实施例提供的一种基于强化学习的无功电压优化方法的流程示意图。本技术实施例的基于强化学习的无功电压优化方法可应用于计算机设备，该计算机设备包括但不限于智能手机、笔记本电脑、平板电脑、桌上型计算机、物理服务器和云服务器等设备。如图1所示，本实施例的基于强化学习的无功电压优化方法包括步骤s101至步骤s103，详述如下：
[0050]
步骤s101，利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率。
[0051]
在本步骤中，名义模型为不精确的主动配电网模型，以名义模型的优化结果训练策略模型，能够降低深度强化学习的学习成本。
[0052]
在一些实施例中，所述步骤s101，包括：
[0053]
利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据；
[0054]
利用所述预设深度学习优化器，根据所述历史工况数据，输出无功电压控制数据；
[0055]
基于所述无功电压优化数据和所述无功电压控制数据，计算所述预设深度学习优化器的第一损失函数；
[0056]
基于所述第一损失函数更新所述预设深度学习优化器，并确定所述预设深度学习优化器是否达到收敛条件；
[0057]
若所述第一损失函数达到最小值，则判定所述预设深度学习优化器达到收敛条件，得到所述第一策略模型。
[0058]
在本实施例中，基于模型的无功电压优化本质是一个最优潮流问题，可以简化为约束优化问题，即所述名义模型为：
[0059][0060]
其中，r
p
(x
t
,u
t
)为网损或发电成本，x
t
为因变量，包含有功功率注入p
t
、无功功率注入q
t
和电压幅值v
t
；u
t
为控制变量，对于无功优化问题，它是指静止无功发生器和基于逆变器的分布式电源产生的无功功率；d
t
为包含所述历史工况数据的扰动变量，也称为不可控变量，即分布式能源有功发电p
g，t
和电力负载p
d，t
，q
d，t
；b为主动配电网模型的模型参数，a为主动配电网模型的拓扑结构；g表示潮流方程，如电阻和电抗；hv表示电压与控制变量的不等式约束方程。
[0061]
需要说明的是，当潮流模型不精确时，基于模型优化求解的结果u
t
在真实的配电网环境中往往很难取得比较好的结果，也有可能会带来电压安全问题。但该优化结果u
t
具有一定的参考性，可以给强化学习提供参考。
[0062]
可选地，由于基于名义模型的优化需要大量的优化迭代步数，比较费时，不适合实时的无功电压控制优化，所以本实施例将历史负荷和分布式电源发电数据进行蒙卡特洛采样，生成大量的工况数据pd，qd，pg，将这些数据带入到基于名义模型的无功电压优化算法中，求解得到对应的无功可控出力的um，即u
t
。然后使用深度学习算法训练一个策略模型π
θ
用来模仿基于名义模型的优化策略。为一个深度神经网络，θ为该神经网络的可学参数。π
θ
的输入[pd，qd，pg]，输出为预测的无功可控出力深度神经网络训练目标为最小化损失函数：
[0063][0064]
进一步地，选择合适的神经网络超参数如网络结构，学习率，优化器，正则项等，训练该神经网络使之对于数据集{[pd，qd，pg]，um}具有良好的预测能力。
[0065]
步骤s102，利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体。
[0066]
在本步骤中，无功优化智能体属于强化学习智能体，本实施例把配电网无功优化问题建模为马尔可夫决策过程。
[0067]
在一些实施例中，所述步骤s101，包括：
[0068]
在所述马尔可夫决策过程中，以预设强化学习智能体观测实际配电网在当前时刻下的第一状态信息，所述第一状态信息包括节点注入有功功率、节点注入无功功率、节点电压和无功输出功率；
[0069]
利用所述第一策略模型，选择所述第一状态信息对应的第一动作信息，并计算所述预设强化学习智能体的第一奖励信息和观测下一时刻下的状态信息，以生成所述无功优化智能体。
[0070]
在本实施例中，在马尔可夫决策过程中，在每个时间步t，智能体观察状态s，并选择策略π(s)对应的动作a，获得奖励r和环境的新状态s
′
。马尔可夫决策过程可以被存储为元组(s
t
，a
t
，s
t+1
，r
t
，d
t
)。d
t
表示s
t+1
是否为终止状态。无限范围的折扣收益r定义为智能体获得的所有奖励的折扣收益总和其中γ∈(0，1)是决定长期奖励优先
级的折扣因子。对于无功电压控制问题，对应的状态空间、动作空间和奖励函数定义如下：
[0071]
动作：对于无功优化问题，动作是所有基于逆变器的无功可调设备的无功功率输出a
t
＝
g,t,i
，其中i为基于逆变器的分布式电源的序号，s
g，i
为容量，是逆变器的分布式电源的有功功率容量。
[0072]
状态：本发明中设置其中p
t
，q
t
，v
t
为节点注入有功功率，无功功率和节点电压，t表示转置。
[0073]
奖励：奖励包括两项：有功网损奖励r
p，t
和电压越界奖励r
v，t
。r
p，t
由有功功率注入的总和计算为：
[0074]
其中，n是母线的数量。
[0075]
电压越界奖励r
v，t
为：
[0076][0077]
步骤s103，基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。
[0078]
在本步骤中，与实际电网模型在线交互，生成数据用于训练深度强化学习智能体。该算法可以适配于现有的强化学习算法，如信任域策略优化、近端策略优化、深度确定性策略梯度、双延迟ddpg(td3)和演员评论家。
[0079]
在一些实施例中，所述步骤s103，包括：
[0080]
基于所述第一策略模型的模型参数，生成第二策略模型，并初始化两个预设批评家网络以及数据缓冲区；
[0081]
基于所述第二策略模型生成目标策略模型，基于两个所述批评家网络生成两个目标批评家网络；
[0082]
若所述数据缓冲区的数据量小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第二状态信息，并根据所述目标策略模型，选择所述第二状态信息对应的第二动作信息，对所述实际配电网进行无功电压优化，以及基于所述第二状态信息和所述第二动作信息更新所述数据缓冲区；
[0083]
若所述数据缓冲区的数据量不小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第三状态信息，并选择所述第三状态信息对应的确定性动作信息，对所述实际配电网进行无功电压优化，以及利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新。
[0084]
在本实施例中，可选地，所述选择所述第三状态信息对应的确定性动作信息，包括：基于预设策略函数，选择所述第三状态信息对应的确定性动作信息，所述预设策略函数为：
[0085][0086]
其中，a为确定性动作信息，为训练的神经网络策略，∈为探索噪声，通常为一个小的高斯噪声，a
low
为无功可调设备的最小可调能力，a
high
为无功可调设备的最大可调能力。
[0087]
可选地，所述利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新，包括：从所述数据缓冲区中，随机抽取若干组样本数据；
[0088]
基于所述样本数据，计算所述目标批评家网络的函数目标值；基于所述函数目标值，计算所述目标批评家网络的第二损失函数和所述目标策略模型的损失函数的第三损失函数；基于所述第二损失函数和第三损失函数，更新正则化系数、所述目标批评家网络和所述目标策略模型。
[0089]
示例性地，以双延迟深度度确定性策略梯度(td3)为例：
[0090]
1.定义一个策略模型和两个批评家网络并对其参数进行初始化，定义数据缓冲区并初始化。将步骤2训练出来的策略参数复制到中θ2←
θ1。定义正则系数λ为正则系数的衰减率λ1，λ1通常为接近1的数比如0.9999。
[0091]
2.定义目标策略模型和目标批评家网络，并将策略模型π
θ
和批评家网络的参数复制到目标策略模型和批评家网络中θ
targ
←
θ2，φ
targ，1
←
φ1，φ
targ，2
←
φ2。
[0092]
3.重复以下步骤直至收敛：
[0093]
a.如果缓冲区的数据量小于m个：根据深度强化学习智能体观测到状态s，选择动作执行动作a到电网环境中，观测到下一个状态s
′
，奖励r，并将{s，a，r，s
′
}存入到数据缓冲区中。
[0094]
b.如果缓冲区的数据量大于等于m个：
[0095]
i.根据深度强化学习智能体观测到状态s，选择动作其中∈为探索噪声，经常为一个比较小的高斯噪声。执行动作a到电网环境中，观测到下一个状态s
′
，奖励r，并将{s，a，r，s
′
}存入到数据缓冲区中。
[0096]
ii.从数据缓冲区中随机抽取b组数据{s，a，r，s
′
}。
[0097]
iii.计算批评家函数的目标值：
[0098][0099]
其中，其中，为方差为σ的高斯噪声，c为探索噪声的上下界，一般是一个小于1的常数，如0.2。
[0100]
iv.更新批评家网络通过最小化损失函数：fori＝1，2。
[0101]
v.更新策略模型通过最大化损失函数：
[0102]
vi.更新系数λ＝λ1*λ。
[0103]
vii.更新策略模型，批评家网络的目标网络：
[0104]
φ
targ，i
←
ρφ
targ，i
+(1-ρ)φifor i＝1，2
[0105]
θ
targ
←
ρθ
targ
+(1-ρ)θ2。
[0106]
需要说明的是，本技术通过步骤1和步骤3.b).v.将基于名义模型优化训练结果得到的策略集成到深度强化学习算法中。步骤1使用基于名义模型优化训练结果得到的策略对策略模型进行初始化，可以保证初始m步时，强化学习智能体具有和相同的无功优化能力，保证强化学习智能体不会给真实的电网环境产生较大的网损和电压越界的情况。
[0107]
在深度强化学习算法开始学习时，批评家网络的误差较大，此时使用不精确的批评家网络对策略模型进行错误的更新，为缓解这个问题，步骤3.b).v.通过两个策略和的正则项对的更新进行限制，保证不会偏离太远。在训练过程中批评家网络的精度逐渐提高，步骤3.b).vi.逐渐衰减因衰减率λ1降低λ的值。
[0108]
为了执行上述方法实施例对应的基于强化学习的无功电压优化方法，以实现相应的功能和技术效果。参见图2，图2示出了本技术实施例提供的一种基于强化学习的无功电压优化装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本技术实施例提供的基于强化学习的无功电压优化装置，包括：
[0109]
训练模块201，用于利用深度学习算法，以实际配电网的历史工况数据为输入，以基于名义模型得到的无功电压优化数据为训练标签，训练预设深度学习优化器，得到第一策略模型，所述历史工况数据包括发电有功功率、负载有功功率和负载无功功率；
[0110]
生成模块202，用于利用马尔可夫决策过程，根据所述第一策略模型，生成无功优化智能体；
[0111]
优化模块203，用于基于所述无功优化智能体与实际配电网进行实时交互，以对所述实际配电网进行无功电压优化，以及利用强化学习算法，更新所述无功优化智能体。
[0112]
在一些实施例中，所述训练模块201，具体用于：
[0113]
利用所述名义模型，根据所述历史工况数据，输出所述无功电压优化数据；
[0114]
利用所述预设深度学习优化器，根据所述历史工况数据，输出无功电压控制数据；
[0115]
基于所述无功电压优化数据和所述无功电压控制数据，计算所述预设深度学习优化器的第一损失函数；
[0116]
基于所述第一损失函数更新所述预设深度学习优化器，并确定所述预设深度学习优化器是否达到收敛条件；
[0117]
若所述第一损失函数达到最小值，则判定所述预设深度学习优化器达到收敛条件，得到所述第一策略模型。
[0118]
在一些实施例中，所述名义模型为：
[0119][0120]
其中，r
p
(x
t
,u
t
)为网损或发电成本，x
t
为因变量，u
t
为控制变量，d
t
为包含所述历史工况数据的扰动变量，b为主动配电网模型的模型参数，a为主动配电网模型的拓扑结构，g表示潮流方程，hv表示电压与控制变量的不等式约束方程。
[0121]
在一些实施例中，所述生成模块202，具体用于：
[0122]
在所述马尔可夫决策过程中，以预设强化学习智能体观测实际配电网在当前时刻
下的第一状态信息，所述第一状态信息包括节点注入有功功率、节点注入无功功率、节点电压和无功输出功率；
[0123]
利用所述第一策略模型，选择所述第一状态信息对应的第一动作信息，并计算所述预设强化学习智能体的第一奖励信息和观测下一时刻下的状态信息，以生成所述无功优化智能体。
[0124]
在一些实施例中，所述优化模块203，具体用于：
[0125]
基于所述第一策略模型的模型参数，生成第二策略模型，并初始化两个预设批评家网络以及数据缓冲区；
[0126]
基于所述第二策略模型生成目标策略模型，基于两个所述批评家网络生成两个目标批评家网络；
[0127]
若所述数据缓冲区的数据量小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第二状态信息，并根据所述目标策略模型，选择所述第二状态信息对应的第二动作信息，对所述实际配电网进行无功电压优化，以及基于所述第二状态信息和所述第二动作信息更新所述数据缓冲区；
[0128]
若所述数据缓冲区的数据量不小于预设数据量，则基于所述无功优化智能体观测所述实际配电网在当前时刻下的第三状态信息，并选择所述第三状态信息对应的确定性动作信息，对所述实际配电网进行无功电压优化，以及利用所述目标批评家网络，基于所述数据缓冲区，对所述目标策略模型进行更新。
[0129]
在一些实施例中，所述优化模块203，具体还用于：
[0130]
基于预设策略函数，选择所述第三状态信息对应的确定性动作信息，所述预设策略函数为：
[0131][0132]
其中，a为确定性动作信息，为训练的神经网络策略，∈为探索噪声，通常为一个小的高斯噪声，a
low
为无功可调设备的最小可调能力，a
high
为无功可调设备的最大可调能力。
[0133]
在一些实施例中，所述优化模块203，具体还用于：
[0134]
从所述数据缓冲区中，随机抽取若干组样本数据；
[0135]
基于所述样本数据，计算所述目标批评家网络的函数目标值；
[0136]
基于所述函数目标值，计算所述目标批评家网络的第二损失函数和所述目标策略模型的损失函数的第三损失函数；
[0137]
基于所述第二损失函数和第三损失函数，更新正则化系数、所述目标批评家网络和所述目标策略模型。
[0138]
上述的基于强化学习的无功电压优化装置可实施上述方法实施例的基于强化学习的无功电压优化方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本技术实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。
[0139]
图3为本技术一实施例提供的计算机设备的结构示意图。如图3所示，该实施例的计算机设备3包括：至少一个处理器30(图3中仅示出一个)、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32，所述处理器30执行所述计算
机程序32时实现上述任意方法实施例中的步骤。
[0140]
所述计算机设备3可以是智能手机、平板电脑、桌上型计算机和云端服务器等计算设备。该计算机设备可包括但不仅限于处理器30、存储器31。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0141]
所称处理器30可以是中央处理单元(central processing unit，cpu)，该处理器30还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0142]
所述存储器31在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
[0143]
另外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的步骤。
[0144]
本技术实施例提供了一种计算机程序产品，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现上述各个方法实施例中的步骤。
[0145]
在本技术所提供的几个实施例中，可以理解的是，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意的是，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
[0146]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0147]
以上所述的具体实施例，对本技术的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本技术的具体实施例而已，并不用于限定本技术的保护范围。特别指出，对于本领域技术人员来说，凡在本技术的精神和原则之内，所做的任何修
改、等同替换、改进等，均应包含在本技术的保护范围之内。