自动驾驶决策方法、装置、车辆及存储介质与流程

1.本发明涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶决策方法、装置、车辆及存储介质。


背景技术：

2.汽车行业处在一个变革的时代，自动驾驶相关技术发展应用如火如荼。目前的自动驾驶技术方案是通过感知处理传感器数据，通过决策模块输出无人车指令，规划模块规划出具体的行车轨迹输出给控制模块，通过控制模块对无人车进行方向盘和加减速控制。
3.目前较为优秀的基于深度强化学习的自动驾驶的决策模型，结合了深度学习的“感知能力”和强化学习的“决策能力"，深度强化学习中的智能体在强化学习大框架下并不需要人类专家经验，也不需要人工编码，智能体全部依靠自身学习和环境交互信号，智能体通过深度强化学习可以实现。然而，这些决策模型在设计时，会有采集的信息不够全面的，导致模型中的回报函数设计不合理，进而导致决策结果不够合理。


技术实现要素：

4.本发明实施例提供了一种自动驾驶决策方法、装置、车辆及存储介质，以至少解决决策模型中的回报函数设计不合理，进而导致模型输出的决策结果不够合理的技术问题。
5.根据本发明实施例的一个方面，提供了一种自动驾驶决策方法，包括：
6.采集目标车辆的行车环境数据，行车环境数据包括目标车辆的车辆数据和障碍物数据；利用深度神经网络模型对行车环境数据进行分析，得到决策动作，其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练；控制目标车辆执行决策动作。
7.可选地，深度神经网络模型基于回报函数和深度强化学习算法构建并训练包括：根据回报函数的值计算得到累计回报值；根据累计回报值和深度强化学习算法构建动作值函数；根据动作值函数构建损失函数；根据损失函数和动作值函数构建初始深度神经网络模型；根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型。
8.可选地，根据动作值函数构建损失函数包括：将权重为预设值的深度网络设置为动作值值函数的函数逼近器；根据动作值函数和函数逼近器构建损失函数。
9.可选地，根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型包括：根据预设样本对初始深度神经网络模型进行训练得到第一输出结果；将第一输出结果放入预设缓冲队列；采用均匀随机采样方法从预设缓冲队列中选取第一输出结果作为训练样本；采用训练样本对初始深度神经网络模型进行训练得到深度神经网络模型。
10.可选地，根据损失函数和动作值函数构建初始深度神经网络模型包括：根据行车
环境数据构建输入层，输入层包括第一状态空间和第二状态空间，第一状态空间用于输入目标车辆的车辆数据，第二状态空间用于输入障碍物数据；根据行车环境数据构建第一数据提取层和第二数据提取层，其中，第一数据提取层与第一状态空间连接，第二数据提取层与第二状态空间连接，第一提取层用于对目标车辆的车辆数据进行数据提取得到第一提取数据，第二提取层用于对障碍物数据进行数据提取得到第二提取数据；根据行车环境数据构建第一融合层和第二融合层，其中，第一融合层与第一数据提取层和第二数据提取层连接，用于对第一提取数据和第二提取数据进行融合得到第一融合数据，第二融合层与第一数据提取层、第二数据提取层和第一融合层连接，用于对第一融合数据、第一提取数据和第二提取数据进行融合得到第二融合数据；基于损失函数和动作值函数构建输出层，其中，输出层与第二数据融合层连接，输出层用于根据第二融合数据进行决策并输出决策动作。
11.可选地，目标车辆的车辆数据至少包括目标车辆的速度和目标车辆几何中心与当前车道中线的距离，障碍物数据至少包括障碍物与目标车辆之间的距离和障碍物的速度。
12.可选地，决策动作包括以下至少之一：加速动作、减速动作、保持速度、左变道动作和右变道动作。
13.根据本发明其中一实施例，还提供了一种自动驾驶决策装置，包括：
14.采集模块，采集模块用于采集目标车辆的行车环境数据，行车环境数据包括目标车辆的车辆数据和障碍物数据；决策模块，决策模块用于利用深度神经网络模型对行车环境数据进行分析，得到决策动作，其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练；控制模块，控制模块用于控制目标车辆执行决策动作。
15.可选地，决策模块还用于深度神经网络模型基于回报函数和深度强化学习算法构建并训练包括：根据回报函数的值计算得到累计回报值；根据累计回报值和深度强化学习算法构建动作值函数；根据动作值函数构建损失函数；根据损失函数和动作值函数构建初始深度神经网络模型；根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型。
16.可选地，决策模块还用于根据动作值函数构建损失函数包括：将权重为预设值的深度网络设置为动作值值函数的函数逼近器；根据动作值函数和函数逼近器构建损失函数。
17.可选地，决策模块还用于根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型包括：根据预设样本对初始深度神经网络模型进行训练得到第一输出结果；将第一输出结果放入预设缓冲队列；采用均匀随机采样方法从预设缓冲队列中选取第一输出结果作为训练样本；采用训练样本对初始深度神经网络模型进行训练得到深度神经网络模型。
18.可选地，决策模块还用于根据损失函数和动作值函数构建初始深度神经网络模型包括：根据行车环境数据构建输入层，输入层包括第一状态空间和第二状态空间，第一状态空间用于输入目标车辆的车辆数据，第二状态空间用于输入障碍物数据；根据行车环境数据构建第一数据提取层和第二数据提取层，其中，第一数据提取层与第一状态空间连接，第二数据提取层与第二状态空间连接，第一提取层用于对目标车辆的车辆数据进行数据提取得到第一提取数据，第二提取层用于对障碍物数据进行数据提取得到第二提取数据；根据
行车环境数据构建第一融合层和第二融合层，其中，第一融合层与第一数据提取层和第二数据提取层连接，用于对第一提取数据和第二提取数据进行融合得到第一融合数据，第二融合层与第一数据提取层、第二数据提取层和第一融合层连接，用于对第一融合数据、第一提取数据和第二提取数据进行融合得到第二融合数据；基于损失函数和动作值函数构建输出层，其中，输出层与第二数据融合层连接，输出层用于根据第二融合数据进行决策并输出决策动作。
19.可选地，采集模块采集的目标车辆的车辆数据至少包括目标车辆的速度和目标车辆几何中心与当前车道中线的距离，障碍物数据至少包括障碍物与目标车辆之间的距离和障碍物的速度。
20.可选地，控制模块执行的决策动作包括以下至少之一：加速动作、减速动作、保持速度、左变道动作和右变道动作。
21.根据本发明其中一实施例，还提供了一种车辆，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项中的自动驾驶决策方法。
22.根据本发明其中一实施例，还提供了一种非易失性存储介质，非易失性存储介质中存储有计算机程序，其中，计算机程序被设置为在计算机或处理器上运行时，执行上述任一项中的自动驾驶决策方法。
23.在本发明实施例中，首先采集目标车辆的行车环境数据，行车环境数据包括目标车辆的车辆数据和障碍物数据，然后利用深度神经网络模型对行车环境数据进行分析，得到决策动作，其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练，最后控制目标车辆执行决策动作。采用上述方法，构建了基于目标车辆至少两个时刻的行车速度和行车位移的回报函数，通过该回报函数对目标神经网络模型的训练进行指导可以使得目标神经网络模型的输出的决策结果更加正确，进而解决了决策模型中的回报函数设计不合理，进而导致模型输出的决策结果不够合理的技术问题。
附图说明
24.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
25.图1是根据本发明其中一实施例的自动驾驶决策方法的流程图；
26.图2是根据本发明其中一实施例的初始深度神经网络模型的示意图；
27.图3是根据本发明其中一实施例的自动驾驶决策装置的结构框图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
interface，gui)，用户可以通过触摸触敏表面上的手指接触和/或手势来与gui进行人机交互，此处的人机交互功能可选的包括如下交互：创建网页、绘图、文字处理、制作电子文档、游戏、视频会议、即时通信、收发电子邮件、通话界面、播放数字视频、播放数字音乐和/或网络浏览等、用于执行上述人机交互功能的可执行指令被配置/存储在一个或多个处理器可执行的计算机程序产品或可读存储介质中。
36.图1是根据本发明实施例的自动驾驶决策方法，如图1所示，该方法包括如下步骤：
37.步骤s101，采集目标车辆的行车环境数据。
38.其中，行车环境数据包括目标车辆的车辆数据和障碍物数据。
39.目标车辆在进行自动驾驶决策过程中，需要实时的采集行车环境信息。基于目标车辆的车辆数据和目标车辆周围的障碍物数据目标车辆才能进行自动驾驶决策。
40.可选的，行车数据至少包括目标车辆的速度和目标车辆几何中心与当前车道中线的距离，障碍物数据至少包括障碍物与目标车辆之间的距离和障碍物的速度。
41.需要说明的是，障碍物数据可以为目标车辆八个方向上障碍物数据。障碍物可以是处于行驶中的其他车辆，也可以是未移动的物体。八个方向上障碍物数据包括当前车道前方最近障碍物的数据、当前车道后方最近障碍物的数据、左车道最近障碍物的数据、右车道最近障碍物的数据、左车道前方最近障碍物的距离、左车道后方最近障碍物的距离、右车道前方最近障碍物的距离、右车道后方最近障碍物的距离。
42.步骤s102，利用深度神经网络模型对行车环境数据进行分析，得到决策动作。
43.其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练。
44.示例性的，两个时刻可以分别为t时刻和t-1时刻，行车速度则为t时刻的行车速度和t-1时刻的行车速度，行车位移为t时刻车辆行驶的总里程和t-1时刻车辆行驶总里程。回报函数用于对深度神经网络模型的训练进行指导，通过行车速度和行车位移双参数影响回报值，能够使得训练出深度神经网络模型输出的决策动作更加准确。
45.步骤s103，控制目标车辆执行决策动作。
46.当深度神经网络模型输出决策动作后，控制模块控制目标车辆执行输出的决策动作。
47.可选的，决策动作包括以下至少之一：加速动作、减速动作、保持速度、左变道动作和右变道动作。
48.通过上述步骤，首先采集目标车辆的行车环境数据，行车环境数据包括目标车辆的车辆数据和障碍物数据，然后利用深度神经网络模型对行车环境数据进行分析，得到决策动作，其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练，最后控制目标车辆执行决策动作。采用上述方法，构建了基于目标车辆至少两个时刻的行车速度和行车位移的回报函数，通过该回报函数对目标神经网络模型的训练进行指导可以使得目标神经网络模型的输出的决策结果更加正确，进而解决了决策模型中的回报函数设计不合理，进而导致模型输出的决策结果不够合理的技术问题。
49.可选地，深度神经网络模型基于回报函数和深度强化学习算法构建并训练可以包括如下步骤：
50.步骤s102a，根据回报函数的值计算得到累计回报值。
51.回报函数为基于目标车辆至少两个时刻的行车速度、行车位移以及碰撞惩罚函数构建，用来评价目标车辆自动驾驶决策过程中从上一个状态转换到当前状态的价值。状态为车辆采集到的图像信息。回报函数表达式如下：
52.r
t
＝(d
t-d
t-1
)+r
col
+(v
t-v
t-1
)
53.其中，d
t
目标车辆t时刻行驶的总距离，d
t-1
为目标车辆t时刻行驶的总距离，v
t
为t时刻目标车辆的速度，v
t-1
为t-1时刻目标车辆的速度。
54.其中碰撞惩罚函数r
col
表达式如下：
[0055][0056]
累计回报值通过累计回报函数计算得到，用于评价自动驾驶过程中决策动作的好坏，累计回报函数的函数表达式如下：
[0057][0058]
其中，r
t
为t时刻的累计回报值，r
t+1
为t+1时刻的回报函数值，γ为折扣因子，折扣因子的取值范围为[0,1)，l为预设时间长度。
[0059]
步骤s102b，根据累计回报值和深度强化学习算法构建动作值函数。
[0060]
深度强化学习算法为深度q网络算法，动作值函数用于表示当前决策动作的价值，动作值函数的函数表达式如下：
[0061]q*
(s,a)＝e[r+γmaxa′q*
(s
′
,a
′
)∣s,a]
[0062]
该函数表示目标车辆处于状态s，采取决策动作a时的动作值。其中，r为状态转移过程中累计回报函数值，γ为折扣因子，折扣因子的取值范围为[0,1)，s
′
为目标车辆下一状态，a
′
为目标车辆下一状态执行的决策动作。
[0063]
步骤s102c，根据动作值函数构建损失函数。
[0064]
损失函数用于表示预测与实际数据的差距程度，进而衡量模型的好坏。
[0065]
可选的，步骤s102c根据动作值函数构建损失函数可以包括如下步骤：
[0066]
步骤s102c1，将权重为预设值的深度网络设置为动作值值函数的函数逼近器。
[0067]
具体的，采用权重为预设值θ的q神经网络作为动作值函数的函数逼近器，即q(s,a；θ)≈q*(s,a)。
[0068]
步骤s102c2，根据动作值函数和函数逼近器构建损失函数。
[0069]
损失函数的表达式如下：
[0070][0071]
步骤s102d，根据损失函数和动作值函数构建初始深度神经网络模型。
[0072]
步骤s102e，根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型。
[0073]
预设样本为五元组数据，五元组数据的表示形式为e
t
＝(s
t
,a
t
,r
t
,s
t+1
,f)。其中，s
t
为t时刻目标车辆和障碍物的状态，a
t
为t时刻目标车辆执行的决策动作,r
t
为t时刻目标车
辆t时刻的累计回报函数值,s
t+1
为t时刻目标车辆和障碍物的下一状态,f为标志位，用于表示s
t+1
是否为目标车辆跟随任务决策序列的最终状态。
[0074]
训练过程中，输入预设样本，通过在每次迭代i时调整损失函数中的参数θi来训练初始深度神经网络模型，通过随机梯度下降减小误差。是用于在迭代i处计算目标的网络参数。为了使学习过程更稳定，设置一个固定步数c，每隔c步使用最新的网络参数
[0075]
可选的，步骤s102e根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型可以包括如下步骤：
[0076]
步骤s102e1，根据预设样本对初始深度神经网络模型进行训练得到第一输出结果。
[0077]
步骤s102e2，将第一输出结果放入预设缓冲队列。
[0078]
步骤s102e3，采用均匀随机采样方法从预设缓冲队列中选取第一输出结果作为训练样本。
[0079]
步骤s102e4，采用训练样本对初始深度神经网络模型进行训练得到深度神经网络模型。
[0080]
根据步骤s102e1、步骤s102e2、步骤s102e3、步骤s102e4，通过将训练产生的数据放入预设缓冲队列，然后从预设缓冲队列中采用随机均匀采样的方法提取训练数据。将提取出的训练数据再作为样本对初始深度神经网络模型进行训练可以打破数据之间的关联性，进而使训练出的深度神经网络模型更加稳定。
[0081]
参照图2，可选的，步骤s102d根据损失函数和动作值函数构建初始深度神经网络模型可以包括如下步骤：
[0082]
步骤s102d1，根据行车环境数据构建输入层。
[0083]
其中，输入层包括第一状态空间和第二状态空间，第一状态空间用于输入目标车辆的车辆数据，第二状态空间用于输入障碍物数据。
[0084]
第一状态空间表示为：
[0085]
se＝[ve,de]
[0086]
其中ve为目标车辆的速度，de为目标车辆的几何中心点与车道中线的距离。第二状态空间表示为：
[0087]ssur
＝[df,vf,db,vb,d
lf
,v
lf
,d
lb
,v
lb
,d
rf
,v
rf
,d
rb
,v
rb
]
[0088]
其中，当前车道前方最近车辆的距离为df其速度为vf、当前车道后方最近车辆的距离为db其速度为vb、左车道前方最近车辆的距离为d
lf
其速度为v
lf
、左车道后方最近车辆的距离为d
lb
其速度为v
lb
、右车道前方最近车辆的距离为d
rf
其速度为v
rf
、右车道后方最近车辆的距离为d
rb
其速度为v
rb
。
[0089]
步骤s102d2，根据行车环境数据构建第一数据提取层和第二数据提取层。
[0090]
其中，第一数据提取层与第一状态空间连接，第二数据提取层与第二状态空间连接，第一提取层用于对目标车辆的车辆数据进行数据提取得到第一提取数据，第二提取层用于对障碍物数据进行数据提取得到第二提取数据。
[0091]
步骤s102d3，根据行车环境数据构建第一融合层和第二融合层。
[0092]
其中，第一融合层与第一数据提取层和第二数据提取层连接，用于对第一提取数据和第二提取数据进行融合得到第一融合数据，第二融合层与第一数据提取层、第二数据
提取层和第一融合层连接，用于对第一融合数据、第一提取数据和第二提取数据进行融合得到第二融合数据。
[0093]
步骤s102d4，基于损失函数和动作值函数构建输出层。
[0094]
其中，输出层与第二数据融合层连接，输出层用于根据第二融合数据进行决策并输出决策动作。
[0095]
需要说明的是，上述第一数据提取层、第二数据提取层、第一融合层、第二融合层、输出层均为全连接层。输出层的输出维度是[1,1]的动作决策结果。
[0096]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0097]
在本实施例中还提供了一种自动驾驶决策装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0098]
图3是根据本发明其中一实施例的自动驾驶决策装置200的结构框图，如图3所示，以自动驾驶决策装置200进行示例，该装置包括：采集模块201，采集模块201用于采集目标车辆的行车环境数据，行车环境数据包括目标车辆的车辆数据和障碍物数据；决策模块202，决策模块202用于利用深度神经网络模型对行车环境数据进行分析，得到决策动作，其中，深度神经网络模型基于回报函数和深度强化学习算法构建并训练，回报函数用于根据目标车辆至少两个时刻的行车速度和行车位移对深度神经网络模型进行训练；控制模块203，控制模块203用于控制目标车辆执行决策动作。
[0099]
可选地，决策模块202还用于深度神经网络模型基于回报函数和深度强化学习算法构建并训练包括：根据回报函数的值计算得到累计回报值；根据累计回报值和深度强化学习算法构建动作值函数；根据动作值函数构建损失函数；根据损失函数和动作值函数构建初始深度神经网络模型；根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型。
[0100]
可选地，决策模块202还用于根据动作值函数构建损失函数包括：将权重为预设值的深度网络设置为动作值值函数的函数逼近器；根据动作值函数和函数逼近器构建损失函数。
[0101]
可选地，决策模块202还用于根据预设样本和损失函数对初始深度神经网络模型进行训练得到深度神经网络模型包括：根据预设样本对初始深度神经网络模型进行训练得到第一输出结果；将第一输出结果放入预设缓冲队列；采用均匀随机采样方法从预设缓冲队列中选取第一输出结果作为训练样本；采用训练样本对初始深度神经网络模型进行训练得到深度神经网络模型。
[0102]
可选地，决策模块202还用于根据损失函数和动作值函数构建初始深度神经网络模型包括：根据行车环境数据构建输入层，输入层包括第一状态空间和第二状态空间，第一
状态空间用于输入目标车辆的车辆数据，第二状态空间用于输入障碍物数据；根据行车环境数据构建第一数据提取层和第二数据提取层，其中，第一数据提取层与第一状态空间连接，第二数据提取层与第二状态空间连接，第一提取层用于对目标车辆的车辆数据进行数据提取得到第一提取数据，第二提取层用于对障碍物数据进行数据提取得到第二提取数据；根据行车环境数据构建第一融合层和第二融合层，其中，第一融合层与第一数据提取层和第二数据提取层连接，用于对第一提取数据和第二提取数据进行融合得到第一融合数据，第二融合层与第一数据提取层、第二数据提取层和第一融合层连接，用于对第一融合数据、第一提取数据和第二提取数据进行融合得到第二融合数据；基于损失函数和动作值函数构建输出层，其中，输出层与第二数据融合层连接，输出层用于根据第二融合数据进行决策并输出决策动作。
[0103]
可选地，采集模块201采集的目标车辆的车辆数据至少包括目标车辆的速度和目标车辆几何中心与当前车道中线的距离，障碍物数据至少包括障碍物与目标车辆之间的距离和障碍物的速度。
[0104]
可选地，控制模块203执行的决策动作包括以下至少之一：加速动作、减速动作、保持速度、左变道动作和右变道动作。
[0105]
本发明的实施例还提供了一种车辆，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述自动驾驶决策方法的实施例中的步骤。
[0106]
可选地，在本实施例中，上述车辆中的处理器可以被设置为运行计算机程序以执行以下步骤：
[0107]
步骤s101，采集目标车辆的行车环境数据。
[0108]
步骤s102，利用深度神经网络模型对行车环境数据进行分析，得到决策动作。
[0109]
步骤s103，控制目标车辆执行决策动作。
[0110]
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0111]
本发明的实施例还提供了一种非易失性存储介质，该非易失性存储介质中存储有计算机程序，其中，该计算机程序被设置为在计算机或处理器上运行时，执行上述自动驾驶决策方法的实施例中的步骤。
[0112]
可选地，在本实施例中，上述非易失性存储介质可以被设置为存储用于执行以下步骤的计算机程序：
[0113]
步骤s101，采集目标车辆的行车环境数据。
[0114]
步骤s102，利用深度神经网络模型对行车环境数据进行分析，得到决策动作。
[0115]
步骤s103，控制目标车辆执行决策动作。
[0116]
可选地，在本实施例中，上述非易失性存储介质可以包括但不限于：u盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0117]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0118]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0119]
在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0120]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0121]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0122]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0123]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。