一种轨迹预测模型构建方法及轨迹预测方法、装置

本发明涉及深度学习技术领域，具体涉及一种轨迹预测模型构建方法及轨迹预测方法、装置。

背景技术：

轨迹预测任务如：行人轨迹预测是指通过行人的一系列历史轨迹，去预测行人在未来一段时间内的移动轨迹。其在机器人导航、自动驾驶系统中有着广泛的应用。

由于目标对象的移动轨迹常常会受到环境中其他对象的影响，如行人的轨迹会受到周围行人的影响，在现有的轨迹预测模型中大部分通过使用抽象的特征去表达行人之间的影响，无法直观地描述行人之间的交互关系。而且，现有的轨迹预测模型描述对象间的交互关系是对称的，即不同对象间的影响是对等的。然而，在实际应用中，不同对象间如行人之间的交互在很多情况下是非对称的。例如，一个行人走在另一个行人的后方，逻辑上，前面的行人不会受到后面的行人的影响。正是由于现有的轨迹预测模型难以准确地描述不同对象间的非对称交互关系，影响了目标对象轨迹预测结果的准确性。

技术实现要素：

有鉴于此，本发明实施例提供了一种轨迹预测模型构建方法及轨迹预测方法、装置，以克服现有技术中轨迹预测模型难以准确地描述不同对象间的非对称交互关系，进而造成最终轨迹预测结果准确性低的问题。

根据第一方面，本发明实施例提供了一种轨迹预测模型构建方法，所述轨迹预测模型包括：依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数，所述方法包括：

获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；

通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑；

基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型。

可选地，所述获取目标场景中所有移动对象的视野图拓扑，包括：

获取所有移动对象的视野范围和位置；

基于所述视野范围和位置，确定所述目标场景中其他移动对象对当前移动对象的视野影响；

基于所有移动对象之间的视野影响生成视野图拓扑。

可选地，所述获取目标场景中所有移动对象的方向图拓扑，包括：

获取所有移动对象的移动方向；

基于所述移动方向和位置，确定所述目标场景中其他移动对象对当前移动对象的移动方向影响；

基于所有移动对象之间的移动方向影响生成方向图拓扑。

可选地，所述视野图拓扑通过如下公式表示：

a＝{a^ij|i,j＝1,2,…,n}，

其中，a表示视野图拓扑，a^ij表示第j个移动对象对第i个移动对象的视野影响，n表示目标场景中移动对象的总个数；

其中，a^ij通过如下公式表示：

其中，a^ij表示第j个移动对象对第i个移动对象的视野影响，vⁱ和v^j分别表示第i个移动对象和第j个移动对象的位置，dⁱ表示第i个移动对象的移动方向，d^ij表示从第i个移动对象的位置到第j个移动对象的位置的方向向量。

可选地，所述方向图拓扑通过如下公式表示：

b＝{b^ij|i,j＝1,2,…,n}，

其中，b表示方向图拓扑，b^ij表示第j个移动对象对第i个移动对象的方向影响，n表示目标场景中移动对象的总个数；

其中，b^ij通过如下公式表示：

其中，b^ij表示第j个移动对象对第i个移动对象的方向影响，vⁱ和v^j分别表示第i个移动对象和第j个移动对象的位置，θ1和θ2分别表示第i个移动对象和第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角，θ3表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。

根据第二方面，本发明实施例还提供了一种轨迹预测方法，包括：

获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；

将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第一方面所述的轨迹预测模型构建方法所得到的训练好的轨迹预测模型，得到所述目标场景中目标移动对象的预测轨迹。

根据第三方面，本发明实施例还提供了一种轨迹预测模型构建装置，所述轨迹预测模型包括：依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数，所述装置包括：

第一获取模块，用于获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；

第一处理模块，用于通过所述全连接层将所述视野图拓扑和所述方向图拓扑进行融合生成动态有向图拓扑；

第二处理模块，用于基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过所述有向图卷积层和所述卷积层对所述二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型。

根据第四方面，本发明实施例还提供了一种轨迹预测装置，包括：

第二获取模块，用于获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；

第三处理模块，用于将所述视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第三方面所述的轨迹预测模型构建装置所得到的训练好的轨迹预测模型，得到所述目标场景中目标移动对象的预测轨迹。

本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面及其任意一种实施方式中所述的方法，或者执行本发明第二方面所述的方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面及其任意一种实施方式中所述的方法，或者执行本发明第二方面所述的方法。

本发明技术方案，具有如下优点：

1.本发明实施例提供了一种轨迹预测模型构建方法及装置，该轨迹预测模型包括：依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数，该轨迹预测模型构建方法及装置包括：获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑；基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型，从而高效地表达移动对象间的非对称交互，使得其预测结果更加贴近真实轨迹，提高预测结果的准确性。

2.本发明实施例提供了一种轨迹预测方法及装置，包括：获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹；通过利用视野图和方向图表达移动对象之间的视野和移动方向的交互优势，将上述信息输入到采用本发明另一实施例提供的轨迹预测模型构建方法所得到的训练好的轨迹预测模型，且利用本发明另一实施例所得到的训练好的轨迹预测模型，对目标移动对象的轨迹进行预测，使得预测轨迹更加贴近真实轨迹。此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中轨迹预测模型的结构示意图；

图2为本发明实施例中的轨迹预测模型构建方法的流程图；

图3为本发明实施例中行人视野的影响示意图；

图4为本发明实施例中行人移动方向的影响示意图；

图5为本发明实施例中的轨迹预测方法的流程图；

图6为本发明实施例中的轨迹预测模型构建装置的结构示意图；

图7为本发明实施例中的轨迹预测装置的结构示意图；

图8为本发明实施例中的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

轨迹预测任务如：行人轨迹预测是指通过行人的一系列历史轨迹，去预测行人在未来一段时间内的移动轨迹。其在机器人导航、自动驾驶系统中有着广泛的应用。以在本发明实施例中，将以行人作为移动对象为例，利用轨迹预测模型对行人的轨迹进行预测，在实际应用中，该移动对象还可以是具有一定视野信息采集功能的移动设备，如无人驾驶汽车、智能机器人等，本发明并不以此为限，这些移动对象的轨迹将受到周围其他移动对象的影响，如行人的移动轨迹会受到周围其他行人的移动的干扰影响等。

由于目标对象的移动轨迹常常会受到环境中其他对象的影响，如行人的轨迹会受到周围行人的影响，在现有的轨迹预测模型中大部分通过使用抽象的特征去表达行人之间的影响，无法直观地描述行人之间的交互关系。而且，现有的轨迹预测模型描述对象间的交互关系是对称的，即不同对象间的影响是对等的。然而，在实际应用中，不同对象间如行人之间的交互在很多情况下是非对称的。例如，一个行人走在另一个行人的后方，逻辑上，前面的行人不会受到后面的行人的影响。正是由于现有的轨迹预测模型难以准确地描述不同对象间的非对称交互关系，影响了目标对象轨迹预测结果的准确性。

基于上述问题，本发明实施例提供了一种轨迹预测模型构建方法，如图1所示，初始的轨迹预测模型的网络结构包括：全连接层、有向图卷积层、卷积层和二元高斯分布函数，其中，全连接层、有向图卷积层和卷积层中每一层所包含的具体网络结构的数量可根据轨迹预测模型的构建要求进行灵活的设置，如，由若干全连接层依次连接以构成轨迹预测模型的整个全连接层，本发明并不以此为限。如图2所示，上述的轨迹预测模型构建方法具体包括如下步骤：

步骤s101：获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。

其中，以移动对象为行人为例，由于在行人移动过程中，目标行人的移动轨迹会受到周围行人视野、位置和移动方向的影响，该视野图拓扑为通过有向图的方式去描述行人间视野对移动轨迹的影响，该方向图拓扑为通过有向图的方式去描述行人间移动方向对移动轨迹的影响，该历史移动轨迹为不同行人在各历史时刻的真实位置。

步骤s102：通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑。

由于图卷积网络通常只能使用一个确定的图拓扑结构去描述行人之间的交互，因此，本发明实施例通过使用若干个全连接层去动态地融合上述视野图拓扑和方向图拓扑，得到动态有向图拓扑将作为学习后的有向图拓扑结构去描述行人之间的非对称交互。

步骤s103：基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型。

其中，有向图卷积层通过如下公式表示：

其中，l表示有向图卷积的层数，n表示最大的有向图卷积层数，s表示行人的历史移动轨迹，h^l和w^l分别表示第l层的输入和需要学习的权重，f表示激活函数，c表示动态有向图，用于描述移动对象之间的非对称交互。

然后使用若干个卷积层去学习二元高斯分布的五个参数，得到预测轨迹，其中，卷积层的卷积核大小可以根据实际需要进行选择，在本发明实施例中以卷积核为3*1为例，仅以此为例，并不以此为限，然后通过损失函数loss去最大化二元高斯分布的概率，具体损失函数loss通过如下公式表示：

其中，vi＝(x,y)表示第i个移动对象的位置，x和y分别表示行人位置的坐标，p(vi)表示第i个移动对象的概率密度，且其中，μ1、μ2、σ1、σ2、ρ分别表示二元高斯分布函数中五个需要去学习的参数。

通过执行上述步骤，本发明实施例提供轨迹预测模型构建方法，通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响，视野图表达移动对象之间的视野的交互，方向图表达移动对象之间在移动方向上的交互，并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互，使得其预测结果更加贴近真实轨迹，提高预测结果的准确性，此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

具体地，在一实施例中，上述的步骤s101，获取目标场景中所有移动对象的视野图拓扑，具体包括如下步骤：

步骤s201：获取所有移动对象的视野范围和位置。

具体地，由于行人的移动受到周围行人位置的影响，因此可通过行人的视野的有向图去描述这种影响，如图3所示。在图3中，a、b、c分别代表三个行人的位置，dⁱ代表行人a的移动方向。

步骤s202：基于视野范围和位置，确定目标场景中其他移动对象对当前移动对象的视野影响。

具体地，在本发明实施例中，如图3所示，假设行人的有效视野范围为π(在实际应用中可根据实际情况设置)且其视野范围总是被其移动方向平分。那么行人c在a的视野范围内，因此行人a的移动轨迹将受到行人c的影响，而行人b不在a的视野中，其对行人a的影响应该被忽略。

步骤s203：基于所有移动对象之间的视野影响生成视野图拓扑。

具体地，该视野图拓扑通过如下公式表示：

a＝{a^ij|i,j＝1,2,…,n}，

其中，a表示视野图拓扑，a^ij表示第j个移动对象对第i个移动对象的视野影响，n表示目标场景中移动对象的总个数；

其中，a^ij通过如下公式表示：

其中，a^ij表示第j个移动对象对第i个移动对象的视野影响，vⁱ和v^j分别表示第i个移动对象和第j个移动对象的位置，dⁱ表示第i个移动对象的移动方向，d^ij表示从第i个移动对象的位置到第j个移动对象的位置的方向向量。

具体地，在一实施例中，上述的步骤s101，获取目标场景中所有移动对象的方向图拓扑，具体包括如下步骤：

步骤s301：获取所有移动对象的移动方向。

具体地，除了行人视野和位置，行人的移动方向也可能对行人的移动轨迹造成影响。因此，通过利用基于行人移动方向的方向图更进一步地描述行人之间的轨迹影响。如图4所示。在图4中，da、db、dc分别表示三个行人的移动方向。

步骤s302：基于移动方向和位置，确定目标场景中其他移动对象对当前移动对象的移动方向影响。

具体地，如图4所示，dab和dac分别表示从行人a的位置到行人b和c的位置的方向向量。行人a的移动轨迹将受到行人c移动方向的影响，但几乎不会被行人b影响。如图4所示，行人a和c的移动方向暗示二者可能发生碰撞，而行人a和b的移动方向不相交，意味着二者在移动方向保持不变的情况下不会发生碰撞。

步骤s303：基于所有移动对象之间的移动方向影响生成方向图拓扑。

具体地，该方向图拓扑通过如下公式表示：

b＝{b^ij|i,j＝1,2,…,n}，

其中，b表示方向图拓扑，b^ij表示第j个移动对象对第i个移动对象的方向影响，n表示目标场景中移动对象的总个数。

其中，b^ij通过如下公式表示：

其中，b^ij表示第j个移动对象对第i个移动对象的方向影响，vⁱ和v^j分别表示第i个移动对象和第j个移动对象的位置，θ1和θ2分别表示第i个移动对象和第j个移动对象的移动方向与从第i个对象的位置到第j个对象的位置的方向向量的夹角，θ3表示第i个移动对象的移动方向与第j个移动对象的移动方向之间的夹角。

具体地，在一实施例中上述的步骤s102中通过若干全连接层融合后确定的动态有向图拓扑结构表示为：

c＝{c^ij|i,j＝1,…,n},

其中，c表示动态有向图拓扑，c^ij|表示第j个移动对象对第i个移动对象的轨迹影响。

动态有向图定义如下：

其中，c^ij表示第j个移动对象对第i个移动对象的轨迹影响，表示第m层的输入的第j个移动对象对第i个移动对象的视野影响，表示第m层的输入的第j个移动对象对第i个移动对象的方向影响，k表示最大的全连接层数。wm表示第m层需要学习的权重，f为激活函数。

利用上述的动态有向图拓扑c，通过上述步骤s103的有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型。在训练过程中，通过利用不同历史时刻的历史移动轨迹和动态有向图拓扑对上述轨迹预测模型中二元高斯分布的五个参数进行训练，直到模型的预测轨迹与真实轨迹的误差使得上述损失函数的值最小即可。

通过执行上述步骤，本发明实施例提供轨迹预测模型构建方法，通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响，视野图表达移动对象之间的视野的交互，方向图表达移动对象之间在移动方向上的交互，并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互，使得其预测结果更加贴近真实轨迹，提高预测结果的准确性，此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

本发明实施例还提供了一种轨迹预测方法，如图5所示，该轨迹预测方法具体包括如下步骤：

步骤s401：获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。

其中，该目标场景为目标移动对象所处的当前环境，在该环境中包含有包括目标移动对象在内的若干移动对象。

步骤s402：将视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明另一实施例提供的轨迹预测模型构建方法所得到的训练好的轨迹预测模型，得到目标场景中目标移动对象的预测轨迹。

其中，在实际应用中，该目标移动对象可以是目标场景中的任意一个移动对象，也可以通过上述的轨迹预测模型得到目标场景中所有移动对象的轨迹。

通过执行上述步骤，本发明实施例提供轨迹预测方法。通过利用本发明另一实施例所得到的训练好的轨迹预测模型，对目标移动对象的轨迹进行预测，使得预测结果更加贴近真实轨迹，提高预测结果的准确性，此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

在本发明实施例中，对不同轨迹预测方法与本发明实施例提供的轨迹预测方法(简称ddgcn)进行不同场景下行人轨迹预测结果的比较，实验对比结果如表1所示。表1比较了不同算法在五个场景下对行人轨迹进行预测的结果，其中最后一列表示每个算法在五个场景下的平均结果。每个算法在每个场景下有两个结果，分别为ade(averagedisplacementerror)/fde(finaldisplacementerror)。ade表示每个行人在每个预测时刻点的预测位置与真实位置的平均距离，而fde表示每个行人在最后一个预测时刻点的预测位置与真实位置的平均距离。ade和fde的数值越小表示预测结果越准确。

表1

基于表1的结果，可以看出本发明实施例所提出的轨迹预测方法ddgcn在每个场景下都获得了最好或者次好的ade和fde结果。在平均ade和fde结果上，ddgcn优于所有以前的方法。

对比目前最新的方法social-stgcnn(mohamed等人，2020，基于图卷积网络，使用无向图拓扑结构)，本发明实施例提出的ddgcn在平均ade和fde方面实现15％和30％的提升，且在所有场景下均获得了比social-stgcnn更好的结果。这是由于本发明提出动态有向图方法有效地描述了行人之间的非对称交互且显著地提升了行人轨迹预测任务的准确性。

对比基于场景图片的方法，例如pif(liang等人，2019)和social-bigat(kosaraju等人，2019)，ddgcn即使不使用任何辅助信息，也获得了远超这些方法的结果。由于不需要场景图片这样的辅助信息，这意味着本发明实施例所提供的轨迹预测方法对软硬件的性能要求更低，可以降低软硬件采购成本。

因此，本发明实施例的有益效果可以总结如下：

1)本发明实施例的动态有向图有效地描述了行人之间的非对称交互，显著提升了行人轨迹预测任务的准确性。

2)本发明实施例在执行轨迹预测任务时只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

本发明实施例还提供了一种轨迹预测模型构建装置，该轨迹预测模型包括：依次连接的全连接层、有向图卷积层、卷积层和二元高斯分布函数，如图6所示，该轨迹预测模型构建装置包括：

第一处理模块101，用于获取目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。

第二处理模块102，用于通过全连接层将视野图拓扑和方向图拓扑进行融合生成动态有向图拓扑。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。

第三处理模块103，用于基于不同历史时刻的历史移动轨迹和动态有向图拓扑通过有向图卷积层和卷积层对二元高斯分布函数的各个参数进行训练，得到训练好的轨迹预测模型。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。

本发明实施例提供的轨迹预测模型构建装置，用于执行上述实施例提供的轨迹预测模型构建方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。

通过上述各个组成部分的协同合作，本发明实施例提供轨迹预测模型构建装置，通过利用各个移动对象的视野图拓扑和方向图拓扑去描述不同移动对象之间的影响，视野图表达移动对象之间的视野的交互，方向图表达移动对象之间在移动方向上的交互，并通过动态有向图进行融合从而高效地表达移动对象间的非对称交互，使得其预测结果更加贴近真实轨迹，提高预测结果的准确性，此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

本发明实施例还提供了一种轨迹预测装置，如图7所示，该轨迹预测装置包括：

第二获取模块401，用于获取当前时刻目标场景中所有移动对象的视野图拓扑、方向图拓扑及历史移动轨迹。详细内容参见上述方法实施例中步骤s401的相关描述，在此不再进行赘述。

第三处理模块402，用于将视野图拓扑、方向图拓扑及历史移动轨迹输入到采用本发明第三方面的轨迹预测模型构建装置所得到的训练好的轨迹预测模型，得到目标场景中目标移动对象的预测轨迹。详细内容参见上述方法实施例中步骤s402的相关描述，在此不再进行赘述。

本发明实施例提供的轨迹预测装置，用于执行上述实施例提供的轨迹预测方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。

通过上述各个组成部分的协同合作，本发明实施例提供轨迹预测装置，通过利用本发明另一实施例所得到的训练好的轨迹预测模型，对目标移动对象的轨迹进行预测，使得预测结果更加贴近真实轨迹，提高预测结果的准确性，此外，本发明只需要使用历史轨迹信息，不需要使用额外的图片信息，有较高的计算效率，可有效地降低软硬件采购成本。

根据本发明实施例还提供了一种电子设备，如图8所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图8中以通过总线连接为例。

处理器901可以为中央处理器(centralprocessingunit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。

上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。