行人意图预测方法、系统、电子设备及可读存储介质与流程

1.本发明涉及车辆传输技术领域，尤其涉及一种行人意图预测方法、系统、电子设备及可读存储介质。


背景技术：

2.目前，随着人工智能技术的不断发展，汽车智能驾驶技术得到了极大的推进，在行人意图预测方面，行人作为重要的交通参与者，在智能驾驶的决策规划模块中，行人的意图预测具有十分重要的作用，是汽车能否安全、平稳和正确行驶的一个不可或缺的技术。
3.行人意图预测的方法通常包括两种：一种是通过预设算法对行人的历史轨迹点和车辆位置进行计算，从而预测行人的横穿意图，但是这种方法的算法固化，没有将车辆当前行驶信息作为参考信息；另一种是通过车辆采集图像进行模型训练，将训练得到的cnn网络模型、rnn网络模型、gcn网络模型等作为预测模型，从而将车辆所处的当前环境图像输入预测模型进行预测，但是仅仅通过场景图像作为参考，参考性较为单一，在复杂交通场景下的泛化性较低，导致预测结果不准确，同时，汽车自动驾驶对时效性、准确性具有较高要求，现有行人意图预测方法的准确性无法达到要求。


技术实现要素：

4.为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
5.鉴于以上所述现有技术的缺点，本发明公开了一种行人意图预测方法、系统、电子设备及可读存储介质，以提高预测行人意图的准确性。
6.本发明公开了一种行人意图预测方法，包括：获取目标车辆的当前行驶数据以及所述目标车辆的当前场景图像；根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征；根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框；将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，并将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，所述行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，所述待预测样本包括样本图像特征、样本检测框和行驶样本数据。
7.可选地，通过以下方法训练得到所述行人意图预测模型：获取所述目标车辆的原始样本集，其中，所述原始样本包括多个行驶时间段、各所述行驶时间段对应的行驶样本数据、各所述行驶时间段对应的场景图像样本、在各所述行驶时间段中目标行人的轨迹数据；根据图像卷积技术分别对各所述场景图像样本进行特征提取，得到各所述场景图像样本对应的样本图像特征，并根据所述目标识别算法对所述场景图像样本中的交通参与目标进行目标识别，得到所述交通参与目标对应的样本检测框；根据所述轨迹数据确定目标行人与
行驶危险区域之间的位置关系，基于各所述行驶时间段对应的位置关系确定目标行人的行人意图状态，其中，所述行驶危险区域根据在所述行驶时间段中所述目标车辆的车辆位置确定；分别对各所述行驶时间段对应的样本图像特征、样本检测框和行驶样本数据进行拼接，得到各所述行驶时间段对应的待预测样本，并将所述待预测样本对应的行人意图状态确定为所述待预测样本的意图样本标签；根据带有所述意图样本标签的待预测样本对预设的神经网络模型进行训练，将训练完成的神经网络模型确定为行人意图预测模型。
8.可选地，通过以下方法确定行人意图状态：获取所述目标车辆的车辆位置；根据所述目标车辆的车辆位置建立笛卡尔坐标系，并以所述目标车辆为中心确定所述目标车辆的行驶危险区域；根据目标行人的轨迹数据确定所述目标行人是否位于行驶危险区域以内；若所述目标行人位于行驶危险区域以内，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述目标行人位于行驶危险区域之外，则根据所述轨迹数据确定所述目标行人与所述行驶危险区域之间的平均距离，并将所述平均距离与预设的安全距离阈值进行比较；若所述平均距离小于所述安全距离阈值，则将所述目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若所述平均距离大于或等于所述安全距离阈值，则将所述目标行人的行人意图状态确定为无穿越车辆行驶路线意图。
9.可选地，根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征，包括：获取图像特征提取模型，其中，所述图像特征提取模型包括多个特征提取层；将所述当前场景图像输入所述图像特征提取模型，以将所述当前场景图像依次通过各所述特征提取层进行卷积计算，得到所述当前场景图像对应的当前图像特征。
10.可选地，根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框，包括：获取所述目标识别算法对应的识别算法模型，其中，所述识别算法模型依次包括识别卷积层、多个识别算法块、目标分类器，其中，所述识别卷积层为所述识别算法模型的输入层；将所述当前场景图像输入所述识别算法模型，所述识别算法模型用于将所述当前场景图像依次通过所述识别卷积层和各所述识别算法块进行卷积计算，得到各所述识别算法块输出的特征图像，并通过目标分类器对各所述特征图像中的交通参与目标进行目标识别，得到所述交通参与目标的备选检测框；根据非极大值抑制算法对至少一部分特征图像的备选检测框进行选择，得到所述交通参与目标对应的当前检测框。
11.可选地，将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，包括：根据预设的第一全连接层对所述当前图像特征和所述当前检测框进行特征提取，得到第一特征数据，并根据预设的第二全连接层对当前行驶数据进行特征提取，得到第二特征数据；将所述第一特征数据和所述第二特征数据进行特征拼接，得到待预测数据。
12.可选地，将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，包括：所述行人意图预测模型包括时序特征提取单元和二分类单元：通过所述时序特征提取单元对所述待预测数据进行时序特征提取，得到所述待预测数据的时序特征；通过所述二分类单元对所述时序特征进行二分类，得到二分类结果，基于所述二分类结果确定行人意图预测结果。
13.本发明公开了一种行人意图预测系统，包括：获取模块，用于获取目标车辆的当前行驶数据以及所述目标车辆的当前场景图像；特征提取模块，用于根据图像卷积技术对所述当前场景图像进行特征提取，得到所述当前场景图像对应的当前图像特征；目标识别模块，用于根据预设的目标识别算法对所述当前场景图像中的交通参与目标进行目标识别，得到所述交通参与目标对应的当前检测框；预测模块，用于将所述当前图像特征、所述当前检测框和所述当前行驶数据进行拼接，得到待预测数据，并将所述待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，所述行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，所述待预测样本包括样本图像特征、样本检测框和行驶样本数据。
14.本发明公开了一种电子设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子设备执行上述的方法。
15.本发明公开了一种计算机可读存储介质，其上存储有计算机程序：所述计算机程序被处理器执行时实现上述的方法。
16.本发明的有益效果：
17.通过从目标车辆的当前场景图像中确定当前图像特征，并从当前场景图像中确定交通参与目标对应的当前检测框，进而将当前图像特征、当前检测框和目标车辆的当前行驶数据输入行人意图预测模型，得到行人意图预测结果，不仅通过当前图像特征将场景图像作为预测参考，还对当前场景图像中的交通参与目标进行目标识别，将场景中的交通参与目标而非只是行人作为预测参考，同时，将车辆自身的行驶数据作为待预测数据，以参考行人与车辆之间的联系，相较于通过单一参考物预测行人意图，根据当前图像特征、当前检测框和当前行驶数据预测行人意图，提高了预测特征使用率，从而提高预测结果的准确性。
18.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
20.图1是本发明实施例中一个行人意图预测方法的流程示意图；
21.图2是本发明实施例中另一个行人意图预测方法的流程示意图；
22.图3是本发明实施例中一个行人意图状态确定方法的示意图；
23.图4是本发明实施例中一个行人意图预测系统的结构示意图；
24.图5是本发明实施例中一个电子设备的结构示意图。
具体实施方式
25.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的子样本可以相互组合。
26.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
27.在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
28.本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
29.除非另有说明，术语“多个”表示两个或两个以上。
30.本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。
31.术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。
32.结合图1所示，本公开实施例提供了一种行人意图预测方法，包括：
33.步骤s101，获取目标车辆的当前行驶数据以及目标车辆的当前场景图像；
34.步骤s102，根据图像卷积技术对当前场景图像进行特征提取，得到当前场景图像对应的当前图像特征；
35.步骤s103，根据预设的目标识别算法对当前场景图像中的交通参与目标进行目标识别，得到交通参与目标对应的当前检测框；
36.步骤s104，将当前图像特征、当前检测框和当前行驶数据进行拼接，得到待预测数据，并将待预测数据输入预设的行人意图预测模型，得到行人意图预测结果；
37.其中，行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，待预测样本包括样本图像特征、样本检测框和行驶样本数据。
38.采用本公开实施例提供的行人意图预测方法，通过从目标车辆的当前场景图像中确定当前图像特征，并从当前场景图像中确定交通参与目标对应的当前检测框，进而将当前图像特征、当前检测框和目标车辆的当前行驶数据输入行人意图预测模型，得到行人意图预测结果。这样，不仅通过当前图像特征将场景图像作为预测参考，还对当前场景图像中的交通参与目标进行目标识别，将场景中的交通参与目标而非只是行人作为预测参考，同时，将车辆自身的行驶数据作为待预测数据，以参考行人与车辆之间的联系，相较于通过单一参考物预测行人意图，根据当前图像特征、当前检测框和当前行驶数据预测行人意图，提高了预测特征使用率，从而提高预测结果的准确性。
39.可选地，目标车辆包括：车载摄像头，用于采集目标车辆的当前场景图像或场景图像样本，其中，当前场景图像和/或场景图像样本由多个图像帧组成的时序图像序列，各图
像帧包括多种交通参与目标，例如行人、车辆、交通灯、交通标志、人行横道等中的一种或多种；车载雷达传感器，用于采集预设传感距离内行人的轨迹数据，其中，轨迹数据包括目标行人映射与目标车辆的距离、方位以及目标行人所在的区域信息，区域信息包括人行道、斑马线、行车道等中的一种或多种；车载自动诊断系统(on board diagnostics，obd)，用于采集目标车辆的当前行驶数据或行驶样本数据，其中，当前行驶数据和/或行驶样本数据包括当前车速、当前车辆加速度等中的一种或多种。
40.在一些实施例中，车载摄像头采集到当前场景图像的图像尺寸为3840*2160，当前场景图像的场景类型包括路口场景和/或非路口场景，其中，路口场景包括“t”型路口、“十”型路口、“x”型路口、“y”型路口等中的一种或多种，非路口场景包括直道、弯道等中的一种或多种。
41.可选地，获取目标车辆的当前行驶数据以及目标车辆的当前场景图像，包括：通过车载自动诊断系统拉取目标车辆的当前行驶数据，并通过车载摄像头采集当前场景图像；根据当前行驶数据和当前场景图像各自的时间戳进行时间同步。
42.这样，将预测所需的当前行驶数据和当前场景图像按照时间戳进行时间同步，保证当前行驶数据和当前场景图像的时间一致性，从而通过当前场景图像获取当前图像特征、当前检测框，相较于通过单一参考物预测行人意图，根据当前图像特征、当前检测框和当前行驶数据预测行人意图，提高了预测特征使用率，从而提高预测结果的准确性。
43.可选地，当前场景图像、轨迹数据、当前行驶数据均为在一个预设时间段内采集到的数据，其中，预设时间段包括0.1秒至5分钟，例如，预设时间段为10秒。
44.可选地，根据图像卷积技术对当前场景图像进行特征提取，得到当前场景图像对应的当前图像特征，包括：获取图像特征提取模型，其中，图像特征提取模型包括多个特征提取层；将当前场景图像输入图像特征提取模型，以将当前场景图像依次通过各特征提取层进行卷积计算，得到当前场景图像对应的当前图像特征。
45.在一些实施例中，图像特征提取模型基于vgg16神经网络模型建立；图像特征提取模型用于将当前场景图像的图像尺寸调整为224x224；当前场景图像依次经过2次3x3x64卷积层卷积和1次最大池化层得到第一特征图；第一特征图依次经过2次3x3x128卷积层卷积和1次最大池化层得到第二特征图；第二特征图依次经过2次3x3x256卷积层卷积、1次1x1x512卷积层卷积和1次最大池化层得到第三特征图；第三特征图依次经过2次3x3x256卷积层卷积、1次1x1x512卷积层卷积和1次最大池化层得到第四特征图；第四特征图依次经过3次全连接层和1次平均池化层(average pool)，得到当前图像特征。
46.可选地，根据预设的目标识别算法对当前场景图像中的交通参与目标进行目标识别，得到交通参与目标对应的当前检测框，包括：获取目标识别算法对应的识别算法模型，其中，识别算法模型依次包括识别卷积层、多个识别算法块、目标分类器，其中，识别卷积层为识别算法模型的输入层；将当前场景图像输入识别算法模型，识别算法模型用于将当前场景图像依次通过识别卷积层和各识别算法块进行卷积计算，得到各识别算法块输出的特征图像，并通过目标分类器对各特征图像中的交通参与目标进行目标识别，得到交通参与目标的备选检测框；根据非极大值抑制算法(non-maximum suppression)对至少一部分特征图像的备选检测框进行选择，得到交通参与目标对应的当前检测框。
47.在一些实施例中，目标识别算法包括deepsort算法，目标识别算法对应的识别算
法模型基于yolo v3神经网络模型建立，通过deepsort算法对交通参与目标建立跟踪id和跟踪id对应的当前检测框，以根据跟踪id对交通参与目标进行稳定跟踪。
48.在一些实施例中，目标识别算法以darknet-53作为主干网络，识别卷积层为1个3x3x32的卷积层，识别算法块包括第一算法块、第二算法块、第三算法块、第四算法块、第五算法块，其中，第一算法块依次包括大小为3x3x64，步长为2的卷积层、1x1x32的卷积层、1x1x64的卷积层和残差层；第二算法块依次包括大小为3x3x128、步长为2的卷积层，1x1x64的卷积层，1x1x128的卷积层和残差层；第三算法块依次包括大小为3x3x256、步长为2的卷积层，1x1x128的卷积层，1x1x256的卷积层和残差层；第四算法块依次包括大小为3x3x512、步长为2的卷积层，1x1x256的卷积层，1x1x512的卷积层和残差层；第五算法块依次包括大小为3x3x1024、步长为2的卷积层，1x1x512的卷积层，1x1x1024的卷积层和残差层；当前场景图像通过主干网络得到3个分支的分支特征图，分支特征图的尺寸分别为13x13x255、26x26x255、52x52x255，对不同特征图进行预测进行非极大值抑制，得到交通参与者的检测框。
49.可选地，将当前图像特征、当前检测框和当前行驶数据进行拼接，得到待预测数据，包括：根据预设的第一全连接层对当前图像特征和当前检测框进行特征提取，得到第一特征数据，并根据预设的第二全连接层对当前行驶数据进行特征提取，得到第二特征数据；将第一特征数据和第二特征数据进行特征拼接，得到待预测数据。
50.可选地，将待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，包括：行人意图预测模型包括时序特征提取单元和二分类单元：通过时序特征提取单元对待预测数据进行时序特征提取，得到待预测数据的时序特征；通过二分类单元对时序特征进行二分类，得到二分类结果，基于二分类结果确定行人意图预测结果。
51.可选地，时序特征提取单元基于gru(gated recurrent unit)神经网络模型建立，二分类单元基于mlp(multilayer perceptron)神经网络模型建立。
52.在一些实施例中，通过二分类单元对时序特征进行二分类，得到二分类结果，其中，二分类结果包括行人存在横穿意图的第一概率和行人无横穿意图的第二概率；基于第一概率和第二概率之间的比较结果确定行人意图预测结果。
53.结合图2所示，本公开实施提供了一种行人意图预测方法，包括：将目标车辆的当前场景图像分别输入图像特征提取模型和识别算法模型，得到图像特征提取模型输出的当前图像特征(env feature)和识别算法模型输出的交通参与目标对应的当前检测框；据预设的第一全连接层(fully connected layer，fc)对当前图像特征和当前检测框进行特征提取，得到第一特征数据；根据预设的第二全连接层对当前行驶数据(ego motion)进行特征提取，得到第二特征数据；将第一特征数据和第二特征数据进行特征拼接(concat)，得到待预测数据；通过时序特征提取单元对待预测数据进行时序特征提取，得到待预测数据的时序特征，其中，时序特征提取单元基于gru神经网络模型建立；通过二分类单元对时序特征进行二分类，得到二分类结果，基于二分类结果确定行人意图预测结果，其中，二分类单元基于mlp神经网络模型建立；基于二分类结果确定行人意图预测结果。
54.可选地，通过以下方法训练得到行人意图预测模型：获取目标车辆的原始样本集，其中，原始样本包括多个行驶时间段、各行驶时间段对应的行驶样本数据、各行驶时间段对应的场景图像样本、在各行驶时间段中目标行人的轨迹数据；根据图像卷积技术分别对各
场景图像样本进行特征提取，得到各场景图像样本对应的样本图像特征，并根据目标识别算法对场景图像样本中的交通参与目标进行目标识别，得到交通参与目标对应的样本检测框；根据轨迹数据确定目标行人与行驶危险区域之间的位置关系，基于各行驶时间段对应的位置关系确定目标行人的行人意图状态，其中，行驶危险区域根据在行驶时间段中目标车辆的车辆位置确定；分别对各行驶时间段对应的样本图像特征、样本检测框和行驶样本数据进行拼接，得到各行驶时间段对应的待预测样本，并将待预测样本对应的行人意图状态确定为待预测样本的意图样本标签；根据带有意图样本标签的待预测样本对预设的神经网络模型进行训练，将训练完成的神经网络模型确定为行人意图预测模型。
55.可选地，根据带有意图样本标签的待预测样本对预设的神经网络模型进行训练之前，方法还包括：按照预设比例将待预测样本划分为训练样本、验证样本、测试样本。
56.在一些实施例中，预设比例包括6:1:3。
57.可选地，通过以下方法确定行人意图状态：获取目标车辆的车辆位置；根据目标车辆的车辆位置建立笛卡尔坐标系，并以目标车辆为中心确定目标车辆的行驶危险区域；根据目标行人的轨迹数据确定目标行人是否位于行驶危险区域以内；若目标行人位于行驶危险区域以内，则将目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若目标行人位于行驶危险区域之外，则根据轨迹数据确定目标行人与行驶危险区域之间的平均距离，并将平均距离与预设的安全距离阈值进行比较；若平均距离小于安全距离阈值，则将目标行人的行人意图状态确定为存在穿越车辆行驶路线意图；若平均距离大于或等于安全距离阈值，则将目标行人的行人意图状态确定为无穿越车辆行驶路线意图。
58.结合图3所示，本公开实施例提供一种行人意图状态确定方法，包括：获取目标车辆的车辆位置和目标行人的轨迹数据，其中，目标行人包括行人a、行人b和行人c；根据目标车辆的车辆位置建立笛卡尔坐标系，以目标车辆为中心确定目标车辆的行驶危险区域，其中，目标车辆的坐标点d的坐标为(0,0)，行驶危险区域为矩形，行驶危险区域的四个顶点分别为顶点e、顶点f、顶点g、顶点h；根据行人a的轨迹数据确定行人a位于行驶危险区域以内，则将行人a的行人意图状态确定为存在穿越车辆行驶路线意图；根据行人b的轨迹数据确定行人b位于行驶危险区域之外，且行人b与行驶危险区域之间的平均距离小于安全距离阈值d，则将行人b的行人意图状态确定为存在穿越车辆行驶路线意图；根据行人c的轨迹数据确定行人c位于行驶危险区域之外，且行人c与行驶危险区域之间的平均距离大于安全距离阈值d，则将行人c的行人意图状态确定为无穿越车辆行驶路线意图。
59.结合图4所示，本公开实施例提供了一种行人意图预测系统，包括获取模块401、特征提取模块402、目标识别模块403和预测模块404。获取模块401用于获取目标车辆的当前行驶数据以及目标车辆的当前场景图像；特征提取模块402用于根据图像卷积技术对当前场景图像进行特征提取，得到当前场景图像对应的当前图像特征；目标识别模块403用于根据预设的目标识别算法对当前场景图像中的交通参与目标进行目标识别，得到交通参与目标对应的当前检测框；预测模块404用于将当前图像特征、当前检测框和当前行驶数据进行拼接，得到待预测数据，并将待预测数据输入预设的行人意图预测模型，得到行人意图预测结果，其中，行人意图预测模型通过带有意图样本标签的待预测样本对预设的神经网络模型训练得到，待预测样本包括样本图像特征、样本检测框和行驶样本数据。
60.采用本公开实施例提供的行人意图预测系统，通过从目标车辆的当前场景图像中
确定当前图像特征，并从当前场景图像中确定交通参与目标对应的当前检测框，进而将当前图像特征、当前检测框和目标车辆的当前行驶数据输入行人意图预测模型，得到行人意图预测结果。这样，不仅通过当前图像特征将场景图像作为预测参考，还对当前场景图像中的交通参与目标进行目标识别，将场景中的交通参与目标而非只是行人作为预测参考，同时，将车辆自身的行驶数据作为待预测数据，以参考行人与车辆之间的联系，相较于通过单一参考物预测行人意图，根据当前图像特征、当前检测框和当前行驶数据预测行人意图，提高了预测特征使用率，从而提高预测结果的准确性。
61.图5示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。需要说明的是，图5示出的电子设备的计算机系统500仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
62.如图5所示，计算机系统500包括中央处理单元(central processing unit，cpu)501，其可以根据存储在只读存储器(read-only memory，rom)502中的程序或者从储存部分508加载到随机访问存储器(random access memory，ram)503中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在ram 503中，还存储有系统操作所需的各种程序和数据。cpu 501、rom 502以及ram 503通过总线504彼此相连。输入/输出(input/output，i/o)接口505也连接至总线504。
63.以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。
64.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本技术的系统中限定的各种功能。
65.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介
质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
66.本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
67.本公开实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
68.本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。
69.在本实施例中，存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
70.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、图形处理器(graphics processing unit，简称gpu)，网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
71.以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本技术中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和
“”
(the)旨在同样包括复数形式。类似地，如在本技术中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本技术中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
72.本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬
件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
73.本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
74.附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。