目标检测方法、设备以及存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种目标检测方法、设备以及存储介质。


背景技术：

2.随着社会的进步，大型商场，机场，旅游景点等场地聚集的人数越来越多，人员分布也越来越密集，这让我们不得不更加注重公共场所的安全问题。同时可以看到安检机应用的场地越来越多，而安检机中一个重要的应用就是人们随身携带包裹中物品的检测。目前，常见的应用于安检机上的物品检测方法主要是使用x光对包裹进行扫描，并基于扫描得到的可见光图像进行检测，得到该包裹的检测结果。但是，随着安检市场的丰富，各种类型的安检机各有不同，例如不同厂商的渲染成像风格各不相同，导致成像的颜色会不尽相同。传统的方法无法很好地适应在不同的安检机。


技术实现要素：

3.本技术至少提供一种目标检测方法、设备以及存储介质。
4.本技术提供了一种目标检测方法，包括：获取对待检测对象采集得到的基础图像以及对基础图像处理得到的灰度图像；对基础图像进行目标检测，得到第一检测结果，以及对灰度图像进行目标检测，得到第二检测结果；将第一检测结果和第二检测结果进行融合，得到针对待检测对象最终的目标检测结果。
5.本技术提供了一种目标检测装置，包括：图像获取模块，用于获取对待检测对象采集得到的基础图像以及对基础图像处理得到的灰度图像；目标检测模块，用于对基础图像进行目标检测，得到第一检测结果，以及对灰度图像进行目标检测，得到第二检测结果；结果融合模块，用于将第一检测结果和第二检测结果进行融合，得到针对待检测对象最终的目标检测结果。
6.本技术提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述目标检测方法。
7.本技术提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述目标检测方法。
8.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
9.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
10.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申
请的实施例，并与说明书一起用于说明本技术的技术方案。
11.图1是本技术目标检测方法一实施例的流程示意图；
12.图2是本技术目标检测方法一实施例示出第一特征提取模块的结构示意图；
13.图3是本技术目标检测方法一实施例示出第一更新的流程示意图；
14.图4是本技术目标检测方法一实施例示出目标检测模型的部分结构示意图；
15.图5是本技术目标检测方法一实施例的另一流程示意图；
16.图6是本技术目标检测装置一实施例的结构示意图；
17.图7是本技术电子设备一实施例的结构示意图；
18.图8是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
19.下面结合说明书附图，对本技术实施例的方案进行详细说明。
20.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
21.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
22.请参阅图1，图1是本技术目标检测方法一实施例的流程示意图。
23.如图1所示，本公开实施例提供的目标检测方法可以包括如下步骤：
24.步骤s11：获取对待检测对象采集得到的基础图像以及对基础图像处理得到的灰度图像。
25.一些应用场景中，目标检测方法应用于安检机上，基础图像可以是由x光对包裹扫描得到图像。一些应用场景中，目标检测方法可以应用于人脸识别领域，基础图像可以是相机对人脸拍摄得到的可见光图像，一些应用场景中，基础图像还可以是热像图等等。目标检测方法可以应用于多个领域，各领域具体获取基础图像的方式以及基础图像的具体表现形式由具体使用场景设定，此处不做过多叙述。
26.其中，获取基础图像的方式可以是目标检测方法的执行设备对待检测对象采集得到，或由其他与执行设备建立通信连接的设备对待检测设备采集得到基础图像之后，该设备传输至执行设备。
27.步骤s12：对基础图像进行目标检测，得到第一检测结果，以及对灰度图像进行目标检测，得到第二检测结果。
28.示例性地，可以使用具备目标检测功能的网络模型对基础图像或灰度图像进行目标检测，得到对应的检测结果，还可以是使用目标检测算法对基础图像或灰度图像进行目标检测，得到对应的检测结果。
29.步骤s13：将第一检测结果和第二检测结果进行融合，得到针对待检测对象最终的目标检测结果。
30.其中，将第一检测结果和第二检测结果进行融合的方式可以是将两个检查结果中各项指标进行加权平均，或从第一检测结果或第二检测结果中基于设定的规则选择更为准确的检测结果作为最终的目标检测结果。
31.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
32.一些公开实施例中，上述对灰度图像进行目标检测，得到第二检测结果的步骤由第一网络执行。其中，对基础图像进行目标检测，得到第一检测结果的步骤由第二网络执行。其中，第一网络和第二网络的结构可以相同，也可以不同，具体可以是ssd、yolo等系列的网络。其中，第一网络和第二网络可以同时进行训练。
33.其中，第一网络包括若干个第一特征提取层。其中，各若干第一提取层可以是第一网络中第一特征提取模块的其中一部分组成部分。上述步骤s12中“对灰度图像进行目标检测，得到第二检测结果”具体可以包括以下步骤：
34.利用第一网络中并列设置的k1个第一特征提取层分别对灰度图像进行一次特征提取，得到关于待检测对象的k1个第一特征。接着，将k1个第一特征进行融合，得到待检测对象的第二特征。然后基于第二特征，得到第二检测结果。其中，k1个并列设置的第一特征层中至少部分第一特征提取层中的卷积核大小不同，k1为大于1的整数。请同时参考图2，图2是本技术目标检测方法一实施例示出第一特征提取模块的结构示意图。如图2所示，第一特征提取层的数量可以是4个，3*3、1*1、5*5分别表示对应第一特征提取层的卷积核的大小，即第一特征提取层可以是卷积层。不同尺寸的卷积能够让网络有更大的感受野，故通过设置不同尺寸的卷积，能够获取灰度图像不同尺度的纹理特征。
35.其中，由于灰度图像没有了彩色信息，为进一步加强图像中的纹理信息，能够使得第二检测结果更为准确。一些公开实施例中，在执行上述将k1个第一特征进行融合，得到待检测对象的第二特征之前，还包括以下步骤：
36.利用预设算子分别对至少一个第一特征进行边缘检测，对应得到至少一个新的第一特征。如图2所示，不同的第一特征提取层得到的第一特征进行边缘检测的预设算子可以相同，也可以不同。示例性地，预设算子可以是第一预设算子，也可以是第二预设算子。其中，第一预设算子可以是sobal算子，第二预设算子可以是laplacian算子。通过使用多种算子，能够提取得到更为丰富的边缘信息和纹理信息，使得模型的泛化能力更强。
37.在此基础上，上述将k1个第一特征进行融合，得到待检测对象的第二特征的步骤可以是：将k1个新的第一特征进行融合，得到待检测对象的第二特征。
38.如上述，对灰度图像进行目标检测，得到第二检测结果的步骤由第一网络执行。其中，对灰度图像进行目标检测，得到第二检测结果的方式可以是：
39.利用k1个第一特征提取层对灰度图像进行一次特征提取，得到待检测对象的第二特征。其中，k1为大于1的整数。其中，利用k1个第一特征提取层对灰度图像进行一次特征提取，得到待检测对象的第二特征的方式与上述方式相同，或在其他实施例中，也可以是使用k1个第一特征提取层中的一个或部分用于获取该第二特征。得到第二特征之后，利用k2个第二特征提取层对第二特征进行二次特征提取，得到待检测对象的第三特征。然后，基于第
三特征，得到待检测对象的第二检测结果。其中，k2个第二特征提取层可以作为第一网络中第二特征提取模块的其中一部分组成结构。k2为大于或等于1的整数。
40.其中，每一第二特征提取层可以包括多个通道。多个可以是两个或两个以上。每一通道对应输出一个候选第三特征。上述利用k2个第二特征提取层对第二特征进行二次特征提取，得到待检测对象的第三特征的方式可以是：
41.对各所述第二特征提取层中不同通道对应的候选第三特征进行特征更新。其中，特征更新包括第一更新和/或第二更新。然后，基于特征更新的结果，得到各第二特征提取层对应的第三特征。
42.其中第一更新包括：基于每一第二特征提取层中各通道对应的候选第三特征之间的第一关系，对各第二特征提取层中不同通道对应的候选第三特征进行第一更新。在特征更新包括第一更新的情况下，基于特征更新的结果，得到各第二特征提取层对应的第三特征的方式可以是：基于第一更新的结果，得到各第二特征提取层对应的第三特征。
43.其中，第二更新包括：基于不同第二特征提取层中同一通道对应的候选第三特征之间的第二关系，对各第二特征提取层中不同通道对应的候选第三特征进行第二更新。在特征更新包括第二更新的情况下，基于特征更新的结果，得到各第二特征提取层对应的第三特征的方式可以是：基于第二更新的结果，得到各第二特征提取层对应的第三特征。
44.一些公开实施例中，特征更新包括第一更新和第二更新，上述利用k2个第二特征提取层对第二特征进行二次特征提取，得到待检测对象的第三特征的方式可以是：
45.基于每一第二特征提取层中各通道对应的候选第三特征之间的第一关系，对各第二特征提取层中不同通道对应的候选第三特征进行第一更新，以及，基于不同第二特征提取层中同一通道对应的候选第三特征之间的第二关系，对各第二特征提取层中不同通道对应的候选第三特征进行第二更新。然后，基于第一更新的结果和第二更新的结果，得到各第二特征提取层对应的第三特征。
46.其中，候选第三特征为特征图。可选地，本公开实施例所述的所有特征均为特征图。第一关系为同一第二特征提取层下特征图中同一像素点在不同通道之间的像素值之间的大小关系。也就是，第一关系为各不同通道输出的特征图(候选第三特征)中同一像素点在不同通道之间的像素值之间大大小关系。
47.上述基于每一第二特征提取层中各通道对应的候选第三特征之间的第一关系，对各第二特征提取层中不同通道对应的候选第三特征进行更新的方式可以是：
48.对于每一第二特征提取层，以预设通道为起始通道，保持起始通道的候选第三特征不变，对于第二特征提取层中第n通道的每个像素点，将自起始通道至第n通道中像素点的最大像素值，作为第n通道像素点的像素值。请同时参见图3，图3是本技术目标检测方法一实施例示出第一更新的流程示意图。如图3所示，某一第二特征提取层中包括多个通道，每个通道输出一张特征图，以第一通道作为起始通道，从上到下的顺序依次为第二通道、第三通道
……
第n通道，其中，第一通道输出的特征图中各像素点的像素值保持不变，即起始通道的候选第三特征不变。第二通道输出的特征图中各像素点的像素值更新为第一通道和第二通道输出的特征图中对应位置的最大像素值，第三通道至第n通道输出的特征图更新方式同理，此处不再赘述。
49.其中，候选第三特征为特征图，第二关系为同一通道下特征图中同一像素点在不
同第二特征提取层中的像素值大小关系。上述基于不同第二特征提取层中同一通道对应的候选第三特征之间的第二关系，对各第二特征提取层中不同通道对应的候选第三特征进行更新的方式可以是：
50.对于每一通道，以预设第二特征提取层为起始层，保持起始层对应通道的候选第三特征不变。对于该通道在第n个第二特征提取层中每个像素点，将自起始层至第n个第二特征层中像素点的最大值，作为通道在第n个第二特征提取层中的像素值。示例性地，各第二特征提取层为级联设置，以首级第二特征提取层作为起始层，从左至右分别为第二个第二特征提取层、第三个第二特征提取层
……
第n个第二特征提取层。每一第二特征提取层包含多个通道，对于每个通道输出的候选第三特征都可以进行第二更新。即，保持第一个第二特征提取层中各通道输出的候选第三特征不变，第二个第二特征提取层中各通道输出的特征图中各像素点的像素值为第一个第二特征提取层和第二个第二特征提取层之间同一位置的像素值最大值，第三个第二特征提取层至第n个第二特征提取层的更新方式同理，此处不做过多叙述。
51.一些公开实施例中，第一网络包括分别与个第二特征提取层级联的若干第三特征提取层，第三特征提取层用于对候选第三特征进行特征提取，以提取待检测对象不同尺度的特征。
52.上述基于特征更新的结果，得到各第二特征提取层对应的第三特征的方式可以是：将第一更新的结果与第二更新的结果进行融合，得到融合结果。然后，将融合结果与第三特征提取层输出的第四特征、以及若干候选第三特征进行融合，得到第三特征。其中，第三特征提取层的数量也可以是多个，各第三特征提取层为级联设置。示例性地，第三特征提取层的首级与级联的第二特征提取层的尾级相连。
53.请同时参考图4，图4是本技术目标检测方法一实施例示出目标检测模型的部分结构示意图。如图4所示，若干个级联的第二特征提取层为金字塔多尺度特征提取中的一个子层。在其他实施例中，也可对金字塔多尺度特征提取中的其他层输出的特征进行更新。图4中，将金字塔多尺度特征提取中的第二层作为第二特征提取层，通过从上到下空间特征增强模块执行上述第一更新，从左到右空间特征增强模块执行上述第二更新，第一更新过程和第二更新过程彼此独立。将第一更新的结果和第二更新的结果通过1*1的卷积将二者进行融合，将融合之后的结果以及若干个候选第三特征以及多尺度特征提取中下一层输出的若干个第四特征，进行融合，得到第三特征。如图4所示，第三特征提取层之后还连接有第四特征提取层，第四特征提取层输出第五特征，第三特征和第五特征可以分别得到两个候选检测结果，将两个候选检测结果进行融合，得到最终的第二检测结果。其中，两个候选检测结果进行融合的方式可参考第一检测结果和第二检测结果的方式。如图4所示，第二特征提取层之前还可包括第五特征提取层，第五特征提取层用于与第一特征提取层连接，用于对第一特征提取层输出的第二特征进行特征提取，并将对第二特征进行特征提取得到的新的第二特征输入第二特征提取层，用于得到第三特征。通过设置左到右空间特征增强模块以及从上到下空间特征增强模块能够从上到下，从左到右获取目标检测模型中更大的响应值。本公开实施例中提出的特征融合的方式可以是concat方式。示例性地，最后将上到下和从左到右的增强模块通过concat的方式结合信息，1*1卷积将两个模块信息融合和压缩，以获取到最终输出，最终输出与原fpn不同阶段输出的特征图进行concat连接后进行各层融
合。
54.一些公开实施例中，第一检测结果和第二检测结果中包括待检测对象中若干目标对象的位置、各目标对象的类别以及各目标对象属于对应类别的置信度。示例性地，待检测对象为行李包裹，目标对象为管制刀具、目标对象的位置为目标对象在基础图像或灰度图像中的位置、目标对象的类别可以是管制刀具、易燃易爆物等其他危险品类别，目标对象属于对应类别的置信度可以是该目标对象属于管制刀具或属于易燃易爆物的置信度。其中，第一检测结果和第二检测结果可能存在区别，通过将第一检测结果和第二检测结果进行融合，能够得到更为准确的目标检测结果。可选地，目标对象的位置可以包括目标对象的中心点所处位置以及包含目标对象的包围框的位置和尺寸(长、宽)。
55.上述步骤s13可以包括以下步骤：
56.判断目标对象是否均存在与第一检测结果和第二检测结果中。示例性地，获取目标对象在第一检测结果和第二检测结果中位置之间的交并比。即，获取第一检测结果中每一包围框与第二检测结果中各个包围框之间的交并比，若两个包围框的交并比大于或等于预设交并比，则认为两个包围框对应的目标对象为同一目标对象。即，响应于交并比大于或等于预设交并比，确定该目标对象均存在于第一检测结果和第二检测结果中。响应于交并比小于预设交并比，确定目标对象只存在与第一检测结果或第二检测结果中。示例性地，目标对象a在第一检测结果中的包围框在第二检测结果中不存在与该包围框之间的交并比大于或等于预设交并比的包围框，则确定目标对象a只存在与第一检测结果中。
57.响应于目标对象均存在于第一检测结果和第二检测结果中，将第一检测结果和第二检测结果融合，得到待检测对象最终的目标检测结果。或，响应于目标对象只存在于第一检测结果或第二检测结果中，基于目标对象所属的检测结果，得到最终的检测结果。
58.其中，上述响应于目标对象均存在于第一检测结果和第二检测结果中，将第一检测结果和第二检测结果融合，得到待检测对象最终的目标检测结果的方式可以是：将第一检测结果和第二检测结果中目标对象的位置进行加权融合，得到目标对象最终的位置。示例性地，请同时参见图5，图5是本技术目标检测方法一实施例的另一流程示意图。如图5所示，假设第一检测结果中目标对象b的检测结果为(x1,y1,w1,h1,c1,conf1)，x1、y1分别表示目标对象b中心点(可以认为是包围框的中心点)的横坐标和纵坐标，w1、h1分别表示目标对象b的包围框的长度和宽度，c1表示目标对象b所属类别，conf1表示目标对象b属于该类别的置信度。假设第二检测结果中目标对象b的检测结果为(x2,y2,w2,h2,c2,conf2)，x2、y2分别表示目标对象b中心点(可以认为是包围框的中心点)的横坐标和纵坐标，w2、h2分别表示目标对象b的包围框的长度和宽度，c2表示目标对象b所属类别，conf2表示目标对象b属于该类别的置信度。
59.上述将第一检测结果和第二检测结果中目标对象的位置进行加权融合，得到目标对象最终的位置的方式为(m*(x1,y1,w1,h1)+(1-m)*(x2,y2,w2,h2))，其中，m表示融合权重。m可以由用户自定义或目标检测模型训练得到。一些应用场景中，m介于0-1之间，用于调节前向推理的最终输出。在目标检测模型的训练过程中，m从第一预设值逐渐增大，也就是刚开始灰度图像对应的第二检测结果对目标检测结果的影响，相对于第一检测结果对目标检测结果的影响更大。
60.上述响应于目标对象均存在于第一检测结果和第二检测结果中，将第一检测结果
和第二检测结果融合，得到待检测对象最终的目标检测结果的方式还可以是：
61.响应于目标对象在第一检测结果和第二检测结果中的类别相同，将该类别作为目标对象最终的类别。和/或，响应于目标对象在第一检测结果和第二检测结果中的类别不相同，基于各检测结果对应的预设权重，更新各检测结果中目标对象属于对应类别的置信度。其中，第一检测结果的预设权重与上述融合权重相同为m，第二检测结果的预设权重为1-m。
62.示例性地，上述响应于目标对象在第一检测结果和第二检测结果中的类别相同，将该类别作为目标对象最终的类别之外，置信度更新为m*conf1+(1-m)*conf2。
63.上述响应于目标对象在第一检测结果和第二检测结果中的类别不相同，基于各检测结果对应的预设权重，更新各检测结果中目标对象属于对应类别的置信度可以是：继上例，若目标对象b均存在与第一检测结果和第二检测结果中，但目标对象b在两个检测结果中所属类别不同，则更新目标对象b在两个检测结果中的置信度，将目标对象b在第一检测结果中的置信度更新为m*conf1，将目标对象b在第二检测结果中的置信度更新为(1-m)*conf2，比较二者大小，将置信度大的类别作为目标对象b在目标检测结果中的类别，在目标检测结果中的置信度可以是该类别对应的更新前的置信度也可以是更新后的置信度。
64.上述响应于目标对象只存在于第一检测结果或第二检测结果中，基于目标对象所属的检测结果，得到最终的检测结果的方式可以是：获取目标对象所属检测结果对应的预设权重，将预设权重与目标对象对应的置信度相乘的结果，作为目标对象最终的置信度。示例性地，若目标对象b仅存在与第一检测结果中，则保持目标对象b所属类别不变，将置信度更新为(m*conf1)。若目标对象b仅存在与第二检测结果中，则保持目标对象b所属类别不变，将置信度更新为(1-m)*conf2。
65.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
66.另外，通过将彩色和灰度图像对应的检测结果融合的方式减少颜色对于同一算法的影响，增强了目标检测模型的鲁棒性。
67.其中，目标检测方法的执行主体可以是目标检测装置，例如，目标检测装置可以是终端设备或服务器或其它处理设备执行，其中，终端设备可以为安防系统中的监控设备、网络硬盘录像机、用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该目标检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
68.请参阅图6，图6是本技术目标检测装置一实施例的结构示意图。目标检测装置20包括图像获取模块21、目标检测模块22以及结果融合模块23。图像获取模块21，用于获取对待检测对象采集得到的基础图像以及对基础图像处理得到的灰度图像；目标检测模块22，用于对基础图像进行目标检测，得到第一检测结果，以及对灰度图像进行目标检测，得到第二检测结果；结果融合模块23，用于将第一检测结果和第二检测结果进行融合，得到针对待检测对象最终的目标检测结果。
69.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检
测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
70.其中，各个模块的功能可参见目标检测方法实施例所述，此处不再赘述。
71.请参阅图7，图7是本技术电子设备一实施例的结构示意图。电子设备30包括存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述任一目标检测方法实施例中的步骤。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
72.具体而言，处理器32用于控制其自身以及存储器31以实现上述任一目标检测方法实施例中的步骤。处理器32还可以称为cpu(central processing unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。
73.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
74.请参阅图8，图8是本技术计算机可读存储介质一实施例的结构示意图。计算机可读存储介质40存储有能够被处理器运行的程序指令41，程序指令41用于实现上述任一目标检测方法实施例中的步骤。
75.上述方案，通过分别对基础图像和对基础图像处理得到的灰度图像进行目标检测，再将检测得到的两个检测结果进行融合得到目标检测结果，相比于直接将对基础图像进行目标检测得到的检测结果作为最终的目标检测结果而言，前者获取得到的目标检测结果更为准确。
76.在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
77.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
78.在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
79.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。