一种模型训练的方法、目标检测的方法及装置与流程

1.本说明书涉及计算机技术领域，尤其涉及一种模型训练的方法、目标检测的方法及装置。


背景技术：

2.目标物检测是识别出图像中有哪些物体，并确定出物体的位置和大小，是计算机视觉领域的核心问题之一。
3.目前，通常通过iou(交并比)的方法处理每个图像区域，以确定出物体的目标区域。由于，较大范围的图像区域往往具有更为丰富的特征信息，容易产生较高的置信度，以及较大的iou，因此，这种方法偏向于输出较大范围的图像区域。但是，在存在大量密集物体的场景中，物体间会出现相互遮挡、物体间的间距太近等情况。在这种情况下，若检测模型偏向于输出较大范围的图像区域，就会产生大量的较大范围的图像区域包围两个目标物的情况，造成对目标物的漏检。
4.因此，如何能够提高检测模型确定出的图像区域的准确性，则是一个亟待解决的问题。


技术实现要素：

5.本说明书提供一种模型训练的方法、目标检测的方法及装置，以部分的解决现有技术存在的上述问题。
6.本说明书采用下述技术方案：
7.本说明书提供了一种模型训练的方法，包括：
8.获取待检测图像，以及确定所述待检测图像包含的目标物对应的标注区域；
9.将所述待检测图像输入到待训练的检测模型中，以确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域；
10.针对每个候选区域，确定所述标注区域与该候选区域之间的重叠度，将所述重叠度大于设定阈值的各个候选区域，作为优选区域；
11.针对每个优选区域，若该优选区域落入所述标注区域所占区域内，将该优选区域作为目标区域，并以最小化所述目标区域与所述标注区域之间的偏差为优化目标，对检测模型进行训练。
12.可选地，将所述待检测图像输入到待训练的检测模型中，以确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域，具体包括：
13.将所述待检测图像输入到待训练的检测模型中，以使所述检测模型将所述待检测图像划分成不同尺寸的图像区域，确定划分出的图像区域属于所述目标物的概率，并根据所述概率，确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域。
14.可选地，根据所述概率，确定所述检测模型识别出的所述目标物在所述待检测图
像中所处的各图像区域，具体包括：
15.根据所述概率，从划分出的图像区域中选取图像区域；
16.根据所述待检测图像的图像特征，对选取出的图像区域在所述待检测图像中的区域边界位置进行调整，以得到各候选区域。
17.可选地，以最小化所述目标区域与所述标注区域之间的偏差为优化目标，对检测模型进行训练，具体包括：
18.针对每个图像区域，若该图像区域属于所述目标物的概率小于设定概率阈值，将该图像区域作为对照图像区域；
19.以最小化所述目标区域与所述标注区域之间的偏差，以及所述对照图像区域属于所述目标物的概率与所述对照图像区域对应的标注之间的偏差为优化目标，对检测模型进行训练。
20.可选地，针对每个优选区域，若该优选区域落入所述标注区域所占区域内，将该优选区域作为目标区域，具体包括：
21.确定所述标注区域的右上角顶点位置以及左下角顶点位置；
22.针对每个优选区域，若该优选区域的右上角顶点位置的横纵坐标均小于所述标注区域的右上角顶点位置的横纵坐标，且该优选区域的左下角顶点位置的横纵坐标均大于所述标注区域的左下角顶点位置的横纵坐标，将该优选区域作为目标区域。
23.可选地，将该优选区域作为目标区域，具体包括：
24.根据所述待检测图像中的该优选区域对应的图像特征，确定该优选区域对应的类别概率；
25.根据所述待检测图像中的该优选区域对应的图像特征，以及该优选区域对应的类别概率，对该优选区域在所述待检测图像中的区域边界位置进行调整，得到调整后的优选区域，将调整后的优选区域作为目标区域。
26.本说明书提供了一种目标检测的方法，包括：
27.获取待检测图像；
28.将所述待检测图像输入到检测模型中，确定待检测图像中的目标区域，所述检测模型是通过上述模型训练的方法训练得到的；
29.根据待检测图像中的目标区域，对待检测图像中包含的目标物进行检测。
30.本说明书提供了一种模型训练的装置，包括：
31.获取模块，用于获取待检测图像，以及确定所述待检测图像包含的目标物对应的标注区域；
32.输入模块，用于将所述待检测图像输入到待训练的检测模型中，以确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域；
33.确定模块，用于针对每个候选区域，确定所述标注区域与该候选区域之间的重叠度，将所述重叠度大于设定阈值的各个候选区域，作为优选区域；
34.训练模块，用于针对每个优选区域，若该优选区域落入所述标注区域所占区域内，将该优选区域作为目标区域，并以最小化所述目标区域与所述标注区域之间的偏差为优化目标，对检测模型进行训练。
35.本说明书提供了一种目标检测的装置，包括：
36.接收模块，用于获取待检测图像；
37.确定模块，用于将所述待检测图像输入到检测模型中，确定待检测图像中的目标区域，所述检测模型是通过上述模型训练的方法训练得到的；
38.检测模块，用于根据待检测图像中的目标区域，对待检测图像中包含的目标物进行检测。
39.本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法以及目标检测的方法。
40.本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法以及目标检测的方法。
41.本说明书采用的上述至少一个技术方案能够达到以下有益效果：
42.在本说明书提供的模型训练的方法以及目标检测的方法中，首先，获取待检测图像，以及确定待检测图像包含的目标物对应的标注区域。其次，将待检测图像输入到待训练的检测模型中，以确定检测模型识别出的目标物在待检测图像中所处的各图像区域，作为各候选区域。而后，针对每个候选区域，确定标注区域与该候选区域之间的重叠度，将重叠度大于设定阈值的各个候选区域，作为优选区域。最后，针对每个优选区域，若该优选区域落入标注区域所占区域内，将该优选区域作为目标区域，并以最小化目标区域与标注区域之间的偏差为优化目标，对检测模型进行训练。
43.从上述方法中可以看出，本方法可以将待检测图像输入到待训练的检测模型中，确定标注区域与候选区域之间的重叠度，将重叠度大于设定阈值的各个候选区域，作为优选区域，若优选区域落入标注区域所占区域内，将优选区域作为目标区域，使得检测模型确定出的目标区域较小，避免出现较大范围的图像区域包围两个目标物的情况，造成对目标物的漏检，从而提高检测模型确定出的目标区域的准确性。
附图说明
44.此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
45.图1为本说明书中一种模型训练的方法的流程示意图；
46.图2为本说明书实施例提供的每个位置点对应的不同尺寸的图像区域的示意图；
47.图3为本说明书实施例提供的优选区域落入标注区域所占区域内的示意图；
48.图4为本说明书实施例提供的模型结构的示意图；
49.图5为本说明书中一种目标检测的方法的流程示意图；
50.图6为本说明书提供的一种模型训练的装置示意图；
51.图7为本说明书提供的一种目标检测的装置示意图；
52.图8为本说明书提供的一种对应于图1的电子设备的示意图。
具体实施方式
53.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施
例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
54.以下结合附图，详细说明本说明书各实施例提供的技术方案。
55.图1为本说明书中一种模型训练的方法的流程示意图，包括以下步骤：
56.s100：获取待检测图像，以及确定所述待检测图像包含的目标物对应的标注区域。
57.在本说明书实施例中，对检测模型进行训练的执行主体可以是服务器，也可以是诸如台式电脑等电子设备，为了便于描述，下面仅以服务器为执行主体，对本说明书提供的检测模型的训练方法进行说明。
58.在本说明书实施例中，服务器可以获取待检测图像，以及确定待检测图像包含的目标物对应的标注区域。这里提到的标注区域可以是指预先标注出的待检测图像中的目标物所在的图像区域，以及目标物对应的类别。
59.具体的标注方法可以是工作人员通过检测框对目标物所在的图像区域进行标注。也可以是指服务器通过专门用于图像标注的模型对目标物所在的图像区域进行标注。
60.s102：将所述待检测图像输入到待训练的检测模型中，以确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域。
61.在本说明书实施例中，服务器可以将待检测图像输入到待训练的检测模型中，以确定检测模型识别出的目标物在待检测图像中所处的各图像区域，作为各候选区域。
62.具体的，服务器可以将待检测图像输入到待训练的检测模型中，以使检测模型将待检测图像划分成不同尺寸的图像区域，确定划分出的图像区域属于目标物的概率。这里提到的属于目标物的概率可以是指该图像区域是否存在目标物的概率。这里提到的不同尺寸的图像区域可以是指待检测图像中的每个位置点对应的不同尺寸的图像区域。具体如图2所示。
63.图2为本说明书实施例提供的每个位置点对应的不同尺寸的图像区域的示意图。
64.在图2中，针对每个位置点，该位置点对应有三种形状的图像区域，长宽比可以分别为1：1、2：1、1：2，并且，该位置点对应的每种形状的图像区域对应有三种比例的图像区域面积，面积比为1：4：16。基于此，该位置点对应有九个不同尺寸的图像区域。需要说明的是，本说明书可以根据业务需求对图像区域的形状、长宽比、面积比以及数量进行设定。
65.进一步的，服务器可以将待检测图像输入到待训练的检测模型中的特征提取层，确定待检测图像对应的图像特征。也就是说，这里提到的位置点可以用于表征待检测图像中的像素点，也可以是指待检测图像对应的图像特征中的特征点。其中，这里提到的特征提取层可以是有多个卷积层、多个池化层、多个激活函数层组成的。例如，13个卷积层、13个激活函数层、4个池化层。本说明书可以根据业务需求对卷积层、多个池化层、多个激活函数层的数量和排列顺序进行设定
66.其次，服务器可以根据待检测图像中的每个位置点对应的不同尺寸的图像区域的图像特征，确定每个位置点对应的不同尺寸的图像区域属于目标物的概率。
67.最后，服务器可以根据概率，确定检测模型识别出的目标物在待检测图像中所处的各图像区域，作为各候选区域。
68.具体的，选取图像区域的方法可以有多种，例如，服务器可以对每个位置点对应的
不同尺寸的图像区域属于目标物的概率进行排序，选取出排序序号在设定序号之前的若干个图像区域。再例如，服务器也可以选取出属于目标物的概率大于设定概率阈值的若干个图像区域。本说明书不对选取图像区域的方法进行限定。
69.需要说明的是，服务器还需要去除图像区域边界超过待检测图像边界的图像区域，以及去除图像区域面积小于设定面积的图像区域。
70.在实际应用中，从每个位置点对应的不同尺寸的图像区域中，选取出的属于目标物的概率较高的图像区域，仅是确定出目标物的大致位置。为了确定出准确率较高的图像区域，服务器还需要对确定出的图像区域在待检测图像中的区域边界位置进行调整。
71.在本说明书实施例中，服务器可以根据概率，从划分出的图像区域中选取图像区域。其次，服务器可以根据待检测图像的图像特征，对选取出的图像区域在待检测图像中的区域边界位置进行调整，以得到各候选区域。
72.具体的，服务器可以确定选取出的图像区域的中心位置的坐标(横坐标、纵坐标)、图像区域的宽度、图像区域的高度。其次，服务器可以根据选取出的图像区域对应的图像特征，确定选取出的图像区域对应的调整参数。最后，根据调整参数，对选取出的图像区域在待检测图像中的区域边界位置进行调整，以得到各候选区域。这里提到的调整参数包括：横向位移参数、纵向位移参数、宽度缩放参数、高度缩放参数。
73.服务器可以通过横向位移参数、纵向位移参数，移动选取出的图像区域的中心位置，通过宽度缩放参数、高度缩放参数，缩放选取出的图像区域的宽度和高度，以对选取出的图像区域在待检测图像中的区域边界位置进行调整，以得到各候选区域。
74.s104：针对每个候选区域，确定所述标注区域与该候选区域之间的重叠度，将所述重叠度大于设定阈值的各个候选区域，作为优选区域。
75.s106：针对每个优选区域，若该优选区域落入所述标注区域所占区域内，将该优选区域作为目标区域，并以最小化所述目标区域与所述标注区域之间的偏差为优化目标，对检测模型进行训练。
76.在实际应用中，服务器通常确定出标注区域与各个候选区域之间的重叠度，将重叠度最大的候选区域，作为目标区域。由于，较大范围的图像区域往往具有更为丰富的特征信息，容易产生较高的概率，因此，较大范围的候选区域的数量较多。并且，通常情况下，较大范围的候选区域与标注区域的重叠度大于较小范围的候选区域与标注区域的重叠度，因此，这种方法偏向于输出较大范围的图像区域。
77.在存在大量密集物体的场景中，物体间会出现相互遮挡、物体间的间距太近等情况。在这种情况下，若检测模型偏向于输出较大范围的图像区域，可能出现较大范围的目标区域包围两个目标物的情况，造成对目标物的漏检。基于此，服务器可以通过将落入标注区域所占区域内的图像区域，作为目标区域的方法，限制检测模型输出较大范围的图像区域，以避免出现较大范围的图像区域包围两个目标物的情况，从而提高检测模型的目标检测的准确率。
78.在本说明书实施例中，服务器可以针对每个候选区域，确定标注区域与该候选区域之间的重叠度，将重叠度大于设定阈值的各个候选区域，作为优选区域。这里提到的重叠度可以是指标注区域与候选区域之间的重叠区域的面积。也可以是指标注区域与候选区域的交集所占据的图像面积，除以标注区域与候选区域的并集所占据的图像面积。
79.而后，针对每个优选区域，若该优选区域落入标注区域所占区域内，将该优选区域作为目标区域。
80.具体的，服务器可以确定标注区域的右上角顶点位置以及左下角顶点位置。针对每个优选区域，若该优选区域的右上角顶点位置的横纵坐标均小于标注区域的右上角顶点位置的横纵坐标，且该优选区域的左下角顶点位置的横纵坐标均大于标注区域的左下角顶点位置的横纵坐标，将该优选区域作为目标区域。具体如图3所示。
81.图3为本说明书实施例提供的优选区域落入标注区域所占区域内的示意图。
82.在图3中，a点为该优选区域的右上角顶点位置。b点为该优选区域的左下角顶点位置。服务器可以通过这两个顶点位置确定出优选区域。c点为标注区域的右上角顶点位置。d点为标注区域的左下角顶点位置。若该优选区域的右上角顶点位置的横纵坐标均小于标注区域的右上角顶点位置的横纵坐标，且该优选区域的左下角顶点位置的横纵坐标均大于标注区域的左下角顶点位置的横纵坐标，就可以确定优选区域落入标注区域所占区域内。
83.当然，确定优选区域落入标注区域所占区域内的方法还有多种，例如，确定优选区域中的所有位置点，若确定标注区域中包含有优选区域的所有位置点，则确定优选区域落入标注区域所占区域内。
84.在上述方法中，服务器确定出优选区域中是否存在目标物的概率，而在实际应用中，服务器需要进一步的确定出图像区域中存在的目标物的类别，以得到设定业务对应的目标物的目标区域。这里提到的目标物是根据设定业务的需求，预先设定类别的物体，例如，共享单车、行人等。基于此，服务器需要确定出图像区域中的目标物的类别概率，以确定出设定业务对应的目标物所在的目标区域。
85.在本说明书实施例中，服务器可以根据待检测图像中的该优选区域对应的图像特征，确定该优选区域对应的类别概率。
86.其次，服务器可以根据待检测图像中的该优选区域对应的图像特征，以及该优选区域对应的类别概率，对该优选区域在待检测图像中的区域边界位置进行调整，得到调整后的优选区域，将优化后的优选区域作为目标区域。
87.最后，服务器可以以最小化目标区域与标注区域之间的偏差为优化目标，对检测模型进行训练。具体如图4所示。
88.图4为本说明书实施例提供的模型结构的示意图。
89.在图4中，服务器将待检测图像输入到检测模型中，通过检测模型中的特征提取层，确定待检测图像对应的图像特征。服务器可以将待检测图像划分成不同尺寸的图像区域，根据不同尺寸的图像区域中的图像特征，确定待检测图像中的不同尺寸的图像区域属于目标物的概率，以及确定不同尺寸的图像区域对应的调整参数。
90.其次，服务器可以根据概率，选取图像区域，并根据该图像区域对应的调整参数，对该图像区域在待检测图像中的区域边界位置进行调整，以得到候选区域。
91.其中，服务器可以以最小化候选区域与标注区域之间的偏差，以及待检测图像中的不同尺寸的图像区域属于目标物的概率与图像区域对应的标注之间的偏差为优化目标，对检测模型进行训练。
92.具体的，针对每个图像区域，若该图像区域属于目标物的概率小于设定概率阈值，将该图像区域作为对照图像区域。
93.服务器可以以最小化候选区域与标注区域之间的偏差，以及对照图像区域属于目标物的概率与对照图像区域对应的标注之间的偏差为优化目标，对检测模型进行训练。具体公式如下：
[0094][0095]
在上述公式中，i可以用于表征第i个候选区域。pi可以用于表征第i个候选区域内存在物体的概率。可以用于表征第i个候选区域内是否存在物体的标注。若候选区域内存在物体，为1，若候选区域内不存在物体，为0。其中，确定的方法可以是当候选区域的重叠度大于设定阈值时，认为优选区域内存在物体，为1，当候选区域的重叠度小于设定概率阈值时，认为该候选区域内不存在物体，为0。
[0096]
需要说明的是，重叠度小于设定阈值，且重叠度大于设定概率阈值的候选区域，作为忽略区域，不用于计算损失函数。
[0097]
γ可以用于表征超参数，在实际过程中，n
cls
和n
reg
差距过大，用参数λ平衡二者(如n
cls
＝256，n
reg
＝2400时，设置γ＝n
reg
÷ncls
≈10)，以避免两个损失之间的数值差距过大，使得检测模型可以同时对两个损失进行优化。
[0098]
ti可以用于表征从第i个图像区域到第i个候选区域的调整参数，可以用于表征从第i个图像区域到第i个标注区域的调整参数。从中可以看出，若该图像区域属于目标物的概率小于设定概率阈值，将该图像区域作为对照图像区域，而对照图像区域的为0，也就是说，仅计算属于目标物的概率的损失，不计算调整参数对应的损失。
[0099]
而后，服务器在通过检测模型确定出候选区域后，确定标注区域与候选区域之间的重叠度，将重叠度大于设定阈值的各个候选区域，作为优选区域。并在确定出优选区域之后，服务器可以根据待检测图像中的优选区域对应的图像特征，确定优选区域对应的类别概率。
[0100]
然后，服务器可以根据待检测图像中的优选区域对应的图像特征，确定优选区域对应的类别概率，以及优选区域对应的调整参数。根据优选区域对应的调整参数，对优选区域在待检测图像中的区域边界位置进行调整，得到调整后的优选区域，将优化后的优选区域作为目标区域。
[0101]
最后，服务器可以最小化目标区域与标注区域之间的偏差，对检测模型进行训练。具体公式如下：
[0102][0103]
在上述公式中，i可以用于表征第i个目标区域。qi可以用于表征第i个目标区域内的目标物的类别概率。可以用于表征第i个标注区域内的目标物的类别标注。wi可以用于表征从第i个优选区域到第i个目标区域的调整参数，可以用于表征从第i个优选区域到第i个标注区域的调整参数。
[0104]
需要说明的是，上述提到的检测模型所使用的框架可以是区域特征模型(region with cnn feature，rcnn)、快速的区域特征模型(fast region with cnn feature，fast rcnn)、更快的区域特征模型(faster region with cnn feature，faster rcnn)等模型结构，或是其他形式的模型结构，本说明书不对检测模型所使用的框架的具体形式进行限定。
[0105]
从上述过程中可以看出，本方法可以将待检测图像输入到待训练的检测模型中，确定标注区域与候选区域之间的重叠度，将重叠度大于设定阈值的各个候选区域，作为优选区域，若优选区域落入标注区域所占区域内，将优选区域作为目标区域，使得检测模型确定出的目标区域较小，避免出现较大范围的图像区域包围两个目标物的情况，造成对目标物的漏检，从而提高检测模型确定出的目标区域的准确性。
[0106]
本说明书实施例在检测模型的训练完成后，可以通过检测模型对待检测图像中包含的目标物进行检测，具体过程如图5所示。
[0107]
图5为本说明书中一种目标检测的方法的流程示意图。
[0108]
s500：获取待检测图像。
[0109]
s502：将所述待检测图像输入到检测模型中，确定待检测图像中的目标区域，所述检测模型是通过上述模型训练的方法训练得到的。
[0110]
s504：根据待检测图像中的目标区域，对待检测图像中包含的目标物进行检测。
[0111]
在本说明书实施例中，服务器可以获取待检测图像。
[0112]
其次，服务器可以将待检测图像输入到检测模型中，确定待检测图像中的目标区域。
[0113]
最后，服务器可以根据待检测图像中的目标区域，对待检测图像中包含的目标物进行检测。具体的，服务器可以确定出检测图像中包含的目标物的数量。
[0114]
从上述内容可以看出，服务器将通过这种方式训练后的检测模型应用到实际业务中，可以有效提高目标检测的准确性。
[0115]
以上为本说明书的一个或多个实施例提供的模型训练的方法，基于同样的思路，本说明书还提供了相应的模型训练的装置，如图6所示。
[0116]
图6为本说明书提供的一种模型训练的装置示意图，包括：
[0117]
获取模块600，用于获取待检测图像，以及确定所述待检测图像包含的目标物对应的标注区域；
[0118]
输入模块602，用于将所述待检测图像输入到待训练的检测模型中，以确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域；
[0119]
确定模块604，用于针对每个候选区域，确定所述标注区域与该候选区域之间的重叠度，将所述重叠度大于设定阈值的各个候选区域，作为优选区域；
[0120]
训练模块606，用于针对每个优选区域，若该优选区域落入所述标注区域所占区域内，将该优选区域作为目标区域，并以最小化所述目标区域与所述标注区域之间的偏差为优化目标，对检测模型进行训练。
[0121]
可选地，所述输入模块602具体用于，将所述待检测图像输入到待训练的检测模型中，以使所述检测模型将所述待检测图像划分成不同尺寸的图像区域，确定划分出的图像区域属于所述目标物的概率，并根据所述概率，确定所述检测模型识别出的所述目标物在所述待检测图像中所处的各图像区域，作为各候选区域。
array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0134]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0135]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0136]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0137]
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0138]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机
程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0139]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0140]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0141]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0142]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0143]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0144]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0145]
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0146]
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块
可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0147]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0148]
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。