图像中关键点的检测方法、检测装置及终端设备与流程

1.本申请属于图像处理技术领域，尤其涉及一种图像中关键点的检测方法、检测装置及终端设备。


背景技术：

2.近些年来，姿态估计在机器视觉领域得到了更多的关注，被广泛应用于增强现实、虚拟现实及手语识别等机器视觉任务中。该项技术需要对目标物体建立模型系统，然后将待检测图像输入到建立的模型系统中，输出目标物体在待检测图像中的位置。例如：建立手部的模型系统，然后将需要待检测图像输入到建立好的手部的模型系统中，输出手部在待检测图像中的位置。
3.现有技术中，通常采用关键点建模方法，即利用目标物体上的多个关键点建立目标物体的模型系统。相应的，模型系统的输出为目标物体的各个关键点在待检测图像中的位置。但是采用上述方法建立的模型系统存在以下缺点：当待检测图像中包含了除目标物体外的其他物体时，由于其他物体的信息对目标物体关键点的干扰，导致模型系统无法准确地检测出目标物体在图像中的位置。例如，待检测图像中包括手部(目标物体)和脸部(其他物体)，由于脸部颜色与手部相近，因此，脸部会对手部的关键点检测产生较大的干扰，进而影响手部关键点的检测结果。


技术实现要素：

4.本申请实施例提供了一种图像中关键点的检测方法、检测装置及终端设备，可以准确地检测出图像中目标物体的关键点位置。
5.第一方面，本申请实施例提供了一种图像中关键点检测方法，包括：
6.检测待处理图像中的目标物体，得到包含所述目标物体的检测框；
7.根据所述检测框获取所述待处理图像中包含所述目标物体的局部图像；
8.检测所述局部图像中所述目标物体上的关键点，得到所述目标物体上的关键点在所述局部图像中的第一位置信息；
9.根据所述目标物体上的关键点在所述局部图像中的第一位置信息，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息。
10.本申请实施例中，由于局部图像是通过对待处理图像进行目标物体的检测获取到的包含目标物体的图像，因此，局部图像中有效排除了其他物体对目标物体的干扰，进而保证了对局部图像进行目标物体上的关键点检测得到的检测结果(即目标物体上的关键点在局部图像中的位置信息)的准确性。由于目标物体上的关键点在局部图像中的位置信息是准确的，因此，根据目标物体上的关键点在局部图像中的位置信息确定出的目标物体上的关键点在待处理图像中的位置信息也是准确的。通过上述方法，能够准确地检测出待处理图像中目标物体的关键点位置。
11.在第一方面的一种可能的实现方式中，所述根据所述检测框获取所述待处理图像
中包含所述目标物体的局部图像，包括：
12.按照预设倍数扩大所述检测框，得到扩大框；
13.截取所述待处理图像中所述扩大框内图像，得到所述待处理图像中包含所述目标物体的局部图像。
14.在第一方面的一种可能的实现方式中，所述按照预设倍数扩大所述检测框，得到扩大框，包括：
15.以所述检测框的中心为基准点，按照所述预设倍数扩大所述检测框，得到扩大框。
16.在第一方面的一种可能的实现方式中，所述以所述检测框的中心为基准点，按照预设倍数扩大所述检测框，得到扩大框，包括：
17.以所述检测框的中心为基准点，按照所述预设倍数将所述检测框扩大为正方形框；
18.将所述正方形框确定为所述扩大框。
19.在第一方面的一种可能的实现方式中，所述以所述检测框的中心为基准点，按照所述预设倍数将所述检测框扩大为正方形框，包括：
20.获取所述检测框的长边边长值；
21.根据所述预设倍数和所述长边边长值确定目标边长值；
22.以所述检测框的中心为基准点，按照所述目标边长值将所述检测框扩大为所述正方形框。
23.在第一方面的一种可能的实现方式中，所述根据所述目标物体上的关键点在所述局部图像中的第一位置信息，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息，包括：
24.获取所述局部图像与所述待处理图像之间的坐标转换关系；
25.根据所述目标物体上的关键点在所述局部图像中的第一位置信息和所述坐标转换关系，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息。
26.第二方面，本申请实施例提供了一种图像中关键点的检测装置，包括：
27.目标检测单元，用于检测待处理图像中的目标物体，得到包含所述目标物体的检测框；
28.局部图获取单元，用于根据所述检测框获取所述待处理图像中包含所述目标物体的局部图像；
29.关键点检测单元，用于检测所述局部图像中所述目标物体上的关键点，得到所述目标物体上的关键点在所述局部图像中的第一位置信息；
30.关键点映射单元，用于根据所述目标物体上的关键点在所述局部图像中的第一位置信息，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息。
31.第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的图像中关键点的检测方法。
32.第四方面，本申请实施例提供了一种计算机可读存储介质，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的图像中关键点的检测方
法。
33.第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像中关键点的检测方法。
34.可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
35.为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1是本申请实施例提供的手部关键点的示意图；
37.图2是本申请实施例提供的图像中关键点检测的示意图；
38.图3是本申请实施例提供的检测框扩大过程的示意图；
39.图4是本申请实施例提供的图像中关键点的检测方法的流程示意图；
40.图5是本申请另一实施例提供的图像中关键点的检测方法的流程示意图；
41.图6是本申请实施例提供的图像中关键点的检测装置的结构框图；
42.图7是本申请实施例提供的终端设备的结构示意图。
具体实施方式
43.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
44.应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
45.另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
46.在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。
47.姿态估计是对某个目标物体(如手部、脸部等)建立模型系统，然后通过建立好的模型系统识别待处理图像中目标物体的位置、姿态等。传统的建立模型系统的方法为，首先对样本图像中目标物体进行标注，然后利用标注后的样本图像对目标检测模型(如随机森林模型)进行训练。在应用过程中，利用训练好的目标检测模型对待处理图像中的每个像素
点进行分类，以确定各个像素点属于目标物体的哪个部分，进而确定目标物体的姿态。该方法需要对图像中的每个像素点进行分类，数据处理量较大，处理效率较低。
48.随着深度学习的发展，衍生出通过关键点建立模型系统的方法。具体的，对样本图像中目标物体的关键点进行标注，然后利用标注后的样本图像对关键点检测模型(如神经网络模型)进行训练。在应用过程中，利用训练好的关键点检测模型对待处理图像中的目标物体上的关键点进行识别，以确定各个关键点的位置，进而确定目标物体的姿态。
49.其中，待处理图像指需要进行关键点检测的图像，待处理图像中包括目标物体。这里的目标物体指包含了关键点信息的物体。例如：当需要对手部关键点进行检测时，相应的，目标物体为手部。当需要对脸部关键点进行检测时，相应的，目标物体为脸部。
50.以目标物体为手部作为示例，参见图1，是本申请实施例提供的手部关键点的示意图。如图1所示，现有的关键点建模方法，通常采用14个关键点建模(如图1中的(a)所示)、16个关键点(如图1中的(b)所示)建模或21个关键点(如图1中的(c)所示)建模。通过关键点即可观测出手部的大概轮廓和姿态。该方法无需对图像中的每个像素点进行处理，而只需识别出一定数量的关键点即可，数据处理量较少，且处理效率较高。
51.但是上述的基于关键点的建模方法存在以下缺点：在实际应用中，当待处理图像中不仅包括目标物体，还包括其他物体时，其他物体信息会对目标物体信息产生较大干扰。例如，目标物体为手部，其他物体为脸部，由于脸部颜色与手部相近，脸部信息会对手部信息产生干扰。这将会导致训练后的关键点检测模型无法准确地检测出目标物体上的关键点的位置。
52.为了解决上述问题，本申请实施例提出了图像中关键点的检测方法。在本申请实施例中，先对待处理图像进行前处理，即从待处理图像中裁剪得到符合关键点检测模型的包含目标物体信息的局部图像；然后利用关键点检测模型对局部图像进行目标物体上的关键点检测；最后对检测出的关键点信息进行后处理，即将局部图像中的关键点信息映射到原图(即待处理图像)中，得到原图中的关键点信息。
53.由于局部图像是通过对待处理图像进行目标检测获取到的图像，因此，局部图像中有效排除了其他物体信息对目标物体信息的干扰，进而保证了对局部图像进行目标物体上的关键点检测得到的检测结果(即目标物体上的关键点在局部图像中的位置信息)的准确性。由于目标物体上的关键点在局部图像中的位置信息是准确的，因此，根据目标物体上的关键点在局部图像中的位置信息确定出的目标物体上的关键点在待处理图像中的位置信息也是准确的。通过上述方法中的前处理的过程，能够准确地定位出待处理图像中的目标物体信息，以排除其他物体信息对目标物体信息的干扰；通过上述方法中的后处理过程，能够将局部图像中目标物体上的关键点的位置准确映射到待处理图像中；因此，通过上述方法，能够准确地检测出待处理图像中目标物体的关键点位置。
54.首先介绍上述的前处理的过程。前处理的过程可以包括以下步骤：
55.i、检测待处理图像中的目标物体，得到包含所述目标物体的检测框。
56.在一个实施例中，可以通过训练好的目标检测模型检测待处理图像中的目标物体。以目标物体为手部作为示例，采集大量的包含手部的图像作为样本图像，利用样本图像对神经网络模型进行训练，将训练后的神经网络模型确定为目标检测模型。当然，也可以采用其他具有识别、检测功能的模型，如随机森林模型、聚类模型等等，在此不做限定。
57.目标检测模型输出的检测框包括检测框的顶点的坐标信息。通过检测框顶点的坐标信息，可以确定出检测框在待处理图像中的位置，进而能够确定目标物体在待处理图像中的位置。
58.以目标物体为手部作为示例，参见图2，是本申请实施例提供的图像中关键点检测的示意图。如图2中的(a)所示，待处理图像中包括脸部、手部及身体其他部位。将待处理图像输入训练好的手部检测模型中，得到包含手部的检测框，如图2中的(b)所示。
59.只要获取到检测框的一对对角顶点的坐标信息，检测框的位置即可确定。如图2中的(b)所示，可以获取m点和n点的坐标信息，这样检测框剩余两个顶点的坐标信息以及检测框的中心的坐标信息也可以推算出来。
60.ii、根据检测框获取待处理图像中包含目标物体的局部图像。
61.在一个实施例中，可以从待处理图像中截取检测框内的图像，得到局部图像。但是在实际应用中，这种方式截取得到的局部图像可能不符合关键点检测模型的输入尺寸。
62.为了解决上述问题，在一个实施例中，步骤ii的一种实现方式为：
63.按照预设倍数扩大检测框，得到扩大框；截取待处理图像中扩大框内图像，得到待处理图像中包含目标物体的局部图像。
64.其中，预设倍数可以根据关键点检测模型的输入尺寸预先设定。换言之，按照预设倍数扩大检测框后得到的局部图像的尺寸符合关键点检测模型的输入尺寸。
65.通常，目标物体位于检测框的中心位置，为了保证目标物体仍位于扩大框的中心位置，可选的，按照预设倍数扩大检测框的方式可以为：以检测框的中心为基准点，按照预设倍数扩大所述检测框，得到扩大框。
66.换言之，扩大框的中心和检测框的中心重合，这样可以保证目标物体仍位于扩大框的中心位置，进而能够保证后续关键点检测的准确度。
67.如果扩大框为矩形，可能存在长宽比例与关键点检测模型的输入图像的长宽比例互为倒数的情况。例如：扩大框的尺寸为10
×
5，而关键点检测模型的输入尺寸为5
×
10。这种情况下，还需要将根据扩大框获得的局部图像进行翻转等操作，才能够保证局部图像的尺寸与关键点检测模型的尺寸一致，步骤较为繁琐。
68.为了解决上述问题，进一步的，以检测框的中心为基准点，按照预设倍数扩大所述检测框的方式可以为：以检测框的中心为基准点，按照预设倍数将检测框扩大为正方形框。
69.由于正方形图像的长宽比例为1:1，无需考虑对图像进行翻转等操作，简化了图像检测的步骤。当然，在训练关键点检测模型的过程中，需要采用正方形的样本图像对关键点检测模型进行训练。根据扩大框获得的局部图像的大小与样本图像的大小一致。
70.如果检测框为正方形，则按照预设倍数将检测框进行比例放大即可。如果检测框为矩形，则分为两种处理方法：一种是以矩形的长边为基准进行扩大，另一种是以矩形的短边为基准进行扩大。两种处理方法的原理相似，下面以矩形的长边为基准进行扩大为例进行介绍。
71.在一个实施例中，以检测框的中心为基准点，按照预设倍数将检测框扩大为正方形框的方式，具体包括：获取检测框的长边边长值；根据预设倍数和长边边长值确定目标边长值；以检测框的中心为基准点，按照目标边长值将检测框扩大为正方形框。
72.示例性的，参见图3，是本申请实施例提供的检测框扩大过程的示意图。根据上述
步骤i获得了待处理图像中的检测框，包括检测框一对对角顶点的坐标，如图3中的(a)所示，检测框31一对对角顶点m(x1，y1)和n(x2，y2)。根据m和n的坐标可以计算出检测框中心点c的坐标：
[0073][0074]
根据顶点m和n坐标可以获取检测框各边的边长值：
[0075]
a＝y2‑
y1；b＝x2‑
x1。
[0076]
将较大的边长值确定为检测框的长边边长值。如图3中所示，长边边长值为a。
[0077]
假设预设倍数为q，根据预设倍数和长边边长值确定目标边长值为qa。进一步的，根据目标边长值和中心点c的坐标可以确定出扩大框的顶点坐标：
[0078][0079]
其中，m
′
为检测框中的m对应的扩大框顶点，n
′
为检测框中的n对应的扩大框顶点。确定出扩大框的顶点坐标后，即可确定出扩大框的位置，如图3中的(b)所示的扩大框32。
[0080]
从待处理图像中截取扩大框中的图像，得到局部图像。
[0081]
通过上述的前处理，能够获取到符合关键点检测模型的输入尺寸的局部图像，且局部图像中有效排除了其他物体信息对目标物体信息的干扰，有助于提供后续关键点检测的准确性。
[0082]
将通过上述步骤获取到的局部图像输入到训练好的关键点检测模型中，得到目标物体上的各个关键点在局部图像中的位置。示例性的，根据图2中的(b)所示检测框获取手部的局部图像，然后将手部的局部图像输入到关键点检测模型中，输出带有手部关键点标记的局部图像，如图2中的(c)所示。
[0083]
得到的关键点信息为局部图像中的关键点坐标，即以局部图像中的坐标系为基准确定的关键点坐标(第一位置信息)。但本申请实施例提供的图像中关键点的检测方法的目的是，获取到待处理图像中的关键点信息(第二位置信息)。因此，需要进行坐标系转换，将局部图像中的关键点坐标映射到待处理图像所在的坐标系中，即后处理。
[0084]
下面介绍后处理的过程。后处理的过程可以包括：
[0085]
获取局部图像与待处理图像之间的坐标转换关系；根据目标物体上的关键点在局部图像中的第一位置信息和坐标转换关系，确定目标物体上的关键点在待处理图像中的第二位置信息。
[0086]
由于局部图像是从待处理图像中截取的，因此，只需找到局部图像中点与待处理图像中的对应点之间的坐标转换关系即可。为了计算方便，可以取局部图像的顶点进行计算。
[0087]
示例性的，假设在局部图像中，左上角顶点的坐标为(0,0)。如图3中的(b)所示，左上角顶点在待处理图像中的对应点为m
′
(x3,y3)。根据局部图像上左上角顶点的坐标和待处理图像中m
′
点的坐标可以确定出局部图像与待处理图像之间的坐标转换关系：
[0088]
(x
原
,y
原
)＝((x
局
+x3),(y
局
+y3))。
[0089]
其中，(x
原
,y
原
)为待处理图像中像素点的坐标，(x
局
,y
局
)为局部图像中像素点的坐标。
[0090]
通过上述方法，即可将目标物体上的关键点的第一位置信息转换为第二位置信息。如图2中的(d)所示，最终获得了带有关键点标记的待处理图像。当然，在一个应用场景中，也可以保留待处理图像中的检测框，即最终获得了带有关键点标记和检测框的待处理图像，如图2中的(e)所示。
[0091]
基于上述的前处理和后处理的过程，参见图4，是本申请实施例提供的图像中关键点的检测方法的流程示意图。如图4所示，本申请实施例提供的图像中关键点的检测方法可以包括以下步骤：
[0092]
s401，检测待处理图像中的目标物体，得到包含目标物体的检测框。
[0093]
s402，根据检测框获取待处理图像中包含目标物体的局部图像。
[0094]
s403，检测局部图像中目标物体上的关键点，得到目标物体上的关键点在局部图像中的第一位置信息。
[0095]
s404，根据目标物体上的关键点在局部图像中的第一位置信息，确定目标物体上的关键点在待处理图像中的第二位置信息。
[0096]
参见图5，是本申请另一实施例提供的图像中关键点的检测方法的流程示意图。
[0097]
在一个应用场景中，用于目标物体检测的目标检测模型和用于目标物体上的关键点检测的关键点检测模型可以是分开设置的。如图5中的(a)所示，将待处理图像先输入到目标检测模型中进行目标物体的检测，输出待处理图像中的检测框信息；然后利用上述前处理过程步骤ii中的方法，根据检测框获取待处理图像中包含目标物体的局部图像；再将局部图像输入到关键点检测模型中，输出关键点的第一位置信息；之后利用上述的后处理过程，根据关键点的第一位置信息得到关键点的第二位置信息；最后输出带有关键点标记的待处理图像。
[0098]
在上述应用场景中，用户可以获取到前处理的数据(即检测框信息和扩大框信息)。
[0099]
在另一个应用场景中，用于目标物体检测的目标检测模型和用于目标物体上的关键点检测的关键点检测模型可以是串联、并封装在一起设置的。如图5中的(b)所示，将待处理图像输入到封装后的图像检测模型中，图像检测模型中串联有目标检测模型和关键点检测模型。图像检测模型直接输出带有关键点标记的待处理图像。在该应用场景中，用户无法获取到前处理的数据，只能获取到最终的图像检测结果。
[0100]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
[0101]
对应于上文实施例所述的图像中关键点的检测方法，图6是本申请实施例提供的图像中关键点的检测装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
[0102]
参照图6，该装置包括：
[0103]
目标检测单元61，用于检测待处理图像中的目标物体，得到包含所述目标物体的检测框。
[0104]
局部图获取单元62，用于根据所述检测框获取所述待处理图像中包含所述目标物体的局部图像。
[0105]
关键点检测单元63，用于检测所述局部图像中所述目标物体上的关键点，得到所述目标物体上的关键点在所述局部图像中的第一位置信息。
[0106]
关键点映射单元64，用于根据所述目标物体上的关键点在所述局部图像中的第一位置信息，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息。
[0107]
可选的，局部图获取单元62包括：
[0108]
扩大模块，用于按照预设倍数扩大所述检测框，得到扩大框。
[0109]
截取模块，用于截取所述待处理图像中所述扩大框内图像，得到所述待处理图像中包含所述目标物体的局部图像。
[0110]
可选的，扩大模块还用于：
[0111]
以所述检测框的中心为基准点，按照所述预设倍数扩大所述检测框，得到扩大框。
[0112]
可选的，扩大模块还用于：
[0113]
以所述检测框的中心为基准点，按照所述预设倍数将所述检测框扩大为正方形框；将所述正方形框确定为所述扩大框。
[0114]
可选的，扩大模块还用于：
[0115]
获取所述检测框的长边边长值；根据所述预设倍数和所述长边边长值确定目标边长值；以所述检测框的中心为基准点，按照所述目标边长值将所述检测框扩大为所述正方形框。
[0116]
可选的，关键点映射单元64还用于：
[0117]
获取所述局部图像与所述待处理图像之间的坐标转换关系；根据所述目标物体上的关键点在所述局部图像中的第一位置信息和所述坐标转换关系，确定所述目标物体上的关键点在所述待处理图像中的第二位置信息。
[0118]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0119]
另外，图6所示的图像中关键点的检测装置可以是内置于现有的终端设备内的软件单元、硬件单元、或软硬结合的单元，也可以作为独立的挂件集成到所述终端设备中，还可以作为独立的终端设备存在。
[0120]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0121]
图7是本申请实施例提供的终端设备的结构示意图。如图7所示，该实施例的终端设备7包括：至少一个处理器70(图7中仅示出一个)处理器、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72，所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
[0122]
所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图7仅仅是终端设备7的举例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
[0123]
所称处理器70可以是中央处理单元(central processing unit，cpu)，该处理器70还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0124]
所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0125]
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
[0126]
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
[0127]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0128]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0129]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本申请的范围。
[0130]
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0131]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0132]
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。