图像标注方法、图像处理方法、装置以及计算机设备与流程

1.本公开涉及数据处理的技术领域，具体而言，涉及一种图像标注方法、图像处理方法、装置以及计算机设备。


背景技术：

2.近年来，随着自动驾驶以及辅助驾驶技术的发展，以及深度学习方案的不断优化，对自动驾驶或辅助驾驶产品的精度要求也越来越高。若要提高自动驾驶或者辅助驾驶产品的精度，就需要大量的标注数据来用于模型训练。然而，数据标注的成本非常高；此外，由于标注资源(例如，标注人员数量)是有限的，例如，针对一些紧急任务，需要在截止日之前完成标注任务，然而在标注人数有限的情况下，无法同时保证数据标注的完成时间和完成质量。
3.通过上述描述可知，数据标注速度是制约产品迭代的一个重要因素，同时数据标注质量是另一个决定产品在市场上是否有竞争力的重要因素。根据标注经验来看，标注员的标注水平参差不齐，以及用于指导标注员进行标注的标注文档中有较多模糊或者无法进行量化的数据标注标准，这将会导致标注员在标注时无法完全达到预想需求。因此，如何保证数据标注质量也是产品生成过程中的重要一环。


技术实现要素：

4.本公开实施例至少提供一种图像标注方法、图像处理方法、装置以及计算机设备。
5.第一方面，本公开实施例提供了一种图像标注方法，包括：获取待标注图像；通过预先训练的目标网络对所述待标注图像进行预标注，得到标注结果；所述目标网络能够完成特定的任务处理；对所述待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据所述待标注图像及其所述标注结果确定训练样本。
6.通过上述描述可知，在本公开实施例中，通过目标网络对待标注图像进行预标注处理，可以实现对待标注图像进行自动化标注，从而节省了标注人员的工作量，加快了数据标注的速度，通过对标注结果进行至少一级校验操作，可以实现半监督化标注，从而保证标注结果的准确性，通过上述处理方式，可以节省大量的标注成本，加快数据标注的速度，并保证数据标注的质量。
7.一种可选的实施方式中，所述获取针对图像标注任务的待标注图像，包括：获取多张原始图像；并按照预设抽帧频率在所述多张原始图像中抽取多张目标原始图像；对抽取到的所述多张目标原始图像进行去重处理，得到所述待标注图像。
8.通过上述描述可知，通过对多张原始图像进行视频抽帧处理的方式，可以缩小标注数据的数量，进一步提高数据标注的速度，并对抽取到的多张目标原始图像进行去重处理的方式，可以去除重复度较高的图像，从而去掉大量冗余的图像，对去重处理之后的图像进行标注，并对标注之后的图像来训练对应网络模型的方式，可以提高网络模型的训练精度。
9.一种可选的实施方式中，所述对抽取到的所述多张目标原始图像进行去重处理，得到所述待标注图像，包括：在确定出所述多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像；在确定出丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，重复执行在确定出所述多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像的步骤，直至丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度小于或者等于所述预设阈值，并将最终得到的丢弃图像后的多张目标原始图像确定为所述待标注图像。
10.通过上述描述可知，通过相似度值对多张目标原始图像进行去重处理的方式，可以实现自动的从大量的图像中去除重复的图像，从而去掉大量冗余的图像，对去重处理之后的图像进行标注，并对标注之后的图像来训练对应网络模型的方式，可以提高网络模型的训练精度。
11.一种可选的实施方式中，在对所述待标注图像及其标注结果进行至少一级校验操作之前，包括：将所述待标注图像的标注结果转换为特定格式文件。
12.在本公开实施例中，通过将待标注图像的标注结果转化为特定格式文件，可以实现将目标网络自动预测出的标注结果进行至少一级的人工校验，从而实现通过半监督的标注方式对待标注图像进行标注，得到标注结果。
13.一种可选的实施方式中，所述对所述待标注图像及其标注结果进行至少一级校验操作，包括：按照数据筛选要求在所述标注结果中筛选出用于执行校验操作的待校验标注结果，以及所述待校验标注结果所对应的目标待标注图像；对所述待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的所述目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行至少一级校验操作。
14.一种可选的实施方式中，所述方法还包括：在所述待校验标注结果及其对应的所述目标待标注图像满足所述预设标注要求的情况下，按照预设抽取比例在所述待校验标注结果中抽取部分待校验标注结果执行校验操作；在所述部分待校验标注结果校验通过的情况下，将所述目标待标注图像及其对应的所述待校验标注结果作为训练样本。
15.通过上述描述可知，在待校验标注结果及其标注结果不满足预设标注要求的情况下，可以设置对待校验标注结果进行更新，并对更新之后的待校验标注结果进行至少一级校验操作；在待校验标注结果满足预设标注要求的情况下，可以设置对标注结果进行抽检。通过上述处理方式，可以细化数据标注流程，实现数据标注的多层级校验，从而保证待标注图像的标注质量。
16.一种可选的实施方式中，所述对所述待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的所述目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行至少一级校验操作，包括：获取所述目标标注结果的更新标注结果；对包含所述更新标注结果的全部待校验标注结果及其所对应的目标待标注图像进行多个校验层级的校验操作，得到每个校验层级的校验操作结果；在所述每个校验层级的校验操作结果为校验通过的情况下，将所述待标注图像及其标注结果作为训练样本。
17.一种可选的实施方式中，所述方法还包括：针对每个校验层级的校验操作结果，在任一校验层级的校验操作结果为校验失败的情况下，向该校验层级之前的指定校验层级返回重新校验信息，以使所述指定校验层级重新执行校验操作，直至每个校验层级的校验操作的校验操作结果为校验通过，其中，所述重新校验信息用于指示校验未通过的标注结果。
18.通过上述描述可知，在本公开实施例中，通过上述层层质检可以提高标注结果的标注质量，从而得到有较高质量保障的标注数据，同时整个数据标注流程能够层层把控，责任能够细化到数据标注系统的各个标注模块，这样增强了各个标注模块的责任意识，减少了数据标注返工，极大地降低了标注花费。
19.一种可选的实施方式中，所述方法还包括：在根据所述待标注图像及其所述标注结果确定训练样本之后，对所述目标网络进行重新训练，得到重新训练之后的所述目标网络。
20.通过上述描述可知，通过对目标网络进行反复训练的方式，可以得到预测精度更高的目标网络，从而再通过该目标网络进行预标注处理时，可以提高预标注处理的精度和质量。
21.第二方面，本公开实施例还提供了一种图像处理方法，包括：获取目标车辆在驾驶过程中采集到的待处理图像；通过图像处理网络对所述待处理图像执行特定的处理任务，得到图像处理结果，其中，所述图像处理网络为通过上述第一方面中任一项所述的方法确定的训练样本进行训练之后得到的网络；基于所述图像处理结果控制所述目标车辆的驾驶状态。
22.第三方面，本公开实施例提供了一种图像标注装置，包括：第一获取单元，用于获取待标注图像；预标注处理单元，用于通过预先训练的目标网络对所述待标注图像进行预标注，得到标注结果；所述目标网络能够完成特定的任务处理；校验单元，用于对所述待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据所述待标注图像及其所述标注结果确定训练样本。
23.第四方面，本公开实施例提供了一种图像处理装置，包括：第二获取单元，用于获取目标车辆在驾驶过程中采集到的待处理图像；图像处理单元，用于通过图像处理网络对所述待处理图像执行特定的处理任务，得到图像处理结果，其中，所述图像处理网络为通过上述第一方面中任所述的方法确定的训练样本进行训练之后得到的网络；控制单元，用于基于所述图像处理结果控制所述目标车辆的驾驶状态。
24.第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面至第二方面中任一方面所述的步骤。
25.第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面至第二方面中任一方面所述的步骤。
26.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
27.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
28.图1示出了本公开实施例所提供的一种图像标注方法的流程图；
29.图2示出了本公开实施例所提供的图像标注方法中，获取针对图像标注任务的待标注图像的具体方法的流程图；
30.图3示出了本公开实施例所提供的图像标注方法中，对待标注图像及其所述标注结果进行至少一级校验操作的具体方法的流程图；
31.图4示出了本公开实施例所提供的另一种图像标注方法的流程图；
32.图5示出了本公开实施例所提供的一种数据训练方法的流程图；
33.图6示出了本公开实施例所提供的一种图像处理方法的流程图；
34.图7示出了本公开实施例所提供的一种图像标注装置的示意图；
35.图8示出了本公开实施例所提供的一种图像处理装置的示意图；
36.图9示出了本公开实施例所提供的第一种可选地计算机设备的示意图；
37.图10示出了本公开实施例所提供的第二种可选地计算机设备的示意图。
具体实施方式
38.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
40.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
41.经研究发现，在现有的图像标注方法中，主要通过人工标注的方式对待标注数据进行标注。然而，在待标注数据的数据量较大，且标注人员的数量有限时，图像标注任务则很难如期完成，且无法保证标注数据的准确性。且由于数据标注员的标注水平参差不齐，以及标注文档中有较多模糊或者无法进行量化的数据标注标准，这将会导致标注员在标注时无法完全达到预想需求。因此，如何保证数据标注质量也是产品生成过程中的重要一环。
42.基于上述研究，本公开提供了一种图像标注方法、图像处理方法、装置以及计算机
设备。在本公开实施例中，首先获取针对图像标注任务的待标注图像，然后，通过与图像标注任务相匹配的预先训练的目标网络对待标注图像进行预标注处理，得到标注结果，最后，对待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据待标注图像及其标注结果确定训练样本。通过上述描述可知，在本公开实施例中，通过目标网络对待标注图像进行预标注处理，可以实现对待标注图像进行自动化标注，从而节省了标注人员的工作量，加快了数据标注的速度，通过对标注结果进行至少一级校验操作，可以实现半监督化标注，从而保证标注结果的准确性，通过上述处理方式，可以节省大量的标注成本，加快数据标注的速度，并保证数据标注的质量。
43.为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像标注方法进行详细介绍，本公开实施例所提供的图像标注方法的执行主体一般为具有一定计算能力的计算机设备，在该计算机设备中，预先安装了数据标注系统，该数据标注系统所执行的方法即为本公开实施例所提供的图像标注方法。
44.参见图1所示，为本公开实施例提供的一种图像标注方法的流程图，所述方法包括步骤s101～s105，其中：
45.s101：获取待标注图像。
46.在本公开实施例中，上述待标注图像为针对一个或者多个图像处理任务的待标注图像，其中，图像处理任务与待训练的网络相关联，例如，图像处理任务为目标检测，待训练的网络为目标检测网络，其中，待训练的网络为下述步骤s105中训练样本所要训练的模型。
47.s103：通过预先训练的目标网络对所述待标注图像进行预标注，得到标注结果；所述目标网络能够完成特定的任务处理。
48.在本公开实施例中，针对不同的图像标注任务，预先设置了相匹配的预先训练的目标网络，其中，目标网络为预先通过标注好的数据进行训练的大规模网络模型。由于大规模网络模型的精度较高，因此，通过选用大规模网络对待标注图像进行预标注处理，可以提高预标注处理的标注质量，从而得到更加精准的标注结果。
49.s105：对所述待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据所述待标注图像及其所述标注结果确定训练样本。
50.在对待标注图像进行预标注处理，得到标注结果之后，就可以对标注结果进行至少一级校验操作。在对标注结果进行至少一级校验操作之后，得到每个校验层级操作的校验结果。在每个校验层级操作的校验结果均为通过的情况下，就可以根据待标注图像及其标注结果确定训练样本。
51.通过至少一级校验操作，可以提高标注结果的标注质量，同时缩短数据标注的时间，还可以节省数据标注的成本。
52.通过上述描述可知，在本公开实施例中，通过目标网络对待标注图像进行预标注处理，可以实现对待标注图像进行自动化标注，从而节省了标注人员的工作量，加快了数据标注的速度，通过对标注结果进行至少一级校验操作，可以实现半监督化标注，从而保证标注结果的准确性，通过上述处理方式，可以节省大量的标注成本，加快数据标注的速度，并保证数据标注的质量。
53.通过上述描述可知，在本公开实施例中，首先获取多张原始图像，其中，多张原始图像可以为某视频序列中的多个连续图像帧；之后，可以对多张原始图像进行视频抽帧去
重处理，得到待标注图像。
54.在一个可选的实施方式中，如图2所示，对多张原始图像进行视频抽帧去重处理，即上述步骤s101，获取待标注图像，包括如下过程：
55.步骤s201，获取多张原始图像；并按照预设抽帧频率在所述多张原始图像中抽取多张目标原始图像；
56.步骤s202，对抽取到的所述多张目标原始图像进行去重处理，得到所述待标注图像。
57.在本公开实施例中，所采用的数据标注方式为单帧标注，即对每个图像帧进行依次标注。此时，为了缩小标注数据的数量，进一步提高数据标注的速度，需要对多张原始图像进行抽帧处理。具体地，可以按照预设抽帧频率在多张原始图像中抽取原始图像作为目标原始图像。
58.需要说明的是，在本公开实施例中，可以根据不同的图像标注任务设置不同的预设抽帧频率。例如，若图像标注任务为目标检测任务，则预设抽帧频率可以设置的稀疏一些，比如，预设抽帧频率可以设置在[3-5]秒之间，例如，设置预设抽帧频率为3秒钟每帧，表示每3秒钟从多张原始图像中抽取一张原始图像。若图像标注任务为车道线检测任务，则可能需要将预设抽帧频率设置的更稠密一些，比如，预设抽帧频率可以设置在[1-3]秒之间，例如，可以设置预设抽帧频率为1秒钟每帧，表示每1秒钟从多张原始图像中抽取一张原始图像。需要说明的是，在本公开实施例中，可以根据用户实际需要来设定预设抽帧频率的大小，此处不作具体限定。
[0059]
在对多张原始图像进行抽帧处理后，抽取得到的多张目标原始图像可能会存在一些重复度比较大的图像。
[0060]
例如，针对自动驾驶车辆来说，安装在自动驾驶车辆上的传感器采集对应的视频序列，此时，多张原始图像可以为该视频序列中连续图像帧。当车辆在等待交通灯，或者，车辆长时间处于停止状态时，多张原始图像中部分原始图像的图像内容为大致相同的，此时，多张原始图像中就包含一些重复度较大的图像。
[0061]
此时，就需要对抽取得到的多张目标原始图像进行去重处理，去重处理之后得到待标注图像。在本公开实施例中，可以通过相似性比对的方式对多张目标原始图像进行去重处理。
[0062]
通过上述描述可知，通过对多张原始图像进行视频抽帧处理的方式，可以缩小标注数据的数量，进一步提高数据标注的速度，并对抽取到的多张目标原始图像进行去重处理的方式，可以去除重复度较高的图像，从而去掉大量冗余的图像，对去重处理之后的图像进行标注，并对标注之后的图像来训练对应网络模型的方式，可以提高网络模型的训练精度。
[0063]
在本公开实施例中，对抽取到的所述多张目标原始图像进行去重处理，得到所述待标注图像，具体包括如下过程：
[0064]
(1)、在确定出所述多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像。
[0065]
(2)、在确定出丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，重复执行在确定出所述多张目标原始图像中相邻目标原始图
像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像的步骤，直至丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度小于或者等于所述预设阈值，并将最终得到的丢弃图像后的多张目标原始图像确定为所述待标注图像。
[0066]
在本公开实施例中，上述步骤可以详细描述为以下阶段：
[0067]
阶段一：
[0068]
首先获取初始状态下，待处理的多张目标原始图像，其中，多张目标原始图像所在图像集合记为a1。通过去重网络来确定多张目标原始图像a1中相邻目标原始图像之间的相似度值，得到多个相似度值b1。在确定出相邻目标原始图像之间的相似度值b1大于预设阈值的情况下，丢弃相邻目标原始图像中的一帧图像，例如，可以丢弃相邻目标原始图像中的第二帧图像。
[0069]
阶段二：
[0070]
在对图像集合a1中全部相邻的目标原始图像执行图像丢弃操作之后，得到丢弃图像之后的多张目标原始图像，记为图像集合a2。之后，通过去重网络来确定丢弃图像之后的多张目标原始图像a2中相邻目标原始图像之间的相似度值，得到多个相似度值b2。判断多个相似度值b2中是否包含大于预设阈值的相似度值。如果判断出包含，则在多个相似度值b2中确定大于预设阈值的相似度值c2，并在图像集合a2中确定相似度值c2所对应的相邻目标原始图像，进而对确定出的相邻目标原始图像执行图像丢弃操作，例如，可以丢弃相邻目标原始图像中的第二帧图像。如果判断出不包含大于预设阈值的相似度值，则将图像集合a2确定为待标注图像。
[0071]
在对图像集合a1中全部相邻的目标原始图像执行图像丢弃操作之后，得到丢弃图像之后的多张目标原始图像，记为图像集合a3。针对图像集合a3，可以通过上述阶段二所描述的对图像集合a2的处理过程，对图像集合a3进行处理，直至确定出待标注图像。
[0072]
这里，去重网络可以为一个场景分类网络，如vgg(visual geometry group)网络。需要说明的是，在本公开实施例中，除了vgg网络之外，还可以选用其他场景分类网络，例如，能够代替vgg网络的其他网络，此处对场景分类网络不作具体限定。
[0073]
在通过去重网络对多张目标原始图像进行去重处理之前，还可以通过imagenet数据集对该去重网络进行训练，并在训练结束之后，通过训练后的去重网络提取相邻目标原始图像之间的图像特征，进而，计算相邻目标原始的图像特征之间的相似度值。
[0074]
在本公开实施例中，预设阈值可以为0.6-0.9之间的任意一个数值，例如，该预设阈值可以设定为0.6。
[0075]
此时，若相似度值超过一定预设阈值t＝0.6，则认为相邻目标原始图像之间相似性比较高，此时，保留相邻目标原始图像中的第一帧目标原始图像，舍弃掉第二帧目标原始图像，以此类推，对所抽帧的多张目标原始图像进行去重，并将去重后的所述多张目标原始图像确定为所述待标注图像。
[0076]
在一个可选的实施方式中，上述计算多张目标原始图像中相邻原始图像之间的相似度值的过程可以描述为以下过程：
[0077]
假设，多张目标原始图像的数量记为n。首先，计算第一张目标原始图像和第二张目标原始图像之间的相似度值，在该相似度值大于预设阈值的情况下，舍弃第二张目标原始图像。并继续计算第一张目标原始图像与第三张目标原始图像之间的相似度值，若该相
似度值小于或者等于预设阈值，则继续计算第三张目标原始图像和第四张目标原始图像之间的相似度值，以此类推，直至n张目标原始图像全部计算并去重之后，将去重之后的n张目标原始图像确定为待标注图像。
[0078]
在一个可选的实施方式中，上述去重处理可以描述为以下过程：
[0079]
假设，多张目标原始图像的数量记为n。首先，计算n张目标原始图像中任意相邻的两张目标原始图像之间的相似度值，例如，计算第一张目标原始图像和第二张目标原始图像之间的相似度值，计算第三张目标原始图像和第四张目标原始图像之间的相似度值，
…
，计算第n-1张目标原始图像和第n张目标原始图像之间的相似度值。在计算到对应的相似度值之后，就可以将相似度值与预设阈值进行比较，若比较出大于预设阈值，则保留上一张目标原始图像，否则，保留两张目标原始图像。
[0080]
对于上述第一次去重处理之后的目标原始图像，按照上述所描述的方法再次进行去重处理，直至去重处理之后任意相邻两张目标原始图像之间的相似度值小于或者等于预设阈值时，将去重处理之后的目标原始图像确定为待标注图像。
[0081]
通过上述描述可知，通过相似度值对多张目标原始图像进行去重处理的方式，可以实现自动的从大量的图像中去除重复的图像，从而去掉大量冗余的图像，对去重处理之后的图像进行标注，并对标注之后的图像来训练对应网络模型的方式，可以提高网络模型的训练精度。
[0082]
在本公开实施例中，在按照上述所描述的方法获取到待标注图像之后，就可以通过与所述图像标注任务相匹配的预先训练的目标网络对所述待标注图像进行预标注处理，得到标注结果。之后，就可以对待标注图像及其标注结果进行至少一级校验操作。
[0083]
通过上述描述可知，考虑到大规模网络模型生成的预测结果与人工标注结果的相似性比较高，因此，在本公开实施例中，所选用的目标网络可以为大规模的网络模型。
[0084]
选用大规模的网络模型的另外一个原因是，上述待标注图像一般用来训练小规模的网络模型，相比大规模的网络模型，小规模的网络模型结构和计算过程更为简单，因为，小规模的网络模型的预测精度也低于大规模的网络模型。因此，选用大规模网络模型对待标注图像进行预标注处理所得到的标注结果不仅与人工标注结果的相似性比较高，且该标注结果的准确度可以满足小规模的网络模型的训练精度要求。因此，通过大规模的网络模型对待标注图像进行预处理处理之后，不仅可以得到准确度较高的标注结果，还可以节省人力，缩短数据标注的时间，加快数据标注的进程。
[0085]
在一个可选的实施方式中，步骤s105，对所述待标注图像及其所述标注结果进行至少一级校验操作之前，包括如下步骤：
[0086]
将所述待标注图像的标注结果转换为特定格式文件。
[0087]
在本公开实施例中，在通过目标网络对待标注图像进行预标注处理，得到标注结果之后，可以将标注结果转换成数据标注系统能够识别的特定格式文件，例如，json文件，其中，该特定格式文件中的信息用于表征所述目标网络对所述待标注图像的标注结果。
[0088]
在一个可选的实施方式中，如图3所示，对待标注图像及其所述标注结果进行至少一级校验操作，包括如下步骤：
[0089]
步骤s301，将所述待标注图像的所述标注结果转换为目标json文件，其中，所述目标json文件中的信息用于表征所述目标网络对所述待标注图像的标注结果；
[0090]
步骤s302，对所述待标注图像和所述目标json文件进行多级校验操作。
[0091]
例如，若图像标注任务为目标检测任务，那么在该目标json文件中可以包含每个待标注图像中所标注的每个目标的位置信息以及该目标所属的类别等信息。例如，该位置信息可以为标注的目标的包围框的顶点的坐标信息。
[0092]
在本公开实施例中，通过将预标注数据转化为目标json文件，可以实现将目标网络自动预测出的标注结果进行至少一级的人工校验，从而实现通过半监督的标注方式对待标注图像进行标注，得到标注结果。
[0093]
在一个可选的实施方式中，上述步骤s105，对所述待标注图像及其标注结果进行至少一级校验操作，包括如下步骤：
[0094]
步骤s1051，按照数据筛选要求在所述标注结果中筛选出用于执行校验操作的待校验标注结果，以及所述待校验标注结果所对应的目标待标注图像。
[0095]
在本公开实施例中，预先设定了筛选文档，在该筛选文档中包含数据筛选要求。在得到待标注图像及其标注结果之后，可以将待标注图像及其标注结果上传至数据标注系统的数据筛选模块。
[0096]
在一个可选的实施方式中，可以设置数据标注系统的数据筛选模块按照数据筛选要求在标注结果中确定用于执行校验操作的待校验标注结果。
[0097]
在另一个可选的实施方式中，可以通过审核员在数据标注系统的数据筛选模块，按照数据筛选要求手动在标注结果中确定用于执行校验操作的待校验标注结果。
[0098]
步骤s1052，对所述待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的所述目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行至少一级校验操作。
[0099]
在按照上述所描述的方式筛选得到待校验标注结果及其所对应的目标待标注图像之后，就可以判断待校验标注结果及其对应的目标待标注图像是否满足预设标注要求。其中，预设标注要求为基于模型训练标准确定出的要求，该模型为训练样本所要训练的模型。
[0100]
例如，该模型的训练标准为从训练样本中检测出目标对象：障碍物。此时，就可以确定待校验标注结果中是否包含目标待标注图像中的全部“障碍物”的标注结果，若是，则确定该待校验标注结果满足预设标注要求，否则，不满足该预设标注要求。进一步地，若确定出待校验标注结果中包含目标待标注图像中的全部“障碍物”的标注结果，但是，针对部分“障碍物”的标注结果并不准确，此时，确定该待校验标注结果不满足预设标注要求，否则，满足该预设标注要求。
[0101]
在确定出待校验标注结果及其对应的目标待标注对象不满足预设标注要求的情况下，可以对待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的目标标注结果的全部待校验标注结果及其所对应目标待标注图像进行至少一级校验操作，其中，至少一级校验操作中的每个校验层级操作的校验流程不同，且每个校验层级操作所校验的待校验标注结果和目标待标注图像相同或者不同。
[0102]
在本公开实施例中，通过设置至少一级校验操作中的每个校验层级操作的校验流程不同，且每个校验层级操作所校验的待校验标注结果和目标待标注图像相同或者不同，
可以在保证数据标注质量的情况下，进一步简化数据标注流程的过程中，从而节省数据标注的开销，缩短数据标注的时间，提高数据标注的效率。
[0103]
步骤s1053，在所述待校验标注结果及其对应的所述目标待标注图像满足所述预设标注要求的情况下，按照预设抽取比例在所述待校验标注结果中抽取部分待校验标注结果执行校验操作。
[0104]
步骤s1054，在所述部分待校验标注结果校验通过的情况下，将所述目标待标注图像及其对应的所述待校验标注结果作为训练样本。
[0105]
在本公开实施例中，若待校验标注结果及其所对应的目标待标注图像满足上述所描述的预设标注要求，则可以按照预设抽取比例，在上述待校验标注结果中抽取部分待校验标注结果执行校验操作。例如，可以按照预设抽取比例对待校验标注结果进行抽检，其中，该预设抽取比例可以设置为15％-35％，例如，可以选择为20％。
[0106]
需要说明的是，在本公开实施例中，用户可以根据实际需要任意设定预设抽取比例的取值范围和具体数值，本公开对此不作具体限定。
[0107]
在一个可选的实施方式中，可以通过数据标注系统中的抽检模块按照预设抽取比例对标注结果进行自动随机抽检。
[0108]
在另一个可选的实施方式中，抽检员可以通过数据标注系统中的抽检模块按照预设抽取比例对标注结果进行手动随机抽检。
[0109]
应理解的是，抽检是指在全部待校验标注结果中随机抽取部分待校验标注结果，并对抽取到的部分待校验标注结果及其对应的目标待标注图像进行校验。在校验通过的情况下，将目标待标注图像及其对应的待校验标注结果作为训练样本。如果对抽取到的部分待校验标注结果及其目标待标注图像进行校验的校验结果为校验失败，则返回执行上述步骤s1051至步骤s1054，直至抽检结果为抽检通过的情况下，将待校验待标注图像及其对应的目标标注结果作为训练样本。
[0110]
通过上述描述可知，在待校验标注结果不满足预设标注要求的情况下，可以设置对待校验标注结果进行更新，并对更新之后的待校验标注结果进行至少一级校验操作；在待校验标注结果满足预设标注要求的情况下，可以设置对待校验标注结果进行抽检。通过上述处理方式，可以细化数据标注流程，实现数据标注的多层级校验，从而保证待标注图像的标注质量。
[0111]
在本公开实施例中，上述步骤s1052，在所述对所述待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的所述目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行至少一级校验操作，包括如下过程：
[0112]
(1)、获取所述目标标注结果的更新标注结果；
[0113]
(2)、对包含所述更新标注结果的全部待校验标注结果及其所对应的目标待标注图像进行多个校验层级的校验操作，得到每个校验层级的校验操作结果；
[0114]
(3)、在所述每个校验层级的校验操作结果为校验通过的情况下，将所述待标注图像及其标注结果作为训练样本。
[0115]
具体地，在本公开实施例中，在确定出任意一个待校验标注结果及其所对应的目标待标注图像不满足预设标注要求的情况下，可以向标注员发送修改提示信息，以使标注
员对不满足预设标注要求的目标标注结果进行修改更新，从而得到上述目标标注结果的更新标注结果。
[0116]
在得到上述更新标注结果之后，就可以对包含更新之后的目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行多个校验层级的校验操作，例如，可以进行三级校验操作，分别为：质检-审核-抽检。针对每个校验层级操作，均对应一个校验操作结果，在每个校验层级的校验操作结果均为校验通过的情况下，可以完成数据标注流程，从而将待标注图像及其标注结果确定为训练样本。
[0117]
针对每个校验层级的校验操作结果，在任一校验层级的校验操作结果为校验失败的情况下，向该校验层级之前的指定校验层级返回重新校验信息，以使所述指定校验层级重新执行校验操作，直至每个校验层级的校验操作的校验操作结果为校验通过，其中，所述重新校验信息用于指示校验未通过的标注结果。
[0118]
例如，多个校验层级的校验操作分别为：质检-审核-抽检。针对包含更新之后的目标标注结果的全部待校验标注结果，首先，对全部待校验标注结果进行质检，在质检通过下的情况下，对全部待校验标注结果进行审核，在审核通过的情况下，对全部待校验标注结果进行抽检。
[0119]
需要说明的是，上述任一校验层级的校验操作结果为校验失败的情况下，可以通过指定指令向该校验层级之前的指定校验层级返回重新校验信息，以使该指定校验层级对校验未通过的标注结果重新执行校验操作，或者，对包含校验未通过的标注结果的全部待校验标注结果重新执行校验操作。其中，该指定指令包含上述指定校验层级的层级信息。
[0120]
例如，针对上述多个校验层级：质检-审核-抽检。在抽检未通过的情况下，可以通过指定指令向质检层级(或者审核层级)返回重新校验信息，以使质检层级(或者审核层级)对校验未通过的标注结果重新执行校验操作，或者，对包含校验未通过的标注结果的全部待校验标注结果重新执行校验操作。
[0121]
例如，在审核未通过的情况下，可以通过上述指定指令，可以向标注层级或者质检层级返回重新校验信息，以使标注层级根据重新校验信息执行重新标注操作。其中，若上述指定指令所指示的校验层级为标注层级时，标注员可以对该校验未通过的待校验标注结果进行修改，之后，可以按照上述质检-审核-抽检的校验操作，对更新后的待校验标注结果进行重新校验操作。
[0122]
通过上述描述可知，在本公开实施例中，通过上述层层质检可以提高标注结果的标注质量，从而得到有较高质量保障的标注数据，同时整个数据标注流程能够层层把控，责任能够细化到数据标注系统的各个标注模块，这样增强了各个标注模块的责任意识，减少了数据标注返工，极大地降低了数据标注的开销。
[0123]
在本公开实施例中，在根据所述待标注图像及其所述标注结果确定训练样本之后，还可以对所述目标网络进行重新训练，得到重新训练之后的所述目标网络。
[0124]
通过上述描述可知，通过对目标网络进行反复训练的方式，可以得到预测精度更高的目标网络，从而再通过该目标网络进行预标注处理时，可以提高预标注处理的精度和质量。
[0125]
如图4所示的为另一种可选的图像标注方法的流程图，如图4所示，该方法主要包括以下过程：
[0126]
步骤s401，采集视频序列；
[0127]
步骤s402，对视频序列中的图像帧进行抽帧去重处理，得到待标注图像；
[0128]
步骤s403，通过目标网络对待标注图像进行预标注处理，得到标注结果；
[0129]
步骤s404，在标注结果中确定用于执行校验操作的待校验标注结果及其对应的目标待标注图像，并对待校验标注结果进行校验；
[0130]
步骤s405，判断对待校验标注结果的校验结果是否为通过，其中，若通过，则执行步骤s406，否则执行步骤s408；
[0131]
步骤s406，对待校验标注结果及其所对应的目标待标注图像进行抽检，其中，若抽检结果为通过，则执行步骤s407，否则，返回执行步骤s404；
[0132]
步骤s407，将目标待标注图像及其对应的待校验标注结果作为训练样本；
[0133]
步骤s408，对待校验标注结果中不满足预设标注要求的目标标注结果进行更新，得到更新标注结果；
[0134]
步骤s409，对包含更新标注结果的全部待校验标注结果进行质检，其中，在质检通过的情况下，执行步骤s410，否则返回执行步骤s408；
[0135]
步骤s410，对质检之后的全部待校验标注结果进行审核，其中，在审核通过的情况下，执行步骤s411，否则返回执行步骤s409；
[0136]
这里，在审核未通过的情况下，除了返回执行步骤s409，还可以返回执行步骤s408，具体返回标识在图4中未示出。
[0137]
步骤s411，对审核之后的全部待校验标注结果进行抽检，其中，在抽检通过的情况下，执行步骤s407，否则返回执行步骤s410；
[0138]
这里，在在审核未通过的情况下，除了返回执行步骤s410，还可以返回执行步骤s409，或者返回执行步骤s408，具体返回标识在图4中未示出。
[0139]
针对上述步骤s404至步骤s411，还可以描述为下述过程：
[0140]
在本公开实施例中，可以按照数据筛选要求在标注结果中确定用于执行校验操作的待校验标注结果，以及待校验标注结果所对应的目标待标注图像。然后，对每个待校验标注结果进行筛选校验，并在每个待校验标注结果筛选校验通过的情况下，抽检员进行对应的随机抽检，一般会抽检20％的标注结果进行校验。若随机抽检结果为完全合格，则表示目标网络预标注处理之后的标注结果的质量较高，可以作为训练样本用于后续的小模型训练。若任意一个待校验标注结果的筛选校验结果为未通过，则可以通过标注员将不合格的待校验标注结果及其对应的目标待标注图像进行修改，并在修改之后通过质检员对修改之后的待校验标注结果进行逐个质检。若质检不合格，则返回给对应的标注员进行修改；若质检合格，则进行下一个流程，让审核员继续逐个审核。若审核员确定出待校验标注结果未达到审核要求，则会打回给质检员进行再次质检或者返回给标注员进行修改；若达到了审核要求，则进行下一个流程，通过抽检员即进行抽检；若抽检通过，则作为训练样本用于后续的小模型训练，若不通过，则可以进行返回审核员进行再次审核，打回给质检员进行再次质检，或者返回给标注员进行修改的操作，直到抽检通过为止。
[0141]
通过上述描述可知，本公开提出了一套数据半监督筛选-标注-审核一体化标注数据生产流程，各个模块能够层层把关，分工明确，加快了数据标注速度，同时能够把控各个环节的标注质量。因此，通过上述所描述的方法可以准确而快速得生产标注数据，同时通过
多个校验层级的数据校验操作，可以确保整个数据标注流程能够达到100％的数据质量。通过实际操作验证，该方案可以节省大于60％的标注成本，这极大地降低了公司成本，且可以加快对紧急任务的标注速度，确保标注质量，同时能够极大减少数据标注工期，加速产品迭代。
[0142]
参见图5所示，为本公开实施例提供的一种数据训练方法的流程图，所述方法包括步骤s501～s503，其中：
[0143]
s501，获取训练样本，其中，所述训练样本为通过上述数据标注方法确定的训练样本。
[0144]
具体地，在本公开实施例中，可以通过上述所描述的数据标注方法确定该训练样本，此处对数据标注方法的具体标注过程不再一一描述。
[0145]
s503，通过所述训练样本对待训练的网络模型进行训练，得到训练之后的网络模型，其中，所述训练之后的网络模型用于对待处理图像进行图像处理。
[0146]
在本公开实施例中，训练之后的网络模型可以为应用在自动驾驶和辅助驾驶等领域的网络模型，还可以为应用在安防领域的网络模型，还可以为应用医疗等领域的网络模型，本公开对该网络模型的应用场景不作具体限定。
[0147]
在本公开实施例中，通过上述所描述的图像标注方法标注得到的训练样本的质量更高，在通过该训练样本对待训练的网络模型进行训练之后，可以提高待训练的网络模型的训练精度。
[0148]
参见图6所示，为本公开实施例提供的一种图像处理方法的流程图，所述方法包括步骤s601～s605，其中：
[0149]
s601，获取目标车辆在驾驶过程中采集到的待处理图像；
[0150]
s603，通过图像处理网络对所述待处理图像执行特定的处理任务，得到图像处理结果，其中，所述图像处理网络为通过上述图像标注方法确定的训练样本进行训练之后得到的网络。
[0151]
s605，基于所述图像处理结果控制所述目标车辆的驾驶状态。
[0152]
在本公开实施例中，通过上述所描述的图像标注方法标注得到的训练样本的质量更高，在通过该训练样本对待训练的图像处理网络进行训练之后，可以提高待训练的图像处理网络的训练精度。在通过训练之后的图像处理网络进行图像处理时，可以提高该网络的图像处理精度，从而提高该图像处理网络的可靠性。
[0153]
在通过该图像处理网络对目标车辆在驾驶过程中采集到的待处理图像进行分析时，可以得到更加准确的图像处理结果，进而实现对目标车辆的驾驶状态的准确控制，从而进一步保证了驾驶员的安全性。
[0154]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0155]
基于同一发明构思，本公开实施例中还提供了与图像标注方法对应的图像标注装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像标注方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0156]
参照图7所示，为本公开实施例提供的一种图像标注装置的示意图，所述装置包
括：第一获取单元71、预标注处理单元72、校验单元73；其中，
[0157]
第一获取单元71，用于获取待标注图像；
[0158]
预标注处理单元72，用于通过预先训练的目标网络对所述待标注图像进行预标注，得到标注结果；所述目标网络能够完成特定的任务处理；
[0159]
校验单元73，用于对所述待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据所述待标注图像及其所述标注结果确定训练样本。
[0160]
通过上述描述可知，在本公开实施例中，通过目标网络对待标注图像进行预标注处理的，可以实现对待标注图像进行一个半监督式的标注，从而节省了标注人员的工作量，加快了数据标注的速度，通过对标注结果进行至少一级校验操作，可以保证标注结果的准确性，通过上述处理方式，可以节省大量的标注成本，加快数据标注的速度，并保证数据标注的质量。
[0161]
一种可能的实施方式中，第一获取单元71，还用于：获取多张原始图像；并按照预设抽帧频率在所述多张原始图像中抽取多张目标原始图像；对抽取到的所述多张目标原始图像进行去重处理，得到所述待标注图像。
[0162]
一种可能的实施方式中，第一获取单元71，还用于：在确定出所述多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像；在确定出丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，重复执行在确定出所述多张目标原始图像中相邻目标原始图像之间的相似度值大于预设阈值的情况下，丢弃所述相邻目标原始图像中的一帧图像的步骤，直至丢弃图像后的多张目标原始图像中相邻目标原始图像之间的相似度小于或者等于所述预设阈值，并将最终得到的丢弃图像后的多张目标原始图像确定为所述待标注图像。
[0163]
一种可能的实施方式中，校验单元73，还用于：将所述待标注图像的标注结果转换为特定格式文件。
[0164]
一种可能的实施方式中，校验单元73，还用于：按照数据筛选要求在所述标注结果中筛选出用于执行校验操作的待校验标注结果，以及所述待校验标注结果所对应的目标待标注图像；对所述待校验标注结果中不满足预设标注要求的目标标注结果及其对应的目标待标注图像进行更新，并对包含更新之后的所述目标标注结果的全部待校验标注结果及其所对应的目标待标注图像进行至少一级校验操作。
[0165]
一种可能的实施方式中，校验单元73，还用于：在所述待校验标注结果及其对应的所述目标待标注图像满足所述预设标注要求的情况下，按照预设抽取比例在所述待校验标注结果中抽取部分待校验标注结果执行校验操作；在所述部分待校验标注结果校验通过的情况下，将所述目标待标注图像及其对应的所述待校验标注结果作为训练样本。
[0166]
一种可能的实施方式中，校验单元73，还用于：获取所述目标标注结果的更新标注结果；对包含所述更新标注结果的全部待校验标注结果及其所对应的目标待标注图像进行多个校验层级的校验操作，得到每个校验层级的校验操作结果；在所述每个校验层级的校验操作结果为校验通过的情况下，将所述待标注图像及其标注结果作为训练样本。
[0167]
一种可能的实施方式中，校验单元73，还用于：针对每个校验层级的校验操作结果，在任一校验层级的校验操作结果为校验失败的情况下，向该校验层级之前的指定校验
层级返回重新校验信息，以使所述指定校验层级重新执行校验操作，直至每个校验层级的校验操作的校验操作结果为校验通过，其中，所述重新校验信息用于指示校验未通过的标注结果。
[0168]
一种可能的实施方式中，该装置还用于：在根据所述待标注图像及其所述标注结果确定训练样本之后，对所述目标网络进行重新训练，得到重新训练之后的所述目标网络。
[0169]
基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0170]
参照图8所示，为本公开实施例提供的一种图像处理装置的示意图，所述装置包括：第二获取单元81、图像处理单元82、控制单元83；其中，
[0171]
第二获取单元81，用于获取目标车辆在驾驶过程中采集到的待处理图像；
[0172]
图像处理单元82，用于通过图像处理网络对所述待处理图像执行特定的处理任务，得到图像处理结果，其中，所述图像处理网络为通过上述所述图像标注方法确定的训练样本进行训练之后得到的网络；
[0173]
控制单元83，用于基于所述图像处理结果控制所述目标车辆的驾驶状态。
[0174]
在本公开实施例中，通过上述所描述的图像标注方法标注得到的训练样本的质量更高，在通过该训练样本对待训练的图像处理网络进行训练之后，可以提高待训练的图像处理网络的训练精度。在通过训练之后的图像处理网络进行图像处理时，可以提高该网络的图像处理精度，从而提高该图像处理网络的可靠性。
[0175]
对应于图1中的图像标注方法，本公开实施例还提供了一种计算机设备900，如图9所示，为本公开实施例提供的计算机设备900结构示意图，包括：
[0176]
处理器91、存储器92、和总线93；存储器92用于存储执行指令，包括内存921和外部存储器922；这里的内存921也称内存储器，用于暂时存放处理器91中的运算数据，以及与硬盘等外部存储器922交换的数据，处理器91通过内存921与外部存储器922进行数据交换，当所述计算机设备900运行时，所述处理器91与所述存储器92之间通过总线93通信，使得所述处理器91执行以下指令：
[0177]
获取待标注图像；
[0178]
通过预先训练的目标网络对所述待标注图像进行预标注，得到标注结果；所述目标网络能够完成特定的任务处理；
[0179]
对所述待标注图像及其标注结果进行至少一级校验操作，并在校验操作通过的情况下，根据所述待标注图像及其所述标注结果确定训练样本。
[0180]
对应于图6中的图像处理方法，本公开实施例还提供了一种计算机设备1000，如图10所示，为本公开实施例提供的计算机设备1000结构示意图，包括：
[0181]
处理器101、存储器102、和总线103；存储器102用于存储执行指令，包括内存1021和外部存储器1022；这里的内存1021也称内存储器，用于暂时存放处理器101中的运算数据，以及与硬盘等外部存储器1022交换的数据，处理器101通过内存1021与外部存储器1022进行数据交换，当所述计算机设备1000运行时，所述处理器101与所述存储器102之间通过总线103通信，使得所述处理器101执行以下指令：
[0182]
获取目标车辆在驾驶过程中采集到的待处理图像；
[0183]
通过图像处理网络对所述待处理图像执行特定的处理任务，得到图像处理结果，其中，所述图像处理网络为通过上述图像标注方法确定的训练样本进行训练之后得到的网络；
[0184]
基于所述图像处理结果控制所述目标车辆的驾驶状态。
[0185]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据标注、数据训练、图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0186]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据标注、数据训练、图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0187]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0188]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0189]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0190]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0191]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0192]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公
开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。