一种模型训练的方法、对象检测的方法以及相关装置与流程

本发明涉及人工智能领域，尤其涉及一种模型训练的方法、对象检测的方法以及相关装置。

背景技术：

随着互联网行业的飞速发展，对应用程序进行测试的需求度也越来越高。针对游戏类应用程序而言，常见的测试方式是，对游戏画面中的目标对象(比如小怪、道具、障碍物以及分数等)进行检测，由此判断游戏画面是否正常。如果没有正常显示目标对象，则认为游戏画面异常。

在对游戏画面内的目标对象进行检测时，首先需要人工标注大量的游戏画面图片，并且人工匹配每张图片与标注文件，然后选择合适的模型对这些标注好的图片和对应的标注文件进行训练，从而得到检测模型，最后利用该检测模型对不同的游戏画面进行检测，得到检测结果。

然而，由于需要标注的游戏画面图片数量非常大，尽管可以多人分批量地标注图片，但是仍可能出现图片标注重复，或者图片标注遗漏的情况，从而导致图片标注的准确率降低。

技术实现要素：

本发明实施例提供了一种模型训练的方法、对象检测的方法以及相关装置，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

有鉴于此，本发明的第一方面提供了一种模型训练的方法，包括：

向服务器发送图片标注指令；

接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型；

向所述服务器发送所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明的第二方面提供了一种模型训练的方法，包括：

接收至少一个客户端发送的图片标注指令；

根据所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息；

根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明的第三方面提供了一种对象检测的方法，包括：

获取待检测图片集合，其中，所述待检测图片集合包括至少一个待检测图片；

接收模型选择指令，其中，所述模型选择指令携带模型标识；

向服务器发送所述待检测图片集合以及所述模型选择指令，以使所述服务器根据所述模型选择指令获取目标检测模型，通过所述目标检测模型获取所述待检测图片集合中每个待检测图片的对象检测信息，其中，所述目标检测模型为所述服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的，所述至少一个待训练图片子集合由所述服务器发送给至少一个客户端；

接收所述服务器发送的所述待检测图片集合中每个待检测图片的对象检测信息。

本发明的第四方面提供了一种客户端，包括：

发送模块，用于向服务器发送图片标注指令；

接收模块，用于接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

获取模块，用于获取所述接收模块接收的所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型；

所述发送模块，还用于向所述服务器发送所述获取模块获取的所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明的第五方面提供了一种服务器，包括：

接收模块，用于接收至少一个客户端发送的图片标注指令；

发送模块，用于根据所述接收模块接收的所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

所述接收模块，还用于接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息；

训练模块，用于根据所述接收模块接收的所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明的第六方面提供了一种终端设备，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

向服务器发送图片标注指令；

接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型；

向所述服务器发送所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本发明的第七方面提供了一种服务器，包括：存储器、收发器、处理器以及总线系统；

其中，所述存储器用于存储程序；

所述处理器用于执行所述存储器中的程序，包括如下步骤：

接收至少一个客户端发送的图片标注指令；

根据所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息；

根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息；

所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。

本发明的第八方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明实施例中，提供了一种模型训练的方法，首先客户端向服务器发送图片标注指令，服务器根据该图片标注指令向客户端发送的待训练图片子集合，其中，待训练图片子集合属于待训练图片集合，待训练图片集合包含m个待训练图片，待训练图片子集合包含n个待训练图片，然后，客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，最后，客户端向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型。通过上述方式，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

附图说明

图1为本发明实施例中对象检测系统的一个架构示意图；

图2为本发明实施例中模型训练的方法一个交互示意图；

图3为本发明实施例中对象检测的方法一个交互示意图；

图4为本发明实施例中游戏目标检测模型训练系统的一个框架示意图；

图5为本发明实施例中游戏目标检测模型训练系统的一个流程示意图；

图6为本发明实施例中检测游戏画面内对象的一个界面示意图；

图7为本发明实施例中检测游戏画面内对象的另一个界面示意图；

图8为本发明实施例中检测游戏画面内对象的另一个界面示意图；

图9为本发明实施例中检测游戏画面内对象的另一个界面示意图；

图10为本发明实施例中模型训练的方法一个实施例示意图；

图11为本发明实施例中上传待训练图片集合的一个界面示意图；

图12为本发明实施例中标注待训练图片的一个界面示意图；

图13为本发明实施例中添加标签类型的一个界面示意图；

图14为本发明实施例中输入模型训练参数的一个界面示意图；

图15为本发明实施例中训练目标检测模型的一个界面示意图；

图16为本发明实施例中目标检测模型训练完毕的一个界面示意图；

图17为本发明实施例中选择待检测图片的一个界面示意图；

图18为本发明实施例中选择模型类型的一个界面示意图；

图19为本发明实施例中显示目标对象检测信息的一个界面示意图；

图20为本发明实施例中模型训练的方法一个实施例示意图；

图21为本发明实施例中多人在线标注图片的一个流程示意图；

图22为本发明实施例中训练模型的一个流程示意图；

图23为本发明实施例中训练配置文件的一个实施例示意图；

图24为本发明实施例中游戏目标检测模型训练系统的存储目录一个结构示意图；

图25为本发明实施例中模型训练任务的一个执行过程示意图；

图26为本发明实施例中对象检测的方法一个实施例示意图；

图27为本发明实施例中检测对象的一个流程示意图；

图28为本发明实施例中客户端的一个实施例示意图；

图29为本发明实施例中客户端的另一个实施例示意图；

图30为本发明实施例中服务器的一个实施例示意图；

图31为本发明实施例中服务器的另一个实施例示意图；

图32为本发明实施例中客户端的一个实施例示意图；

图33为本发明实施例中终端设备的一个结构示意图；

图34为本发明实施例中服务器的一个结构示意图。

具体实施方式

本发明实施例提供了一种模型训练的方法、对象检测的方法以及相关装置，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应理解，本发明可以应用于对不同应用程序界面进行检测的场景，这些应用程序包含但不仅限于运行在个人电脑(personalcomputer，pc)端的应用程序，运行在手机端的应用程序，运行在平板电脑端的应用程序或者安装在游戏站(playstation，ps)端的应用程序。应用程序的类型包含但不仅限于即时通讯(instantmessaging，im)类应用以及游戏类应用，本发明将以游戏类应用为例，介绍如何找出游戏画面内的对象。

请参阅图1，图1为本发明实施例中对象检测系统的一个架构示意图，如图所示，服务器首先向不同的客户端下发待训练图片，这些待训练图片之间往往是不重复的。用户可以通过客户端标注待训练图片中的标签信息，标注完成后将这些图片再上传至服务器，由服务器对标注好的图片进行训练，从而生成模型。当用户需要检测一张或多张图片的时候，只需要从服务器中下载相应的模型，通过模型即可检测到图片中的对象。如图1所示，客户端部署在终端设备上，终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机以及pc。

为了便于理解，下面将结合两个流程图说明本发明所提供的模型训练的方法以及对象检测的方法。请参阅图2，图2为本发明实施例中模型训练的方法一个交互示意图，如图所示，具体为：

步骤101中，客户端上传要标注的图片至服务器；

步骤102中，多个客户端向服务器发送图片标注请求，服务端向各客户端分配待标注的图片；

步骤103中，用户在客户端对图片标注完成，并将标注结果返回给服务端；

步骤104中，这些客户端向服务器反馈用户标注好的待训练图片以及这些待训练图片所对应的标签信息；

步骤105中，服务器收集完各个客户端上传的待训练图片子集合，以及待训练图片子集合中各个待训练图片所对应的标签信息后，采用模型训练参数对待训练图片和标签信息进行联合训练，从而得到目标检测模型。

请参阅图3，图3为本发明实施例中对象检测的方法一个交互示意图，如图所示，具体为：

步骤201中，客户端向服务器发送模型选择指令；

步骤202中，用户选择出需要检测的图片，这些图片可以是一张也可以是多张，这些图片构成待检测图片集合；

步骤203中，服务器通过该模型选择指令获取相应的目标检测模型，指令和模型之间是一一对应的关系，一种指令对应一种类型的模型；

步骤204中，服务器通过目标检测模型获取每个待检测图片所对应的对象检测信息，最后将这些对象检测信息发送至客户端，用户即可通过客户端了解应用画面是否出现异常情况。

基于上述流程，本发明实施例所提供的模型训练方法和对象检测方法具体应用于一种游戏目标检测模型训练系统(gameobjectdetectionmodeltrainingsystems，god)，god可以实现目标检测模型的训练以及图片的标注。god提供了基于网页的多人同时在线标注工具，可实现多人同时对同一批图片进行标注，提升了图片标注的效率。由于手动训练目标检测模型需要对模型有较深刻的理解，对操作人员技术要求高，模型训练效率低，不利于提升测试效率。而god提供了自动化离线训练服务，隐藏模型训练的细节，整个模型训练过程对操作人员实现透明化，极大降低了操作门槛，提升模型训练的效率，从而提升了测试效率。god提供了完整的模型管理和发布工具，用户可以方便管理自己的模型，并可下载已训练好的模型文件等，方便用户使用。此外，god实现了目标检测模型的一站式训练，用户只需上传需标注的图片，采用god提供的在线标注工具可快速高效地标注图片，最后提交模型训练任务，即可完成目标检测模型的训练。

为了便于理解，请参阅图4，图4为本发明实施例中游戏目标检测模型训练系统的一个框架示意图，如图所示，从整体框架可以看出，god一共包含三个主要部分，分别为网页服务器(即生产者(producer))、数据共享器和模型训练器(即消费者(consumer))。其中，网页服务器负责接收用户的请求数据，这里的用户群体包括操作人员和普通用户，操作人员是建立目标检测模型的用户，普通用户则是使用目标检测模型的用户。网页服务器通过数据共享器将训练任务和训练数据传送至模型训练器，同时向模型训练器发送训练任务请求。数据共享器负责实现网页服务器与模型训练器的消息(如训练任务列表和训练状态等)通信与数据(如训练数据和模型数据等)共享。

模型训练器负责拉取数据共享器中的任务队列(可存放于redis)中的任务数据，实现目标检测模型的离线训练。模型训练器启动训练任务后会在关系型数据库管理系统(microsoftstructurequestlanguage，mysql)中写入改任务的状态(如等待、训练中、异常或者训练完成)。如果训练任务出现异常，则模型训练器会在相应的err_str字段中写入异常信息。

基于图4所示的架构，请参阅图5，图5为本发明实施例中游戏目标检测模型训练系统的一个流程示意图，如图所示，网页服务器主要有两个任务，其中，一个任务根据模型训练器上传的数据训练得到目标检测模型。另一个任务是用户对输入的数据进行预测。这两个任务统一由管理模块进行管理。因此，网页服务器共包含三个功能，即管理功能、标注功能以及预处理功能。

在游戏测试中，采用god平台训练好的目标检测模型对游戏画面中的目标对象(比如小怪、得分以及道具等)进行定位和识别。为了便于介绍，请参阅图6，图6为本发明实施例中检测游戏画面内对象的一个界面示意图，如图所示，在进入新关卡时，通过god训练好的目标检测模型，对画面中的小怪进行检测，由此来判断关卡是否正常出小怪。如果没有检测到小怪，则说明该关卡存在出小怪异常的漏洞。其中，s1指示的是小怪。请参阅图7，图7为本发明实施例中检测游戏画面内对象的另一个界面示意图，如图所示，在画面中s2所指示的区域，通过检测血条来判断画面中的主角血条是否显示正常。请参阅图8，图8为本发明实施例中检测游戏画面内对象的另一个界面示意图，在角色攻击时，通过god训练好的目标检测模型对画面中的分数进行检测，从而判断游戏画面分数是否存在显示异常。请参阅图9，图9为本发明实施例中检测游戏画面内对象的另一个界面示意图，如图所示，在击败画面中所有小怪后，通过检测游戏画面中是否有道具(如前进方向指示标志等)，来判断游戏画面的道具是否能正常显示。

下面将从客户端的角度，对本发明中模型训练的方法进行介绍，请参阅图10，本发明实施例中模型训练的方法一个实施例包括：

301、向服务器发送图片标注指令；

本实施例中，首先用户通过客户端向服务器发送图片标注指令，其中，客户端具体可以是网页上的客户端，而服务器具体也可以是网页服务器。

服务器通常会接收到多个客户端发送的图片标注指令，比如，客户端a、客户端b和客户端c都向服务器发送了图片标注指令，且服务器存储有1000张需要标注的待训练图片(即待训练图片集合)，那么服务器会向每个请求图片标注的客户端发送若干图片(即待训练图片子集合)，比如向客户端a发送编号从1至100的图片，向客户端b发送编号从101至200的图片，向客户端c发送编号从201至300的图片。

302、接收服务器发送的待训练图片子集合，其中，待训练图片子集合属于待训练图片集合，待训练图片集合包含m个待训练图片，待训练图片子集合包含n个待训练图片，m为大于或等于1的整数，n为大于或等于1，且小于或等于m的整数；

本实施例中，客户端接收服务器发送的待训练图片子集合，如步骤301所描述的内容，待训练图片子集合属于待训练图片集合中的一部分，当然，在实际应用中，待训练图片子集合也可能是待训练图片集合的全部。待训练图片集合包括m个待训练图片，比如m为1000，n为100。

303、获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型；

本实施例中，用户在客户端上对待训练图片子集合中的个待训练图片进行标注，客户端上会每次展示一张待训练图片，用户手动标注图片中的内容，最后客户端根据标注的内容生成相应的标签信息。

304、向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型，其中，目标检测模型用于获取图片中的对象检测信息。

本实施例中，客户端会向服务器发送待训练图片子集合，以及每张待训练图片所对应的标签信息。服务器根据预设的模型训练参数，或者根据用户重新设置的模型训练参数，对待训练图片子集合以及标签信息进行训练，从而生成目标检测模型，其中，目标检测模型用于获取待检测图片中的对象检测信息。

可以理解的是，目标检测模型包含但不仅限于yolo(youonlylookonce)模型、区域卷积神经网络(regionswithconvoltionalneuralnetworks，rcnn)、快速区域卷积神经网络(fasterregionswithconvoltionalneuralnetworks，faster-rcnn)以及ssd神经网络模型中任意一种。

本发明实施例中，提供了一种模型训练的方法，首先客户端向服务器发送图片标注指令，服务器根据该图片标注指令向客户端发送的待训练图片子集合，其中，待训练图片子集合属于待训练图片集合，待训练图片集合包含m个待训练图片，待训练图片子集合包含n个待训练图片，然后，客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，最后，客户端向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型。通过上述方式，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

可选地，在上述图10对应的实施例的基础上，本发明实施例提供模型训练的方法第一个可选实施例中，根据图片标注指令接收服务器发送的待训练图片子集合之前，还可以包括：

若接收到第一图片上传指令，则响应于第一图片上传指令，向服务器上传待训练图片，直至上传完待训练图片集合；

若接收到第二图片上传指令，则响应于第二图片上传指令，向服务器上传数据压缩包，以使服务器根据数据压缩包生成待训练图片集合，其中，数据压缩包为对待训练图片集合进行压缩后生成的。

本实施例中，用户还可以通过客户端预先向服务器上传需要训练的图片集合，以使服务器对待训练图片集合划分多个子集合，从而分配给不同的客户端。为了便于理解，请参阅图11，图11为本发明实施例中上传待训练图片集合的一个界面示意图，如图所示，用户在客户端的标注页面上传图片的方式有两种。

第一种方式为，当用户选择s5所指示的功能时，即触发第一图片上传指令，用户可以选择上传多张不同格式或相同格式的待训练图片，并且向服务器上传这些待训练图片，直至上传完所有的待训练图片。

第二种方式为，当用户选择s6所指示的功能时，即触发第二图片上传指令，用户可以选择一个数据压缩包，将该数据压缩包上传至服务器。其中，该数据压缩包是对多张不同格式或相同格式的待训练图片进行数据压缩后生成的。

其次，本发明实施例中，若客户端接收到第一图片上传指令，则向服务器上传待训练图片，直至上传完待训练图片集合，若客户端接收到第二图片上传指令，则向服务器上传数据压缩包，以使服务器根据数据压缩包生成待训练图片集合，其中，数据压缩包为对待训练图片集合进行压缩后生成的。通过上述方式，用户可以提前向服务器上传待训练图片，如果图片数量非常大，则可以直接上传打包好的压缩文件，如果图片数量不大，则可以根据需要依次进行挑选，并上传各张图片。从而提升操作的灵活性和实用性。

可选地，在上述图10对应的实施例的基础上，本发明实施例提供模型训练的方法第二个可选实施例中，获取待训练图片子集合中每个待训练图片所对应的标签信息，可以包括：

接收待训练图片子集合中每个待训练图片所对应的图片标注指令，其中，图片标注指令中携带至少一个对象类型标识，每个对象类型标识对应于一个对象标签；

响应于每个待训练图片所对应的图片标注指令，生成待训练图片子集合中每个待训练图片所对应的标签信息。

本实施例中，介绍了一种用户在客户端上标注待训练图片的方法。为了便于理解，请参阅图12，图12为本发明实施例中标注待训练图片的一个界面示意图，如图所示，在上传完待训练图片之后，服务器会向客户端下发一部分需要被标注的图片，用户可以从中选择一张图片进行标注。然后用户选择一个对象标签，即触发图片标注指令。比如，对象标签为“英雄(hero)”，那么图片标注指令中将携带hero标识。通常情况下，用户会对同一张图片选择多个对象标签，以手动取框的方式在图片中进行标注。若标注错误，则可以通过点击取样框右上方的“叉”来去除该取样框。

需要说明的是，对象标签包含但不仅限于“英雄(hero)”、“士兵(soldier)”、“血量(blood)”、“宠物(pet)”、“分数(score)”以及“回合(round)”。

其次，本发明实施例中，介绍了客户端如何获取每个待训练图片所对应的标签信息。即客户端先分别接收待训练图片子集合中每个待训练图片所对应的图片标注指令，然后响应于每个待训练图片所对应的图片标注指令，并且生成待训练图片子集合中每个待训练图片所对应的标签信息。通过上述方式，用户可以在自己使用的客户端上对待训练图片进行标注，且一张图片往往可以标注多个信息，这样的话，客户端结合用户在每张待训练图片上标注的内容，最后生成标签信息，从而提升了方案的可行性和可操作性，同时，增强了用户与客户端之间的交互性。

可选地，在上述图10对应的第二个实施例的基础上，本发明实施例提供模型训练的方法第三个可选实施例中，接收待训练图片子集合中每个待训练图片所对应的图片标注指令之前，还可以包括：

接收类型添加指令，其中，类型添加指令携带目标对象类型标识；

响应于类型添加指令，建立目标对象标签，其中，目标对象标签与目标对象类型标识具有对应关系。

本实施例中，在上述图10对应的第二个实施例中介绍到用户可以选择一个对象标签对待训练图片进行标注，然而，在实际应用中，有可能需要标注的对象标签并未显示在客户端界面上，也就是说，还需要用户手动添加新增的目标对象标签。

为了便于介绍，请参阅图13，图13为本发明实施例中添加标签类型的一个界面示意图，如图所示，用户在s7所示的区域内输入需要添加的目标对象标签，比如添加“背景(background)”，即用户触发类型添加指令。客户端根据目标对象标签生成目标对象类型标识，并且根据类型添加指令建立目标对象标签，其中，目标对象标签与目标对象类型标识具有对应关系。

再次，本发明实施例中，客户端分别接收待训练图片子集合中每个待训练图片所对应的图片标注指令之前，还可以接收用户触发的类型添加指令，其中，类型添加指令携带目标对象类型标识，然后客户端响应于类型添加指令，并建立目标对象标签，其中，目标对象标签与目标对象类型标识具有对应关系。通过上述方式，用户还可以根据实际需求，添加不同的对象标签，由此，提升方案的灵活性和可行性。

可选地，在上述图10对应的实施例的基础上，本发明实施例提供模型训练的方法第四个可选实施例中，向服务器发送待训练图片子集合以及标签信息之前，还可以包括：

接收模型训练参数，其中，模型训练参数至少包括模型类型、网络结构以及训练次数；

向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型，包括：

向服务器发送模型训练参数、待训练图片子集合以及标签信息，以使服务器根据模型训练参数对待训练图片子集合以及标签信息进行训练，得到目标检测模型。

本实施例中，用户还可以通过客户端的训练界面选择模型训练参数，这里的模型训练参数至少包括模型类型、网络结构以及训练次数，然后客户端向服务器发送模型训练参数，使得服务器可以根据模型训练参数对待训练图片以及标签信息进行训练，得到目标检测模型。

为了便于介绍，请参阅图14，图14为本发明实施例中输入模型训练参数的一个界面示意图，如图所示，模型训练参数具体可以包括选择标记、选择的模型类型、选择的网络结构、选择的训练次数、选择是否从头开始训练以及选择是否在训练完成后通知用户。具体地，选择标记用于表示选择测试的数据来源，比如测试数据均来源于“测试0810”。选择的模型类型可以是yolo模型、rnn模型、cnn模型、rcnn模型、faster-rcnn模型或者ssd模型。网络结构用于表示所选模型的具体结构，比如yolo模型的yolo3-tiny结构，不同的结构往往具有不同的网络层数，以及每层网络中不同的节点数。训练次数用于表示模型总的训练次数，比如训练5000次需要1小时。是否重头开始训练表示训练的起始点，而是否在训练完成后通知用户表示训练结束后是否会发邮件或者发短信告知用户。

在客户端向服务器发送模型训练参数、待训练图片子集合以及标签信息之后，服务器根据模型训练参数对待训练图片子集合以及标签信息进行训练，训练的过程对用户而言是可见的，也就是说，在服务器进行模型训练的过程中，客户端同步展示服务器的训练状态。请参阅图15，图15为本发明实施例中训练目标检测模型的一个界面示意图，如图所示，编号为4的模型正在训练中，于是在状态一栏显示“训练中”。此外，状态一栏还可以显示“等待”、“完成”或者“异常”。

请参阅图16，图16为本发明实施例中目标检测模型训练完毕的一个界面示意图，如图所示，在训练完成后，客户端的状态一栏显示“已完成”。需要说明的是，服务器中的管理器会有间隔的根据model_id从mysql中查询该任务的训练状态，并在客户端中刷新任务状态。

再次，本发明实施例中，客户端向服务器发送待训练图片子集合以及标签信息之前，还可以接收模型训练参数，其中，模型训练参数至少包括模型类型、网络结构以及训练次数，然后，客户端向服务器发送模型训练参数、待训练图片子集合以及标签信息，以使服务器根据模型训练参数对待训练图片子集合以及标签信息进行训练，得到目标检测模型。通过上述方式，对于模型的训练，用户还可以配置目标检测模型需要的模型训练参数，这些参数的选择难度较低，通过选择相应的参数类型和参数值即可，从而提升了模型训练的效率。

可选地，在上述图10以及图10对应的第一个至第四个实施例中任一项的基础上，本发明实施例提供模型训练的方法第五个可选实施例中，向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，还可以包括：

获取待检测图片；

接收模型选择指令，其中，模型选择指令携带模型标识；

向服务器发送待检测图片以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片的目标对象检测信息。

本实施例中，将介绍如何检测目标检测模型的可靠性。用户可以通过客户端指定所选用模型的模型标识“model_id”(客户端会显示服务器已经训练好的所有模型)，并上传要预测的待检测图片，客户端将服务器发送待检测图片以及模型选择指令，服务器根据该模型选择指令所携带的“model_id”确定相应的目标检测模型，然后通过目标检测模型获取待检测图片的目标对象检测信息。

具体地，请参阅图17，图17为本发明实施例中选择待检测图片的一个界面示意图，如图所示，用户在客户端展示的在线检测界面上选择model_id，即选择具体的模型，然后选择待检测图片，即选择需要上传至服务器的图片。请参阅图18，图18为本发明实施例中选择模型类型的一个界面示意图，如图所示，完成model_id和待检测图片的选择之后，可以浏览这张待检测图片。请参阅图19，图19为本发明实施例中显示目标对象检测信息的一个界面示意图，如图所示，在客户端界面上针对用户选择的待检测图片，检测出对象的内容和对象所在的位置。

再次，本发明实施例中，服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，客户端还可以对模型进行测试，即客户端先获取待检测图片，然后接收模型选择指令，其中，模型选择指令携带模型标识，客户端向服务器发送待检测图片以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片的目标对象检测信息。通过上述方式，客户端无需下载具体的模型即可测试模型的完成度和准确性，方便用户通过可视化的方式检查模型训练效果，降低了用户在模型选择时的难度。

上面是以客户端的角度介绍了模型训练的方法，下面将从服务器的角度，对本发明中模型训练的方法进行介绍，请参阅图20，本发明实施例中模型训练的方法一个实施例包括：

401、接收至少一个客户端发送的图片标注指令；

本实施例中，首先用户通过客户端向服务器发送图片标注指令，其中，客户端具体可以是网页上的客户端，而服务器具体也可以是网页服务器。

服务器通常会接收到至少一个客户端发送的图片标注指令，比如，客户端a、客户端b和客户端c都向服务器发送了图片标注指令，且服务器存储有1000张需要标注的待训练图片(即待训练图片集合)，那么服务器会向每个请求图片标注的客户端发送若干图片(即待训练图片子集合)，比如向客户端a发送编号从1至100的图片，向客户端b发送编号从101至200的图片，向客户端c发送编号从201至300的图片。

402、根据图片标注指令向至少一个客户端中发送待训练图片子集合，以使每个客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，待训练图片子集合属于待训练图片集合，待训练图片集合包含m个待训练图片，待训练图片子集合包含n个待训练图片，m为大于或等于1的整数，n为大于或等于1，且小于或等于m的整数；

本实施例中，服务器根据各个客户端发送的图片标注指令，分别向至少一个客户端中发送待训练图片子集合，客户端接收服务器发送的待训练图片子集合之后，每个客户端分别对待训练图片子集合中的各个待训练图片进行标注。其中，待训练图片子集合属于待训练图片集合中的一部分，当然，在实际应用中，待训练图片子集合也可能是待训练图片集合的全部。待训练图片集合包括m个待训练图片，比如m为1000，n为100。

为了便于理解，请参阅图21，图21为本发明实施例中多人在线标注图片的一个流程示意图，如图所示，具体地：

步骤a1中，开始多人在线标注图片的流程；

步骤a2中，用户通过客户端向服务器上传待标注的图片，在实际应用中，这些待标注图片不一定全部用于模型训练，比如，待标注图片共有1000张，但只需要300张图片即可进行模型训练；

步骤a3中，用户通过客户端向服务器请求标注图片，即向服务器发起图片标注请求；

步骤a4中，服务器判断是否存在待标注图片，如果存在，则进入步骤a5，反之，则跳转至步骤a7；

步骤a5中，若服务器存在待标注图片，那么可以向客户端分配n张图片，比如有三个客户端都向服务器发送了图片标注请求，那么服务器可以根据该请求分别向三个客户端下发100张图片；

步骤a6中，用户在客户端上对图片进行标注，标注完成后，如果还需继续标注其他图片，则再次进入步骤a3，如果不需要继续标注其他图片，那么直接进入步骤a7；

步骤a7中，结束多人在线标注图片的流程。

403、接收至少一个客户端发送的待训练图片子集合以及标签信息；

本实施例中，用户在客户端上对待训练图片子集合中的个待训练图片进行标注，客户端上会每次展示一张待训练图片，用户手动标注图片中的内容，最后客户端根据标注的内容生成相应的标签信息。

各个客户端会向服务器发送待训练图片子集合，以及每张待训练图片所对应的标签信息。

404、根据待训练图片子集合以及标签信息，训练得到目标检测模型，其中，目标检测模型用于获取图片中的对象检测信息。

本实施例中，服务器根据预设的模型训练参数，或者根据用户重新设置的模型训练参数，对待训练图片子集合以及标签信息进行训练，从而生成目标检测模型，其中，目标检测模型用于获取待检测图片中的对象检测信息。

可以理解的是，目标检测模型包含但不仅限于yolo模型、rcnn、faster-rcnn以及ssd神经网络模型中任意一种。

本发明实施例中，提供了一种模型训练的方法，首先服务器接收至少一个客户端发送的图片标注指令，根据图片标注指令向至少一个客户端中发送待训练图片子集合，以使每个客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，然后服务器接收至少一个客户端发送的待训练图片子集合以及标签信息，最后，服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型，其中，目标检测模型用于获取图片中的对象检测信息。通过上述方式，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

可选地，在上述图20对应的实施例的基础上，本发明实施例提供模型训练的方法第一个可选实施例中，根据待训练图片子集合以及标签信息，训练得到目标检测模型，可以包括：

对每个待训练图片子集合中的每个待训练图片，以及每个待训练图片所对应的标签信息进行预处理，得到待训练数据；

获取模型训练参数，其中，模型训练参数至少包括模型类型、网络结构以及训练次数；

根据模型训练参数生成训练配置文件；

采用训练配置文件对待训练数据进行训练，得到目标检测模型，其中，目标检测模型存储于目标路径下。

本实施例中，将结合附图对服务器训练模型的过程进行详细介绍。首先，服务器对每个待训练图片子集合中的每个待训练图片，以及每个待训练图片所对应的标签信息进行预处理，得到待训练数据，其中，预处理的过程主要包括对图片进行去燥、缩放以及归一化处理。此外，服务器还需要获取用户设定的模型训练参数，并且根据模型训练参数生成相应的训练配置文件。服务器采用训练配置文件中的信息对待训练数据进行训练，最后得到目标检测模型，其中，目标检测模型存储于目标路径下。

为了便于介绍，请参阅图22，图22为本发明实施例中训练模型的一个流程示意图，如图所示，具体地：

步骤b1中，开始进行目标检测模型的训练；

步骤b2中，首先，用户可以分别在各自使用的客户端上标注待训练图片，然后用户在客户端侧选择标注好的图片，点击“提交”按钮，此时，服务器可以将标注好的图片存至数据分享所指定的路径中，可以理解的是，该路径可以是/cephfs/god/$images/$uuid/$date/$time/，并向redis发送训练消息。训练消息包含但不仅限于model_id、图片路径、图片标注信息以及模型最终存储路径model_dir等；

步骤b3中，用户可以继续在客户端上选择要训练的目标检测模型所对应的模型训练参数，比如模型类型、网络结构以及训练次数等；

步骤b4中，用户通过客户端向服务器提交训练任务的信息，其中，训练任务信息可以是js对象简谱(javascriptobjectnotation，json)格式，下面将展示一种训练任务信息：

其中，各个字段的含义如下：

class表示这批标注数据的class->label的字典；

mark表示每张图片对应的标注信息；

package表示在web页面定义的游戏gameid；

name表示训练的标志位；

train_dir表示模型训练临时数据存储路径；

model_path表示训练好的模型存储路径；

步骤b5中，服务器接收训练任务，并将训练任务分配给图形处理器(graphicsprocessingunit，gpu)训练器，其中，服务器所对应的mysql负责记录训练任务的状态以及模型存储的路径。服务器与模型训练器之间的数据和训练任务的通信，主要包括cephfs共享磁盘和redis，以及记录训练状态的mysql数据库；

步骤b6中，gpu训练器对训练数据做预处理；

步骤b7中，gpu训练器生成目标检测模型配置文件，请参阅图23，图23为本发明实施例中训练配置文件的一个实施例示意图，如图所示，服务器根据训练任务所选择的模型，生成用于模型训练的配置文件，其中，图23是以yolo网络模型为例生成的配置文件列表；

步骤b8中，gpu训练器根据配置文件调用算法，并训练得到目标检测模型，服务器将该目标检测模型存储至cephfs的指定路径中，cephfs是一种共享文件系统的名称，在分布式系统中实现文件的多节点共享。请参阅图24，图24为本发明实施例中游戏目标检测模型训练系统的存储目录一个结构示意图，如图所示，cephfs中的god数据存储目录结构包括图片、模型和训练数据。其中，图片是指存储用户上传的原始图片，模型是指已经训练好的模型，训练数据包括模型表示以及用于训练模型的相关数据；

步骤b9中，服务器更新训练任务状态，并将任务状态更新至客户端；

步骤b10中，结束目标检测模型的训练。

为了便于介绍，请参阅图25，图25为本发明实施例中模型训练任务的一个执行过程示意图，如图所示，首先，服务器按照顺序从redis中获取训练任务，然后服务器根据训练任务对数据间预处理，即对cephfs中的数据进行预处理，从而生成可用于训练模型的数据。服务器在每个阶段均通过model_id修改该任务的状态(状态主要包括：等待、训练中、异常以及训练完成等)。服务器根据训练任务所选择的模型生成用于模型训练的配置文件列表。最后调用算法训练得到目标检测模型，并将该目标检测模型存储至cephfs所的指定路径。

需要说明的是，预处理主要包括将标注数据转换为标注的文本，比如将名称与图片名对应上，如1.jpg的标注文本为1.txt。预处理还需要对标注数据合法性检测，比如检测[label，cx，cy，w，h]。

其次，本发明实施例中，介绍了服务器训练目标检测模型的具体过程，即服务器先对每个待训练图片子集合中的每个待训练图片，以及每个待训练图片所对应的标签信息进行预处理，得到待训练数据，然后获取模型训练参数，再根据模型训练参数生成训练配置文件，最后服务器采用训练配置文件对待训练数据进行训练，得到目标检测模型，其中，目标检测模型存储于目标路径下。通过上述方式，一方面实现多人在线对同一份数据集进行标注，增加了标注样本的效率，另一方面，服务器基于已经封装好的训练内容，比如数据预处理、网络结构设计以及资源管理等，使得目标检测模型的训练细节对用户而言实现透明化，极大降低用户门槛，从而提升了模型训练的效率。

可选地，在上述图20对应的实施例的基础上，本发明实施例提供模型训练的方法第二个可选实施例中，根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，还可以包括：

接收客户端发送的待检测图片以及模型选择指令，其中，模型选择指令携带模型标识；

根据模型选择指令确定目标检测模型；

通过目标检测模型获取待检测图片对应的目标对象检测信息。

本实施例中，在服务器训练得到目标检测模型之后，还可以对客户端上传的图片进行预测。首先，服务器会接收客户端发送的待检测图片以及模型选择指令，模型选择指令携带模型标识，因此，服务器可以根据模型选择指令确定目标检测模型，比如选择a模型对图片进行检测。然后采用a模型对生成待检测图片对应的目标对象检测信息(比如对象内容以及对象所在位置等信息)。

其次，本发明实施例中，在服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，还可以接收客户端发送的待检测图片以及模型选择指令，然后根据模型选择指令确定目标检测模型，最后，服务器通过目标检测模型获取待检测图片对应的目标对象检测信息。通过上述方式，还提供了在线预测的功能，客户端无需下载具体的模型即可测试模型的完成度和准确性，方便用户通过可视化的方式检查模型训练效果，降低了用户在模型选择时的难度。

下面将从客户端的角度，对本发明中对象检测的方法进行介绍，请参阅图26，本发明实施例中对象检测的方法一个实施例包括：

501、获取待检测图片集合，其中，待检测图片集合包括至少一个待检测图片；

本实施例中，用户触发图片检测指令，客户端根据该图片检测指令可以获取待检测图片集合，其中，待检测图片集合包括至少一个待检测图片。

502、接收模型选择指令，其中，模型选择指令携带模型标识；

本实施例中，用户还需要触发模型选择指令，客户端接收该模型选择指令，其中，模型选择指令携带模型标识。在实际应用中，测试不同类型的应用画面时，可以根据情况选择合适的模型。比如a应用适合采用yolo网络模型，b应用适合采用rcnn网络模型。

503、向服务器发送待检测图片集合以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片集合中每个待检测图片的对象检测信息，其中，目标检测模型为服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的，至少一个待训练图片子集合由服务器发送给至少一个客户端；

本实施例中，客户端向服务器发送待检测图片集合以及模型选择指令，服务器根据模型选择指令获取目标检测模型，然后将待检测图片集合中每个待检测图片都输入至目标检测模型，由该目标检测模型输出每个待检测图片的对象检测信息。

目标检测模型是服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的。

504、接收服务器发送的待检测图片集合中每个待检测图片的对象检测信息。

本实施例中，服务器生成每个待检测图片的对象检测信息之后，会向客户端发送每个待检测图片的对象检测信息。

为了便于理解，请参阅图27，图27为本发明实施例中检测对象的一个流程示意图，如图所示，具体地：

步骤c1中，在对图片进行预测时，用户首先需要从已经训练完成的模型中选择其中一个模型；

步骤c2中，用户上传待预测的图片，其中，图片的数量可以是一张也可以是多张，此处不做限定；

步骤c3中，用户通过客户端向网页服务器提交预测请求，网页服务器根据该预测请求确定model_id；

步骤c4中，网页服务器对至少一张需要预测的图片进行预处理，预处理主要包括对图片进行去燥、缩放以及归一化处理；

步骤c5中，网页服务器根据model_id加载相应的目标检测模型；

步骤c6中，网页服务器采用目标检测模型对图片中的目标对象进行预测，即使用训练好的模型来检测游戏画面中的目标；

步骤c7中，最后，网页服务器将预测结果返回给客户端，用户可以通过客户端展示的结果了解模型训练情况。

本发明实施例中，提供了一种对象检测的方法，首先，客户端获取待检测图片集合，其中，待检测图片集合包括至少一个待检测图片，客户端还需要接收模型选择指令，其中，模型选择指令携带模型标识。然后客户端向服务器发送待检测图片集合以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片集合中每个待检测图片的对象检测信息，最后，客户端接收服务器发送的待检测图片集合中每个待检测图片的对象检测信息。通过上述方式，用户可以根据不同的应用类型，从客户端上选择合适的目标检测模型，能够更好地适用于不同类型的应用，从而提升检测的准确率。

下面对本发明中的客户端进行详细描述，请参阅图28，图28为本发明实施例中客户端一个实施例示意图，客户端60包括：

发送模块601，用于向服务器发送图片标注指令；

接收模块602，用于接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

获取模块603，用于获取所述接收模块602接收的所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型；

所述发送模块601，还用于向所述服务器发送所述获取模块603获取的所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本实施例中，发送模块601向服务器发送图片标注指令，接收模块602接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数，获取模块603获取所述接收模块602接收的所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述发送模块601向所述服务器发送所述获取模块603获取的所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明实施例中，提供了一种用于模型训练的客户端，首先客户端向服务器发送图片标注指令，服务器根据该图片标注指令向客户端发送的待训练图片子集合，其中，待训练图片子集合属于待训练图片集合，待训练图片集合包含m个待训练图片，待训练图片子集合包含n个待训练图片，然后，客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，最后，客户端向服务器发送待训练图片子集合以及标签信息，以使服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型。通过上述方式，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

可选地，在上述图28所对应的实施例的基础上，请参阅图29，本发明实施例提供的客户端60的另一实施例中，所述客户端60还包括响应模块604；

所述响应模块604，用于所述接收模块602根据所述图片标注指令接收服务器发送的待训练图片子集合之前，若接收到第一图片上传指令，则响应于所述第一图片上传指令，向所述服务器上传待训练图片，直至上传完所述待训练图片集合；

所述响应模块604，还用于所述接收模块602根据所述图片标注指令接收服务器发送的待训练图片子集合之前，若接收到第二图片上传指令，则响应于所述第二图片上传指令，向所述服务器上传数据压缩包，以使所述服务器根据所述数据压缩包生成所述待训练图片集合，其中，所述数据压缩包为对所述待训练图片集合进行压缩后生成的。

其次，本发明实施例中，若客户端接收到第一图片上传指令，则向服务器上传待训练图片，直至上传完待训练图片集合，若客户端接收到第二图片上传指令，则向服务器上传数据压缩包，以使服务器根据数据压缩包生成待训练图片集合，其中，数据压缩包为对待训练图片集合进行压缩后生成的。通过上述方式，用户可以提前向服务器上传待训练图片，如果图片数量非常大，则可以直接上传打包好的压缩文件，如果图片数量不大，则可以根据需要依次进行挑选，并上传各张图片。从而提升操作的灵活性和实用性。

可选地，在上述图28所对应的实施例的基础上，本发明实施例提供的客户端60的另一实施例中，

所述获取模块603，具体用于接收所述待训练图片子集合中每个待训练图片所对应的图片标注指令，其中，图片标注指令中携带至少一个对象类型标识，每个对象类型标识对应于一个对象标签；

响应于所述每个待训练图片所对应的图片标注指令，生成所述待训练图片子集合中所述每个待训练图片所对应的标签信息。

其次，本发明实施例中，介绍了客户端如何获取每个待训练图片所对应的标签信息。即客户端先分别接收待训练图片子集合中每个待训练图片所对应的图片标注指令，然后响应于每个待训练图片所对应的图片标注指令，并且生成待训练图片子集合中每个待训练图片所对应的标签信息。通过上述方式，用户可以在自己使用的客户端上对待训练图片进行标注，且一张图片往往可以标注多个信息，这样的话，客户端结合用户在每张待训练图片上标注的内容，最后生成标签信息，从而提升了方案的可行性和可操作性，同时，增强了用户与客户端之间的交互性。

可选地，在上述图29所对应的实施例的基础上，本发明实施例提供的客户端60的另一实施例中，

所述接收模块602，还用于所述获取模块603接收所述待训练图片子集合中每个待训练图片所对应的图片标注指令之前，接收类型添加指令，其中，所述类型添加指令携带目标对象类型标识；

所述响应模块604，还用于响应于所述接收模块602接收的所述类型添加指令，建立目标对象标签，其中，所述目标对象标签与所述目标对象类型标识具有对应关系。

再次，本发明实施例中，客户端分别接收待训练图片子集合中每个待训练图片所对应的图片标注指令之前，还可以接收用户触发的类型添加指令，其中，类型添加指令携带目标对象类型标识，然后客户端响应于类型添加指令，并建立目标对象标签，其中，目标对象标签与目标对象类型标识具有对应关系。通过上述方式，用户还可以根据实际需求，添加不同的对象标签，由此，提升方案的灵活性和可行性。

可选地，在上述图28所对应的实施例的基础上，本发明实施例提供的客户端60的另一实施例中，

所述接收模块602，还用于所述发送模块601向所述服务器发送所述待训练图片子集合以及所述标签信息之前，接收模型训练参数，其中，所述模型训练参数至少包括模型类型、网络结构以及训练次数；

所述发送模块601，具体用于向所述服务器发送所述模型训练参数、所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述模型训练参数对所述待训练图片子集合以及所述标签信息进行训练，得到所述目标检测模型。

再次，本发明实施例中，客户端向服务器发送待训练图片子集合以及标签信息之前，还可以接收模型训练参数，其中，模型训练参数至少包括模型类型、网络结构以及训练次数，然后，客户端向服务器发送模型训练参数、待训练图片子集合以及标签信息，以使服务器根据模型训练参数对待训练图片子集合以及标签信息进行训练，得到目标检测模型。通过上述方式，对于模型的训练，用户还可以配置目标检测模型需要的模型训练参数，这些参数的选择难度较低，通过选择相应的参数类型和参数值即可，从而提升了模型训练的效率。

可选地，在上述图28或图29所对应的实施例的基础上，本发明实施例提供的客户端60的另一实施例中，

所述获取模块603，还用于所述发送模块601向所述服务器发送所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型之后，获取待检测图片；

所述接收模块602，还用于接收模型选择指令，其中，所述模型选择指令携带模型标识；

所述发送模块601，还用于向服务器发送所述获取模块603获取的所述待检测图片以及所述接收模块602接收的所述模型选择指令，以使所述服务器根据所述模型选择指令获取所述目标检测模型，通过所述目标检测模型获取所述待检测图片的目标对象检测信息。

再次，本发明实施例中，服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，客户端还可以对模型进行测试，即客户端先获取待检测图片，然后接收模型选择指令，其中，模型选择指令携带模型标识，客户端向服务器发送待检测图片以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片的目标对象检测信息。通过上述方式，客户端无需下载具体的模型即可测试模型的完成度和准确性，方便用户通过可视化的方式检查模型训练效果，降低了用户在模型选择时的难度。

下面对本发明中的服务器进行详细描述，请参阅图30，图30为本发明实施例中服务器一个实施例示意图，服务器70包括：

接收模块701，用于接收至少一个客户端发送的图片标注指令；

发送模块702，用于根据所述接收模块701接收的所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

所述接收模块701，还用于接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息；

训练模块703，用于根据所述接收模块701接收的所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本实施例中，接收模块701接收至少一个客户端发送的图片标注指令，发送模块702根据所述接收模块701接收的所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数，所述接收模块701接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息，训练模块703根据所述接收模块701接收的所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

本发明实施例中，提供了一种模型训练的方法，首先服务器接收至少一个客户端发送的图片标注指令，根据图片标注指令向至少一个客户端中发送待训练图片子集合，以使每个客户端获取待训练图片子集合中每个待训练图片所对应的标签信息，其中，标签信息用于标识待训练图片中的对象类型，然后服务器接收至少一个客户端发送的待训练图片子集合以及标签信息，最后，服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型，其中，目标检测模型用于获取图片中的对象检测信息。通过上述方式，由服务器向不同的客户端分配不同的待标注图片，而用户只需要在自己使用的客户端上对收到的这部分图片进行标注，用户之间无需协商待标注图片是否出现重复或者遗漏的情况，从而提升图片标注的准确率，降低了图片标注错误的风险。

可选地，在上述图30所对应的实施例的基础上，本发明实施例提供的服务器70的另一实施例中，

所述训练模块703，具体用于对每个待训练图片子集合中的每个待训练图片，以及所述每个待训练图片所对应的标签信息进行预处理，得到待训练数据；

获取模型训练参数，其中，所述模型训练参数至少包括模型类型、网络结构以及训练次数；

根据所述模型训练参数生成训练配置文件；

采用所述训练配置文件对所述待训练数据进行训练，得到所述目标检测模型，其中，所述目标检测模型存储于目标路径下。

其次，本发明实施例中，介绍了服务器训练目标检测模型的具体过程，即服务器先对每个待训练图片子集合中的每个待训练图片，以及每个待训练图片所对应的标签信息进行预处理，得到待训练数据，然后获取模型训练参数，再根据模型训练参数生成训练配置文件，最后服务器采用训练配置文件对待训练数据进行训练，得到目标检测模型，其中，目标检测模型存储于目标路径下。通过上述方式，一方面实现多人在线对同一份数据集进行标注，增加了标注样本的效率，另一方面，服务器基于已经封装好的训练内容，比如数据预处理、网络结构设计以及资源管理等，使得目标检测模型的训练细节对用户而言实现透明化，极大降低用户门槛，从而提升了模型训练的效率。

可选地，在上述图30所对应的实施例的基础上，请参阅图31，本发明实施例提供的服务器70的另一实施例中，所述服务器70还包括确定模块704和获取模块705；

所述接收模块701，还用于所述训练模块703根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型之后，接收客户端发送的待检测图片以及模型选择指令，其中，所述模型选择指令携带模型标识；

所述确定模块704，用于根据所述接收模块701接收的所述模型选择指令确定所述目标检测模型；

所述获取模块705，用于通过所述确定模块704确定的所述目标检测模型获取所述待检测图片对应的目标对象检测信息。

其次，本发明实施例中，在服务器根据待训练图片子集合以及标签信息，训练得到目标检测模型之后，还可以接收客户端发送的待检测图片以及模型选择指令，然后根据模型选择指令确定目标检测模型，最后，服务器通过目标检测模型获取待检测图片对应的目标对象检测信息。通过上述方式，还提供了在线预测的功能，客户端无需下载具体的模型即可测试模型的完成度和准确性，方便用户通过可视化的方式检查模型训练效果，降低了用户在模型选择时的难度。

下面对本发明中的客户端进行详细描述，请参阅图32，图32为本发明实施例中客户端一个实施例示意图，客户端80包括：

获取模块801，用于获取待检测图片集合，其中，所述待检测图片集合包括至少一个待检测图片；

接收模块802，用于接收模型选择指令，其中，所述模型选择指令携带模型标识；

发送模块803，用于向服务器发送获取模块801获取的所述待检测图片集合以及所述接收模块802接收的所述模型选择指令，以使所述服务器根据所述模型选择指令获取目标检测模型，通过所述目标检测模型获取所述待检测图片集合中每个待检测图片的对象检测信息，其中，所述目标检测模型为所述服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的，所述至少一个待训练图片子集合由所述服务器发送给至少一个客户端；

所述接收模块802，还用于接收所述服务器发送的所述待检测图片集合中每个待检测图片的对象检测信息。

本实施例中，获取模块801获取待检测图片集合，其中，所述待检测图片集合包括至少一个待检测图片，接收模块802接收模型选择指令，其中，所述模型选择指令携带模型标识，发送模块803向服务器发送获取模块801获取的所述待检测图片集合以及所述接收模块802接收的所述模型选择指令，以使所述服务器根据所述模型选择指令获取目标检测模型，通过所述目标检测模型获取所述待检测图片集合中每个待检测图片的对象检测信息，其中，所述目标检测模型为所述服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的，所述至少一个待训练图片子集合由所述服务器发送给至少一个客户端，所述接收模块802接收所述服务器发送的所述待检测图片集合中每个待检测图片的对象检测信息。

本发明实施例中，提供了一种对象检测的方法，首先，客户端获取待检测图片集合，其中，待检测图片集合包括至少一个待检测图片，客户端还需要接收模型选择指令，其中，模型选择指令携带模型标识。然后客户端向服务器发送待检测图片集合以及模型选择指令，以使服务器根据模型选择指令获取目标检测模型，通过目标检测模型获取待检测图片集合中每个待检测图片的对象检测信息，最后，客户端接收服务器发送的待检测图片集合中每个待检测图片的对象检测信息。通过上述方式，用户可以根据不同的应用类型，从客户端上选择合适的目标检测模型，能够更好地适用于不同类型的应用，从而提升检测的准确率。

本发明实施例还提供了另一种终端设备，如图33所示，为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personaldigitalassistant，pda)、销售终端(pointofsales，pos)、车载电脑等任意终端设备，以终端设备为手机为例：

图33示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图33，手机包括：射频(radiofrequency，rf)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(wirelessfidelity，wifi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图33中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图33对手机的各个构成部件进行具体的介绍：

rf电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器980处理；另外，将设计上行的数据发送给基站。通常，rf电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoiseamplifier，lna)、双工器等。此外，rf电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystemofmobilecommunication，gsm)、通用分组无线服务(generalpacketradioservice，gprs)、码分多址(codedivisionmultipleaccess，cdma)、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)、长期演进(longtermevolution，lte)、电子邮件、短消息服务(shortmessagingservice，sms)等。

存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括触控面板931以及其他输入设备932。触控面板931，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板931上或在触控面板931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板931。除了触控面板931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示面板941，可选的，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode，oled)等形式来配置显示面板941。进一步的，触控面板931可覆盖显示面板941，当触控面板931检测到在其上或附近的触摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图33中，触控面板931与显示面板941是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板931与显示面板941集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在手机移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经rf电路910以发送给比如另一手机，或者将音频数据输出至存储器920以便进一步处理。

wifi属于短距离无线传输技术，手机通过wifi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图33示出了wifi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；可选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

手机还包括给各个部件供电的电源990(比如电池)，可选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本发明实施例中，该终端设备所包括的处理器980还具有以下功能：

向服务器发送图片标注指令；

接收服务器发送的待训练图片子集合，其中，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型；

向所述服务器发送所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

可选地，本发明实施例中处理器980还用于执行如下步骤：

若接收到第一图片上传指令，则响应于所述第一图片上传指令，向所述服务器上传待训练图片，直至上传完所述待训练图片集合；

若接收到第二图片上传指令，则响应于所述第二图片上传指令，向所述服务器上传数据压缩包，以使所述服务器根据所述数据压缩包生成所述待训练图片集合，其中，所述数据压缩包为对所述待训练图片集合进行压缩后生成的。

可选地，本发明实施例中处理器980具体用于执行如下步骤：

接收所述待训练图片子集合中每个待训练图片所对应的图片标注指令，其中，图片标注指令中携带至少一个对象类型标识，每个对象类型标识对应于一个对象标签；

响应于所述每个待训练图片所对应的图片标注指令，生成所述待训练图片子集合中所述每个待训练图片所对应的标签信息。

可选地，本发明实施例中处理器980还用于执行如下步骤：

接收类型添加指令，其中，所述类型添加指令携带目标对象类型标识；

响应于所述类型添加指令，建立目标对象标签，其中，所述目标对象标签与所述目标对象类型标识具有对应关系。

可选地，本发明实施例中处理器980还用于执行如下步骤：

接收模型训练参数，其中，所述模型训练参数至少包括模型类型、网络结构以及训练次数；

本发明实施例中处理器980具体用于执行如下步骤：

向所述服务器发送所述模型训练参数、所述待训练图片子集合以及所述标签信息，以使所述服务器根据所述模型训练参数对所述待训练图片子集合以及所述标签信息进行训练，得到所述目标检测模型。

可选地，本发明实施例中处理器980还用于执行如下步骤：

获取待检测图片；

接收模型选择指令，其中，所述模型选择指令携带模型标识；

向服务器发送所述待检测图片以及所述模型选择指令，以使所述服务器根据所述模型选择指令获取所述目标检测模型，通过所述目标检测模型获取所述待检测图片的目标对象检测信息。

该终端所包括的处理器980还具有以下功能：

获取待检测图片集合，其中，所述待检测图片集合包括至少一个待检测图片；

接收模型选择指令，其中，所述模型选择指令携带模型标识；

向服务器发送所述待检测图片集合以及所述模型选择指令，以使所述服务器根据所述模型选择指令获取目标检测模型，通过所述目标检测模型获取所述待检测图片集合中每个待检测图片的对象检测信息，其中，所述目标检测模型为所述服务器根据至少一个待训练图片子集合以及每个待训练图片子集合所对应的标签信息训练得到的，所述至少一个待训练图片子集合由所述服务器发送给至少一个客户端；

接收所述服务器发送的所述待检测图片集合中每个待检测图片的对象检测信息。

图34是本发明实施例提供的一种服务器结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessingunits，cpu)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如windowsservertm，macosxtm，unixtm，linuxtm，freebsdtm等等。

上述实施例中由服务器所执行的步骤可以基于该图34所示的服务器结构。

在本发明实施例中，该服务器所包括的cpu1022还具有以下功能：

接收至少一个客户端发送的图片标注指令；

根据所述图片标注指令向所述至少一个客户端中发送待训练图片子集合，以使每个客户端获取所述待训练图片子集合中每个待训练图片所对应的标签信息，其中，所述标签信息用于标识待训练图片中的对象类型，所述待训练图片子集合属于待训练图片集合，所述待训练图片集合包含m个待训练图片，所述待训练图片子集合包含n个待训练图片，所述m为大于或等于1的整数，所述n为大于或等于1，且小于或等于所述m的整数；

接收所述至少一个客户端发送的待训练图片子集合以及所述标签信息；

根据所述待训练图片子集合以及所述标签信息，训练得到目标检测模型，其中，所述目标检测模型用于获取图片中的对象检测信息。

可选地，本发明实施例中cpu1022具体用于执行如下步骤：

对每个待训练图片子集合中的每个待训练图片，以及所述每个待训练图片所对应的标签信息进行预处理，得到待训练数据；

获取模型训练参数，其中，所述模型训练参数至少包括模型类型、网络结构以及训练次数；

根据所述模型训练参数生成训练配置文件；

采用所述训练配置文件对所述待训练数据进行训练，得到所述目标检测模型，其中，所述目标检测模型存储于目标路径下。

可选地，本发明实施例中cpu1022还用于执行如下步骤：

接收客户端发送的待检测图片以及模型选择指令，其中，所述模型选择指令携带模型标识；

根据所述模型选择指令确定所述目标检测模型；

通过所述目标检测模型获取所述待检测图片对应的目标对象检测信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。