一种用于图像信息采集的方法和装置与流程

文档序号:13421994阅读:351来源:国知局
一种用于图像信息采集的方法和装置与流程

本发明涉及图像处理技术领域,尤其涉及一种图像信息采集的技术。



背景技术:

图片信息采集是一项费时费力费钱的事情,尤其是线下人工收集,面临诸多挑战,成本高,效率低,质量也不高。现有技术通常都是在用户大批量上传图片之后,再通过人工的方式进行大批量标注,以标注这些图片是否是合格有效的,从而将合格有效的图片用来训练模型,但是这种方式标注的人力成本很高,例如,假设全国各地用户共上传了3万张图片,通过人工标注的方式对这3万张图片进行标注,可能最后得到合格有效可以用来训练模型的图片只有5千张,浪费了大量人力。

例如收集第一期小学毕业照照采集为例,线下用户提交照片,人工描述头像的位置,第几排左数第几人穿什么衣服。用户提交后,后期标注人员按照文本描述框选的位置,生成标注文件,算法人员才能用来模型训练。在实际操作过程中,出现了不少人工的问题带来了图片不够清晰,上传错误图片,图片命名重复,位置描述不准确等一系列不可避免的问题,虽然项目人员后期想尽各种极力补救,还是存在很多无效的照片。

目前的线下收集仍然以人工操作为主,用户通过文本描述或者在图片上面圈出其具体位置,然后再提交相应的文件给后台。系统收到数据之后,一般有两种办法来确认。第一种是标注人员收到照片之后,按照用户提供的线索框选出相应的人物并且入库。第二种为利用模型预测的方式来进行图片的第一轮标注,程序将人脸的位置画到图片上面,之后交给标注人员进行校验,然后再入库。

现在线下收集将工作的精力花在照片已经提交到了系统,如果用户上传的图片出现了图片模糊、上传错误,命名重复的问题,现在的方法都无法有效的解决,无疑造成了用户时间和标注人员精力的浪费。

因此,如何提供一种高效、准确的图像信息采集的方式,成为本领域技术人员亟需解决的问题之一。



技术实现要素:

本发明的目的是提供一种用于图像信息采集的方法和装置。

根据本发明的一个方面,提供了一种用于图像信息采集的方法,其中,该方法包括:

a获取网络用户上传的图片;

b检测并标记所述图片中图像的目标特征;

c根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认;

d保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型。

优选地,步骤b包括:

根据事先训练的检测模型,检测并标记所述图片中图像的目标特征。

优选地,步骤c还包括:

获取所述网络用户所修改的所述图像的目标特征的标记位置;

保存修改后的所述标记位置所对应的目标特征。

优选地,该方法还包括:

根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

更优选地,该方法还包括:

获取用户上传的图片信息;

根据所述识别模型,对所述图片信息进行识别,获得对应的目标相关信息提供给所述用户。

根据本发明的另一个方面,还提供了一种用于图像信息采集的采集装置,其中,该采集装置包括:

获取装置,用于获取网络用户上传的图片;

检测装置,用于检测并标记所述图片中图像的目标特征;

载入装置,用于根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认;

保存装置,用于保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型。

优选地,所述检测装置用于:

根据事先训练的检测模型,检测并标记所述图片中图像的目标特征。

优选地,所述载入装置还用于:

获取所述网络用户所修改的所述图像的目标特征的标记位置;

保存修改后的所述标记位置所对应的目标特征。

优选地,该采集装置还包括:

训练装置,用于根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

优选地,该采集装置还包括识别装置,用于:

获取用户上传的图片信息;

根据所述识别模型,对所述图片信息进行识别,获得对应的目标相关信息提供给所述用户。

根据本发明的又一个方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如上任一项所述的方法被执行。

根据本发明的再一个方面,还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如上任一项所述的方法被执行。

根据本发明的再一个方面,还提供了一种计算机设备,所述计算机设备包括:

一个或多个处理器;

存储器,用于存储一个或多个计算机程序;

当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上任一项所述的方法。

与现有技术相比,本发明获取网络用户上传的图片,检测并标记所述图片中图像的目标特征,根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认,保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型;本发明将模型预测的能力直接用于网络用户上传图片的阶段,当网络用户点击上传图片之后,系统直接给图片预测的结果,保留合格的图片,并且自动标记出相应的目标特征,网络用户只需要进行确认,或者修改标记的位置,然后完成提交到后台系统操作,后台标注人员只需要进行确认即可入库,提高了图像信息采集的准确率和效率。

进一步地,本发明根据大量所保存的网络用户选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型,从而进行特征识别,进一步地,本发明先根据事先训练的较小的一个检测模型,检测并标记图片中图像的目标特征,再通过与网络用户之间的交互,保存大量网络用户所选择目标相关信息及其对应的目标特征,从而训练得到一个能力更强的大模型,以进行特征识别,进一步提高了图像信息采集的准确率和效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:

图1示出根据本发明一个方面的用于图像信息采集的采集装置的装置示意图。

图2示出根据本发明一个优选实施例的用于图像信息采集的示意图;

图3示出根据本发明另一个优选实施例的用于图像信息采集的示意图;

图4示出根据本发明又一个优选实施例的用于图像信息采集的示意图;

图5示出根据本发明再一个优选实施例的用于图像信息采集的示意图;

图6示出根据本发明另一个方面的用于图像信息采集的方法的流程示意图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”,也称为“电脑”,是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的存续指令来执行预定处理过程,或是由asic、fpga、dsp等硬件执行预定处理过程,或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中,所述用户设备包括但不限于电脑、智能手机、pda等;所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中,所述计算机设备可单独运行来实现本发明,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本发明。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络等。

需要说明的是,所述用户设备、网络设备和网络等仅为举例,其他现有的或今后可能出现的计算机设备或网络如可适用于本发明,也应包含在本发明保护范围以内,并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是,当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。与此相对,当一个单元被称为“直接连接”或“直接耦合”到另一单元时,则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的用于图像信息采集的采集装置的装置示意图。

采集装置1包括获取装置101、检测装置102、载入装置103和保存装置104。该采集装置1例如位于计算机设备中,该计算机设备包括用户设备与网络设备。以下以该采集装置1位于网络设备中为例进行详细描述。

其中,获取装置101获取网络用户上传的图片。

具体地,网络用户例如通过与用户设备的交互,上传了一张或多张图片,获取装置101通过与该用户设备的交互,获取该网络用户上传的图片。例如,网络用户通过一应用程序上传图片,其首先登陆该应用程序,并通过应用程序中的图片上传功能,上传其用户设备中存储的一张或多张图片,或者调用该用户设备中的拍照功能程序接口实时拍摄图片,将新拍摄的至少一个图片进行上传,获取装置101例如通过一次或者多次调用应用程序接口,或通过其他约定的方式,获取该网络用户上传的图片。

本领域技术人员应能理解,上述获取网络用户上传的图片的方式仅为举例,其他现有或今后可能出现的获取网络用户上传的图片的方式,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

检测装置102检测并标记所述图片中图像的目标特征。

具体地,检测装置102例如通过图像识别,识别该图片中图像的颜色,亮度,相邻单位面积的像素对比度等特征,识别出多个物体,然后将该识别出的多个物体中的一个或多个作为该图片中图像的目标特征,更进一步地,该检测装置102还可以根据像素对比度中颜色、亮度等发生突然变化的边界点,确定该目标特征的轮廓,从而可以将该目标特征标记起来。该标记的方式包括但不限于框选、画圈、下划线、阴影等各种方式。以人脸识别为例,假设网络用户上传了一张包括多个人脸图像的图片,获取装置101获取该网络用户上传的图片,随后,检测装置102通过图像识别,识别该图片中的多个人脸,并将该多个人脸作为目标特征,通过框选的方式将这些目标特征,即,人脸,标记出来。

本领域技术人员应能理解,上述人脸识别的应用场景仅为举例,任何与图片学习相关的应用场景都可以作为本发明的应用场景,包括但不限于家庭成员关系学习、图像分类、动物品种识别、人脸识别等,其他现有或今后可能出现的应用场景,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

在此,检测装置102检测并标记的图片中图像的目标特征也可以根据应用场景而有所变化,例如,假设网络用户上传的图片中既包括了人脸图像也包括了动物图像,则当本发明应用于人脸识别,检测装置102检测并标记的该图片中图像的目标特征为人脸,当本发明应用于动物识别,检测装置102检测并标记的该图片中图像的目标特征为动物。

本领域技术人员还应能理解,上述检测并标记图片中图像的目标特征的方式仅为举例,其他现有或今后可能出现的检测并标记图片中图像的目标特征的方式,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

优选地,所述检测装置102根据事先训练的检测模型,检测并标记所述图片中图像的目标特征。

具体地,本发明还可以事先训练一个检测模型,检测装置102根据该事先训练的检测模型,检测并标记所述图片中图像的目标特征。例如,检测装置102通过该事先训练好的检测模型,检测该图片中图像的颜色,亮度,相邻单位面积的像素对比度等特征,识别出多个物体的图像,然后从该识别出的多个物体的图像中,确定一个或多个目标特征,进一步地,检测装置102还可以根据所述像素对比度中颜色、亮度等发生突然变化的边界点,确定所述这些物体图像的轮廓,并通过框选、画圈、下划线、阴影等方式,将该轮廓标记起来,从而标记出该目标特征。在此,该检测模型例如可以现有的训练方式进行事先训练,其可以是以少量样本所训练出来的一个小数据集合的检测模型。

载入装置103根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认。

具体地,在检测装置102检测并标记出图片中图像的目标特征之后,网络用户可以对这些目标特征进行选择,例如,该网络用户通过点击、长按等方式,选择了该图像中一个被标记出来的目标特征,则载入装置103根据该网络用户所选择的被标记出来的目标特征,载入该目标特征的候选相关信息供该网络用户进行选择确认,例如,该载入装置103通过在数据库中进行匹配查询,确定与该目标特征对应的一个或多个候选相关信息,并在该网页或应用的相关位置载入该一个或多个候选相关信息,从而供该网络用户选择。该数据库中例如预先存储了至少一个候选相关信息与对应的目标特征的映射关系。

保存装置104保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型。

具体地,网络用户在该载入的一个或多个候选相关信息中选择了其中某个作为目标相关信息,则保存装置104将该目标相关信息及其对应的目标特征进行保存,如保存该目标相关信息与该目标特征的映射关系,以供后续训练模型的时候进行使用。

例如,以图2至图5所示出的实施例为例,网络用户登录某应用程序并上传了一张图片,获取装置101获取该网络用户上传的该图片。随后,检测装置102通过人脸识别,检测并标记出该图片中图像的目标特征,如图2所示,检测装置102将该图片中的各个人脸检测并框选出来。接着,该网络用户点击选择了其中某个被框选出来的人脸,如图2所示,网络用户点击了第一排左起第二个人脸,载入装置103即根据该网络用户所选择的被标记出来的目标特征,即,人脸,载入该目标特征的候选相关信息,如图3右侧显示出的相关信息:性别,男;年龄,33;并在关系一栏的下拉框中列出了多个候选相关信息,如堂兄、堂弟、堂姐、堂妹、表兄、表弟、表姐、表妹等,供该网络用户进行选择确认。进一步地,载入装置103还可以在提供的多个候选相关信息旁给出这些候选相关信息的解释,如图3在堂兄旁的括号内给出了堂兄的解释,即,父亲的同胞兄弟家比你大的儿子。随后,该网络用户从这多个候选相关信息中选择确认了一个作为目标相关信息,如图4所示,网络用户选择的关系为“堂兄”,则保存装置104即保存该网络用户从这些候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型,如在此保存装置104保存了该网络用户选择的家庭成员关系“堂兄”及其对应的人脸,在此,该“人脸”可以其所在图片位置进行表示,并且,该保存装置104还可以保存该“堂兄”的其他信息,如用户编号、性别、年龄等,可参见图4下方所示。进一步地,如图5所示,该保存装置104将该网络用户确认人物后的图片和相关信息进行保存提交,从而方便后续进行模型训练,例如,在该网络用户完成其提交的图片中所有任务的确认之后,提交该图片和信息入库。

进一步地,若本发明的应用场景为其他图片学习相关的应用场景,则检测装置102检测并标记网络用户上传的图片中与该应用场景对应的目标特征,载入装置103载入与该目标特征对应的候选特征信息供网络用户选择确认。例如,假设某应用场景为识别猫的品种,则在获取装置101获取网络用户上传的图片之后,检测装置102检测并标记该图片中的猫,载入装置103可以提供猫的品种供该网络用户选择,在该网络用户选择确认之后,保存装置104对其进行保存。

在此,采集装置1获取网络用户上传的图片,检测并标记所述图片中图像的目标特征,根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认,保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型;本发明将模型预测的能力直接用于网络用户上传图片的阶段,当网络用户点击上传图片之后,系统直接给图片预测的结果,保留合格的图片,并且自动标记出相应的目标特征,网络用户只需要进行确认,然后完成提交到后台系统操作,后台标注人员只需要进行确认即可入库,提高了图像信息采集的准确率和效率。

优选地,所述载入装置103获取所述网络用户所修改的所述图像的目标特征的标记位置;保存修改后的所述标记位置所对应的目标特征。

具体地,对于检测装置102检测并标记出的图片中图像的目标特征,其可能出现偏差的情况,这时,网络用户可以对该目标特征的标记位置进行修改,载入装置103获取所述网络用户所修改的所述图像的目标特征的标记位置,进而保存修改后的所述标记位置及其所对应的目标特征。从而,当下次再出现该目标特征时,检测装置102可以正确地检测并标记出该目标特征,载入装置103载入与该修改后的目标特征对应的候选特征信息供该网络用户进行选择。

例如,以图2为例,对于框选出来的人脸,可能出现框选的位置不对的情况,则网络用户可以对其进行修改,如拖动该方框至合适的位置,进一步地,对于其他标记方式诸如画圈、下划线、阴影等,网络用户可以通过拖动、旋转、改变长度、高度等方式,修改目标特征的标记位置,随后,载入装置103获取该修改的目标特征的标记位置并进行保存,以图2为例,当网络用户拖动方框至合适的位置以标记出人脸时,右侧“所在图片位置”中的位置信息也会对应更新,则载入装置103保存该“所在图片位置”中更新后的位置信息,并记录其对应的目标特征,即,对应的人脸。

在此,网络用户可以修改图片中图像的目标特征的标记位置,从而采集装置1可以对其进行保存并进行更新,进一步提高了图像信息采集的准确率。

优选地,该采集装置1还包括训练装置(未示出)。该训练装置根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

具体地,大量网络用户都可以上传图片,并通过前述方式选择确定对应的目标相关信息和目标特征,采集装置1通过前述各装置采集这些目标相关信息和对应的目标特征,从而,该采集装置1中的训练装置可以根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

以图2至图5所示为例,假设大量网络用户都上传了包含有各个家庭成员的图片,并通过与用户设备的交互确定了各个家庭成员在图片中的位置,以及各个家庭成员的目标相关信息,如性别、年龄、家庭成员关系等,保存装置104保存这些目标相关信息,训练装置则根据大量所保存的这些目标相关信息,训练对应的识别模型,如训练对应的家庭成员关系识别模型。之后,若有相关家庭成员再次上传图片,则该家庭成员关系识别模型可以识别出其中的家庭成员,并将对应的家庭成员关系提供给该上传图片的家庭成员。

该训练识别模型的过程例如可以从这些大量保存的目标相关信息及其对应的目标特征中选择正、负样本,并基于这些正、负样本进行训练。

在此,采集装置1根据大量所保存的网络用户选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型,从而进行特征识别,进一步地,该采集装置1先根据事先训练的较小的一个检测模型,检测并标记图片中图像的目标特征,再通过与网络用户之间的交互,保存大量网络用户所选择目标相关信息及其对应的目标特征,从而训练得到一个能力更强的大模型,以进行特征识别,进一步提高了图像信息采集的准确率和效率。

优选地,该采集装置1还包括识别装置(未示出)。该识别装置获取用户上传的图片信息;根据所述识别模型,对所述图片信息进行识别,获得对应的目标相关信息提供给所述用户。

具体地,在前述识别模型训练完成之后,若用户,即,该网络用户或其他网络用户,继续上传图片,如仍旧上传之前上传过的图片或上传新的图片,则识别装置可以获取用户上传的图片信息,继而采用该识别模型,对所述图片信息进行识别,获得对应的目标相关信息,并将该目标相关信息提供给用户。

例如,在前述家庭成员关系识别模型训练完成之后,若用户,即,该网络用户或其他网络用户,如某个相关家庭成员再次上传图片,则该家庭成员关系识别模型可以识别出其中的家庭成员,并将对应的家庭成员关系提供给该上传图片的家庭成员。

图6示出根据本发明另一个方面的用于图像信息采集的方法的流程示意图。

在步骤s601中,采集装置1获取网络用户上传的图片。

具体地,网络用户例如通过与用户设备的交互,上传了一张或多张图片,在步骤s601中,采集装置1通过与该用户设备的交互,获取该网络用户上传的图片。例如,网络用户通过一应用程序上传图片,其首先登陆该应用程序,并通过应用程序中的图片上传功能,上传其用户设备中存储的一张或多张图片,或者调用该用户设备中的拍照功能程序接口实时拍摄图片,将新拍摄的至少一个图片进行上传,在步骤s601中,采集装置1例如通过一次或者多次调用应用程序接口,或通过其他约定的方式,获取该网络用户上传的图片。

本领域技术人员应能理解,上述获取网络用户上传的图片的方式仅为举例,其他现有或今后可能出现的获取网络用户上传的图片的方式,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

在步骤s602中,采集装置1检测并标记所述图片中图像的目标特征。

具体地,在步骤s602中,采集装置1例如通过图像识别,识别该图片中图像的颜色,亮度,相邻单位面积的像素对比度等特征,识别出多个物体,然后将该识别出的多个物体中的一个或多个作为该图片中图像的目标特征,更进一步地,在步骤s602中,采集装置1还可以根据像素对比度中颜色、亮度等发生突然变化的边界点,确定该目标特征的轮廓,从而可以将该目标特征标记起来。该标记的方式包括但不限于框选、画圈、下划线、阴影等各种方式。以人脸识别为例,假设网络用户上传了一张包括多个人脸图像的图片,在步骤s601中,采集装置1获取该网络用户上传的图片,随后,在步骤s602中,采集装置1通过图像识别,识别该图片中的多个人脸,并将该多个人脸作为目标特征,通过框选的方式将这些目标特征,即,人脸,标记出来。

本领域技术人员应能理解,上述人脸识别的应用场景仅为举例,任何与图片学习相关的应用场景都可以作为本发明的应用场景,包括但不限于家庭成员关系学习、图像分类、动物品种识别、人脸识别等,其他现有或今后可能出现的应用场景,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

在此,在步骤s602中,采集装置1检测并标记的图片中图像的目标特征也可以根据应用场景而有所变化,例如,假设网络用户上传的图片中既包括了人脸图像也包括了动物图像,则当本发明应用于人脸识别,在步骤s602中,采集装置1检测并标记的该图片中图像的目标特征为人脸,当本发明应用于动物识别,在步骤s602中,采集装置1检测并标记的该图片中图像的目标特征为动物。

本领域技术人员还应能理解,上述检测并标记图片中图像的目标特征的方式仅为举例,其他现有或今后可能出现的检测并标记图片中图像的目标特征的方式,如可适用于本发明,也应包含在本发明保护范围以内,并在此以引用的方式包含于此。

优选地,在步骤s602中,采集装置1根据事先训练的检测模型,检测并标记所述图片中图像的目标特征。

具体地,本发明还可以事先训练一个检测模型,在步骤s602中,采集装置1根据该事先训练的检测模型,检测并标记所述图片中图像的目标特征。例如,在步骤s602中,采集装置1通过该事先训练好的检测模型,检测该图片中图像的颜色,亮度,相邻单位面积的像素对比度等特征,识别出多个物体的图像,然后从该识别出的多个物体的图像中,确定一个或多个目标特征,进一步地,在步骤s602中,采集装置1还可以根据所述像素对比度中颜色、亮度等发生突然变化的边界点,确定所述这些物体图像的轮廓,并通过框选、画圈、下划线、阴影等方式,将该轮廓标记起来,从而标记出该目标特征。在此,该检测模型例如可以现有的训练方式进行事先训练,其可以是以少量样本所训练出来的一个小数据集合的检测模型。

在步骤s603中,采集装置1根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认。

具体地,在步骤s602中,采集装置1检测并标记出图片中图像的目标特征之后,网络用户可以对这些目标特征进行选择,例如,该网络用户通过点击、长按等方式,选择了该图像中一个被标记出来的目标特征,则在步骤s603中,采集装置1根据该网络用户所选择的被标记出来的目标特征,载入该目标特征的候选相关信息供该网络用户进行选择确认,例如,在步骤s603中,采集装置1通过在数据库中进行匹配查询,确定与该目标特征对应的一个或多个候选相关信息,并在该网页或应用的相关位置载入该一个或多个候选相关信息,从而供该网络用户选择。该数据库中例如预先存储了至少一个候选相关信息与对应的目标特征的映射关系。

在步骤s604中,采集装置1保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型。

具体地,网络用户在该载入的一个或多个候选相关信息中选择了其中某个作为目标相关信息,则在步骤s604中,采集装置1将该目标相关信息及其对应的目标特征进行保存,如保存该目标相关信息与该目标特征的映射关系,以供后续训练模型的时候进行使用。

例如,以图2至图5所示出的实施例为例,网络用户登录某应用程序并上传了一张图片,在步骤s601中,采集装置1获取该网络用户上传的该图片。随后,在步骤s602中,采集装置1通过人脸识别,检测并标记出该图片中图像的目标特征,如图2所示,在步骤s602中,采集装置1将该图片中的各个人脸检测并框选出来。接着,该网络用户点击选择了其中某个被框选出来的人脸,如图2所示,网络用户点击了第一排左起第二个人脸,在步骤s603中,采集装置1即根据该网络用户所选择的被标记出来的目标特征,即,人脸,载入该目标特征的候选相关信息,如图3右侧显示出的相关信息:性别,男;年龄,33;并在关系一栏的下拉框中列出了多个候选相关信息,如堂兄、堂弟、堂姐、堂妹、表兄、表弟、表姐、表妹等,供该网络用户进行选择确认。进一步地,在步骤s603中,采集装置1还可以在提供的多个候选相关信息旁给出这些候选相关信息的解释,如图3在堂兄旁的括号内给出了堂兄的解释,即,父亲的同胞兄弟家比你大的儿子。随后,该网络用户从这多个候选相关信息中选择确认了一个作为目标相关信息,如图4所示,网络用户选择的关系为“堂兄”,则在步骤s604中,采集装置1即保存该网络用户从这些候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型,如在此,在步骤s604中,采集装置1保存了该网络用户选择的家庭成员关系“堂兄”及其对应的人脸,在此,该“人脸”可以其所在图片位置进行表示,并且,在步骤s604中,采集装置1还可以保存该“堂兄”的其他信息,如用户编号、性别、年龄等,可参见图4下方所示。进一步地,如图5所示,在步骤s604中,采集装置1将该网络用户确认人物后的图片和相关信息进行保存提交,从而方便后续进行模型训练,例如,在该网络用户完成其提交的图片中所有任务的确认之后,提交该图片和信息入库。

进一步地,若本发明的应用场景为其他图片学习相关的应用场景,则在步骤s602中,采集装置1检测并标记网络用户上传的图片中与该应用场景对应的目标特征,在步骤s603中,采集装置1载入与该目标特征对应的候选特征信息供网络用户选择确认。例如,假设某应用场景为识别猫的品种,则在步骤s601中,采集装置1获取网络用户上传的图片之后,在步骤s602中,采集装置1检测并标记该图片中的猫,在步骤s603中,采集装置1可以提供猫的品种供该网络用户选择,在该网络用户选择确认之后,在步骤s604中,采集装置1对其进行保存。

在此,采集装置1获取网络用户上传的图片,检测并标记所述图片中图像的目标特征,根据所述网络用户所选择的被标记出来的目标特征,载入所述目标特征的候选相关信息供所述网络用户进行选择确认,保存所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,以供后续训练模型;本发明将模型预测的能力直接用于网络用户上传图片的阶段,当网络用户点击上传图片之后,系统直接给图片预测的结果,保留合格的图片,并且自动标记出相应的目标特征,网络用户只需要进行确认,然后完成提交到后台系统操作,后台标注人员只需要进行确认即可入库,提高了图像信息采集的准确率和效率。

优选地,在步骤s603中,采集装置1获取所述网络用户所修改的所述图像的目标特征的标记位置;保存修改后的所述标记位置所对应的目标特征。

具体地,对于在步骤s602中,采集装置1检测并标记出的图片中图像的目标特征,其可能出现偏差的情况,这时,网络用户可以对该目标特征的标记位置进行修改,在步骤s603中,采集装置1获取所述网络用户所修改的所述图像的目标特征的标记位置,进而保存修改后的所述标记位置及其所对应的目标特征。从而,当下次再出现该目标特征时,在步骤s602中,采集装置1可以正确地检测并标记出该目标特征,在步骤s603中,采集装置1载入与该修改后的目标特征对应的候选特征信息供该网络用户进行选择。

例如,以图2为例,对于框选出来的人脸,可能出现框选的位置不对的情况,则网络用户可以对其进行修改,如拖动该方框至合适的位置,进一步地,对于其他标记方式诸如画圈、下划线、阴影等,网络用户可以通过拖动、旋转、改变长度、高度等方式,修改目标特征的标记位置,随后,在步骤s603中,采集装置1获取该修改的目标特征的标记位置并进行保存,以图2为例,当网络用户拖动方框至合适的位置以标记出人脸时,右侧“所在图片位置”中的位置信息也会对应更新,则在步骤s603中,采集装置1保存该“所在图片位置”中更新后的位置信息,并记录其对应的目标特征,即,对应的人脸。

在此,网络用户可以修改图片中图像的目标特征的标记位置,从而采集装置1可以对其进行保存并进行更新,进一步提高了图像信息采集的准确率。

优选地,该方法还包括步骤s605(未示出)。在步骤s605中,采集装置1根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

具体地,大量网络用户都可以上传图片,并通过前述方式选择确定对应的目标相关信息和目标特征,采集装置1通过前述各步骤采集这些目标相关信息和对应的目标特征,从而,在步骤s605中,采集装置1可以根据大量所保存的所述网络用户从所述候选相关信息中选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型。

以图2至图5所示为例,假设大量网络用户都上传了包含有各个家庭成员的图片,并通过与用户设备的交互确定了各个家庭成员在图片中的位置,以及各个家庭成员的目标相关信息,如性别、年龄、家庭成员关系等,在步骤s604中,采集装置1保存这些目标相关信息,在步骤s605中,采集装置1则根据大量所保存的这些目标相关信息,训练对应的识别模型,如训练对应的家庭成员关系识别模型。之后,若有相关家庭成员再次上传图片,则该家庭成员关系识别模型可以识别出其中的家庭成员,并将对应的家庭成员关系提供给该上传图片的家庭成员。

该训练识别模型的过程例如可以从这些大量保存的目标相关信息及其对应的目标特征中选择正、负样本,并基于这些正、负样本进行训练。

在此,采集装置1根据大量所保存的网络用户选择确认的目标相关信息及其对应的目标特征,训练对应的识别模型,从而进行特征识别,进一步地,该采集装置1先根据事先训练的较小的一个检测模型,检测并标记图片中图像的目标特征,再通过与网络用户之间的交互,保存大量网络用户所选择目标相关信息及其对应的目标特征,从而训练得到一个能力更强的大模型,以进行特征识别,进一步提高了图像信息采集的准确率和效率。

优选地,该方法还包括步骤s606(未示出)。在步骤s606中,采集装置1获取用户上传的图片信息;根据所述识别模型,对所述图片信息进行识别,获得对应的目标相关信息提供给所述用户。

具体地,在前述识别模型训练完成之后,若用户,即,该网络用户或其他网络用户,继续上传图片,如仍旧上传之前上传过的图片或上传新的图片,则在步骤s606中,采集装置1可以获取用户上传的图片信息,继而采用该识别模型,对所述图片信息进行识别,获得对应的目标相关信息,并将该目标相关信息提供给用户。

例如,在前述家庭成员关系识别模型训练完成之后,若用户,即,该网络用户或其他网络用户,如某个相关家庭成员再次上传图片,则该家庭成员关系识别模型可以识别出其中的家庭成员,并将对应的家庭成员关系提供给该上传图片的家庭成员。

本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。

本发明还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。

本发明还提供了一种计算机设备,所述计算机设备包括:

一个或多个处理器;

存储器,用于存储一个或多个计算机程序;当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。

需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,本发明的各个装置可采用专用集成电路(asic)或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,ram存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1