一种图像智能标注方法、系统及图像标注质量分析方法与流程

本发明属于人工智能领域，具体涉及深度学习图片标注过程中，一种智能辅助标注的方法。

背景技术：

现在常用的图像标注工作是采用大量人力利用传统图像标注工具，一一框选出图片中的标注对象，但是这样的做法有如下缺点：(1)标注工作量大，一副图片有很多对象需要标注；(2)标注精度受到复杂度和人员熟练度影响，细节部分往往标注得不够清楚；(3)缺乏对基于标注行为的标注质量评价方法，如对标注人员胡乱标注的情况无法有效的鉴别。

而深度学习图像检测对训练模型要求很高，对标注后的训练样本数据需求大、标注工作量大且劳动重复性高。

发明专利cn109255044a《一种基于yolov3深度学习网络的图像智能标注方法》，采用了智能算法对图像进行标注的方法，但是没有人工调整的步骤以及基于标注行为对图像检测进行评价的方法。

发明专利cn109345562a《一种交通图片智能标注系统》，只对交通图片进行标注，而且也没有人工调整的步骤以及基于标注行为对图像检测进行评价的方法。

技术实现要素：

基于以上不足，本发明提出一种人工智能辅助的标注方法，具体提出一种基于深度学习的图像智能标注方法、系统以及一种图像标注质量分析方法。

本发明第一方面，提出一种深度学习图像智能标注方法，所述方法包括：

s101：选取待标注图片；

s102：调用深度学习智能检测算法进行智能标注，得到图片中标注对象的类别、位置及置信度；

s103：以列表形式列出图片中所有标注对象的类别；

s104：对列表中的标注对象类别进行增加、删除、修改操作，同时将所有行为采集并记录；

s105，对每一类需要调整标注的对象类别，用方框标出所有标注对象的位置，并对标注框进行调整，同时将所有行为采集并记录；

s106：生成对应的标注文件和标注行为记录文件。

优选地，所述步骤s105具体包括如下分步骤：

s1051：勾选需要调整标注的对象类别；

s1052：在图片中用方框标出所勾选类别的所有标注对象的位置；

s1053：根据图片中对象的实际位置，对标注框进行调整，同时将所有行为采集并记录；

s1054：返回s1501循环处理，直到所有标注对象类别均已完成标注.

优选地，所述对标注框进行调整包括对标注框进行增加、删除、缩放、平移操作。

优选地，标注行为记录文件中包含标注行为序号、标注框序号、操作类型、操作时长、第一操作参数和第二操作参数；所述第一操作参数为标注框缩放参数或标注框x轴平移参数，所述第二操作参数为标注框y轴平移参数。

本发明第二方面，提出一种基于本发明第一方面所述深度学习图像智能标注方法的图像标注质量分析方法，包括以下步骤：

s201：读取标注文件和标注行为记录文件；

s202：获取标注对象序号及置信度；

s203：按照标注对象序号，依次判断标注对象置信度是否低于预设门限值。如果低于预设门限值则跳至s204，如果高于预设门限值则跳至s205；

s204：查询标注行为记录文件中是否存在该对象的调整行为，如果存在，则跳至s205，如果不存在则跳至s206；

s205：判定标注行为正常；

s206：判定标注行为异常。

本发明第三方面，提出一种深度学习图像智能标注系统，所述系统包括图片加载单元、智能标注单元，手动标注单元，标注行为采集单元和质量评价单元；

所述图片加载单元通过人机交互接口，加载待标注的图片；

所述智能标注单元调用深度学习图像识别算法，对图片进行智能识别，得到图片中标注对象的类别、位置及置信度，并用标注框进行标识；

所述手动标注单元通过人机交互接口调整标注框，对标注对象类别和位置进行调整；

所述标注行为采集单元对智能标注和手动标注过程中标注人的行为进行采集并记录，得到标注文件和标注行为记录文件；

所述质量评价单元通过基于标注行为的质量评价算法，对图片工作标注质量进行评价。

优选地，所述手动标注单元具体包括：

类别调整单元：用于对列表中标注对象类别进行增加、删除、修改操作；

位置调整单元：用于对每一类需要调整标注的对象类别，根据图片中对象的实际位置，对标注框进行增加、删除、缩放、平移操作。

优选地，所述标注行为采集单元中，所述标注行为记录文件中包含标注行为序号、标注框序号、操作类型、操作时长、第一操作参数和第二操作参数；所述第一操作参数为标注框缩放参数或标注框x轴平移参数，所述第二操作参数为标注框y轴平移参数。

优选地，所述质量评价单元具体包括：

获取单元：读取标注文件和标注行为记录文件；获取标注对象序号及置信度；

判断单元：按照标注对象序号，依次判断标注对象置信度是否低于预设门限值；如果低于预设门限值则查询标注行为记录文件中是否存在该对象的调整行为，如果存在，判定标注行为正常，如果不存在，则判定标注行为异常；如果高于预设门限值，则判定标注行为异常。

本发明的有益效果为：本发明通过调用深度学习算法智能检测，列出标注对象类别，对标注对象类别进行修改，方框标出标注对象位置，对标注位置进行修改，生成标注文件和标注行为记录文件，基于所述标注文件和标注行为记录文件对人工标注质量进行分析。本发明简化了图像标注流程，同时能对标注行为进行质量分析，鉴别出异常标注行为，从而提高了标注工作的效率和质量。本发明提供的方法具有操作便捷、保证质量等特点，为深度学习图像智能标注提供了的可行方案。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像智能标注方法流程示意图；

图2为本发明实施例提供的标注行为记录文件格式说明图；

图3为本发明实施例提供的标注质量分析算法流程示意图；

图4为本发明实施例提供的图像智能标注系统组成示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明提供的一种深度学习图像智能标注处理方法流程图，本发明提出的一种深度学习图像智能标注方法包括：

s101：选取待标注图片；

s102：调用深度学习智能检测算法进行智能标注，得到图片中标注对象的类别、位置及置信度；

s103：以列表形式列出图片中所有标注对象的类别；

s104：对列表中的标注对象类别进行增加、删除、修改操作，同时将所有行为采集并记录；

s105，对每一类需要调整标注的对象类别，用方框标出所有标注对象的位置，并对所述标注框进行调整，同时将所有行为采集并记录；

进一步地，所述步骤s105具体包括如下分步骤：

s1051：勾选需要调整标注的对象类别；

s1052：在图片中用方框标出所勾选类别的所有标注对象的位置；

s1053：根据图片中对象的实际位置，对标注框进行调整，同时将所有行为采集并记录；所述对标注框进行调整包括对标注框进行增加、删除、缩放、平移操作。

s1054：返回s1501循环处理，直到所有标注对象类别均已完成标注.

s106：生成对应的标注文件和标注行为记录文件。

进一步地，请参阅图2，图2为本发明标注行为记录文件格式说明示意图；所述标注行为记录文件中包含标注行为序号、标注框序号、操作类型、操作时长、第一操作参数和第二操作参数。分别用取值1～4的值代表各个操作类型，所述操作类型包括：1：新增标注框，2：删除标注框，3：标注框放大/缩小，4：标注框平移。所述第一操作参数为标注框缩放参数或标注框x轴平移参数，所述第二操作参数为标注框y轴平移参数；具体的，当操作类型为3(标注框放大/缩小)时，所述第一操作参数为放大、缩小的倍数百分比，当当操作类型为4(标注框平移)时，所述第一操作参数为x轴平移像素值，其中，往右平移为正整数，往左平移为负整数；当操作类型为其他值时，所述第一操作参数无意义。当当操作类型为4(标注框平移)时，所述第二操作参数为y轴平移像素值，其中，往上平移为正整数，往下平移为负整数；当操作类型为其他值时，所述第二操作参数无意义。

请参阅图3，本发明在上述深度学习图像智能标注方法的基础上提出一种的图像标注质量分析方法，包括以下步骤：

s201：读取标注文件和标注行为记录文件；

s202：获取标注对象序号及置信度；

s203：按照标注对象序号，依次判断标注对象置信度是否低于预设门限值。如果低于预设门限值则跳至s204，如果高于预设门限值则跳至s205；

s204：查询标注行为记录文件中是否存在该对象的调整行为，如果存在，则跳至s205，如果不存在则跳至s206；

s205：判定标注行为正常；即判定标注质量符合要求。

s206：判定标注行为正常。即判定标注质量不符合要求。

具体的，通过将标注对象对应的置信度与预设门限值比较，来判断深度学习图像智能标注的结果是否需要进一步进行人工调整，如果对应的置信度大于预设门限值，则说明该对象经过深度学习图像智能标注的标注质量已符合要求；如果对应的置信度小于或等于预设门限值，则说明该对象需要进一步进行人工调整，因此查询标注行为记录文件中是否存在该对象的调整行为，如果存在，则判定标注人员对该对象的标注行为正常，若标注行为记录文件中不存在对该对象的调整行为，则说明标注人员没有对需要进一步进行人工调整的对象做正确调整，存在胡乱标注等异常行为，导致标注质量不符合要求，从而鉴别出异常标注行为，需要提醒标注人员提高标注质量。

请参阅图4，本发明提出的一种深度学习图像智能标注系统组成图，包括图片加载单元401智能标注单元402，手动标注单元403，标注行为采集单元404，质量评价单元405。

所述图片加载单元401通过人机交互接口，加载待标注的图片；

所述智能标注单元402调用深度学习图像识别算法，对图片进行智能识别，得到图片中标注对象的类别、位置及置信度，并用标注框进行标识；具体的所述智能标注单元402包括一个深度学习智能标注接口，用于接收待标注图片，输入标注图片中标注对象的类别、位置及置信度；

所述手动标注单元403通过人机交互接口调整标注框，对标注对象类别和位置进行调整；具体的，所述手动标注单元403包括一个人机交互接口，用于标注操作者进行手动标注操作；

进一步地，所述手动标注单元403具体包括：

类别调整单元：用于对列表中标注对象类别进行增加、删除、修改操作；

位置调整单元：用于对每一类需要调整标注的对象类别，根据图片中对象的实际位置，对标注框进行增加、删除、缩放、平移操作。

所述标注行为采集单元对404智能标注和手动标注过程中标注人的行为进行采集并记录，得到标注文件和标注行为记录文件；

进一步地，所述标注行为采集单元404中，所述标注行为记录文件中包含标注行为序号、标注框序号、操作类型、操作时长、第一操作参数和第二操作参数；所述第一操作参数为标注框缩放参数或标注框x轴平移参数，所述第二操作参数为标注框y轴平移参数。

所述质量评价单元通405过基于标注行为的质量评价算法，对图片工作标注质量进行评价。

进一步地，所述质量评价单元405具体包括：

获取单元：读取标注文件和标注行为记录文件；获取标注对象序号及置信度；

判断单元：按照标注对象序号，依次判断标注对象置信度是否低于预设门限值；如果低于预设门限值则查询标注行为记录文件中是否存在该对象的调整行为，如果存在，判定标注行为正常，如果不存在，则判定标注行为异常；如果高于预设门限值则，判定标注行为正常。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能性一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应超过本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其他形式的存储介质中。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。