一种半自动化标注方法、设备、介质及装置与流程

本发明涉及图像标注技术领域，尤其涉及一种半自动化标注方法、设备、介质及装置。

背景技术：

随着机器学习的蓬勃发展，人工智能领域已经越来越离不开机器学习了，然而机器学习需要大量的训练数据，训练数据需要人工打上标签，然而训练数据通常为几万条，甚至上百万条。而纯人工标注需要手工描边，工作量非常大。

并且人工标注会出现较大误差，对机器学习的模型造成不必要的影响。而现有的算法本身就具有特化性，只针对某一种特定物体检测，所以不能作为通用的物体标注辅助。

技术实现要素：

为了克服现有技术的不足，本发明的目的之一在于提供一种半自动化标注方法，能解决人工标注存在的误差、效率低下的问题。

本发明的目的之一采用以下技术方案实现：

一种半自动化标注方法，包括如下步骤：

对图片初始化每个像素生成区域，作为候选区域，对所有相邻的候选区域进行两两配对，生成计算列表；

根据计算列表进行相似度计算，包括颜色相似度计算和纹理值相似度计算，分别得出第一得分和第二得分；

根据计算列表进行分值计算，得出第三得分；

根据第一得分、第二得分和第三得分，相加计算得到的相似度，对列表中达到相似度合并阈值的进行两两合并，直到所有候选区域完成合并。

本实施例中，计算列表为相邻的候选区域进行的两两配对，比如有甲、乙、丙三个候选区域相互相邻，则计算列表包含甲乙，乙丙和甲丙。

进一步地，颜色相似度计算过程包括：

对两个候选区域生成颜色直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第一得分。

进一步地，纹理值相似度计算过程包括：

纹理值根据sift算法，对每个像素点的每个通道提取一个纹理值，构建直方图；

对两个候选区域的直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第二得分。

进一步地，分值的计算公式为：

1-(s1+s2)/stotal；

其中，s1和s2分别为两个相邻的候选区域，stotal为图像总面积。

进一步地，对列表中达到相似度合并阈值的进行两两合并，过程包括：

设置相似度合并阈值；

判断两个候选区域相似度与相似度合并阈值的大小，如小于相似度合并阈值，则判断两个候选区域为独立区域，不进行合并；如大于相似度合并阈值，则判断两个候选区域为相似区域，进行合并。

进一步地，步骤直到所有候选区域完成合并后，还包括步骤：对所有完成合并的区域进行分割和描边，生成候选框。

本发明的目的之二在于提供一种半自动化标注装置，在实现自动化标注时，结合相似度计算和分值计算，来使自动化标注更加精确。

本发明的目的之二采用以下技术方案实现：

一种半自动化标注装置，包括：

初始化模块，对图片初始化每个像素生成区域，作为候选区域，对所有相邻的候选区域进行两两配对，生成计算列表；

相似度计算模块，根据计算列表进行相似度计算，包括颜色相似度计算和纹理值相似度计算，分别得出第一得分和第二得分；

分值计算模块，根据计算列表进行分值计算，得出第三得分；

合并模块，根据第一得分、第二得分和第三得分，相加计算得到的相似度，对列表中达到相似度合并阈值的进行两两合并，直到所有候选区域完成合并。

进一步地，还包括描边模块，对所有完成合并的区域进行分割和描边，生成候选框。

本发明的目的之三在于提供执行发明目的之一的电子设备，其包括处理器、存储介质以及计算机程序，计算机程序存储于存储介质中，计算机程序被处理器执行时实现上述的一种半自动化标注方法。

本发明的目的之四在于提供执行发明目的之一的计算机刻度储存介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的一种半自动化标注方法。

相比现有技术，本发明的有益效果在于：

本发明采用半自动标注方法生成标签候选框后，人工只需要选择合适的候选框即可，大大节省了标注时间，提高了标注效率。同时，由于本方案根据物体边缘信息自动生成的候选区域，故精度会比人工标注要高，具有精确性。而且本方案也不限制于特定物体的检测，而是根据边缘信息自动生成的区域，故可以适用于绝大部分场景的标注，具有良好的适用性。

附图说明

图1为本发明的流程示意图；

图2是本发明描框示意图；

图3是实施例二的一种半自动化标注装置的结构框图；

图4是实施例三的电子设备的结构框图。

具体实施方式

以下将结合附图，对本发明进行更为详细的描述，需要说明的是，下参照附图对本发明进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。

实施例一

本实施例提供了一种半自动化标注方法，旨在进行标注任务时，采用半自动标注方法生成标签候选框后，人工只需要选择合适的候选框即可，从而实现节省了标注时间，提高了标注效率。同时，根据物体边缘信息自动生成的候选区域，故精度会比人工标注要高。而且不限制于特定物体的检测，而是根据边缘信息自动生成的区域，故可以适用于绝大部分场景的标注，具有良好的适用性。

根据上述原理，对一种半自动化标注方法进行介绍，如图1所示，一种半自动化标注方法，具体包括如下步骤：

对图片初始化每个像素生成区域，作为候选区域，对所有相邻的候选区域进行两两配对，生成计算列表；

根据计算列表进行相似度计算，包括颜色相似度计算和纹理值相似度计算，分别得出第一得分和第二得分；

根据计算列表进行分值计算，得出第三得分；

根据第一得分、第二得分和第三得分，相加计算得到的相似度，对列表中达到相似度合并阈值的进行两两合并，直到所有候选区域完成合并。

优选地，颜色相似度计算过程包括：

对两个候选区域生成颜色直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第一得分。

本实施例中，上述直方图的颜色范围为0-255，以5个像素为一段，共分为51段，颜色直方图记录了每个颜色区间点的个数，将求出的结果归一化，例如甲的直方图中0-5这一分段的点有50个，则值为50，整个区域一共有500个点，归一化后则为50/500＝0.1，则为甲直方图的第一个区间为0.1，且按照上述计算，乙的直方图内第一个区间为0.2，则两者对位取较小的0.1，以此计算出所有分段最小值的和，最终相加计算出的第一得分，因此第一得分越大则相似度越高，且不会超过1。

优选地，纹理值相似度计算过程包括：

纹理值根据sift算法，对每个像素点的每个通道提取一个纹理值，构建直方图；

对两个候选区域的直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第二得分。

优选地，分值的计算公式为：

1-(s1+s2)/stotal；

其中，s1和s2分别为两个候选区域，stotal为图像总面积。

本实施例中，为了保证优先合并小的区域，使合并更加精确，所以对候选区域的大小进行分值计算，因此计算出的第三得分越大，合并的优先级越高，比如甲的面积是12，乙的面积是15，整幅图的面积是100，那么第三得分为1-(12+15)/100＝0.73。

优选地，对列表中达到相似度合并阈值的进行两两合并，过程包括：

设置相似度合并阈值；

判断两个候选区域相似度与相似度合并阈值的大小，如小于相似度合并阈值，则判断两个候选区域为独立区域，不进行合并；如大于相似度合并阈值，则判断两个候选区域为相似区域，进行合并。

本实施例中，将三个得分求和后就为最终的相似度，比如，第一得分为0.6，第二得分为0.3，第三得分为0.73，那么总的得分为0.73+0.6+0.3＝1.63，设定的阈值为2，则1.63<2，则判断这两个区域为独立区域，不用合并；根据相似度相近的合并这一方法，循环往复，最终能将所有的候选区域都分割出来。

优选地，步骤直到所有候选区域完成合并后，还包括步骤：对所有完成合并的区域进行分割和描边，生成候选框，如图2所示。

本实施例提供的半自动化标注方法，根据所有合并完成的区域，进行分割和描边，完成后生成候选框，在进行标注任务时，打开待标注图像即可得到多个候选框，不需要人从头描边。

实施例二

实施例二公开了一种对应上述实施例的一种半自动化标注装置，为实施例一的虚拟装置结构，请参照图3所示，包括：

初始化模块210，对图片初始化每个像素生成区域，作为候选区域，对所有相邻的候选区域进行两两配对，生成计算列表；

相似度计算模块220，根据计算列表进行相似度计算，包括颜色相似度计算和纹理值相似度计算，分别得出第一得分和第二得分；

分值计算模块230，根据计算列表进行分值计算，得出第三得分；

合并模块240，根据第一得分、第二得分和第三得分，相加计算得到的相似度，对列表中达到相似度合并阈值的进行两两合并，直到所有候选区域完成合并。

优选地，相似度计算模块220中，颜色相似度计算过程包括：

对两个候选区域生成颜色直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第一得分。

优选地，相似度计算模块220中，纹理值相似度计算过程包括：

纹理值根据sift算法，对每个像素点的每个通道提取一个纹理值，构建直方图；

对两个候选区域的直方图，以每5个像素为一段进行分段；

统计每段里面点的个数，并进行归一化计算；

对两个候选区域的直方图相似度进行比较，两个直方图之间每段对位均取最小值全部相加，作为第二得分。

优选地，分值计算模块230中，分值的计算公式为：

1-(s1+s2)/stotal；

其中，s1和s2分别为两个相邻的候选区域，stotal为图像总面积。

优选地，合并模块240中，对列表中达到相似度合并阈值的进行两两合并，过程包括：

设置相似度合并阈值；

判断两个候选区域相似度与相似度合并阈值的大小，如小于相似度合并阈值，则判断两个候选区域为独立区域，不进行合并；如大于相似度合并阈值，则判断两个候选区域为相似区域，进行合并。

优选地，还包括描边模块250，对所有完成合并的区域进行分割和描边，生成候选框。

实施例三

图4为本发明实施例三提供的一种电子设备的结构示意图，如图3所示，该电子设备包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例二中的一种半自动化标注方法对应的程序指令/模块(例如，一种半自动化标注装置中的初始化模块210、相似度计算模块220、分值模块230、合并模块240、描边模块250)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例一的一种半自动化标注方法。存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置330可用于接收输入信息等。输出装置340可为显示屏等显示设备，可用于显示报警信息。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现一种半自动化标注方法，该方法包括：

对图片初始化每个像素生成区域，作为候选区域，对所有相邻的候选区域进行两两配对，生成计算列表；

根据计算列表进行相似度计算，包括颜色相似度计算和纹理值相似度计算，分别得出第一得分和第二得分；

根据计算列表进行分值计算，得出第三得分；

根据第一得分、第二得分和第三得分，相加计算得到的相似度，对列表中达到相似度合并阈值的进行两两合并，直到所有候选区域完成合并。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的一种半自动化标注方法中的相关操作。通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述一种半自动化标注装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。