一种目标物体自动标注方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种目标物体自动标注方法及系统。


背景技术：

2.在深度学习的模型开发过程中，充足的数据集及精准的数据标注对最终模型效果至关重要，基于深度学习的商品检测、分割均需要大量标注。
3.以商品检测模型为例，商品检测的标注是在每个相关商品周围绘制矩形，并提供有关商品相应类别的信息。根据需求，用户可以选择使用轴对齐矩形或自由矩形作为边界框标注数据，通过标注，可以简单地将导入图像分配到商品相应的标签类中。针对商品检测模型项目，将会涉及非常多的数据信息，面对商品庞大的数据集，开发者只能人工手动去标注一张张图片，整个过程耗时长，另外，还需要对标注人员进行相关知识培训，并且人工手动操作容易出错，导致产生错误标注，因此综合操作成本非常高，开发者需要花大量时间在数据标注上。
4.目前，现有的像素级图像标注方法均是人工完成，从零开始对原始图像进行标注，如此完全靠手动的方式进行标注，效率极低、成本高，需要耗费大量的人力和财力。
5.另一种非人工标注的方法是通过合成数据，合成数据是采用计算机生成的方式，是一种有希望替代手工标注的方法，但是合成数据与真实数据有差异，效果难以达到要求，无法输出真实效果的图像。
6.以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

7.本发明的目的在于提供一种目标物体自动标注方法及系统，以解决上述背景技术问题中的至少一种问题。
8.为达到上述目的，本发明实施例的技术方案是这样实现的：
9.一种目标物体自动标注方法，包括步骤：
10.s1、获取仅包含背景板的背景彩色图像；
11.s2、获取包含目标物体的彩色图像和深度图像；
12.s3、对所述包含目标物体的深度图像进行预标注，以得到预标注目标图像；
13.s4、基于所述背景彩色图像和所述包含目标物体的彩色图像对所述预标注目标图像进行像素级标注以获取像素级标注的目标图像。
14.在一些实施例中，步骤s2包括：
15.将目标物体置于所述背景板与rgbd相机之间；其中，所述rgbd相机与所述目标物体之间的距离d1大于所述目标物体与所述背景板之间的距离d0；
16.通过所述rgbd相机获取包含所述目标物体的彩色图像和深度图像。
17.在一些实施例中，步骤s3包括：
18.遍历所述包含目标的深度图像的每一像素并读取其像素值；
19.判断所述像素值是否处于范围d0～d1内，若是，则标注相应像素为目标像素进进而获取所述取预标注目标图像。
20.在一些实施例中，步骤s4包括：
21.对所述预标注目标图像进行腐蚀处理以获取所述目标物体的内边缘；
22.对所述目标物体的内边缘进行膨胀处理以获取所述目标物体的外边缘，其中，所述内边缘与所述外边缘之间的区域为边缘区域；
23.遍历所述边缘区域中每一像素p、以及所述背景彩色图像和所述包含目标物体的彩色图像中分别与所述像素p对应位置的像素p1，p2，以获取有效边缘区域；
24.将包含在所述内边缘中的像素和/或包含在所述有效边缘区域中的像素定义为所述目标物体像素。
25.在一些实施例中，所述背景板与所述rgbd相机之间设置有支架，以用于放置所述目标物体；所述背景板为纯色背景板。
26.在一些实施例中，步骤s4中，设置一个阈值，若所述背景彩色图像和所述包含目标物体的彩色图像中分别与所述像素p对应位置的像素p1，p2的像素值皆大于所述阈值，且像素p的像素值大于0，则判断所述像素p为目标物体像素，所述目标物体像素构成的区域为所述有效边缘区域。
27.在一些实施例中，还包括步骤：
28.s5、更换所述背景板或改变环境光照，录制多个背景彩色图像，以使得同一组标注对应不同的图片。
29.本发明实施例的另一技术方案为：
30.一种目标物体自动标注系统，包括：背景板、rgbd相机、以及设置于所述背景板与所述rgbd相机之间的支架；其中，所述支架用于放置目标物体；所述rgbd相机用于录制仅包含所述背景板的背景彩色图像以及所述目标物体的彩色图像和深度图像，并将所录制的图像传输至外部处理器，由所述外部处理器根据权利要求1-7任一项所述的目标物体自动标注方法进行处理。
31.在一些实施例中，所述目标物体放置于所述支架时，所述rgbd相机与所述目标物体之间的距离d1大于所述目标物体与所述背景板之间的距离d0。
32.在一些实施例中，所述背景板为纯色背景板。
33.本发明技术方案的有益效果是：
34.相较于现有技术，本发明通过结合rgb彩色图像与深度图像实现对目标物体自动标注，无需手工标注即可获得像素级标注，提高了标注的效率，降低标注成本。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1是根据本发明一个实施例目标物体自动标注方法的流程示意图；
37.图2是根据本发明一个实施目标物体自动标注方法对预标注进行处理的流程示意图；
38.图3是根据本发明另一个实施例商品自动标注系统的示意图。
具体实施方式
39.为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
40.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。
41.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
42.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
43.参照图1所示，图1所示为根据本发明实施例提供的一种目标物体自动标注方法的流程图示，方法包括以下步骤：
44.s1、获取仅包含背景板的背景彩色图像；
45.在场景内没有前景物体的情况下通过固定的rgbd相机拍摄获得背景彩色图像，为便于后续描述，将获取的背景彩色图像记为imgb；具体的，参照图2所示，在一些实施例中，设置背景板20，通过水平固定放置的rgbd相机21拍摄背景板20，获得仅包含背景板的背景彩色图像imgb。其中，背景板20为与目标物体的颜色差异大的纯色背景板，例如可以为纸板。在一些实施例中，背景板20与rgbd相机21之间设置有支架22，以用于放置目标物体23，当拍摄背景彩色图像imgb时，需要确保场景内没有前景物体。
46.参照图2所示，目标物体23放置于支架22上时，rgbd相机21与目标物体23之间的距离d1大于目标物体23与背景板20之间的距离d0；其中，目标物体23与背景板20之间的距离d0大于100mm。在一实施例中，目标物体23与背景板20之间的距离d0为500mm，rgbd相机21与目标物体23之间的距离d1为1000mm。
47.s2、获取包含目标物体23的彩色图像和深度图像；
48.将目标物体23放置于背景板20与rgbd相机21之间；通过rgbd相机21获取包含目标物体23的彩色图像和深度图像；其中，rgbd相机21与目标物体23之间的距离d1大于目标物体23与背景板20之间的距离d0。具体的，将目标物体23放置于支架22上，在光照均匀的条件通过固定的rgbd相机21拍摄获取目标物体进入场景内的彩色图像和深度图像，拍摄时，需
要避免rgbd相机21拍摄到支架22。其中，将步骤s2中拍摄获得的彩色图像记为imgc。
49.s3、基于步骤s2获得的包含目标物体的深度图像进行预标注，以得到预标注目标图像；
50.遍历基于步骤s2获得的包含目标的深度图像的每一像素并读取其像素值，判断像素值是否处于范围d0～d1内，若是，则标注相应像素为目标像素进而获取得预标注目标图像，记预标注目标图像为r1。
51.具体的，本发明实施例中，通过数组遍历法、指针遍历法或者迭代器遍历法遍历包含目标的深度图像的每一像素。
52.在目标物体标注过程中，目标物体的颜色丰富，因此会出现目标物体部分区域颜色与背景颜色相近的情况，直接采用rgb颜色阈值进行标注容易出现漏检。而且rgbd相机一般会有椒盐噪声，直接使用rgb颜色阈值做标注容易发生错检。本发明实施例使用目标物体深度图进行预标注，可避免出现漏检错检的情形。
53.s4、基于背景彩色图像和包含目标物体的彩色图像对预标注目标图像进行像素级标注以获取像素级标注的目标图像。
54.一般的，rgbd相机如：结构光、tof相机存在图像边缘不准确的缺陷，因此需要对预标注目标图像r1的边缘进行优化。
55.在本发明实施例中，步骤s4具体包括如下步骤：
56.s40、对预标注目标图像r1进行腐蚀处理以获取目标物体的内边缘；
57.具体的，对预标注目标图像r1进行腐蚀处理，进行n轮腐蚀处理以获取目标物体的内边缘，记为r2；在一些实施例中，对预标注目标图像r1进行腐蚀处理包括：
58.选取3
×
3的结构矩阵，矩阵内的元素均为1，以1为步长，扫描预标注目标图像r1中的每个像素，利用该结构矩阵与预标注目标图像r1进行逻辑与运算，如果结构矩阵与预标注目标图像r1的值均为1，则输出目标物体的内边缘r2的该点像素为1，其余情况输出目标物体的内边缘r2的像素为0，如此重复n轮腐蚀处理，消除预标注目标图像r1的边界点，使得边界向内收缩，使预标注目标图像r1减小n圈得到目标物体的内边缘r2。需要说明的是，结构矩阵可以根据实际需求选取不同的尺寸，如3
×
3、5
×
5、7
×
7等，一般的，结构矩阵的大小不同，提取到的图像边缘特征会有所不同，其中大尺寸的结构矩阵，可滤除大尺寸的噪声点，但是会漏掉图像的很多细节特征；相反，小尺寸的结构矩阵能保留图像的细节特征，但是对大尺寸噪声的抑制效果差。在本发明实施例中，选取3
×
3的结构矩阵，但不能以此认为本发明仅限于此结构矩阵。
59.在一实施例中，使用函数erode进行腐蚀处理，即：
60.dst＝cv2.erode(src,kernel,iterations)
61.其中，src表示预标注目标图像，kernel表示卷积核(结构矩阵)，iterations表示迭代次数。迭代次数腐蚀的次数，根据需要进行多次迭代，即进行多轮腐蚀。
62.s41、对步骤s40所得的目标物体的内边缘r2进行膨胀处理以获取目标物体的外边缘，其中，所述内边缘与所述外边缘之间的区域为边缘区域；
63.对目标物体的内边缘r2进行膨胀处理，进行2n轮膨胀处理后，得到目标物体的外边缘，记为r3，对所述内边缘r2与所述外边缘r3进行差集处理，即r3-r2，从而得到边缘区域。
64.其中，对目标物体的内边缘r2进行膨胀处理具体包括：
65.基于目标物体的内边缘r2，对应于腐蚀过程，选取3
×
3的结构矩阵，其中，矩阵内的元素均为1，利用该结构矩阵与目标物体的内边缘r2进行逻辑与运算，如果结构矩阵与目标物体的内边缘r2的值均为0，则输出目标物体的外边缘r3的该点像素为0，其余情况输出目标物体的外边缘r3的像素为1，如此重复2n轮膨胀处理，将与目标物体的内边缘r2接触的所有背景点合并到目标物体的内边缘r2中，使目标物体的内边缘r2的边界向外部扩张，以填补目标物体的内边缘r2的空洞，得到目标物体的外边缘r3。
66.在一实施例中，使用函数dilate进行膨胀处理，即：
67.dst＝cv2.dilate(src,kernel,iterations)
68.其中，src表示目标物体的内边缘r2，kernel表示卷积核(结构矩阵)，iterations表示迭代迭代次膨胀的次数，根据需要进行多次迭代，即进行多轮膨胀。
69.s42、遍历边缘区域中每一像素p、以及背景彩色图像和包含目标物体的彩色图像中分别与所述像素p对应位置的像素p1，p2，以获取有效边缘区域。
70.具体的，设置一个阈值，遍历边缘区域中每一像素p、以及背景彩色图像和包含目标物体的彩色图像中分别与所述像素p对应位置的像素p1，p2，若p1的像素值及p2的像素值皆大于阈值，且像素p的像素值大于0，则判断所述像素p为目标物体像素，所述目标物体像素构成的区域为有效边缘区域。
71.s43、将包含在所述内边缘中的像素和/或包含在有效边缘区域中的像素定义为所述目标物体像素。
72.在一实施例中，还包括如下步骤：
73.s5、基于同一组标注，录制更多的数据；具体地，包括：
74.s50、更换背景板，录制背景彩色图像；或者，
75.s51、改变环境光照，录制背景彩色图像，如：从不同角度提供不同强度的灯光照射商品。
76.通过在保证标注不变的情况下，为目标物体以及背景制造真实的数据增强(如：多样化的背景、真实的阴影效果、多样化的光照情况)，使得同一组标注可以对应不同的图片，以丰富数据集。
77.在一实施例中，还包括如下步骤：
78.s6、更换目标物体，重复步骤s1-s4，从而以获得具有大量数据的数据集。
79.本发明目标物体自动标注方法无需手工标注，即可获得像素级别的标注，且可以为同一个目标物体匹配大量的背景、光照场景，录制更多的数据，以丰富数据集。
80.参照图2所示，作为本发明一实施例目标物体自动标注系统200，包括背景板20、rgbd相机21、以及设置于背景板20与rgbd相机21之间的支架22；其中，支架22用于放置目标物体23；目标物体23放置于支架22上时，rgbd相机21与目标物体23之间的距离d1大于目标物体23与背景板20之间的距离d0；rgbd相机21用于录制背景板20的彩色图像以及目标物体23的彩色图像和深度图像，并将所录制的图像传输至外部处理器(未图示)，由外部处理器根据前述任一实施例方案所述的目标物体自动标注方法进行处理。
81.在一些实施例中，rgbd相机21水平固定放置，支架22被设置为在rgbd相机21的视场之外，从而确保rgbd相机工作时拍摄不到支架。rgbd相机21可以是结构光相机、tof相机，
或者其他深度相机。
82.在一些实施例中，还包括有光源24，以用于照射放置于支架22上的目标物体23；其中，光源的照射角度以及光照强度被设置为可调。
83.在一些实例中，rgbd相机21通过usb、hdmi接口等有线连接的方式与外部的处理器进行连接。可以理解的是，在一些实施例中，rgbd相机21也可以通过无线连接等方式与外部处理器连接。
84.本发明实施例商品自动标注系统具体执行前述实施例描述的目标物体自动标注方法，详细描述参见目标物体自动标注方法，在此不再赘述。
85.本发明实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行前述任何一实施例方案记载的目标物体自动标注方法。
86.所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasableprogrammable read-only memory)、电可擦除可编程只读存储器(eeprom，electricallyerasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagneticrandom access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronousstatic random access memory)、动态随机存取存储器(dram，dynamic random accessmemory)、同步动态随机存取存储器(sdram，synchronous dynamic random accessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data ratesynchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
87.可以理解的是，以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。
88.在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明
的实施例及其优点，但应当理解，在不脱离由所附权利要求限定的范围的情况下，可以在本文中进行各种改变、替换和变更。
89.此外，本发明的范围不旨在限于说明书中所述的过程、机器、制造、物质组成、手段、方法和步骤的特定实施例。本领域普通技术人员将容易理解，可以利用执行与本文所述相应实施例基本相同功能或获得与本文所述实施例基本相同结果的目前存在的或稍后要开发的上述披露、过程、机器、制造、物质组成、手段、方法或步骤。因此，所附权利要求旨在将这些过程、机器、制造、物质组成、手段、方法或步骤包含在其范围内。