一种自动前景提取的数据采集方法及装置与流程

本发明涉及图像数据处技术领域，特别涉及一种自动前景提取的数据采集方法及装置。

背景技术：

现有的数据集采集包括两种常见任务，一是检测任务，二是语义分割任务。其中，最常见的标注方法为人工标注，费时费力，且准确率低。现有的解决方案是利用人工智能辅助的标注方式，例如基于追踪算法的标注方式，但是这种方式存在以下缺陷：

1、需要事先训练对应类别的检测模型；

2、在自动标注的同时会加入背景信息，造成比较单一的背景，从而对数据的多样性产生影响。

技术实现要素：

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种自动前景提取的数据采集方法及装置。

为了实现上述目的，本发明的实施例提供一种自动前景提取的数据采集方法，包括如下步骤：

步骤s1，对待处理的视频图像进行前景提取，得到前景图像；

步骤s2，对所述前景图像以及对应的掩模成对作为一个前景sku信息保存到sku数据库中，供后续训练使用；

步骤s3，根据训练任务查找待训练列表的sku信息并从所述sku数据库中读取所需的前景sku信息，并从sku数据库中拉取样本作为负样本；

步骤s4，从基础数据库中选取背景信息，然后将所述前景sku信息和背景信息进行合成；

步骤s5，利用所述负样本对合成后的数据进行训练。

进一步，在所述步骤s1中，采用前景提取算法，对待处理的视频图像进行前景提取。

进一步，在所述步骤s1和步骤s2之间，还包括如下步骤：对所述前景图像进行优化处理，包括平滑处理和填补处理。

进一步，在所述步骤s3中，所述从sku数据库中拉取样本作为负样本，包括如下步骤：当所述训练任务为非闭合训练时，从已有的sku信息中计算与该sku信息属于同一大类但并非同一小类的sku信息，以及与该sku信息不相似的sku信息，从sku数据库中拉取符合上述条件的样本作为负样本。

进一步，在所述步骤s4和步骤s5之间，还包括如下步骤：

对步骤s4合成后的数据进行数据增强处理，然后将数据增强处理后的合成数据送入步骤s5进行训练。

本发明实施例还提供一种自动前景提取的数据采集装置，包括：数据采集模块、前景提取模块、sku信息查找模块、前后景合成模块、训练模块，其中，所述数据采集模块用于对待处理的视频图像；所述前景提取模块用于对所述视频图像进行前景提取，得到前景图像，并将所述前景图像以及对应的掩模成对作为一个前景sku信息保存到sku数据库中，供后续训练使用；所述sku信息查找模块用于根据训练任务查找待训练列表的sku信息并从所述sku数据库中读取所需的前景sku信息，并从sku数据库中拉取样本作为负样本；所述前后景合成模块用于从基础数据库中选取背景信息，然后将所述前景sku信息和背景信息进行合成；所述训练模块用于利用所述负样本对合成后的数据进行训练。

进一步，所述前景提取模块用于采用前景提取算法，对待处理的视频图像进行前景提取。

进一步，本发明还包括：掩模后处理模块，所述掩模后处理模块分别与所述前景提取模块相连，用于对所述前景图像进行优化处理，包括平滑处理和填补处理，然后将优化处理后的前景图像以及对应的掩模成对作为一个前景sku信息保存到sku数据库中，供后续训练使用。

进一步，当所述训练任务为非闭合训练时，所述sku信息查找模块从已有的sku信息中计算与该sku信息属于同一大类但并非同一小类的sku信息，以及与该sku信息不相似的sku信息，从sku数据库中拉取符合上述条件的样本作为负样本。

进一步，本发明还包括：数据增强处理模块，所述数据增强处理模块与所述前后景合成模块和所述训练模块连接，用于对所述前后景合成模块合成后的数据进行数据增强处理，然后将数据增强处理后的合成数据发送至所述训练模块，由所述训练模块利用所述负样本对合成后的数据进行训练。

根据本发明实施例的自动前景提取的数据采集方法及装置，可以准确分割出待标注的物体，同时去掉了背景信息后，可以更加方便的用于后续训练数据生成，训练数据增强等方案。本发明快速自动的视频前景提取方法，不需要人工标定的辅助，即可做自动、快速、准确的前景提取，提取出的前景，作为目标物体的基础数据集，这样在后续训练需要使用该物体时，可以更加有效的扩充数据，并且支持随机选取目标数据进行训练任务。

本发明实施例的自动前景提取的数据采集方法及装置，具有以下有益效果：

1、不需要人工辅助前景提取，做到完全自动化；

2、对mask做了一系列后续处理，解决了mask粗糙及空洞问题；

3、无需事先针对目标分类训练模型，只需要优化前景提取算法；

4、可以融合各种复杂背景，数据增广价值巨大。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的自动前景提取的数据采集方法的流程图；

图2a至图2c为根据本发明实施例的自动前景提取的数据采集方法的示意图；

图3为根据本发明一个实施例的自动前景提取的数据采集装置的结构图；

图4为根据本发明另一个实施例的自动前景提取的数据采集装置的结构图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明实施例的而提供一种自动前景提取的数据采集方法及装置，可以实现计算机视觉领域内目标检测、语义分割以及数据增强算法。

如图1所示，本发明实施例的自动前景提取的数据采集方法，包括如下步骤：

步骤s1，对待处理的视频图像进行前景提取，得到前景图像。

在本步骤中，采用前景提取算法，对待处理的视频图像进行前景提取，如图2a至图2c所示。

优选的，步骤s1中的前景提取算法可以采用显著性检测深度神经网络模型算法实现。

需要说明的是，上述仅是出于示例的目的，而不是为了限制本发明。本发明还可以采取其他类型的前景提取算法，均可以实现，在此不再赘述。

在本发明的实施例中，在步骤s1和步骤s2之间，还包括如下步骤：对前景图像进行优化处理，包括平滑处理和填补处理。

优选的，本步骤可以采用条件随机场crf等后续算法，实现对前景图像的平滑及填补处理。需要说明的是，本步骤实现对前景图像优化的算法不限于上述举例，还可以采用其他类型的算法，只有能满足上述优化要求即可，在此不再赘述。

步骤s2，对前景图像以及对应的掩模mask成对作为一个前景sku信息保存到sku数据库中，供后续训练使用。

步骤s3，根据训练任务查找待训练列表的sku信息并从sku数据库中读取所需的前景sku信息，并从sku数据库中拉取样本作为负样本。

具体的，首先根据训练任务，从sku管理系统查找待训练列表的sku信息。其中，待训练列表的sku信息包括：货品的名称、品牌、原始图片等信息。

然后，再从步骤s2中的sku数据库中读取所需的前景sku信息。

另外，在本步骤中的从sku数据库中拉取样本作为负样本，包括如下步骤：当训练任务为非闭合训练(即需要识别非已知类内的目标)时，从已有的sku信息中计算与该sku信息属于同一大类但并非同一小类的sku信息，以及与该sku信息不相似的sku信息，从sku数据库中拉取符合上述条件的样本作为负样本。

例如，sku信息对应为矿泉水货品，则与该sku信息属于同一大类但并非同一小类的sku信息可以为果汁饮料货品，该果汁饮料与矿泉水同属于饮料(属于同一大类)，但是不同种的饮品(并非同一小类)。

需要说明的是，上述中与该sku信息不相似的sku信息是指，与当前的sku信息所对应产品在外形上不相似的sku信息。

步骤s4，从基础数据库中选取背景信息，然后将前景sku信息和背景信息进行合成。

在本发明的一个实施例中，从基础数据库中选取背景信息，例如可以是货架、室内、室外、冰箱等。然后根据前景sku信息和背景信息，依照排列规则合并为一张图片，实现前景前景和背景信息的随机组合，完成合成操作。

优选的，在步骤s4和步骤s5之间，还包括如下步骤：对步骤s4合成后的数据进行数据增强处理，然后将数据增强处理后的合成数据送入步骤s5进行训练。例如，对合成后的数据进行剪切、旋转、亮度调整等操作。

步骤s5，利用负样本对合成后的数据进行训练。

如图3所示，本发明实施例的自动前景提取的数据采集装置，包括：数据采集模块1、前景提取模块2、sku信息查找模块3、前后景合成模块4、训练模块5。

数据采集模块1用于对待处理的视频图像。

前景提取模块2用于对视频图像进行前景提取，得到前景图像，并将前景图像以及对应的掩模成对作为一个前景sku信息保存到sku数据库中，供后续训练使用。

在本发明的一个实施例中，前景提取模块2用于采用前景提取算法，对待处理的视频图像进行前景提取。

优选的，前景提取模块2中的前景提取算法可以采用显著性检测深度神经网络模型算法实现。

需要说明的是，上述仅是出于示例的目的，而不是为了限制本发明。本发明还可以采取其他类型的前景提取算法，均可以实现，在此不再赘述。

此外，如图4所示，本发明实施例的自动前景提取的数据采集装置，还包括：掩模后处理模块6，掩模后处理模块6分别与前景提取模块2相连，用于对前景图像进行优化处理，包括平滑处理和填补处理，然后将优化处理后的前景图像以及对应的掩模成对作为一个前景sku信息保存到sku数据库中，供后续训练使用。

优选的，掩模后处理模块6可以采用条件随机场crf等后续算法，实现对前景图像的平滑及填补处理。需要说明的是，实现对前景图像优化的算法不限于上述举例，还可以采用其他类型的算法，只有能满足上述优化要求即可，在此不再赘述。

sku信息查找模块3用于根据训练任务查找待训练列表的sku信息并从sku数据库中读取所需的前景sku信息，并从sku数据库中拉取样本作为负样本。

具体的，sku信息查找模块3首先根据训练任务，从sku管理系统查找待训练列表的sku信息。其中，待训练列表的sku信息包括：货品的名称、品牌、原始图片等信息。然后，再从sku数据库中读取所需的前景sku信息。

当训练任务为非闭合训练(即需要识别非已知类内的目标)时，sku信息查找模块3从已有的sku信息中计算与该sku信息属于同一大类但并非同一小类的sku信息，以及与该sku信息不相似的sku信息，从sku数据库中拉取符合上述条件的样本作为负样本。

例如，sku信息对应为矿泉水货品，则与该sku信息属于同一大类但并非同一小类的sku信息可以为果汁饮料货品，该果汁饮料与矿泉水同属于饮料(属于同一大类)，但是不同种的饮品(并非同一小类)。

需要说明的是，上述中与该sku信息不相似的sku信息是指，与当前的sku信息所对应产品在外形上不相似的sku信息。

前后景合成模块4用于从基础数据库中选取背景信息，然后将前景sku信息和背景信息进行合成。

在本发明的一个实施例中，前后景合成模块4从基础数据库中选取背景信息，例如可以是货架、室内、室外、冰箱等。然后根据前景sku信息和背景信息，依照排列规则合并为一张图片，实现前景前景和背景信息的随机组合，完成合成操作。

本发明实施例的自动前景提取的数据采集装置还包括：数据增强处理模块7，数据增强处理模块7与前后景合成模块4和训练模块5连接，用于对前后景合成模块4合成后的数据进行数据增强处理，例如，对合成后的数据进行剪切、旋转、亮度调整等操作。然后将数据增强处理后的合成数据发送至训练模块5，由训练模块5利用负样本对合成后的数据进行训练。具体的，训练模块5用于利用负样本对合成后的数据进行训练。

根据本发明实施例的自动前景提取的数据采集方法及装置，可以准确分割出待标注的物体，同时去掉了背景信息后，可以更加方便的用于后续训练数据生成，训练数据增强等方案。本发明快速自动的视频前景提取方法，不需要人工标定的辅助，即可做自动、快速、准确的前景提取，提取出的前景，作为目标物体的基础数据集，这样在后续训练需要使用该物体时，可以更加有效的扩充数据，并且支持随机选取目标数据进行训练任务。

本发明实施例的自动前景提取的数据采集方法及装置，具有以下有益效果：

1、不需要人工辅助前景提取，做到完全自动化；

2、对mask做了一系列后续处理，解决了mask粗糙及空洞问题；

3、无需事先针对目标分类训练模型，只需要优化前景提取算法；

4、可以融合各种复杂背景，数据增广价值巨大。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。