一种数据集采集方法、系统及电子装置与流程

本发明涉及数据采集技术领域，尤其涉及一种基于多目标追踪的数据集采集方法、系统及电子装置。

背景技术：

如今，货物运输、货物生产以及货物销售等行业都需要基于货物本身的特征信息对不同种类的货物进行分类以及检测，因此，当面对需要检测和分类的大量货物时，通常都需要手工采集关于每个货物多方位、不同场景下的多种特征数据信息，并利用这些特征数据信息分别对每个货物进行一一标注，不能同时对多个货物进行批量标注，这样的操作往往效率比较低，成本比较高，并且容易出错。

技术实现要素：

针对现有数据采集方法中存在的问题，本发明提供一种数据集采集方法、系统及电子装置。

本发明为了解决上述技术问题提供一种数据集采集方法，包括如下步骤：

s1、提供多个目标；

s2、对所述多个目标进行拍摄获得视频；

s3、利用多目标追踪模型读取所述视频中每一帧图像，并获得每个目标在每一帧图像中的位置信息和/或特征信息；

s4、对所述多个目标进行标注。

优选地，所述数据集采集方法还包括在步骤s2和s3之间的步骤a：检测模型读取视频中第一帧图像并确定所述多个需要追踪的目标。

优选地，s31、多目标追踪模型读取第一帧图像，获得第一帧图像中需要追踪的多个目标的位置信息和特征信息，基于第一帧目标的位置信息和特征信息将需要追踪的多个目标进行追踪并更新每一帧中目标的特征信息和位置信息；及

s32、多目标追踪模型在读取后续的每一帧图像时判断追踪的目标是否有丢失，当追踪模型判断出追踪的目标丢失时，所述检测模型确认目标是否有丢失并继续对未丢失的目标进行追踪直至视频结束。

优选地，所述多目标追踪模型在读取第一帧之后的图像时判断目标是否丢失的同时还检测是否有新的目标出现，若检测到新的目标出现时，所述多目标追踪模型获取新目标对应的特征信息，输入新目标对应的特征信息对其进行标注并在后续帧中对新目标进行追踪。

优选地，在追踪模型读取后续的每一帧图像时，所述检测模型对每一帧图像进行检测确认目标是否丢失、或者间隔至少一帧图像进行检测确认目标是否丢失。

优选地，所述多目标追踪模型判断是否有新的目标出现包括步骤：所述多目标追踪模型在获取新目标对应的特征信息时，将新目标的特征信息和该帧之前所有目标的特征信息进行比对，若与之前所有帧中的目标的特征信息不匹配，则认为出现了新目标。

优选地，步骤s31基于第一帧目标的位置信息和特征信息将需要追踪的多个目标进行追踪具体为利用前一帧目标的轮廓信息和位置信息对目标进行追踪。

优选地，上述步骤s2中，对所述多个目标进行拍摄获得视频是在预设的拍摄条件下进行，预设的拍摄条件包括设定的拍摄角度、光照条件和背景条件。

本发明为了解决上述技术问题还提供一种用于执行如上所述的数据集采集方法的系统，其包括拍摄模块和多目标追踪模型，所述拍摄模块用于对所述多个目标进行视频拍摄；所述多目标追踪模型用于读取视频中每一帧图像并获得每个目标在每一帧图像中的位置信息和特征信息以形成数据集。

优选地，所述数据集采集系统还包括检测模型，所述检测模型和多目标追踪模型之间可进行信号传递，所述检测模型用于确定视频上第一帧中需要追踪的多个目标，所述多目标追踪模型用于基于检测模型获得的需要追踪的多个目标进行追踪并标注，当多目标追踪模型识别到所追踪的目标丢失时，发出信号给所述检测模型，检测模型确认目标是否丢失，所述检测模型还用于判断在读取每一帧图像时是否有新的目标出现。

本发明为了解决上述技术问题还提供一种电子装置，所述电子装置包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行如上所述的数据集采集方法中的任一步骤。

与现有技术相比，本发明具有如下有益效果：

通过对需要进行数据集采集的多个目标进行视频拍摄，利用多目标追踪算法将视频每一帧图像中多个目标的位置信息和/或特征信息进行读取以形成数据集，通过标准化的数据采集流程，并行化采集任务，使得可以同时对多个目标进行数据采集，效率有了巨大的提升，解决了人工标注成本高、耗时长、不准确等问题，适用在实际工业应用场景中需要快速采集一批带有准确标签的图像数据的问题；并且，适用性高，不限定特定的样品，基于视频上不同帧中目标的特征信息和位置信息的关联性即可对目标进行追踪采集数据而不需要事先采集数据训练模型，节约流程；同时，将获取每一帧图像的位置信息和特征信息流程和对目标进行标注的操作异步进行，使得数据采集流程的灵活性更高，对目标的标注可在读取第一帧时进行，也可在视频读取结束并通过追踪模型算出每一帧中目标的位置信息之后再对目标进行标注。

所述多目标追踪模型在读取第一帧之后的图像时判断目标是否丢失的同时还检测是否有新的目标出现，判断到新的目标出现时，将对应该新目标的信息对新目标标定并在后续帧中对其进行追踪，能很好的丰富采集数据的类型，使得采集的数据适用于更多产品的筛选。

数据集采集系统包括拍摄模块、多目标追踪模块，所述拍摄模块用于对目标进行视频拍摄；所述多目标追踪模块用于读取视频中每一帧图像并获得目标在每一帧图像中的位置信息和特征信息以形成数据集，通过摄拍摄模块和多目标追踪模块的配合即可采集到多个目标对应的位置信息和特征信息以形成数据集，不需要对每个目标分别拍摄视频，分别采集数据，流程简单，效率高，成本低，并且数据的准确性高。

【附图说明】

图1是本发明第一实施例中提供的数据集采集方法的流程结构示意图；

图2是本发明第一实施例提供的数据集采集方法第一帧图像中检测模型检测出需要追踪的多个目标示意图；

图3是本发明第一实施例中提供的数据集采集方法中步骤s3的细节流程结构示意图；

图4是本发明第一实施例提供的数据集采集方法步骤s32中所包括的步骤示意图；

图5本发明中第一实施例另一的实施方式中的流程结构示意图；

图6本发明中第一实施例中追踪模型检测到有新目标出现时的示意图；

图7本发明第二实施例提供的数据集采集系统的模块结构示意图；

图8本发明第二实施例提供的数据集采集系统的另一模块结构示意图；

图9明第二实施例提供的数据集采集系统中多目标追踪模型包含的模块的示意图；

图10第三实施提供的电子装置的模块结构示意图。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供一种数据集采集方法，用于对视频中多个需要采集数据的目标进行采集数据，其包括如下步骤：

s1、提供多个目标；

s2、对所述多个目标进行拍摄获得视频；

s3、利用多目标追踪模型读取所述视频中每一帧图像，并获得每个目标在每一帧图像中的位置信息和/或特征信息；及

s4、对所述多个目标进行标注。

上述步骤s1中，所述多个目标为需要进行采集特征数据以形成数据集的物品，其包括日用品、食品、文件用品等货物。

上述步骤s2中是按照预设的拍摄标准对多个目标进行拍摄获得包括多个目标在内的一个视频。预设的拍摄标准是指对多个目标进行设定的多角度、多光照、简单背景条件下的视频拍摄。选定的背景一般为与目标的颜色具有较好的区分效果的背景。对目标进行多角度，多光线条件下拍摄，能很好的获得目标在不同环境和不同场景下的特征数据，使得采集的数据集更全面的代表物品，在后期利用采集的数据建立模型对产品进行检测或者分类时，能识别更多不同场景下获得的图片，对目标进行识别。

上述步骤s3中，目标的特征信息包括色彩特征、轮廓特征、文理特征中的一种或者多种。

在上述步骤s3中，利用多目标追踪模型读取所述视频中每一帧图像，并获得每个目标在每一帧图像中的位置信息和/或特征信息之前，还包括步骤a：由检测模型读取视频中第一帧图像，对第一帧图像进行检测，确定多个需要追踪的目标。

上述步骤a中所用到的检测模型为多目标检测网络，具体包括fast－rcnn网络、ssd网络中的任一种。所述检测模型是基于与每个需要追踪的目标相匹配的特征信息训练而得，其可识别需要追踪的多个目标，即检测模型中存有用于辨别需要追踪的多个目标的特征模板，当其读取第一帧图像时，将当前图片的特征信息与特征模板上的信息比对即可确定多个需要追踪的目标。

上述步骤a中当检测模型读取视频中的第一帧图像时，检测模型根据第一帧图像的特征信息找出与多个需要追踪的目标相匹配的区域并用矩形框框出以确定需要追踪的多个目标，如图2中所示的目标1、目标2和目标3即为需要追踪的多个目标。对不同的目标分别使用矩形框进行框定，能很好的避免由于目标之间的相似性以及遮挡性导致在后续帧中目标出现混淆，导致采集的数据出现偏差。可选地，对需要追踪的目标进行框定不局限于矩形框，菱形框或者其他四边形的图形都可以。甚至在其他一些实施方式中，还可以用其他多边形对目标进行框定。

请参阅图3，上述步骤s3具体包括如下步骤：

s31、多目标追踪模型读取第一帧图像，获得第一帧图像中需要追踪的多个目标的位置信息和特征信息，基于第一帧目标的位置信息和特征信息将需要追踪的多个目标进行追踪并更新每一帧中目标的特征信息和位置信息；及

s32、追踪模型在读取后续的每一帧图像时判断追踪的目标是否有丢失，当追踪模型判断出追踪的目标丢失时，所述检测模型确认目标是否有丢失并继续对未丢失的目标进行追踪直至视频结束。

请参阅图4，上述步骤a中，当检测模型框定需要追踪的多个目标之后，多目标追踪模型读取第一帧图像并且获得每个目标在第一帧图像中对应的位置信息和特征信息，基于第一帧目标的位置信息和特征信息对多个需要追踪的目标进行追踪采集数据。在步骤s31中，在第一帧图像中多目标追踪模型获得每个目标对应的轮廓信息、颜色特征或者文理特征等以及位置信息。基于每个目标的轮廓信息和位置信息对后续帧中的目标进行追踪。

步骤s32具体包括如下步骤：

s321、多目标追踪模型读取下一帧视频图像，结合上一帧目标的位置信息和特征信息确定多个需要追踪的目标；

s322、追踪模型判断目标是否丢失；

若否，则执行步骤s324、更新目标位置；

若是，则执行步骤s325、由检测模型进一步确认目标是否丢失，根据检测模型的判定结果对追踪目标进行标注；

执行完步骤s324或步骤s325之后，执行步骤

s326、更新追踪状态；

s327、判断视频是否结束；

若是，则执行步骤s328、上传标注好的数据，

若否，则返回步骤s321直至视频结束。

上述步骤s321中，多目标追踪模型在读取后续的每一帧图像时，识别出与上一帧的每个目标的轮廓相匹配的区域，基于前后两帧中目标轮廓信息的渐变性，将后一帧中多个轮廓与前一帧多个目标的轮廓相匹配，并进一步结合每个目标之间位置信息的关联性确定的多个需要追踪目标。

在步骤s322中，若追踪模型未找到与需要追踪的目标相匹配的轮廓轨迹时，则认为目标已经丢失了。比如，在第二帧中若未找到于目标1相匹配的轮廓时，则认为目标1已经丢失了。

当执行完步骤s322之后，若目标没有丢失，则更新目标位置以及更新跟踪状态。也即将目标在该帧中的位置信息进行更新，以及跟踪状态对应到搜索到的相似的轮廓处。此时，与上一帧每个目标相对应的轮廓区域的位置信息和特征信息对应到该帧的目标上，以表示该帧目标的位置信息和特征信息以形成数据集。同时，后续帧中目标基于该帧的位置信息和特征信息继续追踪以及采集数据。

若追踪模型判断出目标丢失，则对应执行步骤s325、由检测模型进一步确认目标是否丢失，根据检测模型的判定结果对目标进行标注。检测模型确认目标是否丢失是基于该帧中是否能找到与检测模型预存的特征模型相匹配的特征信息，若找到，则认为目标没有丢失，否则认为目标丢失。比如，追踪模型判断出在该帧中目标1丢失了，此时检测模型读取该帧中与目标1相关的多个新位置对应的特征信息，若该帧中目标1的特征信息无法跟检测模型预存的特征模型相匹配，则认为目标1已经丢失了，此时若目标2和目标3未丢失，则追踪模型将目标2和目标3对应的特征信息和位置信息对应到该帧中的目标2和目标3上，并在后续帧中继续对目标2和目标3进行追踪以采集数据。

可以理解的是，当目标1丢失之后，继续对目标2和目标3进行追踪，若在后续帧的图像中目标1又重新出现了，则继续对其进行追踪。

可以理解，目标2和目标3是否丢失和目标1的判定过程相同，在此不在赘述。

在上述步骤s32中，检测模型除了确认目标是否有丢失外，检测模型还用于在追踪模型读取后续的每一帧图像时，所述检测模型对每一帧图像进行检测确认目标是否丢失、或者间隔至少一帧图像进行检测确认目标是否丢失。可选地，设定每间隔5帧、10帧、15帧、30帧时检测模型确认目标是否丢失。

请参阅图5，在本发明另一的实施方式中，多目标追踪模型在读取每一帧图像对目标进行追踪时，检测模型在检测每一帧的图像时除了判定目标目标是否丢失还包括步骤s329，判断是否出现新目标；若出现新目标则执行步骤s3291、输入新标签：手工输入与新目标对应的特征信息对新目标进行标注且在后续帧中对新目标进行追踪；

执行完步骤s3291之后进一步执行步骤s324以及后续的相关步骤，直至视频采集结束。

若未出现新目标，则对应执行步骤s324以及后续的步骤，直至视频采集结束即可。

可以理解，在上述步骤s3291中，也可以在视频采集结束之后再输入标签对新目标进行标注。

请参阅图6，判断是否有新目标出现具体的操作是，若在当前帧中出现了之前帧都未出现过的图像轨迹时，则认为出现了新目标，比如图6中所示的目标4，目标4在之前的帧中都未出现过，那么目标4则是新目标。判定是否有新目标同样是基于特征信息和位置信息去判断。

当出现了新的目标之后，除了手动输入标签对新目标进行标注之外，还可以将新目标对应的特征模板导入检测模型中对检测模型进行数据更新，以方便对新目标追踪的过程中确认新的目标是否丢失。

需要说明的是，当检测模型在当前帧中检测到出现新目标时，只有在后续帧中该新目标连续出现多次，才将该新出现的新目标进行标注，获得与该新目标对应的数据集。

在本发明中所用到的追踪模型包括opencv、keras算法中的一种。

请再次参阅图1，需要说明的是，在步骤s4中对所述多个目标进行标注即将目标的标签值作为信息对目标进行标注，通常通过人工进行输入。标签值包括的是物体的种类信息，如、可乐、饼干或者牛奶等物体。对目标进行标注的步骤可以在检测模型检测第一帧图像的目标时进行，也可以在视频读取结束之后再进行，或者在视频读取后续帧的过程中进行都可以。这样，使得整个数据的采集过程更加灵活，可以将检测和标注异步操作。

当视频采集结束后，对视频中所有出现的目标进行标注之后，上传标注好的数据之前，还包括对采集的每一张图片进行图像增强处理。具体的图像增强处理的方式包括但不限于：噪声处理、扭曲处理中的任一种。对图像进行增强处理之后再训练模型，以使获得的模型具有较好的检测效果和分类效果，使得模型能更好的适用到不同的场景中。比如，即使图片是使用不同的拍摄设备、光照调节下拍摄出来的，模型仍然能很好的辨别，对待分类的样品进行检测或者分类。

请参阅图7，本发明的第二实施例提供一种数据集采集系统，其包括拍摄模块10和多目标追踪模型20，所述拍摄模块10用于对所述多个目标进行视频拍摄；所述多目标追踪模型20用于读取视频中每一帧图像并获得每个目标在每一帧图像中的位置信息和特征信息以形成代表目标的数据集。

请参阅图8，所述数据集采集系统还包括检测模型30，所述检测模型30和多目标追踪模型20之间可进行信号传递，所述检测模型30用于确定视频上第一帧中需要追踪的多个目标，所述多目标追踪模型20用于基于检测模型获得的需要追踪的多个目标进行追踪，当多目标追踪模型20识别到所追踪的目标丢失时，发出信号给所述检测模型30，检测模型30确认目标是否丢失，所述检测模型30还用于判断在读取每一帧图像时是否有新的目标出现。

请参阅图9，多目标追踪模型20包括获取模块201、运算模块202、追踪模块203、第一判断模块204、第二判断模块205。获取模块201用于获得第一帧图像中目标的位置信息和特征信息，以及用于获得后续帧中图像的特征信息。运算模块202基于上一帧中目标的特征信息计算获得后续帧中与目标相关位置信息以及轮廓信息。追踪模块203用于基于运算模块202获得的位置信息以及轮廓信息对目标进行追踪，也即更新目标位置和跟新跟踪状态。第一判断模块204用于判断目标是否丢失。第二判断模块205用于判断视频是否结束。

请参阅图10，本发明第三实施例提供一种电子装置，包括存储器41和处理器42，所述存储器41中存储有计算机程序，所述处理器42被设置为通过所述计算机程序执行第一实施例中所述的基于单目标追踪的数据集采集方法中的任一步骤。

与现有技术相比，本发明具有如下有益效果：

通过对需要进行数据集采集的多个目标进行视频拍摄，利用多目标追踪算法将视频每一帧图像中多个目标的位置信息和/或特征信息进行读取以形成数据集，通过标准化的数据采集流程，并行化采集任务，使得可以同时对多个目标进行数据采集，效率有了巨大的提升，解决了人工标注成本高、耗时长、不准确等问题，适用在实际工业应用场景中需要快速采集一批带有准确标签的图像数据的问题；并且，适用性高，不限定特定的样品，基于视频上不同帧中目标的特征信息和位置信息的关联性即可对目标进行追踪采集数据而不需要事先采集数据训练模型，节约流程；同时，将获取每一帧图像的位置信息和特征信息流程和对目标进行标注的操作异步进行，使得数据采集流程的灵活性更高，对目标的标注可在读取第一帧时进行，也可在视频读取结束并通过追踪模型算出每一帧中目标的位置信息之后再对目标进行标注。

所述多目标追踪模型在读取第一帧之后的图像时判断目标是否丢失的同时还检测是否有新的目标出现，判断到新的目标出现时，将对应该新目标的信息对新目标标定并在后续帧中对其进行追踪，能很好的丰富采集数据的类型，使得采集的数据适用于更多产品的筛选。

数据集采集系统包括拍摄模块、多目标追踪模块，所述拍摄模块用于对目标进行视频拍摄；所述多目标追踪模块用于读取视频中每一帧图像并获得目标在每一帧图像中的位置信息和特征信息以形成数据集，通过摄拍摄模块和多目标追踪模块的配合即可采集到多个目标对应的位置信息和特征信息以形成数据集，不需要对每个目标分别拍摄视频，分别采集数据，流程简单，效率高，成本低，并且数据的准确性高。

以上所述仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。