本发明涉及计算机视觉方向的视频处理领域，尤其涉及一种弱监督视频物体分割方法及装置。
背景技术：
视频物体分割(Video Object Segmentation,VOS)是计算机视频处理领域的热点研究问题之一。视频物体分割可以对视频中的每一帧生成包含物体前后景信息的图像掩码。视频物体分割框架生成的掩码有着广泛的应用，例如视频编辑、自动驾驶、视频监控、和基于视频内容的视频编码应用等。目前该领域的主流方法包括监督式(Supervised VOS)、无监督式(Unsupervised VOS)、和半监督式(Semi-supervised VOS)视频物体分割框架。
监督式视频物体分割框架假定当前测试序列中，所有视频帧具有人工标定的预先知识，并通过与使用者的交互，协同生成与改善视频物体分割的图像掩码。此类方法不适用于自动化的视频物体分割任务，因其通常在缺少人工介入的情况下性能不佳。无监督视频物体分割框架假定不存在对当前视频序列的任何预先知识，直接对每一个视频帧进行物体分割。此类框架由于缺少针对当前视频序列的上下文信息，往往因误引入无关物体导致性能不佳。
半监督式视频物体分割框架假定当前测试序列中，第一帧的人工标定信息已经给出。框架通过学习第一帧内的信息，提升分割框架在当前视频序列中的测试准确度。然而，与监督式物体分割框架类似，半监督式框架需要人工标定第一帧的图像掩码。由于标定工作既费时又费力，此类框架在现实生活中的应用空间有限。与此同时，由于半监督式框架在对于第一帧进行学习的过程中难以控制过拟合(Over Fitting)现象的发生，这类框架在测试首帧以后的视频帧时往往出现图像掩码中物体掩码不完整的情况，显著影响视频物体分割性能。
除了视频物体分割，视频物体追踪(Video Object Tracking,VOT)也是计算机视频处理领域的另一热点研究问题。视频物体追踪对视频中的每一帧生成围绕测试物体的边界框，并根据视频前后帧的关系持续更新边界框的位置和大小。
因此，本领域的技术人员致力于开发一种弱监督视频物体分割方法及装置，将物体边界框与视频物体分割装置进行融合，利用视频物体追踪辅助视频物体分割，降低了人工标定成本，避免了无关物体的引入，提升了视频物体分割性能。
技术实现要素：
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何降低人工标定成本，如何避免无关物体引入，提升视频物体分割性能。
为实现上述目的，本发明提供了一种弱监督视频物体分割方法，包括以下步骤：
S01构建视频物体分割模型，输入测试视频首帧和首帧中的测试物体边界框后，基于迭代式算法对视频分物体割模型进行预训练；
S02对所述测试视频首帧后的每一帧中的测试物体边界框进行追踪，更新所述测试物体边界框；
S03基于步骤S02输出的所述测试物体边界框，对所述测试视频首帧后的每一帧进行像素级别的预测，生成一张当前帧的包含前后景信息的图像掩码；
S04基于步骤S02输出的结果，对步骤S03输出的图像掩码进行优化，得到当前帧的最终物体分割计算结果。
进一步地，步骤S01中，所述首帧中的测试物体边界框通过人工标定的方式获得。
进一步地，步骤S01中，基于迭代式算法对视频物体分割模型进行预训练的步骤包括：
S11利用当前视频物体分割模型，生成对于测试视频首帧的图像掩码；
S12基于首帧中的测试物体边界框，对所述测试视频首帧的图像掩码进行优化；
S13使用优化后的图像掩码训练当前视频物体分割模型；
S14重复步骤S11至S13，达到迭代次数后结束。
进一步地，步骤S12中，对所述测试视频首帧的图像掩码进行优化，包括删除无关物体、补全测试物体的缺失部分。
进一步地，步骤S02中，所述测试物体边界框包括所述测试物体的位置信息和尺寸信息。
进一步地，步骤S03中，预测的范围是所述测试物体附近的子区域，所述子区域由所述测试物体边界框给出。
进一步地，步骤S04中，对步骤S03输出的图像掩码进行优化包括：
去除无关物体；
根据所述测试物体边界框优化所述测试物体的边缘；
根据所述测试物体边界框平滑所述测试物体的缺损。
本发明还公开了一种弱监督视频物体分割装置，包括弱监督视频物体分割预训练模块、视频物体追踪模块、视频物体分割测试模块和视频物体分割优化模块：
所述弱监督视频物体分割预训练模块通过输入测试物体边界框与测试视频首帧，利用基于迭代式算法对视频物体分割模型进行预训练；
所述视频物体追踪模块用于块对测试视频首帧以后的每一帧中测试物体的边界框进行追踪，从而对物体的位置和大小进行准确的预测；
所述视频物体分割测试模块用于对测试视频首帧以后的每一帧进行像素级别的预测，生成一张区分前景与背景的图像掩码；
所述视频物体分割优化模块利用所述视频物体追踪模块生成的测试物体边界框，对所述视频物体分割测试模块生成的图像掩码进行优化。
进一步地，本发明公开的一种弱监督视频物体分割装置，其工作流程包括：
步骤1、弱监督视频物体分割装置开始运行，所述弱监督视频物体分割预训练模块利用测试物体边界框与测试视频首帧，基于迭代式算法生成用于视频分割模型预训练的首帧图像掩码，并执行预训练；
步骤2、所述视频物体追踪模块对测试视频首帧以后每一帧中测试物体的边界框进行追踪，并将追踪结果传递给所述视频物体分割测试模块；
步骤3、所述视频物体分割测试模块基于所述视频物体追踪模块给出的测试物体边界框，对测试视频首帧以后每一帧中测试物体附近的子区域进行像素级预测，生成包含前后景信息的图像掩码，并将所述图像掩码传递给所述视频物体分割优化模块；
步骤4、所述视频物体分割优化模块利用所述视频物体追踪模块输出的测试物体边界框，对所述视频物体分割测试模块生成的图像掩码进行优化，生成对于当前帧的最终物体分割计算结果。
进一步地，若所述测试视频存在待测帧，所述弱监督视频物体分割装置重复步骤2至步骤4。
本发明公开的一种弱监督视频物体分割方法及装置具有以下技术效果：
(1)本发明假定当前测试序列中，进给出第一帧的人工标定物体边界框，而非完整的图像掩码，能够显著降低框架运行所需要的人工标定成本，有利于推进相关工作在现实生活中的应用研究。
(2)本发明能够从视频序列首帧中学习当前序列的上下文信息，避免无关物体引入的缺陷，提升视频物体分割测试时的性能。
(3)本发明中视频物体追踪辅助的视频物体分割优化模块，能够利用来自物体边界框的物体位置和大小信息，避免物体掩码不完整的缺陷。与此同时根据物体位置，降低无关物体被引入物体掩码的可能性，进一步提升视频物体分割的性能
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的视频物体分割方法流程示意图；
图2是本发明的一个较佳实施例的迭代式算法流程示意图；
图3是本发明的一个较佳实施例的视频物体分割装置系统结构图；
图4是本发明的一个较佳实施例的视频物体分割装置工作流程示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
图1为本发明一个较佳实施例中的弱监督视频物体分割方法流程示意图，包括以下步骤：
S01构建视频物体分割模型，输入测试视频首帧和首帧中的测试物体边界框后，基于迭代式算法对视频分物体割模型进行预训练；
本实施例中，采用人工标定方式给出测试物体边界框，而非完整的图像掩码，显著降低了所需要的人工标定成本，有利于推进相关工作在现实生活中的应用研究。
S02对所述测试视频首帧后的每一帧中的测试物体边界框进行追踪，更新所述测试物体边界框；
视频物体追踪是计算机视频处理领域的一个热点研究问题，对测试视频中的每一帧生成围绕测试物体的边界框，并根据测试视频前后帧的关系持续更新测试物体边界框的位置和大小。
S03基于步骤S02输出的所述测试物体边界框，对所述测试视频首帧后的每一帧进行像素级别的预测，生成一张当前帧的包含前后景信息的图像掩码；
测试物体附近的子区域由视频物体追踪模块控制的物体边界框给出，仅对测试物体附近的子区域进行预测，能够从源头上减少无关物体被引入当前帧图像掩码的可能性。
S04基于步骤S02输出的结果，对步骤S03输出的图像掩码进行优化，得到当前帧的最终物体分割计算结果；
优化主要包括：去除无关物体、根据测试物体边界框优化掩图像码中测试物体的边缘、根据测试物体边界框平滑图像掩码中测试物体的缺损等。优化后的图像掩码被用作当前帧的最终物体分割计算结果。
图2给出了本发明的一个较佳实施例的迭代算法流程示意图，基于迭代式算法对视频物体分割模型进行预训练，其步骤包括：
S11利用当前视频物体分割模型，生成对于测试视频首帧的图像掩码；
S12基于首帧中的测试物体边界框，对所述测试视频首帧的图像掩码进行优化；
S13使用优化后的图像掩码训练当前视频物体分割模型；
S14重复步骤S11至S13，达到迭代次数后结束。
本实施例中的迭代式生成算法首先利用原始物体分割模型，生成对于当前测试视频首帧的图像掩码。接着利用测试物体边界框对所述首帧的图像掩码进行优化，包括无关物体的删除，测试物体缺失部分补全。该优化过后的所述首帧的图像掩码将用作训练标定数据对原始物体分割模型进行训练，随后重复生成所述首帧的图像掩码、优化所述首帧的图像掩码、训练当前视频物体分割模型的工作流程。经过N次迭代，最终经过优化的掩码被用作当前测试视频首帧的预测值，迭代次数越多，预训练需要的时间越长，预训练后的视频物体分割模型在后续视频帧上的性能通常越好。本实施例中，迭代式算法的主程序伪代码如下：
图3给出了本发明的一个较佳实施例的视频物体分割装置系统结构图，包括弱监督视频物体分割预训练模块、视频物体追踪模块、视频物体分割测试模块和视频物体分割优化模块：
所述弱监督视频物体分割预训练模块通过输入测试物体边界框与测试视频首帧，利用基于迭代式算法对视频物体分割模型进行预训练；
所述视频物体追踪模块用于块对测试视频首帧以后的每一帧中测试物体的边界框进行追踪，从而对物体的位置和大小进行准确的预测；
所述视频物体分割测试模块用于对测试视频首帧以后的每一帧进行像素级别的预测，生成一张区分前景与背景的图像掩码；
所述视频物体分割优化模块利用所述视频物体追踪模块生成的测试物体边界框，对所述视频物体分割测试模块生成的图像掩码进行优化。
图4给出了本发明的一个较佳实施例的视频物体分割装置工作流程示意图，包括：
步骤1、弱监督视频物体分割装置开始运行，所述弱监督视频物体分割预训练模块利用测试物体边界框与测试视频首帧，基于迭代式算法生成用于视频分割模型预训练的首帧图像掩码，并执行预训练；
步骤2、所述视频物体追踪模块对测试视频首帧以后每一帧中测试物体的边界框进行追踪，并将追踪结果传递给所述视频物体分割测试模块；
步骤3、所述视频物体分割测试模块基于所述视频物体追踪模块给出的测试物体边界框，对测试视频首帧以后每一帧中测试物体附近的子区域进行像素级预测，生成包含前后景信息的图像掩码，并将所述图像掩码传递给所述视频物体分割优化模块；
步骤4、所述视频物体分割优化模块利用所述视频物体追踪模块输出的测试物体边界框，对所述视频物体分割测试模块生成的图像掩码进行优化，生成对于当前帧的最终物体分割计算结果；若所述测试视频存在待测帧，重复步骤2至步骤4。
本实施例中，所述弱监督视频物体分割预训练模块只需人工标定测试物体的边界框，而非测试视频首帧的图像掩码，显著降低了人工标定成本，同时，所述弱监督视频物体分割预训练模块能够从测试视频首帧中学习当前序列的上下文信息，避免了无关物体引入的缺陷，提升了视频物体分割装置的性能。
本实施例中引入了基于视频物体追踪辅助的视频物体分割优化模块，利用来自测试物体边界框的位置信息和大小信息，能能够避免当前帧的图像掩码不完整的缺陷，与此同时，根据测试物体的位置信息，降低了无关物体被引入图像掩码的可能性，进一步提升了视频物体分割的性能。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。