基于自监督光流学习的交互式视频人物跟踪方法及系统

本发明涉及视频人物跟踪，尤其涉及一种基于自监督光流学习的交互式视频人物跟踪方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的应用背景，并不必然构成现有技术。

2、随着技术的不断进步，视频人物跟踪技术在许多领域中具有广泛的应用，包括安防监控、社交媒体、人机交互、娱乐游戏以及健康运动等多个领域。当视频人物跟踪技术应用于安防监控领域或系统中，实时跟踪和监测特定的目标人物，可以帮助提高监控系统的准确性和效率，从而增强安全性。因此，研发更加精确的视频人物跟踪技术是目前的重点研究方向之一。

3、现有的人物跟踪技术可以分为在线处理与离线处理。其中，离线处理方法虽然可以在处理过程中不断纠正前面帧的错误，容错性较高，但是这一方式处理速度很慢，导致无法实时得到跟踪结果；在线处理方法虽然能够得到实时跟踪结果，但是在解决人物之间的遮挡、交叉以及人物长时失踪方面，处理能力较差，当某一帧图像的判断出现错误时，无法对这一帧图像后面的图像进行纠正，而且现有的在线人物跟踪技术在每次预测跟踪时需要进行复杂计算，效率低且占用较多的计算资源。

技术实现思路

1、为解决上述现有技术的不足，本发明提供了一种基于自监督光流学习的交互式视频人物跟踪方法及系统，通过自监督光流学习模型学习视频中目标人物的运动信息，提供准确的目标人物实时跟踪预测，并结合交互式的目标人物选择和修正，实现更精确的目标人物实时跟踪，避免由于上一帧图像判断错误而导致后续跟踪预测均错误的情况，且计算过程简单，提高跟踪的效率，节省时间和计算资源。

2、第一方面，本发明提供了一种基于自监督光流学习的交互式视频人物跟踪方法。

3、一种基于自监督光流学习的交互式视频人物跟踪方法，包括：

4、获取包含连续帧图像序列的视频数据，通过用户点击操作，确定连续帧图像序列的第一帧图像中的目标人物初始位置；

5、基于目标人物初始位置，生成目标人物初始掩码，将目标人物初始掩码和视频数据输入至已经过预训练的自监督光流学习模型中，预测视频数据中相邻帧图像之间的光流向量，根据预测的光流向量和目标人物初始掩码，预测下一帧图像中的目标人物掩码，输出下一帧图像中的目标人物位置；

6、将预测的下一帧图像中的目标人物掩码再输入至自监督光流学习模型中，进行不断迭代跟踪预测，直至视频结束，实时输出目标人物在整个视频中的移动位置和轨迹。

7、第二方面，本发明提供了一种基于自监督光流学习的交互式视频人物跟踪系统。

8、一种基于自监督光流学习的交互式视频人物跟踪系统，包括：

9、数据获取模块，用于获取包含连续帧图像序列的视频数据；

10、目标人物初始位置确定模块，用于基于视频数据，通过用户点击操作，确定连续帧图像序列的第一帧图像中的目标人物初始位置；

11、目标人物跟踪模块，用于基于目标人物初始位置，生成目标人物初始掩码，将目标人物初始掩码和视频数据输入至已经过预训练的自监督光流学习模型中，预测视频数据中相邻帧图像之间的光流向量，根据预测的光流向量和目标人物初始掩码，预测下一帧图像中的目标人物掩码，输出下一帧图像中的目标人物位置；将预测的下一帧图像中的目标人物掩码再输入至自监督光流学习模型中，进行不断迭代跟踪预测，直至视频结束，实时输出目标人物在整个视频中的移动位置和轨迹。

12、以上一个或多个技术方案存在以下有益效果：

13、1、本发明提供了一种基于自监督光流学习的交互式视频人物跟踪方法及系统，通过自监督光流学习模型学习视频中目标人物的运动信息，提供准确的目标人物实时跟踪预测，并结合交互式的目标人物选择和修正，实现更精确的目标人物实时跟踪，避免由于上一帧图像判断错误而导致后续跟踪预测均错误的情况。

14、2、本发明能够实现用户友好的交互体验，用户可以通过简单的点击操作选择和修正目标人物掩码，无需复杂的标注过程，这种交互式的选择和修正方式更加直观和自然，使用户能够更轻松地指定感兴趣的人物。

15、3、本发明通过迭代更新的方式，不断利用自监督光流学习模型更新目标人物的位置信息，以适应视频的连续帧图像序列中的变化，这一自适应的跟踪能力，能够实现在面对复杂的场景和长时间的视频时仍能保持较高的实时跟踪准确性。

16、4、本发明基于自监督光流学习的方法能够在一次推理预测中实现目标人物的跟踪，无需多次迭代或复杂的计算过程，提高跟踪效率，节省时间和计算资源。

技术特征：

1.一种基于自监督光流学习的交互式视频人物跟踪方法，其特征是，包括：

2.如权利要求1所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，在利用自监督光流学习模型预测并输出下一帧图像中目标人物位置的过程中，通过用户点击操作来修正并更新当前帧图像中的目标人物的掩码，基于修正并更新后的目标人物掩码，预测并输出在下一帧图像中准确的目标人物位置。

3.如权利要求1所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，所述自监督光流学习模型的训练过程包括：

4.如权利要求3所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，所述自监督光流学习模型采用编码器-解码器结构；

5.如权利要求3所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，所述提取每一帧图像的特征图，包括：

6.如权利要求3所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，在训练自监督光流学习模型之前，还包括对自监督光流学习模型的自监督预训练过程，包括：

7.如权利要求3所述的基于自监督光流学习的交互式视频人物跟踪方法，其特征是，将相邻帧图像的特征图进行特征对齐，生成光流图，包括：

8.一种基于自监督光流学习的交互式视频人物跟踪系统，其特征是，包括：

9.如权利要求8所述的基于自监督光流学习的交互式视频人物跟踪系统，其特征是，还包括：

10.如权利要求8所述的基于自监督光流学习的交互式视频人物跟踪系统，其特征是，所述自监督光流学习模型的训练过程包括：

技术总结
本发明公开了一种基于自监督光流学习的交互式视频人物跟踪方法及系统，涉及视频人物跟踪技术领域，该方法包括：获取包含连续帧图像序列的视频数据，通过用户点击操作，确定连续帧图像序列第一帧图像中的目标人物初始位置，进而生成目标人物初始掩码；将目标人物初始掩码和视频数据输入至已经过预训练的自监督光流学习模型中，预测视频数据中相邻帧图像之间的光流向量，根据预测的光流向量和目标人物初始掩码，预测下一帧图像中的目标人物掩码及位置；将预测的下一帧图像中的目标人物掩码再输入至自监督光流学习模型中，进行不断迭代跟踪预测，直至视频结束，实时输出目标人物在整个视频中的移动位置和轨迹，实现更精确的目标人物跟踪。

技术研发人员：王少华,秦者云,刘兴波,庞瑞英,聂秀山,尹义龙
受保护的技术使用者：山东建筑大学
技术研发日：
技术公布日：2024/1/22