一种基于深度学习的视频人物特征识别标记方法与流程

本发明涉及视频处理，具体涉及一种基于深度学习的视频人物特征识别标记方法。

背景技术：

1、现有的人工标记和涂色方法生成对比底图的旧方法存在以下缺陷：效率低，人工操作需要花费大量时间和精力，特别是在处理大量视频数据时，效率低下；精度不稳定，人工操作容易受到视觉误差、主观判断等因素的影响，导致标记和涂色不准确，从而影响后续应用的准确性；无法实现自动化，人工操作自动化程度低、效率受限极大，不利于大规模数据处理和实时应用；难以统一标准，不同的操作者可能有不同的标记和涂色标准，导致处理结果不一致，难以形成统一的标准。

技术实现思路

1、为了克服上述缺陷，本发明提供了基于深度学习的视频人物特征识别标记方法，本发明通过自动化识别和标记的结合利用，大大提高了视频处理的效率，能够极大地节约识别所需的时间和人力。

2、一方面，提供一种基于深度学习的视频人物特征识别标记方法，包括以下步骤：

3、从视频文件中提取多帧图像数据，并按照时间顺序排列；

4、将待识别人物特征数据与多帧图像数据进行比对，获取比对结果满足阈值的多帧图像数据整合为待分析数据集，获取比对结果不满足阈值的图像数据整合为待整理数据集；

5、对所述待分析数据集进行逐一标记，将标记后的图像帧输出为对比图，并将标记后的图像帧按照时间顺序插入至待整理数据集中，对插入后的多帧图像数据进行帧数优化处理。

6、作为优选地，所述将识别人物特征数据与多帧图像数据进行比对，获取比对结果满足阈值的多帧图像数据整合为待分析数据集时，具体包括以下步骤：

7、从多帧图像数据中筛选出所有人物特征数据，整合为初始数据集，通过dlib级联回归树模型对初始数据集进行人脸矫正，获得待识别数据集；

8、将待识别数据集中的脸部数据与待识别人物的脸部数据进行特征向量比对，获取特征向量比对结果满足阈值的多帧图像数据，整合为人脸贴合数据集，获取特征向量比对结果不满足阈值的图像数据整合为待整理数据集；

9、对所述人脸贴合数据集进行身体部位识别，输出识别结果为待分析数据集。

10、作为优选地，所述将待识别数据集中的脸部数据与待识别人物的脸部数据进行特征向量比对时，具体包括以下步骤：

11、通过残差网络，分别从待识别数据集的脸部数据中提取128d特征向量作为行向量，从待识别人物的脸部数据中提取128d特征向量作为列向量；

12、计算行向量相对于列向量的余弦值，作为特征向量比对结果。

13、作为优选地，所述对所述待分析数据集标记时，具体包括以下步骤：

14、根据人体姿态估计算法，获取待识别人物的脸部数据所对应的身体姿态数据，根据所述身体姿态数据获取所述待识别人物的轮廓数据；

15、采用色块对所述轮廓数据生成待识别人物的轮廓边界进行标记。

16、作为优选地，所述对插入后的多帧图像数据进行帧数优化处理时，具体包括以下步骤：

17、预先训练双通道神经网络，所述双通道神经网络用于生成任意两个图像帧数据之间的预测帧；

18、获取视频中任意相邻的两个图像帧数据，代入所述双通道优化模型中，生成预测帧数据；

19、将所述预测帧数据代入所述多帧图像数据中，获得帧数优化处理后的多帧图像数据。

20、作为优选地，所述计算行向量相对于列向量的余弦值，作为特征向量比对结果时，设定阈值为1/2。

21、第二方面，提供一种基于深度学习的视频人物特征识别标记系统，包括以下内容：

22、图像帧提取模块：用于从视频文件中提取多帧图像数据；

23、图像帧插入模块：用于向多帧图像数据中插入图像帧；

24、特征向量比对模块：用于将待识别数据集与待识别人物的特征向量进行比对；

25、人物标记模块：用于对待识别人物特征数据进行标记。

26、作为优选地，所述基于深度学习的视频人物特征识别标记系统还包括：

27、人脸矫正模块：用于采用dlib级联回归树模型对初始数据集进行人脸矫正；

28、双通道神经网络：用于生成任意两个图像帧数据之间的预测帧。

29、第三方面，提供一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的基于深度学习的视频人物特征识别标记方法的步骤。

30、第四方面，提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行所述的基于深度学习的视频人物特征识别标记方法。

31、本发明的有益效果体现在：

32、本发明具备自动化程度高、精度高和效率高等优点。通过计算机视觉算法和图像处理算法，可以自动识别和标记视频中特定人物的特征，避免了人工操作的繁琐和误差，且采用深度学习模型进行身体部位识别，提高了识别和标记的精度，进而提高了后续应用的准确性，同时通过自动化识别和标记的结合利用，大大提高了视频处理的效率，能够极大地节约识别所需的时间和人力。

技术特征：

1.一种基于深度学习的视频人物特征识别标记方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度学习的视频人物特征识别标记方法，其特征在于，所述将识别人物特征数据与多帧图像数据进行比对，获取比对结果满足阈值的多帧图像数据整合为待分析数据集时，具体包括以下步骤：

3.根据权利要求2所述的基于深度学习的视频人物特征识别标记方法，其特征在于，所述将待识别数据集中的脸部数据与待识别人物的脸部数据进行特征向量比对时，具体包括以下步骤：

4.根据权利要求3所述的基于深度学习的视频人物特征识别标记方法，其特征在于，所述对所述待分析数据集标记时，具体包括以下步骤：

5.根据权利要求1所述的基于深度学习的视频人物特征识别标记方法，其特征在于，所述对插入后的多帧图像数据进行帧数优化处理时，具体包括以下步骤：

6.根据权利要求5所述的基于深度学习的视频人物特征识别标记方法，其特征在于，所述计算行向量相对于列向量的余弦值，作为特征向量比对结果时，设定阈值为1/2。

7.一种基于深度学习的视频人物特征识别标记系统，其特征在于，包括以下内容：

8.根据权利要求1所述的基于深度学习的视频人物特征识别标记系统，其特征在于，所述基于深度学习的视频人物特征识别标记系统还包括：

9.一种电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的基于深度学习的视频人物特征识别标记方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行权利要求1至6中任一项所述的基于深度学习的视频人物特征识别标记方法。

技术总结
本发明公开了一种基于深度学习的视频人物特征识别标记方法，涉及视频处理技术领域，本发明具备自动化程度高、精度高和效率高等优点。通过计算机视觉算法和图像处理算法，可以自动识别和标记视频中特定人物的特征，避免了人工操作的繁琐和误差，且采用深度学习模型进行身体部位识别，提高了识别和标记的精度，进而提高了后续应用的准确性，同时通过自动化识别和标记的结合利用，大大提高了视频处理的效率，能够极大地节约识别所需的时间和人力。

技术研发人员：陶磊,曹阳,商宏宇
受保护的技术使用者：北京君盾装备技术有限公司
技术研发日：
技术公布日：2024/3/11