一种交互式视频数据标注装置及其标注方法与流程

本发明涉及数据标注，具体为一种交互式视频数据标注装置及其标注方法。

背景技术：

1、视频数据标注是用机器自动生成自然语言文字来描述视频内容的过程。它在视觉和文字之间起到非常重要的桥接作用。视频数据标注目的是对场景中活动目标进行位置、形状、动作、色彩等有关特征进行标注；提供大量数据供跟踪算法使用，从而实现对场景中活动目标进行检测、跟踪、识别，以及进一步的行为分析及事件检测。

2、然而现有的视频数据标注方法在实际运用的过程中，大多通过人工逐帧标注或自动对目标物体进行标注；采用人工标注不仅标注效率慢，同时误差率与投资成本较高；采用自动标注虽可满足标注速度，但精度往往会受到模型本身的限制，从而降低了视频标注的精准度。

3、因此，不满足现有的需求，对此我们提出了一种交互式视频数据标注装置及其标注方法。

技术实现思路

1、本发明的目的在于提供一种交互式视频数据标注装置及其标注方法，通过智能相机设备获取待标注目标视频，并将待标注目标数据接入标注训练模型中进行自动标注视频，由此获得自动标注内容；通过人工对自动标注的内容进行增删改查，并利用标注复核模块对标注内容进行核对；若核对内容不通过，则将未通过的目标视频返回人工进行二次修正；若核对内容通过，则将目标视频直接发送至标注生成模块生成最终视频，并通过视频显示模块将原始目标视频及带有数据标注内容的目标视频进行展示；通过将自动标注与人工标注相结合，提高了视频标注内容的准确性与标注的效率，降低了投资成本，解决了上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种交互式视频数据标注装置，包括：

3、视频采集模块，基于智能相机设备获取待标注目标视频，并将待标注目标视频上传至视频标注单元进行标注；

4、模型训练单元，用于创建视频特征识别模型，并对所创建的视频特征识别模型预先进行训练，由此获得数据标注训练模型；

5、视频标注单元，用于将待标注目标视频接入到训练好的模型进行自动标注，并对标注后的目标视频进行复核；

6、标注生成模块，基于视频标注单元所标注的内容为依据，用于将标注内容与目标视频相结合，由此生成带有数据标注内容的目标视频；

7、视频显示模块，用于接收并显示视频采集模块所获取的原始目标视频，以及带有数据标注内容的目标视频。

8、进一步的，所述视频采集模块包括：

9、视频存储模块，用于将智能相机设备获取的待标注目标视频预先进行保存，以作为待标注目标视频的原始目标视频；

10、视频接入模块，用于配置待标注目标视频的传输地址，以接入实时待标注目标视频数据；

11、视频传输模块，用于将存储后的原始目标视频上传至视频显示模块进行展示。

12、进一步的，视频存储模块，包括：

13、视频数据提取模块，用于提取单位时间内智能相机设备获取的待标注目标视频；其中，所述单位时间的取值范围为8min-10min；

14、数据量比较模块，用于将所述单位时间内智能相机设备获取的待标注目标视频与第一数据量阈值和第二数据量阈值进行比较，获得比较结果；

15、数据集划分模块，用于根据所述比较结果将单位时间内智能相机设备获取的待标注目标视频分类第一数据集合、第二数据集合和第三数据集合；

16、其中，所述第一数据集合为单位时间内智能相机设备获取的待标注目标视频的数据量不超过第一数据量阈值的视频数据类型；

17、所述第二数据集合为单位时间内智能相机设备获取的待标注目标视频的数据量超过第一数据量阈值，但，不超过第二数据阈值的视频数据类型；

18、所述第三数据集合为单位时间内智能相机设备获取的待标注目标视频的数据量超过第二数据阈值的视频数据类型；

19、存储空间设置模块，用于根据所述第一数据集合、第二数据集合和第三数据集合设置与所述第一数据集合、第二数据集合和第三数据集合对应的数据缓存区域的缓存空间；

20、其中，所述第一数据集合、第二数据集合和第三数据集合对应的数据缓存区域的缓存空间通过如下公式获取：

21、

22、其中，ck1表示第一数据集合对应的数据缓存区域的缓存空间；c0表示预设的基准存储空间对应的存储量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；n表示已经历的单位时间个数；c01i表示第i个单位时间获取的视频数据中属于第一数据集合对应视频数据类型的数据量；cd1i表示第i个单位时间获取的视频数据的数据量；c01ci表示第i个单位时间实际上传的视频数据中属于第一数据集合对应视频数据类型的数据量；cd2i表示第i个单位时间实际上传的视频数据的数据量；

23、

24、其中，ck2表示第二数据集合对应的数据缓存区域的缓存空间；c0表示预设的基准存储空间对应的存储量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；n表示已经历的单位时间个数；c02i表示第i个单位时间获取的视频数据中属于第二数据集合对应视频数据类型的数据量；cd1i表示第i个单位时间获取的视频数据的数据量；c02ci表示第i个单位时间实际上传的视频数据中属于第二数据集合对应视频数据类型的数据量；cd2i表示第i个单位时间实际上传的视频数据的数据量；

25、

26、其中，ck3表示第三数据集合对应的数据缓存区域的缓存空间；c0表示预设的基准存储空间对应的存储量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；n表示已经历的单位时间个数；c03i表示第i个单位时间获取的视频数据中属于第三数据集合对应视频数据类型的数据量；cd1i表示第i个单位时间获取的视频数据的数据量；c03ci表示第i个单位时间实际上传的视频数据中属于第三数据集合对应视频数据类型的数据量；cd2i表示第i个单位时间实际上传的视频数据的数据量。

27、进一步的，视频传输模块，包括：

28、第一实时监测模块，用于实时监测所述第一数据集合对应的数据缓存区域的缓存空间的空间占用量；

29、第一数据传输量设置模块，用于根据所述第一数据集合对应的数据缓存区域的缓存空间的空间占用量设置针对第一数据集合对应的数据缓存区域的单位时间的第一数据传输量，其中，所述第一数据传输量通过如下公式获取：

30、

31、其中，cs1表示第一数据传输量；cs0表示预设的数据传输量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；cz1表示第一数据集合对应的数据缓存区域的缓存空间的空间占用量；ck1表示第一数据集合对应的数据缓存区域的缓存空间；e表示常数；

32、第二实时监测模块，用于实时监测所述第二数据集合对应的数据缓存区域的缓存空间的空间占用量；

33、第二数据传输量设置模块，用于根据所述第二数据集合对应的数据缓存区域的缓存空间的空间占用量设置针对第二数据集合对应的数据缓存区域的单位时间的第二数据传输量，其中，所述第二数据传输量通过如下公式获取：

34、

35、其中，cs2表示第二数据传输量；cs0表示预设的数据传输量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；cz2表示第二数据集合对应的数据缓存区域的缓存空间的空间占用量；ck2表示第二数据集合对应的数据缓存区域的缓存空间；

36、第三实时监测模块，用于实时监测所述第三数据集合对应的数据缓存区域的缓存空间的空间占用量；

37、第二数据传输量设置模块，用于根据所述第三数据集合对应的数据缓存区域的缓存空间的空间占用量设置针对第三数据集合对应的数据缓存区域的单位时间的第三数据传输量，其中，所述第三数据传输量通过如下公式获取：

38、

39、其中，cs3表示第三数据传输量；cs0表示预设的数据传输量；cp1表示单位时间获取的视频数据的平均数据量；cp2表示视频显示模块的单位时间能够接收的视频数据的最低数据量；cz3表示第三数据集合对应的数据缓存区域的缓存空间的空间占用量；ck3表示第三数据集合对应的数据缓存区域的缓存空间。

40、进一步的，所述模型训练单元包括：

41、模型创建模块，用于创建视频特征识别模型，以作为待标注目标视频的训练模型；

42、样本获取模块，用于获取视频数据样本，并基于人工标注方式对视频数据样本中的标注点进行标注，由此获得标注数据样本；

43、模型训练模块，基于标注数据样本对视频特征识别模型进行数据标注训练，由此获得待标注目标视频的训练模型。

44、进一步的，所述视频标注单元包括：

45、模型加载模块，用于将训练好的数据标注训练模型进行预先加载，确保接入待标注目标视频的稳定；

46、自动标注模块，基于数据标注训练模型为基准，将待标注目标视频接入训练好的数据标注训练模型中进行自动标注，并将自动标注内容进行保存；

47、人工标注模块，用于对待标注目标视频中自动标注的内容进行增删改查，并将修正后的标注内容进行二次保存；

48、标注复核模块，用于将自动标注的内容与人工标注的内容进行核对，以确保目标视频中数据标注的准确性。

49、进一步的，所述模型训练模块通过标注数据样本对视频特征识别模型进行数据标注训练，具体为：

50、通过人工将视频数据样本中的标注点进行框选，对于需要进行复杂标注的数据，需预先制定标注规则，包括：规定图像中物体的分类和边界框的位置；

51、使用标注工具对视频数据样本进行标注，并对标注后的数据进行质量验证；

52、将标注结果整理成机器学习模型可以使用的格式，包括：将图像标注结果转换为边界框的坐标和分类标签；

53、将标注数据接入到视频特征识别模型进行训练学习，由此获得待标注目标视频的训练模型。

54、进一步的，所述标注复核模块将自动标注的内容与人工标注的内容进行核对，具体为：

55、通过标注复核模块对待标注目标视频中自动标注与人工标注的内容进行核对，核对内容包括：图像中物体的分类、边界框的位置以及标注文字是否准确；若核对内容通过，则将标注好的目标视频发送至标注生成模块，由此生成图像中物体的分类和边界框的位置；若核对内容不通过，则将未通过的目标视频返回至人工标注模块进行二次修正，直至目标视频核对通过。

56、进一步的，所述标注复核模块包括：

57、数据存储模块，用于将通过复核的视频数据存储至指定数据库。

58、本发明还提供另一种技术方案：一种交互式视频数据标注装置的标注方法，包括以下步骤：

59、s1、通过模型创建模块创建视频特征识别模型，利用标注数据样本对模型进行训练，由此得到待标注目标视频的训练模型；

60、s2、通过智能相机设备获取待标注目标视频，并将待标注目标数据接入标注训练模型中进行自动标注，由此获得自动标注内容；

61、s3、通过人工标注模块对自动标注的内容进行增删改查，并通过标注复核模块对自动标注与人工标注的内容进行核对；

62、s4、s3中若核对内容不通过，则将未通过的目标视频返回至人工标注模块进行二次修正，直至目标视频核对通过；若核对内容通过，则将目标视频直接发送至标注生成模块生成最终视频；

63、s5、通过视频显示模块将原始目标视频及带有数据标注内容的目标视频进行展示。

64、与现有技术相比，本发明的有益效果是：

65、本发明通过创建视频特征识别模型，并利用标注数据样本对模型进行训练，由此得到视频训练模型；通过智能相机设备获取待标注目标视频，并将待标注目标数据接入标注训练模型中进行自动标注，由此获得自动标注内容；通过人工对自动标注的内容进行增删改查，并利用标注复核模块对标注内容进行核对；若核对内容不通过，则将未通过的目标视频返回人工进行二次修正；若核对内容通过，则将目标视频直接发送至标注生成模块生成最终视频，并通过视频显示模块将原始目标视频及带有数据标注内容的目标视频进行展示；通过上述方法，将自动标注方式与人工标注方式相结合，降低了视频标注内容的误差，使得视频标注内容具有较高的准确性；同时提高了视频标注的效率，降低了投资成本。