基于信息密度的快速视频图像分割标注方法

1.本发明属于视频图像分割标注技术领域，具体涉及一种基于信息密度的快速视频图像分割标注方法。


背景技术：

2.在深度学习的图像分割领域中，为保证分割精度，需要大量的训练数据对模型进行训练。但是，已公开的数据集在特定研究领域无法达到预期的效果，因此，对自身数据集进行标注是一个必须的过程，而目前对图像分割数据集的标注是一项非常耗时耗力的过程。
3.现存的对象分割标注工具，没有对视频对象的标注进行优化，对视频的标注处理仍旧停留在将视频分割为一系列连续图像，然后对每一帧进行标注。但是，在视频中对象没有进行频繁出现或消失时，上一帧已标注图像中的绝大部分标注都能对应到接下来多帧的具体位置，只需要修改少量差异部分即可完成对后续帧的标注。如完全按照每一帧的图像进行从头分割标注，将是一个耗时耗力，效率低下的过程。


技术实现要素：

4.本发明的目的是针对现有技术存在的问题，提供一种基于信息密度的快速视频图像分割标注方法，根据当前视频的信息密度的丰富程度确定生成的标注文件数量，大幅度降低了标注工作量，同时保证了图像标注的准确性。
5.为实现上述目的，本发明采用的技术方案是：
6.一种基于信息密度的快速视频图像分割标注方法，包括以下步骤：
7.s1，将采集的视频数据分割为若干帧单独的图像数据；
8.s2，手动标注第一帧图像；
9.s3，根据标注文件自动生成算法，自动生成后续n帧图像的标注文件；
10.s4，选取自动生成的最后一帧图像的标注文件，手动修改标注与事实的差异化部分，将修改后的图像作为新的手动标注图像；
11.s5，重复执行步骤s3、s4，直至完成所有帧图像的标注。
12.具体地，步骤s3中，所述标注文件自动生成算法的执行流程为：
13.s301，设定信息密度参数和标注目录参数；
14.s302，确定工作目录；
15.s303，生成标注文件。
16.进一步地，步骤s301中，
17.设定信息密度参数包括：根据信息密度设定copy_file_nums值为需要连续标注的图像帧；视频中关注对象的变化越频繁，信息密度越大，设定copy_file_nums值越小，即需要连续标注的图像帧数量越少；反之，需要连续标注的图像帧数量越多；
18.设定标注目录参数包括：将path路径设置为要标注的视频帧目录路径，设定cur_
dir为当前标注目录唯一起始字符串。
19.进一步地，步骤s302具体包括以下流程：
20.s3021，筛选出path路径下所有文件目录，遍历目录判断是否以cur_dir作为起始字符串；
21.s3022，将以cur_dir起始的目录作为工作目录，与path合并作为文件读取和写入路径；
22.s3023，筛选工作目录中符合条件的标注文件，建立图像哈希集合，遍历工作目录图像的同时，将访问图像的时间复杂度降低为o(1)；
23.s3024，使用临时变量，将每个目录下的json文件分割并转化为数字，并仅保存序号最大的注释，降低程序所占空间。
24.进一步地，步骤s303具体包括以下流程：
25.s3031，根据临时变量值确定最后一张图像注释位置，根据copy_file_nums值填充将要生成的文件名；
26.s3032，根据s3023中获得的图像集合，删除s3031中不存在的图像生成的文件名；
27.s3033，以json方式读入最后一张图像标注，根据最后一张图像标注，将标注数据的imagepath属性设置为注释文件名对应的图像，将标注数据的imagedata属性设置为空，以减小文件大小并降低磁盘io；
28.s3034，将s3033中修改后的标注图像数据依次复制到s3032产生的文件中。
29.具体地，步骤s3023中，所述符合条件的标注文件为工作目录中至少有一个以json结尾的标注文件用于快速标注。
30.具体地，所述视频图像分割标注方法还包括：步骤s6，完成所有帧图像的标注后，清除标注产生的冗余数据；具体包括：
31.s601，数据初始化；
32.s602，筛选需要清除冗余数据的标注文件；
33.s603，将筛选出的标注文件进行处理，以清除冗余数据。
34.进一步地，步骤s601包括：
35.s6011，指定工作目录，指定一系列标注完成目录唯一起始字符串target；
36.s6012，将target设置为哈希集合，保证读取时间复杂度为o(1)；
37.s6013，将当前目录切换为工作目录。
38.进一步地，步骤s602包括：
39.s6021，遍历并筛选当前目录下文件夹并与target产生的哈希集合作交集；
40.s6022，遍历s6021中得到的目录，筛选其中以json结尾的注释文件；
41.s6023，遍历s6022中筛选得到的注释文件，进一步筛选文件大小大于100kb的注释文件(此时imagedata不为空)。
42.进一步地，步骤s603包括：
43.s6031，依次访问s6023中筛选得到的包含原始图像的注释文件，采用临时变量记录当前文件名，将文件内容用json进行读取并将其imagedata属性置为空；
44.s6032，将修改后的注释内容写入到临时变量记录的文件中；
45.s6033，删除原始图像的注释文件，将临时变量记录的文件重命名为原始图像的注
释文件名。
46.与现有技术相比，本发明的有益效果是：(1)本发明利用视频图像的连续性特征，将视频图像的全程手动标注过程转化为半自动化标注过程，极大地降低了图像标注的工作量，同时保证了图像标注的准确性；(2)本发明通过清除标注产生的冗余数据，降低了标注文件的占用空间，提升了标注文件的读取速度和处理速度。
附图说明
47.图1为本发明一种基于信息密度的快速视频图像分割标注方法的流程示意图。
48.图2为本发明实施例中标注文件自动生成流程示意图。
49.图3为本发明实施例中清除标注产生的冗余数据的流程示意图。
50.图4为本发明实施例中手动标注的第一帧图像。
51.图5为本发明实施例中根据图4自动生成标注的第4帧图像。
52.图6为本发明实施例中在自动生成标注的第5帧图像的基础上手动修改标注后的图像。
53.图7为本发明实施例中根据图6自动生成标注的第9帧图像。
54.图8为本发明实施例中在自动生成标注的第10帧图像的基础上手动修改标注后的图像。
55.图9为本发明实施例中根据图8自动生成的第14帧图像。
具体实施方式
56.下面将结合本发明中的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动条件下所获得的所有其它实施例，都属于本发明保护的范围。
57.本实施例以圈养猪快速视频图像分割标注为例，由于圈养猪在固定视频区域内不会出现频繁出现和消失现象，因此根据信息密度的标注方案保证了视频转化为的图像帧中每一帧都对应数据标注，在提升标注数据数量的同时，大幅度降低了标注工作量。
58.如图1所示，本实施例提供了一种基于信息密度的快速视频图像分割标注方法，包括以下步骤：
59.s1，将采集的视频数据分割为若干帧单独的图像数据；
60.s2，手动标注第一帧图像；
61.s3，根据标注文件自动生成算法，自动生成后续5帧图像的标注文件；
62.s4，选取自动生成的最后一帧图像的标注文件，手动修改标注与事实的差异化部分，将修改后的图像作为新的手动标注图像；
63.s5，重复执行步骤s3、s4，直至完成所有帧图像的标注。
64.本实施例以圈养猪快速视频图像分割标注为例，如图4至9所示，图4为手动标注的第一帧图像；图5为根据图4自动生成标注的第4帧图像；图6为在自动生成标注的第5帧图像的基础上手动修改标注后的图像；图7为根据图6自动生成标注的第9帧图像；图8为在自动生成标注的第10帧图像的基础上手动修改标注后的图像；图9为根据图8自动生成的第14帧
图像。
65.从图4至9中可以看出，根据手动标注的图像自动生成标注的后续4帧图像，其自动标注与事实的差异化不是很大，通过对自动生成标注的第5帧图像进行手动修正后，可以保证后续自动生成标注的图像与事实的差异维持在一个可接受范围内，从而极大地减少了手动标注的工作，提高了标注效率。
66.具体地，如图2所示，步骤s3中，所述标注文件自动生成算法的执行流程为：
67.s301，设定信息密度参数和标注目录参数；
68.s302，确定工作目录；
69.s303，生成标注文件。
70.进一步地，步骤s301中，
71.设定信息密度参数包括：根据信息密度设定copy_file_nums值为需要连续标注的图像帧；视频中关注对象的变化越频繁，信息密度越大，设定copy_file_nums值越小，即需要连续标注的图像帧数量越少；反之，需要连续标注的图像帧数量越多；
72.设定标注目录参数包括：将path路径设置为要标注的视频帧目录路径，设定cur_dir为当前标注目录唯一起始字符串。
73.进一步地，步骤s302具体包括以下流程：
74.s3021，筛选出path路径下所有文件目录，遍历目录判断是否以cur_dir作为起始字符串；
75.s3022，将以cur_dir起始的目录作为工作目录，与path合并作为文件读取和写入路径；
76.s3023，筛选工作目录中符合条件的标注文件，建立图像哈希集合，遍历工作目录图像的同时，将访问图像的时间复杂度降低为o(1)；
77.s3024，使用临时变量，将每个目录下的json文件分割并转化为数字，并仅保存序号最大的注释，降低程序所占空间。
78.进一步地，步骤s303具体包括以下流程：
79.s3031，根据临时变量值确定最后一张图像注释位置，根据copy_file_nums值填充将要生成的文件名；
80.s3032，根据s3023中获得的图像集合，删除s3031中不存在的图像生成的文件名；
81.s3033，以json方式读入最后一张图像标注，根据最后一张图像标注，将标注数据的imagepath属性设置为注释文件名对应的图像，将标注数据的imagedata属性设置为空，以减小文件大小并降低磁盘io；
82.s3034，将s3033中修改后的标注图像数据依次复制到s3032产生的文件中。
83.具体地，步骤s3023中，所述符合条件的标注文件为工作目录中至少有一个以json结尾的标注文件用于快速标注。
84.具体地，如图3所示，所述视频图像分割标注方法还包括：步骤s6，完成所有帧图像的标注后，清除标注产生的冗余数据；具体包括：
85.s601，数据初始化；
86.s602，筛选需要清除冗余数据的标注文件；
87.s603，将筛选出的标注文件进行处理，以清除冗余数据。
88.进一步地，步骤s601包括：
89.s6011，指定工作目录，指定一系列标注完成目录唯一起始字符串target；
90.s6012，将target设置为哈希集合，保证读取时间复杂度为o(1)；
91.s6013，将当前目录切换为工作目录。
92.进一步地，步骤s602包括：
93.s6021，遍历并筛选当前目录下文件夹并与target产生的哈希集合作交集；
94.s6022，遍历s6021中得到的目录，筛选其中以json结尾的注释文件；
95.s6023，遍历s6022中筛选得到的注释文件，进一步筛选文件大小大于100kb的注释文件(此时imagedata不为空)。
96.进一步地，步骤s603包括：
97.s6031，依次访问s6023中筛选得到的包含原始图像的注释文件，采用临时变量记录当前文件名，将文件内容用json进行读取并将其imagedata属性置为空；
98.s6032，将修改后的注释内容写入到临时变量记录的文件中；
99.s6033，删除原始图像的注释文件，将临时变量记录的文件重命名为原始图像的注释文件名。
100.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
101.本发明是参照根据本发明实施例的方法、平台(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
102.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
103.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
104.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。在一个典型的配置中，计算机包括一个或多个处
理器(cpu)、输入/输出接口、网络接口和内存。
105.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
106.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
107.在本说明书的描述中，参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
108.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。