本技术涉及计算机领域,具体涉及目标区域识别方法、装置、终端和存储介质。
背景技术:
1、近年来,随着计算机技术和网络技术的发展,计算机视觉得到广泛应用。比如,采用计算机视觉中的语义分割可以将视觉输入分为不同的语义可解释类别,语义的可解释性即分类类别在真实世界中是有意义的。目前,语义分割已经广泛应用到自动驾驶、机器人以及图像搜索引擎等许多领域中。
2、然而,目前通常采用视频物体分割算法(video object segmentation,vos),识别视频帧中目标对象所处的区域时,而vos算法需要对首帧中目标对象所处的区域进行人工标定,使在识别首帧之后的其他帧时,可以追踪到目标对象。此外,由于目标对象在不同帧中有不同的呈现,vos算法在对其他帧中目标对象所处的区域进行识别时,需要耗费大量的计算来确定其他帧中是否有目标对象所处的区域,导致视频帧中目标对象的识别效率较低。
技术实现思路
1、本技术实施例提供目标区域识别方法、装置、终端和存储介质,可以提升识别视频帧中目标对象的效率。
2、本技术实施例提供一种目标区域识别方法,包括:
3、获取视频流,视频流包括当前帧;
4、对当前帧进行特征提取,得到当前帧的当前特征;
5、获取前一区域,前一区域包括预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;
6、根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征目标对象在当前帧中所处的区域。
7、本技术实施例还提供一种目标区域识别装置,包括:
8、第一获取单元,用于获取视频流,视频流包括当前帧;
9、特征提取单元,用于对当前帧进行特征提取,得到当前帧的当前特征;
10、第二获取单元,用于获取前一区域,前一区域为预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;
11、目标识别单元,用于根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征目标对象在当前帧中所处的区域。
12、在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
13、对前一区域进行特征提取,得到前一区域的前一区域特征;
14、对前一区域特征和当前特征进行特征融合,得到融合特征;
15、根据融合特征,对当前帧进行目标识别,得到当前帧的目标区域。
16、在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
17、若当前帧为视频流的首帧,根据预设区域和当前特征,对首帧进行目标识别,得到首帧的目标区域。
18、在一些实施例中,根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,包括:
19、若当前帧为视频流的其他帧,根据前一帧区域和当前特征,对其他帧进行目标识别,得到其他帧的目标区域,其他帧为视频流中首帧之后的帧。
20、在一些实施例中,目标区域包括第一子区域和第二子区域,第一子区域为当前帧中目标对象所处的区域,第二子区域为当前帧中其他对象所处的区域,其他对象为目标对象以外的对象。
21、在一些实施例中,在获取视频流之前,还包括:
22、获取多个训练视频流,以及获取目标区域识别网络,目标区域识别网络用于识别目标对象在帧中所处的区域,训练视频流中包括训练帧,训练帧的标注为训练帧的真实目标区域,真实目标区域包括第一真实子区域和第二真实子区域,第一真实子区域为训练帧中目标对象所处的区域,第二真实子区域为训练帧中其他对象所处的区域,其他对象为目标对象以外的对象;
23、利用多个训练视频流对目标区域识别网络进行训练,直至目标区域识别网络收敛,得到训练完成的目标区域识别网络;
24、采用训练完成的目标区域识别网络对以下方法进行处理:
25、获取视频流,视频流包括当前帧;
26、对当前帧进行特征提取,得到当前帧对应的当前特征;
27、获取前一区域;
28、根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域。
29、在一些实施例中,利用多个训练视频流对目标区域识别网络进行训练,包括:
30、按照预设概率将训练首帧的真实目标区域中的第一真实子区域修改为第二真实子区域,得到新真实目标区域,训练首帧为训练视频流的首帧;
31、获取当前训练帧;
32、对当前训练帧进行特征提取,得到当前训练帧的当前训练特征;
33、获取前一训练区域,前一训练区域包括新真实目标区域或前一训练帧区域,前一训练帧区域为目标对象在当前训练帧的前一训练帧中所处的区域;
34、根据前一训练区域和当前特征,对当前训练帧进行目标识别,得到当前帧的预测目标区域,预测目标区域表征目标对象在当前训练帧中所处的区域;
35、采用当前训练帧的真实目标区域和当前训练帧的预测目标区域,确定目标区域识别网络的损失参数,并基于损失参数训练目标区域识别网络。
36、在一些实施例中,在所述获取多个训练视频流之前,还包括:
37、对训练帧的每个像素进行区域分类,得到每个像素的区域类型,区域类型包括第一区域类型和第二区域类型,第一区域类型表征同一类别的目标对象在训练帧中所处的像素,第二区域类型表征其他对象在训练帧中所处的像素,其他对象为目标对象以外的对象;
38、根据每个像素的区域类型,得到每个像素对应的类型区域;
39、根据训练帧的所有像素对应的类型区域,得到训练帧的真实目标区域。
40、本技术实施例还提供一种终端,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本技术实施例所提供的任一种目标区域识别方法中的步骤。
41、本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本技术实施例所提供的任一种目标区域识别方法中的步骤。
42、本技术实施例可以获取视频流,视频流包括当前帧;对当前帧进行特征提取,得到当前帧的当前特征;获取前一区域,前一区域包括预设区域或前一帧区域,前一帧区域为目标对象在当前帧的前一帧中所处的区域;根据前一区域和当前特征,对当前帧进行目标识别,得到当前帧的目标区域,目标区域表征所述目标对象在所述当前帧中所处的区域。
43、在本技术中,可以根据前一区域和当前特征识别出当前帧中目标对象所处的区域,当前帧可以是视频流中的任意一帧,如此,本技术中视频流的首帧并不需要依靠人工标注来确定目标对象所处的区域,降低了对视频帧进行目标识别的难度,同时,本技术中可以识别出视频流的每帧中的目标对象,从而本技术并不需要耗费大量的计算追踪目标对象在视频帧中所处的区域,提升了识别视频帧中目标对象的效率。