1.一种半监督视频目标分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述基于历史目标掩码在历史帧特征中嵌入目标信息是将历史帧掩码转为onehot编码的形式后进行卷积操作得到与历史帧特征相同维度的嵌入向量,再融合所述嵌入向量与所述历史帧特征得到特征,,为历史帧特征,为嵌入向量。
3.根据权利要求1所述的半监督视频目标分割方法,其特征在于,提取只包含目标区域的历史帧特征具体是:
4.根据权利要求3所述的半监督视频目标分割方法,其特征在于,()和()由下式确定
5.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述自适应记忆池基于自注意力机制挑选过时的历史帧特征并进行压缩是在自适应记忆池中特征数量达到设定阈值时,将前scan个候选特征压缩为p个特征,候选特征包括候选键特征为和候选值特征为,c为特征通道数;
6.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述局部匹配时将所述自适应记忆池中的只包含目标区域的历史帧特征拼接后与当前帧特征匹配通过下式进行:
7.一种半监督视频目标分割装置,其特征在于,包括:
8.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述身份识别模块包括编码卷积模块和融合模块,所述编码卷积模块将历史帧掩码转为onehot编码的形式后进行卷积操作得到与历史帧特征相同维度的嵌入向量,所述融合模块用于融合所述嵌入向量与所述历史帧特征得到特征,,为历史帧特征,为嵌入向量。
9.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述局部提取模块包括矩形框提取模块、注意力模块以及特征生成模块,针对第i个历史帧的历史目标掩码中的任意一个位置(x,y),都有(x,y)∈[0,1,2...n],其中0代表背景,1~n分别表示视频中含有的n个目标;
10.根据权利要求9所述的半监督视频目标分割装置,其特征在于,()和()由下式确定
11.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述特征压缩模块包括相似度计算模块、求和模块和特征提取聚合模块,在自适应记忆池中特征数量达到设定阈值时,将前scan个候选特征压缩为p个特征,候选特征包括候选键特征为和候选值特征为,c为特征通道数;
12.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述局部匹配模块将所述自适应记忆池中的只包含目标区域的历史帧特征拼接后与当前帧特征匹配通过下式进行: