一种半监督视频目标分割方法及装置

文档序号:37928876发布日期:2024-05-11 00:07阅读:来源:国知局

技术特征:

1.一种半监督视频目标分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述基于历史目标掩码在历史帧特征中嵌入目标信息是将历史帧掩码转为onehot编码的形式后进行卷积操作得到与历史帧特征相同维度的嵌入向量,再融合所述嵌入向量与所述历史帧特征得到特征,,为历史帧特征,为嵌入向量。

3.根据权利要求1所述的半监督视频目标分割方法,其特征在于,提取只包含目标区域的历史帧特征具体是:

4.根据权利要求3所述的半监督视频目标分割方法,其特征在于,()和()由下式确定

5.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述自适应记忆池基于自注意力机制挑选过时的历史帧特征并进行压缩是在自适应记忆池中特征数量达到设定阈值时,将前scan个候选特征压缩为p个特征,候选特征包括候选键特征为和候选值特征为,c为特征通道数;

6.根据权利要求1所述的半监督视频目标分割方法,其特征在于,所述局部匹配时将所述自适应记忆池中的只包含目标区域的历史帧特征拼接后与当前帧特征匹配通过下式进行:

7.一种半监督视频目标分割装置,其特征在于,包括:

8.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述身份识别模块包括编码卷积模块和融合模块,所述编码卷积模块将历史帧掩码转为onehot编码的形式后进行卷积操作得到与历史帧特征相同维度的嵌入向量,所述融合模块用于融合所述嵌入向量与所述历史帧特征得到特征,,为历史帧特征,为嵌入向量。

9.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述局部提取模块包括矩形框提取模块、注意力模块以及特征生成模块,针对第i个历史帧的历史目标掩码中的任意一个位置(x,y),都有(x,y)∈[0,1,2...n],其中0代表背景,1~n分别表示视频中含有的n个目标;

10.根据权利要求9所述的半监督视频目标分割装置,其特征在于,()和()由下式确定

11.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述特征压缩模块包括相似度计算模块、求和模块和特征提取聚合模块,在自适应记忆池中特征数量达到设定阈值时,将前scan个候选特征压缩为p个特征,候选特征包括候选键特征为和候选值特征为,c为特征通道数;

12.根据权利要求7所述的半监督视频目标分割装置,其特征在于,所述局部匹配模块将所述自适应记忆池中的只包含目标区域的历史帧特征拼接后与当前帧特征匹配通过下式进行:


技术总结
本发明公开了一种半监督视频目标分割方法,由编码器将当前帧编码为当前帧特征,再由解码器将经过局部匹配后的当前帧特征解码为目标掩码;由编码器将历史帧编码为历史帧特征,然后基于历史目标掩码在历史帧特征中嵌入目标信息,再提取只包含目标区域的历史帧特征存入自适应记忆池,局部匹配是将自适应记忆池中的只包含目标区域的历史帧特征拼接后与当前帧特征匹配;自适应记忆池基于自注意力机制挑选过时的历史帧特征并进行压缩以控制自适应记忆池中历史帧特征的数量范围。本发明还公开了基于该方法的半监督视频目标分割装置。本发明能够提升在长视频中的分割速度与精度。

技术研发人员:钟珊,李国强,闫海英,毕安琪,沈健,严卫
受保护的技术使用者:常熟理工学院
技术研发日:
技术公布日:2024/5/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1