一种基于对抗域适应的图像智能裁剪方法及系统

文档序号:26142597发布日期:2021-08-03 14:27阅读:来源:国知局

技术特征:

1.一种基于对抗域适应的图像智能裁剪方法,其特征在于,包括以下步骤:

将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器,获取全局特征;

按照预设的裁剪方式,对所述全局特征进行重采样,获取的区域特征输入至训练完毕的美学分类器中进行美学评分,筛选出裁剪结果;

其中,特征提取器的训练过程为:将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器,且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器,特征提取器学习对齐源域和目标域样本全局特征的能力;且根据美学损失调节自身参数,学习美学分析能力;美学分类器的训练过程是根据美学损失调节自身参数;

目标域样本为目标应用场景下任一无标签图像,源域样本为另一场景下有裁剪子图和美学标签的图像;域适应损失为基于样本的域标签与域判别结果获取;域判别结果为全局特征输入域判别器获取;美学损失为结合美学分数和美学标签计算获取。

2.根据权利要求1所述的图像智能裁剪方法,其特征在于,所述训练特征提取器和美学分类器的方法,包括以下步骤:

将目标域样本和源域样本输入至特征提取器提取全局特征;

将全局特征输入至域判别器,输出的域判别结果与样本的域标签相结合,计算域适应损失;且对全局特征进行重采样获取区域特征;其中,区域特征的通道维度与裁剪子图对应;

将区域特征传输至美学分类器获取美学分数后,结合美学标签,计算美学损失;

将适应损失函数反传至域判别器进行自身参数优化;

将基于目标域样本计算的适应损失梯度反转后传输至特征提取器,且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器,特征提取器学习对齐源域和目标域样本的全局特征的能力;

同时将美学损失反传至美学分类器和特征提取器进行自身参数优化。

3.根据权利要求1所述的图像智能裁剪方法,其特征在于,获取美学分数的方法为:

将区域特征传输至若干美学分类器,分别获取美学评分;

将美学评分的均值作为美学分数;

或将区域特征传输至单个美学分类器,获取美学分数。

4.根据权利要求1或2所述的图像智能裁剪方法,其特征在于,当美学分类器存在多个时,基于各个美学分类器获取的美学评分,计算各美学分类器间的一致性损失;

且基于各美学分类器的参数,获取各美学分类器间的权重损失;

利用一致性损失、权重损失和美学损失构建美学相关损失函数,反传至美学分类器和特征提取器进行自身参数优化。

5.根据权利要求1所述的图像智能裁剪方法,其特征在于,所述域适应损失为:

ld=-(y'logy+(1-y')log(1-y))

其中,y'为当前样本i对应的域标签,当当前样本i来自源域时,y'=0;当当前样本i来自目标域时,y'=1;y为域判别器的输出结果,经过softmax归一化后数值介于0~1之间。

6.根据权利要求4所述的图像智能裁剪方法,其特征在于,所述美学损失为:

其中,sc为裁剪子图的美学标签序列;p代表归一化后的美学分数序列;i为裁剪方式编号;n为裁剪方式的总数;xdis为美学评分和美学标签的误差;

所述美学分类器间的一致性损失为:

其中,美学分类器设置有两个,p1,p2为两个美学分类器预测的裁剪子图美学评分序列;

美学分类器间的权重损失为:

其中,美学分类器设置有两个,w1与w2为两个美学分类器的参数;m为美学分类器参数展开之后的长度,j为当前分类器参数位置。

7.一种基于对抗域适应的图像智能裁剪系统,其特征在于,包括对抗域适应模块、特征提取器、重采样结构和美学评分模块;

所述特征提取器一端口与所述抗域适应模块双向数据传输,且另一端口通过所述重采样结构与所述美学评分模块双向数据传输;

所述特征提取器用于提取目标域图像和源域图像的全局特征;将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器,且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器,特征提取器学习对齐源域和目标域样本的全局特征的能力;且根据美学损失调节自身参数,学习美学分析能力;

所述重采样结构用于按照预设的裁剪方式,对所述全局特征进行重采样,获取区域特征;

所述美学评分模块用于基于区域特征进行美学评分,筛选出裁剪结果;且根据美学损失调节美学评分模块中美学分类器的自身参数;

所述对抗域适应模块用于根据全局特征,判断当前样本是目标域样本或源域样本,输出域判别结果;基于域判别结果与样本的域标签计算域适应损失;将域适应损失反传至域判别器调节自身参数;且将基于目标域计算的域适应损失梯度反转传输至特征提取器,并保持基于源域样本计算的域适应损失梯度不变传输至特征提取器;

其中,所述目标域样本为目标应用场景下任一无标签图像,所述源域样本为另一场景下有裁剪子图和美学标签的图像;

其中,所述重采样结构包含两个roialign层,分别用于提取裁剪区域的前景特征和背景特征,前景特征和背景特征将按维度叠加生成区域特征。

8.根据权利要求7所述的图像智能裁剪系统,其特征在于,所述对抗域适应模块包括自适应梯度反转层、域判别器和判别计算单元;

所述域判别器用于根据全局特征,判断当前样本是目标域样本或源域样本,输出域判别结果;且根据域适应损失调节自身参数;

所述判别计算单元用于基于域判别结果与样本的域标签计算域适应损失;将域适应损失反传至域判别器和自适应梯度反转层;

所述自适应梯度反转层用于将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器,且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器。

9.根据权利要求7或8所述的图像智能裁剪系统,其特征在于,所述美学评分模块包括美学分类器和美学计算单元;

若存在一个美学分类器,则美学分类器与重采样结构相连;若存在多个美学分类器,则多个美学分类器并联后,一端与重采样结构相连;其另一端与美学计算单元相连;

美学分类器用于根据区域特征进行美学评分;

美学计算单元用于计算美学评分的均值,输出美学分数;基于各个美学分类器获取的美学评分,计算各美学分类器间的一致性损失;且基于各美学分类器的参数,获取各美学分类器间的权重损失;利用一致性损失、权重损失和美学损失构建美学相关损失函数,反传至美学分类器和特征提取器进行自身参数优化。

10.根据权利要求9所述的图像智能裁剪系统,其特征在于,所述美学损失为:

其中,sc为裁剪子图的美学标签序列;p代表归一化后的美学分数序列;i为裁剪方式编号;n为裁剪方式的总数;xdis为美学评分和美学标签的误差;

所述美学分类器间的一致性损失为:

其中,美学分类器设置有两个,p1,p2为两个美学分类器预测的裁剪子图美学评分序列;

美学分类器间的权重损失为:

其中,美学分类器设置有两个,w1与w2为两个美学分类器的参数;m为分类器参数展开之后的长度,j为当前分类器参数位置。


技术总结
本发明提供了一种基于对抗域适应的图像智能裁剪方法及系统,属于计算机视觉领域,方法具体为:将目标应用场景下待裁剪的目标域图像输入至训练后的特征提取器,获取全局特征;按照预设的裁剪方式,对全局特征进行重采样;区域特征输入至美学分类器进行美学评分,筛选裁剪结果;特征提取器的训练过程为:将基于目标域样本计算的域适应损失梯度反转后传输至特征提取器,且保持基于源域样本计算的域适应损失梯度不变传输至特征提取器,特征提取器学习对齐源域和目标域样本全局特征的能力;并根据美学损失调节自身参数,学习美学分析能力;美学分类器的训练是根据美学损失调节自身参数。本发明解决了现有智能裁剪方法在跨域测试时性能显著下降的问题。

技术研发人员:桑农;王皓文
受保护的技术使用者:华中科技大学
技术研发日:2021.04.28
技术公布日:2021.08.03
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1