面向生成式模型图像编辑的图像篡改检测方法及系统

文档序号:37287727发布日期:2024-03-13 20:36阅读:12来源:国知局
本发明属于图像篡改检测,特别是涉及一种面向生成式模型图像编辑的图像篡改检测方法及系统。
背景技术
::1、图像编辑技术提供了创建丰富数字图像的更大可能性。编辑者可以以现有图像为基础,根据其意图修改原始内容,以实现各种目的和艺术表达。传统的图像编辑方法主要基于一系列复杂操作,包括裁剪、移动和粘贴、模糊、滤波等。这些操作需要专业的编辑软件和经验丰富的专家,才能实现精确控制和期望的结果。2、生成模型为图像编辑提供了一种新的方法,实现了端到端的图像操作,无需额外的复杂操作。在早期阶段,生成模型,尤其是以对抗生成网络为代表,具有有限的表示能力。大多数相关的图像编辑工作集中在特定领域,如面部区域,通过特定的控制机制实现精确的属性编辑。然而,在无约束和一般情况下,以前的生成编辑方法在实现期望的结果方面面临挑战,因此它们尚未完全取代由复杂操作序列驱动的编辑技术。扩散模型的出现确实改变了这一格局,使生成图像编辑在一般情况下更加有效和富有创造性。编辑者可以使用更直观和用户友好的引导,如自然语言提示或目标图像示例,实现端到端图像编辑的精确控制。在今天,我们可以说:“眼见未必为实。”3、扩散模型的广泛应用以及这些生成式编辑技术的普及标志着生成式人工智能革命的开始。尽管这一发展更好地满足了日常生活中的图像编辑需求,但它对媒体传播的图像内容的真实性和安全性构成了严重威胁。因此,检测和定位这种类型的编辑和篡改变得更加关键。然而,目前存在两个主要的瓶颈需要解决:1)训练数据:大多数篡改检测数据集主要是通过手动或自动操作序列创建的,一些数据集考虑了基于生成的篡改,但它们通常使用有限种类的生成模型,而编辑目的主要集中在删除方面。2)检测方法:现有的大多数检测方法侧重于手动操作序列留下的缺陷和噪声模式的改变,当检测基于生成的篡改时,这种方法会遇到挑战,因为生成式编辑方法实现了端到端的编辑并产生更逼真的效果,在编辑过程中留下的痕迹更微弱。技术实现思路1、针对上述问题,本发明提出一种面向生成式模型图像编辑的图像篡改检测方法,包括:对真实图像进行语义分割,获取该真实图像的至少一个对象;基于对该对象的编辑目标,使用生成式模型生成编辑图像;以该真实图像和该编辑图像为训练集对检测模型进行训练;通过该检测模型对目标图像进行图像篡改检测。2、本发明所述的图像篡改检测方法,其中对该检测模型进行训练的步骤包括:将输入图像x分割为r个图像块,使用快速傅里叶变换将该图像块完成从空域到频域的转换,并提取该图像块的频域特征序列;输入图像x包括该真实图像p和该编辑图像p';基于该频域特征序列,获取p'的编辑区域的局部特征块集合se,以及对应p的真实区域的局部特征块集合sa,以获取真实区域类别中心h,3、4、通过将h拉向真实图像原型p,并将se与h推远,引导该检测模型学习真实图像特征。5、本发明所述的图像篡改检测方法,其中以相应交叉对比损失函数作为该检测模型损失函数,6、7、本发明所述的图像篡改检测方法,生成该编辑图像的步骤包括:对该真实图像p进行语义分割,获得至少一个对象,随机选取一个对象,将该对象的对象区域标记为物体掩码,将该对象周围的矩形背景区域,标记为随机掩码;基于该物体掩码的原始内容,生成该编辑目标;基于该编辑目标使用生成式模型对该对象进行端到端的图像编辑,生成该编辑图像。8、本发明所述的图像篡改检测方法,使用chatgpt作为生成该编辑目的的生成器。9、本发明所述的图像篡改检测方法,其中该生成式模型包括:mat模型、lama模型、stable diffusion模型、controlnet模型或paint by example模型。10、本发明还提出一种面向生成式模型图像编辑的图像篡改检测系统,包括:数据生成模块,用于对真实图像进行语义分割,获取该真实图像的至少一个对象;基于对该对象的编辑目标,使用生成式模型生成编辑图像;模型训练模块,用于以该真实图像和该编辑图像为训练集对检测模型进行训练;图像检测模块,用于通过该检测模型对目标图像进行图像篡改检测。11、本发明所述的图像篡改检测系统,其中该模型训练模块包括:特征提取模块,用于将输入图像x分割为r个图像块,使用快速傅里叶变换将该图像块完成从空域到频域的转换,并提取该图像块的频域特征序列{si};输入图像x包括该真实图像p和该编辑图像p';原图参考模块,用于通过参考p,检测p'的编辑位置,获取真实区域类别中心h,训练该检测模型;其中,基于该频域特征序列{si},包括获取p'的编辑区域的局部特征块集合se,以及对应p的真实区域的局部特征块集合sa,以获取真实区域类别中心h,12、13、通过将h拉向真实图像原型p,并将se与h推远,引导该检测模型学习真实图像特征。14、以相应交叉对比损失函数作为该检测模型损失函数,15、16、本发明还提出一种计算机可读存储介质,存储有计算机可执行指令,其特征在于,当该计算机可执行指令被执行时,实现如前所述的面向生成式模型图像编辑的图像篡改检测方法。17、本发明还提出一种数据处理装置,包括如前所述的计算机可读存储介质,当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时,实现面向生成式模型图像编辑的图像篡改检测。技术特征:1.一种面向生成式模型图像编辑的图像篡改检测方法,其特征在于,包括:2.如权利要求1所述的图像篡改检测方法,其特征在于,对该检测模型进行训练的步骤包括:3.如权利要求2所述的图像篡改检测方法,其特征在于,以相应交叉对比损失函数作为该检测模型损失函数,4.如权利要求1所述的图像篡改检测方法,其特征在于,生成该编辑图像的步骤包括:5.如权利要求4所述的图像篡改检测方法,其特征在于,使用chatgpt作为生成该编辑目的的生成器。6.如权利要求4所述的图像篡改检测方法,其特征在于,该生成式模型包括:mat模型、lama模型、stable diffusion模型、controlnet模型或paint by example模型。7.一种面向生成式模型图像编辑的图像篡改检测系统,其特征在于,包括:8.如权利要求7所述的图像篡改检测系统,其特征在于,该模型训练模块包括:9.一种计算机可读存储介质,存储有计算机可执行指令,其特征在于,当该计算机可执行指令被执行时,实现如权利要求1~6任一项所述的面向生成式模型图像编辑的图像篡改检测方法。10.一种数据处理装置,包括如权利要求9所述的计算机可读存储介质,当该数据处理装置的处理器调取并执行该计算机可读存储介质中的计算机可执行指令时,实现面向生成式模型图像编辑的图像篡改检测。技术总结本发明提出一种面向生成式模型图像编辑的图像篡改检测方法,包括:对真实图像进行语义分割,获取该真实图像的至少一个对象;基于对该对象的编辑目标,使用生成式模型生成编辑图像;以该真实图像和该编辑图像为训练集对检测模型进行训练;通过该检测模型对目标图像进行图像篡改检测。本发明还提出一种面向生成式模型图像编辑的图像篡改检测系统,以及一种用于实现面向生成式模型图像编辑的图像篡改检测的数据处理装置。技术研发人员:曹娟,孙志豪,房海鹏,汪旦丁,唐胜受保护的技术使用者:中国科学院计算技术研究所技术研发日:技术公布日:2024/3/12
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1