物品场景信息生成模型训练方法和物品场景图生成方法与流程

文档序号:37260308发布日期:2024-03-12 20:38阅读:14来源:国知局
本公开的实施例涉及计算机,具体涉及物品场景信息生成模型训练方法和物品场景图生成方法。
背景技术
::1、通过训练物品场景信息生成模型可生成准确的物品场景信息,以便得到较为准确的物品场景图。目前,物品场景信息生成模型的训练,通常采用的方式为:对sd(stablediffusion,文生图模型)基础模型进行参数训练。2、然而,采用上述方式通常存在以下技术问题:3、sd模型只根据物品文本信息生成物品场景信息,所提取的特征信息较为单一,导致通过sd模型生成的物品场景信息的准确度较低,通过准确度较低的物品场景信息生成物品场景图,会导致出现物品外延的情况。4、该
背景技术
:部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。技术实现思路1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。2、本公开的一些实施例提出了物品场景信息生成模型训练方法、物品场景图生成方法、装置、电子设备、计算机可读介质和程序产品,来解决以上
背景技术
:部分提到的技术问题。3、第一方面,本公开的一些实施例提供了一种物品场景信息生成模型训练方法,该方法包括:从所获取的训练样本集中选取训练样本,作为目标训练样本,其中,上述目标训练样本包括:目标物品主体透明图和目标物品文本信息;对于目标训练样本,执行以下训练步骤:根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,其中,初始物品场景信息生成模型包括:初始第一物品场景信息生成模型和初始第二物品场景信息生成模型;将目标物品文本信息输入至初始第二物品场景信息生成模型中,生成第二物品场景信息;生成针对第一物品场景信息和第二物品场景信息的场景差异值;响应于确定场景差异值小于预设差异值,将初始物品场景信息生成模型确定为训练后的物品场景信息生成模型。4、可选地,上述方法还包括:响应于确定场景差异值大于等于上述预设差异值,执行以下调整步骤:调整初始物品场景信息生成模型中的网络参数;将调整后的初始物品场景信息生成模型确定为初始物品场景信息生成模型;从训练样本集中去除已被选取的训练样本,得到去除后的训练样本集;从去除后的训练样本集中选取目标训练样本;再次执行上述训练步骤。5、可选地,上述训练样本集是通过以下步骤获取到的:获取初始物品场景图集和样本物品主体透明图集;对于上述样本物品主体透明图集中的每个样本物品主体透明图,执行以下生成步骤:基于上述样本物品主体透明图,从上述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集;对于上述样本物品场景图集中的每个样本物品场景图,基于上述样本物品场景图和上述样本物品主体透明图,生成训练样本;将所得到的各个训练样本确定为训练样本集。6、可选地,上述基于上述样本物品主体透明图,从上述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集,包括:对上述样本物品主体透明图进行通道二值化处理,以生成通道二值化透明图;对上述样本物品主体透明图进行特征提取处理,以生成透明图特征信息集;对于上述初始物品场景图集中的每个初始物品场景图,执行以下处理步骤:基于上述通道二值化透明图,对上述初始物品场景图进行图像提取处理,以生成初始场景提取图;对上述初始场景提取图进行特征提取处理,以生成场景图特征信息集;对上述透明图特征信息集和上述场景图特征信息集进行距离匹配处理,以生成特征距离值集;响应于确定上述特征距离值集中满足预设距离条件的各个特征距离值的数量大于预设数量阈值,将上述初始物品场景图确定为样本物品场景图;将所确定的各个样本物品场景图确定为样本物品场景图集。7、可选地,上述根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,包括:对目标物品主体透明图进行通道二值化处理,以生成目标通道二值化透明图;将目标通道二值化透明图和目标物品文本信息输入至初始第一物品场景信息生成模型中,得到第一物品场景信息。8、可选地,上述初始第一物品场景信息生成模型包括:初始第一卷积模型、初始扩散模型和初始第二卷积模型;以及上述将目标通道二值化透明图和目标物品文本信息输入至初始第一物品场景信息生成模型中,得到第一物品场景信息,包括:将目标通道二值化透明图输入至初始第一卷积模型中,得到初始第一卷积信息;将初始第一卷积信息和目标物品文本信息输入至初始扩散模型中,得到初始扩散信息;将初始扩散信息输入至初始第二卷积模型中,得到第一物品场景信息。9、可选地,上述基于上述样本物品场景图和上述样本物品主体透明图,生成训练样本,包括:基于上述样本物品场景图和上述样本物品主体透明图,确定样本物品文本信息;将上述样本物品场景图输入至预先训练的映射模型中,得到样本物品场景信息;将上述样本物品主体透明图、上述样本物品文本信息和上述样本物品场景信息确定为训练样本。10、可选地,上述生成针对第一物品场景信息和第二物品场景信息的场景差异值,包括:基于第一物品场景信息和第二物品场景信息,生成初始物品场景信息;基于预设的算子损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的算子差异值;基于预设的误差损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的误差差异值;基于算子差异值和误差差异值,确定场景差异值。11、第二方面,本公开的一些实施例提供了一种物品场景图生成方法,该方法包括:获取物品主体透明图和物品文本信息;根据上述物品主体透明图和上述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,其中,上述物品场景信息生成模型是通过如权利要求1-8中任一上述的方法生成的;将上述物品场景信息输入至预先训练的映射模型中,得到物品场景图。12、可选地,上述根据上述物品主体透明图和上述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,包括:对上述物品主体透明图进行通道二值化处理,以生成物品主体通道二值化透明图;将上述物品主体通道二值化透明图和上述物品文本信息输入至上述物品场景信息生成模型中,得到物品场景信息。13、第三方面,本公开的一些实施例提供了一种物品场景信息生成模型训练装置,装置包括:选取单元,被配置成从所获取的训练样本集中选取训练样本,作为目标训练样本,其中,上述目标训练样本包括:目标物品主体透明图和目标物品文本信息;训练单元,被配置成对于目标训练样本,执行以下训练步骤:根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,其中,初始物品场景信息生成模型包括:初始第一物品场景信息生成模型和初始第二物品场景信息生成模型;将目标物品文本信息输入至初始第二物品场景信息生成模型中,生成第二物品场景信息;生成针对第一物品场景信息和第二物品场景信息的场景差异值;响应于确定场景差异值小于预设差异值,将初始物品场景信息生成模型确定为训练后的物品场景信息生成模型。14、可选地,上述物品场景信息生成模型训练装置还包括:调整单元,被配置成响应于确定场景差异值大于等于上述预设差异值,执行以下调整步骤:调整初始物品场景信息生成模型中的网络参数;将调整后的初始物品场景信息生成模型确定为初始物品场景信息生成模型;从训练样本集中去除已被选取的训练样本,得到去除后的训练样本集;从去除后的训练样本集中选取目标训练样本;再次执行上述训练步骤。15、可选地,上述物品场景信息生成模型训练装置还包括:确定单元,被配置成获取初始物品场景图集和样本物品主体透明图集;对于上述样本物品主体透明图集中的每个样本物品主体透明图,执行以下生成步骤:基于上述样本物品主体透明图,从上述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集;对于上述样本物品场景图集中的每个样本物品场景图,基于上述样本物品场景图和上述样本物品主体透明图,生成训练样本;将所得到的各个训练样本确定为训练样本集。16、可选地,上述确定单元,被进一步配置成:对上述样本物品主体透明图进行通道二值化处理,以生成通道二值化透明图;对上述样本物品主体透明图进行特征提取处理,以生成透明图特征信息集;对于上述初始物品场景图集中的每个初始物品场景图,执行以下处理步骤:基于上述通道二值化透明图,对上述初始物品场景图进行图像提取处理,以生成初始场景提取图;对上述初始场景提取图进行特征提取处理,以生成场景图特征信息集;对上述透明图特征信息集和上述场景图特征信息集进行距离匹配处理,以生成特征距离值集;响应于确定上述特征距离值集中满足预设距离条件的各个特征距离值的数量大于预设数量阈值,将上述初始物品场景图确定为样本物品场景图;将所确定的各个样本物品场景图确定为样本物品场景图集。17、可选地,上述训练单元,被进一步配置成:对目标物品主体透明图进行通道二值化处理,以生成目标通道二值化透明图;将目标通道二值化透明图和目标物品文本信息输入至初始第一物品场景信息生成模型中,得到第一物品场景信息。18、可选地,上述初始第一物品场景信息生成模型包括:初始第一卷积模型、初始扩散模型和初始第二卷积模型。19、可选地,上述训练单元,被进一步配置成:将目标通道二值化透明图输入至初始第一卷积模型中,得到初始第一卷积信息;将初始第一卷积信息和目标物品文本信息输入至初始扩散模型中,得到初始扩散信息;将初始扩散信息输入至初始第二卷积模型中,得到第一物品场景信息。20、可选地,上述确定单元,被进一步配置成:基于上述样本物品场景图和上述样本物品主体透明图,确定样本物品文本信息;将上述样本物品场景图输入至预先训练的映射模型中,得到样本物品场景信息;将上述样本物品主体透明图、上述样本物品文本信息和上述样本物品场景信息确定为训练样本。21、可选地,上述训练单元,被进一步配置成:基于第一物品场景信息和第二物品场景信息,生成初始物品场景信息;基于预设的算子损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的算子差异值;基于预设的误差损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的误差差异值;基于算子差异值和误差差异值,确定场景差异值。22、第四方面,本公开的一些实施例提供了一种物品场景图生成装置,装置包括:获取单元,被配置成获取物品主体透明图和物品文本信息;生成单元,被配置成根据上述物品主体透明图和上述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,其中,上述物品场景信息生成模型是通过如第一方面中任一实现方式描述的方法生成的;输入单元,被配置成将上述物品场景信息输入至预先训练的映射模型中,得到物品场景图。23、可选地,上述生成单元,被进一步配置成:对上述物品主体透明图进行通道二值化处理,以生成物品主体通道二值化透明图;将上述物品主体通道二值化透明图和上述物品文本信息输入至上述物品场景信息生成模型中,得到物品场景信息。24、第五方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。25、第六方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。26、第七方面,本公开的一些实施例提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述第一方面任一实现方式所描述的方法。27、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的物品场景信息生成模型训练方法,可以减少出现物品外延的情况。具体来说,会导致出现物品外延的情况的原因在于:sd模型只根据物品文本信息生成物品场景信息,所提取的特征信息较为单一,导致通过sd模型生成的物品场景信息的准确度较低,通过准确度较低的物品场景信息生成物品场景图。基于此,本公开的一些实施例的物品场景信息生成模型训练方法,首先,从所获取的训练样本集中选取训练样本,作为目标训练样本。其中,上述目标训练样本包括:目标物品主体透明图和目标物品文本信息。由此,可以从训练样本集中选取训练样本,以便后续通过选取的训练样本对初始物品场景信息生成模型进行训练。然后,对于目标训练样本,执行以下训练步骤:第一,根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息。其中,初始物品场景信息生成模型包括:初始第一物品场景信息生成模型和初始第二物品场景信息生成模型。由此,初始第一物品场景信息生成模型除了考虑了目标物品文本信息之外,还考虑了目标物品主体透明图,可以通过初始第一物品场景信息生成模型得到较为准确的第一物品场景信息。第二,将目标物品文本信息输入至初始第二物品场景信息生成模型中,生成第二物品场景信息。由此,通过引入具有泛化能力的初始第二物品场景信息生成模型,可以确保初始物品场景信息生成模型具有初始第二物品场景信息生成模型的泛化能力。第三,生成针对第一物品场景信息和第二物品场景信息的场景差异值。由此,可以得到场景差异值,以便后续根据场景差异值确定初始物品场景信息生成模型是否为训练好的物品场景信息生成模型。第四,响应于确定场景差异值小于预设差异值,将初始物品场景信息生成模型确定为训练后的物品场景信息生成模型。由此,可以通过初始第一物品场景信息生成模型和初始第二物品场景信息生成模型,训练出较为准确且具有泛化能力的物品场景信息生成模型。从而,可以通过训练好的物品场景信息生成模型,得到较为准确的物品场景信息。进而,通过较为准确的场景信息,可以得到较为准确的物品场景图。因此,利用训练好的物品场景信息生成模型,可以减少出现物品外延的情况。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1