一种生成三维虚拟模型的方法及装置与流程

文档序号:29134118发布日期:2022-03-05 01:42阅读:61来源:国知局
1.本技术涉及计算机
技术领域
:,特别是涉及一种生成三维虚拟模型的方法及装置。
背景技术
::2.在家居家装的场景中,通常会有根据包括家具对象的二维图像生成家具对象的三维虚拟模型的需求,如此,可以供广大买家根据家具对象的三维虚拟模型来全面了解家具,以提高家具的推广效果等。3.在用户(例如卖家等)需要得到家具对象的三维虚拟模型的情况下,用户可以手动拍摄包括家具对象的图像,然后向电子设备输入拍摄的图像,并控制电子设备根据图像生成家具对象的三维虚拟模型。4.为了使得生成的家具对象的三维虚拟模型与实际的家具对象匹配,则需要获取图像中的家具对象中的各个部件对象的图像。技术实现要素:5.本技术示出了一种生成三维虚拟模型的方法及装置。6.第一方面,本技术示出了一种生成三维虚拟模型的方法,所述方法包括:在需要生成主体对象的三维虚拟模型的情况下,获取目标图像,所述目标图像中包括所述主体对象,所述主体对象中包括至少一个部件对象;根据所述目标图像获取所述主体对象的主体图像;根据所述主体图像获取所述部件对象的部件图像;根据所述部件图像生成所述主体对象的三维虚拟模型。7.第二方面,本技术示出了一种生成三维虚拟模型的方法,所述方法包括:获取拍摄的目标图像,所述目标图像中包括所述家具对象,所述家具对象中包括至少一个部件对象;根据所述目标图像获取所述家具对象的家具图像;根据所述家具图像获取所述部件对象的部件图像;根据所述部件图像生成所述家具对象的三维虚拟模型。8.第三方面,本技术示出了一种生成三维虚拟模型的装置,所述装置包括:第一获取模块,用于在需要生成主体对象的三维虚拟模型的情况下,获取目标图像,所述目标图像中包括所述主体对象,所述主体对象中包括至少一个部件对象;第二获取模块,用于根据所述目标图像获取所述主体对象的主体图像;第三获取模块,用于根据所述主体图像获取所述部件对象的部件图像;第一生成模块,用于根据所述部件图像生成所述主体对象的三维虚拟模型。9.第四方面,本技术示出了一种生成三维虚拟模型的装置,所述装置包括:第四获取模块,用于获取拍摄的目标图像,所述目标图像中包括所述家具对象,所述家具对象中包括至少一个部件对象;第五获取模块,用于根据所述目标图像获取所述家具对象的家具图像;第六获取模块,用于根据所述家具图像获取所述部件对象的部件图像;第二生成模块,用于根据所述部件图像生成所述家具对象的三维虚拟模型。10.第五方面,本技术示出了一种电子设备,所述电子设备包括:处理器;用于存储处理器可执行指令的存储器;其中,所述处理器被配置为执行如前述的任一方面所示的方法。11.第六方面,本技术示出了一种非临时性计算机可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。12.第七方面,本技术示出了一种计算机程序产品,当所述计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行如前述的任一方面所示的方法。13.与现有技术相比,本技术包括以下优点:14.在本技术中,在需要生成主体对象的三维虚拟模型的情况下,如果获取到包括主体对象的目标图像且主体对象中包括至少一个部件对象,则可以先根据目标图像获取主体对象的主体图像,然后根据主体对象的主体图像获取部件对象的部件图像,再根据部件图像生成主体对象的三维虚拟模型。如此,部件对象的部件图像是直接从主体对象的主体图像中获取到的,而不是直接从目标图像中获取到的。15.主体图像中仅包括主体对象的内容,而不包括目标图像中的除主体对象以外的内容,如此,没有其他复杂内容对“根据主体对象的主体图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取主体对象的部件对象的部件图像,通过从主体对象的主体图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的主体对象的三维虚拟模型的质量,例如,可以提高生成的主体对象的三维虚拟模型与实际的主体对象之间的匹配度。16.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选主体对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的主体对象的三维虚拟模型的效率以及质量(例如准确率等)等。附图说明17.图1是本技术的一种场景示意图。18.图2是本技术的一种生成三维虚拟模型的方法的步骤流程图。19.图3是本技术的一种获取主体图像的方法的步骤流程图。20.图4是本技术的一种获取部件图像的方法的步骤流程图。21.图5是本技术的一种生成三维虚拟模型的方法的步骤流程图。22.图6是本技术的一种生成三维虚拟模型的装置的结构框图。23.图7是本技术的一种生成三维虚拟模型的装置的结构框图。24.图8是本技术的一种装置的结构框图。具体实施方式25.为使本技术的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本技术作进一步详细的说明。26.参照图1,以一个示意图对本技术的方案进行概括说明。本技术的方案可以应用于电子设备中,电子设备可以包括终端或者服务器等。终端可以包括手机、平板电脑、笔记本电脑或者台式电脑等。27.其中,在需要生成主体对象的三维虚拟模型的情况下,可以将包括主体对象的目标图像输入轻量化特征提取器中,以使用轻量化特征提取器提取目标图像的目标图像特征,然后将目标图像的目标图像特征输入主体掩膜信息获取模型中,以使用主体掩膜信息获取模型获取目标图像中的主体对象的主体掩膜信息,然后根据目标图像中的主体对象的主体掩膜信息在目标图像中截取主体对象的主体图像。28.以及,可以将主体对象的主体图像输入轻量化特征提取器中,以使用轻量化特征提取器提取主体图像的主体图像特征,然后将主体图像的主体图像特征输入部件掩膜信息获取模型中,以使用部件掩膜信息获取模型获取主体图像中的部件对象的部件掩膜信息,然后根据部件掩膜信息在主体图像中截取部件对象的部件图像,之后再根据部件对象的部件图像生成主体对象的三维虚拟模型。29.可见,部件对象的部件图像是直接从主体对象的主体图像中获取到的,而不是直接从目标图像中获取到的。30.主体图像中仅包括主体对象的内容,而不包括目标图像中的除主体对象以外的内容,如此,没有其他复杂内容对“根据主体对象的主体图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取主体对象的部件对象的部件图像,通过从主体对象的主体图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的主体对象的三维虚拟模型的质量,例如,可以提高生成的主体对象的三维虚拟模型与实际的主体对象之间的匹配度。31.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选主体对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的主体对象的三维虚拟模型的效率以及质量(例如准确率等)等。32.参照图2,示出了本技术的一种生成三维虚拟模型的方法的步骤流程图,具体可以包括如下步骤:33.在步骤s101中,获取目标图像,目标图像中包括主体对象,主体对象中包括至少一个部件对象。34.在本技术中,目标图像可以是二维图像等,例如,二维的rgb(redgreenblue,红绿蓝)图像等,还可以是png(portablenetworkgraphics,便携式网络图像)或者gif(graphicsinterchangeformat,图像互换格式)图像等。35.目标图像中包括至少一个主体对象,主体对象可以为家具对象等,例如,凳子对象、桌子对象、床头柜对象、床对象、电视柜对象以及衣柜对象等。当然,也可以为其他类别的对象等,例如,在建筑的三维重建场景下,主体对象可以是建筑对象,或者,在人物的三维重建场景下,主体对象可以是人物对象等,本技术对此不加以限定。36.每一个主体对象中包括至少一个部件对象,在一种可能的情况下,主体对象中还可能包括两个以上的部件对象,例如,在主体对象包括衣柜对象的情况下,衣柜对象包括五金件对象、柜门对象、侧面板对象以及底座对象等不同种类的部件对象等。37.在一个可能的情形中,用户可能需要得到主体对象的三维虚拟模型,以用于对主体对象的展示或者宣传等。38.如果用户需要得到主体对象的三维虚拟模型,则用户可以拍摄包括主体对象的目标图像或者从网络上下载包括主体对象的目标图像等。然后用户可以将包括主体对象的目标图像输入电子设备中,以使电子设备根据目标图像生成主体对象的三维虚拟模型,例如,根据目标图像获取主体对象的纹理材质对应的纹理贴图,以及,生成主体对象的三维白模型,然后将主体对象的纹理材质对应的纹理贴图映射在三维白模型上,以得到主体对象的三维虚拟模型。39.其中,市面上不同的主体对象中的不同的部件对象的外表面的纹理材质不尽相同,纹理材质可以至少通过纹理的样式以及纹理的颜色体现等。40.因此,为了使得生成的主体对象的三维虚拟模型的外表面呈现的纹理材质尽可能地与主体对象中的各个部件对象的外表面实际呈现的纹理材质相同,在电子设备得到用户输入的包括主体对象的目标图像之后,电子设备在获取主体对象的纹理材质对应的纹理贴图时,需要得到目标图像中的主体对象中的部件对象的纹理材质对应的纹理贴图,之后在将主体对象的纹理材质对应的纹理贴图映射在三维白模型上时,可以将主体对象中的部件对象的纹理材质对应的纹理贴图映射在三维白模型上的部件对象所在的位置。41.为了使得电子设备能够得到目标图像中的主体对象中的部件对象的纹理材质对应的纹理贴图,可以根据目标图像获取主体对象中的部件对象的部件图像,然后根据部件图像获取部件对象的纹理材质对应的纹理贴图。42.为了得到主体对象中的部件对象的部件图像,在本技术中,电子设备可以获取目标图像,然后执行步骤s102。43.在步骤s102中,根据目标图像获取主体对象的主体图像。44.其中,可以从目标图像中截取主体对象的主体图像等,例如,可以获取目标图像中的主体对象的主体掩膜信息,然后借助主体掩膜信息在目标图像中截取主体图像,具体可以参见之后图3所示的实施例,在此不做详述。45.在步骤s103中,根据主体对象的主体图像获取部件对象的部件图像。46.其中,可以从主体对象的主体图像中截取部件对象的部件图像等,例如,可以获取主体图像中的部件对象的部件掩膜信息,然后借助部件掩膜信息在主体图像中截取部件图像,具体可以参见之后图4所示的实施例,在此不做详述。47.在步骤s104中,根据部件对象的部件图像生成主体对象的三维虚拟模型。48.在一个可选实施例中,在得到目标图像中的主体对象的主体图像中的部件对象的部件图像之后,就可以根据部件对象的部件图像生成主体对象的三维虚拟模型,例如,可以根据部件对象的部件图像获取部件对象的纹理材质的材质特征,然后根据部件对象的纹理材质的材质特征获取部件对象的纹理材质对应的纹理贴图,生成主体对象的三维白模型,然后将部件对象的纹理材质对应的纹理贴图映射在主体对象的三维白模型上的部件对象所在的位置,从而得到主体对象的三维模型,即完成对主体对象的三维建模。49.其中,在需要根据目标图像获取主体对象中的部件对象的部件图像的情况下,在一种方式中,可以直接对目标图像分析,以得到部件对象的部件图像。50.然而,通常情况下,目标图像中的包括的内容较多且背景复杂,目标图像中的除主体对象以外的内容有很多,在这种情况下,会对“对目标图像分析得到的部件对象的部件图像”的过程带来干扰,由于存在干扰,则“直接对目标图像分析得到的部件对象的部件图像”的质量(例如准确率)往往较低,例如,得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度较低等。51.在本技术中,在需要生成主体对象的三维虚拟模型的情况下,如果获取到包括主体对象的目标图像且主体对象中包括至少一个部件对象,则可以先根据目标图像获取主体对象的主体图像,然后再根据主体对象的主体图像获取部件对象的部件图像,再根据部件图像生成主体对象的三维虚拟模型。52.如此,部件对象的部件图像是直接从主体对象的主体图像中获取到的,而不是直接从目标图像中获取到的。53.主体图像中仅包括主体对象的内容,而不包括目标图像中的除主体对象以外的内容,如此,没有其他复杂内容对“根据主体对象的主体图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取主体对象的部件对象的部件图像,通过从主体对象的主体图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的主体对象的三维虚拟模型的质量,例如,可以提高生成的主体对象的三维虚拟模型与实际的主体对象之间的匹配度。54.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选主体对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的主体对象的三维虚拟模型的效率以及质量(例如准确率等)等。55.在本技术一个实施例中,参见图3,步骤s102包括:56.在步骤s201中,根据目标图像获取主体对象的主体掩膜信息。57.在本技术一个实施例中,可以使用主体掩膜信息获取模型获取主体对象的主体掩膜信息,如下给出一个具体的获取流程的示例,可以包括:58.2011、使用主体掩膜信息获取模型根据目标图像预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。59.在本技术中,为了能够得到目标图像中的主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,事先可以训练主体掩膜信息获取模型,然后基于主体掩膜信息获取模型来根据目标图像预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。60.其中,主体掩膜信息获取模型可以通过对包括“样本图像以及样本图像中的样本主体对象的标注掩膜信息”的样本数据集训练获得,如下给出一个的具体训练流程的示例,可以包括:61.11)、获取至少一个样本数据集,样本数据集中包括:样本图像以及样本图像中的样本主体对象的标注掩膜信息。62.样本数据集可以为多个,不同的样本数据集中包括的样本图像可以为不同的图像。样本数据集中的样本图像中可以包括样本主体对象,样本主体对象中包括至少一个样本部件对象,样本主体对象可包括家具对象等。63.样本图像可以包括二维的rgb图像等。64.12)、使用样本数据集对模型中的网络参数训练,直至网络参数收敛,得到主体掩膜信息获取模型。65.模型可以包括cnn(convolutionalneuralnetworks,卷积神经网络)或solov2(实例分隔)等,当然,也可以包括其他类别的模型,本技术对此不加以限定。66.在本技术一个实施例中,主体掩膜信息获取模型的网络结构可以包括:轻量化特征提取网络以及掩膜检测网络。轻量化提取网络用于获取包括主体对象的图像的图像特征。掩膜检测网络用于根据图像的图像特征获取图像中的主体对象的主体图像。主体掩膜信息获取模型的输入端包括轻量化提取网络的输入端。轻量化提取网络的输出端与掩膜检测网络的输入端连接。主体掩膜信息获取模型的输出端包括掩膜检测网络的输出端。67.在一个实施例中,轻量化特征提取网络中可以包括轻量化特征提取器,轻量化特征提取器包括:mobilenet(轻量级可用于移动设备的卷积神经网络)或shufflenet(轻量级可用于移动设备的卷积神经网络)等。68.在另一个实施例中,轻量化特征提取网络中还包括全局特征描述子。全局特征描述子用于对轻量化特征提取器获取的主体对象的图像的图像特征进行扩展,得到图像的不同尺度的扩展图像特征,可以提高最终提取的图像的图像特征的全面性以及准确性等,例如,可以至少提高提取到的关于图像中的细节的图像特征的全面性以及准确性。69.轻量化特征提取网络的输入端包括轻量化特征提取器的输入端,轻量化特征提取器的输出端与全局特征描述子的输入端连接。70.轻量化特征提取网络的输出端包括全局特征描述子的输出端。或者,轻量化特征提取网络的输出端包括全局特征描述子的输出端以及轻量化特征提取器的输出端等。71.进一步地,在本技术另一个实施例中,主体掩膜信息获取模型还包括类别检测网络。轻量化特征提取器的输出端还与类别检测网络的输入端连接。72.在一个方式中,类别检测网络的输出端还可以与掩膜检测网络的输入端连接。73.在另一个方式中,主体掩膜信息获取模型的输出端还可以包括类别检测网络的输出端。74.在本技术中,基于不同的实际需求,主体掩膜信息获取模型的网络结构可以不同,不同网络结构的主体掩膜信息获取模型之后可以应用到不同的应用场景中,也即,不同的应用场景适用的主体掩膜信息获取模型的网络结构不同。75.在训练过程中,可以在模型中输入样本图像,以使模型对样本图像处理,得到预测的样本图像中的样本主体对象的掩膜信息,之后可以借助损失函数,并基于预测的样本图像中的样本主体对象的掩膜信息以及样本图像的标注掩膜信息调整模型中的网络参数,直至模型中的网络参数收敛,从而就可以完成训练,得到的主体掩膜信息获取模型即可上线使用。76.如此,可以将目标图像输入训练得到的主体掩膜信息获取模型中,以使主体掩膜信息获取模型对目标图像处理,得到目标图像中的主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,并输出目标图像中的样本主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,电子设备可以获取主体掩膜信息获取模型输出的目标图像中的样本主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。77.在本技术一个实施例中,在使用主体掩膜信息获取模型根据目标图像预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值时,可以使用主体掩膜信息获取模型中的轻量化特征提取网络提取目标图像的目标图像特征。至少使用主体掩膜信息获取模型中的掩膜检测网络根据目标图像特征预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。78.在一个实施例中,主体掩膜信息获取模型中的轻量化特征提取网络中包括轻量化特征提取器,其可以实现快速的图像特征的提取。且轻量化特征提取器的结构简单,包括的参数量少,使得特征提取器满足轻量化要求,如此,可以减少对显存的占用,使得主体掩膜信息获取模型可以适配在多种不同性能的设备上,从而可以提高主体掩膜信息获取模型的适配性。在一个例子中,主体掩膜信息获取模型可以适配在低性能的设备上应用。79.可以将目标图像输入轻量化特征提取网络的轻量化特征提取器中,以使轻量化特征提取网络的轻量化特征提取器对目标图像处理,得到目标图像的目标图像特征,并输出目标图像的目标图像特征。80.在申请另一实施例中,轻量化特征提取网络中包括轻量化特征提取器以及全局特征描述子。81.如此,在使用主体掩膜信息获取模型中的轻量化特征提取网络提取目标图像的目标图像特征时,可以使用轻量化特征提取器提取目标图像的参考图像特征。例如,可以将目标图像输入轻量化特征提取网络的轻量化特征提取器中,以使轻量化特征提取网络的轻量化特征提取器对目标图像处理,得到目标图像的参考图像特征,并输出目标图像的参考图像特征。82.其中,参考图像特征可以以矩阵或向量的形式体现等。83.然后可以基于全局特征描述子对参考图像特征扩展,得到至少一个扩展图像特征。84.其中,在本技术中,全局特征描述子包括以下至少一者:级联的金字塔网络或者池化(pooling)网络等。85.池化网络包括以下至少一者等:最大池化网络、最小池化网络、求和池化网络以及平均池化网络等。86.在一个实施例中,在全局特征描述子为一个的情况下,可以使用这一个全局特征描述子对部件对象的参考图像特征扩展,得到一个扩展图像特征。87.在另一个实施例中,在全局特征描述子为两个以上的情况下,对于两个以上的全局特征描述子中的任意一个全局特征描述子,可以使用该全局特征描述子分别对主体图像的参考图像特征扩展,得到一个扩展图像特征。对于两个以上的全局特征描述子中的其他每一个全局特征描述子,同样执行上述操作。从而得到两个以上的扩展图像特征。88.在本实施例中,基于至少一个全局特征描述子对目标图像的参考图像特征扩展,可以实现得到目标图像的不同尺度的扩展图像特征,可以提高最终提取的目标图像的目标图像特征的全面性以及准确性等,例如,可以至少提高提取到的关于目标图像中的细节的图像特征的全面性以及准确性,为后续获取部件对象的部件图像提供稳定可靠的基础。89.之后可以至少根据至少一个扩展图像特征获取目标图像的目标图像特征。90.在本技术一个实施例中,如果是基于一个全局特征描述子对目标图像的参考图像特征扩展,得到一个扩展图像特征,则可以将得到的该一个扩展图像特征确定为目标图像的目标图像特征,或者,可以将得到的该一个扩展图像特征与目标图像的参考图像特征融合,得到目标图像的目标图像特征。91.在本技术另一实施例中,如果是基于两个以上的不同的全局特征描述子分别对目标图像的参考图像特征分别扩展,得到两个以上的不同的扩展图像特征,则可以将得到的两个以上的不同的扩展图像特征融合,并将融合得到的特征作为目标图像的目标图像特征,或者,可以将得到的两个以上的不同的扩展图像特征与目标图像的参考图像特征融合,目标图像的目标图像特征。92.在一个例子中,在图像特征包括向量的情况下,将两个以上的图像特征融合的方式包括:将两个以上的向量依次首尾相接,得到一个大的向量,以实现融合。93.在本技术一个实施例中,可以将目标图像的目标图像特征输入主体掩膜信息获取模型中的掩膜检测网络中,以使主体掩膜信息获取模型中的掩膜检测网络对目标图像特征处理,得到主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,并输出主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。94.在本技术另一实施例中,主体掩膜信息获取模型中还包括类别检测网络。95.如此,在至少使用主体掩膜信息获取模型中的掩膜检测网络根据目标图像特征预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值时,可以使用类别检测网络检测主体对象的主体类别,例如,可以将目标图像的目标图像特征输入主体掩膜信息获取模型中的类别检测网络中,以使主体掩膜信息获取模型中的类别检测网络对目标图像特征处理,得到主体对象的主体类别,并输出主体对象的主体类别,例如将主体对象的主体类别输出至掩膜检测网络,这样,掩膜检测网络可以得到目标图像的目标图像特征以及主体对象的主体类别,如此,可以使用掩膜检测网络根据目标图像特征以及主体类别预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。96.其中,对于掩膜检测网络而言,相比于根据目标图像特征预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,根据目标图像特征以及主体类别预测主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值可以提高预测的候选掩膜信息以及各个候选掩膜信息的预测概率值的准确率。97.在本技术中,在得到一个候选掩膜信息的情况下,可以将得到的这一个候选掩膜信息确定为主体掩膜信息。98.在得到两个以上的候选掩膜信息的情况下,可以执行步骤s2012。99.2012、获取预测概率值最大的候选掩膜信息分别与至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的至少部分候选掩膜信息之间的交并比。100.在本技术中,每一个候选掩膜信息在目标图像中占据部分位置区域,在计算两个候选掩膜信息之间的交并比时,可以计算两个候选掩膜信息在目标图像中占据的部分位置区域的交集的面积,以及,计算两个候选掩膜信息在目标图像中占据的部分位置区域的并集的面积,然后计算交集的面积与并集的面积之间的比值,作为两个候选掩膜信息之间的交并比。101.在本技术一个实施例中,可以获取预测概率值最大的候选掩膜信息分别与至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的各个候选掩膜信息之间的交并比。102.在候选掩膜信息的数量较多的情况下,为了进一步提高获取部件对象的部件图像的效率,在本技术另一个实施例中,可以在至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的候选掩膜信息中筛选预测概率值大于预设概率值的候选掩膜信息;获取预测概率值最大的候选掩膜信息分别与筛选的各个候选掩膜信息之间的交并比。如此,可以降低计算交并比涉及的候选掩膜信息的数量,从而可以降低计算量,进而可以提高获取部件对象的部件图像的效率。103.2013、在至少部分候选掩膜信息中选择与预测概率值最大的候选掩膜信息之间的交并比小于预设交并比的候选掩膜信息。104.预设交并比可以包括0.7、0.75或0.8等,具体可以根据实际情况而定,本技术对此不加以限定。105.2014、根据选择的候选掩膜信息获取主体掩膜信息。106.在步骤s202中,根据主体掩膜信息在目标图像中截取主体图像。107.在本技术另一实施例中,可以在屏幕上显示目标图像,在显示有目标图像的情况下,还可以根据主体掩膜信息获取主体对象在目标图像上的主体边缘轮廓。并在目标图像上显示主体边缘轮廓以及输入控件。108.以供用户查看并校验截取的主体边缘轮廓是否正确,若存在不正确的情况,用户可以基于输入控件对主体边缘轮廓进行二次编辑,在接收到根据输入控件输入的对主体边缘轮廓的编辑操作的情况下,根据编辑操作矫正主体边缘轮廓,得到矫正后的主体边缘轮廓;根据矫正后的主体边缘轮廓矫正主体掩膜信息,得到矫正后的主体掩膜信息。109.相应地,在根据主体掩膜信息在目标图像中截取主体图像时,可以根据矫正后的主体掩膜信息在目标图像中截取主体图像,以提高得到的主体图像的准确性。110.在本技术一个实施例中,参见图4,步骤s103包括:111.在步骤s301中,根据主体图像获取部件对象的部件掩膜信息。112.在本技术一个实施例中,可以使用部件掩膜信息获取模型获取部件对象的部件掩膜信息,如下给出一个具体的获取流程的示例,可以包括:113.3011、使用部件掩膜信息获取模型根据主体图像预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。114.在本技术中,为了能够得到主体图像中的部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,事先可以训练部件掩膜信息获取模型,然后基于部件掩膜信息获取模型来根据主体图像预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。115.其中,部件掩膜信息获取模型可以通过对包括“样本图像以及样本图像中的样本主体对象中的样本部件对象的标注掩膜信息”的样本数据集训练获得,如下给出一个具体训练流程的示例,可以包括:116.31)、获取至少一个样本数据集,样本数据集中包括:样本图像以及样本图像中的样本主体对象中的样本部件对象的标注掩膜信息。117.样本数据集可以为多个,不同的样本数据集中包括的样本图像可以为不同的图像。样本数据集中的样本图像中可以包括样本主体对象,样本主体对象中包括至少一个样本部件对象,样本主体对象可包括家具对象等。118.样本图像可以包括二维的rgb图像等。119.32)、使用样本数据集对模型中的网络参数训练,直至网络参数收敛,得到部件掩膜信息获取模型。120.模型可以包括cnn或solov2等,当然,也可以包括其他类别的模型,本技术对此不加以限定。121.在本技术一个实施例中,部件掩膜信息获取模型的网络结构可以包括:轻量化特征提取网络以及掩膜检测网络。轻量化提取特征网络用于获取主体对象的主体图像的主体图像特征,主体对象中包括部件对象。掩膜检测网络用于根据主体图像特征获取主体图像中的部件对象的部件图像。部件掩膜信息获取模型的输入端包括轻量化提取网络的输入端。轻量化提取网络的输出端与掩膜检测网络的输入端连接。部件掩膜信息获取模型的输出端包括掩膜检测网络的输出端。122.在一个实施例中,轻量化特征提取网络中可包括轻量化特征提取器。123.在另一个实施例中,轻量化特征提取网络中还包括全局特征描述子。124.全局特征描述子用于对轻量化特征提取器获取的主体对象的主体图像的主体图像特征进行扩展,得到主体图像的不同尺度的扩展图像特征,可以提高最终提取的主体图像的图像特征的全面性以及准确性等,例如,可以至少提高提取到的关于主体图像中的细节的图像特征的全面性以及准确性。125.轻量化特征提取网络的输入端包括轻量化特征提取器的输入端,轻量化特征提取器的输出端与全局特征描述子的输入端连接。126.轻量化特征提取网络的输出端包括全局特征描述子的输出端。或者,轻量化特征提取网络的输出端包括全局特征描述子的输出端以及轻量化特征提取器的输出端等。127.进一步地,在本技术另一个实施例中,部件掩膜信息获取模型还包括类别检测网络。轻量化特征提取器的输出端还与类别检测网络的输入端连接。128.在一个方式中,类别检测网络的输出端还可以与掩膜检测网络的输入端连接。129.在另一个方式中,部件掩膜信息获取模型的输出端还可以包括类别检测网络的输出端。130.在本技术中,基于不同的实际需求,部件掩膜信息获取模型的网络结构可以不同,不同网络结构的部件掩膜信息获取模型之后可以应用到不同的应用场景中,也即,不同的应用场景适用的部件掩膜信息获取模型的网络结构不同。131.在训练过程中,可以在模型中输入样本图像,以使模型对样本图像处理,得到预测的样本图像中的样本主体对象中的样本部件对象的掩膜信息,之后可以借助损失函数,并基于预测的样本图像中的样本主体对象中的样本部件对象的掩膜信息以及样本图像中的样本主体对象中的样本部件对象的标注掩膜信息调整模型中的网络参数,直至模型中的网络参数收敛,从而就可以完成训练,得到的部件掩膜信息获取模型即可上线使用。132.如此,可以将目标图像输入训练得到的部件掩膜信息获取模型中,以使部件掩膜信息获取模型对目标图像处理,得到目标图像中的主体对象中的部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,并输出目标图像中的主体对象中的部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,电子设备可获取部件掩膜信息获取模型输出的目标图像中的主体对象中的部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。133.在本技术一个实施例中,在使用部件掩膜信息获取模型根据主体图像预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值时,可以使用部件掩膜信息获取模型中的轻量化特征提取网络提取主体图像的主体图像特征,然后至少使用部件掩膜信息获取模型中的掩膜检测网络根据主体图像特征预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。134.在一个实施例中,部件掩膜信息获取模型中的轻量化特征提取网络中包括轻量化特征提取器,其可以实现快速的图像特征的提取。且轻量化特征提取器的结构简单,包括的参数量少,使得特征提取器满足轻量化要求,如此,可以减少对显存的占用,使得部件掩膜信息获取模型可以适配在多种不同性能的设备上,从而可以提高部件掩膜信息获取模型的适配性。在一个例子中,部件掩膜信息获取模型可以适配在低性能的设备上应用。135.可以将主体图像输入轻量化特征提取网络的轻量化特征提取器中,以使轻量化特征提取网络的轻量化特征提取器对主体图像处理,得到主体图像的主体图像特征,并输出主体图像的主体图像特征。136.在申请另一实施例中,轻量化特征提取网络中包括轻量化特征提取器以及全局特征描述子。137.如此,在使用部件掩膜信息获取模型中的轻量化特征提取网络提取主体图像的主体图像特征时,可以使用轻量化特征提取器提取主体图像的参考图像特征。例如,可以将主体图像输入轻量化特征提取网络的轻量化特征提取器中,以使轻量化特征提取网络的轻量化特征提取器对主体图像处理,得到主体图像的参考图像特征,并输出主体图像的参考图像特征。138.其中,参考图像特征可以以矩阵或向量的形式体现等。139.然后可以基于全局特征描述子对参考图像特征扩展,得到至少一个扩展图像特征。140.其中,在本技术中,全局特征描述子包括以下至少一者:级联的金字塔网络或者池化(pooling)网络等。141.池化网络包括以下至少一者等:最大池化网络、最小池化网络、求和池化网络以及平均池化网络等。142.在一个实施例中,在全局特征描述子为一个的情况下,可以使用这一个全局特征描述子对部件对象的参考图像特征扩展,得到一个扩展图像特征。143.在另一个实施例中,在全局特征描述子为两个以上的情况下,对于两个以上的全局特征描述子中的任意一个全局特征描述子,可以使用该全局特征描述子分别对目标图像的参考图像特征扩展,得到一个扩展图像特征。对于两个以上的全局特征描述子中的其他每一个全局特征描述子,同样执行上述操作。从而得到两个以上的扩展图像特征。144.在本实施例中,基于至少一个全局特征描述子对主体图像的参考图像特征扩展,可以实现得到主体图像的不同尺度的扩展图像特征,可以提高最终提取的主体对象的主体图像特征的全面性以及准确性等,例如,可以至少提高提取到的关于主体图像中的细节的图像特征的全面性以及准确性,为后续获取部件对象的部件图像提供稳定可靠的基础。145.之后可以至少根据至少一个扩展图像特征获取主体图像的主体图像特征。146.在本技术一个实施例中,如果是基于一个全局特征描述子对主体图像的参考图像特征扩展,得到一个扩展图像特征,则可以将得到的该一个扩展图像特征确定为主体图像的主体图像特征,或者,可以将得到的该一个扩展图像特征与主体图像的参考图像特征融合,得到主体图像的主体图像特征。147.在本技术另一实施例中,如果是基于两个以上的不同的全局特征描述子分别对主体图像的参考图像特征分别扩展,得到两个以上的不同的扩展图像特征,则可以将得到的两个以上的不同的扩展图像特征融合,并将融合得到的特征作为主体图像的主体图像特征,或者,可以将得到的两个以上的不同的扩展图像特征与主体图像的参考图像特征融合,主体图像的主体图像特征。148.在本技术一个实施例中,可以将主体图像的主体图像特征输入主体掩膜信息获取模型中的掩膜检测网络中,以使主体掩膜信息获取模型中的掩膜检测网络对主体图像特征处理,得到部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,并输出部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。149.在本技术另一实施例中,主体掩膜信息获取模型中还包括类别检测网络。150.如此,在至少使用部件掩膜信息获取模型中的掩膜检测网络根据主体图像特征预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值时,可以使用类别检测网络检测部件对象的部件类别,例如,可以将主体图像的主体图像特征输入部件掩膜信息获取模型中的类别检测网络中,以使部件掩膜信息获取模型中的类别检测网络对主体图像特征处理,得到部件对象的部件类别,并输出部件对象的部件类别,例如将部件对象的部件类别输出至掩膜检测网络,这样,掩膜检测网络可以得到主体图像的主体图像特征以及主体图像中的部件对象的部件类别,如此,可以使用掩膜检测网络根据主体图像特征以及部件类别预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。151.其中,对于掩膜检测网络而言,相比于根据主体图像特征预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值,根据主体图像特征以及部件类别预测部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值可以提高预测的候选掩膜信息以及各个候选掩膜信息的预测概率值的准确率。152.在本技术中,在得到一个候选掩膜信息的情况下,可以将得到的这一个候选掩膜信息确定为部件掩膜信息。153.在得到两个以上的候选掩膜信息的情况下,可以执行步骤s3012。154.3012、获取预测概率值最大的候选掩膜信息分别与所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的至少部分候选掩膜信息之间的交并比。155.在本技术一个实施例中,可以获取预测概率值最大的候选掩膜信息分别与至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的各个候选掩膜信息之间的交并比。156.在候选掩膜信息的数量较多的情况下,为了进一步提高获取部件对象的部件图像的效率,在本技术另一个实施例中,可以在至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的候选掩膜信息中筛选预测概率值大于预设概率值的候选掩膜信息;获取预测概率值最大的候选掩膜信息分别与筛选的各个候选掩膜信息之间的交并比。如此,可以降低计算交并比涉及的候选掩膜信息的数量,从而可以降低计算量,进而可以提高获取部件对象的部件图像的效率。157.3013、在所述至少部分候选掩膜信息中选择与预测概率值最大的候选掩膜信息之间的交并比小于预设交并比的候选掩膜信息.158.3014、根据选择的候选掩膜信息获取所述部件掩膜信息。159.在步骤s302中,根据部件掩膜信息在主体图像中截取部件图像。160.在本技术另一实施例中,在屏幕上显示有目标图像的情况下,还可以根据部件掩膜信息获取部件对象在目标图像上的主体图像上的部件边缘轮廓。并在目标图像上的主体图像上显示部件边缘轮廓以及输入控件。161.以供用户查看并校验截取的部件边缘轮廓是否正确,若存在不正确的情况,用户可以基于输入控件对部件边缘轮廓进行二次编辑,在接收到根据输入控件输入的对部件边缘轮廓的编辑操作的情况下,根据编辑操作矫正部件边缘轮廓,得到矫正后的部件边缘轮廓;根据矫正后的部件边缘轮廓矫正所述部件掩膜信息,得到矫正后的部件掩膜信息。162.相应地,在根据所述部件掩膜信息在所述主体图像中截取所述部件图像时,可以根据矫正后的部件掩膜信息在所述主体图像中截取所述部件图像,以提高过得到的部件图像的准确性。163.参照图5,示出了本技术的一种生成三维虚拟模型的方法的步骤流程图,具体可以包括如下步骤:164.在步骤s401中,获取拍摄的目标图像,目标图像中包括家具对象,家具对象中包括至少一个部件对象。165.本步骤可以参考前述实施例的描述,在此不做详述。166.在步骤s402中,根据目标图像获取家具对象的家具图像。167.本步骤可以参考前述实施例的描述,在此不做详述。168.在步骤s403中,根据家具图像获取部件对象的部件图像。169.本步骤可以参考前述实施例的描述,在此不做详述。170.在步骤s404中,根据部件图像生成家具对象的三维虚拟模型。171.本步骤可以参考前述实施例的描述,在此不做详述。172.在本技术中,如果拍摄到包括家具对象的目标图像且家具对象中包括至少一个部件对象,则可以先根据目标图像获取家具对象的家具图像,然后再根据家具对象的家具图像获取部件对象的部件图像,再根据部件图像生成家具对象的三维虚拟模型。173.如此,部件对象的部件图像是直接从家具对象的家具图像中获取到的,而不是直接从目标图像中获取到的。174.家具图像中仅包括家具对象的内容,而不包括目标图像中的除家具对象以外的内容,如此,没有其他复杂内容对“根据家具对象的家具图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取家具对象的部件对象的部件图像,通过从家具对象的家具图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的家具对象的三维虚拟模型的质量,例如,可以提高生成的家具对象的三维虚拟模型与实际的家具对象之间的匹配度。175.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选家具对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的家具对象的三维虚拟模型的效率以及质量(例如准确率等)等。176.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作并不一定是本技术所必须的。177.参照图6,示出了本技术的一种生成三维虚拟模型的装置的结构框图,该装置具体可以包括如下模块:178.第一获取模块11,用于在需要生成主体对象的三维虚拟模型的情况下,获取目标图像,所述目标图像中包括所述主体对象,所述主体对象中包括至少一个部件对象;第二获取模块12,用于根据所述目标图像获取所述主体对象的主体图像;第三获取模块13,用于根据所述主体图像获取所述部件对象的部件图像;第一生成模块14,用于根据所述部件图像生成所述主体对象的三维虚拟模型。179.在一个可选的实现方式中,所述第二获取模块包括:第一获取子模块,用于根据所述目标图像获取所述主体对象的主体掩膜信息;第一截取子模块,用于根据所述主体掩膜信息在所述目标图像中截取所述主体图像。180.在一个可选的实现方式中,所述第二获取模块还包括:第二获取子模块,用于在显示有所述目标图像的情况下,根据所述主体掩膜信息获取所述主体对象在所述目标图像上的主体边缘轮廓;第一显示子模块,用于在所述目标图像上显示所述主体边缘轮廓以及输入控件;第一矫正子模块,用于在接收到根据所述输入控件输入的对所述主体边缘轮廓的编辑操作的情况下,根据所述编辑操作矫正所述主体边缘轮廓,得到矫正后的主体边缘轮廓;第二矫正子模块,用于根据矫正后的主体边缘轮廓矫正所述主体掩膜信息,得到矫正后的主体掩膜信息。181.相应地,所述第一截取子模块包括:第一截取单元,用于根据矫正后的主体掩膜信息在所述目标图像中截取所述主体图像。182.在一个可选的实现方式中,所述第一获取子模块包括:第一预测单元,用于使用主体掩膜信息获取模型根据所述目标图像预测所述主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值;第一获取单元,用于获取预测概率值最大的候选掩膜信息分别与所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的至少部分候选掩膜信息之间的交并比;第一选择单元,用于在所述至少部分候选掩膜信息中选择与预测概率值最大的候选掩膜信息之间的交并比小于预设交并比的候选掩膜信息;第二获取单元,用于根据选择的候选掩膜信息获取所述主体掩膜信息。183.在一个可选的实现方式中,所述第一预测单元包括:第一提取子单元,用于使用所述主体掩膜信息获取模型中的轻量化特征提取网络提取所述目标图像的目标图像特征;第一获取子单元,用于至少使用所述主体掩膜信息获取模型中的掩膜检测网络根据所述目标图像特征预测所述主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。184.在一个可选的实现方式中,所述轻量化特征提取网络中包括轻量化特征提取器以及全局特征描述子;所述第一提取子单元具体用于:使用所述轻量化特征提取器提取所述目标图像的参考图像特征;基于所述全局特征描述子对所述参考图像特征扩展,得到至少一个扩展图像特征;至少根据所述至少一个扩展图像特征获取所述目标图像特征。185.在一个可选的实现方式中,所述主体掩膜信息获取模型中还包括类别检测网络;所述第一获取子单元具体用于:使用所述类别检测网络检测所述主体对象的主体类别;使用所述掩膜检测网络根据所述目标图像特征以及所述主体类别预测所述主体对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。186.在一个可选的实现方式中,所述第一获取单元包括:第二获取子单元,用于获取预测概率值最大的候选掩膜信息分别与所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的各个候选掩膜信息之间的交并比;或者,第三获取子单元,用于在所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的候选掩膜信息中筛选预测概率值大于预设概率值的候选掩膜信息;获取预测概率值最大的候选掩膜信息分别与筛选的各个候选掩膜信息之间的交并比。187.在一个可选的实现方式中,所述第三获取模块包括:第三获取子模块,用于根据所述主体图像获取所述部件对象的部件掩膜信息;第二截取子模块,用于根据所述部件掩膜信息在所述主体图像中截取所述部件图像。188.在一个可选的实现方式中,所述第三获取模块还包括:第四获取子模块,用于在显示有所述目标图像的情况下,根据所述部件掩膜信息获取所述部件对象在所述目标图像上的所述主体图像上的部件边缘轮廓;第二显示子模块,用于在所述目标图像上的所述主体图像上显示所述部件边缘轮廓以及输入控件;第三矫正子模块,用于在接收到根据所述输入控件输入的对所述部件边缘轮廓的编辑操作的情况下,根据所述编辑操作矫正所述部件边缘轮廓,得到矫正后的部件边缘轮廓;第四矫正子模块,用于根据矫正后的部件边缘轮廓矫正所述部件掩膜信息,得到矫正后的部件掩膜信息;189.相应地,所述第二截取子模块包括:第二截取单元,用于根据矫正后的部件掩膜信息在所述主体图像中截取所述部件图像。190.在一个可选的实现方式中,所述第三获取子模块包括:第二预测单元,用于使用部件掩膜信息获取模型根据所述主体图像预测所述部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值;第三获取单元,用于获取预测概率值最大的候选掩膜信息分别与所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的至少部分候选掩膜信息之间的交并比;第二选择模块,用于在所述至少部分候选掩膜信息中选择与预测概率值最大的候选掩膜信息之间的交并比小于预设交并比的候选掩膜信息;第四获取单元,用于根据选择的候选掩膜信息获取所述部件掩膜信息。191.在一个可选的实现方式中,所述第二预测单元包括:第二提取子单元,用于使用所述部件掩膜信息获取模型中的轻量化特征提取网络提取所述主体图像的主体图像特征;第四获取子单元,用于至少使用所述部件掩膜信息获取模型中的掩膜检测网络根据所述主体图像特征预测所述部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。192.在一个可选的实现方式中,所述轻量化特征提取网络中包括轻量化特征提取器以及全局特征描述子;所述第二提取子单元具体用于:使用所述轻量化特征提取器提取所述主体图像的参考图像特征;基于所述全局特征描述子对所述参考图像特征扩展,得到至少一个扩展图像特征;至少根据所述至少一个扩展图像特征获取所述主体图像特征。193.在一个可选的实现方式中,所述部件掩膜信息获取模型中还包括类别检测网络;所述第一获取子单元具体用于:使用所述类别检测网络检测所述部件对象的部件类别;使用所述掩膜检测网络根据所述主体图像特征以及所述部件类别获取所述部件对象的至少一个候选掩膜信息以及各个候选掩膜信息的预测概率值。194.在一个可选的实现方式中,所述第三获取单元包括:第五获取子单元,用于获取预测概率值最大的候选掩膜信息分别与所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的各个候选掩膜信息之间的交并比;或者,第六获取子单元,用于在所述至少一个候选掩膜信息中除预测概率值最大的候选掩膜信息以外的候选掩膜信息中筛选预测概率值大于预设概率值的候选掩膜信息;获取预测概率值最大的候选掩膜信息分别与筛选的各个候选掩膜信息之间的交并比。195.在本技术中,在需要生成主体对象的三维虚拟模型的情况下,如果获取到包括主体对象的目标图像且主体对象中包括至少一个部件对象,则可以先根据目标图像获取主体对象的主体图像,然后再根据主体对象的主体图像获取部件对象的部件图像,再根据部件图像生成主体对象的三维虚拟模型。如此,部件对象的部件图像是直接从主体对象的主体图像中获取到的,而不是直接从目标图像中获取到的。196.主体图像中仅包括主体对象的内容,而不包括目标图像中的除主体对象以外的内容,如此,没有其他复杂内容对“根据主体对象的主体图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取主体对象的部件对象的部件图像,通过从主体对象的主体图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的主体对象的三维虚拟模型的质量,例如,可以提高生成的主体对象的三维虚拟模型与实际的主体对象之间的匹配度。197.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选主体对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的主体对象的三维虚拟模型的效率以及质量(例如准确率等)等。198.参照图7,示出了本技术的一种生成三维虚拟模型的装置的结构框图,该装置具体可以包括如下模块:199.第四获取模块21,用于获取拍摄的目标图像,所述目标图像中包括所述家具对象,所述家具对象中包括至少一个部件对象;第五获取模块22,用于根据所述目标图像获取所述家具对象的家具图像;第六获取模块23,用于根据所述家具图像获取所述部件对象的部件图像;第二生成模块24,用于根据所述部件图像生成所述家具对象的三维虚拟模型。200.在本技术中,如果拍摄到包括家具对象的目标图像且家具对象中包括至少一个部件对象,则可以先根据目标图像获取家具对象的家具图像,然后再根据家具对象的家具图像获取部件对象的部件图像,再根据部件图像生成家具对象的三维虚拟模型。如此,部件对象的部件图像是直接从家具对象的家具图像中获取到的,而不是直接从目标图像中获取到的。201.家具图像中仅包括家具对象的内容,而不包括目标图像中的除家具对象以外的内容,如此,没有其他复杂内容对“根据家具对象的家具图像获取部件对象的部件图像”的过程带来干扰,由于不存在干扰,因此,相比于直接从目标图像中获取家具对象的部件对象的部件图像,通过从家具对象的家具图像中获取部件对象的部件图像的方式可以提高得到的部件对象的部件图像的质量,例如,可以提高得到的部件对象的部件图像与目标图像中的部件对象的边缘轮廓之间的匹配度等,进而可以提高生成的家具对象的三维虚拟模型的质量,例如,可以提高生成的家具对象的三维虚拟模型与实际的家具对象之间的匹配度。202.另一方面,获取部件对象的部件图像的流程可以没有人的参与,从而可以降低人工成本,且由于人的生理特性,人在参与获取部件对象的部件图像的流程(例如人为在目标图像中圈选家具对象的部件对象的边缘轮廓等)的过程中难免会出错,由于本技术可以支持获取部件对象的部件图像的流程没有人的参与,因此本技术可以避免由于实时的人为错误而影响获取部件对象的部件图像的效率以及质量(例如准确率等)等,进而可以避免由于实时的人为错误而影响生成的家具对象的三维虚拟模型的效率以及质量(例如准确率等)等。203.对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。204.本技术实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本技术实施例中各方法步骤的指令(instructions)。205.本技术实施例提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得电子设备执行如上述实施例中一个或多个所述的方法。本技术实施例中,所述电子设备包括服务器、网关、子设备等,子设备为物联网设备等设备。206.本公开的实施例可被实现为使用任意适当的硬件,固件,软件,或及其任意组合进行想要的配置的装置,该装置可包括服务器(集群)、终端设备如iot设备等电子设备。207.图8示意性地示出了可被用于实现本技术中所述的各个实施例的示例性装置1300。208.对于一个实施例,图8示出了示例性装置1300,该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(nvm)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310,和被耦合到控制模块1304的网络接口1312。209.处理器1302可包括一个或多个单核或多核处理器,处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中,装置1300能够作为本技术实施例中所述网关等服务器设备。210.在一些实施例中,装置1300可包括具有指令1314的一个或多个计算机可读介质(例如,存储器1306或nvm/存储设备1308)和与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。211.对于一个实施例,控制模块1304可包括任意适当的接口控制器,以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。212.控制模块1304可包括存储器控制器模块,以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。213.存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例,存储器1306可包括任意适当的易失性存储器,例如,适当的dram。在一些实施例中,存储器1306可包括双倍数据速率四同步动态随机存取存储器(ddr4sdram)。214.对于一个实施例,控制模块1304可包括一个或多个输入/输出控制器,以向nvm/存储设备1308及(一个或多个)输入/输出设备1310提供接口。215.例如,nvm/存储设备1308可被用于存储数据和/或指令1314。nvm/存储设备1308可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。216.nvm/存储设备1308可包括在物理上作为装置1300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问可不必作为该设备的一部分。例如,nvm/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。217.(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信,输入/输出设备1310可以包括通信组件、拼音组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信,装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信,例如接入基于通信标准的无线网络,如wifi、2g、3g、4g、5g等,或它们的组合进行无线通信。218.对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如,存储器控制器模块)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。219.在各个实施例中,装置1300可以但不限于是:服务器、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中,装置1300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,装置1300包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。220.本技术实施例提供了一种电子设备,包括:一个或多个处理器;和,其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如本技术中一个或多个所述的方法。221.对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。222.本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。223.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、和流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程信息处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程信息处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。224.这些计算机程序指令也可存储在能引导计算机或其他可编程信息处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。225.这些计算机程序指令也可装载到计算机或其他可编程信息处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。226.尽管已描述了本技术实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例和落入本技术实施例范围的所有变更和修改。227.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。228.以上对本技术所提供的获取部件图像的方法及装置,进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1