三维模型的融合方法、装置、设备及可读存储介质与流程

文档序号:22075695发布日期:2020-09-01 19:01阅读:283来源:国知局
三维模型的融合方法、装置、设备及可读存储介质与流程

本申请实施例涉及人工智能领域,特别涉及一种三维模型的融合方法、装置、设备及可读存储介质。



背景技术:

三维形变模型(3dmorphablemodel,3dmm)是一种三维人脸统计模型,可以应用于自动捏脸算法构建脸部模型或人体模型,而在自动捏脸算法中,通常存在约束的部分为脸部区域,而并不包括如后脑勺、口腔内部、肩膀等未知的约束。

相关技术中,在生成脸部区域的模型后,需要美工人员手动调整后脑勺的尺寸,将后脑勺与脸部区域进行贴合,并手动调整过渡区域,避免过渡区域存在接缝而导致人脸模型的真实度较低。

然而,通过上述方式进行后脑勺与脸部区域的贴合时,需要耗费较多的时间资源和人力资源,头部模型的生成效率较低。



技术实现要素:

本申请实施例提供了一种三维模型的融合方法、装置、设备及可读存储介质,可以提高三维模型融合过程中的融合效率。所述技术方案如下:

一方面,提供了一种三维模型的融合方法,所述方法包括:

获取第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分为待融合成为目标模型的两个部分,其中,所述第一模型部分、所述第二模型部分和所述目标模型为三维角色模型;

从所述第一模型部分的边缘位置获取边缘采样点,所述边缘位置为所述第一模型部分中用于与所述第二模型部分进行衔接融合的位置;

通过所述边缘采样点将所述第一模型部分和所述第二模型部分进行拟合,得到过程模型,所述过程模型中包括与所述边缘采样点对应的过渡区域;

对所述过程模型中的所述过渡区域进行平滑处理,得到所述目标模型。

另一方面,提供了一种三维模型的融合装置,所述装置包括:

获取模块,用了与获取第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分为待融合成为目标模型的两个部分,其中,所述第一模型部分、所述第二模型部分和所述目标模型为三维角色模型;

所述获取模块,还用于从所述第一模型部分的边缘位置获取边缘采样点,所述边缘位置为所述第一模型部分中用于与所述第二模型部分进行衔接融合的位置;

拟合模块,用于通过所述边缘采样点将所述第一模型部分和所述第二模型部分进行拟合,得到过程模型,所述过程模型中包括与所述边缘采样点对应的过渡区域;

处理模块,用于对所述过程模型中的所述过渡区域进行平滑处理,得到所述目标模型。

在一个可选的实施例中,所述拟合模块,还用于以所述边缘采样点作为拟合关键点,对所述第一模型部分和所述第二模型部分进行拟合,得到所述过程模型,其中,所述边缘采样点用于实现所述第一模型部分和所述第二模型部分之间的衔接。

在一个可选的实施例中,所述第二模型部分包括固定区域;

所述拟合模块,还用于以所述边缘采样点和所述固定区域中的固定采样点作为所述拟合关键点,对所述第一模型部分和所述第二模型部分进行拟合,得到所述过程模型,其中,所述固定采样点用于确定所述第二模型部分的形状。

在一个可选的实施例中,所述拟合模块,包括:

构建单元,用于构建拟合函数,所述拟合函数用于通过采样点对所述第一模型部分和所述第二模型部分进行拟合,所述拟合函数中包括结果系数;

代入单元,用于将所述边缘采样点和所述固定采样点代入所述拟合函数,拟合得到所述结果系数的取值;

第一确定单元,用于根据所述结果系数的取值确定所述过程模型。

在一个可选的实施例中,所述拟合函数中还包括正则项;

所述代入单元,还用于以所述边缘采样点和所述固定采样点,通过所述拟合函数对所述第一模型部分和所述第二模型部分进行形状拟合;

所述第一确定单元,还用于通过所述正则项对所述拟合结果进行平滑度控制,得到所述结果系数的取值。

在一个可选的实施例中,所述过程模型中还包括第一区域和第二区域,所述过渡区用于对所述第一区域和所述第二区域进行过渡;

所述处理模块,包括:

第二确定单元,用于针对所述过渡区域中的过渡采样点,确定所述过渡采样点与所述第一区域之间的第一权重值,以及所述过渡采样点与所述第二区域之间的第二权重值;

调整单元,用于以所述第一权重值和所述第二权重值对所述过渡采样点的位置进行调整。

在一个可选的实施例中,所述第二确定单元,还用于确定所述过渡采样点与所述第一区域中距离最近的第一采样点之间的第一距离;确定所述过渡采样点与所述第二区域中距离最近的第二采样点之间的第二距离;确定与所述第一距离对应的所述第一权重值,以及与所述第二距离对应的所述第二权重值。

在一个可选的实施例中,所述第二确定单元,还用于确定所述第一权重值和所述第二权重值中取值大的目标权重值;确定所述目标权重值对应的目标区域;

所述调整单元,还用于以所述目标权重值作为调整系数,将所述过渡采样点向所述目标区域的方向进行调整。

另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的三维模型的融合方法。

另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的三维模型的融合方法。

另一方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述本申请实施例中任一所述的三维模型的融合方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

在将第一模型部分和第二模型部分进行融合时,通过在第一模型部分上采集边缘位置上的边缘采样点,通过边缘采样点将第一模型部分和第二模型部分拟合得到过程模型,并对边缘采样点对应的过渡区域进行平滑处理,从而实现三维模型的自动融合,在确保三维模型融合质量的基础上提高了三维模型的融合效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请一个示例性的实施例提供的不同系数生成的不同模型的对比示意图;

图2是本申请一个示例性实施例提供的脸部模型和后脑模型直接匹配后的效果示意图;

图3是本申请一个示例性实施例提供的三维模型的融合方法的流程图;

图4是基于图3示出的实施例提供的边缘位置的示意图;

图5是基于图3示出的实施例提供的固定区域的示意图;

图6是本申请另一个示例性实施例提供的三维模型的融合方法的流程图;

图7是基于图6示出的实施例提供的过程模型的示意图;

图8是本申请另一个示例性实施例提供的三维模型的融合方法的流程图;

图9是基于图8示出的实施例提供的对过渡区域进行平滑处理的示意图;

图10是基于图8示出的实施例提供的过渡区域的权重值的可视化示意图;

图11是本申请一个示例性实施例提供的将口腔模型和头部模型进行融合的示意图;

图12是本申请一个示例性实施例提供的三维模型的融合装置的结构框图;

图13是本申请另一个示例性实施例提供的三维模型的融合装置的结构框图;

图14是本申请一个示例性的实施例提供的服务器的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

首先,对本申请实施例中涉及的名词进行简单介绍:

人工智能(artificialintelligence,ai):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(computervision,cv):是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(opticalcharacterrecognition,ocr)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

三维形变模型(3dmorphablemodel,3dmm):是一种三维人脸统计模型,可以应用于自动捏脸算法构建脸部模型或人体模型,而在自动捏脸算法中,通常存在约束的部分为脸部区域,而并不包括如后脑勺、口腔内部、肩膀等未知的约束。如:由艺术家对脸部区域进行创作后,自动生成与脸部区域的模型对应的后脑模型,然而,后脑模型通常是预先设定好的模型,针对多个不同的脸部区域,对应的后脑模型是相同的,从而在自动捏脸中,后脑模型与脸部区域存在一定的不适配度,从而导致两部分的衔接之间存在不平滑的接缝,导致脸部模型的真实度较低,需要人工手动对接缝位置进行调节,模型生成效率较低。

可选地,一种基于3dmm的公式表达如下公式一所示:

公式一:vertex=mu+b×paras

其中,vertex为最终计算得到的点云,点数为n×3,mu为3dmm库的均值,b为一组基,paras为一组系数,任意一个低模的点云都能由一个系数paras表示。可选地,3dmm库使用不同的系数,可以生成任意头型或脸型,且模型都为相同的拓扑。示意性的,请参考图1,使用不同的系数,生成有模型110、模型120和模型130,且模型110、模型120和模型130为相同的拓扑。

示意性的,请参考图2,将脸部模型210与后脑模型220进行匹配融合后,易产生接缝230,导致模型不可用。本申请实施例中,在进行模型融合的过程中,通过对模型边缘的采样点进行采样,通过采样点将模型进行拟合融合后,通过平滑算法将模型的衔接部分进行平滑处理,从而得到目标模型,在确保模型平滑度的基础上,提高了模型融合的效率。

结合上述名词简介,对本申请实施例的应用场景进行举例说明:

第一,应用于全自动在3dmm库中修复人头的方法中,可以用于在脸部模型基础上进行后脑模型的补充、肩膀模型的补充、口腔模型的补充等,本申请实施例对此不加以限定,本实施例中,以补充后脑模型为例进行说明,也即在确定脸部模型后,将后脑模型与脸部模型融合,得到头部模型,其中,首先获取独立的脸部模型和后脑模型,对脸部模型的边缘进行边缘采样点的采集,并在边缘采样点的基础上将脸部模型与后脑模型进行融合,并对融合后脸部模型与后脑模型之间的过渡区域进行平滑处理,得到头部模型;

第二,在物体拼接场景中,将物体的至少两个部分,通过融合的形式拼接得到物体模型,如:将水瓶的瓶身模型和统一的瓶盖模型进行融合,得到水瓶模型,其中,首先获取独立的瓶身模型和瓶盖模型,对瓶身模型的边缘进行边缘采样点的采集,并在边缘采样点的基础上将瓶身模型与瓶盖模型进行融合,并对融合后瓶身模型与瓶盖模型之间的过渡区域进行平滑处理,得到水瓶模型。

上述两种应用场景仅为本申请示意性的举例,本申请实施例提供的内容分类方法还可以应用于其他模型融合的方案中,本申请实施例对此不加以限定。

可选地,本申请实施例中,以三维模型实现为三维角色模型为例进行说明。

值得注意的是,本申请实施例提供的三维模型的融合方法,可以由终端实现,也可以由服务器实现,还可以由终端和服务器协同实现。其中,终端包括智能手机、平板电脑、便携式膝上笔记本电脑、台式计算机、智能音箱、智能可穿戴设备等终端中的至少一种,服务器可以是物理服务器,也可以是提供云计算服务的云服务器,且服务器可以实现为一台服务器,也可以是多个服务器构成的服务器集群或分布式系统。其中,当终端和服务器协同实现本申请实施例提供的方案时,终端和服务器可以通过有线或无线通信方式进行直接或间接连接,本申请实施例对此不加以限定。

结合上述名词简介以及应用场景,对本申请实施例提供的三维模型的融合方法进行说明,以该方法应用于服务器中为例进行说明,如图3所示,该方法包括:

步骤301,获取第一模型部分和第二模型部分,第一模型部分和第二模型部分为待融合成为目标模型的两个部分。

可选地,第一模型部分、第二模型部分和目标模型为三维角色模型。可选地,三维角色模型包括三维卡通角色模型、三维人物角色模型、三维动漫角色模型等角色中的至少一种。

可选地,第一模型部分为设计得到的模型部分,而第二模型部分为针对不同的第一模型部分统一的模型部分;或,第一模型部分和第二模型部分皆为设计得到的模型部分。示意性的,以第一模型部分实现为脸部模型,第二模型部分实现为后脑模型为例进行说明,则第一模型部分为设计得到的不同脸部形态的模型,第二模型部分为针对不同的脸部形态统一设定的后脑形态。

可选地,本实施例中,以第一模型部分为脸部模型,第二模型部分为后脑模型为例进行说明,则第一模型部分为设计人员应用的终端中将人脸模型设计完毕后,从终端上传至服务器中得到的,第二模型部分可以是服务器中预先存储的,也可以是从终端上传至服务器的,本申请实施例对此不加以限定。

可选地,第一模型部分为脸部模型,第二模型部分为后脑模型,则由第一模型部分和第二模型部分融合得到的目标模型为头部模型。

步骤302,从第一模型部分的边缘位置获取边缘采样点。

可选地,边缘位置为第一模型部分中用于与第二模型部分进行衔接融合的位置,当第一模型部分为脸部模型时,则边缘位置为脸部模型外围与后脑模型进行衔接的位置。示意性的,请参考图4,脸部模型400外围一圈边缘位置410即为与后脑模型进行衔接的位置。

可选地,从脸部模型中获取边缘采样点的方式包括如下方式中的至少一种:

第一,从脸部模型最外圈的采样点开始,连续获取n圈采样点作为边缘采样点,n为正整数,其中,n可以是预先设定的数值,也可以是根据采样点的总数确定的数值;

示意性的,当从最外圈采样点开始,连续采集5圈采样点作为边缘采样点;或,从最外圈采样点开始,共采集至少500个边缘采样点,则当采集5权采样点后,共采集到520个采样点时,将该520个采样点作为边缘采样点;

第二,从脸部模型的最外圈采样点开始,连续获取n圈采样点,并从n圈采样点中获取部分采样点作为边缘采样点,其中,从n圈采样点中获取时,可以是随机获取的,也可以是按照预设规律获取的,本申请实施例对此不加以限定,n为正整数。

步骤303,通过边缘采样点将第一模型部分和第二模型部分进行拟合,得到过程模型。

可选地,在通过边缘采样点将第一模型部分和第二模型部分进行拟合,得到过程模型时,将边缘采样点作为拟合关键点,对第一模型部分和第二模型部分进行拟合,得到过程模型,其中,边缘采样点用于实现第一模型部分和第二模型部分之间的衔接。

可选地,以第二模型部分为后脑模型为例进行说明,则第二模型部分包括固定区域(用于挂载挂件模型的区域),如:固定区域用于挂载头发模型、帽子模型等,或,第二模型部分不包括固定区域,当第二模型部分包括固定区域时,则固定区域为第二模型部分中不产生变化的区域;当第二模型部分中不包括固定区域时,则挂载头发的区域对应一个独立的模型部分。本实施例中,以第二模型部分包括固定区域为例进行说明。则在通过边缘采样点将第一模型部分和第二模型部分进行拟合,得到过程模型时,以边缘采样点和固定区域中的固定采样点作为拟合关键点,对第一模型部分和第二模型部分进行拟合,得到过程模型,其中,边缘采样点用于实现第一模型部分和第二模型部分之间的衔接,固定采样点用于确定第二模型部分的形状。

示意性的,请参考图5,通过边缘采样点510对第一模型部分520和第二模型部分530进行拟合,其中,第二模型部分530中还包括固定区域531,固定部分531用于挂载头发模型。

可选地,过程模型中包括与边缘采样点对应的过渡区域。可选地,过渡区域中包括所有边缘采样点,或,过渡区域中包括部分边缘采样点。

步骤304,对过程模型中的过渡区域进行平滑处理,得到目标模型。

可选地,过程模型中还包括第一区域和第二区域,其中,过渡区域用于对第一区域和第二区域进行过渡。可选地,在进行平滑处理时,针对过渡区域中的过渡采样点,确定过渡采样点与第一区域之间的第一权重值,以及过渡采样点与第二区域之间的第二权重值,以第一权重值和第二权重值对过渡采样点的位置进行调整。可选地,在以第一权重值和第二权重值对过渡采样点的位置进行调整后,将过渡采样点向趋向第一区域或第二区域的位置进行调整,从而实现过渡区域的平滑。

综上所述,本实施例提供的方法,在将第一模型部分和第二模型部分进行融合时,通过在第一模型部分上采集边缘位置上的边缘采样点,通过边缘采样点将第一模型部分和第二模型部分拟合得到过程模型,并对边缘采样点对应的过渡区域进行平滑处理,从而实现三维模型的自动融合,在确保三维模型融合质量的基础上提高了三维模型的融合效率。

在一个可选地实施例中,通过构建拟合函数的方式将第一模型部分和第二模型部分进行融合,图6是本申请另一个示例性实施例提供的三维模型的融合方法的流程图,以该方法应用于服务器中为例进行说明,如图5所示,该方法包括:

步骤601,获取第一模型部分和第二模型部分,第一模型部分和第二模型部分为待融合成为目标模型的两个部分。

可选地,第一模型部分、第二模型部分和目标模型为三维模型。

可选地,本实施例中,以第一模型部分为脸部模型,第二模型部分为后脑模型为例进行说明。

可选地,第一模型部分为脸部模型,第二模型部分为后脑模型,则由第一模型部分和第二模型部分融合得到的目标模型为头部模型。

步骤602,从第一模型部分的边缘位置获取边缘采样点。

可选地,边缘位置为第一模型部分中用于与第二模型部分进行衔接融合的位置,当第一模型部分为脸部模型时,则边缘位置为脸部模型外围与后脑模型进行衔接的位置。

步骤603,构建拟合函数,拟合函数用于通过采样点对第一模型部分和第二模型部分进行拟合。

可选地,拟合函数中包括结果系数,结果系数为用于确定过程模型的系数。

可选地,拟合函数中还包括正则项,正则项用于对模型的平滑程度进行控制。

示意性的,以第一模型部分为脸部模型,第二模型部分为后脑模型为例,该拟合函数如下公式二所示:

公式二:

e=|a(mu+basis*p)-a(s1)|+|b(mu+basis*p)-b(s2)|+|p/sigma|

其中,p为结果系数,|p/sigma|为正则项,e为能量值,mu为3dmm库的均值。s1用于指代脸部模型,s2用于指示后脑模型,a用于指代边缘采样点,b用于指代固定采样点。

步骤604,将边缘采样点和固定采样点代入拟合函数,拟合得到结果系数的取值。

可选地,将边缘采样点和固定采样点代入上述公式二,并通过高斯牛顿法优化上述能量值,得到结果系数p的取值。

可选地,将边缘采样点代入上述公式二,控制过程模型中的边缘采样点和脸部模型中的边缘采样点位置相同,将固定采样点代入上述公式二,控制过程模型中的固定采样点与后脑模型中的固定采样点位置相同,从而最终拟合得到结果系数。

可选地,结果系数用于在上述边缘采样点和固定采样点的位置确定的基础上,确定整个过程模型的形态。

可选地,上述拟合函数中还包括正则项,则在将边缘采样点和固定采样点代入拟合函数时,以边缘采样点和固定采样点,通过拟合函数对第一模型部分和第二模型部分进行形状拟合,并通过正则项对拟合结果进行平滑度控制,得到结果系数的取值。示意性的,上述公式二中的|p/sigma|为正则项,则通过对结果系数p的调整,根据正则项对过程模型的平滑程度进行控制。

步骤605,根据结果系数的取值确定过程模型。

可选地,将结果系数代入上述公式一,得到过程模型,该过程模型为通过边缘采样点和固定采样点拟合得到的模型。

示意性的,请参考图7,根据结果系数得到过程模型710,该过程模型710中在脸部模型711和后脑模型712之间存在接缝713。

步骤606,对过程模型中的过渡区域进行平滑处理,得到目标模型。

可选地,过程模型中包括与边缘采样点对应的过渡区域,其中,过渡区域中的过渡采样点即对应脸部模型中的边缘采样点,也即,过渡区域中的过渡采样点为脸部模型中的边缘采样点映射得到的。

相关技术中,通过拉普拉斯平滑方式对上述接缝问题进行平滑处理,然而,直接通过拉普拉斯平滑处理易对脸部模型上的点产生破坏,从而导致脸部模型产生变化。本申请实施例中,根据过渡区域中的采样点与被过渡的两个区域之间的距离权重关系对采样点的位置进行调整。

综上所述,本实施例提供的方法,在将第一模型部分和第二模型部分进行融合时,通过在第一模型部分上采集边缘位置上的边缘采样点,通过边缘采样点将第一模型部分和第二模型部分拟合得到过程模型,并对边缘采样点对应的过渡区域进行平滑处理,从而实现三维模型的自动融合,在确保三维模型融合质量的基础上提高了三维模型的融合效率。

本实施例提供的方法,通过构建拟合函数的方式,在第一模型部分和第二模型部分中的关键采样点对第一模型部分和第二模型部分之间的融合进行拟合,得到结果系数的取值,从而在关键采样点位置确定的基础上确定过程模型的具体形态,提高了模型融合的效率。

在一个可选的实施例中,过渡区域中的过渡采样点根据与衔接的两部分之间的距离关系进行位置调整,图8是本申请另一个示例性实施例提供的三维模型的融合方法的流程图,以该方法应用于服务器中为例进行说明,如图8所示,该方法包括:

步骤801,获取第一模型部分和第二模型部分,第一模型部分和第二模型部分为待融合成为目标模型的两个部分。

可选地,第一模型部分、第二模型部分和目标模型为三维模型。

可选地,本实施例中,以第一模型部分为脸部模型,第二模型部分为后脑模型为例进行说明。

可选地,第一模型部分为脸部模型,第二模型部分为后脑模型,则由第一模型部分和第二模型部分融合得到的目标模型为头部模型。

步骤802,从第一模型部分的边缘位置获取边缘采样点。

可选地,边缘位置为第一模型部分中用于与第二模型部分进行衔接融合的位置,当第一模型部分为脸部模型时,则边缘位置为脸部模型外围与后脑模型进行衔接的位置。

步骤803,构建拟合函数,拟合函数用于通过采样点对第一模型部分和第二模型部分进行拟合。

可选地,拟合函数中包括结果系数,结果系数为用于确定过程模型的系数。

可选地,拟合函数中还包括正则项,正则项用于对模型的平滑程度进行控制。

步骤804,将边缘采样点和固定采样点代入拟合函数,拟合得到结果系数的取值。

可选地,将边缘采样点代入上述公式二,控制过程模型中的边缘采样点和脸部模型中的边缘采样点位置相同,将固定采样点代入上述公式二,控制过程模型中的固定采样点与后脑模型中的固定采样点位置相同,从而最终拟合得到结果系数。

步骤805,根据结果系数的取值确定过程模型。

可选地,将结果系数代入上述公式一,得到过程模型,该过程模型为通过边缘采样点和固定采样点拟合得到的模型。

步骤806,针对过渡区域中的过渡采样点,确定过渡采样点与第一区域之间的第一权重值,以及过渡采样点与第二区域之间的第二权重值。

可选地,过程模型中包括过渡区域,以及由过渡区域进行衔接的第一区域和第二区域。

可选地,过渡区域的确定包括如下两种情况中的至少一种:

第一,过渡区域为与第一模型部分中的边缘区域对应的区域,也即将边缘采样点映射至过程模型中,得到对应的过渡区域;

第二,从过程模型中与第一模型部分和第二模型部分的衔接位置处分别进行过渡采样点的获取,如:以衔接位置为采样起始位置,分别向第一模型部分和第二模型部分进行过渡采样点的获取,并将采样得到的过渡采样点对应的区域确定为过渡区域。

其中,以过程模型为脸部模型和后脑模型融合得到的过程头部模型,以及以过渡区域为与边缘区域对应的区域为例进行说明,过渡区域为脸部模型中与边缘采样点对应的区域,也即与脸部模型中的边缘区域对应的区域,将脸部模型中边缘区域中的边缘采样点映射至过程模型中,得到过渡采样点,则过渡采样点对应的区域即为过渡区域。

可选地,第一区域位于过渡区域的一侧,第二区域则位于过渡区域的另一侧。可选地,第一区域为脸部模型中除过渡区域以外的其他区域,第二区域为后脑模型对应的区域,由于接缝问题主要出现在过渡区域中,故,对过渡区域进行平滑处理,从而减小接缝问题。

示意性的,请参考图9,在过程头部模型900中包括过渡区域910,在过渡区域910的一侧对应第一区域920(即人脸模型中除过渡区域910以外的其他区域),过渡区域910的另一侧对应第二区域930(即后脑模型对应的区域)。

可选地,确定过渡采样点与第一区域中距离最近的第一采样点之间的第一距离,以及确定过渡采样点与第二区域中距离最近的第二采样点之间的第二距离;确定与第一距离对应的第一权重值,以及与第二距离对应的第二权重值。

步骤807,以第一权重值和第二权重值对过渡采样点的位置进行调整,得到目标模型。

可选地,以第一权重值和第二权重值对过渡采样点的位置进行调整时,包括如下调整方式中的至少一种:

第一,以第一权重值对第一采样点的调整,以及第二权重值对第二采样点的调整,综合得到调整后的过渡采样点;

示意性的,以过渡区域中的过渡采样点为x,第一区域为y,第二区域为z为例进行说明,则确定x相对于y的第一权重,和相对于z的第二权重,在y中确定与x距离最近的第一采样点,确定x与第一采样点的距离为a,以及在z中确定与x距离最近的第二采样点,确定x与第二采样点的距离为b,则x与y之间的第一权重值计算方式如下公式三所示:

公式三:wy=(1/a)/(1/a+1/b)

其中,wy表示x与y之间的第一权重值。

x与z之间的第二权重值计算方式如下公式四所示:

公式四:wz=(1/b)/(1/a+1/b)

其中,wz表示x与z之间的第二权重值。

可选地,x上的过渡采样点,当距离y中的第一采样点较近时,则受y部分的影响大,则第一权重值wy较大,反之,当x中的过渡采样点距离z中的第二采样点较近时,则受z部分的影响大,则第二权重值wz较大。

示意性的,以第一权重值wy为例进行说明,如图10所示,其示出了第二权重值对应过渡区域中的过渡采样点的可视化示意图,过渡区域1010用于对第一区域1020和第二区域1030进行过渡,当过渡区域1010中的过渡采样点距离第一区域1020较近时,则显示为黑色,过渡采样点距离第二区域1030较近时,则显示为波点状。

可选地,调整后的过渡采样点调整方式如下公式五所示:

公式五:vx=wy*x(s3)+wz*x(s1)

其中,s3为过程模型中过渡采样点的位置,s1为脸部模型中过渡采样点的位置,vx为过渡采样点调整后的位置。

第二,确定第一权重值和第二权重值中取值大的目标权重值,并确定目标权重值对应的目标区域,以目标权重值作为调整系数,将过渡采样点向目标区域的方向进行调整。

综上所述,本实施例提供的方法,在将第一模型部分和第二模型部分进行融合时,通过在第一模型部分上采集边缘位置上的边缘采样点,通过边缘采样点将第一模型部分和第二模型部分拟合得到过程模型,并对边缘采样点对应的过渡区域进行平滑处理,从而实现三维模型的自动融合,在确保三维模型融合质量的基础上提高了三维模型的融合效率。

本实施例提供的方法,通过在过程模型中确定过渡区域,并针对过渡区域中的过渡采样点与第一区域之间的第一权重值,和与第二区域之间的第二权重值,对过渡采样点的位置进行调整,从而将过渡采样点调整至与第一区域和第二区域更为平滑的位置,提高了三维模型的融合准确率。

值得注意的是,上述实施例中,在对第一模型部分和第二模型部分进行举例说明是,以第一模型部分为脸部模型,第二模型部分为后脑模型为例进行说明,上述三维模型的融合方法也可以应用在其他模型融合的实施例中,如:第一模型部分为头部模型,第二模型部分为口腔模型;或,第一模型部分为头部模型,第二模型部分为肩部模型。示意性的,以第一模型部分为头部模型,第二模型部分为口腔模型为例进行说明。

请参考图11,若直接将口腔模型不做任何处理,补充到头部模型中,则会出现如模型1110所示的穿模现象;若将穿模部分暴力塞入头部模型中,则会导致如模型1120在开口进行嘴部驱动时,产生穿帮问题;通过本申请实施例的三维模型融合方法将口腔模型和头部模型进行融合后,得到模型1130,避免了穿模问题和穿帮问题的产生。

其中,在通过本申请实施例的三维模型的融合方法将口腔模型和头部模型进行融合时,确定头部模型中与口腔模型进行衔接的边缘区域,通过边缘区域将口腔模型和头部模型进行拟合,得到过程模型,并在过程模型中对过渡区域进行平滑处理,得到口腔模型和头部模型的融合模型。

图12是本申请一个示例性实施例提供的三维模型的融合装置的结构框图,如图12所示,该装置包括:

获取模块1210,用了与获取第一模型部分和第二模型部分,所述第一模型部分和所述第二模型部分为待融合成为目标模型的两个部分,其中,所述第一模型部分、所述第二模型部分和所述目标模型为三维模型;

所述获取模块1210,还用于从所述第一模型部分的边缘位置获取边缘采样点,所述边缘位置为所述第一模型部分中用于与所述第二模型部分进行衔接融合的位置;

拟合模块1220,用于通过所述边缘采样点将所述第一模型部分和所述第二模型部分进行拟合,得到过程模型,所述过程模型中包括与所述边缘采样点对应的过渡区域;

处理模块1230,用于对所述过程模型中的所述过渡区域进行平滑处理,得到所述目标模型。

在一个可选的实施例中,所述拟合模块1220,还用于以所述边缘采样点作为拟合关键点,对所述第一模型部分和所述第二模型部分进行拟合,得到所述过程模型,其中,所述边缘采样点用于实现所述第一模型部分和所述第二模型部分之间的衔接。

在一个可选的实施例中,所述第二模型部分包括固定区域;

所述拟合模块1220,还用于以所述边缘采样点和所述固定区域中的固定采样点作为所述拟合关键点,对所述第一模型部分和所述第二模型部分进行拟合,得到所述过程模型,其中,所述固定采样点用于确定所述第二模型部分的形状。

在一个可选的实施例中,如图13所示,所述拟合模块1220,包括:

构建单元1221,用于构建拟合函数,所述拟合函数用于通过采样点对所述第一模型部分和所述第二模型部分进行拟合,所述拟合函数中包括结果系数;

代入单元1222,用于将所述边缘采样点和所述固定采样点代入所述拟合函数,拟合得到所述结果系数的取值;

第一确定单元1223,用于根据所述结果系数的取值确定所述过程模型。

在一个可选的实施例中,所述拟合函数中还包括正则项;

所述代入单元1222,还用于以所述边缘采样点和所述固定采样点,通过所述拟合函数对所述第一模型部分和所述第二模型部分进行形状拟合;

所述第一确定单元1223,还用于通过所述正则项对所述拟合结果进行平滑度控制,得到所述结果系数的取值。

在一个可选的实施例中,所述过程模型中还包括第一区域和第二区域,所述过渡区用于对所述第一区域和所述第二区域进行过渡;

所述处理模块1230,包括:

第二确定单元1231,用于针对所述过渡区域中的过渡采样点,确定所述过渡采样点与所述第一区域之间的第一权重值,以及所述过渡采样点与所述第二区域之间的第二权重值;

调整单元1232,用于以所述第一权重值和所述第二权重值对所述过渡采样点的位置进行调整。

在一个可选的实施例中,所述第二确定单元1231,还用于确定所述过渡采样点与所述第一区域中距离最近的第一采样点之间的第一距离;确定所述过渡采样点与所述第二区域中距离最近的第二采样点之间的第二距离;确定与所述第一距离对应的所述第一权重值,以及与所述第二距离对应的所述第二权重值。

在一个可选的实施例中,所述第二确定单元1231,还用于确定所述第一权重值和所述第二权重值中取值大的目标权重值;确定所述目标权重值对应的目标区域;

所述调整单元1232,还用于以所述目标权重值作为调整系数,将所述过渡采样点向所述目标区域的方向进行调整。

综上所述,本实施例提供的装置,在将第一模型部分和第二模型部分进行融合时,通过在第一模型部分上采集边缘位置上的边缘采样点,通过边缘采样点将第一模型部分和第二模型部分拟合得到过程模型,并对边缘采样点对应的过渡区域进行平滑处理,从而实现三维模型的自动融合,在确保三维模型融合质量的基础上提高了三维模型的融合效率。

需要说明的是:上述实施例提供的三维模型的融合装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的三维模型的融合装置与三维模型的融合方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图14示出了本申请一个示例性实施例提供的服务器的结构示意图。该具体来讲:

服务器1400包括中央处理单元(centralprocessingunit,cpu)1401、包括随机存取存储器(randomaccessmemory,ram)1402和只读存储器(readonlymemory,rom)1403的系统存储器1404,以及连接系统存储器1404和中央处理单元1401的系统总线1405。服务器1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(inputoutputsystem,i/o系统)1406,和用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1407。

基本输入/输出系统1406包括有用于显示信息的显示器1408和用于用户输入信息的诸如鼠标、键盘之类的输入设备1409。其中显示器1408和输入设备1409都通过连接到系统总线1405的输入输出控制器1410连接到中央处理单元1401。基本输入/输出系统1406还可以包括输入输出控制器1410以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1410还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1407通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。大容量存储设备1407及其相关联的计算机可读介质为服务器1400提供非易失性存储。也就是说,大容量存储设备1407可以包括诸如硬盘或者紧凑型光盘只读存储器(compactdiscreadonlymemory,cd-rom)驱动器之类的计算机可读介质(未示出)。

不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、带电可擦可编程只读存储器(electricallyerasableprogrammablereadonlymemory,eeprom)、闪存或其他固态存储其技术,cd-rom、数字通用光盘(digitalversatiledisc,dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。

根据本申请的各种实施例,服务器1400还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1400可以通过连接在系统总线1405上的网络接口单元1411连接到网络1412,或者说,也可以使用网络接口单元1411来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由cpu执行。

本申请的实施例还提供了一种计算机设备,该计算手机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的三维模型的融合方法。

本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的三维模型的融合方法。

本申请的实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述本申请实施例中任一所述的三维模型的融合方法。

可选地,该计算机可读存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、固态硬盘(ssd,solidstatedrives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(reram,resistancerandomaccessmemory)和动态随机存取存储器(dram,dynamicrandomaccessmemory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1