基于三维卡通模型的眼球配准方法、装置、服务器和介质与流程

文档序号:24488899发布日期:2021-03-30 21:13阅读:89来源:国知局
基于三维卡通模型的眼球配准方法、装置、服务器和介质与流程

本发明实施例涉及三维模型重建技术领域,尤其涉及一种基于三维卡通模型的眼球配准方法、装置、服务器和介质。



背景技术:

随着计算机技术的快速发展,增强现实(augmentedreality,ar)类的产品已经广泛应用到人们的日常生活中,ar产品中的虚拟内容需要无缝嵌入到真实图像中,从而给予用户一种虚拟内容真实存在的感觉;此时,为了实现用户在ar类产品中的多样化互动,会专门设计一种按照用户实际形象来定制对应的三维卡通形象的方案。

然而,目前针对不同用户的三维卡通形象定制时,需要在定制三维卡通模型的过程中,同时根据模型形变情况对其内的眼球大小和位置等进行适应性调整,此时会在通用的三维网格模型中采样大量模型点,然后通过计算各个模型点中的最近点情况,同步分析三维卡通形象和模型内眼球的具体形变,从而在三维卡通模型的定制过程中同步实现眼球的配准;此时,采用通用的三维网格模型来分析眼球的具体形变时,还会考虑模型的形变情况,使得现有的眼球配准算法较为复杂,存在极大的计算开销,影响三维卡通模型中的眼球配准效率。



技术实现要素:

本发明实施例提供了一种基于三维卡通模型的眼球配准方法、装置、服务器和介质,减少三维卡通模型中眼球配准的计算开销,降低三维卡通模型中眼球配准的复杂性,提高三维卡通模型中眼球配准的高效性。

第一方面,本发明实施例提供了一种基于三维卡通模型的眼球配准方法,该方法包括:

根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型;

根据所述三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在所述三维人脸卡通模型内的缩放配准参数;

以使按照所述缩放配准参数缩放后的三维眼球模板,与所述三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算所述三维眼球模板在所述三维人脸卡通模型内的平移配准参数。

第二方面,本发明实施例提供了一种基于三维卡通模型的眼球配准装置,该装置包括:

卡通模型定制模块,用于根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型;

缩放配准确定模块,用于根据所述三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在所述三维人脸卡通模型内的缩放配准参数;

平移配准确定模块,用于以使按照所述缩放配准参数缩放后的三维眼球模板,与所述三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算所述三维眼球模板在所述三维人脸卡通模型内的平移配准参数。

第三方面,本发明实施例提供了一种服务器,该服务器包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的基于三维卡通模型的眼球配准方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的基于三维卡通模型的眼球配准方法。

本发明实施例提供的一种基于三维卡通模型的眼球配准方法、装置、服务器和介质,首先按照待定制的人脸图像对统一设定的三维卡通网格模板进行形变,得到定制的三维人脸卡通模型,然后按照该三维人脸卡通模型内的眼眶形变信息,来计算预设的三维眼球模板在该三维人脸卡通模型内适应于该眼眶形变下的缩放配准参数,进而以使按照缩放配准参数缩放后的三维眼球模板,与三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算三维眼球模板在三维人脸卡通模型内的平移配准参数,从而避免出现三维人脸卡通模型内眼球不适配的情况,无需计算通用的三维网格模型中大量模型点的形变情况,极大减少三维卡通模型中眼球配准的计算开销,直接通过在三维人脸卡通模型内对三维眼球模板进行缩放和平移操作,即可实现三维人脸卡通模型内的眼球配准,降低了三维卡通模型中眼球配准的复杂性,提高了三维卡通模型中眼球配准的高效性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:

图1a为本发明实施例一提供的一种基于三维卡通模型的眼球配准方法的流程图;

图1b为本发明实施例一提供的基于三维卡通模型的眼球配准过程的原理示意图;

图2a为本发明实施例二提供的一种基于三维卡通模型的眼球配准方法的流程图;

图2b为本发明实施例二提供的基于三维卡通模型的眼球配准过程的原理示意图;

图2c为本发明实施例二提供的方法中三维人脸卡通模型内的眼皮边缘特征点的示意图;

图2d为本发明实施例二提供的方法中三维人脸卡通模型中眼皮网格内的各个特征点的示意图;

图3a为本发明实施例三提供的一种基于三维卡通模型的眼球配准方法的流程图;

图3b为本发明实施例三提供的方法中三维眼球模板内瞳孔中心点的示意图;

图3c为本发明实施例三提供的方法中三维眼球模板内瞳孔中心点在三维卡通网格模板上的最近特征点的示意图;

图3d为本发明实施例三提供的方法中三维眼球模板的平移配准过程的原理示意图;

图4为本发明实施例四提供的一种基于三维卡通模型的眼球配准装置的结构示意图;

图5为本发明实施例五提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1a为本发明实施例一提供的一种基于三维卡通模型的眼球配准方法的流程图,本实施例可适用于任一种在定制用户的三维卡通形象时,对其内的眼球大小和位置进行配准的情况中。本实施例提供的一种基于三维卡通模型的眼球配准方法可以由本发明实施例提供的基于三维卡通模型的眼球配准装置来执行,该装置可以通过软件和/或硬件的方式来实现,并集成在执行本方法的服务器中,该服务器可以是具备三维图像重建能力的后台服务器。

具体的,参考图1a,该方法可以包括如下步骤:

s110,根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型。

具体的,为了增加用户在ar类产品的多样化互动玩法,会在ar类产品中专门设计一种按照用户实际形象来定制对应的三维卡通形象的功能,此时为了避免采用通用的三维网格模型中的大量模型点,在三维卡通模型定制过程中同步实现眼球配准时,存在的计算开销过大且定制算法复杂的问题,同时考虑到在三维卡通形象的定制过程中需要配准的眼球,属于一种相对规则的三维模型,本实施例会将人脸图像中的三维卡通形象定制过程和眼球配准过程分离开来依次实现,首先按照人脸图像中的用户实际形象对用户的人脸外形、轮廓和表情等进行三维卡通形象的重建,然后在重建后的三维人脸卡通模型中对眼球进行配准,从而得到最终的三维人脸卡通形象。

其中,人脸图像是采集的包含有人脸画面的图像数据,由于本实施例主要应用于对ar类产品中采集的人脸图像进行三维卡通形象定制,因此可以通过ar类产品中配置的摄像头等图像采集器来采集当前的人脸图像。同时,为了保证三维人脸卡通形象的逼真性,本实施例会预先设定一个具备有标准卡通人脸形象的三维卡通网格模板,该三维卡通网格模板是根据标准的人脸卡通形象预先创建的添加有网格分布示意的三维卡通模型;在三维卡通网格模板的创建过程中,可以根据选定的模型像素分辨率以及网格形状不同,而创建不同精度或者不同网格形状的三维卡通网格模板,也就是使创建的三维卡通网格模板中的网格分布密集程度或者网格分布形状不同,例如可以由四边形的网格组成,还可以由三角形的网格组成。本实施例在按照某一人脸图像定制对应的三维卡通形象之前,首先会预存储一个创建好的三维卡通网格模板,后续可以参考同一个三维卡通网格模板,分别与不同的人脸图像进行匹配,来对各个人脸图像进行三维卡通形象定制,以避免不同人脸图像中人脸姿态或形象的限制。

可选的,本实施例在对三维卡通形象中的眼球进行配准前,首先会通过ar类产品来采集本次定制三维卡通形象时需要参考的人脸图像,以及预先存储的支持各个用户准确定制三维卡通形象的三维卡通网格模板,进而通过分析人脸图像中各个特征点的姿态位置等信息,对该三维卡通网格模板中的同一特征点进行相应的形变处理,以使形变后的三维卡通网格模板中卡通姿态能够与该人脸图像中的人脸姿态近似相同,并将形变后的三维卡通网格模板作为本实施例中按照该人脸图像所定制的三维人脸卡通模型,此时对于不同的人脸图像,均可以参考该三维卡通网格模板进行相应的形变,以得到各个人脸图像下定制的三维人脸卡通模型,此时所定制的三维人脸卡通模型与三维卡通网格模板中具有相同的网格顶点,以便后续根据眼皮部位上特定顶点的形变情况,来准确分析眼球的配准情况。

s120,根据三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在三维人脸卡通模型内的缩放配准参数。

可选的,考虑到在三维卡通形象的定制过程中需要配准的眼球,属于一种相对规则的三维模型,本实施例会将人脸图像中的三维卡通形象定制过程和眼球配准过程分离开来依次实现,此时针对三维人脸卡通模型内的眼球准确配准,本实施例会预先设定一个具有标准眼球规格的三维眼球模板,在按照人脸图像中的人脸姿态定制出三维人脸卡通模型后,可以通过适应性调整该三维眼球模板,以使调整后的三维眼球模板能够完全适合于所定制的三维人脸卡通模型内的眼部区域。

其中,由于按照人脸图像对三维卡通网格模板进行形变来定制三维人脸卡通模型时,所定制的三维人脸卡通模型中的眼眶大小和深度等均会发生相应的改变,使得眼球大小和位置也会产生相应变化,此时眼球大小的变化可以通过眼球的缩放配准参数来表示,而眼球位置的变化可以通过眼球的平移配准参数来表示。

在本实施例中,由于预设的三维眼球模板能够完整适配于预设的三维卡通网格模板中的眼眶内,而对眼球配准后的三维眼球模型也要求能够完整适配于所定制的三维人脸卡通模型中的眼眶内,因此如图1b所示,针对三维卡通网格模板中左眼和右眼的任一眼睛下的眼球配准,可以通过分析三维卡通网格模板中该眼睛下的眼眶原始大小,与形变后定制的三维人脸卡通模型内该眼睛下的眼眶实际大小之间的差异,来计算该三维眼球模板在三维人脸卡通模型内各个眼睛下的缩放配准参数,后续采用该缩放配准参数对该三维眼球模板在不同眼睛下进行对应的缩放操作,能够使缩放后得到的三维眼球模型能够完整适配于该三维人脸卡通模型中对应眼睛的眼眶内,从而保证所定制的三维人脸卡通模型内眼球大小配准的准确性。

s130,以使按照缩放配准参数缩放后的三维眼球模板,与三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算三维眼球模板在三维人脸卡通模型内的平移配准参数。

可选的,由于在定制三维人脸卡通模型时,按照人脸图像的眼部姿态可能会对三维卡通网格模型中眼眶深度进行形变,此时如果仅对三维眼球模板进行缩放,可能会使缩放后的三维眼球模板从三维卡通网格模型中的眼眶内突出,因此为了保证缩放后的三维眼球模板与三维卡通网格模型中眼眶深度的适配性,本实施例还需要对该缩放后的三维眼球模板进一步进行位置平移,以使所定制的三维人脸卡通模型中的眼皮能够完整包裹住配准后得到的三维眼球模型,保证三维人脸卡通模型内眼球配准的逼真程度。

具体的,本实施例针对三维人脸卡通模型中每一眼睛内的眼球配准,均可以通过分析缩放后的三维眼球模板,与三维人脸卡通模型内该眼睛下的眼皮网格之间是否存在穿插,来判断配准得到的三维眼球模型与三维卡通网格模型中的眼眶深度之间是否完整适配,此时首先在三维卡通网格模型的定制过程中同步查找出每一眼睛下为满足各种睁眼或闭眼情况下所定制的眼皮网格,此时如果按照三维眼球模板在三维人脸卡通模型内的缩放配准参数,对该三维眼球模板进行缩放操作后,通过分析缩放后的三维眼球模板与三维人脸卡通模型内的各个眼皮网格之间是否存在穿插,以及具体的穿插情况,从而确定出能够使缩放后的三维眼球模板与三维人脸卡通模型内的眼皮网格之间不存在任何穿插的平移配准参数。

此外,本实施例在确定出三维眼球模板在三维人脸卡通模型内的缩放配准参数和平移配准参数后,还会在三维人脸卡通模型内,采用缩放配准参数和平移配准参数依次对三维眼球模板进行配准;具体的,针对三维人脸卡通模型内每一眼睛下的眼球配准,首先采用三维人脸卡通模型内该眼睛下为三维眼球模板计算出的缩放配准参数,在三维人脸卡通模型的该眼睛内对三维眼球模板进行缩放,然后再次采用该眼睛下的平移配准参数,继续在三维人脸卡通模型的该眼睛内对缩放后的三维眼球模板进行对应平移,从而实现三维人脸卡通模型的各个眼睛内的眼球准确配准,避免出现配准后的三维眼球模型与三维人脸卡通模型内的眼皮网格之间存在穿插的情况。

本实施例提供的技术方案,首先按照待定制的人脸图像对统一设定的三维卡通网格模板进行形变,得到定制的三维人脸卡通模型,然后按照该三维人脸卡通模型内的眼眶形变信息,来计算预设的三维眼球模板在该三维人脸卡通模型内适应于该眼眶形变下的缩放配准参数,进而以使按照缩放配准参数缩放后的三维眼球模板,与三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算三维眼球模板在三维人脸卡通模型内的平移配准参数,从而避免出现三维人脸卡通模型内眼球不适配的情况,无需计算通用的三维网格模型中大量模型点的形变情况,极大减少三维卡通模型中眼球配准的计算开销,直接通过在三维人脸卡通模型内对三维眼球模板进行缩放和平移操作,即可实现三维人脸卡通模型内的眼球配准,降低了三维卡通模型中眼球配准的复杂性,提高了三维卡通模型中眼球配准的高效性。

实施例二

图2a为本发明实施例二提供的一种基于三维卡通模型的眼球配准方法的流程图,图2b为本发明实施例二提供的基于三维卡通模型的眼球配准过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的,如图2a所示,本实施例中主要对于三维卡通网格模板的具体形变过程以及三维眼球模板在三维人脸卡通模型内的配准参数的具体计算过程进行详细的解释说明。

可选的,如图2a所示,本实施例中可以包括如下步骤:

s210,按照待定制的人脸图像中的人脸外形与人脸表情依次对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型。

可选的,在按照人脸图像定制相应的三维卡通形象时,要求人脸外形和人脸表情的卡通形象能够与人脸图像相匹配,本实施例为了确保三维人脸卡通模型的逼真程度,如图2b所示,可以通过分析人脸图像中表示人脸外形的各个特征点的姿态,以及表示人脸表情的各个特征点的姿态,然后按照人脸外形姿态对三维卡通网格模板进行外形形变,以保证三维人脸卡通模型中卡通外形与人脸图像的匹配性,然后按照人脸表情姿态进一步对形变后的三维卡通网格模板再次进行人脸表情下的形变调整,从而得到定制的三维人脸卡通模型,保证三维人脸卡通模型内人脸外形与人脸表情的逼真性。

示例性的,本实施例可以利用人脸图像中各个特征点间的形变,来对人脸外形进行三维卡通建模,而为了保证三维人脸卡通模型中人脸表情的逼真性,可以采用混合变形(blendshape)模型实现,包括微笑blendshape、闭左眼blendshape(eyeblink_l)和闭右眼blendshape(eyeblink)等,此时按照人脸表情对各个blendshape网格进行对应形变,从而获得符合人脸实际形象的三维人脸卡通模型。

s220,提取三维人脸卡通模型内的眼皮边缘特征点,并按照各眼皮边缘特征点的形变信息,计算对应的眼眶形变信息。

在本实施例中,计算三维眼球模板在三维人脸卡通模型内的缩放配准参数时所参考的眼眶形变信息主要用于判断所定制的三维人脸卡通模型的各个眼睛内的眼眶大小,本实施例可以从三维人脸卡通模型中左眼或右眼所在的眼部区域内提取出能够准确表示眼眶位置的各个眼皮边缘特征点,然后分析每一眼皮边缘特征点在形变前的三维卡通网格模板内的初始位置,以及在形变后的三维人脸卡通模型内的形变位置,并每一眼皮边缘特征点的初始位置与形变位置之间的形变情况,确定出各个眼皮边缘特征点的形变信息,从而计算出对应的眼眶形变信息。

示例性的,如图2c所示,如果三维人脸卡通模型的某一眼皮部位存在4个眼皮边缘特征点vl,i、vr,i、vu,i和vb,i,且各个眼皮边缘特征点形变前的位置坐标采用p表示,而形变后的位置坐标采用q表示,其中i表示三维人脸卡通模型内的左眼或者右眼,那么三维眼球模板在三维人脸卡通模型内的缩放配准参数可以为:

s230,根据三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在三维人脸卡通模型内的缩放配准参数。

s240,确定三维人脸卡通模型内不同眼皮状态下的眼皮网格,并提取每一眼皮网格内的特征点。

可选的,由于三维人脸卡通模型在定制过程中,为了满足在各种眼部表情下眼皮开闭的逼真性,会针对各种眼部表情下的眼皮状态,专门同步定制对应的眼皮网格,以确保三维人脸卡通模型在各种眼部表情下的逼真性;同时,后续在按照缩放配准参数缩放三维眼球模板后,可以通过分析缩放后的三维眼球模板内的眼球中心点与眼皮网格内的各个特征点之间的距离是否查出缩放后的眼球半径,来判断缩放后的三维眼球模板与三维人脸卡通模型内的眼皮网格之间是否存在穿插,因此如图2d所示,首先需要从三维人脸卡通模型内不同眼皮状态下的每一眼皮网格中对应提取出大量网格顶点,作为该眼皮网格内的特征点,后续以此分析缩放后的三维眼球模板与三维人脸卡通模型内的眼皮网格之间是否存在穿插的情况。

s250,计算三维眼球模板按照缩放配准参数缩放后的眼球中心点和眼球半径。

在本实施例中,为了准确分析缩放后的三维眼球模板与三维人脸卡通模型内的眼皮网格之间是否存在穿插的情况,则需要在按照缩放配准参数对三维眼球模板进行缩放操作后,对应计算三维眼球模板缩放后的眼球半径;并分析三维眼球模板与形变前的三维卡通网格模板之间的关联特征点,在对应形变后得形变位置,进而按照该关联特征点形变后的位置与三维眼球模板缩放后的眼球半径,对应计算出三维眼球模板缩放后相对于三维人脸卡通模型的眼球中心点,后续通过分析三维人脸卡通模型内的各个特征点与该眼球中心点之间的距离是否超出缩放后的眼球半径,来判断缩放后的三维眼球模板与三维人脸卡通模型内的眼皮网格之间是否存在穿插。

s260,针对三维人脸卡通模型内眼皮网格上的每一特征点,根据该特征点与眼球中心点的距离,与眼球半径之间的差异,计算该特征点对应的子平移参数。

具体的,在从三维人脸卡通模型内每一眼皮网格上提取出各个特征点后,可以针对每一特征点,分别计算出该特征点与三维眼球模板缩放后的眼球中心点之间的距离,如果该距离小于三维眼球模板缩放后的眼球半径,说明三维人脸卡通模型中眼皮网格内的该特征点穿插在缩放后的三维眼球模板内,使得缩放后的三维眼球模板在三维人脸卡通模型的眼眶中突出显示,此时需要将缩放后的三维眼球模板向三维人脸卡通模型的眼框内部平移一段距离,以使三维人脸卡通模型内眼皮网格上的该特征点不会穿插到三维眼球模型中,此时根据该特征点与眼球中心点的距离,相对于缩放后的眼球半径之间的距离差异,可以计算出该特征点满足不穿插在三维眼球模型的要求时对应的子平移参数;此时,按照上述步骤可以计算出各个眼皮网格内的每一特征点对应的子平移参数,后续从各个特征点对应的子平移参数中选取出一个能够使全部特征点均不穿插在三维眼球模型中的平移配准参数。

s270,比对三维人脸卡通模型内眼皮网格上的每一特征点对应的子平移参数,确定三维眼球模板在三维人脸卡通模型内的平移配准参数。

可选的,在计算出三维人脸卡通模型中各个眼皮网格内的每一特征点对应的子平移参数后,由于各个子平移参数表示三维眼球模板的平移距离,因此可以通过比对每一特征点对应的子平移参数,筛选出最大的子平移参数,从而使全部特征点均不穿插在三维眼球模型中,进而将所筛选出的最大子平移参数作为本实施例中三维眼球模板在三维人脸卡通模型内的平移配准参数,以确保三维人脸卡通模型内眼球配准的逼真性。

本实施例提供的技术方案,利用三维人脸卡通模型内眼皮网格上的每一特征点与缩放后的眼球中心点的距离,相对于缩放后的眼球半径之间的距离差异,来计算每一特征点满足不穿插在配准后的三维眼球模型的要求时的子平移参数,然后比对各个特征点对应的子平移参数,确定三维眼球模板在三维人脸卡通模型内的平移配准参数,确保三维眼球模板在三维人脸卡通模型内的平移准确性,提高三维人脸卡通模型内眼球配准的逼真性。

实施例三

图3a为本发明实施例三提供的一种基于三维卡通模型的眼球配准方法的流程图。本实施例是在上述实施例的基础上进行优化。具体的,如图3a所示,本实施例中主要对于三维眼球模板缩放后的眼球中心点和眼球半径的具体计算过程和平移配准过程进行详细的解释说明。

可选的,如图3a所示,本实施例中可以包括如下步骤:

s310,根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型。

s320,根据三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在三维人脸卡通模型内的缩放配准参数。

s330,按照三维眼球模板的原始眼球半径和缩放配准参数,计算三维眼球模板按照缩放配准参数缩放后的眼球半径。

可选的,由于三维眼球模板按照缩放配准参数进行缩放操作时,眼球半径也会对应的缩放,此时首先可以在预设的三维眼球模板中提取出对应的瞳孔中心点,如图3b所示,由于在三维眼球模板下的眼球中心点可以为坐标原点,因此通过分析该瞳孔中心点的位置,即可计算出三维眼球模板的原始眼球半径,然后按照该缩放配准参数对该三维眼球模板的原始眼球半径进行对应的缩放,可以得到三维眼球模板按照缩放配准参数缩放后的眼球半径。

示例性的,如果缩放配准参数为si,三维眼球模板按照缩放配准参数缩放后的眼球半径可以为:其中,为三维眼球模板的原始眼球半径,ei为三维眼球模板的坐标系,ci为三维眼球模板的瞳孔中心点。

s340,根据三维眼球模板内的瞳孔中心点在三维人脸卡通模型中的最近特征点位置和眼球半径,计算三维眼球模板按照缩放配准参数缩放后的眼球中心点。

可选的,由于三维眼球模板的平移是面向三维人脸卡通模型所设的,因此在分析三维人脸卡通模型中眼皮网格内的每一特征点与缩放后的眼球中心点的距离时,也需要计算出眼球中心点相对于该三维人脸卡通模型的位置,因此本实施例可以通过分析三维眼球模板的瞳孔中心点在三维人脸卡通模型中的最近特征点的形变位置,来近似于分析瞳孔中心点相对于三维人脸卡通模型的实际位置,进而按照该瞳孔中心点在三维人脸卡通模型中的最近特征点位置和眼球半径之间的距离差异,计算出三维眼球模板按照缩放配准参数缩放后相对于三维人脸卡通模型的眼球中心点。

示例性的,对于瞳孔中心点在三维人脸卡通模型中的最近特征点位置的具体计算方式可以为:确定三维眼球模板内的瞳孔中心点在三维人脸网格模板中的原始最近特征点;基于原始最近特征点在三维人脸卡通模型中的形变位置,确定瞳孔中心点在三维人脸卡通模型中的最近特征点位置。

具体的,如图3c所示,按照三维卡通网格模板中的左眼和右眼,首先可以计算出三维眼球模板内的瞳孔中心点在形变前的三维卡通网格模板中任一眼皮下的原始最近特征点位置为:bi={barycentric,triangle};其中,barycentric为该原始最近特征点的重心坐标,triangle为该原始最近特征点在三维卡通网格模板中所处的某一网格内的各个网格顶点,然后在对三维卡通网格模板进行形变而得到定制出三维人脸卡通模型后,可以计算出形变后的最近特征点在形变后的三维人脸卡通模型中的位置为t’i=t.barycentricgq(t.triangle);其中,t.barycentric为瞳孔中心点在形变前的三维卡通网格模板中的原始最近特征点的重心坐标,t.triangle为瞳孔中心点在形变前的三维卡通网格模板中的原始最近特征点所处网格内的网格顶点,q表示三维卡通网格模板的具体形变坐标。然后,可以将瞳孔中心点在三维人脸卡通模型中的最近特征点近似作为该瞳孔中心点,通过计算该最近特征点位置和眼球半径之间的差距,即可计算出三维眼球模板按照缩放配准参数缩放后相对于三维人脸卡通模型的眼球中心点,此时三维眼球模板按照缩放配准参数缩放后的眼球中心点可以为

s350,针对三维人脸卡通模型内眼皮网格上的每一特征点,以使三维眼球模板平移后的眼球中心点与该特征点的距离,与眼球半径相等为目标,计算该特征点对应的子平移参数。

示例性的,针对三维人脸卡通模型内各眼皮网格上的每一特征点pi,如果要求该特征点未穿插在该缩放后的三维眼球模板内,则可以使缩放后的三维眼球模板与该特征点正好相切,也就是如图3d所示,在将缩放后的三维眼球模板平移一定距离后所得到的眼球中心点与该特征点的距离,正好与缩放后的眼球半径相等,此时若设定该特征点对应的子平移参数为x,那么缩放后的三维眼球模板在平移后的眼球中心点为此时可确定也就是整理可得:即可计算出该特征点对应的子平移参数x;按照上述步骤可以得到每一特征点对应的子平移参数,通过比对各个子平移参数,得到最大子平移参数从而计算出三维眼球模板在三维人脸卡通模型内的平移配准参数为而缩放配准参数为si,后续直接依次按照缩放配准参数和平移配准参数对三维眼球模板进行缩放和平移操作,即可实现三维人脸卡通模型内的眼球准确配准。

s360,比对三维人脸卡通模型内眼皮网格上的每一特征点对应的子平移参数,确定三维眼球模板在三维人脸卡通模型内的平移配准参数。

本实施例提供的技术方案,首先按照待定制的人脸图像对统一设定的三维卡通网格模板进行形变,得到定制的三维人脸卡通模型,然后按照该三维人脸卡通模型内的眼眶形变信息,来计算预设的三维眼球模板在该三维人脸卡通模型内适应于该眼眶形变下的缩放配准参数,进而以使按照缩放配准参数缩放后的三维眼球模板,与三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算三维眼球模板在三维人脸卡通模型内的平移配准参数,从而避免出现三维人脸卡通模型内眼球不适配的情况,无需计算通用的三维网格模型中大量模型点的形变情况,极大减少三维卡通模型中眼球配准的计算开销,直接通过在三维人脸卡通模型内对三维眼球模板进行缩放和平移操作,即可实现三维人脸卡通模型内的眼球配准,降低了三维卡通模型中眼球配准的复杂性,提高了三维卡通模型中眼球配准的高效性。

实施例四

图4为本发明实施例四提供的一种基于三维卡通模型的眼球配准装置的结构示意图,具体的,如图4所示,该装置可以包括:

卡通模型定制模块410,用于根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型;

缩放配准确定模块420,用于根据所述三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在所述三维人脸卡通模型内的缩放配准参数;

平移配准确定模块430,用于以使按照所述缩放配准参数缩放后的三维眼球模板,与所述三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算所述三维眼球模板在所述三维人脸卡通模型内的平移配准参数。

本实施例提供的技术方案,首先按照待定制的人脸图像对统一设定的三维卡通网格模板进行形变,得到定制的三维人脸卡通模型,然后按照该三维人脸卡通模型内的眼眶形变信息,来计算预设的三维眼球模板在该三维人脸卡通模型内适应于该眼眶形变下的缩放配准参数,进而以使按照缩放配准参数缩放后的三维眼球模板,与三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算三维眼球模板在三维人脸卡通模型内的平移配准参数,从而避免出现三维人脸卡通模型内眼球不适配的情况,无需计算通用的三维网格模型中大量模型点的形变情况,极大减少三维卡通模型中眼球配准的计算开销,直接通过在三维人脸卡通模型内对三维眼球模板进行缩放和平移操作,即可实现三维人脸卡通模型内的眼球配准,降低了三维卡通模型中眼球配准的复杂性,提高了三维卡通模型中眼球配准的高效性。

本实施例提供的基于三维卡通模型的眼球配准装置可适用于上述任意实施例提供的基于三维卡通模型的眼球配准方法,具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种服务器的结构示意图,如图5所示,该服务器包括处理器50、存储装置51和通信装置52;服务器中处理器50的数量可以是一个或多个,图5中以一个处理器50为例;服务器中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接,图5中以通过总线连接为例。

本实施例提供的一种服务器可用于执行上述任意实施例提供的基于三维卡通模型的眼球配准方法,具备相应的功能和有益效果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时可实现上述任意实施例中的基于三维卡通模型的眼球配准方法。该方法具体可以包括:

根据待定制的人脸图像对三维卡通网格模板进行形变,得到定制的三维人脸卡通模型;

根据所述三维人脸卡通模型内的眼眶形变信息,计算预设的三维眼球模板在所述三维人脸卡通模型内的缩放配准参数;

以使按照所述缩放配准参数缩放后的三维眼球模板,与所述三维人脸卡通模型内的眼皮网格之间不存在穿插为目标,计算所述三维眼球模板在所述三维人脸卡通模型内的平移配准参数。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的基于三维卡通模型的眼球配准方法中的相关操作。

通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是,上述基于三维卡通模型的眼球配准装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1