三维人脸图像生成方法、装置及电子设备与流程

文档序号:16686231发布日期:2019-01-22 18:20阅读:190来源:国知局
三维人脸图像生成方法、装置及电子设备与流程

本发明涉及三维人脸图像生成技术领域,尤其涉及一种三维人脸图像生成方法、装置及电子设备。



背景技术:

三维人脸重建在医疗、教育、娱乐等领域目前已经得到了非常广泛的应用。发明人在实现本发明的过程中发现,在三维人脸重建的过程中,利用多张图像多个角度来拼合成三维模型,但由于需要大量的图像,所以重建过程繁琐复杂,需要在多张大范围面部姿态图像中建立像素之间的密集对应,而导致同一个个体的3d模拟差异较大,同时导致重建的时间长,成本高。此外,手机等便携电子设备出于娱乐的目的越来越多使用三维人脸重建技术,获取二维人脸图像主要通过电子设备的摄像头,而后期三维人脸图像的重建效果部分取决于前期摄像装置获取图像的质量,而获取图像质量又部分的取决于拍摄时对抖动的处理效果,目前的手机主要通过软件进行防抖处理,硬件并未有针对性的改进。



技术实现要素:

本发明实施例提供的三维人脸图像生成方法、装置及电子设备,用以至少解决相关技术中的上述问题。

本发明实施例一方面提供了一种三维人脸图像生成方法,包括:对获取图像中的人脸进行识别,获取第一人脸特征点信息,所述人像特征点用于唯一标识所述人脸;根据所述第一人脸特征点信息和预先训练的卷积神经网络模型,得到第一三维人脸模型参数信息;根据所述第一三维人脸模型参数信息对预先获得的三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像。

进一步地,所述卷积神经网络模型的训练方法包括:搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型;获取用于训练所述卷积神经网络模型的数据集,所述数据集中包括若干二维人脸图像和所述二维人脸图像对应的三维人像扫描数据;对所述二维人脸图像进行预处理得到第二人脸特征点信息;将所述第二人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息;利用交叉熵损失函数对所述卷积神经网络的参数进行优化,直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。

进一步地,所述第一三维人脸模型参数信息包括:人脸形状信息、人脸表情信息和人脸姿态信息。

进一步地,所述根据所述三维人脸模型参数信息对预先获得的三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像,包括:根据所述人脸形状信息和所述人脸表情信息对所述三维平均人脸模型进行处理,得到初始三维人脸模型;根据所述人脸姿态信息对所述初始三维人脸图像进行调整,得到所述人脸对应的三维人脸图像。

进一步地,所述对图像中的人脸进行识别,获取第一人脸特征点信息,包括:使用特征点识别算法得到第一预设数量的特征点,确定所述特征点信息的二维坐标位置;根据所述二维坐标位置得到代表所述特征点周围第二预设数量像素的第一人脸特征点信息。

进一步地,通过图像获取设备获取所述图像,所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器,所述镜头固装在所述自动聚焦音圈马达上,所述镜头用于获取图像,所述图像传感器将所述镜头获取的图像传输至所述识别模块,所述自动聚焦音圈马达安装在所述机械防抖器上,所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作,实现镜头的抖动补偿。

进一步地,所述机械防抖器包括活动板、基板以及补偿机构,所述活动板和所述基板的中部均设有所述镜头穿过的通孔,所述自动聚焦音圈马达安装在所述活动板上,所述活动板安装在所述基板上,且所述基板的尺寸大于所述活动板,所述补偿机构在所述处理模块的驱动下带动所述活动板和活动板上的镜头动作,以实现镜头的抖动补偿;所述补偿机构包括安装在所述基板四周的第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件,其中所述第一补偿组件和所述第三补偿组件相对设置,所述第二补偿组件与所述第四补偿组件相对设置,所述第一补偿组件与第三补偿组件之间的连线与所述第一补偿组件与第三补偿组件之间的连线相互垂直;所述第一补偿组件、第二补偿组件、第三补偿组件以及第四补偿组件均包括驱动件、转轴、单向轴承以及转动齿圈;所述驱动件受控于所述处理模块,所述驱动件与所述转轴传动连接,以带动所述转轴转动;所述转轴与所述单向轴承的内圈相连接,以带动所述单向轴承的内圈转动;所述转动齿圈套设在所述单向轴承上并与所述单向轴承的外圈相连接,所述转动齿圈的外表面沿其周向设有一圈外齿,所述活动板的底面设有多排均匀间隔布设的条形槽,所述条形槽与所述外齿相啮合,且所述外齿可沿所述条形槽的长度方向滑动;其中,所述第一补偿组件的单向轴承的可转动方向与所述第三补偿组件的单向轴承的可转动方向相反,所述第二补偿组件的单向轴承的可转动方向与所述第四补偿组件的单向轴承的可转动方向相反。

进一步地,所述固定板的四周开设有四个贯穿的安装孔,所述安装孔上安装有所述单向轴承和所述转动齿圈。

进一步地,所述驱动件为微型电机,所述微型电机与所述处理模块电连接,所述微型电机的转动输出端与所述转轴相连接;或,所述驱动件包括记忆合金丝和曲柄连杆,所述记忆合金丝一端固定于所述固定板上,并与所述处理模块通过电路相连接,所述记忆合金丝另一端通过所述曲柄连杆与所述转轴相连接,以带动所述转轴转动。

进一步地,所述图像获取设备设置于手机上,手机包括支架,所述支架包括手机安装座和可伸缩的支撑杆;所述手机安装座包括可伸缩的连接板和安装于连接板相对两端的折叠板组,所述支撑杆的一端与所述连接板中部通过阻尼铰链相连接;所述折叠板组包括第一板体、第二板体及第三板体,其中,所述第一板体的相对两端中的一端与所述连接板相铰接,所述第一板体的相对两端中的另一端与所述第二板体的相对两端中的一端相铰接;所述第二板体相对两端的另一端与所述第三板体相对两端中的一端相铰接;所述第二板体设有供手机边角插入的开口;所述手机安装座用于安装手机时,所述第一板体、第二板体和第三板体折叠呈直角三角形状态,所述第二板体为直角三角形的斜边,所述第一板体和所述第三板体为直角三角形的直角边,其中,所述第三板体的一个侧面与所述连接板的一个侧面并排贴合,所述第三板体相对两端中的另一端与所述第一板体相对两端中的一端相抵。

进一步地,所述第三板体的一个侧面设有第一连接部,所述连接板与所述第三板体相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架手机安装座用于安装手机时,所述第一连接部和所述第一配合部卡合连接。

进一步地,所述第一板体相对两端中的一端设有第二连接部,所述第三板体相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架手机安装座用于安装手机时,所述第二连接部和所述第二配合部卡合连接。

进一步地,所述支撑杆的另一端可拆卸连接有底座。

本发明实施例的另一方面提供了一种三维人脸图像生成装置,包括:

识别模块,用于获取人脸图像并对图像中的人脸进行识别,获取第一人脸特征点信息,所述人像特征点用于唯一标识所述人脸;输出模块,用于根据所述第一人脸特征点信息和预先训练的卷积神经网络模型,得到第一三维人脸模型参数信息;处理模块,用于根据所述第一三维人脸模型参数信息对预先获得的三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像。

进一步地,所述装置还包括训练模块,所述训练模块包括:搭建单元,用于搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型;获取单元,用于获取用于训练所述卷积神经网络模型的数据集,所述数据集中包括若干二维人脸图像和所述二维人脸图像对应的三维人像扫描数据;预处理单元,用于对所述二维人脸图像进行预处理得到第二人脸特征点信息;输入单元,用于将所述第二人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息;优化单元,用于利用交叉熵损失函数对所述卷积神经网络的参数进行优化,直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。

进一步地,所述第一三维人脸模型参数信息包括:人脸形状信息、人脸表情信息和人脸姿态信息。

进一步地,所述处理模块具体用于,根据所述人脸形状信息和所述人脸表情信息对所述三维平均人脸模型进行处理,得到初始三维人脸模型;根据所述人脸姿态信息对所述初始三维人脸图像进行调整,得到所述人脸对应的三维人脸图像。

进一步地,所述识别模块具体用于,使用特征点识别算法得到第一预设数量的特征点,确定所述特征点信息的二维坐标位置;根据所述二维坐标位置得到代表所述特征点周围第二预设数量像素的第一人脸特征点信息。

本发明实施例的又一方面提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明实施例上述任一项三维人脸图像生成方法。

上述电子设备可以是用于获取人脸图像的所述图像获取设备。

由以上技术方案可见,本发明实施例提供的三维人脸图像生成方法、装置及电子设备,无需采集多角度多张图像,仅需单张图像即可生成三维人脸图像;采用卷积神经网络图像,可自动生成更准确和更逼真的人脸表情和姿态,且无需硬件的支持,多方面降低成本。同时,通过改进图像获取设备的防抖结构,改善了图像获取质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的三维人脸图像生成方法流程图;

图2为本发明一个实施例提供的步骤s101的具体流程图;

图3为本发明一个实施例提供的步骤s103的具体流程图;

图4为本发明一个实施例提供的三维人脸图像生成装置结构图;

图5为本发明一个实施例提供的三维人脸图像生成装置结构图;

图6为执行本发明方法实施例提供的用于执行三维人脸图像生成方法的电子设备的硬件结构示意图;

图7为本发明一个实施例提供的图像获取设备的结构图;

图8为本发明一个实施例提供的光学防抖器的结构图;

图9为图8的a部放大图;

图10为本发明一个实施例提供的微型记忆合金光学防抖器的活动板的底面示意图;

图11为本发明一个实施例提供的支架的结构图;

图12为本发明一个实施例提供的支架的一个状态示意图;

图13为本发明一个实施例提供的支架的另一个状态示意图;

图14为本发明一个实施例提供的安装座与手机相连接时的结构状态图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。基于本发明实施例中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。

本发明实施例的执行主体为电子设备,所述电子设备包括但不限于手机、平板电脑、笔记本电脑、带摄像头的台式电脑等。下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的三维人脸图像生成方法流程图。如图1所示,本发明实施例提供的三维人脸图像生成方法,包括:

s101,对获取图像中的人脸进行识别,获取第一人脸特征点信息,所述人像特征点用于唯一标识所述人脸。

通常情况下,获取的人脸图像中会包含非人脸部分的图像,例如背景环境图像等,因此需要对图像中的人脸图像进行识别。在进行本步骤时,可以识别通过实时拍摄的方式获取的图像中的图像,也可以识别保存于终端本地的图像中的图像。第一人脸特征点信息包括但不限于人脸特征点在图像中的坐标参数值以及纹理参数(即rgb特征的纹理参数)。

许多识别人脸图像的识别方法,例如可以根据图像的边缘信息和/或颜色信息等识别出人脸图像的范围,在本实施例中,通过识别预先定义的关键点,基于检测到的关键点确定第一人脸特征点信息。例如,人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴等分别有若干个所述关键点组成,即通过所述关键点的坐标位置能够确定所述人脸图像中的眉毛、眼睛、鼻子、脸庞和嘴巴的位置及纹理。

作为本步骤的一种可选实施方式,所述对图像中的人脸进行识别,获取第一人脸特征点信息,包括以下步骤:识别第一预设数量的特征点,确定所述特征点信息的二维坐标位置;根据所述特征点信息的二维坐标位置获得代表所述特征点周围第二预设数量像素的第一人脸特征点信息。

具体的:

利用现有技术中的人脸特征点识别算法来获取第一人脸特征点信息。对于人脸特征点识别算法的训练通常包括如下步骤:首先,获取一定数量的训练集,该训练集中为携带有人脸特征点信息的图像;其次,利用该训练集训练形成初始回归函数r0和初始训练集;再次,利用该初始训练集和初始回归函数r0迭代形成下一次训练集和回归函数rn;每次迭代回归函数均使用梯度提升算法进行学习,从而当第n次训练集与训练集中的人脸特征点信息满足收敛条件时,则其对应的回归函数rn即为训练完成的人脸特征点识别算法。

对图像进行人脸检测,得到人脸在图像中的位置,用范围矩形框标识人脸的范围,例如(左,上,右,下)。通过训练好的特征点识别算法中的回归函数对输入人像照片识别得到第一预设数量的特征点、以及每个第一人脸特征点坐标(xi,yi),其中,i代表识别得到的第i个特征点,第一预设数量可以是68个,包括眉毛,眼睛,鼻子,嘴巴,脸庞的关键点。对每个第一人脸特征点,根据其坐标(xi,yi)形成一个代表该特征点周围第二预设数量像素的纹理参数(ri,gi,bi)。可选地,该第二预设数量可以是6个、8个等,本发明在此不做限定。

s102,根据所述第一人脸特征点信息和预先训练的卷积神经网络模型,得到第一三维人脸模型参数信息。

具体地,卷积神经网络cnn是一种深度前馈人工神经网络。cnn的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征,一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。卷积神经网络通常包括一维卷积神经网络、二维卷积神经网络和三维卷积神经网络,现有技术已有这些卷积神经网络数学模型的大量介绍,此处不再赘述,也不对卷积神经网络的类型进行限定。

如图2所示,对卷积神经网络模型的训练可以包括如下步骤:

s201,搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型。

s202,获取用于训练所述卷积神经网络模型的数据集,所述数据集中包括若干二维人脸图像和所述二维人脸图像对应的三维人像扫描数据。

需要说明是,步骤s1021和步骤s1022没有先后顺序的限制,可以先获取数据集、再进行卷积神经网络模型的搭建,也可以先进行卷及神经网络模型的搭建、在获取数据集,本发明在此不做限制。

具体来说,本步骤中获取输入样本数据集的方式包括从互联网上直接下载图像作为输入样本数据集,以及人为拍摄图像作为输入样本数据集,其中人为拍摄的图像可以包括不同种族的人的图像、不同光影效果的人的图像。三维人像扫描数据主要包括人脸的姿态信息(比如人脸的倾斜角度、偏转角度、转动角度等、人脸特征点的形状参数以及人脸特征点的表情参数。

s203,对所述二维人脸图像进行预处理得到第二人脸特征点信息。

具体地,可以利用步骤s101中介绍的方法得到二维人脸图像的第二人脸特征点信息,即获取得到第二人脸特征点坐标(xi,yi)以及该特征点对应的纹理参数(ri,gi,bi),其中,i代表识别得到的第i个特征点。

s204,将所述第二人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息。

在本步骤中,每次输入给卷积神经网络模型的是第二人脸特征点信息,该第二人脸特征点信息可以反映当前人脸形状的信息,输出为第二三维人脸模型参数p。该算法使用卷积神经网络拟合从输入到输出的映射函数,网络结构包含了4个卷积层,3个池化层和2个全连接层。通过级联多个卷积神经网络直至在训练集上收敛,根据当前预测的人脸形状更新,并作为下一级卷积神经网络的输入。

该网络的前两个卷积层通过权值共享的方法抽取面部特征,后两个卷积层通过局部感知抽取面部特征,进一步回归一个256维空间的特征向量,输出的一个234维空间的特征向量,第二三维人脸模型参数p。其中包括人脸姿态参数[f,pitch,yaw,roll,t2dx,t2dy],形状参数αid,表情参数αexp。其中,f是比例因子、pitch为倾斜角度、yaw为偏转角度、roll为转动角度,t2dx、t2dy是偏置项。

s205,利用交叉熵损失函数对所述卷积神经网络的参数进行优化,直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。

在深度学习中,损失函数是模型数据拟合程度的反映,当拟合的结果越差,损失函数的值就会越大。总体上来看,在经过k(k=0,1,...k)次迭后,经过一个初始化的参数的变化后会得到参数pk,根据上述三维人像扫描数据训练一个神经网络netk来预测参数p,不断的更新pk。该网络用数学公式表示如下:

△pk=netk(i,pncc(pk))

经过网络模型的每一次迭代都会得到一个更好的参数pk+1=pk+△pk作为下一层网络的输入,其中的结构和netk一样,直至pk+1与所述三维人像扫描数据的损失函数收敛到预设阈值,说明卷积神经网络模型训练完成。本实施例使用的交叉熵损失函数优化法属于本领域常用算法,具体过程在此不再赘述。

s103,根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像。

人脸共性较多。正常人脸都是有一个鼻子、两只眼睛、一个嘴巴、两只耳朵,从上到下,从左到右顺序都不变,所以可以首先建三维平均人脸模型,因为人脸的相似性较大,总是可以从一张正常人脸变化到另外一张正常人脸,通过计算变化量来改变平均人脸模型,所以这也就是三维人脸重建的基础。

具体地,如图3所示,本步骤可以通过如下子步骤实现:

步骤s1031,根据所述人脸形状信息和所述人脸表情信息对所述三维平均人脸模型进行处理,得到初始三维人脸模型。

具体地,可以根据如下公式进行处理:

s=s0+aid*αid+aexp*αexp

上式中s是初始三维人脸模型,s0是平均人脸模型,aid是形状的基向量,αid是形状参数,aexp是表情的基向量,αexp是表情参数。aexp和aexp可通过现有算法预先求得。

s1032,根据所述人脸姿态信息对所述初始三维人脸图像进行调整,得到所述人脸对应的三维人脸图像。

具体地,初始三维人脸模型通过弱透视投影将人脸模型投影到图像平面上,得到所述人脸对应的三维人脸图像,公式表示如下:

v(p)=f*pr*r(s0+aidαid+aexpαexp)+t2d

上式中v(p)就是重建的所述人脸对应的三维人脸图像,f是比例因子,pr是直角投影矩阵,r是旋转矩阵,由倾斜角度(pitch)、偏转角度(yaw)、转动角度(roll)组成,是根据特征点识别到的二维图像中人脸的姿态信息得到的。

本发明实施例提供的三维人脸图像生成方法,仅需单张图像即可生成三维人脸图像;采用卷积神经网络图像,可自动生成更准确和更逼真的人脸表情和姿态,且无需硬件的支持,多方面降低成本。

图4为本发明实施例提供的三维人脸图像生成装置结构图。如图4所示,该装置具体包括:识别模块100,输出模块200和处理模块300。其中,

识别模块100,用于对获取图像中的人脸进行识别,获取第一人脸特征点信息,所述人像特征点用于唯一标识所述人脸;输出模块200,用于根据所述第一人脸特征点信息和预先训练的卷积神经网络模型,得到第一三维人脸模型参数信息;处理模块300,用于根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像。

本发明实施例提供的三维人脸图像生成装置具体用于执行图1所示实施例提供的所述方法,其实现原理、方法和功能用途等与图1所示实施例类似,在此不再赘述。

图5为本发明实施例提供的三维人脸图像生成装置结构图。如图5所示,该装置具体包括:训练模块400、识别模块200,输出模块300和处理模块400。其中,

训练模块400包括:搭建单元410,用于搭建由两层沙漏型卷积神经网络组成的卷积神经网络模型;获取单元420,用于获取用于训练所述卷积神经网络模型的数据集,所述数据集中包括若干二维人脸图像和所述二维人脸图像对应的三维人像扫描数据;预处理单元430,用于对所述二维人脸图像进行预处理得到第二人脸特征点信息;输入单元440,用于将所述第二人脸特征点信息输入至所述卷积神经网络模型得到第二三维人脸模型参数信息;优化单元450,用于利用交叉熵损失函数对所述卷积神经网络的参数进行优化,直至所述第二三维人脸模型参数信息与所述三维人像扫描数据的损失函数收敛到预设阈值。

识别模块200,用于对图像中的人脸进行识别,获取第一人脸特征点信息,所述人像特征点用于唯一标识所述人脸;输出模块300,用于根据所述第一人脸特征点信息和预先训练的卷积神经网络模型,得到第一三维人脸模型参数信息;处理模块400,用于根据所述第一三维人脸模型参数信息对三维平均人脸模型进行处理,得到所述人脸对应的三维人脸图像。

可选地,所述第一三维人脸模型参数信息包括:人脸形状信息、人脸表情信息和人脸姿态信息。

可选地,处理模块400具体用于,根据所述人脸形状信息和所述人脸表情信息对所述三维平均人脸模型进行处理,得到初始三维人脸模型;根据所述人脸姿态信息对所述初始三维人脸图像进行调整,得到所述人脸对应的三维人脸图像。

可选地,识别模块200具体用于,使用特征点识别算法得到第一预设数量的特征点,确定所述特征点信息的二维坐标位置;根据所述二维坐标位置得到代表所述特征点周围第二预设数量像素的第一人脸特征点信息,具体参见方法实施例。

本发明实施例提供的三维人脸图像生成装置具体用于执行图1-图3所示实施例提供的所述方法,其实现原理、方法和功能用途和图1-图3所示实施例类似,在此不再赘述。

上述这些本发明实施例的三维人脸图像生成装置可以作为其中一个软件或者硬件功能单元,独立设置在上述电子设备中,也可以作为整合在处理器中的其中一个功能模块,执行本发明实施例的三维人脸图像生成方法。

图6为执行本发明方法实施例提供的用于执行三维人脸图像生成方法的电子设备的硬件结构示意图。根据图6所示,该电子设备包括:

一个或多个处理器610以及存储器620,图6中以一个处理器610为例。

执行所述的三维人脸图像生成方法的设备还可以包括:输入装置630和输出装置630。

处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接,图6中以通过总线连接为例。

存储器620作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本发明实施例中的所述三维人脸图像生成方法对应的程序指令/模块。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现所述三维人脸图像生成方法。

存储器620可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据本发明实施例提供的三维人脸图像生成装置的使用所创建的数据等。此外,存储器620可以包括高速随机存取存储器620,还可以包括非易失性存储器620,例如至少一个磁盘存储器620件、闪存器件、或其他非易失性固态存储器620件。在一些实施例中,存储器620可选包括相对于处理器66远程设置的存储器620,这些远程存储器620可以通过网络连接至所述三维人脸图像生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置630可接收输入的数字或字符信息,以及产生与三维人脸图像生成装置的用户设置以及功能控制有关的键信号输入。输入装置630可包括按压模组等设备。

所述一个或者多个模块存储在所述存储器620中,当被所述一个或者多个处理器610执行时,执行所述三维人脸图像生成方法。

本发明实施例的电子设备以多种形式存在,包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机,以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等,例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。

(4)其他具有数据交互功能的电子装置。

优选的,所述电子设备上设置有用于获取图像的图像获取设备,图像获取设备上为保证获取图像的质量往往设置有软件或硬件防抖器。现有的防抖器大多由通电线圈在磁场中产生洛伦磁力驱动镜头移动,而要实现光学防抖,需要在至少两个方向上驱动镜头,这意味着需要布置多个线圈,会给整体结构的微型化带来一定挑战,而且容易受外界磁场干扰,进而影响防抖效果,因此公开号为cn106131435a的中国专利提供了一种微型光学防抖摄像头模组,其通过温度变化实现记忆合金丝的拉伸和缩短,以此拉动自动聚焦音圈马达移动,实现镜头的抖动补偿,微型记忆合金光学防抖致动器的控制芯片可以控制驱动信号的变化来改变记忆合金丝的温度,以此控制记忆合金丝的伸长和缩短,并且根据记忆合金丝的电阻来计算致动器的位置和移动距离。当微型记忆合金光学防抖致动器上移动到指定位置后反馈记忆合金丝此时的电阻,通过比较这个电阻值与目标值的偏差,可以校正微型记忆合金光学防抖致动器上的移动偏差。

但是申请人发现,由于抖动的随机性和不确定性,仅仅依靠上述技术方案的结构是无法实现在多次抖动发生的情况下能够对镜头进行精确的补偿,这是由于形状记忆合金的升温和降温均需要一定的时间,当抖动向第一方向发生时,上述技术方案可以实现镜头对第一方向抖动的补偿,但是当随之而来的第二方向的抖动发生时,由于记忆合金丝来不及在瞬间变形,因此容易造成补偿不及时,无法精准实现对多次抖动和不同方向的连续抖动的镜头抖动补偿,因此需要对其结构上进行改进,以期获得更好的图像质量,从而便于后续三维图像的生成。

结合附图8-10所示,本实施例对学防抖器进行改进,将其设计为机械防抖器3000,其具体结构如下:

本实施例的所述机械防抖器3000包括活动板3100、基板3200以及补偿机构3300,所述活动板3100和所述基板3200的中部均设有所述镜头1000穿过的通孔,所述自动聚焦音圈马达2000安装在所述活动板3100上,所述活动板3100安装在所述基板3200上,且所述基板3200的尺寸大于所述活动板3100,所述活动板3100通过其上方的自动聚焦音圈马达限位其上下的移动,所述补偿机构3300在所述处理模块的驱动下带动所述活动板3100和活动板3100上的镜头1000动作,以实现镜头1000的抖动补偿。

具体的,本实施例的所述补偿机构3300包括安装在所述基板3200四周的第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340,其中所述第一补偿组件3310和所述第三补偿组件3330相对设置,所述第二补偿组件3320与所述第四补偿组件3340相对设置,所述第一补偿组件3310与第三补偿组件3330之间的连线与所述第一补偿组件3310与第三补偿组件3330之间的连线相互垂直,即一补偿组件、第二补偿组件3320、第三补偿组件3330分别布设在活动板3100的前后左右四个方位,第一补偿组件3310可使得活动板3100向前运动,第三补偿组件3330可使得活动板3100向后运动,第二补偿组件3320可使得活动板3100向左运动,第四补偿组件3340可使得活动板3100向左运动,而且第一补偿组件3310可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动,第三补偿组件3330也可以与第二补偿组件3320或者第四补偿组件3340相配合实现活动板3100向倾斜方向的运动,实现可以对镜头1000在各个抖动方向上的补偿。

具体的,本实施例的所述第一补偿组件3310、第二补偿组件3320、第三补偿组件3330以及第四补偿组件3340均包括驱动件3301、转轴3302、单向轴承3303以及转动齿圈3304。所述驱动件3301受控于所述处理模块,所述驱动件3301与所述转轴3302传动连接,以带动所述转轴3302转动。所述转轴3302与所述单向轴承3303的内圈相连接,以带动所述单向轴承3303的内圈转动;所述转动齿圈3304套设在所述单向轴承3303上并与所述单向轴承3303的外圈固定连接,所述转动齿圈3304的外表面沿其周向设有一圈外齿,所述活动板3100的底面设有多排均匀间隔布设的条形槽3110,所述条形槽3110与所述外齿相啮合,且所述外齿可沿所述条形槽3110的长度方向滑动;其中,所述第一补偿组件3310的单向轴承3303的可转动方向与所述第三补偿组件3330的单向轴承3303的可转动方向相反,所述第二补偿组件3320的单向轴承3303的可转动方向与所述第四补偿组件3340的单向轴承3303的可转动方向相反。

单向轴承3303是在一个方向上可以自由转动,而在另一个方向上锁死的一种轴承,当需要使得活动板3100向前移动时,第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动,此时,单向轴承3303处于锁死状态,因此单向轴承3303的内圈可以带动外圈转动,进而带动转动齿圈3304转动,转动齿圈3304通过与条形槽3110的啮合带动活动板3100向可以补偿抖动的方向运动;当抖动补偿后需要活动板3100复位时,可以通过第三补偿组件3330带动活动板3100转动,第三补偿组件3330的运行过程过程与第一补偿组件3310同理,此时,第一补偿组件3310的单向轴承3303处于可转动状态,因此第一补偿组件3310上的齿圈为与活动板3100随动状态,不会影响活动板3100的复位。

优选的,为了降低整个机械防抖器3000的整体厚度,本实施例在所述固定板的四周开设有四个贯穿的安装孔(图中未示出),所述安装孔上安装有所述单向轴承3303和所述转动齿圈3304,通过将单向轴承3303和转动齿圈3304的部分隐藏在安装孔内,以降低整个机械防抖器3000的整体厚度。或者直接将整个补偿组件的部分置于所述安装孔内。

具体,本实施例的所述驱动件3301可以是微型电机,所述微型电机与所述处理模块电连接,所述微型电机的转动输出端与所述转轴3302相连接,所述微型电机受控于所述处理模块。或者,所述驱动件3301由记忆合金丝和曲柄连杆组成,所述记忆合金丝一端固定于所述固定板上,并与所述处理模块通过电路相连接,所述记忆合金丝另一端通过所述曲柄连杆与所述转轴3302相连接,以带动所述转轴3302转动,具体为处理模块根据陀螺仪的反馈计算出记忆合金丝的伸长量,并驱动相应的电路对该形状记忆合金丝进行升温,该形状记忆合金丝伸长带动曲柄连杆机构运动,曲柄连杆机构的曲柄带动转轴3302转动,使得单向轴承3303的内圈转动,单向轴承3303处于锁死状态时,内圈带动外圈转动,转动齿圈3304通过条形槽3110带动活动板3100运动。

下面结合上述结构对本实施例的机械防抖器3000的工作过程进行详细的描述,以镜头1000两次抖动为例,两次抖动方向相反,且需要使得活动板3100向前运动补偿一次,并随后向左运动补偿一次。需要活动板3100向前运动补偿时,陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块,处理模块计算出需要活动板3100的运动距离,进而驱动第一补偿组件3310的驱动件3301使得转轴3302带动单向轴承3303的内圈转动,此时,单向轴承3303处于锁死状态,因此内圈可以带动外圈转动,进而带动转动齿圈3304转动,转动齿圈3304通过条形槽3110带动活动板3100向前运动,随后第三补偿组件3330带动活动板3100复位。需要活动板3100向左运动补偿时,陀螺仪事先将检测到的镜头1000抖动方向和距离反馈给所述处理模块,处理模块计算出需要活动板3100的运动距离,进而驱动第二补偿组件3320的驱动件3301使得转轴3302带动单向轴承3303的内圈转动,此时,单向轴承3303处于锁死状态,因此内圈可以带动外圈转动,进而带动转动齿圈3304转动,转动齿圈3304通过条形槽3110带动活动板3100向前运动,而且由于转动齿圈3304的外齿可沿所述条形槽3110的长度方向滑动,在活动板3100向左运动时,活动板3100与第一补偿组件3310和第三补偿组件3330之间为滑动配合,不会影响活动板3100向左运动,在补偿结束后,再通过第四补偿组件3340带动活动板3100复位。

当然上述仅仅为简单的两次抖动,当发生多次抖动时,或者抖动的方向并非往复运动时,可以通过驱动多个补偿组件以补偿抖动,其基础工作过程与上述描述原理相同,这里不过多赘述,另外关于形状记忆合金电阻的检测反馈、陀螺仪的检测反馈等均为现有技术,这里也不过多描述。

结合上述说明可知,本实施例提供的机械补偿器不仅不会受到外界磁场干扰,防抖效果好,而且可以实现在多次抖动发生的情况下能够对镜头1000进行精确的补偿,补偿及时准确,大大改善改了获取图像的质量,简化了后续三维图像的处理难度。

进一步地,本实施例的电子设备具体为带有所述图像获取设备的手机,该手机包括支架。手机包含支架的目的是由于图像获取环境的不确定性,因此需要使用支架对手机进行支撑和固定,以期获得更稳定的图像质量。

另外,申请人发现,现有的手机支架仅仅具有支撑手机的功能,而不具有自拍杆的功能,因此申请人对支架做出第一步改进,将手机支架6000和支撑杆6200相结合,结合附图11所示,本实施例的所述支架6000包括手机安装座6100和可伸缩的支撑杆6200,支撑杆6200与手机安装座6100的中部(具体为下述基板3200的中部)通过阻尼铰链相连接,使得支撑杆6200在转动至图12的状态时,支架6000可形成自拍杆结构,而支撑杆6200在转动至图13的状态时,支架6000可形成手机支架6000结构。

而结合上述支架结构申请人又发现,手机安装座6100与支撑杆6200结合后占用空间较大,即使支撑杆6200可伸缩,但是手机安装座6100无法进行结构的变化,体积不会进一步缩小,无法将其放入衣兜或者小型的包内,造成支架6000携带不便的问题,因此本实施例对支架6000做出第二步改进,使得支架6000的整体收容性得到进一步的提高。

结合图12-14所示,本实施例的所述手机安装座6100包括可伸缩的连接板6110和安装于连接板6110相对两端的折叠板组6120,所述支撑杆6200与所述连接板6110中部通过阻尼铰链相连接;所述折叠板组6120包括第一板体6121、第二板体6122及第三板体6123,其中,所述第一板体6121的相对两端中的一端与所述连接板6110相铰接,所述第一板体6121的相对两端中的另一端与所述第二板体6122的相对两端中的一端相铰接;所述第二板体6122相对两端的另一端与所述第三板体6123相对两端中的一端相铰接;所述第二板体6122设有供手机边角插入的开口6130。

结合附图14所示,所述手机安装座6100用于安装手机时,所述第一板体6121、第二板体6122和第三板体6123折叠呈直角三角形状态,所述第二板体6122为直角三角形的斜边,所述第一板体6121和所述第三板体6123为直角三角形的直角边,其中,所述第三板体6123的一个侧面与所述连接板6110的一个侧面并排贴合,所述第三板体6123相对两端中的另一端与所述第一板体6121相对两端中的一端相抵,该结构可以使得三个折叠板处于自锁状态,并且将手机下部的两个边角插入到两侧的两个开口6130时,手机5000的下部两侧位于两个直角三角形内,通过手机、连接板6110和折叠板组6120件的共同作可以完成手机5000的固定,三角形状态在外力情况下无法打开,只有从开口6130抽出手机后才能解除折叠板组6120件的三角形状态。

而在手机安装座6100不处于工作状态时,将连接板6110缩小至最小长度,并且将折叠板组6120件与连接板6110相互折叠,用户可以将手机安装座6100折叠呈最小体积,而由于支撑杆6200的可伸缩性,因此可以将整个支架6000收容呈体积最小的状态,提高了支架6000的收荣幸,用户甚至可以直接将支架6000放入衣兜或小的手包内,十分方便。

优选的,本实施例还在所述第三板体6123的一个侧面设有第一连接部,所述连接板6110与所述第三板体6123相贴合的侧面设有与所述第一连接部相配合的第一配合部,所述支架6000手机安装座6100用于安装手机时,所述第一连接部和所述第一配合部卡合连接。具体的,本实施例的第一连接部为一个凸条或凸起(图中未示出),第一配合部为开设在连接板6110上的卡槽(图中未示出)。该结构不仅提高了折叠板组6120件处于三角形状态时的稳定性,而且在需要将手机安装座6100折叠至最小状态时也便于折叠板组6120件与连接板6110的连接。

优选的,本实施例还在所述第一板体6121相对两端中的一端设有第二连接部,所述第三板体6123相对两端中的另一端设有与所述第二连接部相配合的第二配合部,所述支架6000手机安装座6100用于安装手机时,所述第二连接部和所述第二配合部卡合连接。第二连接部可以是凸起(图中未示出),第二配合部为与凸起相配合的开口6130或卡槽(图中未示出)。该结构提高了叠板组件处于三角形状态时的稳定性

另外,本实施例还可以在所述支撑杆6200的另一端可拆卸连接有底座(图中未示出),在需要固定手机并且使手机5000具有一定高度时,可以将支撑杆6200拉伸呈一定长度,并通过底座将支架6000置于一个平面上,再将手机放置到手机安装座6100内,完成手机的固定;而支撑杆6200和底座的可拆卸连接可以使得两者可以单独携带,进一步提高了支架6000的收容性和携带的方便性。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

本发明实施例提供了一种非暂态计算机可读存存储介质,所述计算机存储介质存储有计算机可执行指令,其中,当所述计算机可执行指令被电子设备执行时,使所述电子设备上执行上述任意方法实施例中的三维人脸图像生成方法。

本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,其中,当所述程序指令被电子设备执行时,使所述电子设备执行上述任意方法实施例中的三维人脸图像生成方法。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如,机器可读介质包括只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如,载波、红外信号、数字信号等)等,该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明实施例的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1