一种通过增强现实生成机器学习样本图片的系统及方法与流程

文档序号:15387242发布日期:2018-09-08 00:43阅读:612来源:国知局

本发明涉及增强现实和机器学习,具体涉及一种通过增强现实生成机器学习样本图片的系统及方法。



背景技术:

机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。

随着机器学习越来越多的应用和推广,学习样本以及样本的标签化处理是机器学习的基础。传统的样本收集和标签化依靠人工完成,成本高,周期长。



技术实现要素:

本发明所要解决现有技术的样本收集和标签化依靠人工完成,成本高,周期长的问题,提供一种通过增强现实生成机器学习样本图片的系统对样本自动标签化处理,减少人工,从而降低成本、提高效率。

本发明通过下述技术方案实现:

一种通过增强现实生成机器学习样本图片的系统,包括:人脸数据构建模块,用于识别人脸并构建人脸数据信息,所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角;模型构建模块,用于生成材质数据、三维模型;标签生成模块,用于生成对应人脸数据的标签信息并储存。所述的标签生成模块主要是通过所述人脸数据构建模块构建的人脸数据和标签信息的配套对应来实现机器学习。

其生成机器学习样本图片的方法为:

a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角;

b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型;

c、根据步骤b中的材质数据、三维模型对样本图片进行渲染,并生成渲染后的样本图片;

d、依据步骤c中的所述渲染后的样本图片生成标签信息。

通过以上步骤可以完整的进行对样本的收集和标签化处理,完全自动化实现,无论是在娱乐或是信息安全方面都可以有效地提高效率,提高完成质量和三维模型的渲染速度。

所述模型构建模块指对面部表征模型的建模,也就是步骤b中所生成的材质数据、三维模型,包括有均值头部遮罩模型建模:取平均人头数据构建人头模型,模型基准点为眉心位置,正面朝向相机;以及两种类型的表征建模:静态表征建模,如眼镜,帽子。以人头模型为参考构建表征模型,眼镜能够准确的戴在眼部,帽子戴在头部。贴合面部表情的表征建模,如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点,构建面部三角网格,在面部网格的基础上构建面部以外的模型,如:胡子的面部以外的区域,最后绘制纹理,非纹理区域透明度过度到零。

其中步骤c中的渲染过程为:虚拟影像与样本图片融合,所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。

进一步的,所述标签信息可以存储在任何现有的存储介质中。

进一步的,所述人脸数据构建模块所识别的客体还包括动物脸型、植物的形状。

进一步的,所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。

进一步的,所述模型构建模块所构建的三维模型还包括拟人脸的物体。

本发明与现有技术相比,具有如下的优点和有益效果:

1、本发明一种通过增强现实生成机器学习样本图片的系统可以减少人力人工;

2、本发明一种通过增强现实生成机器学习样本图片的系统有效降低成本;

3、本发明一种通过增强现实生成机器学习样本图片的系统有效提高效率,减少周期。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:

图1为本发明原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。

实施例

如图1所示,一种通过增强现实生成机器学习样本图片的系统,包括:人脸数据构建模块,用于识别人脸并构建人脸数据信息,所述人脸数据信息包括人脸关键点、姿态数据、人脸框数据、图片相机视场角;模型构建模块,用于生成材质数据、三维模型;标签生成模块,用于生成对应人脸数据的标签信息并储存。

其生成机器学习样本图片的方法为:

a、利用人脸数据构建模块构建人脸关键点、姿态数据、人脸框数据以及图片相机视场角;

b、利用模型构建模块根据步骤a中所述人脸关键点、姿态数据、人脸框数据以及图片相机视场角来生成材质数据、三维模型;

c、根据步骤b中的材质数据、三维模型对样本图片进行渲染,并生成渲染后的样本图片;

d、依据步骤c中的所述渲染后的样本图片生成标签信息。

通过以上步骤可以完整的进行对样本的收集和标签化处理,完全自动化实现,无论是在娱乐或是信息安全方面都可以有效地提高效率,提高完成质量和三维模型的渲染速度。

在实际使用时,通过实时对人脸等客体的数据收集来构建相应的三维模型,将所述渲染后的样本图片生成标签信息,并保存该标签信息,往后的样本图片可直接通过之前存储的标签信息直接渲染,减少了三维模型的收集等步骤,提高效率;例如,在客体是人脸时,在眼部添加一个虚拟的眼镜,为了使眼镜显得贴合眼部,需要构建人脸的三维模型,再基于人脸的三维模型将虚拟的眼镜渲染至符合原本人脸的角度以实现贴合眼部,同时记录此时虚拟的眼镜渲染的数据作为标签信息,当再需以该人脸渲染其他虚拟图片时,可以直接使用该标签信息来快速渲染,减少建立三维模型的时间。

所述模型构建模块指对于面部表征模型的建模,也就是步骤b中所生成的材质数据、三维模型,包括有均值头部遮罩模型建模:取平均人头数据构建人头模型,模型基准点为眉心位置,正面朝向相机;以及两种类型的表征建模:静态表征建模,如眼镜,帽子。以人头模型为参考构建表征模型,眼镜能够准确的戴在眼部,帽子戴在头部。贴合面部表情的表征建模,如胡子、眉毛、皱纹、妆容等。以人脸关键点为定点,构建面部三角网格,在面部网格的基础上构建面部以外的模型,如:胡子的面部以外的区域,最后绘制纹理,非纹理区域透明度过度到零。

其中步骤c中的渲染过程为:虚拟影像与样本图片融合,所述的虚拟影像指静态表征建模以及贴合面部表情的表征建模等。

其以背景模式(深度检测为总是通过)渲染样本图片。

其静态表征模型渲染融合:以关键点中眉心点为世界坐标,人头姿态为姿态,人脸框与人头模型面部宽度比值为缩放值,渲染人头模型。人头模型的融合结果为:desrgb,即缓冲区颜色。以人头模型的世界坐标下平移,旋转和缩放属性来渲染静态表征模型;渲染模型,融合方程为:srcalpha*srcrgb+(1.0-desalpha)*desrgb;(srcalpha:当前透明度,srcrgb,当前颜色,desalpha:缓冲区透明度,desrgb:缓冲区颜色)。

其贴合面部表情的表征渲染:以关键点中眉心点为世界坐标,人头姿态为姿态,人脸框与人头模型面部宽度比值为缩放值,渲染表征模型。将人脸关键点图像坐标转换为世界坐标,作为表征模型上面部网格顶点的世界坐标;渲染模型,融合方程为:srcalpha*srcrgb+(1.0-desalpha)*desrgb;(srcalpha:当前透明度,srcrgb:当前颜色,desalpha:缓冲区透明度,desrgb:缓冲区颜色)。所述世界坐标即世界坐标系,是系统的绝对坐标系,在没有建立用户坐标系之前画面上所有点的坐标都是以该坐标系的原点来确定各自的位置的。

所述标签信息可以存储在任何现有的存储设备中,在本实施例中存储设备可选手机等移动设备,或是u盘等介质中。

所述人脸数据构建模块所识别的客体还包括动物脸型、植物的形状,增加可识别的客体,扩展识别选向,例如类似人脸的面具、类似人脸的植物等。

所述模型构建模块所构建的三维模型还包括动物脸型、植物的形状。

所述模型构建模块所构建的三维模型还包括拟人脸的物体,例如面具等类似人脸的物体。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1