一种基于年龄估计的闪光灯控制方法和装置制造方法
【专利摘要】本发明公开了一种基于年龄估计的闪光灯控制方法和装置，其通过对捕获的当前预览的摄像头数据进行人脸识别，并获取识别到的人脸图像，然后对所述的人脸图像进行年龄估计，根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭闪光灯，父母无需担心拍照时忘记关闭闪光灯，从而避免闪光灯所发出的强光对婴幼儿的眼睛视网膜造成的伤害。
【专利说明】一种基于年龄估计的闪光灯控制方法和装置
【技术领域】
[0001] 本发明涉及一种拍照技术，特别是一种基于年龄估计的闪光灯控制方法和装置。
【背景技术】
[0002] 数字视频和数字相机的摄像与拍照功能带给人们极大的便利和许多美好的记忆， 许多父母喜欢在小孩出生、一周、十天、满月、一百天、周岁等一些重要的日子给婴儿拍摄照 片，然后将照片收集起来记录小孩的成长过程，但我们在对刚出生的婴儿进行拍照时，往往 忘记关闭闪光灯，特别是在室内拍摄时，由于光线不足，而导致拍照时闪光灯检测到光线不 足而自动打开，闪光灯所发出的强光对婴儿的眼睛视网膜造成一定的伤害，从而影响其视 觉发育。
【发明内容】
[0003] 本发明为解决上述问题，提供了一种基于年龄估计的闪光灯控制方法和装置，其 通过年龄估计对婴幼儿进行判断，并自动闪光灯，无需担心在拍照时忘记关闭闪光灯。
[0004] 为实现上述目的，本发明采用的技术方案为：
[0005] -种基于年龄估计的闪光灯控制方法，其特征在于，包括以下步骤：
[0006] 10?捕获当前预览的摄像头数据；
[0007] 20.对所述的摄像头数据进行人脸识别，并获取识别到的人脸图像；
[0008] 30.对所述的人脸图像进行年龄估计；
[0009] 40.根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭闪光 灯。
[0010] 优选的，所述的步骤30中对所述的人脸图像进行年龄估计，主要是利用卷积神经 网络的方法对所述的人脸图像进行年龄估计。
[0011] 优选的，所述的步骤30中对所述的人脸图像进行年龄估计，进一步包括以下步 骤：
[0012] 31.收集样本图像并进行人工标注各个样本图像的年龄类型，并预设标准人脸 图；
[0013] 32.比对样本图像的人脸特征关键点和标准人脸图的人脸特征关键点，对样本图 像进行关键点对齐和调整，再对调整后的样本图像进行轮廓提取得到样本图像的人脸轮廓 图，并将该样本图像的人脸轮廓图进行归一化处理并输入卷积神经网络系统进行分类模型 的训练；
[0014] 33.获取从摄像头数据中识别到的人脸图像，比对该人脸图像的人脸特征关键点 和标准人脸图的人脸特征关键点，对所述的人脸图像进行关键点对齐和调整，再对调整后 的人脸图像进行轮廓提取得到所述人脸图像的人脸轮廓图，并将人脸图像的人脸轮廓图采 用所述的分类模型进行年龄分类，得到所述人脸图像的年龄类型。
[0015] 优选的，在进行分类模型的训练过程中，卷积神经网络系统将分类错误的样本图 像收集起来并依次执行步骤31及步骤32,直到超过预期结果时定为所述步骤32所训练出 来的分类模型为最佳分类模型，并在所述的步骤33中采用该最佳分类模型对所述人脸图 像的人脸轮廓图进行年龄分类，得到所述人脸图像的年龄类型。
[0016]优选的，所述的年龄类型包括：婴幼儿、儿童、少年、青年、中年、老年。
[0017]优选的，所述的年龄类型包括：两岁以下类型和两岁以上类型。
[0018]优选的，所述的步骤32中比对样本图像的人脸特征关键点和标准人脸图的人脸 特征关键点，对样本图像进行关键点对齐和调整，或者，所述的步骤33中比对所述人脸图 像的人脸特征关键点和标准人脸图的人脸特征关键点，对所述人脸图像进行关键点对齐和 调整，主要是通过预设标准人脸图及其对应的人脸特征关键点，并根据获取的样本图像或 人脸图像的人脸区域及其对应的人脸特征关键点，利用仿射变换对样本图像或人脸图像的 人脸特征关键点进行对齐和调整，再对调整后的样本图像或人脸图像进行轮廓提取得到调 整后的人脸轮廓图，并将该调整后的人脸轮廓图作为所述样本图像或人脸图像的人脸轮廓 图。
[0019]优选的，所述的轮廓提取主要是对所述调整后的样本图像或人脸图像进行小波变 换，得到低频分量的频域图像，即所述的人脸轮廓图。
[0020] 优选的，所述的步骤33中将所述人脸图像的人脸轮廓图采用所述的分类模型进 行年龄分类得到所述人脸图像的年龄类型，主要是将所述的所述人脸图像的人脸轮廓图放 入卷积神经网络系统中进行计算所述人脸图像每一种年龄类型的概率，并选择概率最大的 年龄类型作为所述人脸图像的年龄类型。
[0021] 优选的，所述的人脸特征关键点主要包括眼睛轮廓、嘴部、眉毛、脸部轮廓线、额 头。
[0022] 另外，本发明基于上述方法还提供了一种基于年龄估计的闪光灯控制装置，其特 征在于：其包括
[0023]相机模块，用于启动摄像头并捕获当前预览的摄像头数据；
[0024] 人脸识别模块，对所述的摄像头数据进行人脸识别，并获取识别到的人脸图像；
[0025]年龄分类模块，其对所述的人脸图像进行年龄估计；
[0026]执行模块，其根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动 关闭闪光灯，并驱动摄像头进行拍照。
[0027]优选的，所述的年龄分类模块进一步包括：
[0028]采样单元，用于收集样本图像以供人工标注各个样本图像的年龄类型；
[0029]编辑单元，其通过比对所述的样本图像或获取的所述人脸图像的人脸特征关键 点和预设的标准人脸图的人脸特征关键点，对样本图像或人脸图像进行关键点对齐和调 整，再对调整后的样本图像或人脸图像进行轮廓提取得到样本图像或人脸图像的人脸轮廓 图；
[0030]归一化单元，将所述的样本图像或人脸图像的人脸轮廓图进行归一化处理；
[0031] 学习单元，将归一化处理后的样本图像或人脸图像的人脸轮廓图输入卷积神经网 络系统进行分类模型的训练；
[0032]判断单元，将所述人脸图像的人脸轮廓图采用所述的分类模型进行年龄分类，以 判断所述人脸图像的年龄类型。
[0033]本发明的有益效果是：
[0034] 本发明的一种基于年龄估计的闪光灯控制方法和装置，其通过对捕获的当前预览 的摄像头数据进行人脸识别，并获取识别到的人脸图像，然后对所述的人脸图像进行年龄 估计，根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭闪光灯，父母 无需担心拍照时忘记关闭闪光灯，从而避免闪光灯所发出的强光对婴幼儿的眼睛视网膜造 成的伤害。
【专利附图】
【附图说明】
[0035] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0036] 图1为本发明第一实施例的一种基于年龄估计的闪光灯控制方法的流程简图；
[0037] 图2为本发明第二实施例的一种基于年龄估计的闪光灯控制方法的流程简图；
[0038] 图3为本发明第一实施例的一种基于年龄估计的闪光灯控制装置的示意框图；
[0039] 图4为本发明第二实施例的一种基于年龄估计的闪光灯控制装置的示意框图。
【具体实施方式】
[0040] 为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结 合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用 以解释本发明，并不用于限定本发明。
[0041] 如图1所示，本发明的一种基于年龄估计的闪光灯控制方法，其包括以下步骤：
[0042] 10.捕获当前预览的摄像头数据；
[0043] 20.对所述的摄像头数据进行人脸识别，并获取识别到的人脸图像；
[0044] 30.对所述的人脸图像进行年龄估计；
[0045] 40.根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭闪光 灯。
[0046] 所述的步骤30中对所述的人脸图像进行年龄估计，主要是利用卷积神经网络的 方法对所述的人脸图像进行年龄估计；具体来说，如图2所示，进一步包括以下步骤：
[0047] 31.收集样本图像并进行人工标注各个样本图像的年龄类型，并预设标准人脸 图；
[0048] 32.比对样本图像的人脸特征关键点和标准人脸图的人脸特征关键点，对样本图 像进行关键点对齐和调整，再对调整后的样本图像进行轮廓提取得到样本图像的人脸轮廓 图，并将该样本图像的人脸轮廓图进行归一化处理并输入卷积神经网络系统进行分类模型 的训练；
[0049] 33.获取从摄像头数据中识别到的人脸图像，比对该人脸图像的人脸特征关键点 和标准人脸图的人脸特征关键点，对所述的人脸图像进行关键点对齐和调整，再对调整后 的人脸图像进行轮廓提取得到所述人脸图像的人脸轮廓图，并将人脸图像的人脸轮廓图采 用所述的分类模型进行年龄分类，得到所述人脸图像的年龄类型。
[0050] 作为优选的实施例，在进行分类模型的训练过程中，卷积神经网络系统将分类错 误的样本图像收集起来并依次执行步骤31及步骤32,直到超过预期结果时定为所述步骤 32所训练出来的分类模型为最佳分类模型，并在所述的步骤33中采用该最佳分类模型对 所述人脸图像的人脸轮廓图进行年龄分类，得到所述人脸图像的年龄类型；所述的步骤32 中将样本图像的人脸轮廓图进行归一化处理并输入卷积神经网络系统进行分类模型的训 练，主要是将人工分类好的样本图像的人脸轮廓图带入卷积神经网络系统进行学习；并且， 将分类错误的样本图像收集起来重新进行标注，即，对于系统自动分类的年龄类型与人工 分类的年龄类型不一致时，表示人工标注错误或者系统分类错误，需重新进行人工标注并 调整网络结构，再将重新标注后的样本图像再次进行训练学习，如此重复"训练_>调整网 络结构_>再训练"的过程直到分类正确为止。
[0051] 本实施例中网格结构顺序为输入层_>K个小组层_>全连接层_>SoftMax层，其中 K大于等于1 ;小组层包括卷积层、激活层、下采样层、归一化层；卷积层、激活层、下采样层、 归一化层中每个层的核大小以及输出大小都是可以进行任意调节的，并且每个层都有一个 输入且产生一个输出，每一层的输出作为下一层的输入。
[0052] 其中，输入层的输入大小为HeightxWeightxChannel,其中Weight、Height为 输入层图像的宽和高，Channel为输入层图像的颜色通道；由于本发明使用GPU硬件实现的 原因，Weight=Height;输入图像的channel只能为1或者3。
[0053] 卷积层：
[0054] 1)核的大小必须是奇数，且不大于该层输入的宽或者高；
[0055] 2)中间表示通过卷积层时不改变宽和高，通道数可变可不变；理论上可以为任意 正整数，由于本发明使用GPU硬件实现的原因，这里为16的倍数。
[0056] 激活层：
[0057] 1)激活层不改变卷积层表示的宽、高或者通道数；
[0058] 2)激活层所使用的激活函数包括但不限于以下函数类型：
【权利要求】
1. 一种基于年龄估计的闪光灯控制方法，其特征在于，包括以下步骤：
10.捕获当前预览的摄像头数据；
20.对所述的摄像头数据进行人脸识别，并获取识别到的人脸图像；
30. 对所述的人脸图像进行年龄估计；
40.根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭闪光灯。
2. 根据权利要求1所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 步骤30中对所述的人脸图像进行年龄估计，主要是利用卷积神经网络的方法对所述的人 脸图像进行年龄估计。
3. 根据权利要求2所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 步骤30中对所述的人脸图像进行年龄估计，进一步包括以下步骤：
31. 收集样本图像并进行人工标注各个样本图像的年龄类型，并预设标准人脸图；
32. 比对样本图像的人脸特征关键点和标准人脸图的人脸特征关键点，对样本图像进 行关键点对齐和调整，再对调整后的样本图像进行轮廓提取得到样本图像的人脸轮廓图， 并将该样本图像的人脸轮廓图进行归一化处理并输入卷积神经网络系统进行分类模型的 训练；
33. 获取从摄像头数据中识别到的人脸图像，比对该人脸图像的人脸特征关键点和标 准人脸图的人脸特征关键点，对所述的人脸图像进行关键点对齐和调整，再对调整后的人 脸图像进行轮廓提取得到所述人脸图像的人脸轮廓图，并将人脸图像的人脸轮廓图采用所 述的分类模型进行年龄分类，得到所述人脸图像的年龄类型。
4. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：在进行 分类模型的训练过程中，卷积神经网络系统将分类错误的样本图像收集起来并依次执行步 骤31及步骤32,直到超过预期结果时定为所述步骤32所训练出来的分类模型为最佳分类 模型，并在所述的步骤33中采用该最佳分类模型对所述人脸图像的人脸轮廓图进行年龄 分类，得到所述人脸图像的年龄类型。
5. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 年龄类型包括：婴幼儿、儿童、少年、青年、中年、老年。
6. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 年龄类型包括：两岁以下类型和两岁以上类型。
7. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 步骤32中比对样本图像的人脸特征关键点和标准人脸图的人脸特征关键点，对样本图像 进行关键点对齐和调整，或者，所述的步骤33中比对所述人脸图像的人脸特征关键点和标 准人脸图的人脸特征关键点，对所述人脸图像进行关键点对齐和调整，主要是通过预设标 准人脸图及其对应的人脸特征关键点，并根据获取的样本图像或人脸图像的人脸区域及其 对应的人脸特征关键点，利用仿射变换对样本图像或人脸图像的人脸特征关键点进行对齐 和调整，再对调整后的样本图像或人脸图像进行轮廓提取得到调整后的人脸轮廓图，并将 该调整后的人脸轮廓图作为所述样本图像或人脸图像的人脸轮廓图。
8. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 轮廓提取主要是对所述调整后的样本图像或人脸图像进行小波变换，得到低频分量的频域 图像，即所述的人脸轮廓图。
9. 根据权利要求3所述的一种基于年龄估计的闪光灯控制方法，其特征在于：所述的 步骤33中将所述人脸图像的人脸轮廓图采用所述的分类模型进行年龄分类得到所述人脸 图像的年龄类型，主要是将所述的所述人脸图像的人脸轮廓图放入卷积神经网络系统中进 行计算所述人脸图像每一种年龄类型的概率，并选择概率最大的年龄类型作为所述人脸图 像的年龄类型。
10. 根据权利要求3至9中任一项所述的一种基于年龄估计的闪光灯控制方法，其特征 在于：所述的人脸特征关键点主要包括眼睛轮廓、嘴部、眉毛、脸部轮廓线、额头。
11. 一种基于年龄估计的闪光灯控制装置，其特征在于：其包括 相机模块，用于启动摄像头并捕获当前预览的摄像头数据； 人脸识别模块，对所述的摄像头数据进行人脸识别，并获取识别到的人脸图像； 年龄分类模块，其对所述的人脸图像进行年龄估计； 执行模块，其根据年龄估计结果判断所述的人脸图像是否为婴幼儿，若是则自动关闭 闪光灯，并驱动摄像头进行拍照。
12. 根据权利要求11所述的一种基于年龄估计的闪光灯控制装置，其特征在于：所述 的年龄分类模块进一步包括： 采样单元，用于收集样本图像以供人工标注各个样本图像的年龄类型； 编辑单元，其通过比对所述的样本图像或获取的所述人脸图像的人脸特征关键点和预 设的标准人脸图的人脸特征关键点，对样本图像或人脸图像进行关键点对齐和调整，再对 调整后的样本图像或人脸图像进行轮廓提取得到样本图像或人脸图像的人脸轮廓图； 归一化单元，将所述的样本图像或人脸图像的人脸轮廓图进行归一化处理； 学习单元，将归一化处理后的样本图像或人脸图像的人脸轮廓图输入卷积神经网络系 统进行分类模型的训练； 判断单元，将所述人脸图像的人脸轮廓图采用所述的分类模型进行年龄分类，以判断 所述人脸图像的年龄类型。
【文档编号】G06K9/62GK104506778SQ201410804921
【公开日】2015年4月8日 申请日期:2014年12月22日 优先权日:2014年12月22日
【发明者】张伟, 傅松林, 王喆, 曾志勇 申请人:厦门美图之家科技有限公司