识别对象的方法和设备以及训练识别器的方法和设备的制造方法
【专利说明】识别对象的方法和设备从及训练识别器的方法和设备
[0001 ] 本申请要求于2014年11月24日提交到韩国知识产权局的第10-2014-0164232号韩 国专利申请和2015年6月18日提交到韩国知识产权局的第10-2015-0086658号韩国专利申 请的优先权权益，所述申请的全部内容通过引用完整地包含于此。
技术领域
[0002] 至少一些示例实施例设及一种用于识别对象的方法和设备，W及一种用于训练识 别器的方法和设备。
【背景技术】
[0003] 随着脸部识别技术的应用变得广泛，通过将主成分分析(PCA)应用于脸部图像来 识别脸部的技术正被使用。PCA指的是在最小化图像的本征信息的损失的同时通过在低维 特征向量空间将图像数据投影来减少信息的技术。作为使用PCA的脸部识别方法，提取脸部 的主特征向量并通过使用从预登记的图像提取的主成分向量而训练的模式分类器来识别 脸部的方法被广泛应用。
【发明内容】
[0004] 至少一些示例实施例针对用于训练和/或使用识别器来识别输入图像的多个元素 的方法和/或设备。
[0005] 根据至少一些示例实施例，识别方法可包括:接收输入图像;使用被预训练为同时 识别多个元素的单个识别器识别与输入图像相关联的多个元素。
[0006] 所述多个元素可包括:标识（ID)，标识输入图像;至少一个属性，与输入图像相关 联。ID可标识包括在输入图像中的至少一个对象。所述至少一个属性可包括W下至少一项： 与包括在输入图像中的脸部区域相应的性别；与所述脸部区域相应的年龄;与所述脸部区 域相应的种族;与所述脸部区域相应的吸引力；与所述脸部区域相应的面部表情;与所述脸 部区域相应的情感。所述至少一个属性可包括性别、年龄、种族、吸引力、面部表情和情感中 的至少两个不同的属性。所述识别器可包括神经网络，所述识别的步骤可包括基于包括在 神经网络中的节点之间的预学习的权重计算与多个元素对应的特征值。所述识别的步骤可 包括基于输入图像产生多个特征图像。所述多个特征图像可包括W下至少一项：去除光照 噪声的颜色通道图像;方向梯度大小通道图像;皮肤概率通道图像；局部二元模式通道图 像。所述识别的步骤可包括:对多个特征图像进行滤波;基于滤波模块的输出将与多个元素 相应的特征值输出。所述识别的步骤还可包括基于特征值识别多个元素。所述识别的步骤 可包括:获取与包括在训练图像中的脸部的部件相应的多个部件图像;产生与所述多个部 件图像中的每个相应的多个特征图像。所述识别的步骤可包括:基于多个部件识别模块的 输出将与所述多个元素相应的特征值输出，其中，所述多个部件识别模块中的每个包括对 相应的部件图像的特征图像进行滤波;基于滤波模块的输出将与与相应的部件图像相关联 的元素相应的特征值输出。所述识别的步骤还可包括:基于第一元素特征输出模块的输出 识别多个元素。所述识别方法还可包括:将所述多个元素和与参考图像相关联的多个元素 进行比较;基于比较的结果确定输入图像是否与参考图像匹配。所述比较的步骤可包括:基 于所述多个元素产生特征向量;将所述特征向量与参考图像的参考向量进行比较。
[0007] 根据至少一些示例实施例，训练识别器的方法可包括:接收训练图像;基于训练图 像和在训练图像中标记的多个元素训练被配置为从输入图像识别多个元素的识别器。
[0008] 所述多个元素可包括:标识（ID)，标识训练图像;至少一个属性，与训练图像相关 联。ID可包括标识包括在训练图像中的至少一个对象的信息。所述至少一个属性可包括W 下至少一项:与包括在训练图像中的脸部区域相应的性别;与所述脸部区域相应的年龄;与 所述脸部区域相应的种族;与所述脸部区域相应的吸引力；与所述脸部区域相应的面部表 情;与所述脸部区域相应的情感。所述至少一个属性可包括性别、年龄、种族、吸引力、面部 表情和情感中的至少两个不同的属性。所述训练的步骤可包括计算与所述多个元素相应的 损失。所述识别器可包括神经网络，所述训练的步骤可包括基于所述损失训练识别器学习 包括在神经网络中的节点之间的权重。所述识别器可包括神经网络，所述训练的步骤可包 括基于随机分段线性(PWL)模型激活包括在神经网络中的节点。所述训练的步骤可包括基 于训练图像产生多个特征图像。所述多个特征图像可包括W下至少一项：去除光照噪声的 颜色通道图像;方向梯度大小通道图像;皮肤概率通道图像;局部二元模式通道图像。所述 训练的步骤可包括：训练识别器对多个特征图像进行滤波;基于对多个特征图像进行滤波 的输出训练识别器输出与多个元素相应的特征值。所述训练的步骤还可包括基于元素特征 输出模块的输出识别多个元素。所述训练的步骤可包括:获取与包括在训练图像中的脸部 的部件相应的多个部件图像。不同元素可在所述多个部件图像中被标记。所述训练的步骤 还可包括:产生与所述多个部件图像中的每个相应的多个特征图像。所述训练的步骤可包 括:基于与所述多个部件图像相应的多个部件识别模块的输出训练识别器输出与多个元素 相应的特征值;针对多个部件识别模块中的每个，训练部件识别模块对相应的部件图像的 特征图像进行滤波，并基于滤波模块的输出训练部件识别模块输出与与相应的部件图像相 关联的元素相应的特征值。所述训练的步骤还可包括:基于第一元素特征输出模块的输出 训练识别器识别多个元素。
[0009] 根据至少一个示例实施例，非暂时性计算机可读介质包括:程序代码，当由处理器 执行所述程序代码时，使处理器执行包括接收训练图像、基于训练图像和在训练图像中标 记的多个元素训练被配置为从输入图像识别多个元素的识别器的操作。
[0010]根据至少一个示例实施例，识别设备包括:存储器，存储指令;一个或多个处理器， 被配置为执行指令W使所述一个或多个处理器被配置为接收输入图像并使用预训练的单 个识别器识别与输入图像相关联的多个元素。
[0011] 根据至少一个示例实施例，用于训练识别器的设备包括:存储器，存储指令;一个 或多个处理器，被配置为执行指令W使所述一个或多个处理器被配置为接收训练图像并基 于训练图像和在训练图像中标记的多个元素训练被配置为识别输入图像的多个元素的识 别器。
[0012] 根据至少一个示例实施例，一种方法包括:接收多个训练图像，所述多个图像中的 每个包括一个或多个标记的元素;基于多个训练图像和包括在多个训练图像中的标记的元 素，训练一个或多个卷积神经网络(C順)W使所述训练的一个或多个C順从输入图像识别至 少两个不同的元素。
[0013] 所述训练的步骤可包括：训练所述一个或多个C順对图像标识（ID)和至少一个图 像属性二者来执行识别。所述至少一个属性可包括W下至少一项：与包括在输入图像中的 脸部区域相应的性别;与所述脸部区域相应的年龄;与所述脸部区域相应的种族;与所述脸 部区域相应的吸引力;与所述脸部区域相应的面部表情;与所述脸部区域相应的情感。所述 训练的步骤可包括:针对多个训练图像中的每个产生多个类型的通道图像，并基于所述多 个类型的通道图像中的至少两个训练所述一个或多个α^Ν来执行识别。所述至少两个类型 的通道图像可包括第一类型和第二类型，第一类型和第二类型可W不同，并且第一类型和 第二类型中的每个可W是W下项之一:去除光照噪声的颜色类型的通道图像;方向梯度大 小类型的通道图像;皮肤概率类型的通道图像;局部二元模式类型的通道图像。所述一个或 多个C顺可包括单个C順，所述训练的步骤可包括基于至少第一类型和第二类型训练单个 C順来执行识别。所述一个或多个C順可至少包括第一 C順和第二C順，所述训练的步骤可包 括基于第一类型训练第一 α^Ν执行识别和基于第二类型训练第二CNN执行识别。所述方法还 可包括:融合响应于第一 C順的训练产生的第一 C順的输出和响应于第二C順的训练产生的 第二CNN的输出。
[0014] 根据至少一个示例实施例，一种方法包括:接收输入图像;使用一个或多个训练的 卷积神经网络(CNN)从输入图像识别至少两个不同的元素，所述一个或多个训练的CNN每个 均为基于多个训练图像和包括在多个训练图像中的标记的元素而训练的α^Ν。
[0015] 所述识别的步骤可包括:使用所述一个或多个训练的C順对图像标识（ID)和至少 一个图像属性执行识别。所述至少一个属性可包括W下至少一项：与包括在输入图像中的 脸部区域相应的性别;与所述脸部区域相应的年龄;与所述脸部区域相应的种族;与所述脸 部区域相应的吸引力;与所述脸部区域相应的面部表情;与所述脸部区域相应的情感。所述 识别的步骤可包括:针对输入图像产生多个类型的通道图像，并且使用所述一个或多个训 练的C順基于多个类型的通道图像中的至少两个来执行识别。所述至少两个类型的通道图 像可包括第一类型和第二类型，第一类型和第二类型可W不同，并且第一类型和第二类型 中的每个可W是W下项之一：去除光照噪声的颜色类型的通道图像;方向梯度大小类型的 通道图像;皮肤概率类型的通道图像;局部二元模式类型的通道图像。所述一个或多个CNN 可W是单个CNN,所述识别的过程可包括使用单个CNN基于至少第一类型和第二类型来执行 识别。所述一个或多个C順可至少包括第一 C順和第二CNN，所述识别的步骤可包括使用第一 α^Ν基于第一类型来执行第一识别和使用第二α^Ν基于第二类型来执行第二识别。所述方法 还可包括:融合响应于第一识别产生的第一 C順的输出和响应于第二识别产生的第二C順的 输出。
[0016] 至少一些示例实施例的另外的方面将会部分地在W下描述中阐述，并且部分从描 述将是清楚的，或可通过本公开的实践而获知。
【附图说明】
[0017] 本发明构思的示例实施例的W上和其它特征和优点将会通过参考附图详细描述 本发明构思的示例实施例变得更为清楚。附图意在描述本发明构思的示例实施例，而不应 被解释为限制权利要求的意图范围。除非明确说明，否则附图将不会被视为按比例绘制。
[0018] 图1是示出根据至少一些示例实施例的训练设备的框图；
[0019] 图2示出根据至少一些示例实施例的多任务训练；
[0020] 图3示出根据至少一些示例实施例的通过共同学习元素提高识别准确度的识别器 的原理；
[0021] 图4示出根据至少一些示例实施例的多任务训练的原理；
[0022] 图5示出根据至少一些示例实施例的深度卷积神经网络(DCNN)的示例；
[0023] 图6示出根据至少一些示例实施例的多通道训练；
[0024] 图7示出根据至少一些示例实施例的多通道训练的原理；
[0025] 图8和图9示出根据至少一些示例实施例的用于多通道训练的DC順；
[0026] 图10示出根据至少一些示例实施例的多部件训练；
[0027] 图11示出根据至少一些示例实施例的用于多部件训练的DO^N;
[0028] 图12示出根据至少一些示例实施例的多部件训练和多通道训练的结合；
[0029] 图13示出根据至少一些示例实施例的随机分段线性(PWL)激活模型和一般确定性 PWL激活模型之间的比较；
[0030] 图14是示出根据至少一些示例实施例的识别设备的框图；
[0031] 图15A至图1抓示出根据至少一些示例实施例的识别器的操作；
[0032] 图16示出根据至少一些示例实施例的用户界面化I);
[0033] 图17至图24示出根据至少一些示例实施例的脸部识别设备；
[0034] 图25至图30示出根据至少一些示例实施例的属性。
【具体实施方式】
[0035] 在运里公开了本发明构思的具体示例实施例。然而，运里公开的具体的结构和功 能的细节仅是代表描述本发明构思的示例