基于小样本去除人脸图像中眼镜框的方法
【专利摘要】一种基于小样本去除人脸图像中眼镜框的方法，其方法无需大量样本及参数，其首先将图像采集装置采集到的人脸图像根据脸部关键点进行尺寸以及位置归一化并生成列向量。接着将该列向量与事先准备的小样本人脸图像训练矩阵组成新的矩阵，通过低秩矩阵计算求解，将该列向量分解成不含眼镜框的列向量以及包含眼镜框的干扰列向量。接着，将干扰列向量还原成原始图像尺寸大小。然后对该图像进行二值化处理得到包含眼镜框位置信息的图像。最后通过差值技术，将原图中眼镜框位置的像素进行填充。最终实现基于小样本去除人脸图像中眼镜框的方法。该技术充分利用人脸肤色的相关性以及镜框干扰幅值大、数量稀疏的特点，自动实现人脸图像中眼镜框的去除。
【专利说明】基于小样本去除人脸图像中眼镜框的方法
【技术领域】
[0001]本发明涉及一种基于小样本去除人脸图像中眼镜框的方法。
【背景技术】
[0002]随着人脸识别技术的推广，越来越多的场合需要人脸识别技术的应用，如小区门禁、智能楼宇、监狱、银行金库等场合。但一个智能的人脸识别技术必须能够自动去除人脸图像中的一些配饰信息，以免配饰对人脸识别带来影响，而眼镜框则是其中的一种。其次，传统的基于肤色模型或者几何特征的镜框去除方法没有先验地结合眼镜框的位置信息，且忽略了配饰对于人脸而言具有的一些特征:眼镜框与人脸相比差异较大即像素值幅值差异大，眼镜框相较于整个人脸属于小范围区域具有稀疏性。
【发明内容】
[0003]本发明的目的在于提供一种基于样本训练的有效去除人脸图像中眼镜框的方法，以提高人脸识别的准确性，同时通过低秩矩阵计算充分保留了人脸图像的位置信息，从而有效地提取出眼镜框的位置，最终得到还原后的人脸图像。
[0004]为了达到上述目的，本发明提供的方法主要包括以下步骤:1)事先通过任意图像采集设备采集到10-50张不戴配饰的不同人脸图像，然后将所有二维图像分别张成一维列向量，并重新组成小样本人脸图像训练矩阵，用于后续步骤的眼镜框去除。2)开始人脸图像的眼镜框去除。将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，并将二维图像张成一维列向量。3)将得到的列向量与事先得到的小样本人脸图像训练矩阵组成新的矩阵并通过低秩矩阵求解干扰矩阵。4)从干扰矩阵中抽取出对应人脸图像的那一列向量并还还原成原始图像大小。5)将得到的图像进行二值化。根据二值化后的图像对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。
[0005]其中，在低秩矩阵求解后，利用干扰矩阵中所包含的信息去判断镜框的位置而非还原矩阵。由于人脸图像训练矩阵具有小样本的特性，因此，人脸图像间的线性关系并不强烈，通过求解后，强行线性要求会使得还原后的人脸图像具有一定的变形和扭曲，而干扰矩阵中的数值则很好的保留了干扰的成分。本发明充分利用干扰中部分的信息对眼镜框进行去除，而非传统的还原方法。
[0006]综上所述，本发明通过小样本人脸图像训练矩阵的低秩矩阵求解，获得眼镜框的位置信息，从而对人脸图像进行镜框去除的方法，可以有效地避免因为镜框所导致无法识别人脸图像的缺点，从而提高人脸识别率。
【专利附图】
【附图说明】
[0007]图1是本发明的基于小样本去除人脸图像中眼镜框的方法应用于具有图像采集装置的人脸识别系统的流程图。
[0008]图2是小样本训练矩阵与新加入的列向量关系图。
【具体实施方式】
[0009]请参阅图1本发明的基于小样本去除人脸图像中眼镜框的方法应用于具有图像采集装置的人脸识别系统的流程图，其包括以下步骤。
[0010]第一步，事先通过任意图像采集设备采集到10-50张不戴配饰的不同人脸图像，根据人脸图像的关键点进行定位(如:眼角、鼻尖、嘴角、下巴等)，根据该定位信息对人脸进行大小和位置归一化，使得各个人脸图像的关键点基本在同一位置。然后将所有二维图像分别张成一维列向量，并重新组成新的矩阵，其中每列都是先前张成的一维列向量。该矩阵就是小样本人脸图像训练矩阵，用于后续步骤的眼镜框去除。
[0011]第二步，开始人脸图像的眼镜框去除。将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，使得各个人脸图像的关键点基本在同一位置。然后将二维图像张成一维列向量。
[0012]第三步，将第二部中得到的列向量与第一步中事先得到的小样本人脸图像训练矩阵组成新的矩阵，组成方式与第一步一致，新的列向量拼接在小样本人脸图像训练矩阵之后，具体样式请参阅图2小样本训练矩阵与新加入的列向量关系图。至此，得到了需要处理并求解的图像矩阵。
[0013]第四步，根据公式(I)求解低秩矩阵，其中D是第三步中得到的图像矩阵，A是还原后的人脸图像矩阵(即不含配饰等干扰的人脸图像矩阵)，E是分离出的干扰矩阵，该矩阵中包含眼镜框等配饰干扰信息。由此，获得了矩阵A和E，其中E是使用者需要的矩阵。其中D之所以能够分解成A加E主要是因为该矩阵中的列满足以下特征:1)各个列之间具有一定的线性关系，由于人脸图像在低维嵌入空间中是具有一定的线性关系且人的肤色图像具有一定的线性相关性。从而满足了公式(I)中的约束rank (A) <r。2)干扰对于各个列来说是少量的且稀疏的，这是因为眼镜框的干扰对于整个人脸图像而言是少量的，从而满足了公式(I)中的约束I |E| |0〈印silon。因此，使用者可以合理地求解出A和E。求解低秩矩阵的方法已有很多，且不在本方法内，所以不做说明。
[0014]第五步，从干扰矩阵E中抽取出对应使用者采集的人脸图像的那一列向量并还还原成原始图像大小。
[0015]第六步，对第五步中得到的图像进行二值化，其中阈值可以设定为20。根据二值化后的图像，认为那些大小为I的像素点是镜框所在的位置，因此根据此信息对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。
[0016]综上所述，本发明的基于小样本去除人脸图像中眼镜框的方法对佩戴眼镜框的人员图像进行基于样本的眼镜框去除，通过少量样本达到镜框去除的效果，从而对可见光、近红外都可以达到显著的识别效果提升。
[0017]公式1:D = A + Es.t IE | CKepsi 1n, rank (A) <r。
【权利要求】
1.一种基于小样本去除人脸图像中眼镜框的方法，应用于具有图像采集装置的人脸识别系统，其主要步骤包括: 1)事先准备的小样本人脸训练矩阵，该矩阵由将采集到10-50张不戴配饰的人脸图像进行关键区域定位归一化后张成的列向量组成； 2)将任意采集设备采集到的人脸图像根据人脸图像的关键点进行定位根据该定位信息对人脸进行大小和位置归一化，并将二维图像张成一维列向量； 同时与事先准备的小样本人脸训练矩阵组成低秩矩阵； 3)通过低秩矩阵求解干扰矩阵，从干扰矩阵中抽取出对应人脸图像的那一列向量并还还原成原始图像大小； 4)将得到的图像进行二值化； 根据二值化后的图像对使用者采集的原始图像中的镜框位置的像素点进行差值填充得到去除眼镜框的图像。
2.如权利要求1所述的一种基于小样本去除人脸图像中眼镜框的方法，其特征在于:眼镜框信息的获取是通过低秩矩阵求解出的干扰矩阵获得。
【文档编号】G06K9/00GK104268523SQ201410490947
【公开日】2015年1月7日 申请日期:2014年9月24日 优先权日:2014年9月24日
【发明者】陈叶飞, 彭文东, 袁新飞 申请人:上海洪剑智能科技有限公司