专利名称：综合利用人脸及人体辅助信息的交互式人脸识别系统及方法
技术领域：
本发明涉及图像识别系统及方法，具体的说是综合利用人脸及人体辅助信息的交互式人脸识别系统及方法。
背景技术：
现有人脸识别系统主要用于安全监控等场合，通常是小规模封闭的系统，并且在这些系统中，大多只是单一利用了人脸信息进行识别。专利号为200310120624.9，专利名称为“移动计算环境下分布式的人脸检测与识别方法”的中国专利，是一个基于客户端/服务器架构的适用于移动网络的人脸识别系统。但是，该系统只利用了人脸信息。人脸信息容易受外部环境(比如光照)以及人脸姿态的影响，只利用人脸信息，识别性能有一定的局限性，同时，该系统没有引入用户的反馈，从而无法利用用户的反馈提高识别的性能。中国专利申请号为02153265.6，专利名称为“利用身材信息辅助人脸信息的身份识别方法”的中国专利，其基本原理是首先通过运动检测来检测人体，再检测人脸，然后利用身材信息和人脸信息进行识别。这个系统有几个缺点首先，因为需要运动检测，该方法不适用于静止图像；其次，身材信息需要采集到完整人体，这个条件在许多实用系统中不满足；再次，人体检测的准确率通常不高，因而整个系统的准确率不高；再次，该系统没有引入用户的反馈，从而无法利用用户的反馈提高识别的性能；再次，该系统没有明确引入时间的概念，而身高信息和人脸信息的加权是预先定死的，但是很多时候可以知道身高信息是不准确的，机械的加权会导致识别错误；最后，该系统不是一个网络化的系统。
发明内容
本发明的目的在于提出一种可提高识别的精度，可以应用于互联网的大规模的基于客户端、服务器架构的综合利用人脸及人体辅助信息的交互式人脸识别系统及方法，本发明可广泛应用于静止及活动图像中。
本发明的目的可以通过以下技术方案来实现综合利用人脸及人体辅助信息的交互式人脸识别系统，包括客户端、服务器，以及两者之间的通信线路，客户端包括以下模块人脸检测模块，对输入的待识别图像，检测其中的人脸；特征提取模块，对于检测到的人脸，提取人脸及人体的辅助信息，以及图片的拍照时间，像机型号信息，并把相关特征向量通过通信线路传至服务器；用户确认模块，用于确认服务器传过来的识别结果，并把确认的识别结果通过通信线路传至服务器；服务器包括以下模块人脸数据库模块，提供已训练的人物的特征向量；识别引擎模块，从人脸数据库中获得已训练的人物的特征向量，并把从客户端传过来的待识别人物的特征向量与之对比进行识别，来获得识别结果，并将识别结果通过通信线路传至用户确认模块；调整识别引擎模块，根据用户确认模块传过来的确认的识别结果来调整识别引擎。
本发明的综合利用人脸及人体辅助信息的交互式人脸识别系统还可以为另一种组成结构，包括客户端、服务器，以及两者之间的通信线路，服务器包括以下模块网络人脸数据库模块，提供人物特征向量数据；客户端包括以下模块本地人脸数据库模块，在开始识别前，根据识别的任务，向服务器网络人脸数据库模块请求与识别任务匹配的人物特征向量集，并下载到本地人脸数据库中；人脸检测模块，对输入的待识别图像，检测其中的人脸；特征提取模块，对于检测到的人脸，提取人脸及人体的辅助信息，以及图片的拍照时间，像机型号信息；识别引擎模块，从本地人物数据库中获得已训练的人脸的特征向量，并把待识别人物的特征向量与之对比进行识别，得到识别结果；用户确认模块，用于确认识别结果；调整识别引擎模块，根据确认的识别结果来调整识别引擎。
实现本发明目的的综合利用人脸及人体辅助信息的交互式人脸识别方法包括以下步骤(1)自动检测人脸；(2)根据步骤(1)检测到的人脸确定人体特征区域；(3)提取人脸及人体辅助信息以及图片的拍照时间、像机型号信息；(4)排除非特殊的人体辅助信息；(5)综合利用人脸及特殊的辅助信息以及图片的拍照时间、像机型号信息进行识别，获得识别结果。
本发明的目的还可以通过以下技术措施来进一步实现前述的综合利用人脸及人体辅助信息的交互式人脸识别系统，特征提取模块包括以下子模块人脸特征点定位子模块，对于检测到的人脸，定位其中的人脸特征点；人脸图像变换处理子模块，根据检测到的特征点，对人脸图像进行归一化及仿射变换，使两眼位于固定位置，并截取固定大小的人脸图像；规范化处理子模块，采用对图像进行直方图均衡或归一化或对图像边缘进行模糊化处理或根据姿态对图像进行基于人脸模型的几何变换的方法对光照、背景、姿态进行规范化处理；人脸特征向量提取子模块，采用主成分分析或对图像特征点提取小波变换系数的方法提取人脸图像中的人脸特征向量；人体辅助信息提取子模块，提取衣服信息、头发信息、图片拍照时间、像机型号信息。
前述的综合利用人脸及人体辅助信息的交互式人脸识别系统，识别引擎模块包括对比子模块计算两个特征向量之间的距离，欧氏距离或X2距离，如果有人物的辅助信息，在判断该辅助信息为唯一的情况下，并且拍摄时间接近，则把人脸距离和辅助信息距离加权相加，否则只使用人脸距离，在多个候选特征向量中，采用最近邻法，即选取距离最小的已知特征向量，如果没有特殊的辅助信息，则只用人脸信息。
前述的综合利用人脸及人体辅助信息的交互式人脸识别系统，调整识别引擎模块至少包括以下一个子模块正确识别结果入库子模块，把正确识别的结果加到人脸数据库；错误识别结果入库子模块，把识别错误的结果以非某人的形式记录到人脸数据库，供以后识别的时候排斥该结果；识别引擎调整子模块，根据识别反馈的结果，采用相关反馈的方法调整识别引擎。
前述的综合利用人脸及人体辅助信息的交互式人脸识别方法，步骤(1)中，检测人脸的方法为Adaboost方法。
前述的综合利用人脸及人体辅助信息的交互式人脸识别方法，步骤(2)中，根据检测到的人脸的大小、位置，根据经验值确定人体特征区域。例如，根据经验值建立一个模版，根据检测到的人脸的大小、位置来应用这个模版来确定人体特征区域。
前述的综合利用人脸及人体辅助信息的交互式人脸识别方法，步骤(3)中，提取人体辅助信息为采用颜色直方图的方法在人体特征区域提取颜色信息，采用在人体特征区域进行频域变换，提取频域分布信息的方法在人体特征区域提取纹理信息，也可以提取图像的局域二值模式(LBP，Locally Binary Pattern)信息。
前述的综合利用人脸及人体辅助信息的交互式人脸识别方法，步骤(5)包括以下步骤①首先选取像机型号相同，拍照时间相近的图片；②通过扫描合影中的辅助信息，如果合影中两个人的辅助信息的距离小于某阈值，则认为是非特殊的辅助信息，或者对于已经用户标注的人脸，两两比较它们的辅助信息，如果非同一个人且两个辅助信息的距离小于某阈值，则认为是非特殊的辅助信息，非特殊的辅助信息存储于数据库中，待识别的辅助信息与数据库中非特殊的辅助信息对比，如果小于某阈值，则确定不利用该辅助信息识别该人物；③综合利用人脸信息和特殊的辅助信息进行识别加权人脸信息和特殊的辅助信息的距离，加权信息记录于数据库，如果没有特殊的辅助信息，则只用人脸信息；④用户确认识别结果；⑤根据确认结果调整识别引擎，如果前次识别结果利用了大量的辅助信息而识别结果错误，则把该辅助信息加入到非特殊的辅助信息数据库中。
本发明的优点为本发明是一种综合利用人脸及人体辅助信息的人脸识别系统，综合利用人脸及人体辅助信息可以提高识别的精度，通过人体辅助信息可以识别常规方法难以识别的人物。本发明是一种交互式的人脸识别系统，通过引入用户反馈并调整识别引擎，可以提高识别的精度。另外，本发明可以应用于互联网，是大规模的基于客户端、服务器架构的人脸识别系统，从架构上解决了支持大量用户的并发请求。
图1为本发明实施例一的系统框图。
图2为本发明实施例二的系统框图。
具体实施例方式
实施例一本实施例的系统框图如图1所示，一种综合利用人脸及人体辅助信息的交互式人脸识别系统，包括客户端、服务器，以及两者之间的通信线路。客户端可以为个人计算机(PC)，也可以为专用的硬件终端(基于专用芯片或数字信号处理器等)，也可以为移动终端(如移动电话)。通信线路可以为互联网，也可以为无线网络，还可以为专用通信线路(如用于安防等领域的专用通信线路)。客户端包括以下模块人脸检测模块、特征提取模块、用户确认模块，服务器包括以下模块人脸数据库模块、识别引擎模块、调整识别引擎模块。
人脸检测模块对输入的待识别图像，检测其中的人脸，人脸检测可以采用Adaboost的方法。Adaboost方法在Paul Viola and MichaelJones，Rapid object detection using a boosted cascade of simplefeatures，CVPR，2001一文中有详细描述，在此不再赘述。
特征提取模块进行特征向量提取包括以下步骤对于检测到的人脸，定位其中的人脸特征点；根据检测到的特征点，对人脸图像进行归一化及仿射变换，使两眼位于固定位置，截取固定大小的人脸图像；对光照、背景、姿态进行规范化处理，可以采用的方法包括对图像进行直方图均衡或归一化，对图像边缘进行模糊化处理，根据姿态对图像进行基于人脸模型的几何变换等。在此基础上，提取人脸图像中的人脸特征，可以采用的方法为主成分分析(PCA)，或对图像特征点提取小波变换(如Gabor变换)系数，由此得到待识别人脸的特征向量。除了人脸信息，亦可以提取人体的辅助信息，可以作为有用的识别信息，包括头发、衣服、体形等。另外，图片的拍照时间，像机型号也是有用的信息，同时可以传给服务器。人脸信息，人体的辅助信息以及图片的拍照时间，像机型号共同组合成一个人物的特征向量。人体的信息的提取，我们以衣服为例，具体执行如下选定衣服区域，这可以根据检测到的人脸的大小、位置、据经验值选定；在衣服区域提取颜色信息，这可以采用颜色直方图；在衣服区域提取纹理信息，这可以采用在衣服区域进行频域变换(如小波、GABOR、离散余旋变换等)，提取频域的分布信息，或者提取图像的局域二值模式(LBP，Locally Binary Pattern)信息；提取图片的拍照时间、像机型号信息。
客户端把待识别人物的特征向量通过通信线路传给服务器，服务器中的识别引擎模块从人脸数据库中获得已训练的人物的特征向量，并把待识别人物的特征向量与之对比进行识别。比对通常是计算两个特征向量之间的距离，该距离可以采用欧氏距离、X2距离等。如果有人物的辅助信息，在判断该辅助信息为唯一的情况下，并且拍摄时间接近，则把人脸距离和辅助信息距离加权相加，如果没有特殊的辅助信息，则只用人脸信息。在多个候选特征向量中，可以采用最近邻法(kNN)，即选取距离最小的已知特征向量，如果该距离小于某一个预先确定的阈值，该特征向量的人名即为待识别人物的人名。
服务器把识别的结果通过通信线路传给客户端，用户确认识别结果，客户端把识别结果的确认传给服务器，服务器中调整识别引擎模块执行以下之一或全部把正确识别的结果加到人脸数据库；把识别错误的结果以非某人的形式记录到人脸数据库，供以后识别的时候排斥该结果；根据识别反馈的结果，用相关反馈(Relevance Feedback)的方法调整识别引擎。一种相关反馈的具体实现方法是调整识别引擎中各维特征向量加权的权重，把更多的权重赋给有助于区分不同人的特征向量维数。
在识别的时候，综合利用人脸及辅助信息的方法包括首先选取像机型号相同，拍照时间相近的图片；决定非特殊的辅助信息通过扫描合影中的辅助信息，如果两个辅助信息小于某阈值，则认为是非特殊的辅助信息。另一种决定非特殊辅助信息的方法是，对于已经用户标注的人脸，两两比较它们的辅助信息，如果非同一个人且两个辅助信息的距离小于某阈值，则认为是非特殊的辅助信息；非特殊的辅助信息存储于数据库中，待识别的辅助信息与数据库中非特殊的辅助信息进行对比，如果小于某阈值，则确定不利用特殊的辅助信息识别该人物；综合利用人脸信息和特殊的辅助信息进行识别，综合的方法是加权人脸信息和特殊的辅助信息的距离，加权信息记录于数据库；如果没有特殊的辅助信息，则只用人脸信息；用户确认识别结果；根据确认结果调整识别引擎，如果前次识别结果利用了大量的辅助信息而识别结果错误，则把该辅助信息加入到非特殊的辅助信息数据库中。
实施例二本实施例的系统框图如图2所示，一种综合利用人脸及人体辅助信息的交互式人脸识别系统，包括客户端、服务器，以及两者之间的通信线路。客户端可以为个人计算机(PC)，也可以为专用的硬件终端(基于专用芯片或数字信号处理器等)，也可以为移动终端(如移动电话)。通信线路可以为互联网，也可以为无线网络，还可以为专用通信线路(如用于安防等领域的专用通信线路)。客户端包括以下模块本地人脸数据库模块、人脸检测模块、特征提取模块、识别引擎模块、用户确认模块，服务器包括网络人脸数据库模块。
在开始识别前，客户端需根据识别的任务，向服务器网络人脸数据库模块请求与识别任务匹配的人脸特征向量集、并下载到客户端本地人脸数据库模块中。
人脸检测模块对输入的待识别图像，检测其中的人脸，人脸检测可以采用Adaboost的方法。Adaboost方法在Paul Viola and MichaelJones，Rapid object detection using a boosted cascade of simplefeatures，CVPR，2001一文中有详细描述，在此不再赘述。
特征提取模块进行特征向量提取，具体执行与实施例一相同。客户端把待识别人物的特征向量及辅助信息输给识别引擎模块。识别引擎模块从本地人物数据库中获得已训练的人脸的特征向量，并把待识别人物的特征向量与之对比进行识别。比对通常是计算两个特征向量之间的距离，该距离可以采用欧氏距离、X2距离等。如果有人物的辅助信息，在判断该辅助信息为唯一的情况下，并且拍摄时间接近，则把人脸距离和辅助信息距离加权相加，如果没有特殊的辅助信息，则只用人脸信息。在多个候选特征向量中，可以采用最近邻法(kNN)，即选取距离最小的已知特征向量，如果该距离小于某一个预先确定的阈值，该特征向量的人名即为待识别人物的人名。
用户确认识别结果，根据确认结果调整识别引擎，可以采用以下之一或全部把正确识别的结果加到人脸数据库；把识别错误的结果以非某人的形式记录到人脸数据库，供以后识别的时候排斥该结果；根据识别反馈的结果，采用相关反馈(Relevance Feedback)的方法调整识别引擎。一种相关反馈的具体实现方法是调整识别引擎中各维特征向量加权的权重，把更多的权重赋给有助于区分不同人的特征向量维数。
本实施例的综合利用人脸及辅助信息的方法与实施例一相同，在此不再赘述。
本发明还可以有其它实施方式，凡采用同等替换或等效变换形成的技术方案，均落在本发明要求保护的范围之内。
权利要求
1.综合利用人脸及人体辅助信息的交互式人脸识别系统，包括客户端、服务器，以及两者之间的通信线路，其特征在于所述客户端包括以下模块人脸检测模块，对输入的待识别图像，检测其中的人脸；特征提取模块，对于检测到的人脸，提取人脸及人体的辅助信息，以及图片的拍照时间，像机型号信息，并把相关特征向量通过通信线路传至服务器；用户确认模块，用于确认服务器传过来的识别结果，并把确认的识别结果通过通信线路传至服务器；所述服务器包括以下模块人脸数据库模块，提供已训练的人物的特征向量；识别引擎模块，从人脸数据库中获得已训练的人物的特征向量，并把从客户端传过来的待识别人物的特征向量与之对比进行识别，来获得识别结果，并将识别结果通过通信线路传至用户确认模块；调整识别引擎模块，根据用户确认模块传过来的确认的识别结果来调整识别引擎。
2.综合利用人脸及人体辅助信息的交互式人脸识别系统，包括客户端、服务器，以及两者之间的通信线路，其特征在于所述服务器包括以下模块网络人脸数据库模块，提供人物特征向量数据；所述客户端包括以下模块本地人脸数据库模块，在开始识别前，根据识别的任务，向服务器网络人脸数据库模块请求与识别任务匹配的人物特征向量集，并下载到本地人脸数据库中；人脸检测模块，对输入的待识别图像，检测其中的人脸；特征提取模块，对于检测到的人脸，提取人脸及人体的辅助信息，以及图片的拍照时间，像机型号信息；识别引擎模块，从本地人物数据库中获得已训练的人脸的特征向量，并把待识别人物的特征向量与之对比进行识别，得到识别结果；用户确认模块，用于确认识别结果；调整识别引擎模块，根据确认的识别结果来调整识别引擎。
3.如权利要求1或2所述的综合利用人脸及人体辅助信息的交互式人脸识别系统，其特征在于所述特征提取模块包括以下子模块人脸特征点定位子模块，对于检测到的人脸，定位其中的人脸特征点；人脸图像变换处理子模块，根据检测到的特征点，对人脸图像进行归一化及仿射变换，使两眼位于固定位置，并截取固定大小的人脸图像；规范化处理子模块，采用对图像进行直方图均衡或归一化或对图像边缘进行模糊化处理或根据姿态对图像进行基于人脸模型的几何变换的方法对光照、背景、姿态进行规范化处理；人脸特征向量提取子模块，采用主成分分析或对图像特征点提取小波变换系数的方法提取人脸图像中的人脸特征向量；人体辅助信息提取子模块，提取衣服信息、头发信息、图片拍照时间、像机型号信息。
4.如权利要求1或2所述的综合利用人脸及人体辅助信息的交互式人脸识别系统，其特征在于所述识别引擎模块包括以下子模块对比子模块，计算两个特征向量之间的距离，欧氏距离或X2距离，如果有人物的辅助信息，在判断该辅助信息为唯一的情况下，并且拍摄时间接近，则把人脸距离和辅助信息距离加权相加，否则只使用人脸距离，在多个候选特征向量中，采用最近邻法，即选取距离最小的已知特征向量，如果没有特殊的辅助信息，则只用人脸信息。
5.如权利要求1或2所述的综合利用人脸及人体辅助信息的交互式人脸识别系统，其特征在于调整识别引擎模块至少包括以下一个子模块正确识别结果入库子模块，把正确识别的结果加到人脸数据库；错误识别结果入库子模块，把识别错误的结果以非某人的形式记录到人脸数据库，供以后识别的时候排斥该结果；识别引擎调整子模块，根据识别反馈的结果，采用相关反馈的方法调整识别引擎。
6.综合利用人脸及人体辅助信息的交互式人脸识别方法，其特征在于包括以下步骤(1)自动检测人脸；(2)根据步骤(1)检测到的人脸确定人体特征区域；(3)提取人脸及人体辅助信息以及图片的拍照时间、像机型号信息；(4)排除非特殊的人体辅助信息；(5)综合利用人脸及特殊的辅助信息以及图片的拍照时间、像机型号信息进行识别，获得识别结果。7.如权利要求6所述的综合利用人脸及人体辅助信息的交互式人脸识别方法，其特征在于所述步骤(1)中，检测人脸的方法为Adaboost方法。
8.如权利要求6所述的综合利用人脸及人体辅助信息的交互式人脸识别方法，其特征在于所述步骤(2)中，根据检测到的人脸的大小、位置，根据经验值确定人体特征区域。
9.如权利要求6所述的综合利用人脸及人体辅助信息的交互式人脸识别方法，其特征在于所述步骤(3)中，提取人体辅助信息为采用颜色直方图的方法在人体特征区域提取颜色信息，采用在人体特征区域进行频域变换，提取频域分布信息的方法在人体特征区域提取纹理信息，或提取图像的局域二值模式信息作为纹理信息。
10.如权利要求6所述的综合利用人脸及人体辅助信息的交互式人脸识别方法，其特征在于所述步骤(5)包括以下步骤①首先选取像机型号相同，拍照时间相近的图片；②决定非特殊辅助信息通过扫描合影中的辅助信息，如果两个辅助信息的距离小于某阈值，则认为是非特殊的辅助信息，或者对于已经用户标注的人脸，两两比较它们的辅助信息，如果非同一个人且两个辅助信息的距离小于某阈值，则认为是非特殊的辅助信息，非特殊的辅助信息存储于数据库中，待识别的辅助信息与数据库中非特殊的辅助信息对比，如果小于某阈值，则确定不利用该辅助信息识别该人物；③综合利用人脸信息和特殊的辅助信息进行识别加权人脸信息和特殊的辅助信息的距离，加权信息记录于数据库，如果没有特殊的辅助信息，则只用人脸信息的距离；④用户确认识别结果；⑤根据确认结果调整识别引擎，如果前次识别结果利用了大量的辅助信息而识别结果错误，则把该辅助信息加入到非特殊的辅助信息数据库中。
全文摘要
本发明涉及图像识别系统及方法，是综合利用人脸及人体辅助信息的交互式人脸识别系统及方法，包括客户端、服务器，以及两者之间的通信线路，客户端包括人脸检测模块、特征提取模块、用户确认模块，服务器包括人脸数据库模块、识别引擎模块、调整识别引擎模块或服务器包括网络人脸数据库模块；客户端包括本地人脸数据库模块、人脸检测模块、特征提取模块、识别引擎模块、用户确认模块，用于确认识别结果、调整识别引擎模块，根据确认的识别结果来调整识别引擎。是一种交互式的人脸识别系统，通过引入用户反馈并调整识别引擎，可以提高识别的精度。另外，本发明可以应用于互联网，是大规模的基于客户端、服务器架构的人脸识别系统。
文档编号H04L9/32GK101021899SQ20071002064
公开日2007年8月22日 申请日期2007年3月16日 优先权日2007年3月16日
发明者振华于 申请人:南京搜拍信息技术有限公司