专利名称：多目摄像机视频人脸最佳视角的选择方法
技术领域：
本发明属于智能信息处理技术领域，涉及一种多目摄像机视频人脸最佳视角的选
择方法，用于视频数字图像分析与理解。
背景技术：
在实际应用场景中，由于单个摄像机视角有限，以及场景中存在遮挡，因此，使用 单个摄像机难以对场景实施有效的监控、识别、分析与理解。多目摄像机系统可覆盖较大视 角范围，且可展示来自不同视角范围内的场景图像与信息，克服遮挡影响。但如何从多目摄 像机系统中，选取具有最佳视角的摄像机是关键。由于最佳视角摄像机捕获信息量大，有助 于场景信息的分析与理解，且最佳视角摄像机的选取，有助于舍弃来自其它摄像机的冗余 信息，节省计算开销，提高对场景监控、识别、分析与理解的效率。由于人脸是人类视觉系统 所具有的最基本和最重要的视觉特征，也是人类视觉交流的基础，人类通过人脸视觉特征， 可识别彼此身份，理解对方的感情和意图，因此，进行视频人脸检测、跟踪、识别、行为分析 与理解等已成为近年来国内外研究的热点之一，而最佳视角人脸图像包含人脸的最大信息 量，有助于上述问题的解决。 目前，已经提出了许多多目摄像机视频人脸最佳视角的选择方法。主要有基于模 型方法和基于特征方法。前者根据有关场景、头部三维几何结构和光源的已知信息，建立头 部在不同视角下的统计模型，选取最佳视角摄像机。这些信息在实际应用均不易得到，且 算法复杂。后者采用图像特征，如几何、亮度、颜色、饱和度等信息进行判断，计算每个像素 点的特征信息，和相应背景点比较；根据检测的背景和前景进行特征判断，当图像背景发生 改变时，无法有效选择最佳视角摄像机，该方法适应性和准确性差。现有多目摄像机视频人 脸最佳视角选择方法需要有关场景、头部三维几何结构和光源信息以及对动态场景变化敏 感、噪声干扰大、运算复杂。
发明内容
鉴于上述现有技术存在的问题和不足，本发明提出了一种多目摄像机视频人脸最 佳视角的选择方法，该方法能能够简便、快捷地从多目摄像机中获取最佳捕获人脸最佳视 角的摄像机，其运算简便、灵活，能提高多目摄像机系统视频人脸最佳视角选择的鲁棒性， 可适应多种条件下的视频人脸最佳视角的自动选择。 为达到上述的目的，本发明的构思是该方法基于人脸肤色具有良好的色彩聚类
特性，由多目摄像机捕获人脸的不同视角肤色区域，其人脸肤色区域与其对应的矩形区域
具有不同的比例幅度，根据该比例幅度反映不同摄像机捕获人脸信息量，从多目摄像机系
统中自动选择具有最佳视角摄像机。 根据上述构思，本发明采用下述的技术方案 上述多目摄像机视频人脸最佳视角的选择方法，具体步骤如下 (1)、启动多目摄像机图像采集系统由多目摄像机从不同视角采集视频人脸图
3像； (2)、彩色空间转换，计算色彩值Cr， Cb :由RGB彩色空间的红R、绿G、蓝B三分量， 确定YCbCr色彩空间的色彩值Cr， Cb :
Cr = 0. 5XR-0. 4187XG-0. 0813XB
Cb = -0. 1687XR-0. 3313XG+0. 5XB (3)、肤色区域提取分别确定色彩值Cr， Cb以及Cr/Cb的阈值1\， T2， T3， T4， 1~5，将 满足下式的所有像素组成的区域，确定为肤色区域S S = (Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5) 其中，n为"逻辑与"操作符。 (4)、人脸区域的确定对满足(b)的二值图像进行连通区域搜索，计算连通区域 长与宽的比值以及连通区域中的孔洞数，将满足下式的所有像素组成的肤色区域确定为人 脸区域f = (S/Sw > t6 n S/Sw《t7) n (H > 1) 其中，S,分别为肤色连通区域的长度和宽度，T6， 1V为阈值，H为肤色连通区域 中的孔洞数。 (5)、视角评价因子计算根据提取的人脸肤色区域f，将包含该人脸区域的所有 像素组成的矩形区域m作为人脸肤色矩形区域，按下式计算视角评价因子
R = f/m (6)、最佳视角摄像机的确定根据视角评价因子值的大小，选择具有最大视角评 价因子值的摄像机，作为最佳捕获人脸的摄像机。 本发明的多目摄像机视频人脸最佳视角的选择方法与现有技术相比较，具有如下 显而易见的突出实质性特点和显著优点该方法由于人脸肤色在YCrCb的色彩空间中呈 现良好的聚类特性，受动态环境变化影响小，且人脸分布特征稳定，因而可充分利用人脸特 征，简便、快捷地得到人脸的肤色区域，并进而确定包含该肤色区域的矩形区域大小，获取 视角评价因子值。根据视角评价因子值的大小，从多目摄像机中，自动选择具有最大视角评 价因子值的摄像机，作为捕获人脸最佳视角的摄像机；该方法解决了多目摄像机系统视频 人脸最佳视角选择方法需要有关场景、头部三维几何结构和光源信息以及对动态场景变化 敏感、噪声干扰大、运算复杂的不足的问题；采用该方法能提高多目摄像机系统视频人脸最 佳视角选择的鲁棒性，可适应多种条件下的视频人脸最佳视角的自动选择，具有广泛的应 用前景。
图1是本发明的多目摄像机视频人脸最佳视角的选择方法的流程框图；
图2是本发明的实施例中步骤(1)从6个摄像机捕获的原始图像的图；
图3是本发明的实施例中步骤(4)确定的二值人脸图像的图；
图4是本发明一个实施例步骤(6)由最佳视角摄像机捕获的人脸图像的具体实施例方式
如图l所示，本发明的多目摄像机视频人脸最佳视角的选择方法的一个具体实施例是由6个摄像机构成的多目摄像机图像采集系统，通过6个摄像机采集得到的视 频人脸图像库，人脸图像库中包括6人在不同时间、不同地点拍摄的视频图像，图像大小 640X480。每个人的视频图像中包括人脸为背面、侧面和正面、旋转、倾斜和表情变化图像， 对采集的数字图像进行最佳视角摄像机的自动确定。人类肤色虽因人而异，但人脸肤色在 YCrCb的色彩空间中呈现良好的聚类特性，以及多目摄像机捕获人脸视角的不同，人脸肤色 区域与其对应的矩形区域具有不同的比值大小且该比值与摄像机获取人脸信息量的大小 相关；将该比值作为摄像机捕获人脸的视角评价因子，依据视角评价因子值的大小，从多目 摄像机中，自动选择具有最大视角评价因子值的摄像机，作为捕获人脸最佳视角的摄像机， 其具体步骤如下 (1)、启动多目摄像机图像采集系统将6个摄像机安装于适当位置，进行图像采 集，得到含有人脸图像的原始图像，如图2所示，采用的6个摄像机(编号分别为1#，2#，3#， 4#，5#，6#)捕获的不同视角的原始图像； (2)、彩色空间转换，计算色彩值Cr， Cb :由RGB彩色空间的红R、绿G、蓝B三分量， 确定YCbCr色彩空间的色彩值Cr， Cb :
Cr = 0. 5XR-0. 4187 XG-0. 0813 XB
Cb = -0. 1687XR-0. 3313XG+0. 5XB (3)、肤色区域提取分别确定色彩值Cr， Cb以及Cr/Cb的阈值1\， T2， T3， T4， 1~5，将 满足下式的所有像素组成的区域，确定为肤色区域S S = (Cr > 1\ n Cr《T2) n (Cb > T3 n Cb《T4) n (Cr/Cb > T5) 其中，n为"逻辑与"操作符，1\ T5的取值分别为133， 178， 78， 127和1. 10。 (4)、人脸区域的确定对满足(3)的二值图像进行连通区域搜索，计算连通区域
长与宽的比值以及连通区域中的孔洞数，将满足下式的所有像素组成的肤色区域确定为人
脸区域F = (S/Sw > t6 n S/Sw《T7) n (H > 1) 其中，Sw分别为肤色连通区域的长度和宽度，T6， T7为阈值，H为肤色连通区域 中的孔洞数，T6， T7的取值分别为0. 75， 2. 5，如图3所示。 (5)、视角评价因子计算根据提取的人脸肤色区域F，将包含该人脸区域的所有 像素组成的矩形区域M作为人脸肤色矩形区域，按下式计算视角评价因子
R = F/M 如图3所示，图3中6幅图像右上方所注的数字是视角评价因子数值，分别为 0.555、0.563、0. 585、0. 568、0. 667、0. 596 ; (6)、最佳视角摄像机的确定根据视角评价因子值的大小，选择具有最大视角评 价因子值的摄像机，作为最佳捕获人脸信息的摄像机，如图4为5#最佳视角摄像机所获取 的最佳视角人脸图像。
权利要求
一种多目摄像机视频人脸最佳视角的选择方法，其特征在于，基于人脸肤色具有良好的色彩聚类特性，由多目摄像机捕获人脸的不同视角肤色区域，其人脸肤色区域与其对应的矩形区域具有不同的比例幅度，根据该比例幅度反映不同摄像机捕获人脸信息量；从多目摄像机系统中自动选择具有最佳视角摄像机，其具体步骤如下(1)、启动多目摄像机图像采集系统由多目摄像机从不同视角采集视频人脸图像；(2)、彩色空间转换，计算色彩值Cr，Cb由RGB彩色空间的红R、绿G、蓝B三分量，确定YCbCr色彩空间的色彩值Cr，CbCr＝0.5×R-0.4187×G-0.0813×BCb＝-0.1687×R-0.3313×G+0.5×B(3)、肤色区域提取分别确定色彩值Cr，Cb以及Cr/Cb的阈值T1，T2，T3，T4，T5，将满足下式的所有像素组成的区域，确定为肤色区域SS＝(Cr≥T1∩Cr≤T2)∩(Cb≥T3∩Cb≤T4)∩(Cr/Cb≥T5)其中，∩为“逻辑与”操作符；(4)、人脸区域的确定对满足(3)的二值图像进行连通区域搜索，计算连通区域长与宽的比值以及连通区域中的孔洞数，将满足下式的所有像素组成的肤色区域确定为人脸区域F＝(S1/Sw≥T6∩S1/Sw≤T7)∩(H＞1)其中，S1，Sw分别为肤色连通区域的长度和宽度，T6，T7为阈值，H为肤色连通区域中的孔洞数；(5)、视角评价因子计算根据提取的人脸肤色区域F，将包含该人脸区域的所有像素组成的矩形区域M作为人脸肤色的矩形区域，按下式计算视角评价因子R＝F/M(6)、最佳视角摄像机的确定根据视角评价因子值的大小，选择具有最大视角评价因子值R的摄像机，作为最佳捕获人脸的摄像机。
全文摘要
本发明公开了一种多目摄像机视频人脸最佳视角的选择方法，该方法包括步骤如下(1)由多目摄像机从不同视角采集视频人脸图像；(2)彩色空间转换；(3)肤色区域提取；(4)人脸区域的确定；(5)视角评价因子计算；(6)最佳视角摄像机的确定。该方法利用人脸肤色在YCrCb的色彩空间中呈现良好的聚类特性，从多目摄像机捕获的视频图像中提取人脸肤色区域，计算人脸肤色区域与其对应的矩形区域之间的比值，实现多目摄像机最佳视角的确定，运算简便、灵活，容易实现，解决了多目摄像机系统视频人脸最佳视角选择方法需要有关场景、头部三维几何结构和光源信息，提高了多目摄像机系统视频人脸最佳视角选择的鲁棒性。
文档编号G06K9/00GK101702234SQ20091019822
公开日2010年5月5日 申请日期2009年11月3日 优先权日2009年11月3日
发明者管业鹏 申请人:上海大学