专利名称：一种人脸识别系统与识别方法
技术领域：
本发明涉及一种人脸识别系统与识别方法，是从网络流媒体数据中自动进行人脸识别的专用嵌入式技术，属于电子自动识别技术领域，特别适用于对智能要求较高的网络监控系统，如城市治安监控报警系统使用，通过人脸识别确认身份，还可在海关、机场等场合将其作为视频监控系统使用，记录并保存视频录像。
背景技术：
计算机人脸识别是指基于已知的人脸样本库，利用计算机分析图像和模式识别技术从静态或动态场景中，识别或验证一个或多个人脸。通常识别处理后可得到的基本信息包括人脸的位置、尺度和姿态信息。利用特征提取技术还可进一步抽取出更多的生物特征(如种族、性别、年龄)。计算机人脸识别是目前一个非常活跃的研究课题，它可以广泛应用于保安系统、罪犯识别以及身份证明等重要场合。虽然人类对于人脸的识别能力很强，能够记住并辨识上千个不同的人脸，可是对于计算机则困难多了，其表现在人脸表情丰富，人脸随年龄的增长而变化，发型、胡须、眼镜等装饰对人脸造成的影响，人脸所成图像受光照、成像角度以及成像距离等影响等。
在本发明提出以前已有人脸自动识别技术大多是基于PC机，人脸识别的工作都是交给PC机上的识别软件来完成的。也有部分是利用了嵌入式的架构，但整体的结构并没有发生改变，均为从摄像机取得图像，然后进行处理的模式，无法进行远程监控处理。并且这类产品具有成本高、稳定性差、难以升级和维护以及与现有监控网络难以兼容等缺点。
发明内容
本发明的一个目的是克服现有技术的缺点，提供一种人脸识别系统，它能够对来自网络的视频流进行人脸识别，拥有足够高的识别率和高的识别速度，和强有力的数据处理能力，与现有监控网络能很好兼容，且工作稳定、易于升级和维护、成本低。
本发明一种人脸识别系统的技术方案是一种人脸识别系统，它有一个网络接口模块，它用来接收来自网络的视频流或图形；一个双核芯片SOC模块，用来对接收来自网络的视频流图像与图形进行检测，判断其中是否含有人脸信息，并对该人脸进行识别；所述的网络接口模块与双核芯片SOC模块相连接；一个CPLD的地址译码，用于管理双核芯片SOC模块的外围设备；一个DDR2高速运算内存，作为双核芯片SOC模块的内存；一个外部程序存储器NAND Flash，用于存储检测与识别程序，或同时具有一个IDE的硬盘，用于实现本地数据的大容量存取；上述的双核芯片SOC模块与DDR2高速运算内存通过DDR2数据总线连接；CPLD的地址译码通过EMIF总线与外部程序存储器NAND Flash连接，或同时与IDE硬盘连接；为整个系统提供电源的是电源模块。
在上述方案的基础上具有附加技术特征的进一步的技术方案是所述的人脸识别系统，其网络接口模块，它采用标准为10M/100M，通过网络直接对局域网或者Internet上的网络摄像机或硬盘录像机进行管理和访问，或通过WEB网页对系统进行管理和参数设置工作。
所述的人脸识别系统，其双核芯片SOC模块选自TI公司的双核芯片ARM9+DM64X SOC模块、即片上系统模块；该双核芯片SOC模块包括一块ARM9控制芯片和一块专用图像处理的DSP芯片，同时包括了高速内部二级缓存芯片。
所述的人脸识别系统，其DDR2高速运算内存是根据实际应用的需要扩展了的高速DDR2 SDRAM，用于实现高速运算，在DSP内核中实现特定的人脸算法，并在另一个ARM9内核中内移植了Linux操作系统，用于实现网络和系统管理的功能。
所述的人脸识别系统，其外部程序存储器NAND Flash有一个64MB的NARD FLASH程序空间存储器用于固化代码和实现本地小数据的处理。
所述的人脸识别系统，其外部程序存储器NAND Flash还有一个IDE的硬盘，用于固化代码和实现本地数据的大容量存取。
本发明的一种人脸识别系统技术效果显著，集成了人脸识别、网络数据库、人像组合、视频图像采集与处理等多种技术，通过网络获取远程视频图像信息，与数据库中的人像进行快速比对，达到及时确定被鉴别者真实身份的目的。具备精确的计算方法和强有力的数据处理能力，因而具有足够高的识别率和高的识别速度；该系统的应用领域极为广泛，以机场通关为例，乘客在办理安检手续时，其脸部图像将被系统所配备的多台摄像机从不同角度进行拍摄，之后，采集到的画面将回传至服务器；通过将采集到的人脸图像与数据库中的人脸图像进行比对，机场安检部门在短短1秒钟内就可识别通关者的“真面目”，并可传输到遥远的总部监控管理，即便被识别者采用了佩带眼镜、粘贴胡须等易容手段，系统也能准确地进行判定。
本发明的另一个目的是，提供一种人脸识别系统的识别方法，通过优化程序，实现人脸检测速度快、检测准确度高、与原有网络设备兼容性好性能稳定的目的。
本发明的一种人脸识别系统的识别方法技术方案是它包括下述步骤A、压缩视频解码对网络传输的流媒体数据进行压缩视频解码，获取数字图像序列；B、预处理对输入的原始图像进行包括灰度化，光照补偿预处理，提高图像的质量，得到灰度图象；C、运动检测将输入的灰度图像采用帧差法和混合高斯背景建模共同来确定有运动，或无运动发生；当两种方法检测出来的前景连通区域均大于阈值则认为有运动发生，若检测到有运动发生，则进行后续的人脸检测，若检测到无运动发生，则不进行后续的人脸检测，而进行复查；D、人脸定位对正面人脸实时检测，确定人脸在图象中的位置；包括微特征计算单元和分类器单元；所述的微特征计算单元是对待检测的灰度图像进行缩放，穷举搜索候选人脸窗口，计算出各个窗口的微结构特征，并将其传给AdaBoost神经网络分类器单元进行判决；E、器官定位器官定位是确定人脸在图象中的位置，包括双眼、双眉、鼻子、嘴巴、下颌的定位；根据人脸的五官形状特征和AdaBoost分类器对C步中检测到的人脸窗口的区域进行双眼、双眉、鼻子、嘴巴、下颌定位，对于潜在的伪器官，采用最大后验概率的判别原则进行滤除；F、归一化根据器官的位置信息，求得归一化的灰度图像，它是对图像包括旋转、缩放、剪切操作，使双眼水平，下颚的高度一定；G、特征提取从整个人脸中提取出人脸部件特征，包括裸脸、眉毛、眼睛、鼻尖、嘴人脸部件；利用主分量分析方法提取人脸部件的特征值；H、人脸比对得出人脸相似度它是在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别；I、数据通讯将检测或识别结果通过网络发送给服务器。
在上述方案的基础上具有附加技术特征的进一步的技术方案是所述的人脸识别系统的识别方法，其流媒体数据)进行压缩视频解码支持包括MPEG2，MPEG4，H.263，H.264各类视频格式。
所述的人脸识别系统的识别方法，其预处理是通过网络接口得到的人脸图像，将人脸图像进行数字化后提交给DM6446里DSP芯片上的程序进行图像处理。
所述的人脸识别系统的识别方法，从整个人脸中提取出人脸部件特征为五种部件；利用主分量分析方法提取五种部件的特征值。
本发明人脸识别系统的识别方法的效果是解码速度快，效率高；预处理、运动检测、人脸及器官定位质量高，准确无误，信息传递畅通，速度快。
图1本发明的人脸识别系统的硬件结构框图。
图2本发明人脸识别系统的应用方框简图。
图3本发明人脸识别系统的处理流程简图。
具体实施例方式
1、结合附图1和实施例对本发明一种人脸识别系统作进一步说明如下实施例1它有一个网络接口模块1，用来接收来自网络的视频流或图形；一个双核芯片SOC模块2，用来对接收来自网络的视频流图像与图形进行检测，判断其中是否含有人脸信息，并对该人脸进行识别；所述的网络接口模块1与双核芯片SOC模块2相连接；一个CPLD的地址译码3，用于管理双核芯片SOC模块2的外围设备；一个DDR2高速运算内存4，作为双核芯片SOC模块2的内存；一个外部程序存储器NAND Flash5，用于存储检测与识别程序，同时具有一个IDE的硬盘6，用于实现本地数据的大容量存取；上述的双核芯片SOC模块2与DDR2高速运算内存4通过DDR2数据总线连接；CPLD的地址译码3通过EMIF总线与外部程序存储器NAND Flash 5连接，同时与IDE硬盘6连接；为整个系统提供电源的是电源模块7；所述的网络接口模块1，它采用标准为10M/100M，通过网络直接对局域网或者Internet上的网络摄像机或硬盘录像机进行管理和访问，也可以通过WEB网页对系统进行管理和参数设置工作；所述的双核芯片SOC模块2选自TI公司的双核芯片ARM9+DM64X SOC模块、即片上系统模块；该双核芯片SOC模块2有一块ARM9控制芯片和一块专用图像处理的DSP芯片，同时具有高速内部二级缓存芯片；所述的DDR2高速运算内存4是根据实际应用的需要扩展了的高速DDR2 SDRAM，用于实现高速运算，在DSP内核中实现特定的人脸算法，并在另一个ARM9内核中内移植了Linux操作系统，用于实现网络和系统管理的功能；DDR2高速运算内存4采用64MB的NAND的高速程序存储器，当系统上电的时候，存储在FALSH上面的程序加载到高速程序存储器内执行，可以满足系统全速运行的需要；所述的外部程序存储器NAND Flash 5有一个64MB的NARD FLASH程序空间存储器用于固化代码，还有一个IDE的硬盘6，用于固化代码和实现本地数据的大容量存取。
实施例2与上述实施例不同的是不带硬盘，实现本地小数据的处理，在本地检测人脸并提取特征值，并将提取出来的提取特征值及人脸归一化图像传给监控中心服务器，在服务器端实现比对算法部分，这种设计适合于海量图像库数据的对比与识别。
2、结合附图2、3和实施例对本发明一种人脸识别系统的识别方法作进一步说明如下一种用于人脸识别系统的识别方法，其步骤如下A、压缩视频解码对网络传输的流媒体数据进行压缩视频解码，获取数字图像序列；输入流媒体数据；输出解压后的数字图像；B、预处理对输入的原始图像进行包括灰度化，光照补偿预处理，提高图像的质量，得到灰度图象；输入解压后的数字图像；输出灰度图像；C、运动检测将输入的灰度图像采用帧差法和混合高斯背景建模共同来确定有运动，或无运动发生；当两种方法检测出来的前景连通区域均大于阈值则认为有运动发生，若检测到有运动发生，则进行后续的人脸检测，若检测到无运动发生，则不进行后续的人脸检测，而进行复查；输入相邻两帧的灰度图像；输出运动检测结果；D、人脸定位对正面人脸实时检测，确定人脸在图象中的位置；包括微特征计算单元和分类器单元；所述的微特征计算单元是对待检测的灰度图像进行缩放，穷举搜索候选人脸窗口，计算出各个窗口的微结构特征，并将其传给AdaBoost神经网络分类器单元进行判决；输入灰度图像；输出人脸窗口在图像中的位置；E、器官定位器官定位是确定人脸在图象中的位置，包括双眼、双眉、鼻子、嘴巴、下颌的定位；根据人脸的五官形状特征和AdaBoost分类器对C步中检测到的人脸窗口的区域进行双眼、双眉、鼻子、嘴巴、下颌定位，对于潜在的伪器官，采用最大后验概率的判别原则进行滤除；输入灰度图像，人脸窗口的位置；输出器官在图像中的位置；F、归一化根据器官的位置信息，求得归一化的灰度图像，它是对图像包括旋转、缩放、剪切操作，使双眼水平，下颚的高度一定；输入灰度图像，器官在图像中的位置；输出归一化的灰度图像G、特征提取从整个人脸中提取出人脸部件特征，包括裸脸、眉毛、眼睛、鼻尖、嘴人脸部件；利用主分量分析方法提取人脸部件的特征值；输入归一化的灰度图像，器官在图像中的位置；输出部件特征；H、人脸比对得出人脸相似度它是在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别；输入待检测图像的部件特征，数据库中的样本的部件特征；输出相似度；I、数据通讯将检测或识别结果通过网络发送给服务器；输入通信控制信号；输出TCP/IP数据包；上述的流媒体数据进行压缩视频解码支持包括MPEG2，MPEG4，H.263，H.264各类视频格式；所述的预处理是通过网络接口得到的人脸图像，将人脸图像进行数字化后提交给DM6446里DSP芯片上的程序进行图像处理；所述的从整个人脸中提取出人脸部件特征为五种部件；利用主分量分析方法提取五种部件的特征值。
本发明的保护范围不限于上述实施例。
权利要求
1.一种人脸识别系统，其特征在于，它包括一个网络接口模块(1)，它用来接收来自网络的视频流或图形；一个双核芯片SOC模块(2)，用来对接收来自网络的视频流图像与图形进行检测，判断其中是否含有人脸信息，并对该人脸进行识别；所述的网络接口模块(1)与双核芯片SOC模块(2)相连接；一个CPLD的地址译码(3)，用于管理双核芯片SOC模块(2)的外围设备；一个DDR2高速运算内存(4)，作为双核芯片SOC模块(2)的内存；一个外部程序存储器NAND Flash(5)，用于存储检测与识别程序，或同时具有一个IDE的硬盘(6)，用于实现本地数据的大容量存取；上述的双核芯片SOC模块(2)与DDR2高速运算内存(4)通过DDR2数据总线连接；CPLD的地址译码(3)通过EMIF总线与外部程序存储器NAND Flash(5)连接，或同时与IDE硬盘(6)连接；为整个系统提供电源的是电源模块(7)。
2.根据权利要求1所述的人脸识别系统，其特征在于，所述的网络接口模块(1)，它采用标准为10M/100M，通过网络直接对局域网或者Internet上的网络摄像机或硬盘录像机进行管理和访问，或通过WEB网页对系统进行管理和参数设置工作。
3.根据权利要求1所述的人脸识别系统，其特征在于，所述的双核芯片SOC模块(2)选自TI公司的双核芯片ARM9+DM64X SOC模块、即片上系统模块；该双核芯片SOC模块(2)包括一块ARM9控制芯片和一块专用图像处理的DSP芯片，同时包括了高速内部二级缓存芯片。
4.根据权利要求1所述的人脸识别系统，其特征在于，所述的DDR2高速运算内存(4)是根据实际应用的需要扩展了的高速DDR2 SDRAM，用于实现高速运算，在DSP内核中实现特定的人脸算法，并在另一个ARM9内核中内移植了Linux操作系统，用于实现网络和系统管理的功能。
5.根据权利要求1所述的人脸识别系统，其特征在于，所述的外部程序存储器NAND Flash(5)有一个64MB的NARD FLASH程序空间存储器用于固化代码和实现本地小数据的处理。
6.根据权利要求1或5所述的人脸识别系统，其特征在于，所述的外部程序存储器NAND Flash(5)还有一个IDE的硬盘(6)，用于固化代码和实现本地数据的大容量存取。
7.一种用于权利要求1所述人脸识别系统的识别方法，其特征在于，它包括下述步骤A、压缩视频解码对网络传输的流媒体数据进行压缩视频解码，获取数字图像序列；B、预处理对输入的原始图像进行包括灰度化，光照补偿预处理，提高图像的质量，得到灰度图象；C、运动检测将输入的灰度图像采用帧差法和混合高斯背景建模共同来确定有运动，或无运动发生；当两种方法检测出来的前景连通区域均大于阈值则认为有运动发生，若检测到有运动发生，则进行后续的人脸检测，若检测到无运动发生，则不进行后续的人脸检测，而进行复查；D、人脸定位对正面人脸实时检测，确定人脸在图象中的位置；包括微特征计算单元和分类器单元；所述的微特征计算单元是对待检测的灰度图像进行缩放，穷举搜索候选人脸窗口，计算出各个窗口的微结构特征，并将其传给AdaBoost神经网络分类器单元进行判决；E、器官定位器官定位是确定人脸在图象中的位置，包括双眼、双眉、鼻子、嘴巴、下颌的定位；根据人脸的五官形状特征和AdaBoost分类器对(C)中检测到的人脸窗口的区域进行双眼、双眉、鼻子、嘴巴、下颌定位，对于潜在的伪器官，采用最大后验概率的判别原则进行滤除；F、归一化根据器官的位置信息，求得归一化的灰度图像，它是对图像包括旋转、缩放、剪切操作，使双眼水平，下颚的高度一定；G、特征提取从整个人脸中提取出人脸部件特征，包括裸脸、眉毛、眼睛、鼻尖、嘴人脸部件；利用主分量分析方法提取人脸部件的特征值；H、人脸比对得出人脸相似度它是在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别；I、数据通讯将检测或识别结果通过网络发送给服务器。
8.根据权利要求7所述的人脸识别系统的识别方法，其特征在于，所述的流媒体数据进行压缩视频解码支持包括MPEG2，MPEG4，H.263，H.264各类视频格式。
9.根据权利要求7所述的人脸识别系统的识别方法，其特征在于，所述的预处理是通过网络接口得到的人脸图像，将人脸图像进行数字化后提交给DM6446里DSP芯片上的程序进行图像处理。
10.根据权利要求7所述的人脸识别系统的识别方法，其特征在于，所述的从整个人脸中提取出人脸部件特征为五种部件；利用主分量分析方法提取五种部件的特征值。
全文摘要
本发明涉及一种人脸识别系统，它有一个网络接口模块；一个双核芯片SOC模块；所述的网络接口模块与双核芯片SOC模块相连接；一个CPLD的地址译码；一个DDR2高速运算内存；一个外部程序存储器，或同时具有一个IDE的硬盘；上述的双核芯片模块与高速运算内存通过数据总线连接；CPLD的地址译码通过EMIF总线与外部程序存储器NAND Flash连接，或同时与IDE硬盘连接；为整个系统提供电源的是电源模块。识别方法包括下述步骤压缩视频解码；预处理；运动检测；人脸定位；器官定位；归一化；特征提取；人脸比对；数据通讯。本发明优点是拥有足够高的识别率和高的识别速度，和强有力的数据处理能力，与现有监控网络能很好兼容，且工作稳定、易于升级和维护、成本低。
文档编号H04N7/26GK101059838SQ200710052448
公开日2007年10月24日 申请日期2007年6月11日 优先权日2007年6月11日
发明者聂晖, 赵忠祥, 陈黎, 陈昆, 马天宇 申请人:湖北东润科技有限公司