专利名称：嵌入式人脸检测与识别装置的制作方法
技术领域：
本实用新型有关一种基于美国德州仪器公司(以下简称美国TI公司)达芬奇(DaVinciTM) 技术的嵌入式人脸检测与识别装置。达芬奇(DaVinciTM)技术是美国TI公司新近推出的数 字视音频产品开发技术。
背景技术：
目前，大多数人脸识别的产品都是"桌面系统"，也就是在高档服务器或PC机上运行的 软件系统。但是，在一些人脸识别的应用场合(如基于人脸识别的门锁、手持式或便携式的 人脸识别器等)，我们需要嵌入式系统，而不是"桌面系统"。嵌入式系统面向特定的应用。嵌入式系统包括硬件和软件两个部分。硬件部分包括嵌入 式处理器、存储器、各种外设接口和相应的控制器等。软件部分包括操作系统和应用程序。 应用程序控制着系统的运作和行为；而操作系统控制着应用程序与硬件的交互作用。嵌入式系统硬件部分的核心是嵌入式处理器。嵌入式处理器分成下面几类* 微处理器(Micro-processor Unit，MPU),如Power PC、 ARM系列的MPU;* 微控制器(Microcontroller Unit, MCU)，如MCS-51系列的MCU;* 数字信号处理器(Digital Signal Processor, DSP)，如美国TI公司TMS320系列的DSP; *片上系统(System On Chip, SoC)芯片，如美国TI公司新近推出的达芬奇ARM/DSP双核SoC芯片；公开的文献资料表明，国内己有采用DSP处理器构造嵌入式人脸检测与识别系统的专利 (如实用新型专利"嵌入式人脸识别器"，ZL专利号200420023559.8)，但没有同时采用 ARM处理器和DSP处理器构造嵌入式人脸检测与识别系统的专利，更没有采用美国TI公司 达芬奇ARM/DSP双核SoC芯片构造嵌入式人脸检测与识别系统的专利。人脸检测与识别算法的实现需要大量的计算，因此，采用DSP处理器构造嵌入式人脸检 测与识别系统是一个自然和合理的选择。但是， 一个嵌入式系统并不仅仅包含算法的实现部 分，还必须包含各种外设接口。如果这些外设接口都由DSP处理器来控制，势必造成DSP 处理器负担过重，而且，DSP处理器结构本身也并不适合实现这些控制功能。同时采用ARM处理器和DSP处理器构造嵌入式系统可以使DSP处理器从烦琐的外设控 制中解放出来，使之专注于算法的实现。ARM/DSP双核结构使系统分工明确，结构合理。增 加ARM处理器后，嵌入式人脸检测与识别系统就分成了两个主要部分， 一为需要进行大量 运算的检测与识别部分，由DSP处理器负责；二为负责系统与外界交互(包括与用户交互、 与外部其他系统交互、联网等等)的部分，由ARM处理器负责。构建一个双核(ARM与DSP)的嵌入式系统，可以采用分立器件的方式，即系统中有一 个独立的ARM处理器和一个独立的DSP处理器，也可以采用ARM/DSP双核SoC芯片的方 式，即在一个芯片上集成ARM处理器和DSP处理器，并同时集成必要的外部接口和相应的 控制器。采用ARM/DSP双核SoC芯片的好处是显而易见的。由于把整个系统集成在一块芯
片内，从而使得系统的体积大大缩小，功耗大大降低，稳定性大大提高，所有这一切都是手 持式或便携式设备最为青睐的品质。达芬奇(DaVindTM)技术是美国TI公司新近推出的数字视音频产品开发技术，该技术 包括三个部分* ARM/DSP双核SoC芯片。达芬奇ARM/DSP双核SoC芯片不但包括一个ARM9核、 一个C64xDSP核和丰富的片上外设，特别地，还包括一个专门进行视频输入输出处 理的子系统(VPFE/BE)和一个专门进行视频/图形处理的协处理器(VICP)。这样 的结构使得这款SoC芯片特别适合数字视音品产品的开发。*在达芬奇ARM/DSP双核SoC芯片上运行的嵌入式应用程序。目前，美国TI公司或 第三方提供的嵌入式应用程序都是关于图象、视频、音频和语音编码方面的内容， 没有关于人脸检测与识别方面的内容。* 开发工具，包括eXpressDSP 集成配置工具、TMS320DM644x SoC分析器和 MontaVista Linux支持包。虽然，从视频中检测和识别人脸的装置属于典型的运算密集型数字视音品产品，但是， 在本实用新型发明之前，未见有利用达芬奇技术开发嵌入式人脸检测和识别装置的专利或报 道。实用新型内容本实用新型提供了一种采用美国TI公司达芬奇ARM/DSP双核SoC芯片构建的嵌入式人 脸检测与识别装置，该装置实现了从输入视频中实时检测和识别人脸的功能。见图1，嵌入式人脸检测与识别装置，其特征在于，包括嵌入式处理器(8)、以太网 收发器(1)、键盘及控制芯片(2)、 CMOS传感器(3)、快闪存贮器(4)、液晶显示屏(5)、 音频解码器(6)、双倍数据速率同步动态随机存储器(10)， USB接头(7)、红外线发射器 (9)、感光器件(11)、电源模块(12);其中CMOS传感器(3)和嵌入式处理器(8)通过 控制线和视频输入总线连接，液晶显示屏(5)和嵌入式处理器(8)通过控制线和视频输出 总线连接，以太网收发器(1)通过控制线和网络数据总线与嵌入式处理器(8)连接，键盘 及其控制芯片(2)和音频解码器(6)通过串行总线与嵌入式处理器(8)相连，红外线发射 器(9)和感光器件(11)通过控制线连接到嵌入式处理器(8)的通用输入/输出接口上，USB A型接头和USB B型接头(7)连接到嵌入式处理器(8)的USB2.0接口上，快闪存贮器(4)、 双倍数据速率同步动态随机存储器(10)和嵌入式处理器(8)通过控制总线，数据总线和地 址总线互相连接，电源模块(12)与各部分相连。本实用新型提供的嵌入式人脸检测与识别装置具体各部分如下- 达芬奇ARM/DSP双核SoC芯片(8)。达芬奇ARM/DSP双核SoC芯片目前主要有 二个型号DM6443和DM6446。 DM6446在前端增加了视频采集功能，能采集多种 格式的数字视频。因此，本实用新型采用DM6446。*感光器(11)。感光器(11)自动检测拍摄的光照环境，在光线昏暗时向DM6446 (8) 发出信号，提示DM6446 (8)启动红外线发射器(9)，同时通知CMOS传感器(3)
撤除红外滤光镜。DM6446 (8)通过通用输入输出接口 (GPIO)与感光器(11)交 互信息。*红外线发射器(9)。红外线发射器(9)在光线昏暗的时候发射红外线照射被拍摄的 物体。DM6446 (8)通过通用输入输出接口 (GPIO)接口与红外线发射器(9)交 互信息。* CMOS传感器(3),型号OV7648。 CMOS传感器(3)接受镜头的光信号，并把 光信号转化为电信号(CCD视频信号)。DM6446 (8)通过CCD[7-0]接口接收CMOS 传感器(3)送来的CCD视频信号。*键盘阵列接口芯片(2)，型号ZLG7290。键盘阵列(2)接受用户通过键盘输入的 控制命令。DM6446 (8)通过I2C接口接收键盘阵列(2)送来的用户控制命令。* 128M的NAND型快闪存贮器(4)，型号HY27UA081G1M。快闪存贮器(4)用 于存放操作系统、应用程序、人脸特征数据库和经过检测和预处理的人脸图像等。 DM6446 (8)通过异步外部存储接口 (EMIFA)与快闪存储器(4)交换数据。*双倍数据速率同步动态随机存储器(10)，型号MT47H32M16BN-5E。双倍数据速 率同步动态随机存储器(10)运行操作系统和应用程序。DM6446 (8)通过DDR2 数据接口D[0-31]和地址接口 A[0-21]与双倍数据速率同步动态随机存储器(10)交 换数据。 液晶显示屏(5)。液晶显示屏(5)显示从CMOS传感器(3)接受的视频，以便用 户观察实时拍摄的效果，也可以根据用户从键盘(2)输入的命令，显示存放在快闪 存贮器(4)内的图像。DM6446 (8)通过数字视频输出接口 (8-/16-位的YUV或 24位的RGB接口)给液晶显示屏(5)发送视频或图像数据。*音频解码器(6)，型号PCM1716。音频解码器(6)接收从DM6446 (8) McBSP 接口送来的音频PCM编码数据，解码后送至喇叭。* 以太网收发器(1)，型号LXT971ALE。 DM6446 (8)通过10/100EMAC接口与以 太网收发器(1)相接，实现嵌入式系统的联网功能。* USB接头(7)。 USB接头(7)与DM6446 (8)的USB2.0主机/设备接口相接。主 机接口可以外接USB数码摄像头等USB设备(参见附图5)，设备接口可以与其它 系统(如桌面系统)相接(参见附图6)。*电源管理模块(11)，型号TPS54310PWP。电源模块为装置的各个部分提供所需的 各种电压。本实用新型提供的装置相当于一台完整的计算机，ARM相当于CPU， DSP相当于协处 理器。ARM运行MontaVista Linux操作系统并通过操作系统实现对片内片外资源的控制，DSP 运行人脸检测与识别的应用程序。人脸检测采用Harr特征+AdBoost算法，人脸识别采用分 块二维主元分析算法。工作过程(参见附图4):上电后，DM6446 (8)把预先存放在快闪存储器(4)内的操 作系统内核、文件系统、应用程序、人脸特征数据库、系统配置信息等等数据读入DM6446 (8)的片内内存和双倍数据速率同步动态随机存贮器(10)并运行。当用户没有输入或没有 开启检测和识别功能时，应用程序处于空闲状态，其主要任务是向用户提供图形用户界面并响应有关消息，并将传感器捕捉到的视频实时显示在液晶显示屏(5)上(不进行任何的检测 与识别)，同时在光照条件不好时(通过感光器件(11)进行判定)启动红外线发射器(9) 进行主动红外摄像。当用户通过键盘(2)启动人脸检测与识别功能时，应用程序即开启执行 人脸检测和识别的功能，其主要执行步骤如下1、获取数字图像；2、对图像进行预处理；3、 执行Haar特征+AdaBoost人脸检测算法；4、人脸区域精确定位和图像归一化；5、执行BLOCK 2DPCA人脸识别算法。具体执行流程为，图像传感器获得的数字图像首先进入图像预处理模块，主要进行光照 补偿，噪声消除，图像增强等处理。处理后的数字图像即送入人脸检测模块。人脸检测模块 输出检测到的人脸区域(粗检)被送到精确定位和归一化模块，精确确定人脸的区域并将人 脸图像归一化为大小统一的人脸图像。最后该归一化人脸图像被送入人脸识别模块进行识别， 人脸识别的结果存放在快闪存储器(4)中，同时也在液晶显示屏(5)上显示，必要时还可 以通过音频解码器(6)和喇叭报警。在联网时，人脸识别的结果还可以通过局域网上传到监 控中心。此外装置还可通过GPIO与外部设备进行联动，例如控制外部门禁设备的开关等。 根据需要，执行3步骤后所得的人脸图像可以存储在快闪存储器(4)中，以对所有被检测过 的人员进行记录。该流程见说明书附图4。本项目提供的嵌入式人脸检测与识别装置的优点是显而易见的，主要优点可以归纳如下 *由于SoC芯片把整个系统集成于一块芯片之中，从而使得系统的开发周期大大縮短， 体积大大縮小，功耗大大降低，稳定性大大提高。所有这些特点都是嵌入式系统追 求的目标。參美国TI公司的达芬奇ARM/DSP双核SoC芯片，不但集成了一个高速的DSP内核， 而且还集成了一个专门进行视频输入输出处理的子系统(CPS)和一个专门进行视频 /图形数字处理的加速器(VICP)。因此，这款SoC芯片特别适合应用于运算密集型 的数字视音产品的开发。本实用新型提供的从输入视频中实时检测和识别人脸的嵌 入式装置就是典型的运算密集型数字视音品产品(人脸检测与识别需要大量的运 算)。*达芬奇技术是一个完整的数字视音品产品开发技术，它不但包括ARM/DSP双核SoC 芯片和开发工具，而且还包括TI公司和第三方提供的、在ARM/DSP双核SoC芯片 上运行的各种有关数字视音频处理的应用软件。随着达芬奇技术的推广，这些应用 软件的种类和数量在不断增加。公开的文献资料表明，在本实用新型发明之前，尚 没有在达芬奇ARM/DSP双核SoC芯片上运行的人脸检测与识别的应用软件。开发 这方面的应用程序，不但丰富达芬奇技术的内容，同时，借助TI公司和达芬奇技术 的品牌，也可以拓展自己的市场。达芬奇技术的软件开发模型参见附图3。
图1是本实用新型发明的嵌入式人脸检测与识别装置的结构示意图，其中(1)以太网收发器(2) 键盘及接口芯片
(3)CMOS传感器(4)快闪存储器(5)液晶显示屏(6)音频解码器(7)USB接头(8)达芬奇ARM/DSP双核处理器(9)红外线发射器(10)双倍数据速率同步动态存储器(11)感光器(12)电源模块图2是美国德州仪器公司ARM/DSP双核SoC芯片DM6446的内部框图。 图3是美国德州仪器公司达芬奇技术软件开发模型图。 图4是本实用新型人脸检测与识别应用程序的流程图。图5是本实用新型发明的嵌入式人脸检测与识别装置外接USB摄像头的工作模式图，其中(13) USB摄像头(14) 嵌入式人脸检测与识别装置(15) USB电缆图6是本实用新型发明的嵌入式人脸检测与识别装置与上位机进行USB通信的示意图， 其中(14) 嵌入式人脸检测与识别装置(15) USB电缆(16) 桌面系统图7是本实用新型发明的嵌入式人脸检测与识别装置在基于局域网的门禁系统中应用的 示意图，其中-(14)嵌入式人脸检测与识别装置(17) 服务器具体实施方式
以下结合附图和实施实例对本实用新型作进一步描述。实施实例1:图1是本实用新型提供的嵌入式人脸检测与识别装置的结构示意图。从图1中可以看出，达芬奇ARM/DSP双核SoC芯片DM6446 (8)是整个装置的核心。DM6446 (8)通过CCD 接口与CMOS传感器(3)相接，接受输入视频；通过I2C接口与键盘(2)相接，接受用户 的控制命令；通过数字视频接口与液晶显示屏相接，显示各种视频或图像信息；通过通用输 入输出接口 (GPIO)与红外线发射器(9)相接，以便夜间或阴天等光照条件差的场合发射 主动红外光；通过10/100EMAC接口与以太网收发器(1)相接，实现联网功能；通过EMIF 接口与快闪存储器(4)相接，以便读入存放在快闪存储器(4)内的操作系统、应用程序、 人脸特征数据库、系统配置信息等等数据；通过双倍数据速率接口DDR2与双倍数据速率同 步动态随机存贮器(10)相接，运行操作系统和应用程序；通过USB2.0接口与各种USB设 备(如USB数码摄像机)相接，或者与上位机相接。
DM6446 (8)内部包括一个ARM9核和一个C64x DSP核(参见附图2)。 ARM9核是具 有精简指令集的微处理器，运行MontaVista Linux操作系统，对硬件进行统一管理，并为应 用程序提供编程接口和为用户提供友好的图形界面。C64xDSP核是高性能的32位定点DSP， 运行在594MHz的频率下能达到4752MMACs (百万次乘加)的运算能力，特别适合进行数 字视频信号处理的复杂运算，能够保证从视频中实时检测和识别人脸。为了实时快速采集视频数据流，CMOS传感器(3)采用了美国OmniVision公司开发的 CMOS彩色图像传感器芯片OV7648。该芯片在640x320的分辨率下能过到30帧/秒的速率， 在低照度的工作环境下具有很高的感光灵敏度。该芯片支持多种数字视频输出格式(RAW RGB、 RGB (GRB 4:2:2)、 YUV (4:2:2)、 YCbCr (4:2:2))和标准的串行摄像头控制总路线 (SCCB)，能够在不增加任何附加逻辑的情况下与DM6446 (8)直接相连，达到视频数据的 无缝传输。为了满足操作系统和应用程序对内存使用的需求，系统配备了两片32Mxl6总共128MB 的双倍数据速率同步动态随机存储器(10)。操作系统、应用程序和人脸特征数据库等等都需要预先固化在非易失性存储器(4)内， 上电时再加载到DDR内存(10)内运行。因此，必须使用大容量的非易失存储器。NAND 型快闪存储器具有密度高，每单位存储单元成本低的特点。本系统采用韩国现代公司的 64Mxl6共128MB的NAND型快闪存储芯片。DM6446 (8)本身包含一个10/100的以太网控制器，外围加上一个以太网物理层的收发 器(1)即可工作。Linux内核本身支持TCP/IP协议栈，系统可以很容易实现上网功能，进行 远程采集和控制。工作过程(参见附图4):上电后，DM6446 (8)把预先存放在快闪存储器(4)内的操 作系统、应用程序、人脸特征数据库、系统配置信息等等数据读入DM6446 (8)和双倍数据 速率同步动态随机存贮器(10)并运行。用户通过键盘(2)启动人检测与识别进程(在用户 没有启动之前，装置处于空闲状态)。DM6446 (8)接收从CMOS传感器(3)输入CCD视 频并检测视频各帧图像中是否存在人脸。如果存在人脸，DM6446 (8)则对这些人脸进行识 别。人脸检测算法采用Harr特征+AdBoost算法，人脸识别算法采用分块二维主元分析算法。 人脸识别的结果存放在快闪存储器(4)中，同时也在液晶显示屏(5)上显示，必要时还可 以通过音频解码器(6)和喇叭报警。在联网时，人脸识别的结果还可以通过局域网上传到监 控中心。实施实例2:参见附图5，实施实例2与实施实例1基本相同，不同的是，不通过CMOS传感器获得 数字图像，而是通过外接的USB接口的数码摄像头获得数字图像。这样实施可以分离运算设 备与摄像设备，增加不用应用场合的适应性。实施实例3:参见附图7，实施实例3是一个基于局域网的分布式人脸检测与识别系统，这样的系统
可以适应不同的应用场合人脸检测与识别的任务放在前端(即本实用新型发明的嵌入式人脸检测与识别装置)，服 务器可以通过局域网为每一台装置配置不同的人脸特征数据库，使得不同的装置成为同一个 写字楼里不同单位的门禁系统。人脸检测与识别的任务放在后台(即服务器)，本实用新型发明的嵌入式人脸检测与识别 装置只是负责人脸检测，检测出来的人脸通过局域网发往服务器，由服务器进行人脸识别。 这样做，可以在较大规模的人脸特征数据库上进行人脸识别。
权利要求1、一种嵌入式人脸检测与识别装置，其特征在于，包括嵌入式处理器(8)、以太网收发器(1)、键盘及控制芯片(2)、CMOS传感器(3)、快闪存贮器(4)、液晶显示屏(5)、音频解码器(6)、双倍数据速率同步动态随机存储器(10)，USB接头(7)、红外线发射器(9)、感光器件(11)、电源模块(12)；其中CMOS传感器(3)和嵌入式处理器(8)通过控制线和视频输入总线连接，液晶显示屏(5)和嵌入式处理器(8)通过控制线和视频输出总线连接，以太网收发器(1)通过控制线和网络数据总线与嵌入式处理器(8)连接，键盘及其控制芯片(2)和音频解码器(6)通过串行总线与嵌入式处理器(8)相连，红外线发射器(9)和感光器件(11)通过控制线连接到嵌入式处理器(8)的通用输入/输出接口上，USB A型接头和USB B型接头(7)连接到嵌入式处理器(8)的USB2.0接口上，快闪存贮器(4)、双倍数据速率同步动态随机存储器(10)和嵌入式处理器(8)通过控制总线，数据总线和地址总线互相连接，电源模块(12)与各部分相连。
2、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的嵌入式处理器(8) 为美国德州仪器公司的ARM/DSP双核SoC芯片TMS320DM6446。
3、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的以太网收发器(l) 通过10/100EMAC接口直接与嵌入式处理器(8)相接，实现联网功能。
4、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的键盘及其控制芯 片(2)通过I2C接口与嵌入式处理器(8)相接。
5、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的CMOS传感器 通过CCD接口与嵌入式处理器(8)实现视频的无缝连接。
6、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述快闪存储器(4) 为NAND型大容量快闪存储器。
7、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的音频解码器(6) 为IIS接口的双声道音频解码器，通过多通道缓冲串行口 McBSP与嵌入式处理器(8) 相抟。
8、 根据权利要求l所述的嵌入式人脸检测与识别装置，其特征是所述的双倍数据速率同 歩动态随机存储器(10)通过DDR2接口与嵌入式处理器(8)相接。
9、 根据权利要求1所述的嵌入式人脸检测与识别装置，其特征是所述的USB接头(7)与 嵌入式处理器(8)的USB2.0主/从接口相接。
专利摘要本实用新型提供一种基于美国德州仪器公司ARM/DSP双核SoC芯片DM6446(8)的嵌入式人脸检测与识别装置。DM6446(8)不但包括ARM、DSP和丰富的外设控制，特别的，还包括一个专门进行视频输入输出处理的子系统和一个专门进行视频/图形数字处理的协处理器，因此非常适合用来构造从输入视频中检测与识别人脸的嵌入式装置。本实用新型提供的嵌入式装置，以DM6446(8)为核心，外接CMOS传感器(3)、键盘(2)、液晶显示器(5)、以太网收发器(1)、快闪存储器(4)、双倍数率同步动态随机存储器(10)等外设。DM6446(8)做为一块SoC芯片，把整个嵌入式系统集成于一块芯片之中，从而使得系统的开发周期缩短，体积缩小，功耗降低，稳定性提高。
文档编号A61B5/117GK201033077SQ200620068088
公开日2008年3月12日 申请日期2006年11月20日 优先权日2006年11月20日
发明者丁晓宇, 胡海峰, 马争鸣, 黄柏球 申请人:中山大学