专利名称：一种快速准确的智能图像处理系统及其处理方法
技术领域：
本发明涉及一种快速准确的智能图像处理系统及其处理方法，属于数 字图像处理、数据分析技术领域。
技术背景智能图像处理技术广泛地应用于计算机视觉相关领域，比如基于图像 的人脸身份识别，人脸表情识别，人脸性别识别和人脸年龄估计等，其中 人脸身份识别可以用于证件照片确认，楼宇进出控制，信用卡身份确认等 领域，人脸表情识别，人脸性别识别，人脸年龄估计可以用于各种智能人 机交互系统，指纹图像识别可以进行指纹识别以鉴别身份。目前，现有的智能图像处理方法一般分为两个步骤，第一个步骤是进行图像特征提取，目的是获得图像的低维表示，以便后续的识别分类处理； 第二个步骤对提取后的特征使用各种分类器比如最近邻(KNN),支持向 量机(SVM)进行分类，例如Xiaogang Wang和Xiaoou Tang在"A Unified Framework for Subspace Face Recognition" (IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL 26， NO. 9， SEPTEMBER 2004 pp 1222-1228 ) 文中提出了一种人脸识别框架，主要思想是利用主成分分析和线性判别分 析进行人脸特征提取，然后结合最近邻分类器进行人脸识别。K. E.Gates 在，,Fast and Accurate Face Recognition Using Support Vector Machines" (Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition) 文中提出了一禾中基于支持向 量机的人脸识别方法。上述方法取得了较好的识别效果，但是也存在很多不足。首先，基于主成分分析的方法不能保证找到最有利于分类的图像低维 表示，线性判别分析虽然试图找到最有利于分类的图像低维表示，但是受 到实际应用中注册样本数目有限的限制，线性判别分析也并不能保证找到 最优的低维投影方式。关于分类器，最近邻分类器需要较大的存贮需求，运算量大，不适合 实时应用。支持向量机具有很好的分类能力，但是本身支持向量机是二类 分类器，当解决多类问题的时候，比如人脸识别问题，支持向量数目多， 计算量大，也不适合实时应用。 发明内容本发明的目的在于提供一种快速准确智能图像处理系统，另一目的是 提供一种智能图像处理方法，上述系统和处理方法的特点是存储需求小， 识别速度快，识别精度高，可以广泛用于实时工业应用领域以及公用设施 领域。为了达到上述目的，本发明的技术方案是该快速准确的智能图像处理 系统，包括图像采集模块、图像转化模块、数据传输模块、计算以及存储 模块、数据输出模块。该系统的图像采集模块的作用是获得待处理的图像， 图像转化模块的作用是将采集到的图像转化为计算以及存储模块可以识 别和处理的格式，计算以及存储模块的作用是存储注册图像的特征以及智 能图像处理方法的模型，执行智能图像处理，存储处理结果，同时，对图 像采集设备发出指令进行控制。数据输出模块的作用是将智能图像处理的 结果显示出来。发明的智能图像处理方法的技术方案是其处理步骤是本发明分为 两个部分，第一步是建立注册样本集，第二步是进行新样本识别。"注册 样本集"的建立又分为几步，首先从图像输入模块获得同类的注册样本原 始图像，然后经过计算机目标检测，定位，预处理和归一化得到标准化的注册样本数字图像，再对每一张标准化的注册样本数字图像进行特征提 取，分别得到相应的一维特征向量表示，所有注册样本的特征向量构成注册样本特征矩阵A。再根据矩阵A中每一个特征向量所属类别，计算出一个数据分析模型，即一个投影矩阵w。对于新样本识别，首先从图像输入设备获得待识别图像，经过计算机目标检测，定位，预处理和归一化得到 标准的待识别的目标图像，然后再对此图像进行特征提取得到待识别的图像特征向量y，然后通过数据模型计算出待识别图像的判别向量z，再分 析判别向量z得到识别结果。本发明的有益效果本快速准确智能图像处理系统及其处理方法，其特点是存储需求小，识别速度快，识别精度高，可以广泛用于实时工业应 用领域以及公用设施领域，取代现有技术成为主流技术，降低设备成本， 使众多的埸合得以应用，经济效果显著。以下结合附图和实施例对本发明作比较详细地说明。
图1为本发明的快速准确的智能图像处理系统结构原理框图；图2为本发明的快速准确的智能图像处理方法的程序流程图。
具体实施方式
参照图l,这是本发明的快速准确的智能图像处理系统结构原理框图。 如图所示，该快速准确智能图像处理系统，包括图像采集模块l、图像转化模块2、数据传输模块3、计算模块4、计算模块5、数据传输模块 6、数据输出模块7。该系统的信息传递关系是从图像采集模块1采集到的信息(图像)送至图像转化模块2，图像转化模块的作用是获得待处理的图像，并将采集 到的图像转化为计算以及存储模块可以识别和处理的格式，送至计算以及 存储模块，存储模块的作用是存储注册图像的特征，智能图像处理方法的模型和程序以及存储处理的结果，计算模块的作用是执行智能图像处理同 时，对图像采集模块发出指令进行控制。数据输出模块的作用是将智能图 像处理的结果显示出来。所述的计算模块4，包括执行智能图像处理的CPU以及相关电路。 所述的存储模块5，包括存储器以及存储在其中的智能处理程序和智能 处理模型。本发明所述的智能图像处理方法的技术方案，每一步的作用详细分述 如下从图像输入模块获得数字图像是指从各种图像输入设备包括摄像机， 录像机，照相机等等，获得图像，计算机目标检测，定位是指利用某种算 法找到完全包含待识别目标的图像区域，将该区域内的图像保存为数字化 的图像。比如人脸识别，对一幅输入图像，如果有人脸存在，则找出所有 人脸的位置信息和大小信息，从而得到若干完全包含各个人脸区域的图 像。计算机预处理和归一化是指利用数字图像处理技术对输入的数字图 像进行各种图像处理，包括平移，旋转，縮放，滤波等等，使得到的图像 在尺度，角度，灰度直方图等等都一致。比如人脸识别，根据人脸图像的 双眼位置信息，通过旋转，平移，縮放等几何变换使得所有训练人脸图像 的双眼位置相同，人脸图像的尺寸大小也相同，每一张人脸图像都经过直 方图均衡化等操作。图像特征提取指把输入图像的灰度或者颜色信息，或者是对图像进行数学变换，结果将一张输入图像表示为一个一维向量，该向量能代表该图像的特征。 比如直接将图像的灰度信息作为特征，将图像按照行或者列优先的顺序将 图像矩阵表示为一个一维向量。注册样本特征矩阵A是指A中每一个行向量对应一个注册样本数字 图像的特征向量。投影矩阵W是指对注册样本特征矩阵A进行奇异值分解得到， ， ^ 。其中&是矩阵A的奇异值分解结果的前M个较大的奇异值对应的奇异值对角矩阵，^^，^分别是矩阵A的奇异值分解结果的前M个 较大的奇异值对应的左奇异向量矩阵和右奇异向量矩阵，M由用户根据实 际应用自行选择。如果对角矩阵^第i个对角元素^'不为零，那么^中 的第i列4'所有元素都除以^',如果对角矩阵^第i个对角元素^'为零，那么4中的第i列不变，经过这步操作得到更新的矩阵^ 。再将 矩阵A中属于第i种属性的列向量对应的列号放入一个集合记为Si，把 中行号属于集合Si的行向量进行累加得到一个新的行向量，这个行向量作 为一个新矩阵D的第i行。再构造一个大小为MXM的对角矩阵K，构造 方式为K的第i个对角元素按照下面表达式计算1其中"，"是用户预设的非负常数例如1.0， 1.0。再计算矩阵^， K，矩 阵D的转置矩阵的乘积得到一个新的矩阵『，即投影矩阵。通过数据模型计算出待识别图像的判别向量Z是指按照下述表达式 计算判别向量z:z =『>分析判别向量Z得到处理结果是指输入图像所属类别C按照下述表 达式进行计算c = argmaxz,.参照图2，这是本发明的快速准确的智能图像处理方法的程序流程图。如图所示，快速准确的智能图像处理方法的程序流程，其步骤如下 从[启动智能图像处理系统]101开始，进入[初始化并控制图像采集、转化设备]102，[模型数据是否存在？ ]103进行判断，如果否，则进入模型计算 模块的[建立分析模型]104、[收注册图像及其属性]105、[目标检测、定位 以及归一化预处理]106、[目标特征提取]107、[建立特征库]108、[求解分 析模型]109、[保存模型]110;如果是，则进入图像识别模块中的[载入分析 模型]lll、[接收待识别图像]112、[目标检测，定位以及归一化预处理]113、 [目标图像特征提取]114、[识别目标属性]115，然后进入[显示，保存结果， 控制图像采集设备]116，分开两路， 一路进入[结束系统运行？ ]117进行判 断，如果是则[结束]118;如果否，则返回[接收待识别图像]112;[显示， 保存结果，控制图像采集设备]116的另一路，则返回[初始化并控制图像 采集、转化设备]102。以下三个实施例对本发明快速准确智能图像处理系统处理方法加以说明。实例一计算机人脸自动识别系统 整个发明实现过程如下1)、建立人脸训练数据库。从人脸图像库中选择L个人的N张人脸图 片，每个人有N/K张，然后对这些图片进行预处理，首先进行人脸检测，然后对每一张人脸图像进行手工或者自动人眼定位，然后根据人眼定位结 果对人脸图像进行尺度，角度，归一化，使得每张人脸图像的双眼位置相 同，人脸图像尺寸也相同， 一张人脸图像就表示为一个矩阵，矩阵中的元 素就是图像中对应每个象素点的灰度值，然后将每一个人脸图像对应的矩阵表示为一个大小为1Xd的一维特征行向量，这个行向量由一个人脸图像对应的矩阵的每一个行向量依次拼接而成，然后所有人脸图像的特征行向量就构成训练特征矩阵A，大小为NXd。2)、计算投影矩阵W。首先对矩阵A进行奇异值分解得到^ ， Ww ， 4 。其中&是矩阵A的奇异值分解结果的前M个较大的奇异值对应的奇异值对角矩阵，， ^分别是矩阵A的奇异值分解结果的前M个 较大的奇异值对应的左奇异向量矩阵和右奇异向量矩阵，M由用户根据实际应用自行选择。如果对角矩阵^第i个对角元素^'不为零，那么^中的第i列^'所有元素都除以^',如果对角矩阵"^第i个对角元素^'为零，那么「m中的第i列「m'不变，经过这步操作得到更新的矩阵^ 。对注 册图像库中的每个人赋予唯一一个1 L的编号，将矩阵A中属于第i个人的行向量对应的行号放入一个集合记为7:，把t^中行号属于集合？:的行向量进行累加得到一个新的行向量，这个行向量作为一个新矩阵D的第 i行。再构造一个大小为MXM的对角矩阵K，构造方式为K的第i个 对角元素按照下面表达式计算-《=1"1 + ae-w其中"，/ 分别取1.0， 1.0。再计算矩阵^， K，矩阵D的转置矩阵的乘积得到一个新的矩阵『=^^^^，即投影矩阵。3)、对待识别的人脸图像进行计算机自动人脸检测和自动人眼定位， 然后进行归一化预处理得到灰度图像，将该图像的象素特征表示为一个大小为dXl 的一维特征列向量y。4)、计算降维投影系数^ =『^5)、进行人脸识别。取Z中最大元素，若该元素大于某个预设的阀 值g，那么该元素对应的索引号对应的类别作为识别结果c = argmaxz,.若该元素小于某个预设的阀值g，则认为预测人脸图像不属于训练库中的 某一个人，识别为未注册人脸。实例二计算机人脸表情自动识别系统 整个发明实现过程如下1) 、建立人脸表情训练数据库。定义表情种类，如笑，哭，沮丧，瞌 睡，惊奇，愤怒等，从人脸图像库中选择具有L种表情的N张人脸图像， 每种表情有N/L张图像，然后对这些图片进行预处理，首先进行人脸检测，然后对每一张人脸图像进行手工或者自动人眼定位，然后根据人眼定位结 果对人脸图像进行尺度，角度，归一化，使得每张人脸图像的双眼位置相 同，人脸图像尺寸也相同， 一张人脸图像就表示为一个矩阵，矩阵中的元 素就是图像中对应每个象素点的灰度值，然后将每一个人脸图像对应的矩阵表示为一个大小为ixd的一维特征行向量，这个行向量由一个人脸图像对应的矩阵的每一个行向量依次拼接而成，然后所有人脸图像的特征行向量就构成训练特征矩阵A，大小为NXd。2) 、计算投影矩阵W。首先对矩阵A进行奇异值分解得到^ ， tV,fV。其中&是矩阵A的奇异值分解结果的前M个较大的奇异值对应的奇异值 对角矩阵，, ^分别是矩阵A的奇异值分解结果的前M个较大的奇异 值对应的左奇异向量矩阵和右奇异向量矩阵，M由用户根据实际应用自行选择。如果对角矩阵^第i个对角元素sv不为零，那么^中的第i列py所有元素都除以^/，如果对角矩阵^第i个对角元素^'为零，那么^中的第i列「M'不变，经过这步操作得到更新的矩阵^。对注册图像库中的每种表情赋予唯一一个1 L的编号，再将矩阵A中属于第i种表情的行向量对应的行号放入一个集合记为T ，把VM中行号属于集合T的行向量进行累加得到一个新的行向量，这个行向量作为一个新矩阵D的第i行。 再构造一个大小为MXM的对角矩阵K,构造方式为K的第i个对角元素按照下面表达式计算=1其中"，"分别取l.O， 1.0。再计算矩阵^， K，矩阵D的转置矩阵的乘积得到一个新的矩阵『=^《"、即投影矩阵。3) 、对待识别的人脸图像进行计算机自动人脸检测和自动人眼定位， 然后进行归一化预处理得到灰度图像，将该图像的象素特征表示为一个大小为dXl 的一维特征列向量y。4) 、计算降维投影系数2 =『、5) 、进行人脸表情识别。取z中最大元素对应的索引号对应的表情作 为识别结果。实例三计算机人脸性别自动识别系统 整个发明实现过程如下1)、建立人脸性别训练数据库。从人脸图像库中选择具有L种性别的 N张人脸图像，每种性别有N/L张图像，然后对这些图片进行预处理，首 先进行人脸检测，然后对每一张人脸图像进行手工或者自动人眼定位，然 后根据人眼定位结果对人脸图像进行尺度，角度，归一化，使得每张人脸 图像的双眼位置相同，人脸图像尺寸也相同， 一张人脸图像就表示为一个 矩阵，矩阵中的元素就是图像中对应每个象素点的灰度或者颜色值，然后将每一个人脸图像对应的矩阵表示为一个大小为dX 1的一维特征列向量，这个列向量由一个人脸图像对应的矩阵的每一个列向量依次拼接而成，然后所有人脸图像的特征列向量就构成训练特征矩阵A，大小为NXd， A的每一个列向量对应一张人脸图,像的特征列向量。2)、计算投影矩阵W。首先对矩阵A进行奇异值分解得到^ ， Um，^。其中&是矩阵A的奇异值分解结果的前M个较大的奇异值对应的奇异值 对角矩阵，， FM分别是矩阵A的奇异值分解结果的前M个较大的奇异 值对应的左奇异向量矩阵和右奇异向量矩阵，M由用户根据实际应用自行 选择。如果对角矩阵^第i个对角元素^'不为零，那么^中的第i列^/ 所有元素都除以^i,如果对角矩阵^第i个对角元素^'为零，那么^中的第i列fV'不变，经过这步操作得到更新的矩阵^。对注册图像库中 的每种性别赋予唯一一个1 L的编号，再将矩阵A中属于第i种性别的行向量对应的行号放入一个集合记为^ ，把中行号属于集合T的行向 量进行累加得到一个新的行向量，这个行向量作为一个新矩阵D的第i行。 再构造一个大小为MXM的对角矩阵K，构造方式为K的第i个对角元 素按照下面表达式计算《i 二-T1+從—~其中"，々分别取1.0， 1.0。再计算矩阵^， K，矩阵D的转置矩阵的乘积得到一个新的矩阵『=^^^，即投影矩阵。3)、对待识别的人脸图像进行计算机自动人脸检测和自动人眼定位， 然后进行归一化预处理得到灰度图像，将该图像的象素特征表示为一个大小为dXl 的一维特征列向量y。4) 、计算降维投影系数z-5) 、进行人脸性别识别。取z中最大元素对应的索引号对应的性别作 为识别结果。虽然本发明已参照上述的实施例来描述，但是本技术领域中的普通技 术人员，应当认识到以上的实施例仅是用来说明本发明，应理解其中可作 各种变化和修改而在广义上没有脱离本发明，所以并非作为对本发明的限 定，只要在本发明的实质精神范围内，对以上所述的实施例的变化、变形 都将落入本发明权利要求的保护范围。
权利要求
1. 一种快速准确的智能图像处理系统，包括一计算机图像处理系统，其特征在于该处理系统包括包括图像采集模块(1)、图像转化模块(2)、数据传输模块(3)、计算模块(4)、存储处理模块(5)、数据传输模块(6)、数据输出模块(7)；该系统的信息传递关系是从图像采集模块1采集到的信息(图像)送至图像转化模块2，图像转化模块的作用是获得待处理的图像，并将采集到的图像转化为计算以及存储模块可以识别和处理的格式，送至计算以及存储模块，存储模块的作用是存储注册图像的特征，智能图像处理方法的模型和程序以及存储处理的结果，计算模块的作用是执行智能图像处理同时，对图像采集模块发出指令进行控制。数据输出模块的作用是将智能图像处理的结果显示出来。
2、根据权利要求1快速准确的智能图像处理系统，其特征在于，所 述的计算以及存储处理模块.4，包括执行智能图像处理的CPU、存储在各 种存储器中的智能处理程序。
3、 用于快速准确的智能图像处理系统的处理方法，其特征在于该 方法的步骤是第l步若分析模型已经载入，则执行第4步，否则执行 笫2步；笫2步获得注册图像及其属性，并进行目标检测，定位，归一 化预处理和特征提取得到一个样本特征矩阵；笫3步根据样本特征矩阵 和样本属性计算投影矩阵并作为分析模型保存并载入系统；第4步接收 待识别图像，并进行目标检测，定位以及归一化预处理和特征提取；第5 步由分析模型计算判别向量；第6步将判别向量中最大元素对应的索 引号作为目标图像的属性标号。
4、 根据权利要求3所述的智能图像处理方法，其特征在于，所迷的 步骤笫2步获得注册图像及其属性，并进行目标检测，定位，归一化预处理和特征提取得到一个样本特征矩阵，是从数字图像输入模块获得注册 图像，人工标定其属性值；其具体步骤是(1) 在每张注册图像中对待识别目标进行检测，和定位；是指在注 册图像中找出完全包含待识别目标的区域，并找出其关键点和特征 点；(2) 对注册的目标图像进行归一化预处理是指利用各种数字图像处 理技术对输入的数字图像进行各种图像处理，包括平移，旋转，縮放， 滤波等等，使得到的图像在尺度，角度，灰度直方图等等都一致。比 如人脸识别，根据人脸图像的双眼位置信息，通过旋转，平移，縮放 等几何变换使得所有训练人脸图像的双眼位置相同，人脸图像的尺寸 大小也相同，每一张人脸图像都经过直方图均衡化等操作。(3) 特征提取是指把一张图像的灰度或者颜色信息表示为一个一维 向量，或者是对图像进行某种数学变换将一张图像表示为一个一维向(4) 人工标定每一个注册样本的属性值。
5、根据权利要求3所述的智能图像处理方法，其特征在于，所述 的步骤第3步中的"样本特征矩阵"是指把每一个注册样本的特征表示为一个行向量，这些行向量依次排列组成样本特征矩阵。计算投影矩阵w是指按照以下步骤计算投影矩阵W-(1) 对样本特征矩阵进行奇异值分解(2) 根据分解结果得到三个矩阵&， ^/，~，其中&是矩阵A 的奇异值分解结果的前M个较大的奇异值对应的奇异值对角矩阵， Vm , ^分别是矩阵A的奇异值分解结果的前M个较大的奇异值对应的左 奇异向量矩阵和右奇异向量矩阵，M由用户根据实际应用自行选择。(3) 更新矩阵^/:如果对角矩阵^第i个对角元素A/不为零，那么^中的第i列所有元素都除以，如果对角矩阵&第i个对角 元素为零，那么^中的第i列^'不变。(4) 构造新的矩阵D:构造方式是，首先对注册图像的属性从1 K 编号，其中K为总属性类别数目，将矩阵A中属于第i种属性的行向量对应的列号放入一个集合记为T ，把Um中行号属于集合；的行向量进行累 加得到一个新的行向量作为一个新矩阵D的第i行，其中i=l,...，K。(5) 构造一个大小为MXM的对角矩阵K，构造方式为K的第 i个对角元素按照下面表达式计算<formula>formula see original document page 4</formula> 其中"，"是用户选择的参数例如"，P分别取1.0， 1.0。 (6) 计算投影矩阵『=~^^ 。
6、根据权利要求3所述的智能图像处理方法，其特征在于，所述 的步骤第5步中计算判断向量是指按下述表达式计算系数
7、根据权利要求3所述的智能图像处理方法，其特征在于，所述 的步骤第6步中"将判别向量中最大元素对应的索引号作为目标图像的属 性标号"是指按照下述表达式对待识别图像的属性c进行识别-c = argmax^
8、根据权利要求3所述的智能图像处理方法，其特征在于，所述 的快速准确的智能图像处理方法的程序流程，其步骤如下从[启动智能图像处理系统]101开始，进入[初始化并控制图像采集、转化设备]102，[模 型数据是否存在？ ]103进行判断，如果否，则进入模型计算模块的[建立 分析模型]104、[收注册图像及其属性]105、[目标检测、定位以及归一化预 处理]106、[目标特征提取]107、[建立特征库]108、[求解分析模型]109、〖保 存模型]UO;如果是，则进入图像识别模块中的[载入分析模型]lll、[接收 待识别图像]112、[目标检测，定位以及归一化预处理]113、[目标图像特征 提取]1M、[识别目标属性]115，然后进入[显示，保存结果，控制图像采集 设备]U6，分开两路， 一路进入[结束系统运行？ ]117进行判断，如果是则 [结束]118;如果否，则返回[接收待识别图像]112;[显示，保存结果，控 制图像采集设备]116的另一路，则返回[初始化并控制图像采集、转化设 备]102。
全文摘要
本发明涉及快速准确的智能图像处理系统，包括图像采集、图像转化、数据传输、计算、存储处理、数据传输、数据输出多种模块；其处理方法的步骤是第1步若分析模型已经载入，则执行第4步，否则执行第2步；第2步获得注册图像及其属性，并进行目标检测，定位，归一化预处理得到一个样本特征矩阵；第3步根据分析模型保存并载入系统；第4步接收待识别图像，并目标检测，定位以及归一化预处理和特征提取；第5步由模型计算判别向量；第6步将判别向量中最大元素对应的索引号作为目标图像的属性标号；该系统、处理方法其特点是存储需求小，识别速度快，识别精度高，用于工业应用以及公用设施领域，经济效果显著。
文档编号G06K9/00GK101276404SQ20071003884
公开日2008年10月1日 申请日期2007年3月30日 优先权日2007年3月30日
发明者李季檩 申请人:李季檩