专利名称：面向鉴别的图像相关特征融合识别系统的制作方法
技术领域：
本发明涉及一种电信技术领域的图像识别系统，具体是一种面向鉴别的图像 相关特征融合识别系统。
背景技术：
基于标准相关分析(Canonical Correlation Analysis,简称CCA)的特征融合 方法，是利用CCA建立两组特征向量之间的相关性准则函数，求取投影向量集， 然后抽取得到组合的相关特征。
经对现有技术文献检索发现，Q. S. Sun， S. G. Zeng， Y. Liu等在Pattern Recognition (模式识另U， 2005， 38(12): 2437—2448)上发表的文章"Anew method of feature fUsion and its application in image recognition"("——禾中特征融合新方、法以 及在图像识别中的应用")中，证明了利用标准相关分析法所抽取的特征之间是 不相关的，因此具有良好的分类性能。但是该方法是建立在向量形式的两组特征 上，因此，当用于图像识别等图像处理问题时，必须先将二维的图像矩阵通过行 连接或列连接转化为一维的列向量，然后以该列向量作为原始特征进行分析。由 于图像向量的维数一般较高(如分辨率为256X256=65536的图像)，这不仅会面 临计算量大的问题，而且通常图像样本的个数远小于图像向量的维数(即高维小 样本问题)，这会导致协方差阵奇异，而在使用CCA时，要求训练样本的协方差 阵是非奇异的。而且将图像矩阵转化为列向量，会破坏像素间的空间相关性，设 mXn大小的图像矩阵通过行连接转化为列向量，像素a和b在图像矩阵中本来 是上下相邻的，但在列向量中位置却相差ra个像素，显然破坏了像素间固有的空 间信息，不利于特征的抽取。
经检索还发现，孙权森的博士论文《基于相关投影分析的特征抽取与图像识 别研究》(南京理工大学，2006)提出了 2D-CCA方法(2-Dimensional Canonical Correlation Analysis,简称2D-CCA)，直接利用图像的矩阵表达形式进行相关 投影分析，提高了特征的抽取速度，但是2D-CCA仅仅是对图像矩阵的列作线性组合，只反映了图像行之间的信息，因而仅降低了图像矩阵的列的大小，求得的 特征矩阵的维数较高。而同时从行和列两个方向降维，可以更自然地刻画图像矩 阵行向量间的关系和列向量间的关系，抽取的特征能更集中地反映图像的信息。 而且CCA考察的是两个多维变量之间的相关关系，通过投影变换抽取出较少的相 关变量，这些变量完整而又简单地刻画了多维变量之间的相关性，达到了降维的 目的，但是这些特征的鉴别能力可能不足，抽取的特征不适于作为分类识别目标 的依据。
发明内容
本发明的目的在于针对上述现有技术的不足，提出一种面向鉴别的图像相关 特征融合识别方法，使其利用图像的矩阵表示形式，同时从行列两个方向降维， 抽取出能更集中地反映图像的信息的特征，进一步的线性鉴别分析处理，提高特 征的鉴别能力，本发明可应用于图像识别，能够提高识别的精度。
本发明是通过以下技术方案实现的，本发明包括图像采集模块、投影矩阵 获得模块、新特征构造模块、线性鉴别分析模块、数据分类模块，其中
图像采集模块采集反映目标两种特性的两幅图像，经过图像配准操作后，将 两幅图像组成图像对，将每幅图像作为一个矩阵，然后将这些图像对作为训练样 本集，最后将训练样本集传输给投影矩阵获得模块和新特征构造模块，并将采集 到的测试图像传输给新特征构造模块；
投影矩阵获得模块接收训练样本集，分别建立这两种训练图像矩阵的平均 值，根据得到的平均值，再根据面向鉴别的图像相关特征融合识别方法，给定初 始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投 影矩阵，并将投影矩阵传输给新特征构造模块；
新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用 投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征 空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并 行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；
线性鉴别分析模块接收新特征，将训练特征并行融合形成的新特征作为线性 鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用线 性鉴别分析方法抽取得到面向鉴别的训练系数矩阵和测试系数矩阵，并将训练系 数矩阵和测试系数矩阵传输给数据分类模块；数据分类模块接收训练系数矩阵和测试系数矩阵，将训练系数矩阵作为识别 标准，采用最小距离分类器进行分类识别，即能识别出测试图像所属的类别。
所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下训 练样本集中有iV对图像(4,万,),/= 1,2,…，AT ， 4为第一种图像，g为第二种图像， 其中4e^(g)^， 5^^ /^，均为矩阵形式，则第一种图像的均值为
2 = H>,.，第二种图像的均值为》=H>,，其中，^c,为图像矩阵4
〃S
的行数、列数， q为图像矩阵万,的行数、列数。
所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法找到 一组最优投影矩阵使得4和A的投影的相关性最大，具体如下寻找^x/的投 影矩阵M和qxr的投影矩阵K ，将4投影到矩阵 f = f/f4P; e W iT(/ < ^， r < q)，以及寻找r2 x /的投影矩阵f/2和c2 x t的投影矩 阵^，将^投影到矩阵0=￡/2^,^^^<8)^(/<^2^"2)，使f和Q的相关性最 大，其中，M,^为4的左右变换矩阵，K,^为万,的左右变换矩阵，f为经变换 矩阵降维后的4， g为经变换矩阵降维后的万,，/,r为f ， g的行数和列数。
所述投影矩阵获得模块，其根据面向鉴别的图像相关特征融合识别方法，给 定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征 的投影矩阵，具体如下
将图像投影变换后，分别获得两种图像的方差
A =》證("〖(4 -1)^,(4 - 1化)
'=1
w — —
^ -5 /CS, -5f C/2)
在图像方差的基础上获得两种图像间的互协方差-根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识
别方法的目标函数将上述目标函数简化为求解如下最优化问题
max力^ ".力乂 = 1,
4=1.
在上述最优化问题的基础上，采取高斯-塞德尔(Gauss-Seidel)迭代方法 获得两种图像的投影矩阵，即获得两种图像的左右变换矩阵。
所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特 征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将4投影到
矩阵S =f/^4^，将A投影到矩阵G =《AK ，并行融合形成的新的训练特征为
与训练图像相同，将测试图像矩阵也利用投影矩阵投影到特征空间， 得到测试特征，测试特征做并行融合形成新的测试特征，将新的训练特征和新的 测试特征分别转化为向量形式后作为线性鉴别分析方法的输入，用线性鉴别分析 方法抽取得到面向鉴别的特征。
与现有技术相比，本发明具有如下有益效果
本发明利用图像的矩阵表示形式，而不必事先将图像矩阵转换为向量形式， 不仅维持了像素间的空间相关性，而且避免了在高维空间构造协方差阵并计算相 关特征向量的困难，降低了计算量， 一定程度上避免了协方差阵奇异，同时从图 像矩阵的行和列两个方向降维，可以更自然地刻画图像矩阵行向量间的关系和列 向量间的关系，抽取的特征能更集中地反映图像的信息，进一步面向鉴别的处理， 可以抽取得到更具鉴别力的特征，应用到图像识别中，不仅可以提高处理速度， 而且可以提高识别性能。本发明可应用于人脸识别、视频监控系统、军事目标跟 踪识别系统等各类民用及军用系统中，具有广阔的市场前景和应用价值。
图l为本发明的系统结构框图2为本发明在戴眼镜人脸图像库中进行识别的结果与(2D^CCA进行识别 的结果比较图3为本发明在不戴眼镜人脸图像库中进行识别的结果与(2D^CCA进行识 别的结果比较图。
具体实施方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案 为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护 范围不限于下述的实施例。
本实施例应用于Equinox数据库，Equinox数据库是美国国家标准和技术中 心和Equinox公司联合建立的可见光/红外人脸图像数据库，图像已经过配准。 实验在一个包含44个人的1760幅图像(每人40幅不戴眼镜时的10幅红外图 像及相应的10幅可见光图像，戴眼镜时的10幅红外图像及相应的10幅可见光 图像)的库上进行。经过预处理后将原图像变成分辨率为56x46的灰度图像。
本实施例中选取每人5幅可见光/红外图像作为训练数据，剩余的图像作为 测试数据。
如图1所示，本实施例包括图像采集模块、投影矩阵获得模块、新特征构
造模块、线性鉴别分析模块、数据分类模块，其中
图像采集模块同时采集目标的可见光图像和红外图像(各取220张)，经过 图像配准操作后，将两种图像组成图像对，并把每幅图像作为一个矩阵，将这些 图像对作为训练样本集，最后将训练样本集传输给投影矩阵获得模块和新特征构 造模块，并将采集到的测试图像传输给新特征构造模块；
投影矩阵获得模块接收训练样本集，分别建立可见光训练图像矩阵和红外训 练图像矩阵的平均值，根据得到的平均值，再根据面向鉴别的图像相关特征融合 识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成能从行和列两 个方向抽取特征的投影矩阵，并将投影矩阵传输给新特征构造模块；
新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用 投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征 空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并 行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；
线性鉴别分析模块接收新特征，并将训练特征并行融合形成的新特征作为线 性鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用 线性鉴别分析方法抽取得到面向鉴别的训练系数矩阵特征和测试系数矩阵特征， 并将训练系数矩阵特征和测试系数矩阵特征传输给数据分类模块；
数据分类模块接收训练系数矩阵特征和测试系数矩阵特征，将训练系数矩阵 特征作为识别标准，采用最小距离分类器进行分类识别，即可识别出测试图像所
9属的类别。
所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下训 练样本集中有AT对图像(4,5,),^l,2,…,iV ， 4为第一种图像，B,为第二种图像，
其中4eir'(g)^， 5,ei^(8)i^,均为矩阵形式，则第一种图像的均值为
的行数、列数，^，q为图像矩阵5,的行数、列数。
所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法找到 一组最优投影矩阵使得4和5,的投影的相关性最大，具体如下寻找^x/的投 影矩阵R和C,xr的投影矩阵K ，将4投影到矩阵 《=《e W (/ < < Cl)，以及寻找r2 x/的投影矩阵f/2和c2 xr的投影矩 阵J^ ，将5,投影到矩阵Q -C/S,r2 e7 ' iT(/<r2,r<c2)，使《和Q的相关性最 大，其中，C/,，^为4的左右变换矩阵，K,^为万,的左右变换矩阵，f为经变换 矩阵降维后的4， g为经变换矩阵降维后的A， /，r为S， g,的行数和列数。
所述投影矩阵获得模块，根据面向鉴别的图像相关特征融合识别方法，给定 初始迭代值，通过迭代过程，解特征值问题，构成能从行和列两个方向抽取特征 的投影矩阵，具体如下
将可见光图像和红外图像投影变换后，分别获得两种图像的方差-
根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识
别方法的目标函数<formula>formula see original document page 10</formula>
4 =》匿6([/〖(我-s)F2F2r(s,-互)7，"2)
在图像方差的基础上获得两种图像间的互协方差:
将上述目标函数简化为求解如下最优化问题:應As ".a = 1,
在上述最优化问题的形式基础上，采取迭代方法获得投影矩阵C/p:^,K ,
具体如下
① 初始化^^: k仨^,k—&()， 7' = 0，其中
^。=^，。=1, e^为rxr的单位阵，I为全一阵；
② _/ = "1，分别计算S:^^，缓，^S緣S^S,的前/个最大非
零特征值对应的特征向量&L和w,L，并令fA,, =[^广.^]，^/2，7 =[^—4]，
其中，s, =￡(4-》^-^H(4-)r';》F2J—^i—》f ，
③分别计算&^娜^a肌，s^a肌s丄&布的前r个最大非零特征值 对应的特征向量{仍}:=1和^}〖=1，并令k,[化…,^]a,[^…,a]，
其中，^=f(4-》w,/^(4-》，^=|;(5,-巧^2,//乙偶-②，
Aw=s (5'—》)r"'—)'=《肌；
重复②、③两步C次或设定阈值7/，最后获得投影矩阵 t/,t/^,t/2^C^c,F「K^,^^^，c，其中，C为迭代次数，可以通过实验确
定最优迭代次数，本实施例通过实验确定最优迭代次数为C = 2 。
所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特 征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将可见光图 像4投影到矩阵《=^4《，将红外图像8,投影到矩阵0="275,^2,并行融合形 成的新特征为f+"0，将形成的新特征转化为向量形式后作为线性鉴别分析
方法的输入，用线性鉴别分析方法进一步抽取得到面向鉴别的特征。可见光测试 图像和红外测试图像也经过同样的处理，用线性鉴别分析方法进一步抽取得到面 向鉴别的特征。本实施例分别在戴眼镜图像库和不戴眼镜图像库中进行，随机选择5幅可见 光/红外图像作为训练数据，剩余的图像作为测试数据。重复实验20次，取20 次结果的平均值作为最终结果。为简便，实验中取/ =""，迭代次数为C二2， 采用最小距离分类器。
如图2所示，为本实施例方法在戴眼镜人脸图像库中进行识别的结果与 (2D)2CCA (利用图像的矩阵表示形式同时从行和列两个方向降维，但是没有经 过的线性鉴别分析处理的特征融合方法)进行识别的结果比较图；如图3所示， 为本实施例方法在不戴眼镜人脸图像库中进行识别的结果与(2D^CCA进行识别 的结果比较图。其中，横坐标为c/的取值，纵坐标为识别率，从图中可看出，本 实施例方法明显优于直接用(2D^CCA提取特征的方法，能获得更具鉴别性的特 征，可以提高识别性能。
权利要求
1、一种面向鉴别的图像相关特征融合识别系统，其特征在于，包括图像采集模块、投影矩阵获得模块、新特征构造模块、线性鉴别分析模块、数据分类模块，其中图像采集模块采集反映目标两种特性的两幅图像，经过图像配准操作后，将两幅图像组成图像对，将每幅图像作为一个矩阵，然后将这些图像对作为训练样本集，最后将训练样本集传输给投影矩阵获得模块和新特征构造模块，并将采集到的测试图像传输给新特征构造模块；投影矩阵获得模块接收训练样本集，分别建立这两种训练图像矩阵的平均值，根据得到的平均值，再根据面向鉴别的图像相关特征融合识别方法，给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特征的投影矩阵，并将投影矩阵传输给新特征构造模块；新特征构造模块接收输入的训练图像和投影矩阵，将所有训练图像矩阵利用投影矩阵投影到特征空间，得到两种图像的训练特征，将测试图像也投影到特征空间，得到两种图像的测试特征，将这两种图像的训练特征和测试特征分别做并行融合形成新特征，并将新特征转化为向量形式后传输给线性鉴别分析模块；线性鉴别分析模块接收新特征，将训练特征并行融合形成的新特征作为线性鉴别分析方法的训练数据，测试特征并行融合形成的新特征作为测试数据，用线性鉴别分析方法抽取得到面向鉴别的训练系数矩阵和测试系数矩阵，并将训练系数矩阵和测试系数矩阵传输给数据分类模块；数据分类模块接收训练系数矩阵和测试系数矩阵，将训练系数矩阵作为识别标准，采用最小距离分类器进行分类识别，即能识别出测试图像所属的类别。
2、 根据权利要求1所述的面向鉴别的图像相关特征融合识别系统，其特征 是，所述投影矩阵获得模块，其建立两种训练图像矩阵的平均值，具体如下训 练样本集中有iV对图像(4,A)，z'"，2,…,7V，4为第一种图像，A为第二种图像， 其中4e/T'(S)ir1， B,ei^(8)i^，均为矩阵形式，则第一种图像的均值为=+|;^,，第二种图像的均值为^=4|]5,，其中，n,C,为图像矩阵4的行数、列数，^，c,为图像矩阵万,的行数、列数。
3、 根据权利要求1或2所述的面向鉴别的图像相关特征融合识别系统，其 特征是，所述投影矩阵获得模块，其采用面向鉴别的图像相关特征融合识别方法 找到一组最优投影矩阵使得4和5,的投影的相关性最大，具体如下寻找。x/的 投影矩阵^和ClXr的投影矩阵Fj ，将4投影到矩阵 《=《4K e i ' iT(/ < n,r < Ci)，以及寻找^ x /的投影矩阵f/2和c2 x r的投影矩 阵^，将5,投影到矩阵2,=《^^^<8)^(/"2，7"2)，使g和g,的相关性最 大，其中，C/^为4的左右变换矩阵，R，^为5,的左右变换矩阵，《为经变换 矩阵降维后的4， g为经变换矩阵降维后的5,， /，r为f， G的行数和列数。
4、 根据权利要求1或2所述的面向鉴别的图像相关特征融合识别系统，其 特征是，所述投影矩阵获得模块，其根据面向鉴别的图像相关特征融合识别方法， 给定初始迭代值，通过迭代过程，解特征值问题，构成从行和列两个方向抽取特 征的投影矩阵，具体如下将图像投影变换后，分别获得两种图像的方差w 一 一,=i在图像方差的基础上获得两种图像间的互协方差4 = f>ra,r(4 _ Z,/(s,.-柳2) 根据图像的方差和图像间的互协方差建立面向鉴别的图像相关特征融合识别方法的目标函数将上述目标函数简化为求解如下最优化问题max & ".^ = 1，4=1.在上述最优化问题的基础上，采取高斯-塞德尔迭代方法分别获得两种图像的投影矩阵。
5、根据权利要求1所述的面向鉴别的图像相关特征融合识别系统，其特征 是，所述新特征构造模块，其将所有训练图像矩阵利用生成的投影矩阵投影到特 征空间，得到训练特征，并将训练特征做并行融合形成新特征，是指将^投影到矩阵《=《4^，将A投影到矩阵Q =t/2^,r2 ，并行融合形成的新的训练特征为S+Ag;与训练图像相同，将测试图像矩阵也利用投影矩阵投影到特征空间， 得到测试特征，测试特征做并行融合形成新的测试特征，将新的训练特征和新的 测试特征分别转化为向量形式后作为线性鉴别分析方法的输入，用线性鉴别分析 方法抽取得到面向鉴别的特征。
全文摘要
一种电信技术领域的面向鉴别的图像相关特征融合识别系统，本发明中，首先根据训练图像，通过迭代过程求出投影矩阵；然后利用该投影矩阵把训练图像和测试图像分别投影到特征空间中，抽取出训练特征和测试特征，并将这些特征分别做并行融合形成新特征；最后，再用线性鉴别分析方法抽取出更具鉴别力的特征，采用最小距离分类器，即可识别出测试图像所属的类别。本发明可以更自然地刻画图像矩阵行向量间的关系和列向量间的关系，抽取的特征能更集中地反映图像的信息，进一步面向鉴别的处理，可以抽取出更具鉴别力的特征，应用到图像识别中，不仅可以提高处理速度，而且可以提高识别性能。
文档编号G06K9/66GK101515330SQ20091004634
公开日2009年8月26日 申请日期2009年2月19日 优先权日2009年2月19日
发明者敬忠良, 杨慧军, 赵海涛, 博 金 申请人:上海交通大学