专利名称：基于离散度约束非负稀疏编码的自然图像特征提取方法
技术领域：
本发明涉及数字图像处理的技术领域，特别涉及数字图像处理技术中一种基于离散度约束非负稀疏编码 (Dispersion ConstraintBased Non -negative Sparse Coding,
DCB-NNSC)的图像特征提取方法。
背景技术：
随着信息化社会的到来，人们获取的信息已经不是局限在数字、符号、文本等信 息，而是越来越多的图像信息。由于图像信息大多数具有很高的维数，或者是获得的图像 数量巨大，这给存储和处理图像信息带来很大的不便。对于实时系统来说，无疑是难以实现 的。而且在大多数情况下，不能直接在这些测量空间中进行目标分类和识别。这一方面是 因为测量空间的维数很高，不适宜分类器和识别方法的设计，更重要的是这样一种描述并 不能直接反映测量对象的本质，并且它随摄像机位置、照度、运动等因素的变化而变化。因 此为了进行分类器和识别方法的设计，需要把图像从测量空间变换到维数大大减少的特征 空间，被研究的图像在这个特征空间中就由一个或几个特征向量来表示见文献边肇祺， 张学工.模式识别(第二版)[M].北京清华大学出版社，1999.。因此，特征提取技术成 为目标分类和识别中的关键技术，越来越受到科研人员的关注，成为模式识别研究的一个执占。近年发展起来的独立分量分析ICA、稀疏编码SC、非负矩阵分解NMF、非负稀疏编 码NNSC等方法从数据间的高阶统计相关性角度出发，提取图像内部特征，更有效地利用 了输入数据在统计关系上的本质特征。而且神经生理的研究已表明见文献=Olshausen B. A,Field D. J. Emergence of simple-cell receptive field properties bylearning a sparse code for natural images [J]. Nature, 1996,381 :607_609.,灵长类的视皮层对自 然图像的表达采用的是SC策略，能够有效地抽取图像的内部特征；所得到的特征基函数在 变换域中具有局部性和方向性，对不同方向的细节敏感，其叠加系数可同时实现图像的稀 疏编码。同样，与SC基函数对应的空间滤波器组也被看成是一组具有带通特性的滤波器， 用以模拟模拟人眼初级视觉系统Vl区简单细胞感受野的特性。虽然SC算法能够在一定程度上较好地模拟人眼初级视觉系统Vl区的生理特性， 但是它并不完全符合人眼视觉生理的特性。考虑人眼数据处理的生理特性，HoyerP. 0最先 提出了非负稀疏编码算法(NNSC)见文献Hoyer P. 0. Non-negative sparse coding[C], InNeural Networks for Signal Processing XII(Proc. IEEE Workshop onNeural Networks for Signal Processing, Martigny, Switzerland, 2002 :557_565.),相对 SC 算 法得到的特征而言，该训练算法得到的特征更逼近人眼视觉生理特性。虽然SC算法和非负 稀疏编码算法都能模拟人眼视觉生理模型，能够抽取图像特征，但是它们均没有考虑图像 类别的信息，所提取的特征并不能更好地用于模式识别。而本发明所提出的基于离散度约 束非负稀疏编码的图像特征提取方法在优化训练时考虑了类别约束先验信息，不仅能够有 效地提取图像的特征，同时所提取的特征更有利于进行模式分类和识别。
发明内容
本发明的目的是克服现有技术NNSC图像特征提取方法中的不足，提出一种新的 基于离散度约束非负稀疏编码(DCB-NNSC)的图像特征提取方法。本发明的技术原理是首先利用随机采样的方法对图像分块处理(假设训练图像 无噪声)；为了减少图像数据的计算量，利用2D-PCA算法降低训练图像的维数；对降维图像 数据进行非负处理，得到DCB-NNSC训练算法的输入数据矩阵；为加快寻找最优特征基的速 度，采用2D-Gab0r小波对降维的图像进行特征基初始化处理；然后确定稀疏惩罚函数和稀 疏系数类内和类间离散度比值；再根据图像最小误差、稀疏惩罚函数和稀疏系数类内与类 间离散度最小比值约束(即类别约束)构成的目标函数，训练得到DCB-NNSC特征基矩阵； 最后，利用径向基概率神经网络分类器实现识别。考虑训练图像含有噪声时，首先进行消噪 处理，再重复上述过程即可。本发明的技术方案是一种基于离散度约束非负稀疏编码的图像特征提取方法， 包括如下处理步骤1)构造图像数据训练集合，包括图像分块处理、图像数据降维处理、数据非负处 理，初始化DCB-NNSC算法的特征基矩阵A。2)确定稀疏惩罚函数采用自适应图像特性的正态逆高斯(NIG)密度模型作为先 验稀疏密度分布，对其求负对数作为稀疏惩罚函数，即f (·) = _log[p( ·)]，随机变量y的 NIG模型如下式所示 其中，参数α控制密度分布的斜率；参数β控制着密度偏斜度，β <0，密度向左 偏斜；β >0，密度向右偏斜；β =0，意味着关于中心参数μ对称的密度分布；参数δ是 一个正尺度参数，它调节α和β，使得α — α δ，β — β δ关于局部尺度参数μ保持 密度分布形状不变；由样本数据估计得到的前四阶累积量计算四变量参数[α，β, μ, δ] 3)确定稀疏特征系数的类内与类间离散度对数比值约束设定特征系数数据集合S= [SnSySyLSyI^Sc],其中S1, S2L Sk为第k类特征 系数样本集合，k= 1,2,3, L, C，C为类别数；每个Sk均为一个矩阵，Sk包含的数据点个数 为nk，则特征系数的类内离散度矩阵Sw和类间离散度矩阵Sb分别通过以下公式求出 其中，^t = 1Σ & mk为第k类样本均值向量；s是指第k类特征系数样本集合中
SGSk
nk个数据点； 其中M = ;m为所有类别样本的均植，η为所有类别样本的总个数；类内和类间的离散度比值如下式所示 类内离散度Sw和类间离散度Sb反映的是数据集的二阶统计信息，二者都是对数据 集的一种全局描述。3 越小，表示类内聚集程度越大；SB越大，表示类间散布越大，因此类内 和类间的离散度比值越小表示类内聚集性越好；在优化DCB-NNSC算法的最小目标函数时，为了便于求导运算，我们利用SjP Sb的
对数比值作为类别信息约束项 4)基于离散度约束非负稀疏编码(DCB-NNSC)目标函数的建模考虑利用提取的特征重构图像的误差最小、特征系数自适应稀疏分布、类内离散 度Sw和类间离散度Sb对数比值最小三个因数，构成基于离散度约束非负稀疏编码的目标函 数，如下所示 上式的约束为
，其中，
C7t = J^j] ’参数λ表示正的常数，X= (X1, X2, !^，^工表示预处理后的自然图像数据(由
步骤1.3得到，大小为2nX5XL*N) ；A为2nXm维特征基矩阵，
,为特征矩阵A中第i列列向量；S为mX5XL ·Ν维特征系数矩阵，
的第i行行向量；稀疏惩罚函数f(·) =_log[p(·)]，ρ(·)由式(1)
计算得到；由(6)式计算得到。 V Sb y5)特征系数S和特征基A的更新规则采用梯度算法轮流更新特征系数S和特征基A，如先固定A不变，利用梯度算法更 新特征系数S ；然后再固定S，对A实现更新；A的迭代过程如下 特别包括特征系数S的更新 上式中 _稀疏惩罚函数 使用上述A和S更新公式即可以提取出图像集合的局部特征，提取的特征基不仅 具有非常清晰的方向性、局部性和边缘特性，而且还包含了类别信息，使用这些特征，不仅 可以较好地重构同类图像，而且还有利于进行图像识别。6)识别将训练和测试图像进行图像预处理后，分别应用DCB-NNSC算法进行优化学习，得 到训练特征矩阵、训练稀疏系数矩阵和测试特征矩阵、测试稀疏系数矩阵，然后采用径向基 概率神经网络(radialbasis probabilistic neural networks, RBFNN)分类器实现分类， 得到识别结果。上述步骤1)中的所述的图像分块处理为首先选取图像属性相同的N幅自然图 像，对每幅图像采用二维经验模式分解(BEMD)，把每幅图像按照频率分成六层，去除残余分 量，每幅图像仅利用BEMD分解后的IMFl IMF5五层分量；然后再把每幅IMF图像分割成 pXp大小的L个子图像块，得到大小为p2X5XL · N的输入图像矩阵；上述步骤1)中的所述的图像降维处理为利用2D-PCA实现图像数据降维，分为以 下步骤①计算子图像数据集合的协方差矩阵在现有数据集中，首先对训练子图像数据
进行去均值(标准化)处理，然后求协方差矩阵G，即
其中\是训练子图像块，M为训练子图像块数目，为所有子图像块均值。②计算主元个数设U为特征向量矩阵，D为特征值对角矩阵，则GXU = UXD。选 择前d个较大特征值对应的特征向量构成的特征矩阵
，计算训练样本的 主元，即= 厂无)…。上述步骤1)中的所述的数据非负处理为在降维后的图像数据集合中，所有正的 元素组成矩阵χ。η，零和所有负元素取绝对值后组成矩阵Xoff ；利用X。n和X。ff构成一个非负 数据矩阵 上述步骤1)中的所述的初始化DCB-NNSC算法的特征基矩阵A为利用8个方向， 每个方向上有8个频率尺度的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩阵A。
上述步骤6)中所述的RBPNN神经网络模型是一个四层神经网络模型，包括一个 输入层，两个隐层，一个输出层，其中第一隐层主要由样本空间中每个模式类别的中心矢量(也被称之为隐中心矢量)组成，在结构上等同于RBFNN的第一层；第二隐层等同于PNN的 隐层，其节点执行求和运算；第三层等同于RBFNN的第二层，其输出节点与RBFNN—样，都是 线性的；第四层为输出层。因此，RBPNN模型结合了 RBFNN和PNN模型的优点，同时又避开 了二者的缺点，因而具有较高的分类性能。本发明的优点是提出一种新的基于离散度约束非负稀疏编码(DCB-NNSC)的图像 特征提取方法，该方法不仅能够模拟人眼初级视觉系统Vl区神经元的感受野特性，有效地 提取图像的局部特征；而且与标准的非负稀疏编码算法相比，提取的图像特征具有更清晰 的方向性和边缘特性；同时利用类内和类间离散度比值最小约束，还能使类内数据更紧密 地聚合在一起而使类间距离尽可能地增大；用于图像识别中，该发明能够提高识别性能。
图1是实验总体框图(基于离散度约束非负稀疏编码(DCB-NNSC)的图像特征提 取方法流程图)。图2是掌纹图像ROI区域提取过程，经过掌纹定位分割预处理后得到一幅大小为 128X128像素的掌纹ROI区域图像，该掌纹图像来自香港理工大学的掌纹数据库，其中 (a)原始图像；(b) 二值化图像；(c)边界跟踪；(d)建立坐标系统；(e)提取掌纹图像的中心 部分；(f)提取的子图像。图3是BEMD分层图像，一幅大小为128X 128像素的掌纹图像经过BEMD六层分解 后的前五个IMF分量，残余分量忽略；其中，(a)第一层IMF分量；(b)第一层IMF分量；(c) 第一层IMF分量；(d)第一层IMF分量；(e)第一层IMF分量。(a)原图像；(b) IMFl分量得 到的图像；(c) IMF2分量得到的图像；(d) IMF3分量得到的图像；(e) IMF4分量得到的图像； (f) IMF5分量得到的图像。图4是2D-PCA基图像，2D-PCA降维后得到的前40个主分量基图像。图5利用2D-Gab0r小波进行8方向，8频率尺度分解后得到的64个幅值图谱。图6利用64个幅值图谱重构得到的图像。图7是0=4=0，3=1，0取不同值对应的对数NIG密度的NIG稀疏分布 图。图8是是α = 7，μ = 0，δ = 1，β取不同的值对应的对数NIG密度的NIG稀 疏分布图。图9是基于DCB-NNSC的掌纹图像训练集合的特征基，其中(a)是ON-charmel的 特征基图像，(b)是OFF-channel的特征基图像，(c)是ON-channel和0FF_channel相减 后的特征基偏差图像。DCB-NNSC特征基，(a) ON-channel特征基；(b) OFF-channel特征基； (c)ON-channel和OFF-channel之间的偏差特征基。图10是真实匹配与冒名匹配的匹配值分布图。
具体实施例方式香港理工大学(HongKong Polytechnic University-PolyU)提供的掌纹图像数 据库(http://WWW. comp. polyu. edu. hk/ biometrics)是用于研究掌纹识别的常用数据 库。该掌纹数据库来源于不同性别和年龄段(30岁以下，30-50岁之间，50岁以上)的人群。该数据库有386个人共7752幅图像，每一幅图像的大小为384X284像素(75dpi)。我们使 用此数据库中的100个人的600幅掌纹图像(即每个人有6幅掌纹图像)作为实验图像， 选择每个人的前三幅掌纹图像作为训练图像，后三幅掌纹图像作为测试图像。训练图像和 测试图像分别是在不同的光照条件下、使用不同的图像采集仪器获取的，且它们之间的采 样时间间隔约为2个月。图1为实验方法总体框架，本发明可以分为下列步骤步骤1.构造图像数据训练 集合和测试集合。在PolyU掌纹数据库中选择前100个人的600幅图像，选择每个人的前三幅图像 作为训练集合(列向量大小为300)，后三幅图像作为测试图像(列向量大小为300)。对每 幅掌纹图像采用张大鹏等人提出的定位分割方法提取出掌纹图像的R0I区域，得到大小为 128X128的子图像，如图2所示；对每一幅图像利用BEMD方法从高频到低频依次分解成5 层图像，不考虑每层分解的残余量，使用BEMD分解得到的前五个IMF分量构成的图像作为 每幅图像的子图像，如图3所示。然后，对每幅128X128大小的图像采用随机采样的方法，随机切割200块大小 为8X8像素的窗口图像块，每一个子图像块按列存放，得到64维的训练集合，其大小为 64X (200X15X100) = 64X30,0000。进一步地，为了提高计算速度，采用2D-PCA降维方法，使训练集合的维数降为40 维，即使用40个主分量作为DCB-NNSC算法的训练数据集合，记为\。一幅掌纹图像的40 个主分量基图像如图4所示。同时，对降维后的数据集合\进行非负处理，得到非负训练 集合Xtrain，其大小为80X30，0000。采用上述同样的处理方法对掌纹测试图像进行处理，得到大小为80X30，0000非
负测试集合Xtest。为了提高寻找最优基的速度，对数据集合\利用2D-Gab0r小波进行特征提取。因 为不需要得到最优的2D-Gab0r小波特征基，故选用8个方向，每个方向上有8个频率尺度 的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩阵k0，其大小为40 X 64，并对k0进行 非负处理，得到大小为80 X 64像素的非负特征矩阵，该矩阵即作为DCB-NNSC算法的初始化 特征基矩阵。一幅掌纹图像利用2D-Gab0r小波进行8方向，8频率尺度分解后得到的64个 幅值图谱如图5所示，利用此64个幅值图谱重构得到的图像如图6所示。步骤2.确定稀疏惩罚函数。对特征系数向量Si (i = 1，2，L，64)采用自适应图像特性的正态逆高斯(NIG)密 度模型估计其先验稀疏密度分布P (Si)，对p (Si)求其负对数，即得到特征系数的稀疏惩罚 函数，即f(Si) =-1呢[口(。]，其中口(&)由下式计算(参考式⑴) 上式中四参数[d，3，P，8]1需要利用前四阶累积量((1)、((2)、(^)和((4)来计 算，辅助参数r3和归一化的峭度k4，分别计算如下 则有 四参数[a，日，y，S]T计算如下 使用上述模型对随机产生的初始化特征系数矩阵的一个向量计算其稀疏密度分 布，选取不同参数时的稀疏分布图如图7和图8所示。步骤3.确定稀疏特征系数的类内与类间离散度对数比值约束。类内离散度矩阵Sw和类间离散度矩阵SB的对数比值可以由公式
计算得到。其中C
k=l
为掌纹图像的类别数，在我们使用的掌纹图像数据库中，c= 100 ；nk是第k类掌纹样本Sk(k =1，2，3，L，C)包含的数据点个数，这里nk = 6X 1282 = 16 3 84 ;Sk表示第k类掌纹样本，k
mk为第k类样本均值向量，s为第k类样
的取值范围为
本Sk中的数据点^
为为所有类别样本的均植向量，n为所有类别的掌纹样本总个 数，这里 n = 600X 1282 = 98304，i = 1,2, L，98304。步骤4.基于离散度约束非负稀疏编码(DCB-NNSC)目标函数的建模。根据步骤2确定的稀疏惩罚函数和步骤3确定的离散度对数比值约束，再 结合图像重构最小误差的2-范数，可以建立DCB-NNSC算法的最小目标优化函数:
。其中非负训练数据矩阵X = xtrain,大小为
80X75000,由具体实施方式
中步骤1得到；非负特征基矩阵A的大小为80X64，由具体实 施方式中步骤1得到；非负特征系数矩阵S的大小64X75000，随机产生。正参数X =0.5 ；步骤5.更新特征系数S和特征基A，获得特征基图像。根据目标函数对特征基向量的梯度▽ J(ai)(参见式(7))得到特征基矩阵的更新 公式 其中t为迭代次数。同理，根据目标函数对特征基向量的梯度▽ J(Si)(参见式 (8))得到特征系数的更新公式 (13)初始化的非负特征基A由2D-Gab0r小波基确定，而特征系数是随机产生的非负矩 阵。采用轮流更新方式学习特征系数S和特征基A。先固定ai不变，利用式(13)更新特
征系数Si;然后再固定Si不变，利用式(12)更新特征基向量
；稀疏惩罚函
数
；设置图像重构最小误差为2%，如果条件满足则结束迭代过
程。对掌纹图像训练集合(100类，每类的前三幅图像作为训练集合。训练集合的构成参见 步骤1)使用上述学习规则进行DCB-NNSC训练，得到的特征基向量如图8所示。其中(a) 为ON-charmel的特征基图像，特征基矩阵记为A。n ； (b)为OFF-charmel的特征基图像，特 征基矩阵记为A。ff ； (c)是ON-charmel和OFF-charmel特征基偏差图像，特征基矩阵A = A。n_A。ff。该特征基偏差图像即是利用DCB-NNSC算法对掌纹图像数据库进行训练得到的特征 基图像，其中亮的区域代表正像素值，暗的区域代表负像素值，灰色区域代表零像素值。可 以看出特征基向量具有清晰的方向性、局域性。利用该特征基图像可以进行图像重构、去噪 和识别等处理。步骤6.识别由步骤5训练得到特征基矩阵A后，求该矩阵的逆阵(或者伪逆阵)，W = A—1。使 用2D-PCA方法进行数据的预处理后，我们并不是直接在128X128个图像像素空间上执行 DCB-NNSC算法，而是在掌纹图像的前d个主分量系数上执行DCB-NNSC算法，2D-PCA变换后 得到的主分量为Ud，Ud大小为64X40。则掌纹训练集合Xteain的特征系数为 对测试图像Xtest而言，其特征系数为 对上述特征系数矩阵和测试系数矩阵使用分类器即可以获得识别结果。例如当使 用Euclidean Distance分类器，利用DCB-NNSC算法提取的特征基进行掌纹识别时，其识别 精度为97. 18%。为了证明DCB-NNSC算法在图像特征提取方面的有效性，使用相同的分类器、掌纹 训练集合和测试集合，我们也进行了基于PCA、FastICA、Hoyer' s的NNSC的掌纹图像特征 提取方法的识别实验。表1是在最小距离分类器、BP分类器、RBPNN分类器下，基于不同的 特征提取方法获得的掌纹识别性能。从表中可以看出，不同的特征提取方法在使用相同的 分类器进行识别时，本发明提出的基于DCB-NNSC的特征提取方法的识别性能最好，其次是 NNSC、FastICA (使用特征系数独立的模式)，而PCA识别性能最差；对不同的特征提取方法 得到的掌纹特征进行识别验证时，三种分类器中RBPNN分类器的效果较好，BP次之，最小距 离分类器性能较差。表1不同的特征提取方法在不同分类器下的掌纹识别性能比较(主分量d = 40) 同时，为了进一步说明本发明在图像特征提取方面的有效性，在进行掌纹识别实 验时，我们也使用了在鉴别系统中常用的两个重要的统计性能指标“错误拒绝率(False Rejection Rrate，FRR) ” 和“错误接受率(False Acceptance Rate，FAR) ” 来进一步验 证DCB-NNSC特征识别方法的效率，当二者相等时称为相等误差率(Equation ErrorRate, EER)。如果掌纹测试图像和训练图像来自同一个手掌，它们之间的匹配称为真实匹配 (Genuine Matching)；如果掌纹测试图像和训练图像来自不同的手掌，那么它们之间的匹 配就称为冒名匹配(Imposter Matching) 0匹配产生的结果为匹配值，其范围在W，1]之 间。如果匹配值超过了给定的阈值，则认为验证通过，否则被拒绝。图9为真实匹配与冒名 匹配的匹配值分布图。FAR和FRR的计算方法非常简单。令IMS (Imposter MatchingScore)标记冒名匹配 M ；NIA (Number of Iimposter Accesses) feid S^^^W^^ g ；GMS (Genuine Matching Score)标记真实匹配度；GIA (Number of Genuine Accesses)标记真实接受的总数目，则 FAR和FRR的计算方法如下
13
采用本发明方法在不同阈值时的FAR和FRR值如表2所示。可以看出，当FAR在 4. 5X1(TS%时，FRR 约为 1. 67%，当阈值为 0. 620 时，EER 约为 0. 18%。表3展示了本发明方法和不同特征识别方法的掌纹特征识别结果比较。当FAR在 4. 5 X 1(T5%时，PCA的FRR为18. 26%，EER为0. 982% ；FastICA (特征系数独立时情况)的 FRR 为 14. 34%, EER 为 0. 876% ；标准稀疏编码(Standard SC)的 FRR 为 5. 864%, EER 为 0. 632% ；Hoyer 的 NNSC 算法的 FRR 为 3. 562%, EER 为 0. 587 ；而基于 DCB-NNSC 的 FRR 为 1.673%，EER约为0. 17%。显然，本发明基于DCB-NNSC的方法比上述提到的几种方法都要 好。表2本发明特征识别方法的FAR和FRR值 表3不同算法在相同阈值下的FAR和FRR值
权利要求
一种基于离散度约束非负稀疏编码的图像特征提取方法，其特征是包括如下处理步骤1)构造图像数据训练集合，包括图像分块处理、图像数据降维处理、数据非负处理，初始化DCB-NNSC算法的特征基矩阵A；2)确定稀疏惩罚函数采用自适应图像特性的正态逆高斯(NIG)密度模型作为先验稀疏密度分布，对其求负对数作为稀疏惩罚函数，即f(·)＝-log[p(·)]，随机变量y的NIG模型如下式所示 <mrow><mi>p</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><mi>δ</mi><mo>·</mo><msqrt> <mfrac><mi>α</mi><mrow> <mn>2</mn> <mi>π</mi></mrow> </mfrac></msqrt> </mrow> <mrow><mrow> <mo>·</mo> <mi>exp</mi> <mrow><mo>(</mo><mi>δ</mi><msqrt> <msup><mi>α</mi><mn>2</mn> </msup> <mo>-</mo> <msup><mi>β</mi><mn>2</mn> </msup></msqrt><mo>)</mo> </mrow> <mo>·</mo> <mi>exp</mi> <mo>[</mo></mrow><mi>β</mi> </mrow> <mrow><mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>μ</mi> <mo>)</mo></mrow><mo>-</mo><mi>α</mi><msqrt> <msup><mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>μ</mi> <mo>)</mo></mrow><mn>2</mn> </msup> <mo>+</mo> <msup><mi>δ</mi><mn>2</mn> </msup></msqrt><mo>]</mo><mo>·</mo><msup> <mrow><mo>[</mo><msup> <mrow><mo>(</mo><mi>y</mi><mo>-</mo><mi>μ</mi><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mi>δ</mi> <mn>2</mn></msup><mo>]</mo> </mrow> <mrow><mo>-</mo><mfrac> <mn>3</mn> <mn>4</mn></mfrac> </mrow></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo></mrow> </mrow>其中，参数α控制密度分布的斜率；参数β控制着密度偏斜度，β＜0，密度向左偏斜；β＞0，密度向右偏斜；β＝0，意味着关于中心参数μ对称的密度分布；参数δ是一个正尺度参数，它调节α和β，使得α→αδ，β→βδ关于局部尺度参数μ保持密度分布形状不变；由样本数据估计得到的前四阶累积量计算四变量参数[α，β，μ，δ]T；3)确定稀疏特征系数的类内与类间离散度对数比值约束设定特征系数数据集合S＝[S1，S2，S3，L，Sk，L，SC]，其中S1，S2L Sk为第k类特征系数样本集合，k＝1，2，3，L，C，C为类别数；每个Sk均为一个矩阵，Sk包含的数据点个数为nk，则特征系数的类内离散度矩阵SW和类间离散度矩阵SB分别通过以下公式求出 <mrow><msub> <mi>S</mi> <mi>W</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><msub> <mrow><mo>∈</mo><mi>S</mi> </mrow> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo></mrow> </mrow>其中， <mrow><msub> <mi>m</mi> <mi>k</mi></msub><mo>=</mo><mfrac> <mn>1</mn> <msub><mi>n</mi><mi>k</mi> </msub></mfrac><munder> <mi>Σ</mi> <mrow><mi>s</mi><mo>∈</mo><msub> <mi>S</mi> <mi>k</mi></msub> </mrow></munder><mi>s</mi><mo>,</mo> </mrow>mk为第k类样本均值向量；s是指第k类特征系数样本集合中nk个数据点； <mrow><msub> <mi>S</mi> <mi>B</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo></mrow> </mrow>其中 <mrow><mi>m</mi><mo>=</mo><mfrac> <mn>1</mn> <mi>n</mi></mfrac><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>s</mi> <mi>i</mi></msub><mo>;</mo> </mrow>m所有类别样本的均植，n为所有类别样本的总个数；类内和类间的离散度比值如下式所示 <mrow><mfrac> <msub><mi>S</mi><mi>W</mi> </msub> <msub><mi>S</mi><mi>B</mi> </msub></mfrac><mo>=</mo><mfrac> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><mo>∈</mo><msub> <mi>S</mi> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo></mrow> </mrow>类内离散度SW和类间离散度SB反映的是数据集的二阶统计信息，二者都是对数据集的一种全局描述。SW越小，表示类内聚集程度越大；SB越大，表示类间散布越大，因此类内和类间的离散度比值越小表示类内聚集性越好；在优化DCB-NNSC算法的最小目标函数时，为了便于求导运算，我们利用SW和SB的对数比值作为类别信息约束项 <mrow><mi>D</mi><mo>=</mo><mi>ln</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>S</mi> <mi>W</mi></msub><msub> <mi>S</mi> <mi>B</mi></msub> </mfrac> <mo>)</mo></mrow><mo>=</mo><mi>ln</mi><mo>[</mo><mfrac> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><msub> <mrow><mo>∈</mo><mi>S</mi> </mrow> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow></mfrac><mo>]</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo></mrow> </mrow>4)基于离散度约束非负稀疏编码(DCB-NNSC)目标函数的建模考虑利用提取的特征重构图像的误差最小、特征系数自适应稀疏分布、类内离散度SW和类间离散度SB对数比值最小三个因数，构成基于离散度约束非负稀疏编码的目标函数，如下所示 <mrow><mi>J</mi><mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mn>2</mn></mfrac><msup> <mrow><mo>|</mo><mo>|</mo><mi>X</mi><mo>-</mo><mi>AS</mi><mo>|</mo><mo>|</mo> </mrow> <mn>2</mn></msup><mo>+</mo><mi>λ</mi><munder> <mi>Σ</mi> <mi>i</mi></munder><mi>f</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>+</mo><mi>ln</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>S</mi> <mi>W</mi></msub><msub> <mi>S</mi> <mi>B</mi></msub> </mfrac> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo></mrow> </mrow>上式的约束为X(x，y)≥0)，ai≥0，si≥0，并且||si||＝1，其中， <mrow><msub> <mi>σ</mi> <mi>i</mi></msub><mo>=</mo><msqrt> <mi>E</mi> <mo>{</mo> <msubsup><mi>s</mi><mi>i</mi><mn>2</mn> </msubsup> <mo>}</mo></msqrt><mo>,</mo> </mrow>参数λ表示正的常数，X＝(X1，X2，L，X2n)T表示预处理后的自然图像数据(由步骤1.3得到，大小为2n×5×L·N)；A为2n×m维特征基矩阵，A＝[a1，a2，a3，L，ai，L，am]，αi为特征矩阵A中第i列列向量；s为m×5×L·N维特征系数矩阵，S＝[S1，S2，S3，L，Si，L，Sm]T，si为s的第i行行向量；稀疏惩罚函数f(·)＝-log[p(·)]，p(·)由式(1)计算得到；由(6)式计算得到；5)特征系数S和特征基A的更新规则采用梯度算法轮流更新特征系数S和特征基A，如先固定A不变，利用梯度算法更新特征系数S；然后再固定S，对A实现更新；A的迭代过程如下 <mrow><mo>▿</mo><mi>J</mi><mrow> <mo>(</mo> <msub><mi>a</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mo>∂</mo><mi>J</mi><mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>S</mi> <mo>)</mo></mrow> </mrow> <msub><mrow> <mo>∂</mo> <mi>a</mi></mrow><mi>i</mi> </msub></mfrac><mo>=</mo><mo>-</mo><mo>[</mo><mi>X</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>-</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>a</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><msub> <mi>s</mi> <mi>i</mi></msub><mo>]</mo><msubsup> <mi>s</mi> <mi>i</mi> <mi>T</mi></msubsup><mo>+</mo><mi>γ</mi><msub> <mi>a</mi> <mi>i</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo></mrow> </mrow>特别包括特征系数S的更新 <mrow><mo>▿</mo><mi>J</mi><mrow> <mo>(</mo> <msub><mi>s</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mo>∂</mo><mi>J</mi><mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>S</mi> <mo>)</mo></mrow> </mrow> <mrow><mo>∂</mo><msub> <mi>s</mi> <mi>i</mi></msub> </mrow></mfrac><mo>=</mo><mo>-</mo><msubsup> <mi>a</mi> <mi>i</mi> <mi>T</mi></msubsup><mo>[</mo><mi>X</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>-</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>a</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><msub> <mi>s</mi> <mi>i</mi></msub><mo>]</mo><mo>+</mo><mfrac> <mi>λ</mi> <msub><mi>σ</mi><mi>i</mi> </msub></mfrac><msup> <mi>f</mi> <mo>′</mo></msup><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>+</mo><mn>2</mn><mo>[</mo><mfrac> <mrow><mo>(</mo><msub> <mi>s</mi> <mi>i</mi></msub><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <msub><mi>S</mi><mi>W</mi> </msub></mfrac><mo>-</mo><mfrac> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <msub><mi>S</mi><mi>B</mi> </msub></mfrac><mo>]</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo></mrow> </mrow>上式中 <mrow><msub> <mi>σ</mi> <mi>i</mi></msub><mo>=</mo><msqrt> <mi>E</mi> <mo>{</mo> <msubsup><mi>s</mi><mi>i</mi><mn>2</mn> </msubsup> <mo>}</mo></msqrt><mo>;</mo> </mrow>稀疏惩罚函数 <mrow><mi>f</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>=</mo><mo>-</mo><mi>log</mi><mo>[</mo><mi>p</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>]</mo><mo>;</mo> </mrow>由(1)式计算6)识别将训练和测试图像进行图像预处理后，分别应用DCB-NNSC算法进行优化学习，得到训练特征矩阵、训练稀疏系数矩阵和测试特征矩阵、测试稀疏系数矩阵，然后采用径向基概率神经网络(radial basisprobabilistic neural networks，RBPNN)分类器实现分类，得到识别结果。F2010100172902C00032.tif,F2010100172902C00034.tif,F2010100172902C00039.tif
2.如权利要求1所述的基于离散度约束非负稀疏编码的图像特征提取方法，其特征是 步骤1)中的所述的图像分块处理为首先选取图像属性相同的N幅自然图像，对每幅图像 采用二维经验模式分解(BEMD)，把每幅图像按照频率分成六层，去除残余分量，每幅图像仅 利用BEMD分解后的IMFl IMF5五层分量；然后再把每幅IMF图像分割成ρXp大小的L个子图像块，得到大小为p2X5XL · N的输入图像矩阵；
3.如权利要求1所述的基于离散度约束非负稀疏编码的图像特征提取方法，其特征是 步骤1)中所述的图像降维处理为利用2D-PCA实现图像数据降维，分为以下步骤①计算子图像数据集合的协方差矩阵在现有数据集中，首先对训练子图像数据进行 去均值(标准化)处理，然后求协方差矩阵G，即 其中Xj是训练子图像块，M为训练子图像块数目，ζ为所有子图像块均值。 ②计算主元个数设U为特征向量矩阵，D为特征值对角矩阵，则GXU= UXD0选择 前d个较大特征值对应的特征向量构成的特征矩阵Ud = [U1, u2, L，uj，计算训练样本的主 元，即= 厂无)t/rf。
4.如权利要求1所述的基于离散度约束非负稀疏编码的图像特征提取方法，其特征是 步骤1)中的所述的数据非负处理为在降维后的图像数据集合中，所有正的元素组成矩阵 Xon,零和所有负元素取绝对值后组成矩阵x。ff ；利用X。n和X。ff构成一个非负数据矩阵X = (xon:xoff)，X 的大小为 2nX5XL · N。
5.如权利要求1所述的基于离散度约束非负稀疏编码的图像特征提取方法，其特征是 步骤1)中的所述的初始化DCB-NNSC算法的特征基矩阵A为利用8个方 向，每个方向上有 8个频率尺度的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩阵A。
6.如权利要求1所述的基于离散度约束非负稀疏编码的图像特征提取方法，其特征是 步骤6)中所述的RBPNN神经网络模型是一个四层神经网络模型，包括一个输入层，两个隐 层，一个输出层，其中第一隐层主要由样本空间中每个模式类别的中心矢量(也被称之为 隐中心矢量)组成，在结构上等同于RBFNN的第一层；第二隐层等同于PNN的隐层，其节点 执行求和运算；第三层等同于RBFNN的第二层，其输出节点与RBFNN—样，都是线性的；第 四层为输出层。
全文摘要
本发明公开了基于离散度约束非负稀疏编码的自然图像特征提取方法，包括图像分块处理、2D-PCA降维处理、图像数据的非负处理、基于2D-Gabor小波特征基的初始化处理、稀疏系数类内和类间离散度比值的确定、DCB-NNSC特征基训练、基于DCB-NNSC特征基的图像识别等，本发明的优点是不仅能够模拟人眼初级视觉系统V1区神经元的感受野特性，有效地提取图像的局部特征；而且与标准的非负稀疏编码算法相比，提取的图像特征具有更清晰的方向性和边缘特性；同时利用稀疏系数的类内和类间离散度比值最小约束，还能使特征系数类内数据更紧密地聚合在一起而使类间距离尽可能地增大；用于图像识别中，该发明能够提高识别性能。
文档编号G06K9/46GK101866421SQ201010017290
公开日2010年10月20日 申请日期2010年1月8日 优先权日2010年1月8日
发明者刘韬, 周燕, 尚丽, 张愉, 戴桂平 申请人:苏州市职业大学;尚丽