专利名称：用于图像重构的二步学习矢量量化码书生成方法
技术领域：
本发明属于数字图像压缩编码领域，涉及图像压缩重构，具体是ー种用于图像重构的ニ步学习矢量量化码书生成方法。该方法可应用于数字通信和多媒体传输中，实现以较小代价传输高质量图像。
背景技术：
随着人们对数字化多媒体信息需求的与日俱增，图像压缩己成为信息传输领域中的一项关键技木。图像压缩的目的就是要尽可能地減少表示图像所需的数据量。矢量量化作为ー种有效的有损压缩技术，具有压缩比大、编解码简单的优点，是Shannon信息论在信源编码理论方面的新发展。目前，在基于内容的图像检索领域和超谱图像压缩领域中，矢量量化是ー种非常有效的技木。矢量量化的基本原理是用码书中与输入矢量之间失真误差最小的码字的索引来代替输入矢量进行存储和传输，而在解码端只需进行简单的查表操作。矢量量化主要包括三大关键技术，即码书设计算法、码字搜索算法以及码字索引分配算法，其中最重要的是码书设计算法，是关乎整个矢量量化器设计成功与否的关键所在。因此，对码书设计算法的研究成为了各国学者关注和研究的热点。近年来，神经网络在图像处理领域的应用取得了很大进展，各种学习策略相继提出。Ahal等基于频域敏感因子的概念，提出了频域敏感竞争学习算法，提高了码字的利用率。Nartinetz和Choy提出基于‘Neural-Gas’的码书设计算法。Mufioz-Perez等提出了扩张竞争学习算法。在该算法中，増加了神经网络权值矢量之间的排斥因子。学习矢量量化LVQ作为ー种简单的硬判决学习算法在学习过程中只更新获胜的神经元权值矢量，并不断地调整学习率，以使得算法能够逐渐收敛。然而，LVQ算法对网络初始状态极为敏感。由于LVQ算法毎次只更新获胜神经元的权值矢量，所以对竞争神经网络的初始状态的依赖性很强，容易陷入局部最优，最終得到的码书性能也比较差，进而影响到重构图像的质量。
发明内容
本发明的目的在于针对上述已有的技术不足，提出一种用于图像重构的ニ步学习矢量量化码书生成方法，以减少对初始状态的依赖，跳出局部最优，获得更优的码书，提高解码器端重构图像的质量。本发明的技术思路是通过ー个判决函数判断是否有被错误划分的数据，然后根据一定的纠正学习策略对竞争神经网络进行调整。其具体实现步骤如下(I)输入一幅图像X，将其划分为N个互不重叠、大小为nXn的图像小块，并将这些图像小块转换为K维训练矢量xk，K = nXn ;(2)初始化ー个具有M个神经元的竞争神经网络，随机选择M个图像小块作为神经元的权值矢量V1, V2, . . . , vM, M > O ；、
(3)初始化參数,设置初始学习率= O. 5、初始去学习率Iltl = O. 2、初始补偿学习率β。= O. 01、总迭代次数T = 20ΧΝ、初始迭代次数t = O ;(4)更新学习率a (t) = aQ(l-t/T)，确定并记录K维训练矢量Xk在竞争神经网络中的输出Oi(Xk):
其中，Xk表示输入的K维训练矢量，:<表示输入K维训练矢量的转置，'表示第j个神经元的权值矢量，·^表示第j个神经元权值矢量的转置，a@max/(A)表示f(Xi)取最大值时所对应i的值；(5)更新第i个神经元在第t+Ι次迭代时的权值矢量为Vi (t+1) = Vi (t) + a (t) (Xk-Vi (t)) Oi (xk), i e [I, Μ]其中，a (t)表示第t次迭代时的学习率，Vi (t)表示第t次迭代时第i个神经元的权值矢量，当Oi (Xk) = I，称第i个神经元为获胜神经元，并将其标记为w ;(6)更新去学习率η⑴和补偿学习率为Mt)分别为η (t) = n0(l_t/T)，β (t) = β 0(l_t/T)；(7)对K维训练矢量Xk获胜神经元w的权值矢量进行纠正学习(7a)将Xk在步骤(5)中的获胜神经元w与所有神经元对比，查询是否存在满足条
= π η(Awj|AwJ <0丨的神经元r，其中，Δ w,j表示对于输入的训练矢量xk，将其从训练矢量集
合Cw移到训练矢量集合Cj中时竞争神经网络失真误差的变化量，其值根据有监瞀的学习矢量量化算法确定，Ci表示所有以第i个神经元为获胜神经元的训练矢量集合；(7b)用如下公式对步骤(5)中获胜神经元w的权值矢量进行去学习操作，使获胜神经元W的权值矢量远离训练矢量Xk : vw (t) ’ = vw (t) - n (t) (Xk-Vw (t))，式中，η (t)为第t次迭代时的去学习率，vw(t)为第t次迭代时神经元w的权值矢量，vw (t)’为中间变量；(7c)用如下公式对满足条件〃= f<0丨神经元r的权值矢量进行补偿学习
操作，使神经元r的权值矢量逼近训练矢量Xk vr (t) ’ = vr (t) + β (t) (xk-vr (t))，式中，β (t)为第t次迭代时的补偿学习率，vr (t)为第t次迭代时神经元r的权值矢量，\(t)’为中间变量；(7d)将神经元w和r的权值矢量vw (t)、\⑴分别更新为各自的传递矢量
Vw(t) '、Vr(t)，:vw(t)=vw(t)，vr(t) =Vr(t)’ ,(7e)返回步骤(6)更新去学习率η (t)和补偿学习率为β (t)，然后对下ー个获胜神经元权值矢量进行纠正学习直到满足终止条件t > T ;(8)将所有神经元的权值矢量Vl，V2, , vM,作为码书输出，用于进行图像重构，其中，每个神经元权值矢量称作码字，神经元权值矢量的下标称为码字在码书中的索引。本发明与现有技术相比具有以下优点I、本发明以矢量量化为基础，増加了纠正学习策略，构成ニ步学习矢量量化码书生成方法，摆脱了竞争神经网络对初始状态依赖，使算法跳出局部最优。2.本发明在纠正学习策略中构造了判决函数，通过判决函数判断是否被错误划分的训练矢量，然后应用纠正学习准则对错误划分的训练矢量就行纠正学习，使神经元权值矢量更好的逼近训练矢量，从而获得更优的码书。3、本发明与现有技术对比具有收敛速度快、易于实施的优点。
图I是本发明的总流程图；图2是本发明仿真采用的测试图像；图3是本发明选取的图像重构对比块；图4是用本发明对“Lena”图像重构的仿真效果图；图5是用本发明对“Lena”图像顶端背景图像重构的仿真效果图；图6是用本发明对“Lena”图像肩部图像重构的仿真效果图；图7是用本发明对“Elaine”图像帽子处图像重构的仿真效果图。
具体实施例方式參照图1，本发明的实现包括如下步骤 步骤ー输入一幅图像X，将其划分为N个互不重叠、大小为nXn的图像小块，并将图像小块转换为K维矢量xk，K = nXn。步骤ニ 初始化ー个具有M个神经元的竞争神经网络，从N个互不重叠的图像小块中随机选择M个图像小块作为神经元的权值矢量V1, V2,. . . , vM, M > O。步骤三初始化參数,设置初始学习率α。= O. 5、初始去学习率= O. 2、初始补偿学习率Pq = O. 01、总迭代次数T = 20ΧΝ、初始迭代次数t = O。步骤四通过学习矢量量化算法对K维训练矢量Xk进行第一步学习，确定K维训练矢量Xk的获胜神经元并更新获胜神经元的权值矢量；4. I)初始化參数,设置训练矢量下标k = O ;4. 2)按下式更新学习率a (t)，
\α(\\-ι/Λ /￡/α ハ=イ 1
[Ot>T其中a Q e [O, I]为初始学习率；4. 3)输入K维训练矢量xk，确定并记录K维训练矢量Xk在竞争神经网络中的输出
Oi (Xk):
.. I if z'=arg maxJixfv .)——(vTv-1L i, j e Ι,Μ ,of(^)=I1 k j} 2し"J， ，ノ レ J’
0 otherwise.其中,ベ表示输入K维训练矢量的转置，Vj表示第j个神经元的权值矢量，vJ"表示第j个神经元权值矢量的转置，aWmax/(ス.)表示f (Xi)取最大值时所对应i的值；4. 4)更新第i个神经元在第t+Ι次迭代时的权值矢量为
Vi (t+1) = Vi (t) + a (t) (Xk-Vi (t)) Oi (xk), i e [I, Μ]其中，a (t)表示第t次迭代时的学习率，Vi (t)表示第t次迭代时第i个神经元的权值矢量，当Oi (Xk) = I,称第i个神经元为获胜神经元,并将其标记为W，W e [I, M]；4. 5)更新训练矢量下标k = k+Ι,迭代次数t = t+Ι ;4. 6)如果练矢量下标k彡N，转4. 2)否则转步骤五。步骤五通过纠正学习对错误划分的K维训练矢量Xk进行第二步学习，确定满足纠正条件的神经元r,对满足纠正条件的神经元r和Xk获胜神经元的权值矢量进行纠正学习；5. I)初始化參数,设置训练矢量下标k = O ;5. 2)按照如下公式更新去学习率η (t)和补偿学习率β (t)
"0(丨.-O ( < 'I'=V ノ 1 1,
O!>T
β{)fi- 1Z) ι<τ冲)=1川，
[Ot>T其中η。，β。e [O, I]，分别为去学习率和补偿学习率的初始值；5. 3)将Xk在第一歩中的获胜神经元w与所有神经元对比，查询是否存在满足条件
r e [1，M]，如存在，根据有监瞀的学习矢量量化算法按如下
步骤确定竞争神经网络失真误差的变化量Aw,j:5. 3. I)竞争神经网络失真误差定义如下 =Σ Σ ΙΚ_ν -
= Σ Σ (IWI2 — 2χ1 · η-+Ih I2):岭丨丨2-2(货+Ir
2 Λ=Σ σ Ikf—，
VJV=Sx,!]:
^= ( IKII2-^-式中，D为竞争神经网络失真误差，Xk表示输入的K维训练矢量，X〖表示输入的K维训练矢量的转置，Vi是第i个神经元的权值矢量，I I Xk-Vi I 12表示求Xk-Vi的ニ范数,Ci表示所有以第i个神经元为获胜神经元的训练矢量集合，IciI表示集合Ci中训练矢量的个数，Si表示获胜神经元对应的I Ci I个K维训练矢量Xk的矢量和；5. 3. 2)将竞争神经网络的失真误差公式展开如下D=±d^±\ ικιι2-||]= ικιι2- ^5. 3. 3)对训练矢量进行重新划分，则重新划分后竞争神经网络的失真误差记为6=ΣΙΝΙΙ2-Σ胃; 5. 3. 4)将重新划分后竞争神经网络的失真误差与原失真误差之间的差值定义为竞争神经网络失真误差的变化量，记为A = J) I)=[iikir-i^|-iEiNr-i|t
V! J1 d ノ
「001 冬ぼ{丨ぼ]·——15可—Si可J， 5. 3. 5)当有且仅有ー个K维训练矢量Xk从训练矢量集合Cw移到训练矢量集合Cj中时，将竞争神经网络失真误差的变化量可记为
_4] Δ , =Z)_D = U —^Γ + ^_^Γ ；5. 4)如果不存在神经元；r,转步骤(5. 7),如果存在神经元；r,则用如下公式对步骤(4. 4)中获胜神经元w的权值矢量进行去学习操作，使获胜神经元w的权值矢量远离训练矢
量Xkvw (t) 1 = vw (t) n (t) (Xk-Vw ⑴),式中，η (t)为第t次迭代时的去学习率，vw(t)为第t次迭代时神经元w的权值矢量，vw (t)'为中间变量；5. 5)用如下公式对满足条件？* =叫^<0丨神经元r的权值矢量进行补偿学习
操作，使神经元r的权值矢量逼近训练矢量Xk vr (t) ' = Vr ⑴ + β (t) (xk-vr (t))，式中，β (t)为第t次迭代时的补偿学习率，vr (t)为第t次迭代时神经元r的权值矢量，为中间变量；5. 6)将获胜神经元w的权值矢量Vw(t)更新为传递矢量Vw(t)，，将满足条件的神经元r的权值矢量Vr (t)更新为Vr (t)，， vw(t)=vw(t)'vr(t) =Vr(t)'；5. 7)更新训练矢量下标k = k+Ι,迭代次数t = t+Ι ;5. 8)如果迭代次数t > T结束；5. 9)如果训练矢量下标k ^ N，转步骤5. 2)否则返回步骤四； 步骤六将在步骤(4)和(5)中经过学习、更新的后神经元权值矢量V1','丨,...,V/，作为码书输出，用于进行图像重构，其中，M>0。本发明的效果可以通过以下实验进一步说明I、仿真实验采用的图像实验使用了图2所示的6幅512X512大小的灰度图像作为测试图像，其中图2(a)为“Lena 图像”、图 2 (b)为“boat 图像”、图 2 (c)为“airplane 图像”、图 2 (d)为“Elaine图像”、图 2 (e)为 “Einstein 图像”、图 2 (f)为 “goldhill 图像”。2、仿真实验的參数设置条件设定參数为初始学习率= O. 5、初始去学习率H。= 0.2、初始补偿学习率=O. 01、图像小块的大小n = 4、训练矢量个数#=」2" 51、总迭代次数T = 20XN。3、仿真实验环境在CPU为core22. 4HZ、内存2G、WINDOWS XP系统上使用C++进行了仿真。4、仿真内容仿真1，为在数值上验证本发明生成码书的有效性，用本发明TsLVQ与现有LVQ分别生成大小为64、128、256、512的码书，利用生成的码书对图2中的各图像进行编码并重构，计算重构图像和原始图像的PSNR值，如表I。表I本发明TsLVQ与LVQ的PSNR对比(单位dB)
权利要求
1.一种用于图像重构的二步学习矢量量化码书生成方法，包括如下步骤 (1)输入一幅图像X，将其划分为N个互不重叠、大小为nXn的图像小块，并将这些图像小块转换为K维训练矢量xk, K = nXn ; (2)初始化一个具有M个神经元的竞争神经网络，从N个互不重叠的图像小块中随机选择M个图像小块作为神经元的权值矢量V1, V2,. . . , vM, M > O ； (3)初始化参数,设置初始学习率=O. 5、初始去学习率Jltl = O. 2、初始补偿学习率β。= O. 01、总迭代次数T = 20 X N、初始迭代次数t = O ; (4)更新学习率a(t) = a dl-t/T)，确定并记录K维训练矢量xk在竞争神经网络中的输出Oi (Xk):
2.根据权利要求I所述的用于图像重构的二步学习矢量量化码书生成方法，其中所述步骤(7a)中根据有监督的学习矢量量化算法确定竞争神经网络失真误差的变化量，按如下步骤进行 (7al)竞争神经网络失真误差定义如下
全文摘要
本发明公开一种用于图像重构的二步学习矢量量化码书生成方法，主要解决现有学习矢量量化算法对网络初始状态依赖性强易陷入局部最优的问题。其实现步骤是首先对图像进行分块，利用学习矢量量化算法更新与输入矢量之间失真误差最小的获胜神经元权值矢量；然后将获胜神经元w与所有神经元对比寻找满足纠正条件的神经元r，纠正神经元w和r的权值矢量，使其神经元的权值矢量不断移向被正确划分的输入矢量，而远离被错误划分的输入矢量；最后判断终止条件是否满足，如满足则把神经元的权值矢量作为最优的码书输出，否则进入下一次迭代。本发明增加了纠正学习策略，及时有效的调整了竞争神经网络，进而获得了最优的码书，可应用于数字图像信号的处理。
文档编号H04N7/26GK102740072SQ20121015187
公开日2012年10月17日 申请日期2012年5月16日 优先权日2012年5月16日
发明者刘若辰, 刘静, 张伟, 李阳阳, 焦李成, 陈超, 马文萍, 马晶晶 申请人:西安电子科技大学