基于三维自组织映射的视差图像编码方法
【专利摘要】本发明的基于三维自组织映射的视差图像编码方法，是建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像进行编码，获得三维立体图像压缩编码，包括初始化算法、竞争算法、邻域算法、学习算法。该法实现了二维输入到三维输出的映射，设计出的码书在三维重构图像峰值信噪比方面具有很好的性能，实现了三维立体图像编码，由解码视差图和左图像重建的右图像具有很好的主客观评价，具有较重要的理论及工程实践意义和较广泛的应用前景，可广泛应用于三维立体图像处理、遥感图像处理、医学影像处理、目标识别和立体视频编码等。
【专利说明】基于三维自组织映射的视差图像编码方法
【技术领域】
[0001]本发明涉及图像处理，具体是三维立体图像的处理，更具体是基于三维自组织映射的视差图像编码方法。
【背景技术】
[0002]芬兰人T.Kohonen于1982年提出自组织映射网络(Self-Organizing Map,即SOM),或称为自组织特征映射网络(Self-Organizing Feature Map)。它是一种无指导训练的神经网络，通过自身训练，自动对输入模式进行聚类。SOM是一种具有侧向联想能力的两层结构网络，输出节点呈二维阵列分布，每个输入节点与输出节点之间用可变权值连接，每个输出节点都有一个拓扑邻域，邻域随时间变化。该神经网络用于码书设计时，用矢量维数作为神经网络输入节点个数，用码书尺寸作为输出节点个数，输入节点与输出节点间的可变权值为码书中各码字。SOM算法的核心是寻找最优匹配模式的码书，即通过对大量样本序列的不断学习和训练，从而得到最优匹配的模式库。
[0003]传统的SOM及其改进SOM算法直接用于三维信号(如立体图像/立体视频等)处理遇到了如下挑战性的问题:
[0004](I)传统SOM通常采用一维输入层和二维映射层，能有效地将一维输入映射为二维输出，但无法实现二维输入到三维输出的映射。例如三维立体图像由二维平面图像加一维深度信息构成，深度信息的高效表示和处理是立体图像应用的基本问题，显然传统SOM难以有效地实现三维立体图像的映射，也无法表示深度信息。
[0005](2)映射既是SOM的本质特性，也是三维信号处理的关键技术之一。一般而言，传统SOM算法主要研究一维输入到二维输出的映射，三维信号处理则需要研究二维输入到三维输出的映射，无论从信号相关性利用，还是从计算量、性能评价方法和实时性要求等，都差异较大。直接采用传统SOM算法难以有效地实现三维信号的非线性映射。
[0006](3)三维信号的数据量要比一维/ 二维信号大得多，例如三维立体图像的数据量较二维平面图像要大2倍以上，处理如此海量数据对处理速度、存储空间和实时性等提出了更高的要求，存在诸多问题需要解决。
【发明内容】
[0007]随着三网融合、4G的发展，立体图像具有越来越广泛的应用性。由于立体图像描述一个场景需左右两组序列，相当于2倍二维图像，而大数据量的图像信息会给存储器的存储容量、通信干线信道的带宽以及计算机的处理速度增加极大的压力，所以必须研究高效立体图像压缩技术，才能使其实用化。
[0008]针对传统的SOM及其改进SOM算法直接用于三维信号的不足，为了有效地压缩视差图(立体图像对中左眼视图和右眼视图相减)，进而实现三维立体图像压缩，本发明提出一种能高效处理三维信号的自组织映射算法-基于三维自组织映射的视差图像编码方法。
[0009]本发明的基于三维自组织映射的视差图像编码方法，是建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像用码书(Wj(O), j=0，I,…，N-1}进行编码，获得三维立体图像压缩编码，包括采用下述的步骤:
[0010]I)基于方差的初始化算法；
[0011]2)输入一个M=n*m的训练矢量X，进行失真准则的竞争算法；
[0012]3)通过邻域算法求解邻域的全局最优解；
[0013]4)通过学习算法求解学习模型的全局最优解；
[0014]5)对所有的训练矢量重复步骤2)~4)； [0015]其中n和m分别表示二维输入层的行数和列数。
[0016]所述三维SOM网络结构，其输入层为二维阵列信号，映射层为三维信号。其输入层有3行6列共18个神经元，输出层(即映射层)有3行6列3层共54个神经元，输入层各神经元和输出层各神经元之间实现全连接，此连接物理量称之为权值。
[0017]所述二维阵列信号为双目立体图像对的左右图像。
[0018]本发明由匹配器将立体图像对中左眼视图和右眼视图相减，得到视差图。
[0019]步骤I)的初始化算法是:设置自组织神经网络大小为(N，M)，其中N为码书大小，即输出层神经元的个数，M为每个训练矢量的大小，即输入层神经元的个数；初始化码书{W」(0)，j=0, 1，…，N-1}，选定初始码书中的码矢，并将码矢排列成N=a X b X c的三维立体结构，其中a、b、c分别表示三维立体结构的行数、列数和层数；设定初始邻域NEj(O), j=0, I,-,N-1 ;然后
[0020]1、计算各训练矢量的方差var (X)；
[0021]i1、根据设置的阈值，将各训练矢量的方差与阈值相比，把训练集分成高频低频\两个部分，其中:训练集的方差低于该阈值，则分到低频部分；训练集的方差高于该阈值，则分为高频部分；
[0022]ii1、根据方差分别对Xh和\中的训练矢量进行排序；
[0023]iv、分别计算高频和低频子集中训练矢量所占总矢量数的比例，则初始码书中的码矢由相应比例的高频部分和低频部分中的矢量组成:
[0024]
【权利要求】
1.基于三维自组织映射的视差图像编码方法，其特征在于:建立处理立体图像的三维SOM网络结构，利用三维SOM算法，对视差图像用码书(Wj(O), j=0，I,…，N-1}进行编码，获得三维立体图像压缩编码，包括采用下述的步骤: 1)基于方差的初始化算法； 2)输入一个M=n*m的训练矢量X，进行失真准则的竞争算法； 3)通过邻域算法求解邻域的全局最优解； 4)通过学习算法求解学习模型的全局最优解； 5)对所有的训练矢量重复步骤2)~4); 其中n和m分别表示二维输入层的行数和列数。
2.根据权利要求1所述的方法，其特征在于:所述三维SOM网络结构，其输入层为二维阵列信号，映射层为三维信号。
3.根据权利要求2所述的方法，其特征在于:所述二维阵列信号为双目立体图像对的左右图像。
4.根据权利要求1所述的方法，其特征在于:由匹配器将立体图像对中左眼视图和右眼视图相减，得到视差图。
5.根据权利要求1所述的方法，其特征在于:在步骤1)，设置自组织神经网络大小为(N,M),其中N为码书大小，即输出层神经元的个数，M为每个训练矢量的大小，即输入层神经元的个数；初始化码书(Wj(O)J=O, I,…，N-1}，选定初始码书中的码矢，并将码矢排列成N=aXbXc的三维立体结构，其中a、b、c分别表示三维立体结构的行数、列数和层数；设定初始邻域NE」(0)，j=0, I,…，N-1 ;然后 1、计算各训练矢量的方差var(X)； i1、根据设置的阈值，将各训练矢量的方差与阈值相比，把训练集分成高频Xh和低频\两个部分，其中:训练集的方差低于该阈值，则分到低频部分；训练集的方差高于该阈值，则分为高频部分； ii1、根据方差分别对Xh和\中的训练矢量进行排序； iv、分别计算高频和低频子集中训练矢量所占总矢量数的比例，则初始码书中的码矢由相应比例的高频部分和低频部分中的矢量组成: Nl =N^(LlZL) 'N11=N-^liiID 式中，队初始码书中低频部分码矢总数， Nh初始码书中高频部分码矢总数， N初始码书码矢总数， L训练矢量总数， U训练矢量中低频子集总数， Lh训练矢量中高频子集总数； V、分别从Xh和\中按一定间隔抽取训练矢量组成初始码书。
6.根据权利要求1所述的方法，其特征在于:在步骤2)，对输入的训练矢量X，计算该输入矢量与码书中各码矢的失真dj,并选择具有最小失真的码矢j*为响应码矢；给码书中每个码失都设置一个响应计数器h (j=l，2，…，N)，每响应一次数加1，并将这个频率参量与其失真相关联，其失真测度变为
7.根据权利要求1所述的方法，其特征在于:在步骤3)，邻域形状选自正方体、球体和星形；三维邻域衰减函数选自线性函数和指数函数； 所述线性函数NE (t)形式如下:
NE (t) =NEfflin+(NEfflax-NEfflin) r)/T 式中NEmax和NEmin表示邻域的最大值和最小值，NEmin=LNEmax为常数，T为训练总次数，也为常数，t为迭代次数； 所述指数函数NE (t)形 式如下:
8.根据权利要求1或7所述的方法，其特征在于:在步骤3)，邻域形状选用星形；三维邻域衰减函数选用指数函数。
9.根据权利要求1所述的方法，其特征在于:在步骤4)，按下式调整响应码矢及r的拓扑邻域NE范围内的码矢
10.根据权利要求1所述的方法，其特征在于:在步骤4)，还包括依据下式对获胜神经元邻域范围内的神经元的权值进行更新，
Wi (t+1) =Wi (t) +a (t) hi (t) [X (t) -Wi (t)] 式中:hi(t)为高斯函数，a (t)与前述相同，为学习函数,Wi (t+1)为(t+1)时刻的获胜神经元邻域范围内的神经元的权值％ (t)为t获胜神经元邻域范围内的神经元的权值；X (t)为训练矢量；
【文档编号】H04N13/00GK103763565SQ201410035157
【公开日】2014年4月30日 申请日期:2014年1月24日 优先权日:2014年1月24日
【发明者】黎洪松, 王艳华 申请人:桂林电子科技大学