一种立体图像显著图提取方法
【技术领域】
[0001] 本发明设及一种图像信号的处理方法，尤其是设及一种立体图像显著图提取方 法。
【背景技术】
[0002] 在人类视觉接收与信息处理中，由于大脑资源有限W及外界环境信息重要性区 另IJ，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们 在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域 关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉W及基 于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高质量立体视 频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重 要的研究内容。
[0003] 然而，立体图像并不是平面图像的简单空间拓展，因此人眼感知立体图像产生立 体视觉的过程也不是简单的左视点图像和右视点图像叠加的过程，因此，立体视觉特征 (例如维视觉注意力）并不是平面视觉特性的简单拓展。然而，现有的立体图像显著图 提取方法还停留在平面图像显著提取方法的简单拓展。因此，如何从立体图像中有效地提 取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼=维观看行为、如何采用机 器学习方法训练出分类模型，都是在对立体图像进行视觉显著图提取过程中需要研究解决 的问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种立体图像显著图提取方法，其符合显著语 义特征，且具有较强的提取稳定性和较高的提取准确性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像显著图提取方法， 其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：
[0006] ①-1、将选取的N副各不相同的立体图像W及每幅立体图像的右视差图像和右 视点图像的真实眼动图构成一个集合，记为{Li，Ri，di，Fi|l《i《N}，其中，l，Li表示 (Li,Ri,山Fi11《i《N}中的第i幅立体图像的左视点图像，I?康示{Li，Ri,山Fi11《i《N} 中的第i幅立体图像的右视点图像，d康示{L1，Ri,心Fi11《i《N}中的第i幅立体图像 的右视差图像，Fi表示{Li，Ri，di，Fi|l《i《N}中的第i幅立体图像的右视点图像的真实 眼动图；
[0007] ①-2、采用超像素分割技术将{Li，Ri,心FiI1《i《N}中的每幅立体图像的右视 点图像分割成M个互不重叠的区域，将R冲的第h个区域记为5口1,4，其中，1>1，1《11《1;
[0008] ①-3、计算化1，Ri,心FiI1《i《N}中的每幅立体图像的右视点图像中的每个区 域的对比度特征矢量，将SPiih的对比度特征矢量记为式，/,，X;;,,=[.记，.诘，.咸，爲，铅.兴,]， 其中，Xf，,，,的维数为6,符号"□"为矢量表示符号，表示SPiih中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分 量的颜色值的距离，/;?表示SPiih中的所有像素点在CIELAB颜色空间的a分量的颜色值 与R冲的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离，.巧,表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与R1中的背景区域中的所有像 素点在CIELAB颜色空间的b分量的颜色值的距离，式i表示SPiih中的所有像素点在RGB颜 色空间的R分量的颜色值与SPiih的相邻区域中的所有像素点在RGB颜色空间的R分量的 颜色值的距离，/;5/,表示SPiih中的所有像素点在RGB颜色空间的G分量的颜色值与SPi,h的 相邻区域中的所有像素点在RGB颜色空间的G分量的颜色值的距离，表示SPiih中的所 有像素点在RGB颜色空间的B分量的颜色值与SPiih的相邻区域中的所有像素点在RGB颜 色空间的B分量的颜色值的距离，Ri中的背景区域是指R1中位于最左边、最右边、最上边、 最下边的区域，SPi,h的相邻区域是指R1中与SPi,h左相邻、右相邻、上相邻、下相邻的区域；
[0009] ①-4、计算化1，Ri,心FiI1《i《N}中的每幅立体图像的右视点图像中的每个区 域的深度特征矢量，将SPiih的深度特征矢量记为鸣/,，X已,=内，;,，容[&，各;;/!]，:其中，X知的 维数为3,符号"□"为矢量表示符号，而,表示SPi,冲的所有像素点的视差幅值的均值，《1，/, 表示SPiih中的所有像素点的视差幅值与R1中的背景区域中的所有像素点的视差幅值的距 离，gi表示SPiih中的所有像素点的视差幅值与SP的相邻区域中的所有像素点的视差幅 值的距离；
[0010] ①-5、计算化1，Ri,心Fi11《i《N}中的每幅立体图像的右视点图像中的每个区 域中的所有像素点的LBP特征统计直方图，将W矢量形式表示的LBP特征统计直方图作为 对应区域的纹理特征矢量，将SPiih的纹理特征矢量记为X;，/,，其中，X;，;,的维数为59 ;
[0011] ①-6、按{Li，Ri，di，Fi|l《i《N}中的每幅立体图像的右视点图像中的M个互 不重叠的区域，将{Li，Ri，di，Fi|l《i《N}中的每幅立体图像的右视点图像的真实眼动 图对应分割成M个互不重叠的区域；然后计算{Li，Ri,山Fi11《i《N}中的每幅立体图 像的右视点图像的真实眼动图中的每个区域的平均眼动值；接着按平均眼动值的大小对 (Li，Ri，di，Fi|l《i《N}中的所有N副立体图像的右视点图像的真实眼动图中的MXN 个区域进行排序；之后从排序后的MXN个区域中取平均眼动值最高的20%区域，并将 {Li，Ri,山Fi11《i《N}中的所有立体图像的右视点图像中与所取的每个区域对应的区 域作为正样本区域，同时从排序后的MXN个区域中取平均眼动值最低的40%区域，并将 (Li,Ri,山Fi11《i《N}中的所有立体图像的右视点图像中与所取的每个区域对应的区域 作为负样本区域；再将所有正样本区域的特征矢量集的集合作为{Li，Ri,心Fi11《i《N} 的正样本集合，记为，并将所有负样本区域的特征矢量集的集合作为 (Li，Ri，di，Fi|l《i《N}的负样本集合，记为挺!1如《了4;最后将转|1句.叫}和 枉|I書A叫.}构成初始的样本训练集，记为悼i1空^却，仪} = {s;A:};其中，s;表示第 j个正样本区域的特征矢量集，又,，y，X^.表示第j个正样本区域的对比度特 征矢量，X；；表示第j个正样本区域的深度特征矢量，X',.表示第j个正样本区域的纹理特 征矢量，L，表示第j个正样本区域的标签值，L,= +1，T康示正样本区域的总个数，T1 = 0. 2XMXN，S;表示第k个负样本区域的特征矢量集，S三=掉'成|單'，V}，X;嗦示第k 个负样本区域的对比度特征矢量，X!/'表示第k个负样本区域的深度特征矢量，X; '表示第k个负样本区域的纹理特征矢量，Lk'表示第k个负样本区域的标签值，Lk' = -1，Tz表示负 样本区域的总个数，Tz= 0. 4XMXN，酱表示{8川< ^巧中的第r个样本，S:为正样本或 为负样本，若S:中的标签值为+1，则巧为正样本，若璋中的标签值为-1，则斬为负样本，T=0. 6XMXN，T=Tl巧2;
[001引①_7、采用AdaBoosting模型作为机器学习的方法，对较11 中的所有 正样本和所有负样本进行训练，使得经过训练得到的弱分类器的回归函数值与标签值之 间的误差最小，得到[髮中的每个样本的所有弱分类器各自的回归函数的最优 的权重矢量和最优的偏置项及权重系数，将中的任意一个样本的第m个弱 分类器的回归函数的最优的权重矢量和最优的偏置项及权重系数对应记为Wf和6方'及 /?r;然后根据{S; 11如《r}中的任意一个样本的所有弱分类器各自的回归函数的最优的 权重矢量和最优的偏置项及权重系数，构造一个强分类器，将根据资的所有弱分类器各自 的回归函数的最优的权重矢量和最优的偏置项及权重系数构造的强分类器记为4 (r)， 網=ZAT^wrYk",W牛皆'）;其中，i《m《L，L表示转|1別空巧中的任意一个样本的 弱分类器的总个数，L=NfXNk,Nf表示{S: 11 <;'<Ij中的任意一个样本中的特征矢量的总 个数，Nf= 3,Nk表示转i1 ^ ^叫'中的任意一个样本的任意一个弱分类器的回归函数的核 的总个数，Nk^ 2,（wr)T为w:r的转置矢量，km(r)表示衣的第m个弱分类器的回归函数的 核函数；
[0013] 所述的测试阶段过程的具体步骤如下：
[0014] ②-1、对于任意一副测试立体图像StMt,将Stest的左视点图像、右视点图像、右视 差图像对应记为Lt。,,、RtMt、dtMt;然后采用超像素分割技术将RtMt分割成M'个互不重叠的 区域，将Rtes冲的第h个区域记为SPh'，其中，M' ；
[0015]②-2、按照步骤①-3至步骤①-5的过程，W相同的操作方式获取RtMt中的每个 区域的对比度特征矢量、深度特征矢量和纹理特征矢量；然后将Rt。.,中的每个区域的对比 度特征矢量、深度特征矢量和纹理特征矢量构成的集合作为输入样本；再计算RtMt中的每 个区域对应的输入样本的每个弱分类器的回归函数的核函数，将SPh'对应的输入样本的第m个弱分类器的回归函数的核函数记为km化）；
[0016]②-3、根据训练阶段构造的强分类器d) (r)，获取Rt。,,中的每个区域的S维视觉显 著值，将sPh' 的；维视觉显著值记为s3D,h，s3D,h=Mh)，抑/〇=tAr((wr)Tk",(/z)+6r); 坑=1 再将Rt。,,中的每个区域的=维视觉显著值作为对应区域中的所有像素点的显著值，对 于SPh'，将SPh'的S维视觉显著值作为SPh'中的所有像素点的显著值，从而得到StMt 的立体显著图，记为怯3D(x，y'）}，其中，（x'，y'）表示StMt中的像素点的坐标位置， 1《X'《W'，1《y'《H'，W'和H'对应表示SteJ勺宽度和高度，S3d(x'，y'）表示 怯3D(x'，y'）}中坐标位置为（x'，y'）的像素点的像素值，S3D(x'，y'）亦表示RtMt中坐标位 置为（x'，y'）的像素点的显著值。
[0017] 所述的步骤①-3中的Xf,A的获取过程为：
[001引①-3a、计算SPi, h中的所有像素点在CIELAB颜色空间的L分量的颜色值与Ri中的背景区域中的所有像素点在CIELAB颜色空间的L分量的颜色值的距离乂^<,，
其中，◎表示R冲的所有背景区域的序号的集合，写,&表示SPi,冲的所 有像素点在CIELAB颜色空间的L分量的颜色值的均值，1；4表示Ri中的第q个区域SPW中 的所有像素点在CIELAB颜色空间的L分量的颜色值的均值，Q表示Ri中的背景区域的总个 数，符号"II"为取绝对值符号；
[0019] ①-3b、计算SPi,h中的所有像素点在CIELAB颜色空间的a分量的颜色值与 Ri中的背景区域中的所有像素点在CIELAB颜色空间的a分量的颜色值的距离乂?> :，：
其中，屯,,表示SPi,冲的所有像素点在CIELAB颜色空间的a分量的颜 色值的均值，馬9表示Ri中的第q个区域SP1,q中的所有像素点在CIELAB颜色空间的a分量 的颜色值的均值；
[0020] ①-3c、计算SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜色值与 Ri中的背景区域中的所有像素点在CIELAB颜色空间的b分量的颜色值的距离乂，
其中，5,，表示SPi,h中的所有像素点在CIELAB颜色空间的b分量的颜 色值的均值，焉表示Ri中的第q个区域SPW中的所有像素点在CIELAB颜色空间的b分量 的颜色值的均值；
[0021] ①-3t计算SPi,h中的所有像素点在RGB颜色空间的R分量的颜色值与 SPiih的相邻区域中的所有像素点在RGB颜色空间的R分量的颜色值的距离乂支， 其中，N,，表示SPiih的所有相邻区域的序号的集合， expQ表示W自然基数e为底的指数函数，X,巧,表示SPiih中的中屯、像素点的坐标位置，％& 表示R冲的第P个区域SPW中的中必像素点的坐标位置，OP表示高斯函数的标准差，罵，ft 表示SPiih中的所有像素点在RGB颜色空间的R分量的颜色值的均值，巧表示R冲的第P 个区域SPi,P中的所有像素点在RGB颜色空间的R分量的颜色值的均值，P表示SPi,h的相邻 区域的总个数，符号"IMI"为求欧式距离符号；
[0022] ①-3e、计算SPiih中的所有像素点在RGB颜色空间的G分量的颜色值与 SPi,h的相邻区域中的所有