一种立体图像视觉显著图提取方法
【专利摘要】本发明公开了一种立体图像视觉显著图提取方法，其首先通过训练构建立体图像的视觉舒适度特征与视觉舒适度预测值的关系模型，然后利用该关系模型来预测立体图像的视觉舒适度，得到视觉舒适度显著图；采用基于图论的视觉显著性模型提取出立体图像的二维显著图；根据区域之间的空间相似性和视差相似性，得到立体图像的深度显著图；最后对二维显著图、深度显著图和视觉舒适度显著图进行融合，得到最终的三维视觉显著图，优点是获得的三维视觉显著图能够很好地符合显著语义的特征。
【专利说明】一种立体图像视觉显著图提取方法
【技术领域】
[0001] 本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉显著图提取 方法。
【背景技术】
[0002] 在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区 另IJ，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们 在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域 关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基 于内容的视频检索领域的一个重要的研究内容。
[0003] 然而，人眼感知立体图像产生立体视觉的过程并不是简单的左右视点图像叠加的 过程，因此，立体视觉特征（例如，三维视觉注意力）并不是平面视觉特性的简单拓展，如何 从立体图像中有效地提取出立体视觉特征、如何使得提取的立体视觉特征符合人眼三维观 看行为，都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉显著图提取方法，其符合显 著语义特征，且具有较强的提取稳定性和较高的提取准确性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉显著图提取方 法，其特征在于包括训练阶段和测试阶段两个过程，具体步骤如下：
[0006] ①选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应 的右视差图像，构成训练图像集，记为{Li，氏，φ | 1彡i彡N}，其中，N彡1，Q表示 {Li，氏，φ 11彡i彡N}中的第i幅立体图像的左视点图像，氏表示{Li，氏，φ 11彡i彡N}中 的第i幅立体图像的右视点图像，φ表示{Li，氏，φ 11彡i彡N}中的第i幅立体图像对应 的右视差图像；
[0007] ②计算ΙΑ,氏，φ | 1彡i彡N}中的每幅立体图像对应的右视差图像中的所有像素 点的视差均值、视差方差和视差范围，将Φ中的所有像素点的视差均值、视差方差和视差范 围对应记为μ i、δ i和X i ;然后将{Li,氏，φ | 1 < i < N}中的每幅立体图像对应的右视差 图像中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像 的用于反映视觉舒适度的特征矢量，将第i幅立体图像的用于反映视觉舒适度的特征矢量 记为Xi，Xi= [Ui，xj，其中，此处符号" □"为矢量表示符号，\的维数为3;
[0008] ③采用支持向量回归，对{Li，Ri，dil 1彡i彡N}中的所有立体图像的特征矢量进 行训练，并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最 优的权重矢量w° pt和最优的偏置项b°pt，然后利用得到的最优的权重矢量w°pt和最优的偏置 项b°pt构造支持向量回归训练模型，记为
【权利要求】
1. 一种立体图像视觉显著图提取方法，其特征在于包括训练阶段和测试阶段两个过 程，具体步骤如下： ① 选取N副各不相同而尺寸大小一致的立体图像以及每幅立体图像对应的右视差图 像，构成训练图像集，记为O^LdiIl彡i彡N}，其中，N彡1山表示HdiIl彡i彡N} 中的第i幅立体图像的左视点图像，Ri表示ILi,Ri,cl」1彡i彡N}中的第i幅立体图像的 右视点图像，Cli表不ILi,Ri, (Ii 11 <i<N}中的第i幅立体图像对应的右视差图像； ② 计算ILi,Ri,cl」1彡i彡N}中的每幅立体图像对应的右视差图像中的所有像素点的 视差均值、视差方差和视差范围，将Cli中的所有像素点的视差均值、视差方差和视差范围对 应记为Ui、Si和Xi;然后将ILi,Ri, (Ii 11 <i<N}中的每幅立体图像对应的右视差图像 中的所有像素点的视差均值、视差方差和视差范围按顺序进行排列构成每幅立体图像的用 于反映视觉舒适度的特征矢量，将第i幅立体图像的用于反映视觉舒适度的特征矢量记为 Xi,
，其中，此处符号" □"为矢量表示符号，Xi的维数为3 ; ③ 采用支持向量回归，对ILi,Ri,Cli11彡i彡N}中的所有立体图像的特征矢量进行训 练，并使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的 权重矢量w°pt和最优的偏置项b°pt，然后利用得到的最优的权重矢量w°pt和最优的偏置项 b°pt构造支持向量回归训练模型，记为
，其中，Xinp表示 支持向量回归训练模型的输入矢量，（w°pt)TSw°pt的转置矢量，Pd,,,,)表示支持向量回归训 练模型的输入矢量Xinp的线性函数； ④ 将待测试的立体图像的左视点图像和右视点图像对应记为IA(x，y)}和{IK(x，y)}， 将待测试的立体图像对应的右视差图像记为{dK(x，y)}，其中，此处（x，y)表示{IJX，y)}、 {IK(x，y)}和{dK(x，y)}中的像素点的坐标位置，1<叉<1，1<7<11，此处1表示 {IL(x，y)}、{IK(x，y)}和{dK(x，y)}的宽度，H表示{IL(x，y)}、{IK(x，y)}和{dK(x，y)}的高 度，IL(x，y)表示{IL(x，y)}中坐标位置为（x，y)的像素点的像素值，IK(x，y)表示{IK(x，y)} 中坐标位置为（x，y)的像素点的像素值,dK(x，y)表示{dK(x，y)}中坐标位置为（x，y)的像 素点的视差值； ⑤ 采用基于图论的视觉显著性模型提取出{IK(x，y)}的二维显著图，记为{S2D(x，y)}， 其中，S2D(x，y)表示{S2D(x，y)}中坐标位置为（x，y)的像素点的像素值； ⑥ 采用超像素分割技术将{IK(x，y)}分割成M个互不重叠的区域，然后将{IK(x，y)}重 新表示为M个区域的集合，记为{SPJ，再根据{SPJ中的不同区域之间的视差相似性和空间 相似性，计算{IK(x，y)}的深度显著图，记为{SDP(x，y)}，其中，M彡l，SPh表示{SPJ中的第 h个区域，1彡h彡M，SDP(x，y)表示{SDP(x，y)}中坐标位置为（X，y)的像素点的像素值； ⑦ 根据利用训练得到的最优的权重矢量和最优的偏置项b°pt构造的支持向量回归 训练模型f(Xinp)，计算{IK(x，y)}的视觉舒适度显著图，记为{STO(x，y)}，其中，STC(x，y)表 示{STC(x，y)}中坐标位置为（x，y)的像素点的像素值； ⑧ 对{IK(x，y)}的二维显著图{S2D(x，y)}、{IK(x，y)}的深度显著图{SDP(x，y)}及 {IK(x，y)}的视觉舒适度显著图{Svc(x，y)}进行融合，得到{IK(x，y)}的最终的三维视觉显 著图，记为{S3D(x,y)},将{S3D(x,y)}中坐标位置为（X，y)的像素点的像素值记为
，
1 〇
2. 根据权利要求1所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤 ②中Cli中的所有像素点的视差均值、视差方差和视差范围的获取过程为： ②-1、计算Cli中的所有像素点的视差均值，记为Ui,
其中，
1彡X彡W，1彡y彡H，此处W表示di的宽度，H表示di的高度，di(x，y)表示di中坐标位 置为（x，y)的像素点的视差值； ②-2、计算(Ii中的所有像素点的视差方差,记为5i， _ * ② -3、计算Cli中的所有像素点的视差范围，记为Xi,Xi =CLx-Clniin，其中，d_表示Cli 中的所有像素点的视差值按从大到小的顺序排序后，前1%的视差值对应的所有像素点的 视差均值；Clmin表示Cli中的所有像素点的视差值按从大到小的顺序排序后，后1%的视差值 对应的所有像素点的视差均值。
3. 根据权利要求1或2所述的一种立体图像视觉显著图提取方法，其特征在于所述的 步骤③的具体过程为： ③ -1、将O^RpdiIl彡i彡N}中的所有立体图像的特征矢量和平均主观评分均值构 成训练样本数据集合，记为QN，（Xi,MOSJGQn，其中，MOSi表示HdiIl彡i彡N}中 的第i幅立体图像的平均主观评分均值，MOSiG[1，5]，1彡i彡N; ③-2、构造Qn中的每个特征矢量的回归函数，将Xi的回归函数记为f(Xi),
?其中，f()为函数表示形式，w为权重矢量,wT为w的转置矢量,b为偏 置项，MD表示Xi的线性函数，
^DdX1O为支持向量回归中的核函 数。
fX1，表示Qn中的第1'个特征矢量，1彡1'彡N，Y为核 参数，exp〇表示以自然基数e为底的指数函数，符号"IIII"为求欧式距离符号； ③-3、采用支持向量回归作为机器学习的方法，对Qn中的所有特征矢量进行训练， 使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，得到最优的权重矢 量w°pt和最优的偏置项b°pt，将最优的权重矢量，1和最优的偏置项b°pt的组合记为（《_，
?然后利用得到的最优的权重矢量和最优 的偏置项b°pt构造支持向量回归训练模型，记为f(Xinp)，
'，其 中，W表示对Qn中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，
表示取使得
的值最小的w和b的值，Xinp表示 支持向量回归训练模型的输入矢量，
{为
的转置矢量，
g示支持向量回归训 练模型的输入矢量Xinp的线性函数。
4. 根据权利要求3所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤 ③-2中取核参数Y= 54。
5. 根据权利要求4所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤 ⑥ 中{IK(x，y)}的深度显著图{SDP(x，y)}的获取过程为： ⑥-1、计算{SPJ中的不同区域之间的视差相似性，将{SPJ中 的第P个区域与第q个区域之间的视差相似性记为Simd (SPp，SPq)，
SPp表示{SPJ中的第p个区域，SPq表示{SPJ中的第q个区域，符号"II"为取绝对值符 号，dK(x，y)表示{dK(x，y)}中坐标位置为（x，y)的像素点的视差值，表示SPp中包含 的像素点的总个数，表示SPq中包含的像素点的总个数； ⑥-2、计算{SPJ中的不同区域之间的空间相似件,将ISPJ中的第D个区域与第q个 区域之间的空间相似性记为
，」
，其中， 1彡p彡M，1彡q彡M，p关q，SPp表示{SPJ中的第p个区域，SPq表示{SPJ中的第q个 区域，xsp,表示SPp中的中心像素点的坐标位置，表示SPq中的中心像素点的坐标位置， 符号"I I I I"为求欧式距离符号，max〇为取最大值函数，expO表示以自然基数e为底的 指数函数，A为控制参数； ⑥_3、根据{SPJ中的不同区域之间的视差相似性和空间相似性，计算{SPJ中 的每个区域的深度显著值，将{SPJ中的第h个区域SPh的深度显著值记为，
，其中，l<h<M，l<q<M，h尹q， Simd(SPh，SPq)表示SPh与SPq之间的视差相似性，Sims (SPh，SPq)表示SPh与SPq之间的空间 相似性； ⑥ -4、将{SPJ中的每个区域的深度显著值作为对应区域中的所有像素点的显著值，从 而得到UR(x，y)}的深度显著图，记为{SDP(x，y)}，其中，SDP(x，y)表示{SDP(x，y)}中坐标位 置为（x，y)的像素点的像素值。
6. 根据权利要求5所述的一种立体图像视觉显著图提取方法，其特征在于所述的步骤 ⑦ 的具体过程为： ⑦ -1、计算{SPJ中的每个区域的第一视差对比度，将{SPJ中的第h个区域SPh的第 一视差对比度记为，
，其中，J表示{dK(X，y)}中与SPh 对应的区域中的所有像素点的视差均值，dh，_表示{dK(x，y)}中与SPh对应的区域中的所有 像素点的视差值按从大到小的顺序排序后，前1%的视差值对应的所有像素点的视差均值； C^niin表示{dK(x，y)}中与SPh对应的区域中的所有像素点的视差值按从大到小的顺序排序 后，后1%的视差值对应的所有像素点的视差均值；
⑦-2、计算{SP丨由的毎+反秘的笛一视差对比度，将{SPJ中的第h个区域SPh的第 二视差对比度记为 '! ⑦-3、计算{SPJ中的每个区域的视觉舒适度预测值，将{SPJ中的第h个区域SPh的视 觉舒适度预测值记为
，其中，Xsffc为采用与步骤 ②相同的方法计算得到的SPh的用于反映视觉舒适度的特征矢量，Xsil的维数为3,WXn > 表示xM的线性函数； ⑦-4、根据{SPJ中的每个区域的第一视差对比度、第二视差对比度和视觉舒适度预测 值，计算{SPJ中的每个区域的视觉舒适度显著值，将{SPJ中的第h个区域SPh的视觉舒 适度显著值记为
，其中，P为控制 参数，T为阈值； ⑦-5、将{SPJ中的每个区域的视觉舒适度显著值作为对应区域中的所有像素点的 显著值，从而得到{IK(x，y)}的视觉舒适度显著图，记为{、〇^7)}，其中，、〇^，7)表示 {Svc(x，y)}中坐标位置为（x，y)的像素点的像素值。
【文档编号】H04N13/00GK104243956SQ201410466553
【公开日】2014年12月24日 申请日期:2014年9月12日 优先权日:2014年9月12日
【发明者】邵枫, 姜求平, 郁梅, 李福翠 申请人:宁波大学