一种立体图像视觉舒适度和深度感联合优化方法
【专利摘要】本发明公开了一种立体图像视觉舒适度和深度感联合优化方法，其通过训练得到的舒适度客观预测函数来预测得到局部分割对象和全局图像的舒适度预测值，作为视差调整的约束条件，从而能够较为精确地将立体图像的视觉舒适度从不舒适调整到舒适程度；其在测试阶段包括两个主要过程，先对待处理的立体图像的左视差图像中的所有分割对象逐个进行视差调整，后对第一个过程得到的视差调整后的图像中的所有分割对象同步进行视差调整，接着根据两次视差调整后得到的图像计算经视差调整后的右视点图像，再根据待处理的立体图像的左视点图像与经视差调整后的右视点图像获得新的立体图像，从而有效地提升了观看者的深度感和视觉舒适性。
【专利说明】
一种立体图像视觉舒适度和深度感联合优化方法
技术领域
[0001] 本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像视觉舒适度和深 度感联合优化方法。
【背景技术】
[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的 视觉体验质量(Q〇E，Quality of Experience)已成为立体视频系统设计中的一个重要问 题，而视觉舒适度(VC，Visual Comfort)是影响立体视频的视觉体验质量的重要因素。目 前，对立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很 少考虑视觉舒适度、深度感等因素的影响。因此，为了提高观看者的视觉体验质量，研究立 体视频/立体图像的视觉舒适度和深度感联合优化方法对3D内容制作和后期处理具有十分 重要的指导作用。
[0003] 与常规的平面图像相比，观看基于视差形成的立体图像具有较强的立体感和沉浸 感，但是长时间观看立体图像会出现头疼、视觉疲劳、视力模糊甚至恶心等症状。过大的双 目视差、人眼焦点调节与辐辏机制冲突通常被认为是引起视觉不舒适的主要原因。人眼的 双眼融合机制为具有水平视差的左、右眼物像融合成具有立体感的单一清晰物像提供了生 理保证，然而如果水平视差过大，则会导致物像落在Panum融合区域外，人眼将无法正常形 成双眼单视性，长时间观看容易造成严重的视觉疲劳。而与引起视觉不舒适的影响相比，较 大的双目视差被认为是产生较强深度感的主要原因。因此，如何有效地对引起视觉不舒适 和深度感的因素进行表征、以及如何在视觉舒适性和深度感之间进行平衡，都是在对立体 图像进行视觉舒适度和深度感联合优化过程中需要研究解决的问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉舒适度和深度感联合优化 方法，其能够有效地提升观看者的深度感和视觉舒适性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种立体图像视觉舒适度和深度 感联合优化方法，其特征在于包括训练阶段和测试阶段两个过程；
[0006] 所述的训练阶段包括以下步骤：
[0007] ①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集， 记为{Sm 11彡m彡M}，其中，M>5，Sm表示{Sm 11彡m彡M}中的第m幅立体图像；
[0008] ①-2、计算中的每幅立体图像的用于反映视觉舒适度的特征矢量， 将sm的用于反映视觉舒适度的特征矢量记为= 数为7，符号"[]"为矢量表示符号，xm表示sm的左视差图像中的所有像素点的平均绝对视差 幅值，t表示Sm的左视差图像中的所有像素点的视差方差值，表示Sm的左视差图像中的 所有像素点的视差范围，^和匕对应表*s m的左视差图像中的所有像素点的最大视差均值 和最小视差均值，lm表^r^Sm的左视差图像的相对视差，表;^S m的左视差图像的对象宽度；
[0009] ①-3、根据中的每幅立体图像的用于反映视觉舒适度的特征矢量和 平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将 以F_作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为〇 (F_)，其中， 为函数表示形式；
[0010] 所述的测试阶段包括以下步骤：
[0011] ②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应 记为{lL(x，y)}及{dL(x，y)}，其中，Kx彡W，Ky彡H，lL(x，y)表示{lL(x，y)}中坐标位置为 (x，y)的像素点的像素值，d L(x，y)表示{dL(x，y)}中坐标位置为(x，y)的像素点的像素值；
[0012] ②-2、采用K-mean聚类方法将{dL(x，y)}分割成P个分割对象，其中，P彡1;然后计 算{dUx，y)}中的每个分割对象中的所有像素点的平均视差值;接着按计算得到的平均视 差值从小到大的顺序对{dL(x，y)}中的所有分割对象进行排序，将排序后的分割对象构成 的集合记为{R 1，…，R1，…，Rp}其中，R1，…，R1，…，R p表示{R1，…，R1，…，Rp}中的第1个分割对 象，…，第i个分割对象，…，第P个分割对象，
[0013]②-3、根据训练阶段获得的舒适度客观预测函数，逐个对{R1，…，R1，…，R p}中的每 个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的 分割对象构成{dL(x，y)}经视差调整后的图像，记为[元其中，元(u)表示 {元(x, 中坐标位置为(x，y)的像素点的像素值；
[0014] ②-4、根据训练阶段获得的舒适度客观预测函数，同步对中的所有分割 对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构 成丨经视差调整后的图像，记为丨，其中，么(_^)表示丨中坐标位置 为(x，y)的像素点的像素值；
[0015] ②-5、计算经视差调整后的右视点图像，记为{忍(1,3；)}，将{之"3〇}中坐标位置为(叉， y)的像素点的像素值记为/A,(x,.:r)， U.y，.i') =/;(.\- + 义(^,."),.!〇 ,其中， 表示{ U (x，y)}中坐标位置为(.v + , (x, j；>,分的像素点的像素值；然后将{ U (x，y)}和 (U)丨构成一幅新的立体图像。
[0016] 所述的步骤①-2中的
其中，Kx<W，Ky<H，dm(x，y)表示S m的左 视差图像中坐标位置为(x，y)的像素点的像素值，符号"I I"为取绝对值符号，dmax表示 左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1%的所有像素值的平均 值，d_表示SW左视差图像中的所有像素点的像素值按从大到小的顺序排序后、后1%的所 有像素值的平均值，表示sm的左视差图像中的所有像素点的像素值按从大到小的顺序排 序后、前10%的所有像素值对应的像素点的坐标位置构成的集合，A/u;, 表示 ^的左视差图像中的所有像素点的像素值按从小到大的顺序排序后、前10%的所有像素值对应 的像素点的坐标位置构成的集合，=: a 1 x (M/ x ")，max()为取最大值函数，1彡i彡P，P亦表示 ^的左视差图像中的分害U对象的总个数，P多1，吨表示&的左视差图像中与第i个分割对象相邻 的分割对象的总个数，Kj彡Ni，ri,j = ei_ej
A表示Sm的左视差图像中的第i个分割对象中的像素点的总个数，表示Sm的左视差图像 中的第i个分割对象中的所有像素点的坐标位置构成的集合，表示Sm的左视差图像中与 第i个分割对象相邻的第j个分割对象中的像素点的总个数，\表示S m的左视差图像中与第 i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合，min()为取最 小值函数，ln()表示以自然基数e为底的对数函数
，U表示Sm的左视差图像中的 第i个分割对象中的水平线的总个数表示Sm的左视差图像中的第i个分割对象 中的第u条水平线的宽度
[0017]所述的Sm的左视差图像中的分割对象采用K-mean聚类方法获得。
[0018]所述的步骤②_3的具体过程为：
[0019] ②_3a、将{R1，…，R1，…，Rp}中当前待处理的第i个分割对象服<定义为当前分割对 象，其中，i的初始值为1，1 ;
[0020] ②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视 差调整后的分割对象，假设{4(x，y)}中坐标位置为(x，y)的像素点属于当前分割对象，则将该 像素点经视差调整后的像素值记为尤(W)，x〇,_y),其中，Pi表不当前分割 (v,r)~ A xd,(x,y) 对象中的所有像素点的视差调整参数，口:通过求解 ' |V/, IA-^-1^ max )} 得到，f,表示丨中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢 量，〇0,)表示以f：作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预 测值，VCGT为舒适度阈值，'表示{dL(x，y)}中与第i个分割对象相邻的分割对象的 总个数，符号"I I"为取绝对值符号，max〇为取最大值函数，兵表示[尤(.^)}中与当前分割对 象对应的分割对象中的所有像素点的像素值的均值，iij表示{dL(x，y)}中与当前分割对象相 邻的第j个分割对象中的所有像素点的像素值的均值，djNDD0为最小可察觉视差变化阈值模 型： 21，如果 OS 64 19 如果 6A<d < 128 [i,； 128',；,192 、20，如果 192<dS255 待处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值， Zfar表不最大的场景深度值；
[0021]②-3C、令i = i+l，然后将{R1，…，R1，…，Rp}中下一个待处理的分割对象作为当前 分割对象，再返回步骤②_3b继续执行，直至{R1，…，R1，…，Rp}中的所有分割对象处理完毕， 由所有经视差调整后的分割对象构成{dL(X，y)}经视差调整后的图像其中，i = i +1中的"="为赋值符号。
[0022]所述的步骤②-4中的先(1,_>，)》巧x<^(x,j.，),其中，9i表不丨中的第i个分割对 nii n ^ E ? E "f" F") 象中的所有像素点的视差调整参数，I通过求解_ Q. 15、￡ ^得到，min()为取最小值函数， 满足 0(F)>FCeT ￡n=Z^lA-Ai|^ Er=TZiXll\\^-^t2 ' =?ixZ￡maX(°^-w^^)~l A-A-i)^i i=l /-I j^i 和A i均为加权参数，為表示?[元(x, _y)}中的第i个分割对象中的所有像素点的像素值的均 值，A表示?{元(x，y)}中的第i个分割对象中的所有像素点的像素值的均值，符号"| | | |2" 为求2-范数符号，為表示中与第i个分割对象相邻的第j个分割对象中的所有像 素点的像素值的均值为调节参数，max0为取最大值函数，心'亦表示p￡(x,.v)}中与第i 个分割对象相邻的分割对象的总个数，djNDD()为最小可察觉视差变化阈值模型，
_21,如果 0< Js'64 19 in? 54 ^ d ^ 128 DJNDD{d) = \ ' i m : ，f表示水平相机阵列中的各个相机的焦距，L表示待 18,如果 128 5^ <192 20,如果 192 仝 255 处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar 表示最大的场景深度值，金表示丨么(^)1的用于反映视觉舒适度的特征矢量，啊朽表示以 F作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCCT为 舒适度阈值。
[0023] 与现有技术相比，本发明的优点在于：
[0024] 1)本发明方法通过训练得到舒适度客观预测函数，并以此训练得到的舒适度客观 预测函数来预测得到局部分割对象和全局图像的舒适度预测值，作为视差调整的约束条 件，从而能够较为精确地将立体图像的视觉舒适度从不舒适调整到舒适程度。
[0025] 2)本发明方法在测试阶段包括两个主要过程，第一个过程为对待处理的立体图像 的左视差图像中的所有分割对象逐个进行视差调整，第二个过程为对第一个过程得到的视 差调整后的图像中的所有分割对象同步进行视差调整，接下来根据两次视差调整后得到的 图像计算经视差调整后的右视点图像，再根据待处理的立体图像的左视点图像与经视差调 整后的右视点图像获得新的立体图像，从而有效地提升了观看者的深度感和视觉舒适性。
【附图说明】
[0026]图1为本发明方法的总体实现框图；
[0027]图2a为" Imagel"的原始立体图像的"红/绿"图；
[0028]图2b为图2a经视差调整后的立体图像的"红/绿"图；
[0029]图3a为" Image2"的原始立体图像的"红/绿"图；
[0030]图3b为图3a经视差调整后的立体图像的"红/绿"图；
[0031]图4a为" Image3"的原始立体图像的"红/绿"图；
[0032]图4b为图4a经视差调整后的立体图像的"红/绿"图；
[0033]图5a为" Image4"的原始立体图像的"红/绿"图；
[0034]图5b为图5a经视差调整后的立体图像的"红/绿"图；
[0035]图6a为" Image5"的原始立体图像的"红/绿"图；
[0036]图6b为图6a经视差调整后的立体图像的"红/绿"图；
[0037]图7a为" Image6"的原始立体图像的"红/绿"图；
[0038]图7b为图7a经视差调整后的立体图像的"红/绿"图；
[0039]图8a为" Image7"的原始立体图像的"红/绿"图；
[0040]图8b为图8a经视差调整后的立体图像的"红/绿"图；
[0041]图9a为" Images"的原始立体图像的"红/绿"图；
[0042]图9b为图9a经视差调整后的立体图像的"红/绿"图。
【具体实施方式】
[0043] 以下结合附图实施例对本发明作进一步详细描述。
[0044] 本发明提出的一种立体图像视觉舒适度和深度感联合优化方法，其总体实现框图 如图1所示，其包括训练阶段和测试阶段两个过程；
[0045] 所述的训练阶段包括以下步骤：
[0046] ①-1、选取不同舒适度等级的M幅宽度为W且高度为H的立体图像构成训练图像集， 记为{Sm 11 ，其中，M>5，在本实施例中取M = 50，Sm表示{Sm 11 中的第m幅立体 图像，符号"{}"为集合表示符号。
[0047] ①-2、计算中的每幅立体图像的用于反映视觉舒适度的特征矢量， 将Sm的用于反映视觉舒适度的特征矢量记为F m，Fm =|^",九人,乂,其中，FW维 数为7，符号"[]"为矢量表示符号，xm表示Sm的左视差图像中的所有像素点的平均绝对视差 幅值，t表示左视差图像中的所有像素点的视差方差值?表示Sm的左视差图像中的 所有像素点的视差范围，匕和匕:对应表*S m的左视差图像中的所有像素点的最大视差均值 和最小视差均值，1 m表不Sm的左视差图像的相对视差，表不Sm的左视差图像的对象宽度。
[0048] 在此具体实施例中，步骤① -2中的
^^，1^^<11，1(^7)表示5』勺左视差图像中坐标位置为(^7)的像素点的像素值，符号"| I"为取绝对值符号，dmax表示左视差图像中的所有像素点的像素值按从大到小的顺序 排序后、前1%的所有像素值的平均值，d min表示Sm的左视差图像中的所有像素点的像素值 按从大到小的顺序排序后、后1%的所有像素值的平均值，表示左视差图像中的所有 像素点的像素值按从大到小的顺序排序后、前10%的所有像素值对应的像素点的坐标位置 构成的集合， = ()_1 x (H/ x ")，即表示将Sm的左视差图像中的所有像素点的像素值按 从大到小的顺序排序后、前10%的像素值对应的像素点的总个数，表示Sm的左视差图像 中的所有像素点的像素值按从小到大的顺序排序后、前10%的所有像素值对应的像素点的 坐标位置构成的集合，即&:表示将&的左视差图像中的所有像素点的 像素值按从小到大的顺序排序后、前10 %的像素值对应的像素点的总个数，max ()为取最大 值函数，1 ，P亦表示Sm的左视差图像中的分割对象的总个数，P多1，在本实施例中取P =3具表示Sm的左视差图像中与第i个分割对象相邻的分割对象的总个数，1彡 ￡i-￡j，
表示Sm的左视差图像中的第i个 分割对象中的像素点的总个数，Sm的左视差图像中的分割对象采用现有的K-mean聚类方法 获得，即采用现有的K-mean聚类方法将Sm的左视差图像分割成P个分割对象，从，表示Sm的左 视差图像中的第i个分割对象中的所有像素点的坐标位置构成的集合，胃表示左视差 图像中与第i个分割对象相邻的第j个分割对象中的像素点的总个数，表示左视差 图像中与第i个分割对象相邻的第j个分割对象中的所有像素点的坐标位置构成的集合， min()为取最小值函数，ln()表示以自然基数e为底的对数函数，e = 2.71828183...，
U表示Sm的左视差图像中的第i个分割对象中的水平线的总个数，U的取值*s m 的左视差图像中的第i个分割对象的形状所决定，1彡U彡Ln/f表示Sm的左视差图像中的第i 个分割对象中的第u条水平线的宽度A的取值*Sm的左视差图像中的第i个分割对象的形 状所决淀
[0049] ①-3、根据中的每幅立体图像的用于反映视觉舒适度的特征矢量和 平均主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将 以F_作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为〇 (F_)，其中， 为函数表示形式。
[0050] 在此，根据立体图像的用于反映视觉舒适度的特征矢量和平均主观评分差值，采 用支持向量回归作为机器学习的方法，获得舒适度客观预测函数的过程采用现有技术。
[0051] 所述的测试阶段包括以下步骤：
[0052] ②-1、将待处理的宽度为W且高度为H的立体图像的左视点图像及左视差图像对应 记为{lL(x，y)}及{dL(x，y)}，其中，Kx彡W，Ky彡H，lL(x，y)表示{lL(x，y)}中坐标位置为 (x，y)的像素点的像素值，d L(x，y)表示{dL(x，y)}中坐标位置为(x，y)的像素点的像素值。
[0053] ②-2、采用现有的K-mean聚类方法将{dL(x，y)}分割成P个分割对象，其中，P彡1， 在本实施例中取P = 3;然后计算{dL(x，y)}中的每个分割对象中的所有像素点的平均视差 值;接着按计算得到的平均视差值从小到大的顺序对{dUx，y)}中的所有分割对象进行排 序，将排序后的分割对象构成的集合记为{R 1，…，R1，…，Rp}其中，R1，…，R1，…，R p表示 {R1，…，妒，…，Rp}中的第1个分割对象，…，第i个分割对象，…，第P个分割对象，1彡i<p。 [0054]②_3、根据训练阶段获得的舒适度客观预测函数，逐个对{R 1，…，R1，…，Rp}中的每 个分割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的 分割对象构成{dL(x，y)}经视差调整后的图像，记为其中，元(x,v)表示 {毛(.t, _v)j中坐标位置为(x，y)的像素点的像素值。
[0055] 在此具体实施例中，步骤②-3的具体过程为：
[0056] ②_3a、将{R1，…，R1，…，Rp}中当前待处理的第i个分割对象K定义为当前分割对 象，其中，i的初始值为l，l<i<P。
[0057] ②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视 差调整后的分割对象，假设{4(x，y)}中坐标位置为(x，y)的像素点属于当前分割对象，则将该 像素点经视差调整后的像素值记为先(x，y).，. w只，其中，Pi表不当前分割 d, (a% v) ~ A (.v,.v) 对象中的所有像素点的视差调整参数，Pi通过求解# n | I Vy, | ^ - // |> max {dJNDD{pi )} 得到，I：表示丨中与当前分割对象对应的分割对象的用于反映视觉舒适度的特征矢 量，即I表示g(x冲)丨中的第i个分割对象的用于反映视觉舒适度的特征矢量，I；的获取采 用与步骤①-2相同的方式，即！疗，f，?,.4]，氧的维数为7,符号" □"为矢量表 示符号，名表示{毛(x,jj中与当前分割对象对应的分割对象中的所有像素点的平均绝对视 差幅值表示(义(.W)}中与当前分割对象对应的分割对象中的所有像素点的视差方差 值，^表示[<(>:,中与当前分割对象对应的分割对象中的所有像素点的视差范围，和 尺对应表示中与当前分割对象对应的分割对象中的所有像素点的最大视差均值 和最小视差均值，？，表示(x，j)}中与当前分割对象对应的分割对象的相对视差，^表示 g (X, 中与当前分害U对象对应的分害U对象的对象宽度，表示以_作为训练阶段获得的 舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCCT为舒适度阈值，在本实施例中 取VCCT=4，1 < j<Ni'，Ni'表示{cL(x，y)}中与第i个分割对象相邻的分割对象的总个数，符号" I"为取绝对值符号，max()为取最大值函数，爲表示g(x,中与当前分害树象对应的分割对 象中的所有像素点的像素值的均值，内表示{4(x，y)}中与当前分害J对象相邻的第j个分害J对象 中的所有像素点的像素值的均值，djNDD0为最小可察觉视差变化阈值模型，djNDD(内)=aXDJNDD
21,如果 0:?：(/5； 64 jl9,如果 64SJS128 ^厕乂）-、18，如果]28￡〇^]92 ' 20,如果 192:^2 255 f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间 的水平基线距离，Znear表示最小的场景深度值，叾&表示最大的场景深度值，在本实施例中 f、L、Z_ r和Zfar的值根据具体的测试序列确定。
[0058] ②-3c、令i = i+l，然后将{R1，…，R1，…，Rp}中下一个待处理的分割对象作为当前 分割对象，再返回步骤②_3b继续执行，直至{R 1，…，R1，…，Rp}中的所有分割对象处理完毕， 由所有经视差调整后的分割对象构成{dL(X，y)}经视差调整后的图像其中，i = i +1中的"="为赋值符号。
[0059] ②-4、根据训练阶段获得的舒适度客观预测函数，同步对?[元中的所有分割 对象进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构 成{(UkV)丨经视差调整后的图像，记为K('.v)}，其中，<(Xv)表示[之(W)丨中坐标位置 为(x，y)的像素点的像素值。
[0060] 在此具体实施例中，步骤②-4中的4(W)=次x毛(x,.v).其中，9i表示丨中的第 min(E,, \ E. + ￡,) i个分害树象中的所有像素点的视差调整参数A通过求解、n.:， 得到，min()为取最小 俩足 〇(F) > FQr 值函数，A = ，五r=Z々xi]||A-A|lA = AxEXmax(0，rf^(A)-ll^ i^l l-l C'-l /=! jr=\ 0i和Ai均为加权参数，在本实施例中取h = 〇 ? 5、02 = 4、03 = 2,心=\2 =入3 = 4,爲表示 g(x,J，)丨中的第i个分割对象中的所有像素点的像素值的均值，A表示丨之(.^)丨中的第i个 分割对象中的所有像素点的像素值的均值，符号"II ||2"为求2-范数符号，A表示 pjxj)}中与第i个分割对象相邻的第j个分割对象中的所有像素点的像素值的均值，《1 为调节参数，在本实施例中取《 1 = 1〇〇，11^()为取最大值函数，1'1：1'亦表示0￡(1,3/)1中与第 i个分割对象相邻的分割对象的总个数，djNDD ()为最小可察觉视差变化阈值模型，
"21, 0<d<64 . 19?如果 64<2乞 128 DJNDD(d) = i 1￡ m ~ ，f表示水平相机阵列中的各个相机的焦距，L表示待 18,如果 128SdU92 20,如果 192si<255 处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar 表示最大的场景深度值，在本实施例中f、L、Znear和Zfar的值根据具体的测试序列确定，f表 示|尤(^)丨的用于反映视觉舒适度的特征矢量，啊朽表示以f作为训练阶段获得的舒适度 客观预测函数的输入矢量得到的舒适度客观预测值，:&的获取采用与步骤①-2相同的方 式，S呻= [ii又f ,1^，金的维数为7,符号"[]"为矢量表示符号，f表示pi(T，.v)j中的 所有像素点的平均绝对视差幅值，I表示p￡(T,_y)}中的所有像素点的视差方差值，1表示 中的所有像素点的视差范围和疒对应表示中的所有像素点的最大视 差均值和最小视差均值，1表示?{么0,.)，)丨的相对视差，《表示丨尤〇, _y)丨的对象宽度，vcct为舒 适度阈值，在本实施例中取VCct = 4。
[0061 ]②-5、计算经视差调整后的右视点图像，记为，将丨4以,，)丨中坐标位置为(x， y)的像素点的像素值记为心(x，)'），心(X，V) = /, (x +元(a% y)，y),其中，& (x +么(x，)，)，少，） 表示{U(x，y)}中坐标位置为的像素点的像素值；然后将{U(x，y)}和 {4(^)丨构成一幅新的立体图像。
[0062]以下就利用本发明方法分别对韩国科学技术院(KAIST)提供的立体图像数据库 (IVY LAB Stereoscopic 3D image database)中的 Image 1、Image2、Image3、Image4、 Image5、Image6、Image7和Image8八幅立体图像进行视差调整，其中，Imagel、Image2、 Image3和Image4的原始立体图像为视觉不舒适，111^865、111^866、111^867和111^868的原始立 体图像为视觉舒适。图2a给出了 "Imagel"的原始立体图像的"红/绿"图，图2b给出了图2a经 视差调整后的立体图像的"红/绿"图；图3a给出了 "Image2"的原始立体图像的"红/绿"图， 图3b给出了图3a经视差调整后的立体图像的"红/绿"图；图4a给出了 "Image3"的原始立体 图像的"红/绿"图，图4b给出了图4a经视差调整后的立体图像的"红/绿"图；图5a给出了 "Image4"的原始立体图像的"红/绿"图，图5b给出了图5a经视差调整后的立体图像的"红/ 绿"图；图6a给出了 "Image5"的原始立体图像的"红/绿"图，图6b给出了图6a经视差调整后 的立体图像的"红/绿"图；图7a给出了 "Image6"的原始立体图像的"红/绿"图，图7b给出了 图7a经视差调整后的立体图像的"红/绿"图；图8a给出了 "Image7"的原始立体图像的"红/ 绿"图，图8b给出了"图8a经视差调整后的立体图像的"红/绿"图；图9a给出了 "ImageS"的原 始立体图像的"红/绿"图，图9b给出了图9a经视差调整后的立体图像的"红/绿"图。从图2a 至图9b中可以看出，对于视觉不舒适的原始立体图像，采用本发明方法得到的经调整后的 立体图像，由于增加了视觉舒适度约束条件，明显增强了观看者的视觉舒适性;而对于视觉 舒适的原始立体图像，采用本发明方法得到的经调整后的立体图像，由于增加了最小可察 觉视差变化阈值约束条件，明显提升了观看者的深度感。
【主权项】
1. 一种立体图像视觉舒适度和深度感联合优化方法，其特征在于包括训练阶段和测试 阶段两个过程； 所述的训练阶段包括以下步骤： ①-1、选取不同舒适度等级的Μ幅宽度为W且高度为Η的立体图像构成训练图像集，记为 {Sm 11 彡Μ}，其中，M>5，Sm表示{Sm 11彡m彡Μ}中的第m幅立体图像； ①-2、计算中的每幅立体图像的用于反映视觉舒适度的特征矢量，将 用于反映视觉舒适度的特征矢量记为Fm，Fm ，其中，维数为 7,符号"[]"为矢量表示符号，xm表示Sm的左视差图像中的所有像素点的平均绝对视差幅值， I表示Sm的左视差图像中的所有像素点的视差方差值，表示Sm的左视差图像中的所有像 素点的视差范围，义和< 对应表*Sm的左视差图像中的所有像素点的最大视差均值和最小 视差均值，〖m表不Sm的左视差图像的相对视差，S'*表不S m的左视差图像的对象宽度； ① -3、根据中的每幅立体图像的用于反映视觉舒适度的特征矢量和平均 主观评分差值，采用支持向量回归作为机器学习的方法，获得舒适度客观预测函数，将以 F_作为舒适度客观预测函数的输入矢量得到的舒适度客观预测值记为Φ (F_)，其中，Φ 0为函数表示形式； 所述的测试阶段包括以下步骤： ② -1、将待处理的宽度为W且高度为Η的立体图像的左视点图像及左视差图像对应记为 {11(叉，7)}及{九(叉，7)}，其中，1彡叉彡1，1彡7彡11，11(叉，7)表示{11(1，7)}中坐标位置为(叉， y)的像素点的像素值，dL (X，y)表示{dL (X，y)}中坐标位置为(X，y)的像素点的像素值； ②-2、采用K-mean聚类方法将{dL(x，y)}分割成P个分割对象，其中，P彡1;然后计算{也 (x，y)}中的每个分割对象中的所有像素点的平均视差值;接着按计算得到的平均视差值 从小到大的顺序对{dL (X，y)}中的所有分割对象进行排序，将排序后的分割对象构成的集 合记为{R1，…，R1，…，R p}其中，R1，…，R1，…，Rp表示{R1，…，R 1，…，Rp}中的第1个分割对 象，…，第i个分割对象，…，第P个分割对象， ②-3、根据训练阶段获得的舒适度客观预测函数，逐个对{R1，···，···，#}中的每个分 割对象进行视差调整，得到对应的经视差调整后的分割对象，由所有经视差调整后的分割 对象构成{dL(x，y)}经视差调整后的图像，记为g(.w)卜其中表示中 坐标位置为(X，y)的像素点的像素值； ②-4、根据训练阶段获得的舒适度客观预测函数，同步对·[元(X,/)}中的所有分割对象 进行视差调整，得到对应的视差调整后的分割对象，由所有视差调整后的分割对象构成 经视差调整后的图像，记为^^(^卜其中义^^表示^^^^中坐标位置为 (x，y)的像素点的像素值； ②-5、计算经视差调整后的右视点图像，记为丨4(^，)丨，将中坐标位置为(x，y) 的像素点的像素值记为4(1,30 = /1(1 + 4(1,外V)，其中，+ 表亦 { II (X，y)}中坐标位置为(.?.+ 4(為y),，)的像素点的像素值;然后将{ II (X，y)}和(.γ，)，)}构 成一幅新的立体图像。2. 根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其 特征在于所述的步骤①-2中的\ ，其中，1<：^<!1，(1111(1，：^)表示3111 / 的左视差图像中坐标位置为（x，y)的像素点的像素值，符号"I I"为取绝对值符号，dmax 表示左视差图像中的所有像素点的像素值按从大到小的顺序排序后、前1 %的所有 像素值的平均值，dmin表示5?的左视差图像中的所有像素点的像素值按从大到小的顺序 排序后、后1%的所有像素值的平均值，Ω;表示 Sm的左视差图像中的所有像素点的像素值 按从大到小的顺序排序后、前10%的所有像素值对应的像素点的坐标位置构成的集合，，表示左视差图像中的所有像素点的像素值按从小到大的顺序 排序后、前10%的所有像素值对应的像素点的坐标位置构成的集合，1max()为取最大值函数，1彡i ，P亦表示Sm的左视差图像中的分割对象的总个数，P彡1，Ni 表示Sm的左视差图像中与第i个分割对象相邻的分割对象的总个数，1彡表示Sm的左视差图像中的第i个分割对 象中的像素点的总个数，β。,.表示Sm的左视差图像中的第i个分割对象中的所有像素点的坐 标位置构成的集合，表示Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的 像素点的总个数，表示 Sm的左视差图像中与第i个分割对象相邻的第j个分割对象中的 所有像素点的坐标位置构成的集合，min()为取最小值函数，ln()表示以自然基数e为底的 对数函数：表示Sm的左视差图像中的第i个分割对象中的水平线的总个数，1 SuSU，/?表示5?的左视差图像中的第1个分割对象中的第1!条水平线的宽度，3. 根据权利要求2所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在 于所述的3"的左视差图像中的分割对象采用K-mean聚类方法获得。4. 根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在 于所述的步骤②-3的具体过程为： ②-3a、将{R1，…，f，…，Rp}中当前待处理的第i个分割对象r定义为当前分割对象， 其中，i的初始值为1，1 ; ②-3b、计算当前分割对象中的每个像素点经视差调整后的像素值以得到对应的经视 差调整后的分割对象，假设{dL(x，y)}中坐标位置为(x，y)的像素点属于当前分割对象，则 将该像素点经视差调整后的像素值记为&^^元以^^/^尖仏:^其中^表示当前 分割对象中的所有像素点的视差调整参数，Pi通过求解jz(X，Χ.?4(Χιν). 满月得到，！；_表示·{之(.γ,〕0丨中与当前分割对象对应的 分割对象的用于反映视觉舒适度的特征矢量，Φ(?；)表示以I；作为训练阶段获得的舒适度客 观预测函数的输入矢量得到的舒适度客观预测值，VCCT为舒适度阈值，'表示 {dL(x，y)}中与第i个分割对象相邻的分割对象的总个数，符号"| |"为取绝对值符号，max〇 为取最大值函数，兵表示(X，中与当前分割对象对应的分割对象中的所有像素点的像 素值的均值，^表示{4(X，y)}中与当前分割对象相邻的第j个分割对象中的所有像素点的 像素值的均值，d.TNDD ()为最小可察觉视差变化阈值模型，d.TNDD (y.i ) = α X Djndd (d) +β，f表示水平相机阵列中的各个相机的焦距，L表示待处理的立体图像的左视点与右视点之间 的水平基线距离，Znear表示最小的场景深度值，Zfar表示最大的场景深度值； ②-3c、令i = i + l，然后将{R1，…，Μ，…，Rp}中下一个待处理的分割对象作为当前分割 对象，再返回步骤②_3b继续执行，直至{R1，··· j1，···，^}中的所有分割对象处理完毕，由所 有经视差调整后的分割对象构成{dL(x，y)}经视差调整后的图像其中，i = i+l 中的"="为赋值符号。5.根据权利要求1所述的一种立体图像视觉舒适度和深度感联合优化方法，其特征在 于所述的步骤②-4中的先(u) ? 3 X毛〇r,_v),其中，4表示[元(.1^)丨中的第i个分割对象中 的所有像素点的视差调整参数，@通过求艄到，min()为取最小值函数，队和Ai均为加权参数，/?表示p￡(x,_v)}中的第i个分割对象中的所有像素点的像素值的均 值，爲表示{元(x，_y)}中的第i个分割对象中的所有像素点的像素值的均值，符号"I I I |2" 为求2-范数符号，為表示g(x,JO}中与第i个分割对象相邻的第j个分割对象中的所有 像素点的像素值的均值，ω:为调节参数，max()为取最大值函数，化'亦表示中 与第i个分割对象相邻的分割对象的总个数，d J N D D ()为最小可察觉视差变化阈值模 型，，f表示水平相机阵列中的各个相机的焦距，L表示待 处理的立体图像的左视点与右视点之间的水平基线距离，Znear表示最小的场景深度值，Zfar 表示最大的场景深度值，f表示的用于反映视觉舒适度的特征矢量，表示以 F作为训练阶段获得的舒适度客观预测函数的输入矢量得到的舒适度客观预测值，VCCT为 舒适度阈值。
【文档编号】H04N17/00GK105959679SQ201610269773
【公开日】2016年9月21日
【申请日】2016年4月27日
【发明人】邵枫, 李福翠
【申请人】宁波大学