运动感知的双目立体视频舒适度获取方法
【专利摘要】本发明公开了一种运动感知的双目立体视频舒适度获取方法，输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度vz；S2、根据所述像素点的参数(d,vxy,vz)，计算相应的舒适度值c；S3、根据每个像素点计算出的舒适度值，计算整帧舒适度值；S4、根据每帧的舒适度值，计算整个视频的舒适度值。按照本发明的步骤来计算双目立体视频的舒适度，能够很好的考虑正负深度范围和物体运动对舒适度造成的影响，获得更准确的舒适度估计。
【专利说明】运动感知的双目立体视频舒适度获取方法
【技术领域】
[0001]本发明涉及数字图像处理【技术领域】，特别涉及一种运动感知的双目立体视频舒适度获取方法。
【背景技术】
[0002]在计算机图形学领域中，双目立体图像和视频是被广泛研究和使用的立体媒体格式。双目立体技术通过在屏幕上向左右眼展示不同的图像来实现立体成像。由于成像技术中视角-聚焦的不匹配，导致人们在观看双目立体视频时，会产生不同程度的不舒适感。这种不舒适感是当前双目立体技术中存在的一个重要问题，因此，为了避免人们在观看双目立体视频时产生严重的不舒适感，甚至无法进行双目立体融合，如何能够对双目立体视频进行舒适度衡量具有重要的研究和实际意义。
[0003]传统的双目立体成像原理研究通过实验方式揭示了导致人眼产生不舒适感和影响双目立体成像的一些因素。相关研究表明，双目立体视差、物体运动速度对不舒适程度有较大影响，而且双目立体视差越大，物体运动速度越大，不舒适程度越大，但现有双目视觉领域相关工作主要关注在这些因素的定性关系描述，缺乏定量关系分析，因此无法在实际工程中直接应用。2012年Jung等人通过实验提出了一种根据基于双目视差和运动速度计算不舒适度的方法，但该方法在实验时对双目视差和不同方向的运动速度进行独立的实验分析，没有考虑这些因素之间的相互关系，而且该计算方法没有对正负双目视差进行区分。我们通过对双目视差和物体三维运动速度整体参数空间建模，获得更为准确和普适的计算方法。
【发明内容】
[0004](一)要解决的技术问题
[0005]本发明所要解决的技术问题是:如何提供一种能够根据双目立体视频中物体的运动的速度和视差的变化，计算观测该双目立体视频时不舒适程度的方法。
[0006](二)技术方案
[0007]为解决上述问题，本发明提供一种运动感知的双目立体视频舒适度获取方法，包括以下步骤:S1、对输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d，视平面方向的运动速度vxy和深度方向的运动速度VZ ;S2、根据所述像素点的参数(d, vxy, vz),计算相应的舒适度值c ;S3、根据每个像素点计算出的舒适度值,计算整帧舒适度值；S4、根据每帧的舒适度值，计算整个视频的舒适度值。
[0008]优选地，所述步骤SI包括:首先根据双目视频通过双目匹配来计算每个像素点处的双目视差值，然后使用光流计算每个像素点出视平面方向的运动速度vxy和深度方向的运动速度VZ。
[0009]优选地，所述步骤S2包括:根据步骤SI中计算得到的参数(c，vxy, vz)，根据通过实验拟合的舒适度计算公式，计算该像素点处的舒适度值c:[0010]c=-0.0556*vxy_0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0)，
[0011]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567(d〈0)。
[0012]优选地，所述步骤S3中，使用保守的估计策略，用每ー帧中舒适度值最低的像素对应的舒适度值，作为该帧的舒适度值。
[0013]优选地，所述步骤S4中，对于视频中的ー个序列帧，使用所有帧舒适度值的中位数作为整个视频的舒适度值。
[0014](三)有益效果
[0015]按照本发明的步骤来计算双目立体视频的舒适度，能够很好的考虑正负深度范围和物体运动对舒适度造成的影响，获得更准确的舒适度估计。
【专利附图】
【附图说明】
[0016]图1为依照本发明实施例的运动感知的双目立体视频舒适度获取方法的流程示意图。
【具体实施方式】
[0017]下面结合附图和实施例，对本发明的【具体实施方式】作进ー步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0018]參照附图1，为本发明的方法流程图。输入数据为双目立体视频，输出为该双目立体视频的舒适度估计值。图中所表示的步骤为:
[0019]S1.计算视频中像素点的參数:通过分析输入的左、右双目视频，首先通过双目匹配算法计算每个像素点处的双目视差山然后对连续帧使用光流算法，计算该像素点处的视平面方向的运动速度vxy和深度方向的运动速度vz;
[0020]S2.使用公式计算该像素点处的舒适度值:将上述计算參数带入如下公式计算该像素点处的舒适度值c:
[0021]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0)
[0022]c=-0.0556*vxy-0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567(d〈0)；
[0023]S3.图像帧的舒适度计算:本步骤根据上步骤中计算出来的每像素点处的舒适度值，使用保守策略，采用该帧里面舒适度值最低的像素点的舒适度值，作为该图像帧的舒适度值；
[0024]S4.整段视频的舒适度计算:本步骤根据上步骤中计算出来的每个图像帧的舒适度值，使用所有数值中的中位数，作为整段视频的舒适度值。
[0025]通过结合附图对本发明具体实施例的描述，本发明的其它方面及特征对本领域的技术人员而言是显而易见的。
[0026]以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
【权利要求】
1.一种运动感知的双目立体视频舒适度获取方法，其特征在于，包括以下步骤: 51、对输入的双目视频进行双目视差和运动速度分析，计算视频中每个像素点的双目视差d,视平面方向的运动速度vxy和深度方向的运动速度VZ ； 52、根据所述像素点的参数(d,vxy, vz),计算相应的舒适度值c ； 53、根据每个像素点计算出的舒适度值，计算整帧舒适度值； 54、根据每帧的舒适度值，计算整个视频的舒适度值。
2.如权利要求1所述的方法，其特征在于，所述步骤SI包括:首先根据双目视频通过双目匹配来计算每个像素点处的双目视差值，然后使用光流计算每个像素点出视平面方向的运动速度vxy和深度方向的运动速度vz。
3.如权利要求1或2所述的方法，其特征在于，所述步骤S2包括:根据步骤SI中计算得到的参数(c，vxy, vz)，根据通过实验拟合的舒适度计算公式，计算该像素点处的舒适度值c:
c=-0.0556*vxy_0.6042*vz+0.0191*vxy*vz+0.0022*d*vxy+0.1833*d*vz_0.6932*d+4.6567(d>=0),
c=_0.0556*vxy_0.6042*vz+0.0191*vxy*vz_0.0043*d*vxy_0.1001*d*vz+0.2303*d+4.6567 (d〈0)o
4.如权利要求3所述的方法，其特征在于，所述步骤S3中，使用保守的估计策略，用每一帧中舒适度值最低的像素对应的舒适度值，作为该帧的舒适度值。
5.如权利要求4所述的方法，其特征在于，所述步骤S4中，对于视频中的一个序列帧，使用所有帧舒适度值的中位数·作为整个视频的舒适度值。
【文档编号】H04N13/00GK103595990SQ201310528899
【公开日】2014年2月19日 申请日期:2013年10月30日 优先权日:2013年10月30日
【发明者】胡事民, 杜松沛, 贝伦·马萨, 迭戈·古铁雷斯 申请人:清华大学