一种由视野视频质量推理全景视频质量的方法与流程

本发明涉及计算视觉领域，尤其涉及一种由视野视频质量推理全景视频质量的方法。

背景技术：

视频质量评价技术的目的是评价经过包括压缩、重映射等有损处理后的视频质量，在图像压缩和视频编码等领域有着广泛的应用。而随着各个应用领域对高效、可靠的视频质量评估算法的需求日益增加，大量的新质量评价算法也在被不断提出并刷新性能上限，有一些是全新设计的新算法，有一些则是在旧有算法的基础上进行改进和应用场景的革新。但是随着媒体内容的形式越来越多样化，一些新的媒体形式如自由视点视频、3d立体视频和360°全景视频等内容也给视频质量评价的相关研究带来了挑战，相比于重新设计新的质量评价算法，如何将已有的算法进行扩展，以适应新的应用场景也是非常值得研究的一个课题。

随着相关的上下游产业链的完善和重点环节的软硬件技术发展，沉浸式虚拟现实技术正在被越来越多的人所熟知。而作为虚拟现实相关资源的主要承载形式和虚拟现实用户的主要消费内容，360°全景视频被越来越多的用户所接受和消费，并且在基础教育、心理干预和疏导、技术职业培训等领域发挥着越来越重要的作用。

360°全景视频作为一种新的媒体内容，在视频质量评价方面也带来了一些全新的挑战。在视频的采集端，传统平面视频通常只有一个镜头进行内容的拍摄。而360°全景视频在拍摄时通常由多个镜头同时拍摄，然后对内容进行畸变矫正和拼接后形成完整的360°全景内容。而在后续的传输和存储过程中，360°全景内容会被以非均匀的方式映射到平面上进行压缩编码和传输。相比于传统的平面视频，这些处理流程会给360°全景视频引入额外的质量损失。而当视频内容在客户端进行播放时，用户通常佩戴头戴式显示设备进行观看。和传统平面视频将完整的内容直接呈现于用户的视场中心不同，用户在观看360°全景视频时只能以视场为单位进行局部内容的观看，并且可以依靠转头等动作进行观看区域的自主选择。一方面沉浸式的观看方式隔绝了外界的视觉干扰，而自由度较高和局部可见的特点则决定了用户的质量感知结果更多的会受局部内容的影响。上述的这些区别必然导致针对原本在传统平面视频上有效的质量评价方法在针对360°全景视频时产生较大的误差。

目前将传统平面视频的质量评估推广到360°全景视频领域的改进主要围绕在从球面到平面分非均匀映射带来的影响。而根据沉浸式用户观看行为分析的结果显示，不同的用户在观看相同的360°全景视频内容时的头动数据呈现出了高度的一致性。即不同的用户倾向于观看的区域和停留的观看时长都是相似的。更进一步地，在沉浸式观看环境中，当用户经过对整个场景的快速观察后，就会倾向于固定观看某些区域。基于这样的一致性结合前述局部内容对质量感知结果的主要影响，在相关的算法中根据用户行为的特点对完整的360°全景视频进行分区域的质量评估来得出最终的结果是很有必要的。

目前存在的一些针对360°全景视频的质量评价方法很少考虑到用户行为对质量感知的影响，而相比于从拼接畸变和非均匀映射的角度对传统质量评价方法进行优化，从用户侧的变化出发去对一些视频质量评价方法进行优化以适应360°全景视频质量评价的需求是很有必要的。如何进行合理的设计来充分结合用户行为优化360°全景视频的质量评价方案，从而将现有的传统视频质量评价算法推广到360°全景视频并获取较好的性能表现，成为十分重要的课题。

技术实现要素：

针对以上的现有技术分析和存在的问题，本发明的目的在于提出一种由视野视频质量推理全景视频质量的方法。

本发明采用的技术方案如下：

一种由视野视频质量推理全景视频质量的方法，其特征在于，包括如下步骤：

步骤1，利用显著度预测算法对完整的360°全景视频进行显著度计算，得到和全景视频长宽相同的二维显著度分布矩阵；

步骤2，找出对视频质量影响较大的视场位置及相应权重：在步骤1得到的二维显著度分布矩阵中寻找极大值点，极大值点的坐标即为视场的中心坐标；相应的权重则为以所述极大值点为中心点时视场覆盖范围内的显著度总和；

步骤3，基于步骤2计算得到的视场坐标和相应的权重信息，对以视场为单位的高显著度区域的质量系数进行计算，计算公式如下：

其中，i表示第i个需要计算质量的视场区域，wi为第i个视场区域的对应权重值；q^vp(i)为被选中的第i个视场区域的质量评估结果；qhs为高显著视场区域的质量系数；

步骤4，计算未被选中的低显著度区域的质量系数qls；

步骤5，对高显著度视场区域的质量系数qhs和低显著度区域的质量系数qls进行线性加权求和，得出完整的全景视频质量评价，公式如下：

qodv＝dqhs+(1-d)qls

其中，d为权重系数，qodv为最终的预测结果。

本发明利用沉浸式观看中的用户行为分析结果，将360°全景视频的质量评估分为高显著度区域质量系数和低显著度区域质量系数的权重求和，能够得出完整的全景视频质量评价结果。利用本方法能够结合主观用户行为将针对传统平面视频质量评价的方法，包括但不限于psnr、ssim、ms-ssim等等扩展到360°全景沉浸式视频质量评价场景中，预测结果更加贴近真实用户主观的质量感知规律。

附图说明

图1为本发明方法的流程图；

图2为本发明实施例中步骤2的权重分布及极大值点选择示意图。

具体实施方式

参照图1，本发明一种由视野视频质量推理全景视频质量的方法，具体步骤如下：

步骤1，利用显著度预测算法对完整的360°全景视频进行显著度计算，得到和全景视频长宽相同的显著度分布二维矩阵，这里的显著度计算主要目的是获取对用户行为的预测结果，对具体的算法没有限制，比如文献sitzmann,v.,serrano,a.,pavel,a.,agrawala,m.,gutierrez,d.,masia,b.,&wetzstein,g.(2018).saliencyinvr:howdopeopleexplorevirtualenvironments？.ieeetransactionsonvisualizationandcomputergraphics,24(4),1633-1642.中提到的适用于全景视频的显著度检测方法但是不同的显著度检测算法给出预测的准确度不同可能会影响最终的优化结果。

步骤2，该步骤的目的是通过合理的方法找出对视频质量影响较大的视场位置及相应权重。举例来说，一个长宽为3840x1920的4k全景视频得到的显著度预测结果为同尺寸的二维矩阵。视场范围以htcvive举例，该设备的视场宽度为110°，高度为90°，对应在4k分辨率下的视场宽度为1280，高度为960。如图2所示，图中白点为显著度极值点，白框为视场范围；此时的视场权重计算为以相应的显著度分布极值点为中心的1280x960大小的矩形框所覆盖的显著度值之和。这样的选择结果能够保证在一定范围内选中相对显著度较高的区域，而按照显著度计算的权重能够保证结果更加符合主观用户行为的规律。

步骤3，按照步骤2中得到的视场坐标和相应的权重信息，对以视场为单位的高显著度区域的质量系数进行计算。计算公式如下：

其中，i表示第i个需要进行质量计算的视场区域，wi为第i个视场区域的对应权重值。q^vp(i)为被选中的第i个视场内容的质量评估结果。qhs为高显著的区域质量系数的计算结果，这里对q^vp(i)的计算方法并不限制，任意一种现有的图像/视频质量评价方法都可以用来计算q^vp(i)，对于全参考、半参考和无参考的方法也不需要具体区分。

步骤4，引入低显著度区域的质量因子qls，类似q^vp(i)的计算，这里qls计算所采用的方法与计算q^vp(i)的保持一致即可。例如，当使用经典的全参考质量评价方法psnr时，可以将完整的360°全景图像内容计算出psnr值作为qls值；而当使用一些依赖于视频特征和压缩编码参数的半参考的视频质量评价方法，例如文献ou,y.f.,xue,y.,&wang,y.(2014).q-star:aperceptualvideoqualitymodelconsideringimpactofspatial,temporal,andamplituderesolutions.ieeetransactionsonimageprocessing,23(6),2473-2486.中提出的q-star模型时，可以使用如下的形式：

qls＝a^1-sb^1-qc^1-t

其中s,q,t为归一化后的编码参数，分别代表分辨率、帧率、和量化步长，这三个参数统一也是q-star模型的输入参数；a,b,c为固定常数，用于刻画编码参数对最终质量的影响。

步骤5，对高显著度视场区域的质量因子和低显著度区域质量因子进行线性加权求和，得出完整的全景视频质量评价。公式如下：

qodv＝dqhs+(1-d)qls

其中d为权重因子，用来分配高显著区域和低显著度区域的权重，理论上d>0.5，即高显著度区域占有的比重理论上应该更大。实际验证中，根据在一些著名的开源数据集上的计算，d取0.6652时能够整体较好的性能表现。权重因子d的存在可以保证权重分配的合理性，使得最终的质量评价结果合理的包含了高显著度区域和低显著度区域的结果，更加符合沉浸式观看环境下用户主观行为的特点，具体取值可根据实际情况进行调整。

基于上述步骤，本发明可以将现有的大部分传统图像质量评价方法结合沉浸式观看中的用户行为特点进行应用场景的扩展而提升针对360°全景内容的评价性能，从将传统算法的应用场景进一步扩展，使其更加适应高自由度的沉浸式全景视频观看和高质量全景视频传输场景。