经纬图全景视频的质量评价方法与流程

本发明涉及视频质量评价技术领域，尤其涉及一种经纬图全景视频的质量评价方法。

背景技术：

随着视频采集和处理技术的进步，全景视频开始逐步进入人们的生活。全景视频是以摄像机为中心，对各个视角的景物进行同时记录而得到的视频。人们在观看全景视频时，可以随意切换视角，仿佛身临其境。与传统的二维平面视频相比，全景视频可以给用户带来更好的体验和沉浸感，是未来虚拟现实技术不可或缺的一部分。

但是，全景视频的原始数据量比传统二维平面视频大得多，迫切需要高效的视频压缩方法。为了衡量视频压缩的性能，需要比较压缩后的视频与压缩前的视频之间的差别(失真)，即以压缩前的视频为参考对压缩后的视频进行质量评价。

本质上，全景视频记录的是球面上的视频信息。由于球面不易表示，全景视频一般采用经纬图格式进行表达。经纬图将球面的点按照其经度、维度映射到二维平面，例如，经度映射为列坐标、纬度映射为行坐标，从而将球面展开为矩形平面。经纬图格式的视频可以直接采用传统的二维平面视频的编码器进行压缩编码。

对于传统二维平面视频，有参考质量评价经常使用峰值信噪比(psnr)。但psnr对经纬图格式的视频不太合理，因为经纬图相比球面发生了很大的几何变形，越靠近两极的区域被拉伸的越大，而psnr对于平面上不同位置是给予同样权重的，不能准确体现出球面自身的失真。

有研究提出了一种改进的球面峰值信噪比(s-psnr)，该方法在球面上均匀地取一些位置，将这些位置映射到经纬图上，并只计算这些位置上的原始视频和压缩后的视频之间的失真。这样做虽然解决了几何变形的问题，但由于s-psnr只取了球面上的有限个点进行计算，事实上只用到了经纬图上的一部分区域，而忽视了其他区域的失真。

技术实现要素：

本发明的目的是提供一种经纬图全景视频的质量评价方法，从而对经纬图格式的全景视频在压缩后和压缩前的差别(失真)进行客观度量，进而帮助优化全景视频压缩。

本发明的目的是通过以下技术方案实现的：

一种经纬图全景视频的质量评价方法，包括：

对于待评价与作为参考的两个经纬图格式的全景视频，均分别进行每一帧分纬度下采样，得到对应的两个不规则形状视频；

逐帧计算两个不规则形状视频之间的均方误差、逐帧的质量与总体质量，从而实现经纬图全景视频的质量评价。

进行每一帧分纬度下采样包括：

根据球面到经纬图的映射关系，计算出每条纬度的过采样率，再根据过采样率的倒数对每条纬度进行下采样。

所述计算出每条纬度的过采样率的步骤包括：

以行坐标表示纬度，进行分行下采样；假设经纬图的高度为n，纬度是从-90度到+90度，则第i行对应的纬度θi为：

θi＝(180×i-90×n-90)/(n-1)，i＝1,2,…,n

假设在赤道位置的采样率为1，则在纬度θi的位置，过采样率为1/cos(θi)。

所述根据过采样率的倒数对每条纬度进行下采样包括：

假设经纬图的宽度为m，则需要将m个像素下采样到round(m*cos(θi))个像素，其中round表示取整；

下采样通过线性插值或者三次插值来实现；其中，线性插值过程如下：

令，k＝round(m*cos(θi))，原始m个像素的值分别为x(1),…,x(m)，插值后的值分别为y(1),…,y(k)，则有：

y(j)＝x(j×m/k),j＝1,2,…,k；

如果j×m/k为整数，则对应的值已知；

否则，令a＝floor(j×m/k)，b＝ceil(j×m/k)，floor和ceil分别是取下整和取上整，则有：

y(j)＝(j×m/k-a)×x(b)+(b-j×m/k)×x(a)。

逐帧计算两个不规则形状视频之间的均方误差、逐帧的质量与总体质量包括：

假设在当前帧中，两个不规则形状视频的第i行第j列对应的像素值的差别为dij；

则均方误差rmse为：

rmse＝sqrt((σi＝1..nσj＝1..round(m*cos(θi))dij²)/(σi＝1..nround(m*cos(θi))))

其中，sqrt表示求平方根，θi为第i行对应的纬度值；

则当前帧对应的质量q为：

q＝10*log10(c²/rmse)；

其中，c为常数；

则视频的总体质量由逐帧质量求平均得到；或者，由逐帧均方误差求平均均方误差，再带入上述质量求取公式来计算总体质量。

由上述本发明提供的技术方案可以看出，本发明的优点是：1.考虑了球面和经纬图之间转换的几何变形；2.尽可能考虑了经纬图上的所有信息。因此，本发明优于传统的psnr和s-psnr。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种经纬图全景视频的质量评价方法的流程图；

图2为本发明实施例提供的全景视频示意图；

图3为本发明实施例提供的经纬图格式的全景视频某一帧的示意图；

图4为本发明实施例提供的对经纬图格式的全景视频进行分行下采样以后得到的不规则形状视频的某一帧的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种经纬图全景视频的质量评价方法，如图1所示，其主要包括：

步骤11、对于待评价与作为参考的两个经纬图格式的全景视频，均分别进行每一帧分纬度下采样，得到对应的两个不规则形状视频。

本发明实施例中，根据球面到经纬图的映射关系，计算出每条纬度的过采样率，再根据过采样率的倒数对每条纬度进行下采样。具体过程如下：

1)计算出每条纬度的过采样率的步骤包括：

以行坐标表示纬度，进行分行下采样；假设经纬图的高度为n，纬度是从-90度到+90度，则第i行对应的纬度θi为：

θi＝(180×i-90×n-90)/(n-1)，i＝1,2,…,n

根据球面计算公式，θi位置的球面圆周长正比于rcos(θi)，其中r是球的半径；

假设在赤道位置的采样率为1，则在纬度θi的位置，过采样率为1/cos(θi)。

2)根据过采样率的倒数对每条纬度进行下采样包括：

假设经纬图的宽度为m，则需要将m个像素下采样到round(m*cos(θi))个像素，其中round表示取整；

下采样可以通过线性插值或者三次插值来实现；其中，线性插值过程如下：

令，k＝round(m*cos(θi))，原始m个像素的值分别为x(1),…,x(m)，插值后的值分别为y(1),…,y(k)，则有：

y(j)＝x(j×m/k),j＝1,2,…,k；

如果j×m/k为整数，则对应的值已知；

否则，令a＝floor(j×m/k)，b＝ceil(j×m/k)，floor和ceil分别是取下整和取上整，则有：

y(j)＝(j×m/k-a)×x(b)+(b-j×m/k)×x(a)。

本领域的技术人员可以理解，除了实施例中采用的线性插值或者三次插值方式，还可以采用其他的常规下采样方法。

如图2所示，为全景视频示意图；图3为经纬图格式的全景视频某一帧的示意图；图4为对经纬图格式的全景视频进行分行下采样以后得到的不规则形状视频的某一帧的示意图。

本领域技术人员可以理解，待评价与作为参考的两个经纬图格式的全景视频均可采用上述方式进行处理。

本领域技术人员可以理解，用作参考的经纬图全景视频，通常是待评价的经纬图全景视频的原始版本。例如，在经纬图全景视频压缩中，压缩前的视频用作参考，对压缩后重建的视频进行质量评价。

步骤12、逐帧计算两个不规则形状视频之间的均方误差、逐帧的质量与总体质量，从而实现经纬图全景视频的质量评价。

假设在当前帧中，两个不规则形状视频的第i行第j列对应的像素值的差别为dij；

则均方误差rmse为：

rmse＝sqrt((σi＝1..nσj＝1..round(m*cos(θi))dij²)/(σi＝1..nround(m*cos(θi))))

其中，sqrt表示求平方根，θi为第i行对应的纬度值；

则当前帧对应的质量q为：

q＝10*log10(c²/rmse)；

其中，c为常数；

则视频的总体质量由逐帧质量求平均得到；或者，由逐帧均方误差求平均均方误差，再带入上述质量求取公式来计算总体质量，即用平均均方误差替代上式的rmse，最终计算到的q表示为视频的总体质量。

本领域的技术人员可以理解，上述过程可以对下采样之后的两个视频，分不同颜色(例如红、绿、蓝)的像素值分别计算均方误差和质量，或者分亮度、色度分别计算均方误差和质量，等等。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。