一种不平等误差保护辅助关注区域无线全景视频的方法与流程

本发明属于全景视频技术领域，尤其涉及一种不平等误差保护辅助关注区域无线全景视频的方法。

背景技术：

目前，最接近的现有技术：全景视频，具有完美沉浸式远程存在的全景视频被认为是近期的视频格式，因为它能够投影360度的指定场景，基于现场可编程门阵列(fpga)的全景视频生成系统。一种表示全景视频的映射方案，以提高视觉质量，稳定性和压缩效率。表征个性化传输方案，其中根据在实时用户交互期间要观看的特定可能性，在球形区域中控制质量。

用于在视频观看模式中在立方域之间导航，这消除了立方体面之间的不连续性在实时交互式全景视频系统中应用了平铺，逐步将质量提升到观察者关注的特定区域，同时以相对于观察到的轻微体验(qoe)减少为代价来降低带宽需求全分辨率全景系统。为了满足增强现实(ar)和虚拟现实(vr)应用中低延迟和大规模数据传输的要求，在中提出了一种用于5g小型蜂窝网络的软件定义网络架构。可伸缩视频编码(svc)原理应用于全景视频编码以减少所需带宽，而分析了两阶段协作vr传输方案。

不平等误差保护；为了改善错误恢复性，不同地保护具有不同重要性的视频比特是直观的。显然，不平等误差保护(uep)最初由masnick和wolf提出，其中更强的前向纠错(fec)被分配给更重要的比特而不是较不重要的比特。在中审查了四类uep技术，即基于uep的收发器方案，分组级fec安排，比特级fec方案，和跨层操作辅助解决方案。在这里，将注意力集中在比特级fec方案的系列上。

现有技术通过非均匀地分配由h.263视频编解码器编码的连续视频帧中的turbo码所施加的冗余来最小化视频失真。uep辅助低密度奇偶校验(ldpc)编码方案在中进行了研究。现有技术研究了使用rsc码的基于uep的数据分区h.264/avc视频流，而在中评估了uep辅助turbo编码调制。现有技术考虑了图像组(gop)中连续视频帧的不等重要性以及视频帧内不同宏块(mb)的不平等重要性。然而，中只采用了三种保护等级，这限制了可达到的性能。受到wyner-ziv(wz)帧的不同位置内的边信息(si)值可能具有不同错误概率的事实的推动，为了在分布式视频编码(dvc)的背景下降低所需的比特率，非均匀地将fec冗余分配给这些si值。将uep应用于未来全息图像的无线通信。

现有技术提出了依赖于软解码fec的分层无线视频的所谓比特级层间fec(il-fec)，其中基层的系统比特(bl)被植入发射器的增强层(el)中。在接收器处，可以有利地利用bl的植入比特来改善el的错误恢复。在上述的il-fec技术中，还研究了uep原理，以进一步改善系统性能。作者开发了一种算法，用于“即时”查找优化的编码率，优化了il-fec编码系统的性能。研究了依赖于深度图格式的立体视频，用于在噪声信道上进行通信，其中对颜色和深度量化参数应用不同的fec编码率。研究了所谓的基于功率的分层复用方案，作为通过采用信息理论方法在数字地面电视(dtt)系统中提供uep的手段。在中设想了一种跨层操作辅助uep方案，用于低复杂度的手持设备。song等人研究了各种多层视频表示，例如可伸缩视频以及联播流，并提出了一种uep方案，用于在视频存储和后增强成本之间实现改进的折衷。

综上所述，现有技术存在的问题是：现有全景视频质量差，容易失真。在全景视频传输过程中，在一定的传输质量下，视频质量不佳。

解决上述技术问题的难度：

在进行无线全景视频传输，如何做到既能减少传输的能量消耗，又能提高终端视频质量。

解决上述技术问题的意义：

可以使用户对全景视频有更好的体验，同时减少了传输能量。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种不平等误差保护辅助关注区域无线全景视频的方法。

本发明是这样实现的，一种不平等误差保护辅助关注区域无线全景视频的方法，所述不平等误差保护辅助关注区域无线全景视频的方法包括以下步骤：

步骤一，通过感兴趣区域感知不平等误差保护roi-uep用于高效视频代码hevc序列的无线传输；

步骤二，通过最小化预期的视频失真，将为roi信号找到最合适的不等前向纠错fec编码率；

步骤三，通过加权峰值信噪比wpsnr用于评估重建的全景视频的质量。

进一步，所述不平等误差保护辅助关注区域无线全景视频的方法得到球体和相应的平面坐标方法包括：

(1)将球坐标转换为平面坐标

点a是球面上的任意点，其中αo(-π≤αo≤π)和是a的经度和纬度坐标(xa，ya，za)，经度αo计算为；

其中r表示球体的半径，而纬度αa表示为；

利用推导出的经度和纬度，可以很容易地将平面坐标上的点a的投影位置表示为(wa，ha)；

wa＝αo·r

ha＝αa·r；

投影帧尺寸的宽度和高度为w＝2πr，h＝πr；

(2)将平面坐标转换为球面坐标，点a是具有坐标(wa，ha)的平面矩形上的任意点，其中；

和

αo(-π≤αo≤π)和是预计的球体上a的经度和纬度；经度αo计算为；

纬度αa表示为：

利用推导出的经度和纬度，将球面坐标上的点a的投影位置表示为(xa，ya，zx)，有；

xa＝r·cosαa·cosαo

ya＝r·cosαa·sinαo

za＝sinαa·r。

进一步，所述不平等误差保护辅助关注区域无线全景视频的方法基于hevc编码的无线信道全景视频流的roi-uep架构包括：

1)接收机模型：全景帧u被分成块u1，...，un，以yuv格式表示并由hevc编码器压缩，产生比特流b1，...，bn。同时，将块b1，...，bn的信息输入到最小化失真块，其分别优化块b1，...，bn的编码率γ1，...，γn。然后，得到的n个比特流b1，...，bn将按如下方式编码：

·n比特序列b1，...，bn由图5的fec编码器1，...n编码，其中分别采用由“最小化失真”块产生的编码率γ1，...γn，导致分别编码的比特序列x1，...，xn；

然后将位序列x1，xn连接成用于传输的单个比特流然后应用交织器δ来随机化突发传输错误；

交织的联合比特序列最终通过天线发送；

2)接收机型号：接收的全景信号无线接收机处理如下：

在解调之后，序列x1，...，xn的软信息，即y1，...，yn，然后将解交织器π^-1生成；

软信息yi由fec解码器i解码，产生估计的比特序列其表示层bi的估计版本；

最后，估计的比特流然后由hevc解码器解码，产生yuv块其最终被组合以重建全景视频帧

进一步，所述不平等误差保护辅助关注区域无线全景视频的方法在发送snr为s时的γ的总编码率，生成的编码率γ1，...，γn满足以下条件。

当采用γ1，...，γn和snr＝的编码率时，根据n个错误块引起的峰值信噪比(psnr)劣化d(γ1，...，γn)量化视频失真，目标是导出编码率γ1，...，γn，其最小化预期的降级d(γ1，...，γn)；对块bi采用；

d(bi)：表示由块bi损坏引起的失真；

p(s，|bi|，γi)：使用编码率γi和无线发射功率s的块bi的per；

w(bi)：块bi的权重；

由块bi的破坏引起的失真表示为全景帧的预期失真d(γ1，...，γn)表示为：

目标函数of表示为；

进一步，所述不平等误差保护辅助关注区域无线全景视频的方法接收器处的fec解码过程包括；

条件限制；

eq(10)表示发送n个编码块的总比特率限度；

预期的视频失真d(γ1，...，γn)表示为；

c.估算重量w(·)。

本发明的另一目的在于提供一种应用所述不平等误差保护辅助关注区域无线全景视频的方法的无人机。

本发明的优点及积极效果为：本发明通过感兴趣区域感知不平等误差保护(roi-uep)用于高效视频代码(hevc)序列的无线传输；通过最小化预期的视频失真，将为roi信号找到最合适的不等前向纠错(fec)编码率；通过加权峰值信噪比(wpsnr)用于评估重建的全景视频的质量，其中考虑像素的权重以计算由相关像素引起的失真。仿真结果表明，基于roi的等错误保护(roi-eep)方案优于eep，信道snr为5db，wpsnr为40db，而roi-uep方案通过wpsnr进一步提高其roi-eep对应物在信道snr为6db时为9.4db。

本发明得到了中国国家自然科学基金(no.61702335，no.61601304)的部分支持，部分得到了深圳市科技创新委员会(jcyj20170302154149766，jcyj20170302142545828)的部分支持，部分得到了深圳大学2016057年资助.l。hanzo还要感谢epsrc项目ep/p4284/1和erc高级研究员quantcom的财政支持。

本发明针对无线全景视频传输，减少传输的能量消耗，提高终端视频质量。

附图说明

图1是本发明实施提供的不平等误差保护辅助关注区域无线全景视频的方法流程图。

图2是本发明实施提供的球体和相应的平面坐标图。

图3是本发明实施提供的考虑全景视频流方案图。

图4是本发明实施提供的视野中心v决定每一帧的120οroi图。

图5是本发明实施提供的所提出的roi-uep辅助无线全景通信系统的架构，其中符号是在表i中定义。“最小化失真”块将在第iv节中说明。

图6是本发明实施提供的接收器处的fec解码过程图。

图7是本发明实施提供的使用的模型-1.1(d·γ^-3+c·γ^-2+b·γ+a)，λ＝1000，生成的模拟表面和p(s，λ，γ)的数学拟合曲面图。

图8是本发明实施提供的在球体e上生成均匀分布的点图。

图9是本发明实施提供的球体e上均匀分布的点图。

图10是本发明实施提供的球体e上的均匀分布点映射到矩形上的分布图。

图11是本发明实施提供的模拟中使用的视图轨迹，它包括60个全景帧的60个视图中心图。

图12是本发明实施提供的该算法将全景帧划分为64个子块，在sectioniv-c讨论的算法计算块的权重图。

图13是本发明实施提供的提出roi-uep方案、roi-eep方案、racevr序列的eep方案的wpsnr、ber与eb/n0的比较对于racevr序列图。

图14是本发明实施提供的所提出的roi-uep方案，roi-eep方案，用于该方案的eep方案的重建帧和比较racevr序列。第一行和第二行分别表示平面和球形框架，使用eb/n0＝6db图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明通过无线信道发送全景视频的场景。动机是全景视频观看者在特定时刻往往对全景帧的某些部分更感兴趣。因此，直观地仅刷新和保护位于感兴趣区域(roi)中的全景视频帧的特定部分。此外，roi内的不同视频信号也可能具有不同的重要性，因此应该采用uep以改善性能。对于每个全景帧，提出roi感知uep(roi-uep)用于高效视频编码(hevc)流的无线传输。具体而言，目标函数(of)旨在最小化失真。通过依赖于拉格朗日乘数和牛顿下行方法来优化该of，确定一组特定的fec编码率以最小化预期的视频失真。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明提供一种不平等误差保护辅助关注区域无线全景视频的方法包括以下步骤：

步骤s101，通过感兴趣区域感知不平等误差保护(roi-uep)用于高效视频代码(hevc)序列的无线传输；

步骤s102，通过最小化预期的视频失真，将为roi信号找到最合适的不等前向纠错(fec)编码率；

步骤s103，通过加权峰值信噪比(wpsnr)用于评估重建的全景视频的质量，其中考虑像素的权重以计算由相关像素引起的失真。

本发明提供的roi-uep架构：

1)接收机模型：在发射机处，所考虑的全景帧u被分成块u1，...，un，它们以yuv格式表示并由hevc编码器压缩，产生比特流b1，...，bn。同时，将块b1，...，bn的信息输入到图5的“最小化失真”块，其分别优化块b1，...，bn的编码率γ1，...，γn。然后，得到的n个比特流b1，...，bn将按如下方式编码：

n比特序列b1，...，bn由图5的fec编码器1，...n编码，其中分别采用由“最小化失真”块产生的编码率γ1，...γn。这导致分别编码的比特序列x1，...，xn。

然后将位序列x1，xn连接成用于传输的单个比特流然后应用交织器δ来随机化突发传输错误。

交织的联合比特序列最终通过天线发送。

2)接收机型号：接收的全景信号由图5的无线接收机处理如下：

在解调之后，序列x1，...，xn的软信息，即y1，...，yn，然后将由图5的解交织器π^-1生成。

然后，软信息yi由图5的fec解码器i解码，产生估计的比特序列其表示层bi的估计版本。

最后，估计的比特流然后由图5的hevc解码器解码，产生yuv块其最终被组合以重建全景视频帧

本发明提供的roi-uep编码率：

通过导出特定的fec编码率γ1，...，γn来最小化块b1，...，bn的视频失真。基于表i的符号定义，通过使用表ii中的符号来表征算法。

当采用γ1，...，γn和snr＝的编码率时，根据所考虑的n个错误块引起的峰值信噪比(psnr)劣化d(γ1，...，γn)来量化视频失真。在提出的方案中，目标是导出编码率γ1，...，γn，其最小化预期的降级d(γ1，...，γn)。为了推导出预期的帧失真，对块bi采用以下假设

·d(bi)：表示由块bi损坏引起的失真；

·p(s，|bi|，γi)：使用编码率γi和无线发射功率s的块bi的per；

·w(bi)：块bi的权重。

然后，由块bi的破坏引起的失真可以表示为全景帧的预期失真d(γ1，...，γn)可以表示为：

因此，目标函数(of)可以表示为

条件限制

eq(10)表示发送n个编码块的总比特率限度。

在第iv-a和iv-b节中，解决了方程式(9)各部分的分量问题，即全景视频失真d(bi)和包错误率(per)p(s，|bi|，γi)。随后，求出了目标方程式的解即最小码率。

下面结合附图对本发明的应用原理作进一步的描述。

1、等角投影

可以利用许多技术为多个传统二维相机记录的序列创建全景视频。球形全景帧如图2a所示，而其平面全景帧如图2b所示。现在让简要介绍等矩形投影(erp)，即地理投影。

如图3所示，本发明实施提供的考虑全景视频流方案，得到球体和相应的平面坐标。

a.将球坐标转换为平面坐标

假设图2a的点a是球面上的任意点，其中αo(-π≤αo≤π)和是a的经度和纬度坐标(xa，ya，za)，经度αo可以计算为

其中r表示球体的半径，而纬度αa可以表示为

利用推导出的经度和纬度，可以很容易地将平面坐标上的点a的投影位置表示为(wa，ha)，在那里

相应地，可以推导出投影帧尺寸的宽度和高度为w＝2πr，h＝πr。

b.将平面坐标转换为球面坐标

假设图2b的点a是具有坐标(wa，ha)的平面矩形上的任意点，其中

和

αo(-π≤αo≤π)和是预计的球体上a的经度和纬度。经度αo可以计算为，

而纬度αa可以表示为：

利用推导出的经度和纬度，可以很容易地将球面坐标上的点a的投影位置表示为(xa，ya，za)，有

2，体系结构

在第iii-a节中，首先简要介绍考虑到的全景视频流场景。然后详细介绍了基于hevc编码的无线信道全景视频流的roi-uep方案，如图5所示。

a.全景视频流场景

在图3中考虑的全景视频流/广播场景中，诸如youtube的视频服务器将原始全景视频发送到多个全景视频播放终端。回放终端只能显示落在观察中心120°范围内的roi像素，而其余区域则被忽略。因此，为了节约网络资源，如传输功率和/或带宽，人们自然希望只传输压缩的roi信号，而不是完整的全景视频。更具体地，终端基于它们的roi反馈它们的观察轨迹，然后由视频服务器利用该轨迹来压缩roi信号。因此，传输的视频速率可以从10mbps降低到3mbps。

同样，roi由所考虑的全景帧的观看中心确定，因为观看者倾向于将他/她的注意力集中在以观看者的眼睛的焦点为中心的120°的角度范围上。这里假设图5的估计观察中心v在发射器处是完全已知的，然而可以使用的流行深度学习工具来估计。roi和观看中心在图4中示例。在实践中，观看轨迹必须反馈到视频服务器，如图3所示，但是在本发明中再次关注无线流传输方面。

b.提议的roi-uep架构

所提出的roi-uep的体系结构如图5所示。

图4：帧的120°roi由观察中心v决定。

1)接收机模型：在图5的发射机处，所考虑的全景帧u被分成块u1，...，un，它们以yuv格式表示并由hevc编码器压缩，产生比特流b1，...，bn。同时，将块b1，...，bn的信息输入到图5的“最小化失真”块，其分别优化块b1，...，bn的编码率γ1，...，γn。然后，得到的n个比特流b1，...，bn将按如下方式编码：

·n比特序列b1，...，bn由图5的fec编码器1，...n编码，其中分别采用由“最小化失真”块产生的编码率γ1，...γn。这导致分别编码的比特序列x1，...，xn。

·然后将位序列x1，xn连接成用于传输的单个比特流然后应用交织器δ来随机化突发传输错误。

交织的联合比特序列最终通过天线发送。

2)接收机型号：接收的全景信号由图5的无线接收机处理如下：

表i：图5中所见系统的符号定义，其中1≤i≤n是块索引。

在解调之后，序列x1，...，xn的软信息，即y1，...，yn，然后将由图5的解交织器π^-1生成。

然后，软信息yi由图5的fec解码器i解码，产生估计的比特序列其表示层bi的估计版本。

最后，估计的比特流然后由图5的hevc解码器解码，产生yuv块其最终被组合以重建全景视频帧

图5：所提出的roi-uep辅助无线全景通信系统的架构，其中符号在表i中定义。“最小化失真”块将在第iv节中说明。

3、优化的roi-uep编码率

表ii：符号定义，其中1≤i≤n表示块索引。

在该部分中，详细描述了图5的“最小化失真”块，其确定用于编码全景帧u的不同有效块b1，...，bn的编码率γ1，...，γn。“最小化失真”块是为了最小化接收器处预期的重建视频的失真而设计的。更具体地，考虑在发送snr为s时的γ的总编码率。因此，生成的编码率γ1，...，γn满足以下条件。

下面，通过导出特定的fec编码率γ1，...，γn来最小化块b1，...，bn的视频失真。基于表i的符号定义，通过使用表ii中的符号来表征算法。

当采用γ1，...，γn和snr＝的编码率时，根据所考虑的n个错误块引起的峰值信噪比(psnr)劣化d(γ1，...，γn)来量化视频失真。在提出的方案中，目标是导出编码率γ1，...，γn，其最小化预期的降级d(γ1，...，γn)。为了推导出预期的帧失真，对块bi采用以下假设

·d(bi)：表示由块bi损坏引起的失真；

·p(s，|bi|，γi)：使用编码率γi和无线发射功率s的块bi的per；

·w(bi)：块bi的权重。

然后，由块bi的破坏引起的失真可以表示为全景帧的预期失真d(γ1，...，γn)可以表示为：

因此，目标函数(of)可以表示为

图6：接收器处的fec解码过程。

条件限制

eq(10)表示发送n个编码块的总比特率限度。

在第iv-a和iv-b节中，解决了方程式(9)各部分的分量问题，即全景视频失真d(bi)和包错误率(per)p(s，|bi|，γi)。随后，求出了目标方程式的解即最小码率。(9)详细说明为了确定第iv-d节中的编码率。最后，10提出的方案强加的传输开销在第iv-e节中讨论。

a.估计块失真d(·)

使用与以前类似的解决方案估计由块bi的损坏引起的失真d(bi)，其中失真d(bi)，1≤i≤n没有块bi的比特流，可以通过解码来确定，或者解决方案可以在系统中使用。

b.估算perp(·)

图5的fec解码器如图6所示，其中软信息的长度为被输入fec解码器，输出长度为λ的估计比特序列此外，r表示fec编解码器的编码率，并且在snrs处接收信号。基于常数值l，图6中的的per取决于参数s和γ，其可以表示为p(s，l，γ)。

已经表明，非迭代编解码器遇到的突发错误的发生仍然不受数据包长度的影响。为了说明突发错误分布，考虑由非迭代fec解码器生成携带(n1×n2)比特的分组的情形。此外，该(n1×n2)比特段可以被认为是n1个分组，每个分组与n2个比特相关联，或者每个n2个分组都携带n1个比特。有：

用|bi|代替等式11中的n1,n2，等式9中的目标函数perp(s，|bi|，γi)可以表示为：

其中l是图6中向fec解码器输入的数据包中的比特数。关于该计算的进一步信息。

为了确定等式12中的函数p(s，l，γ)。(12)，首先模拟图6的解码过程采用变量s，γ以及常数值l＝λ＝1000.这产生了如图7的“模拟”表面所示的查找表然后，如图所示，通过图7的“拟合”表面，是数学建模为

当s已知时，可以很容易地找到a，b，c和d。根据k(s，γ)和p(s，l，γ)的定义，概率p(s，l，γ)可表示为

然后，等式中的per估计p(s，|bi|，γi)在(12)可以使用函数k(s，γ)表示为

通过把eq.(15)代入eq.(9)，预期的视频失真d(γ1，...，γn)可以最终表示为

c.估算重量w(·)

全景帧u从球体e转换，像素显示在全景显示器上，例如oculusrift。因此，球体e上的像素具有相同的重要性，而u上的像素具有不同的重要性。方法是在球体e上生成m个均匀分布的点，其中每个像素都被表示作为e()。许多点可以均匀地分布在球体e上，如下所示：

·在球体的纬度方向上，使用角度来等间隔平行分割角度为δ的圆，如图8a所示。

将图8的角度∠cob表示为α。对于每一个在圆圈中，半径可以计算为r＝r·sinα。在每个圆上，采用角度为δ的所有等间隔点，这在图8c中示例。注意|ab|属于三角形acb和三角形aob。ab的长度可以计算为或因此，有然后，在所考虑的圆上有点，每个点都可以计算为：

根据上述过程生成如图9所示的均匀分布点。

将球体e上的生成点集合表示为se，将点数表示为se。满足x²+y²+z²＝r²的任意点(x，y，z)∈se可以根据等矩形投影映射到矩形，如部分ii-a中所讨论的。

图9中矩形的相关点在图10所示。

将矩形上的点表示为集合sγ，将点数表示为|sγ|。由于球e上的点均匀分布，因此位于所考虑的子块ui内的点的数量表示ui的重要性，即其权重w(·)。因此，可以计算图5的块ui的权重w(i)：

在等式(18)中的定义，w(i)表示位于子块ui内的点的百分比。相应地，有

d.roi-uep编码率

在公式(9)中定义的目标函数和码率约束，有拉格朗日乘数方程，如eq(19)所示，

其中λ是拉格朗日乘数。相应的偏导数组可以容易地推导出为方程式(20)。

方程组(20)采用经典牛顿下山法求解，具体如算法1所示。

e.性能开销

所有上述讨论的操作都在图5的发射机处执行。下面将简要说明由该优化过程施加的开销，注意在接收机侧没有施加开销。更具体地，所施加的开销包括估计失真d(.)，估计perp(.)，估计权重w(.)和确定编码率。

1)失真的估计d(.)：所讨论的，通过估计失真d(bi)而施加的复杂度与n成线性比例。

2)perp(.)的估计：如部分iv-b中详述的，per估计的复杂性主要由lut(s，γ)估计过程强加，其对图6的fec解码器是特定的。再次，获得lut(s，γ)通过模拟图6的解码过程，该过程在离线设计过程中执行。此外，lut独立于所采用的视频序列，并且取决于信道，调制器和所采用的fec。lut的大小可以表示为(ns×nγ)，其中ns和nγ分别表示变量s和γ的数量。

3)权重w(·)的估计：如第iv-c部分所述，权重估计的复杂性主要归因于生成m个均匀点，这是在离线设计过程中执行的。

4)roi估计：注意，60个观察轨迹点中的每一个定义了相应的估计观看中心，其将用于确定所考虑的全景帧的roi，如图4所示。

这个过程只会带来适度的复杂性。在这里，不要详细说明这个过程，因为它超出了本发明的范围。

5)编码率的确定：在提出的系统中，编码率是使用经典的牛顿下山法确定的，这种方法具有适度的复杂性。或者，可以采用的自适应粒子群优化(apso)技术来找到编码率。

表iii：用于传输所用racevr序列的参数

下面，针对均等错误保护(eep)和基于roi的eep(roi-eep)系统对提出的roi-uep系统进行基准测试。表中详述了模拟中使用的racevr序列的参数iii。具体来说，基于4：2：0yuv格式(4096*2048)像素分辨率的racevr视频剪辑由hevc参考软件编码，其中采用基于低复杂度“帧复制”的错误隐藏来替换损坏的全景帧。为简单起见，在模拟中仅使用idr/cdr帧。然而，算法可以容易地扩展到b帧和p帧。此外，使用标准h.265量化参数(qps)通过hevc方案对视频序列进行编码每秒69.2兆比特(mbps)，每秒30帧。此外，在没有传输错误的情况下，可以通过重建视频来实现42.5db的y-psnr。

除了表iii的全景视频参数外，传输和fec参数详述如下。具体来说，递归系统卷积(rsc)由[031,027,027,027,027,035,035,035,035,033]的八进制生成多项式配置的编解码器采用fec为编解码器，最小编码率为0.1。此外，采用二进制相移键控(bpsk)来发送fec编码的比特流。此外，每个hevc编码的比特流是rsc编码的，bpsk调制的，然后通过nalu在网络抽象层单元(nalu)上发送。为了产生统计上合理的性能曲线，重复模拟100次。其余参数列于表iii中。

a.psnr评估

考虑到第二节中的讨论，知道平面框架上的不同像素具有不同的重要性。相应地，对像素进行加权以评估m位像素场景中max＝2^m的位置。

考虑了帧u的psnr，使用表iv中列出的符号定义。具体地，将像素点u(i，j)的权重表示为i(i，j)，即重要性。此外，假设球体上的视点是(cx，cy，cz)，视角为υ。因此，位于观看范围内的球体上的像素的最长距离可以表示为

回想第ii节，图2b的同一行中的像素位于图2a的相同纬度上，反之亦然。因此，像素u(i，j)的重要性可以被计算为相关纬度周长和宽度w之间的比率，即等式21中的i(i，j)。

采用的加权均方误差(wmse)定义为

而相应的加权峰值信噪比(wpsnr)可以计算为

有在m位像素场景中有max＝2^m

b.离线lut生成

为了生成lut，[-5：1：25]，[0：0.1：9.9]的向量分别用于的变量s，γ^-1，得到ns＝31，nγ＝100此外，采用λ＝1000的分组长度。

c.基准点

1)roi-uep：roi-uep方案的架构详见图5。

2)roi-eep：在roi-uep方案中，roi内的信号受到不同的保护，而在roi-eep布置中，它们具有与γ1＝···＝γn相关的相同保护。

如图12所示：块的权重由第iv-c节中讨论的算法计算，其中全景帧被分成64个子块。

3)eep：使用编码率γ同样保护整个全景视频信号，包括roi。

d.性能

下面，评估wpsnr视频质量，所涉及的块的per和ber。

1)查看轨迹：在模拟中，采用视图轨迹，即所有100轮模拟的头部移动轨迹，以便使用提出的算法观察性能改进。所采用的轨迹如图11所示。注意，60个轨迹点中的每一个都表示60个估计的观察中心，可以使用深度学习工具估计。

2)块的权重：第一全景帧的块权重在图12中示出，其中全景帧被分成(8*8)个子块，生成n＝64个块。

3)wpsnr视频质量：wpsnr与eb/n0结果记录在图13a中，其中roi-eep方案被认为基本上优于eep方案。具体而言，roi-eep和eep方案分别在7db和12db信道snr下实现38.7db的wpsnr。或者，当针对38.7db的wpsnr时，roi-eep方案实现5db的eb/n0增益。这是因为roi-eep方案通过牺牲观看者的外围视图中的区域来为roi信号分配更强的保护。

从图13a可以看出，与roi-eep方案相比，roi-uep方案进一步提高了wpsnr性能，尤其是在较低的eb/n0范围内。具体而言，roi-uep方案在wpsnr为35db时优于roi-eep方案0.8db信道eb/n0。此外，在信道eb/n0为6db时，roi-uep方案优于roi-eep方案的wpsnr为9.4db，其中roi-uep方案和roi-eep方案能够实现35.3db的wpsnr和25.9db。这是因为roi-uep方案动态地找到用于roi信号的非均匀保护的合适的fec编码率集合，其中可以牺牲不太重要的视频信号来改善对更重要的全景像素的保护。

4)ber模块：对于块u54，u7和u14记录的编码率与eb/n0结果的关系分别显示在图13b，图13c和图13d中，观察到较低的ber值。具体地，对于从0db到14db的eb/n0值，块u14的ber低于10^-5，而块u54的ber在7db下降到10^-5。这是因为roi-uep方案为更重要的roi分配了更多的fec保护冗余。注意，在图13b，图13c和图13d中，针对roi-uep方案记录的ber曲线随eb/n0值而波动。这可能归因于在算法1中看到的roi-uep的优化过程可能无法找到全局最优。

5)编码率：对于块u54，u7和u14记录的编码率与eb/n0结果的关系分别显示在图13e，图13f和图13g中。对于roi-eep和eep方案，所有eb/n0范围内的所有块u54，u7和u14的编码率保持不变。在图13g中观察到，与roi-eep和eep方案相比，roi-uep方案分配与较低编码率相关联的更强保护。这是因为对更重要的块u14的更强保护可能能够适度地减小全景视频失真，如图13a所示。

6)全景帧：如图14在所提出的系统比较记录重建帧和使用racevr视频序列的基准标记的信道snr为6db。观看者的roi显示在图14b和图14g中，它们受到更强烈的保护。此外，roi-uep方案在roi中重建了更好的视觉质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。