本发明涉及图像与视频处理领域，更具体而言，涉及在高效视频编码(hevc)中针对360度视频的快速样点自适应补偿(sao)。
背景技术：
：：2010年4月，两大国际视频编码标准组织vceg和mpeg成立视频压缩联合小组jct-vc(jointcollaborativeteamonvideocoding)，一同开发高效视频编码hevc(highefficiencyvideocoding)标准，其也称为h.265。hevc标准主要目标是与上一代标准h.264/avc实现大幅度的编码效率的提高，尤其是针对高分辨率视频序列。其目标是在相同视频质量(psnr)下码率降为h.264标准的50％。就目前阶段，hevc依然沿用h.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。hevc将在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。目前，jct-vc组织的讨论中已经提出的许多编码的新特性，有可能会加入hevc标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。hevc标准[4]的第一版已经在2013年的一月份完成。并于2013年4月、2014年10月和2015年4月相继发布的3个版本，这些版本能够很容易地从网络上获得，并且本申请将上述hevc标准的三个版本并入本说明书中作为本发明的
背景技术：
：。在hevc中，由于仍然使用基于块的混合编码框架，因此仍然需要处理方块效应、振铃效应等等。为了降低此类失真对视频质量的影响，hevc采用了环路滤波技术(in-loopfiltering)，其包括去方块滤波(deblockingfiltering)和像素样本自适应补偿(dampleadaptiveoffset，sao)。sao是hevc的许多新技术之一[5]。如图1所示，sao位于去块滤波器之后。sao对每个编码树单元(ctu)的每个像素进行分类和统计，计算补偿值，选择最佳sao类型，并且将sao类型和补偿值写入码流中。然后，将偏移值添加到重构帧的每个像素，以减少重建帧与原始帧之间的失真。sao可以显着提高主客观视频质量[5]。sao主要由三部分组成：统计收集，sao类型决策和sao过滤，如图2所示。统计收集：sao主要有两种需要统计收集过程的偏移类型：边界补偿(eo)和边带补偿(bo)。对于eo类型，有四种eo子类型(eo0°，eo90°，eo135°和eo45°)。根据分类规则对每个eo子类型进行分类，并计算每个类别中的像素数和失真总和。对于bo类型，像素强度被等分为32个边带，并且根据分类规则对32个边带进行分类，并且计算每个类别中的像素数和失真总和。eo和bo的分类规则如图2所示。sao类型决策：可以选择四种sao类型：eo，bo，off和merge，其中，off表示不应用sao，其在视频码流中通过一个开关参数来实现，merge表示对于一个块，其sao参数直接使用上方或左侧的块的sao，这时只需要标识采用了哪个相邻块的sao参数即可。根据统计收集的信息，sao类型决策通过快速率失真优化(rdo)过程[6]计算每个sao类型的最优补偿值，并选择最优sao类型。sao滤波：根据获得的最佳sao类型和偏移值对ctu的每个像素进行分类和补偿。图2显示sao过程由三部分组成：统计收集，sao类型决策和sao过滤。[16]研究了各部分的计算复杂度。结果表明，统计收集约占sao总处理时间的82％，sao类型决策和sao滤波分别为11％和7％。复杂的统计收集过程是制约sao处理速度的主要因素。在虚拟现实系统中，多个摄像头用于捕捉360度场景，随后拍摄的场景被拼接成球形格式的360度视频。用户可以通过头戴式设备自由观看360度场景中的任何场景显示(hmd)并获得身临其境的体验[1]。360度视频是一种新的视频编码内容。虽然360度视频是在hevc标准提出之后才流行的并且360度视频是球形视频，但是[2]已经提出了hevc标准下的360度视频编码框架。在典型的360度视频压缩框架中，球形视频需要在编码前转换为平面视频，平面视频需要在编码后转换为球形视频[3]。转换方式称为投影。已经提出了多种投影格式，例如，等矩形投影(erp)，调整的等面积投影(aep)，立方体投影(cmp)，等角立方图投影(eac)，截断正方形金字塔投影(tsp)，紧凑的八面体投影(cohp)，紧凑二十面体投影(cisp)等。当选择erp作为投影格式时，360度视频的编码过程包括：将原始视频投影为erp投影格式，并对erp投影视频执行编解码，将erp投影格式的重建视频重新反投影为重建的视频。投影过程对于360度视频编码是必不可少的。作为中间格式的投影格式影响360度视频的编码性能。实际上，目前尚未确定哪种投影格式具有最佳编码性能。但是，erp被广泛使用，是360度视频的默认格式。因此，本文主要研究erp投影格式的特点。与平面视频相比，360度视频具有不同的特征，现有的sao快速算法的最佳参数和过程不适用于360度视频。在本申请中，基于360度视频的特点，提出了一种针对360度视频的快速sao算法。本申请是是对现有hevc协议的改进，为了使得本领域技术人员能够充分理解本发明，以下附上了本申请中提及的多种概念的引用文献，这些文献被整体上并入本文并作为本申请说明书的一部分。1.b.luo，f.xu，c.richardtandj.yong，″parallax360：stereoscopic360°scenerepresentationforhead-motionparallax，″inieeetransactionsonvisualizationandcomputergraphics，vol.24，no.4，pp.1545-1553，april2018.2.y.y，e.alshina，j.boyce，“algorithmdescriptionsofprojectionformatconversionandvideoqualitymetricsin360lib”，jointvideoexplorationteamofitu-tsg16wp3andiso/iecjtc1/sc29/wg11，jvet-h1004，7thmeeting，july2017.3.w.zou，f.yangands.wan，″perceptualvideoqualitymetricforcompressionartefacts：fromtwo-dimensionaltoomnidirectional，″inietinageprocessing，vol.12，no.3，pp.374-381，32018.4.sullivan，garyj.，etal.″overviewofthehighefficiencyvideocoding(hevc)standard.″circuitsandsystemsforvideotechnology，ieeetransactionson22.12(2012)：1649-1668.5.c.-m.fu，e.alshina，a.alshin，y.-w.huang，c.-y.chen，c.-y.tsai，c.-w.hsu，s.-m.lei，j.-h.park，andw.-j.han，”sampleadaptiveoffsetinthehevcstandard，”circuitsandsystemsforvideotechnology，ieeetransactionson，vol.22，no.12，pp.1755-1764，2012.6.zhangm，baih，linc，etal.texturecharacteristicsbasedfastcodingunitpartitioninhevcintracoding，datacompressionconference.ieee，2015：477-477.7.z.zhengyong，c.zhiyunandp.peng，″afastsaoalgorithmbasedoncodingunitpartitionforhevc，″20156thieeeinternationalconferenceonsoftwareengineeringandservicescience(icsess)，beijing，2015，pp.392-395.8.j.joo，y.choiandk.lee，″fastsampleadaptiveoffsetencodingalgorithmforhevcbasedonintrapredictionmode，″2013ieeethirdinternationalconferenceonconsumerelectronicsberlin(icce-berlin)，berlin，2013，pp.50-53.9.t.y.kuo，h.chiuandf.amirul，″fastsampleadaptiveoffsetencodingforhevc，″2016ieeeinternationalconferenceonconsumerelectronics-taiwan(icce-tw)，nantou，2016，pp.1-2.10.s.yin，x.zhangandz.gao，″efficientsaocodingalgorithmforx265encoder，″2015visualcommunicationsandimageprocessing(vcip)，singapore，2015，pp.1-4.11.s.e.gendy，a.shalabyandm.s.sayed，″fastparameterestimationalgorithmforsampleadaptiveoffsetinhevcencoder，″2015visualcommunicationsandimageprocessing(vcip)，singapore，2015，pp.1-4.12.k.yang，s.wan，y.gong，y.yangandy.feng，″fastsampleadaptiveoffsetforh.265/hevcbasedontemporaldependency，″2016asia-pacificsignalandinformationprocessingassociationannualsummitandconference(apsipa)，jeju，2016，pp.1-4.13.sungjeikim，jinwoojeong，jeong-meemoonandyong-hwankim，″fastsampleadaptiveoffsetparameterestimationalgorithmbasedonearlyterminationforhevcencoder，″2017ieeeinternationalconferenceonconsumerelectronics(icce)，lasvegas，nv，2017，pp.241-242.14.w.zhangandc.guo，″designandimplementationofparallelalgorithmsforsampleadaptiveoffsetinhevcbasedongpu，″2016sixthinternationalconferenceoninformationscienceandtechnology(icist)，dalian，2016，pp.181-187.15.y.wang，x.guo，y.lu，x.fanandd.zhao，″gpu-basedoptimizationforsampleadaptiveoffsetinhevc，″2016ieeeinternationalconferenceonimageprocessing(icip)，phoenix，az，2016，pp.829-833.16.y.choiandj.joo，″explorationofpracticalhevc/h.265sampleadaptiveoffsetencodingpolicies，″inieeesignalprocessingletters，vol.22，no.4，pp.465-468，april2015.17.y.li，j.xuandz.chen，″sphericaldomainrate-distortionoptimizationfor360-degreevideocoding，″2017ieeeinternationalconferenceonmultimediaandexpo(icme)，hongkong，2017，pp.709-714.18.y.sunandl.yu，″codingoptimizationbasedonweighted-to-spherically-uniformqualitymetricfor360video，″2017ieeevisualcommunicationsandimageprocessing(vcip)，st.petersburg，fl，2017，pp.1-4.19.jillboyce，elenaalshina，adeelabbas，“jvetcommontestconditionsandevaluationproceduresfor360°video”，jointvideoexplorationteam(jvet)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg11，jvet-h1030，8thmeeting，oct.2017.20.x.xiu，y.he，y.yeandb.vishwanath，″anevaluationframeworkfor360-degteevideocompression，″2017ieeevisualcommunicationsandimageprocessing(vcip)，st.petersburg，fl，2017，pp.1-4.21.h.bai，c.zhuandy.zhao，″optimizedmultipledescriptionlatticevectorquantizationforwaveletimagecoding，″inieeetransactionsoncircuitsandsystemsforvideotechnology，vol.17，no.7，pp.912-917，july2007.22.c.yeh，z.zhang，m.chenandc.lin，″hevcintraframecodingbasedonconvolutionalneuralnetwork，″inieeeaccess，vol.6，pp.50087-50095，2018.23.l.chang，z.liu，l.wangandx.li，″enhancethehevcfastintracumodedecisionbasedonconvolutionalneuralnetworkbycornerpowerestimation，″2018datacompressionconference，snowbird，ut，2018，pp.400-400。24.t.katayama，k.kuroda，w.shi，t.songandt.shimamoto，″low-complexityintracodingalgorithmbasedonconvolutionalneuralnetworkforhevc，″2018internationalconferenceoninformationandcomputertechnologies(icict)，dekalb，il，2018，pp.115-118.25.g.bjontegaard，“calculationofaveragepsnrdifferencesbetweenrd-curves，”itu-tvceg-m33，2001.技术实现要素：本发明针对360度视频的特性，提出了一种用于360度视频的快速sao方法。所提出的算法改进了sao过程，在保留整个sao过程的基础上，增加了简化的sao过程。经过基于阈值的sao执行决策后，可以使用简化的sao流程，这将大大减少统计数据收集的时间，从而降低sao的计算复杂度。根据本发明的一个方面，提出了一种在高效视频编码(hevc)中针对360度视频的样点自适应补偿(sao)的方法，该方法包括：对所述360度视频执行投影，以获得投影视频；对所述erp投影视频中的当前帧的编码树单元(ctu)执行帧内预测或帧间预测，以确定最佳rd-cost；将所述ctu的rd-cost与阈值进行比较以判断是否执行sao，其中，所述阈值是至少部分地基于针对所述投影视频的量化参数和投影权重来确定的，并且其中，所述投影权重是至少部分地基于所述投影视频的高度中的ctu数量以及所述ctu在所述投影视频的当前帧中的位置来确定的。根据本发明的进一步的方面，所述方法进一步包括：如果判定不执行sao，则至少不对所述ctu执行边界补偿(eo)和边带补偿(bo)；如果判定执行sao，则针对对所述ctu执行off或merge操作之一。根据本发明的进一步的方面，其中，所述阈值至少部分地基于以下至少一项：所述投影权重的以2为底的对数，或所述量化参数的e的幂，或其组合。根据本发明的进一步的方面，其中，仅针对所述投影视频中的上方1/4和下方1/4的高度，将所述ctu的rd-cost与阈值进行比较以判断是否执行sao。根据另一方面，一种高效视频编码(hevc)硬件编码器，其适于针对360度视频的样点自适应补偿(sao)，所述编码器被配置为执行上述方法。根据另一方面，本发明提出了一种对使用如所述的方法或如所述的编码器进行编码的360视频流进行解码的解码器。根据另一方面，本发明提出了一种用于执行上述方法的计算机程序产品。根据另一方面，本发明提出了一种可用于视频编解码的设备，该设备包括：一个或多个处理器；存储器，其中存储有计算机代码，所述计算机代码当由所述处理器执行时，实现上述方法。根据另一方面，所述投影为等矩形投影(erp)。附图说明图1示出了hevc的编码器框图的一个实施例。图2示出hevc中的sao的简要框图。图3示出了erp投影的权重分布。图4示出了根据本公开内容的各个方面的方法流程图。图5示出了根据本公开内容的各个方面的用于视频编解码的设备的示意图。具体实施方式现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。如在本申请中所使用的，术语“组件”、“模块”、“系统”等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体(executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。本发明针对360度视频的特性，提出了一种用于360度视频的快速sao方法。所提出的算法改进了sao过程，在保留整个sao过程的基础上，增加了简化的sao过程。经过基于阈值的sao执行决策后，可以选择执行hevc规定的常规sao流程或者选择不执行sao或仅执行merge处理，从而实现了简化的sao流程，这将大大减少统计数据收集的时间，从而降低sao的计算复杂度。i.算法概述(1)360度视频中的权重(weight)360度视频是一种球形视频，是360度视频与传统视频的最大区别。为了在hevc标准下编码360度视频，必须将360度视频投影到平面视频中。虽然投影视频和传统视频都是平面视频，但投影视频具有球形视频的失真和拉伸。因此，传统视频的客观质量评价指标psnr不适合投影视频。ws-psnr被提出作为投影视频的客观质量评估指标[18]。ws-psnr为投影视频设计权重，投影视频在失真和拉伸区域的权重较小，反之亦然，然后通过加权平均法计算ws-psnr。ws-psnr被联合视频探索团队(jvet)认可为360度视频质量的客观质量评估指标。因此，权重是投影视频和传统视频之间的最大差异。其中(i，j)表示像素位置，height表示视频的高度。图3显示了erp权重分布。颜色越深，越接近0。颜色越浅，越接近1。region0定义为两极附近区域，权重小；region1定义为赤道附近的区域，权重大。如图3所示，region0包括视频的上1/4区域和下1/4区域；region1代表视频的中间1/2区域。(2)rd-cost在hevc中，通过速率失真优化(rdo)[17]递归地计算hevc标准中的帧内预测和帧间预测的最佳预测模式和最佳cu划分。j＝d+λ·r(2)其中d表示当前预测模式中的失真，r表示在当前预测模式中对所有信息进行编码所需的比特数，λ是拉格朗日因子，并且j表示拉格朗日代价(rd-cost)。rd-cost越小，预测模式的编码效率越高，并且rd-cost越大，预测模式的编码效率越低。(3)所提出的算法在本发明的一个实施例中，设置阈值(threshold)以预先确定是否执行sao过程。当rd-cost＞threshold时执行sao过程，否则，不执行sao过程。通过基于阈值来跳过sao处理，能够大大减少编码计算量。在本发明的一个实施例中，用于确定是否执行sao过程的阈值是至少部分地基于用于360度视频的量化参数和erp投影权重来确定的。在本发明的一个实施例中，量化系数对于是否执行sao的判定具有影响。根据实验统计，随着量化系数的增加，ctu不应用sao的概率增加；随着量化系数的增加，同一ctu的rd-cost也增加。因此，在确定阈值时考虑量化系数，可以所设定的阈值对是否执行sao的判定更为准确。在一个示例而非限制性的实施例中，可以考虑量化参数的e的幂。在本发明的一个实施例中，投影视频的权重对于是否执行sao的判定具有影响。由于在本文中使用erp投影，因此所述权重也被称为erp投影权重。在研究中，发明人注意到对于erp投影的权重，region0中ctu的权重接近0，因此region0中ctu的失真对最终视频质量影响不大。因此，在对于是否执行sao的判定中考虑投影视频的权重符合了erp投影的投影视频的特点，使得该判定不会造成编码视频质量的下降。在本发明的一个示例而非限制性的实施例中，发明人提出如下权重设置方式：其中(x，y)表示ctu的位置，m是视频高度中的ctu数量，weight(x，y)表示ctu的所有像素的平均权重。因此，不同位置的权重是不同的，在region1中ctu的失真对视频质量的影响要远小于region0中ctu的失真对视频质量的影响。因此，对region1中的ctu进行详细决策并对region0中的ctu进行粗略决策是一种适应投影视频特性的方法。在本发明的一个实施例中，发明人根据不同纬度(对应于y值)的权重修改阈值。发明人使用来表示不同纬度的比例因子。纬度越大，因子越大。在一个示例而非限制性的实施例中，给出了如以下表1所示的阈值设置。表1.erp投影视频在不同qp下改进的阈值其中，α和1-α分别表示固定阈值与可变阈值的百分比，qp为量化参数。在本发明的一个实施例中，发明人考虑量化参数的e的幂。例如，在另一个示例而非限制性的实施例中，阈值可以如下确定：在本发明的一个实施例中，如上所述地，发明人注意到在region0中ctu的失真对视频质量的影响要远小于region1中ctu的失真对视频质量的影响。因此为了在减小由sao引起的计算量的同时确保视频质量，可以仅针对erp投影视频中的region0(即当前帧上方1/4和下方1/4的高度)来进行上述操作，而对region1(当前帧中间1/2高度的区域)仍然进行hevc协议规定的sao处理。在本发明的一个实施例中，由于merge操作的计算量较小，因此在进行上述操作时，可以考虑在满足阈值条件(例如小于阈值)时，执行merge操作或者不执行sao操作(off操作)。图4示出了根据本公开内容的各个方面的方法流程图。该方法用于在高效视频编码(hevc)中针对360度视频的样点自适应补偿(sao)。根据一个实施例，该方法包括：对所述360度视频执行等矩形投影(erp)，以获得erp投影视频。本领域技术人员容易理解，可以执行除了erp之外的其他投影方法，具体的投影方法并不是本发明的关注点。根据另一个实施例，该方法还包括：对所述erp投影视频中的当前帧的编码树单元(ctu)执行帧内预测或帧间预测，以确定最佳rd-cost。根据另一个实施例，该方法还包括：将ctu的rd-cost与阈值进行比较以判断是否执行sao，其中，所述阈值是至少部分地基于针对erp投影视频的量化参数和erp投影权重来确定的，并且其中，所述erp投影权重是至少部分地基于所述erp投影视频的高度中的ctu数量以及所述ctu在所述erp投影视频的当前帧中的位置来确定的。根据另一个实施例，如果判定不执行sao，则至少不对所述ctu执行边界补偿(eo)和边带补偿(bo)；而如果判定执行sao，则针对对所述ctu执行off或merge操作之一。根据另一个实施例，所述阈值至少部分地基于以下至少一项：所述erp投影权重的以2为底的对数，或所述量化参数的e的幂，或其组合。根据另一个实施例，仅针对erp投影视频中的上方1/4和下方1/4的高度，将所述ctu的rd-cost与阈值进行比较以判断是否执行sao。图5示出了根据本公开内容的各个方面的用于视频编解码的设备的示意图。如图5所示，该设备可以包括一个或多个处理器和存储器，所述存储器中存储有计算机代码，所述计算机代码当由所述处理器执行时，实现如本文所述的在高效视频编码(hevc)中针对360度视频的样点自适应补偿(sao)的方法。根据另一方面，本公开内容还可以涉及用于实现上述编码方法的编码器。该编码器可以是专用硬件。根据另一方面，本公开内容还可以涉及对应的对编码后的360视频流进行解码的解码器。根据另一方面，本公开内容还可以涉及执行本文所述方法的计算机程序产品。当用硬件实现时，视频编码器可以用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件或者设计为执行本文所述功能的其任意组合，来实现或执行。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器的组合、一个或多个微处理器与dsp内核的组合或者任何其它此种结构。另外，至少一个处理器可以包括可操作以执行上述的一个或多个步骤和/或操作的一个或多个模块。当用asic、fpga等硬件电路来实现视频编码器时，其可以包括被配置为执行各种功能的各种电路块。本领域技术人员可以根据施加在整个系统上的各种约束条件来以各种方式设计和实现这些电路，来实现本发明所公开的各种功能。尽管前述公开文件论述了示例性方案和/或实施例，但应注意，在不背离由权利要求书定义的描述的方案和/或实施例的范围的情况下，可以在此做出许多变化和修改。而且，尽管以单数形式描述或要求的所述方案和/或实施例的要素，但也可以设想复数的情况，除非明确表示了限于单数。另外，任意方案和/或实施例的全部或部分都可以与任意其它方案和/或实施例的全部或部分结合使用，除非表明了有所不同。当前第1页12当前第1页12