使用编码图片缓存器的视频编码的制作方法

本技术涉及视频编码和编码图片缓存器在视频编码中的使用。

背景技术：

1、假设参考解码器及其用于检查比特流和解码器一致性的用途是每个视频编码标准(例如，vvc)的基本组成部分。

2、为了进行这种一致性检查，规定了hrd缓存器模型，其包括假设流调度器(hss)、编码图片缓存器(cpb)、解码过程(其被认为是瞬时的)、解码图片缓存器(dbp)和输出裁剪过程，如图17所示。

3、该模型定义了比特流被馈送到编码图片缓存器的定时和比特率、其解码单元(在低延迟操作模式下为接入单元或vcl nal单元)从cpb中移除并立即被解码的时间、以及图片从dpb中输出的输出时间。

4、只有通过这样做，才有可能定义解码器所需的cpb大小，以避免缓存器上溢(发送给解码器的数据多于可以保留在cpb中的数据)或下溢(较少的数据以低于所需的比特率发送给解码器)，并且来自au的必要数据未在正确的解码时间出现在解码器处。

5、最新的视频编码标准规定了不同的参数来描述比特流和hrd要求以及缓存器模型。

6、例如，在hevc中，hrd_parameters是针对子层来定义的，并且描述了bitrate(i)和cpbsize(i)的一个或多个元组，这些元组指示如果hss以bitrate(i)的比特率馈送大小为cpbsize(i)的cpb，将不会发生上溢或下溢。换言之，当遵守这些比特率和cpb大小元组时，可以保证连续的解码。

7、结合hrd_parameter语法元素，附加定时信息存在于比特流中，该附加定时信息规定每个图片自cpb的移除时间，即，该信息指示属于每个图片的vcl nal单元向解码发送的时间。

8、相关信息存在于具有语法元素或变量initialcpbremovaldelay(i)、initialcpbremovaldelayoffset(i)和aucpbremovaldelay的缓存周期sei消息中以及存在于具有aucpbremovaldelay的图片定时sei消息中。

9、然而，取决于应用和传输信道，将会需要有关针对许多比特率的hrd参数的信息，以便能够根据比特率进行微调。然而，这将需要大量hrd参数的消耗比特的传输用于bitrate(i)的密集选择。针对以合理的开销发送hrd信息的大量比特率来说，如果手边有允许正确的hrd参数化的概念，即不导致cpb下溢或上溢的概念，这将是有利的。

技术实现思路

1、因此，本发明的目的是提供一种使用编码图片缓存操作的视频编解码器，该编码图片缓存操作在用于hrd信号化的比特消耗的一方面与针对许多比特率场景确定hrd参数的有效方式之间产生更好的折衷。

2、实施例可以具有用于视频解码的装置，所述装置具有编码图片缓存器和解码图片缓存器(dpb)，被配置为接收数据流，该数据流具有按照编码顺序编码到其中的视频的图片作为接入单元序列，使用所选择的比特率将所述接入单元序列顺序地馈送到cpb中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直至达到所述虚拟可用时间，所述时间帧移除光栅针对按照所述编码顺序的第一接入单元提前所选择的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前所选择的时间移除延迟与所选择的时间偏移之和；使用时间光栅[removaltime]逐au地从cpb中移除au，从数据流中提取与第一操作点相关的第一cpb参数和与第二操作点相关的第二cpb参数，所述第一cpb参数和第二cpb参数中的每个cpb参数指示cpb大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一cpb参数至少在预定比特率方面不同于所述第二cpb参数，通过以所选择的比特率在由所述第一cpb参数指示的预定时间偏移与由所述第二cpb参数指示的预定时间偏移之间进行插值来确定所选择的时间偏移，以及通过以所选择的比特率在由所述第一cpb参数指示的预定时间移除延迟与由所述第二cpb参数指示的预定时间移除延迟之间进行插值来确定所选择的时间移除延迟，使用根据存储在dpb中的被参考的参考图片的图片间预测对从cpb移除的当前au进行解码，以获得解码图片，以及将所述解码图片插入到dpb中，向存储在dpb中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，从当前au中读取dpb模式信息，如果所述dpb模式信息指示第一模式，则根据fifo策略，从dpb中移除被分类为短期图片的一个或多个参考图片，如果dpb模式信息指示第二模式，则读取所述当前au中的具有至少一个命令的存储器管理控制信息，并执行所述至少一个命令以改变指派给存储在dpb中的参考图片中的至少一个的分类，以及使用dpb中的参考图片的分类，以管理从dpb中的参考图片移除。

3、另一实施例可以具有用于将视频编码为数据流的装置，其中，应通过将数据流馈送到包括编码图片缓存器(cpb)的解码器来解码数据流，所述装置被配置为：将按照编码顺序进行编码的视频的图片编码到数据流作为接入单元au序列，确定与第一操作点相关的第一cpb参数和与第二操作点相关的第二cpb参数，所述第一cpb参数和所述第二cpb参数中的每个cpb参数指示cpb大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一cpb参数至少在预定比特率方面不同于所述第二cpb参数，以及执行所述确定，使得以多个所选择的比特率中的每个所选择的比特率在所述第一cpb参数的预定时间偏移与所述第二cpb参数的预定时间偏移之间进行插值产生插值后的时间偏移和插值后的时间移除延迟，从而通过以下方式经由cpb将数据流馈送到解码器：使用相应的所选择的比特率将所述au序列顺序地馈送到cpb中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直到达到所述虚拟可用时间，所述虚拟可用时间针对按照所述编码顺序的第一接入单元提前插值后的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前插值后的时间移除延迟与插值后的时间偏移之和；使用时间光栅逐au地从cpb中移除au，不导致任何下溢和任何上溢，以及将cpb参数编码到数据流中，其中，所述装置被配置为：在对所述au进行编码时，使用根据存储在dpb中的被参考的参考图片的图片间预测，将当前图片编码到当前au中，以及将dpb中的当前图片的解码版本插入到dpb中，向存储在dpb中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，将dpb模式信息写入当前au，如果dpb模式信息指示第一模式，则根据fifo策略从dpb中移除被分类为短期图片的一个或多个参考图片，如果dpb模式信息指示第二模式，则将具有至少一个命令的存储器管理控制信息写入当前au，所述命令指示改变指派给存储在dpb中的参考图片中的至少一个的分类，其中，dpb中的参考图片的分类用于管理从dpb中的参考图片移除。

4、根据另一实施例，一种通过使用编码图片缓存器和解码图片缓存器(dpb)进行视频解码的方法可以具有以下步骤：接收数据流，该数据流具有按照编码顺序编码到其中的视频的图片作为接入单元序列，使用所选择的比特率将所述接入单元序列顺序地馈送到cpb中，其中暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直至达到所述虚拟可用时间，所述时间帧移除光栅针对按照所述编码顺序的第一接入单元提前所选择的时间移除延迟，而针对按照所述编码顺序的后续接入单元提前所选择的时间移除延迟与所选择的时间偏移之和；使用时间光栅[removaltime]逐au地从cpb中移除au，从数据流中提取与第一操作点相关的第一cpb参数和与第二操作点相关的第二cpb参数，所述第一cpb参数和第二cpb参数中的每个cpb参数指示cpb大小、预定时间偏移、预定时间移除延迟和预定比特率，其中，所述第一cpb参数至少在预定比特率方面不同于所述第二cpb参数，通过以所选择的比特率在由所述第一cpb参数指示的预定时间偏移与由所述第二cpb参数指示的预定时间偏移之间进行插值来确定所选择的时间偏移，以及通过以所选择的比特率在由所述第一cpb参数指示的预定时间移除延迟与由所述第二cpb参数指示的预定时间移除延迟之间进行插值来确定所选择的时间移除延迟，使用根据存储在dpb中的被参考的参考图片的图片间预测对从cpb移除的当前au进行解码，以获得解码图片，以及将所述解码图片插入到dpb中，向存储在dpb中的每个参考图片指派作为短期参考图片、长期参考图片、以及不用于参考的图片之一的分类，从当前au中读取dpb模式信息，如果所述dpb模式信息指示第一模式，则根据fifo策略，从dpb中移除被分类为短期图片的一个或多个参考图片，如果dpb模式信息指示第二模式，则读取所述当前au中的具有至少一个命令的存储器管理控制信息，并执行所述至少一个命令以改变指派给存储在dpb中的参考图片中的至少一个的分类，以及使用dpb中的参考图片的分类，以管理从dpb中的参考图片移除。

5、另一实施例可以具有视频被编码到其中并且具有第一cpb参数和第二cpb参数的数据流，使得上述发明方法不导致cpb上溢和下溢。

6、本发明的基本思想是，可以使用以所选择的比特率显式地用信号发送的cpb(或hrd)参数之间的插值来实现cpb参数传输容量与cpb参数化有效性之间的良好折衷，并且可以具体地以有效方式进行，即，以导致安全和正确的cpb操作而没有下溢和上溢的方式和以下方式，根据该方式，例如由显式地用信号发送的cpb参数指示的cpb大小不必被提供有安全偏移来考虑插值相关的意外情况，即使显式地用信号发送的cpb参数除了指示针对显式地用信号发送的操作点的cpb大小和比特率之外还指示针对这些操作点的预定时间偏移和预定时间移除延迟。具体地，根据该思想，在解码侧，针对所选择的比特率的时间偏移和时间移除延迟二者可以根据用信号发送的cpb参数通过以所选择的比特率在该偏移与延迟的对应值之间进行插值来确定。然后，这种插值后的/所选择的时间偏移可以用于使用所选择的比特率(即，通过暂停对尚未达到根据时间帧移除光栅的虚拟可用时间的接入单元的馈送，直到达到所述虚拟可用时间，所述虚拟可用时间针对按照编码顺序的第一接入单元提前所选择的/插值后的时间移除延迟，而针对按照编码顺序的后续接入单元提前所选择的/插值后的时间移除延迟与所选择的时间偏移之和)，将视频数据流的接入单元序列顺序地馈送到编码图片缓存器中。使用时间光栅，然后可以从编码图片缓存器中移除接入单元。尽管在解码侧仅必须执行插值来确定所选择的时间偏移和所选择的时间移除延迟，但编码器根据操作点的cpb参数，以考虑插值的方式(即，以使得针对时间偏移和时间移除延迟的相应的所选择的/插值后的值不导致下溢或上溢的方式)，对显式用信号发送的与显式准备的视频数据流的操作点相关的cpb参数进行设置。