基于感知质量的可缩放视频编码速率适配的制作方法

文档序号:11142981阅读:来源:国知局

技术特征:

1.一种计算机实现的可缩放视频编码(SVC)方法,包括:

接收原始视频帧;

使用编码参数值将所述帧编码为分层流,所述编码参数值是基于与分配给所述分层流的每一层的感知质量水平目标相关联的编码关键性能指标(KPI)目标来确定的;以及

将所述分层流存储在存储器中。

2.如权利要求1所述的方法,进一步包括

对所述分层流的所述编码进行适配以便响应于网络拥塞通过在降低的KPI目标上丢弃时间增强层或任何剩余时间增强层的编码帧来改变所述感知质量水平。

3.如权利要求1所述的方法,进一步包括:

对所述分层流的所述编码进行适配以便响应于网络拥塞通过改变所述分层结构内的帧时间、空间或质量层水平来改变所述感知质量水平。

4.如权利要求1所述的方法,进一步包括:

针对非分层结构中的帧,通过浮动编码参数并且对所述帧进行迭代编码直到达到预定感知质量水平目标来确定与所述预定感知质量水平目标相对应的所述编码参数值;

从用所述编码参数值编码的数据来重构帧;以及

基于所述重构帧与所述相应的原始帧之间的差异来生成与所述预定感知质量水平目标相关联的所述KPI目标。

5.如权利要求1所述的方法,其中,

所述感知质量水平目标包括估计平均意见评分(eMOS);

所述编码参数是量化参数(QP);

所述KPI目标是峰值信噪比(PSNR);并且

针对与相同的eMOS相关联的所述分层流的任何层中的编码帧采用相同的目标PSNR值。

6.如权利要求1所述的方法,进一步包括确定当前比特率预算;并且

其中,将所述帧编码为所述分层流进一步包括:

响应于所述当前比特率预算满足阈值而利用基于与第一感知质量目标相关联的第一KPI目标所确定的编码参数值来对基层的帧以及分层预测增强层的帧进行编码;并且

响应于所述当前比特率预算未能满足所述阈值而利用基于与第二感知质量目标相关联的第二KPI目标所确定的编码参数值来对所述基层的帧以及所述分层预测增强层的帧进行编码,所述第二感知质量目标比所述第一感知质量目标低。

7.如权利要求6所述的方法,进一步包括:

针对非分层结构中的帧,通过浮动第一编码参数并且对所述帧进行迭代编码直到达到所述第一感知质量目标来确定与所述第一感知质量目标相对应的所述第一编码参数值;

从用所述第一编码参数值编码的数据来重构帧;

基于所述重构帧与所述相应的原始帧之间的差异生成与所述第一感知质量目标相关联的所述第一KPI目标;

针对所述非分层结构中的帧,通过浮动第二编码参数并且对所述帧进行迭代编码直到达到所述第二感知质量目标来确定与所述第二感知质量目标相对应的所述第二编码参数值;

从用所述第二编码参数值编码的数据来重构帧;并且

基于所述重构帧与所述相应的原始帧之间的差异生成与所述第二感知质量目标相关联的所述第二KPI目标。

8.如权利要求6所述的方法,其中:

利用基于第一KPI目标确定的编码参数值对所述基层帧进行编码进一步包括对多个关键帧进行迭代编码,同时浮动所述编码参数值直到达到所述第一KPI目标;并且

利用所述第一编码参数值对所述增强层帧进行编码进一步包括对依赖于所述关键帧的一个或多个帧进行迭代编码,同时浮动所述编码参数值直到达到所述第一KPI目标。

9.如权利要求1所述的方法,进一步包括:

构造包括所述分层流的主要编码视频流;以及

构造与最低感知质量和最低比特率相关联的辅助编码视频流。

10.如权利要求9所述的方法,其中:

将所述帧编码为所述分层流进一步包括:

通过利用基于与最高感知质量目标相关联的第一KPI目标确定的编码参数值对第一基层的帧以及第一分层预测增强层的帧进行编码来将所述帧编码为第一分层流;并且

所述方法进一步包括:

通过利用基于与较低感知质量目标相关联的第二KPI目标确定的编码参数值对第二基层的帧以及第二分层预测增强层的帧进行编码来将所述帧编码为第二分层流;

确定当前比特率预算;以及

从与由所述当前比特率预算准许的最佳感知质量相关联的所述第一或第二分层流来构造所述主要编码视频流。

11.如权利要求9所述的方法,其中:

将所述帧编码为所述分层流进一步包括:

通过利用基于与最高感知质量目标相关联的第一KPI目标确定的编码参数值对第一基层的帧以及第一分层预测增强层的帧进行编码来将所述帧编码为第一分层流;

构造所述辅助流进一步包括重新发送所述第一分层流的关键帧;并且响应于比特率预算减少,所述方法进一步包括:

通过利用基于与较低感知质量目标相关联的第二KPI目标确定的编码参数值对第二基层的帧以及第二分层预测增强层的帧进行编码来将所述帧编码为第二分层流;并且

其中,构造所述辅助流包括发送针对所述第二分层流的关键帧的差错恢复序列。

12.一种可缩放视频编码器,包括:

视频输入端,所述视频输入端用于接收原始视频帧;

分层逻辑,所述分层逻辑用于将编码关键性能指标(KPI)与目标感知视频质量水平进行关联;

编码器核,所述编码器核耦合于所述视频输入端,用于通过使用基于KPI确定的编码参数值将所述帧编码为具有所述目标感知质量的分层流;以及

存储器,所述存储器用于存储所述分层流。

13.如权利要求12所述的可缩放视频编码器,进一步包括:

感知质量估计器,所述感知质量估计器用于通过针对校准结构或针对所述分层流的顶部时间增强层生成估计平均意见评分(eMOS)来估计从所述编码器核输出的流的感知质量。

14.如权利要求12所述的可缩放视频编码器,其中:

所述分层逻辑用于控制所述编码器核以便响应于网络拥塞通过在降低的KPI目标上丢弃时间增强层或任何剩余时间增强层的编码帧来改变所述分层流的视频感知质量水平。

15.一种可扩展视频解码器,包括:

缓冲器,所述缓冲器用于接收具有感知质量导向的时间分层结构的比特流;

解码器核,所述解码器核耦合于所述缓冲器,用于将所述比特流解码成视频帧;以及

分层逻辑电路,所述分层逻辑电路耦合于所述解码器核或缓冲器,用于基于包含在所述比特流中的分层信息确定对丢失的或延迟的视频帧的响应。

16.如权利要求15所述的解码器,进一步包括感知质量估计器,所述感知质量估计器耦合于所述缓冲器或所述解码器核,用于生成所述视频帧的无参考感知质量估计并且用于输出远程编码速率控制信号或编码参数。

17.如权利要求15所述的解码器,其中:

所述缓冲器用于接收:

具有感知质量导向的时间分层结构的主要比特流;以及

具有与低于所述主要比特流的较低感知质量相关联的单层结构的辅助比特流;并且

所述分层逻辑电路用于使用从所述辅助流中解码的复制关键帧替换从所述主要流中丢失的关键帧。

18.如权利要求17所述的解码器,其中,所述分层逻辑电路进一步用于:

通过纠错电路处理所述辅助比特流中的前向纠错分组,并且用于纠正在所述主要流中接收的比特;或者

发起重传丢失的或迟到的视频帧的请求。

19.一种联网通信系统,包括

发射设备,所述发射设备包括:

可缩放视频编码器,所述可缩放视频编码器进一步包括:

视频输入端,所述视频输入端用于接收视频帧;

分层逻辑电路,所述分层逻辑电路用于将编码关键性能指标(KPI)与目标感知视频质量水平进行关联;以及

编码器核,所述编码器核耦合于所述视频输入端,用于通过使用基于所述KPI确定的编码参数值将所述帧编码为具有所述目标感知质量的分层流;以及

远程侧速率适配器,所述远程侧速率适配器耦合于所述分层逻辑电路并且用于响应于接收远程编码速率控制信号导致所述目标感知质量或相关联的KPI的变化;以及

接收设备,所述接收设备包括:

缓冲器,所述缓冲器用于接收所述分层流;

解码器核,所述解码器核耦合于所述缓冲器用于将所述分层流解码成多个视频帧;

感知质量估计器,所述感知质量估计器耦合于所述缓冲器或所述解码器核,用于生成所述视频帧的无参考感知质量估计并且用于将所述远程编码速率控制信号输出至所述远程侧速率适配器。

20.如权利要求19所述的系统,其中,所述发射设备进一步包括认知无线电,所述认知无线电被配置成用于基于所述目标感知质量或所述无参考感知质量估计来动态地修改无线电参数。

21.如权利要求19所述的系统,其中,所述接收设备进一步包括分层逻辑电路,所述分层逻辑电路耦合于所述解码器核或缓冲器,用于基于包含在所述比特流中的分层信息确定对丢失的或延迟的视频帧的响应。

22.一种或多种其上存储有指令的计算机可读介质,所述指令当由计算机处理器执行时使所述处理器执行如权利要求1至11中任一项所述的方法。

23.一种可缩放视频编码器,包括:

接收装置,所述接收装置用于接收原始视频帧;

感知质量映射装置,所述感知质量映射装置用于将编码关键性能指标(KPI)与目标感知视频质量水平进行关联;

编码装置,所述编码装置耦合于所述接收装置,用于通过使用基于KPI确定的编码参数值将所述帧编码为具有所述目标感知质量的分层流;以及存储装置,所述存储装置用于存储所述分层流。

24.一种可扩展视频解码器,包括:

存储装置,所述存储装置用于接收具有感知质量导向的时间分层结构的比特流;

解码装置,所述解码装置耦合于所述存储装置,用于将所述比特流解码成多个视频帧;以及

控制装置,所述控制装置耦合于所述解码器核或缓冲器,用于基于包含在所述比特流中的分层信息确定对丢失的或延迟的视频帧的响应。

25.一种联网通信系统,包括

发射设备,所述发射设备包括:

如权利要求23所述的可缩放视频编码器;以及

接收设备,所述接收设备包括

如权利要求24所述的可缩放视频解码器。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1