用于估计压缩的动态视频质量的技术的制作方法_2

文档序号:9220101阅读:来源:国知局
接收意见分数,收 集部件1412都将所述意见分数存储为原始训练数据132。如在图4中描绘的,意见分数可 以被组织在原始训练数据132内的每个训练集合的动态视频,并且可以与还可以被包括在 原始训练数据132中的训练集合的动态视频中的每一个的时间复杂度的指示相关。
[0032] 非线性拟合部件1413分析原始训练数据132的意见分数,以得到训练集合的动态 视频的每一个的意见分数与时间复杂度的数学关系的第一和第二数学模型。在这样得到的 第一和第二数学模型中,非线性拟合部件1413可以得到第一和第二非线性系数,以表示第 一和第二数学模型,并且将它们存储为拟合训练数据133。如在图4中描绘的,拟合训练数 据133可以包括用于训练集合的动态视频的每一个的时间复杂度的指示。
[0033] 对于与训练集合的动态视频的每一个相关联的每一个不同的时间复杂度,线性拟 合部件1414可以分别采用拟合训练数据133的第一和第二非线性系数来得到系数的第一 和第二集合。换句话说,针对每一个时间复杂度来生成单独的系数的第一和第二集合。线 性拟合部件1414然后可以生成由与训练集合的动态视频的时间复杂度中的相对应的时间 复杂度配对的系数的第一集合中的全部构成的第一矢量,并且可以将第一矢量存储为设备 矢量数据134。相对应地,线性拟合部件1414还可以生成由与训练集合的动态视频的时间 复杂度中的相对应的时间复杂度配对的系数的第二集合中的全部构成的第二矢量,并且可 以将第二矢量存储为设备矢量数据134的另一部分。正如将更详细解释的,在稍后的传输 阶段期间,这些时间复杂度与在第一和第二矢量中的系数的第一和第二集合中的它们的相 对应的系数的配对能够基于另一压缩动态视频的帧的时间复杂度来选择系数的第一和第 二集合中的特定的一个。
[0034] 在一些实施例中,在得到拟合训练数据133的第一和第二非线性系数中所采用的 技术可以表示由国际电信联盟远程通信标准化组织(ITU-T)公布的G. 1070意见模型极大 地修改的版本。与G. 1070标准不同,考虑观看设备的观看特征。在这样的实施例中,第一 和第二非线性系数^和v 5使用下面的方程:
[0035]
[0036] 这个方程可以在最小二乘拟合过程中迭代地与MOS和由视频数据131表示的训练 集合的动态视频的每一个的位速率一起使用,以得到整个训练集合的每一个所述非线性系 数? 4和v5中的单独的一个。
[0037] 系数的第一集合可以由一对系数a4*b4构成,并且系数的第二集合可以由另一对 系数^和b5构成。用于训练集合的动态视频的每一个的系数a4和b4的第一集合可以使用 下面的方程从该动态视频的时间复杂度TC以及第一非线性系数v4得到:
[0038] v4=a4xTC+b4
[0039] 相对应地,用于训练集合的动态视频的每一个的系数&5和135的第二集合可以使用 下面的方程从该动态视频的时间复杂度TC以及第二非线性系数v5得到:
[0040] v5=a5xTC+b5
[0041] 这两个方程可以迭代地用于另一最小二乘拟合过程中,以得到用于与训练集合的 动态视频中的一个相对应的每一个时间复杂度TC的系数的第一和第二集合。因此,在这样 的实施例中,设备矢量数据134的第一矢量由系数&4和b4的第一集合的多个相关的值和时 间复杂度TC构成。相对应地,设备矢量数据134的第二矢量由用于系数&4和b4的第二集 合的多个相关的值和时间复杂度TC构成。
[0042] 观看设备70可以是各种类型的设备中的任一种,包括但不限于计算设备的形式 或在其功能中更专用于动态视频的观看的设备,例如,电视机。当动态视频由观看设备70 视觉地呈现时,观看设备70具有可以一个或多个观看特征,所述一个或多个观看特征可以 与由观看训练视频数据131的动态视频的人对训练视频数据131的动态视频的图像质量的 感知有密切关系。特别是,研宄揭露了显示器的尺寸和分辨率,其中动态视频在该显示器上 视觉地呈现以用于观看,并且人眼离显示器的观看距离与观看设备的很多其它特征相比, 倾向于对所感知的图像质量有更大的影响。
[0043] 如本领域中的技术人员熟悉的在观看动态视频时的人为因素,观看设备的各种特 征(例如,它的物理尺寸或形状、它的重量和/或保持在控制中或另外由另一对象支持的它 所拥有的特征)可以趋向于促进用于观看动态视频的观看距离的具体观看距离或范围。因 此,虽然观看距离实际上不是观看设备本身的特征,并且一般由参与观看动态视频的人来 进行选择,但是观看设备的各种其它特征可以趋向于充分影响观看距离的选择,在观看设 备本身的那些各种特征和观看距离之间可能存在相关性。可能的是,具有类似的尺寸和分 辨率的显示器的多个设备可能倾向于促进在观看距离中的类似选择,并且因此知道显示器 尺寸和分辨率可以使观看距离能够以相对高的确定程度被确定。然而,还可以存在具有无 视诸如显示器尺寸和分辨之类的特征的影响的具有它们所独有的其它特征的特定观看设 备,使得知道特定观看设备的标识(例如,其制造商和/或型号)在确定观看距离时可能更 有用。
[0044] 因此,如在图4中描绘的,设备矢量数据134还可以包括观看设备70的观看设备 特征的指示。正如将更详细解释的,可以采用所述观看特征的指示来实现对第一和第二矢 量的选择,以在选择动态视频830的不同压缩版本的至少压缩帧时使用,从而发送到可能 不具有与观看设备70相同的制造商或型号但可以具有某些类似的观看特征的另一观看设 备。
[0045] 在设备矢量数据134生成之后,通信部件149可以操作接口 190以经由网络900 将设备矢量数据134发送到计算设备500。可选地或此外,包括可移动存储介质的其它机构 可以用来将设备矢量数据134传送到计算设备500。
[0046] 返回到图1,如所描绘的,源设备300存储并且能够提供压缩视频数据330a和 330b中的任何一个或两个。压缩视频数据330a和330b二者都表示以压缩形式的动态视频 830,但压缩视频数据330a和330b被压缩到不同的程度,使得每一个压缩视频数据表示位 速率和视频质量的不同的平衡。应注意,虽然只描绘了动态视频830的两个压缩版本,特别 是压缩视频数据330a和330b,但是其它实施例是可能的,其中可以存储不同质量的动态视 频830的压缩版本和/或另外不同质量的动态视频830的压缩版本是可用的。实际上,还 应注意,源设备300能够生成满足所请求的位速率和/或所请求的视频质量的动态视频830 的压缩版本(例如,表示动态视频830的压缩视频数据的版本)。源设备300可以响应于从 计算设备500接收的要求动态视频830的一个或多个压缩版本的请求而向计算设备500提 供压缩视频数据330a和330b中的至少一个或两个。
[0047] 在视频压缩系统1000的一些实施例中,源设备300可以由动态视频830中的知识 产权的持有人和/或访问动态视频830的未压缩版本的另一组织(例如,动态视频的制作 者或发行者)来进行操作。在这样的实施例中,计算设备500可以由网络接入服务的提供 者(例如,互联网服务提供者)和/或动态视频传输服务(例如,视频点播网络视频流式服 务)来进行操作。计算设备500的操作者可以试图以压缩的形式向观看设备700提供动态 视频830,所述压缩的形式使限制传输位速率与得到视频质量的至少可接受的水平相平衡, 其中,视频质量以考虑观看设备700的观看特征的方式进行估计。为了能够考虑观看设备 700的观看特征,计算设备500可以取回(或另外被提供有)观看设备700的观看特征的指 不〇
[0048] 因此,可以在传输阶段中操作计算设备500,以使用与观看设备700的观看特征相 关联的意见分数来估计在动态视频830的一个或多个压缩版本的位速率和MOS之间的平 衡,以选择动态视频830的压缩帧,从而发送到观看设备700。在选择压缩帧时,计算设备 500可以选择至少压缩视频数据330a和330b中的一个的所有压缩帧(再次,可以存在动态 视频830的多于仅仅两个的压缩版本)。可选地,在选择压缩帧时,计算设备500可选择至 少压缩视频数据330a和330b中的每一个的压缩帧的子集。
[0049] 可选地或此外,可以在传输阶段中操作计算设备500,以估计在动态视频830的一 个或多个压缩版本的位速率和MOS之间的平衡来确定由观看设备700采用的缓冲的程度, 以实现动态视频830的观看而没有由以压缩的形式被发送到观看设备700的动态视频830 引起的视觉假像(例如,似动非动运动、掉帧、像素化等)。当确定缓冲的程度时,计算设备 500可以发送信号通知观看设备要使用的缓冲的程度的指示。
[0050] 在各种实施例中,计算设备500包括处理器部件550、存储装置560、控制器600和 将计算设备500耦合到网络999的接口 590中的一个或多个。存储装置560存储控制例程 540、设备矢量数据134、视频数据330a、视频数据330b和设备数据735中的一个或多个。控 制器600包括处理器部件650和存储装置660中的一个或多个。存储装置660存储估计例 程640、参数数据632、复杂度数据633和系数数据636中的一个或多个。
[0051] 控制例程540包括在起到计算设备500的主处理器部件的作用的处理器部件550 上操作的指令的序列,以实现用于执行各种功能的逻辑。在一些实施例中在传输阶段中执 行控制例程540时,处理器部件550可以从源设备300接收视频数据330a和330b,每一个 视频数据330a和330b表示以压缩形式的动态视频830,并且可以至少将每一个视频数据 的压缩帧的子集存储在存储装置560中。应注意,视频数据330a和/或330b可以在进行 由包括估计视频质量或传输构成的任何使用之前,存储在存储装置560中一段相当长的时 间。
[0052] 在进一步执行控制例程540时,处理器部件550基于经由估计例程640的执行而 履行的视频质量分析的结果从视频数据330a和330b中的一个或两个中选择压缩帧以用于 传输到观看设备700。应注意,压缩帧的这样的选择在一些实施例中可能需要从视频数据 330a和330b中的每一个中选择压缩帧的混合,而在其它实施例中可能需要选择视频数据 330a和330b中的一个或另一个的所有压缩帧。可选地或此外,在进一步执行控制例程540 中,处理器部件550可以发送信号通知观看设备700以执行某程度的缓冲,所述缓冲的程度 可以基于经由估计例程640的执行而履行的视频质量分析的结果。处理器部件550可以发 送信号通知观看设备700缓冲的程度的指示。
[0053] 估计例程640包括在起到计算设备500的控制器600的控制器处理器部件的作用 的处理器部件650上可操作的指令的序列,其用于实现用于执行各种功能的逻辑。在传输 阶段中执行估计例程640时,处理器部件650估计视频数据330a和/或330b中的至少一 个的每一个压缩帧的视频质量,以确定一个、另一个或这两个视频数据的压缩帧是否应被 发送到观看设备700。应注意,估计例程640可以在将表示动态视频830的任何压缩帧传输 到观看视频700之前或与其同时由处理器部件650执行。
[0054] 图5A更详细地描绘了在传输阶段中计算设备500的这样的操作的实施例,而图5B 更详细地描绘了在传输阶段中在这样的操作期间在部件和/或该实施例的其它部分之间 交换的数据的方面。如所描绘的,控制例程540可以包括选择部件547、缓冲部件548和通信 部件549。此外,估计例程640可以包括解码器642、复杂度部件643、设备评分部件646和 MOS估计器647中的一个或多个。在执行控制例程时,处理器部件550可以执行部件547、 548和549中的一个或多个。相对应地,在执行估计例程640时,处理器部件640可以执行 部件642、643、646和647中的一个或多个。
[0055] 在准备估计视频数据330a和330b中的一个或两个的视频质量中,通信部件549 可以操作接口 590接收来自训练设备100的设备矢量数据134、来自源设备300的视频数据 330a和/或330b、和/或来自观看设备700的设备数据735中的一个或多个。可选地或此 外,可以采用包括可移动存储介质的其它机构来将这些数据段中的一个或多个传送到计算 设备500。
[0056] 解码器642至少部分地将压缩视频数据330a和330b中的一个或两个的压缩帧中 的每一个进行解压缩,以得到每一个压缩帧的各种参数。如在图5B中描绘的,那些参数可 以包括在压缩每一个帧时使用的一个或多个QP,每一个压缩帧的数据尺寸(例如,以位或 字节为单位的每一个压缩帧的尺寸)、每一个帧的类型(例如,帧间、预测帧或双预测帧)、 每一个帧的分辨率(例如,以像素为单位的水平和垂直分辨率中的一个或两个)、和/或每 一个帧的位速率。解码器642存储每一个压缩帧的这样的参数作为参数数据632,以用于由 复杂度部件643使用。
[0057] 复杂度部件643采用参数数据632的参数,来得到用于每一个压缩帧的时间复杂 度的度量,并且存储那些度量的指示作为复杂度数据633,以用于由设备评分部件646使 用。在一些实施例中,经由下面的方程来确定在压缩的帧当中的每一个预测帧(P帧)的时 间复杂度TC的这个度量:
[0058]
[0059] 在这个方程中,"数据尺寸"是由P帧所占据的位的数量,QP是在压缩中用来生成 P帧的量化参数中的一个,"每秒帧"是动态视频的每秒的帧的数量,而"垂直分辨率"是在 P帧中的水平线的数量。
[0060] 应注意,在包括用于生成视频数据330a和/或330b的压缩算法是MPEG的版本的 实施例在内的一些实施例中,解码器642可以只将预测帧(P帧)进行解码和/或复杂度部 件643可以得到仅用于P帧的时间复杂度的度量。这可以基于参考其它帧描述的P帧的像 素的像素颜色值而被认为是合乎需要的,使得仅用于P帧的时间复杂度的度量表示在一段 时间内出现的像素颜色值中的变化一一包括由运动引起的变化一一的指示。相反,帧间(I 帧)的像素颜色值被充分地进行描述,而不参考任何其它帧的像素颜色值,使得它们不传 送在一段时间内出现的变化的指示。
[0061] 设备评分部件646至少取回设备矢量数据134和复杂度数据633,并且一起使用它 们以确定系数的第一和第二集合,从而被提供到MOS估计器647作为系数数据636。正如已 经讨论的,在设备矢量数据134中传送的第一和第二矢量与具有与早些时候在生成意见分 数时使用的观看设备70的观看特征类似的一个或多个观看特征的观看设备相关,其中,设 备矢量数据134的第一和第二矢量从所述意见分数中得到。假定观看设备700具有与观看 设备70的观看特征类似的观看特征,例如,显示尺寸和显示分辨率,则设备矢量数据134的 第一和第二矢量可以适当地与选择压缩帧以发送到经由观看设备700的观看结合使用。
[0062] 在一些实施例中,可以存在设备矢量数据134的多个不例(未不出),每一个不例 与具有不同的观看特征(例如,具有不同尺寸和/或不同分辨率的显示器)的观看设备相 关联。在这样的实施例中,设备评分部件646还可以取回从观看设备700接收的并且提供 观看设备700的一个或多个特征的指示的设备数据735。设备评分部件646可以比较在设 备数据735中指示的观看设备700的观看特征,以观
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1