用于估计压缩的动态视频质量的技术的制作方法
【专利说明】用于估计压缩的动态视频质量的技术
【背景技术】
[0001] 经由基于分组的网络（例如，互联网）的动态视频的传输变得日益普遍。在这样 的传输中，通常使用各种形式的视频压缩中的任一种来压缩动态视频，所述各种形式的视 频压缩包括由瑞士日内瓦的国际标准化组织公布的动态图像专家组（MPEG)规范和同样由 瑞士日内瓦的国际电报联盟（ITU)公布的H.26x系列规范。视频压缩的这样的形式一般使 用有损技术，所述有损技术利用在动态视频的很多片段中通常观察到的各种特征和人类视 觉系统（HVS)的各种限制。
[0002] 虽然这样的网络继续扩展它们的位速率容量，但是对它们在发送动态视频中的使 用和动态视频的分辨率的要求二者也在增长，使得在任何给定的时间用于发送任何一个动 态视频的可用的位速率容量继续受到限制。因此，尽管在这样的网络中有相当大的技术提 高，但是仍然必须选择在视频质量和发送每一个动态视频所需的位速率之间的平衡。已经 设计了各种技术来估计动态视频的压缩版本的视频质量以帮助选择这样的平衡，但这些技 术一般需要以原始未压缩的形式来访问动态视频。不幸的是，由于诸如保护知识产权（例 如，动态视频中的版权）的原因，网络访问提供者和动态视频流服务提供者常常不能访问 动态视频的这样的未压缩版本。
【附图说明】
[0003] 图1示出了视频处理系统的实施例。
[0004] 图2示出了视频处理系统的可选实施例。
[0005] 图3示出了实施例的一部分。
[0006] 图4示出了图3的该部分的数据结构的实施例。
[0007] 图5A和5B示出了另一实施例的部分。
[0008] 图6A和6B示出了又一实施例的部分。
[0009] 图7_图9的每一个示出了根据实施例的逻辑流程。
[0010] 图10示出了根据实施例的处理体系结构。
[0011] 图11示出了图形处理系统的另一可选实施例。
[0012] 图12示出了设备的实施例。
【具体实施方式】
[0013] 各种实施例概括而言旨在用于估计动态视频的一个或多个压缩版本的视频质量 作为输入，以在不访问以未压缩形式的动态视频的情况下选择该动态视频的压缩帧以用于 传输的技术。基于时间复杂度的对动态视频的图像质量的度量和与在观看动态视频的选定 集合时观看设备的选定的观看特征相关联的图像质量的意见度量相组合。时间复杂度是基 于由于人类视觉系统（HVS)相对可能对物体的运动敏感而引起的在动态视频的帧之间的 内容中的改变的。使用意见度量来解释的观看设备的选定观看特征包括显示尺寸、显示分 辨率和相关联的观看距离中的一个或多个。对压缩的帧的选择可以是从来自动态视频的压 缩帧的不同集合当中的选择，其中压缩帧的每一个集合被压缩到不同的程度。
[0014] 在训练阶段期间，动态视频的训练集合的很多动态视频视觉地呈现在具有选定的 观看特征的观看设备的显示器上，并且原始数据是收集的视觉呈现向其进行表现的人的意 见。在一些实施例中，原始数据可以由表示由那些人判断的图像质量的数值构成，并且数值 的范围可以从1到5,以与广泛已知和使用的平均意见分数（MOS)估计技术一致。可以针对 其时间复杂度来选择训练集合的动态视频以提供具有期望范围（例如，范围宽到足以包括 各种各样类型的视频内容的时间复杂度，各种各样类型的视频内容例如计算机生成的、自 然室外景色、建筑室内景色、近距离面部特征等）和/或时间复杂度值的分布（例如，平均 分布、钟曲线分布等）的训练集合。然后使用非线性拟合技术来分析原始数据，以得到定义 在时间复杂度和来自原始数据的意见分数之间的关系的第一和第二数学模型。第一和第二 数学模型可以分别由第一和第二非线性系数来表示。
[0015] 对于每一个训练集合的动态视频，将其时间复杂度的度量与第一非线性系数一起 使用，以得到相对应的系数的第一集合，并且然后将那些时间复杂度和相对应的系数的第 一集合的对进行组合以形成第一矢量。相对应地，将训练集合的动态视频的每一个的时间 复杂度的度量与第二非线性系数一起使用，以得到相对应的系数的第二集合，并且然后将 那些时间复杂度和相对应的系数的第二集合的对进行组合以形成第二矢量。共同地，第一 和第二矢量将时间复杂度的范围与指示意见度量的系数的集合相关，其中，所述意见度量 与具有选定的观看特征的观看设备相关联。
[0016] 在稍后的传输阶段期间，估计另一动态视频的一个或多个压缩版本的视频质量。 当发送动态视频或准备到具有类似的观看特征的观看设备的这样的传输时，可以发生所述 估计。可以使用各种有损动态视频压缩算法中的任一种来生成动态视频的压缩版本。在一 些实施例中，压缩算法可以是MPEG的各种版本中的一个。分析动态视频的一个或多个压 缩版本，以得到每一个帧的各种参数，包括在压缩它时采用的量化参数、它的数据尺寸（例 如，以位或字节为单位的其尺寸）、它的帧类型、它的分辨率和它的位速率中的一个或多个。 然后采用每一个帧的所得到的参数来计算每一个帧的时间复杂度。然后每一个帧的所得到 的时间复杂度在分别从第一和第二矢量中选择第一和第二线性系数中的一个中采用。
[0017] 在一些实施例中，然后采用用于每一个帧的系数的选定的第一和第二集合连同位 速率一起，以得到用于每一个帧的相对应的估计的MOS (有时被称为"时间MOS分数"）。用 于每一个帧的估计的MOS的值的范围可能受到将用于每一个帧的估计的MOS维持在数值的 预定范围内的限制。在这样的实施例中，该范围可以再次从1到5。在其它实施例中，然后 采用用于每一个帧的系数的选定的第一和第二集合连同期望的MOS -起，以得到相对应的 估计的位速率。用于每一个帧的估计的位速率的值的范围可能受到限制，例如，能够被支持 用于传输的位速率的上限，或与期望的目标位速率相关联的可接受的位速率的范围。
[0018] 不考虑是否基于给定的位速率将MOS估计为所达到的或将位速率估计为需要达 到期望的MOS，可以采用所得到的估计的MOS或位速率来选择动态视频的多于一个的可用 的压缩版本的压缩帧，以发送到观看设备来实现在视频质量和位速率之间的可接受的平 衡。可选地或此外，可以采用所得到的估计的MOS或估计的位速率来确定表示由观看设备 呈现的动态视频的压缩视频数据的缓冲的所需水平，以实现在视频质量和位速率之间的可 接受的平衡。
[0019] 作为在传输帧中的每帧分析的可选方案，实施例是可能的，在实施例中在每个动 态视频执行分析。因此，分析另一动态视频的一个或多个压缩版本以得到每一个帧的各种 参数。然而，聚集（例如，经由平均值、加权平均值等）并且采用每一个帧的所得到的参数， 以计算整个动态视频的时间复杂度，并且然后分别在从第一和第二矢量中选择第一和第二 线性系数中的一个中采用所得到的时间复杂度。
[0020] 然后采用系数的选定的第一和第二集合连同用于整个动态视频的位速率一起，以 得到用于整个动态视频的相对应的估计的MOS(有时被称为"总MOS分数"）。用于动态视 频的估计的MOS的值的范围可能受到将它维持在数值的预定范围（例如，从1到5)内的限 制。在其它实施例中，然后采用系数的选定的第一和第二集合连同用于动态视频的期望的 MOS-起，以得到用于整个动态视频的相对应的估计的位速率。同样，用于每一个帧的估计 的位速率的值的范围可能受到限制。
[0021] 可以采用所得到的估计的MOS或估计的位速率来选择动态视频的压缩版本中的 一个以发送到观看设备，来实现在视频质量和位速率之间的可接受的平衡。可选地或此外， 可以采用所得到的估计的MOS或估计的位速率来确定表示由观看设备呈现的动态视频的 压缩视频数据的缓冲的所需水平，以实现在视频质量和位速率之间的可接受的平衡。
[0022] 一般参考本文使用的概念和术语，可以按照在计算机或计算机的网络上执行的程 序过程来呈现接下来的【具体实施方式】的部分。这些过程描述和表示由本领域中的技术人员 使用来将他们的工作的实质最有效地传达给本领域中的其他技术人员。过程在这里并且通 常被设想为引起期望结果的操作的前后一致的序列。这些操作是需要对物理量的物理操纵 的那些操作。通常，虽然不是必须，这些量采取能够被存储、传送、组合、比较和另外操纵的 电、磁或光信号的形式。主要出于公共使用的原因，将这些信号称为位、值、元件、符号、字 符、项目、数字等有时被证明是方便的。然而应注意，这些和类似项目的全部应与适当的物 理量相关联，并且仅是应用于那些量的方便标签。
[0023] 此外，这些操纵常常以例如添加或比较的形式被提到，其通常与由操作人员执行 的智力操作相关联。然而，在大部分情况中、在形成一个或多个实施例的部分的本文描述的 任何操作中，操作人员的这样的能力并不是必须的或合乎需要的。更确切地，这些操作是机 器操作。用于执行各种实施例的操作的有用的机器包括通用数字计算机，所述通用数字计 算机如由在其内存储根据本文的教导编写的计算机程序选择性地启动或配置，和/或包括 为了所需目的而特别构造的装置。各种实施例还涉及用于执行这些操作的装置或系统。这 些装置可以为了所需目的而特别构造或可以包括通用计算机。用于各种所述机器的所需结 构将从给出的描述中变得显而易见。
[0024] 现在参考附图，其中，在全文中相似的附图标记用于始终表示相似的元件。在下面 的描述中，出于解释的目的，阐述了很多具体的细节，以便提供对下面的描述的彻底理解。 然而显然的是，新颖的实施例可以在没有这些特定细节的情况下被实施。在其它示例中，公 知的结构和设备以框图的形式示出，以便有助于其描述。本发明涵盖在权利要求的范围内 的所有修改、等效形式和可选形式。
[0025] 图1示出了包括训练设备100、源设备300、计算设备500和观看设备700中的一个 或多个的视频处理系统1000的实施例的框图。在视频处理系统1000中的训练阶段期间， 训练设备100生成使动态视频的时间复杂度的范围与指示具有选定的观看特征的观看设 备的意见度量的系数的集合相关的设备矢量数据134。训练设备100然后向计算设备500 提供设备矢量数据134,用于以后在选择用于使用具有类似的选定特征的观看设备来观看 的动态视频的压缩帧时使用。在稍后的传输阶段期间，计算设备500基于哪些压缩帧实现 了在视频质量和传输位速率之间的可接受的平衡来选择动态视频830的压缩帧以发送到 观看设备700。计算设备500可以从源设备300至少接收压缩视频数据330a和330b，其中 每一个压缩视频数据以压缩的形式表示动态视频830,但每一个压缩视频数据被压缩到不 同的程度。观看设备700具有类似于与设备矢量数据134相关联的观看特征的观看特征。 计算设备500采用基于以压缩形式的动态视频中的物体的运动的视频质量的度量和与矢 量数据134相关联的意见度量的组合来选择至少压缩数据330a和330b中的一个或多个的 压缩帧以发送到观看设备700。因此，观看设备700接收以压缩形式的动态视频830,动态 视频830由被选择以考虑与观看设备700的观看特征类似的观看特征的压缩帧构成。这些 计算设备中的每一个可以是各种类型的计算设备中的任一种，包括但不限于桌上型计算机 系统、数据输入终端、膝上型计算机、上网本计算机、平板计算机、手持个人数字助理、智能 电话、智能眼镜、智能腕表、数字照相机、合并到衣服中的身体佩戴的计算设备、集成到车辆 (例如，汽车、自行车、轮椅等）中的计算设备、服务器、服务器的群集、服务器农场等。
[0026] 如所描绘的，这些计算设备100、300、500和700通过网络999交换在表示动态视 频的压缩数据和/或与动态视频压缩的视频质量有关的数据处传送的信号。然而，这些计 算设备中的一个或多个可以经由网络999与彼此和/或与又一些其它计算设备（未示出） 交换完全与动态视频或视频质量无关的其它数据。在各种实施例中，网络可以是可能被限 制到在单个建筑物或其它相对有限的区域内延伸的单个网络、可能延伸到相当大的距离的 所连接的网络的组合，和/或可以包括互联网。因此，网络999可以基于各种通信技术中的 任一种，其中通过这些通信技术可以交换信号，所述各种通信技术包括但不限于，使用电和 /或光传导电缆的有线技术，和使用红外线、射频或其它形式的无线传输的无线技术。
[0027] 在各种实施例中，训练设备100包括处理器部件150、存储装置160、控件120、显 示器180和将训练设备100耦合到网络999的接口 190中的一个或多个。存储装置160存 储控制例程140、训练视频数据131、原始训练数据132、拟合训练数据133和设备矢量数据 134中的一个或多个。训练视频数据131由表示在一起形成动态视频的训练集合的多个动 态视频的数据段构成。在一些实施例中，训练视频数据131可以表示动态视频的数据库的 至少一部分。训练集合的动态视频可以针对其时间复杂度进行选择，以使训练集合覆盖时 间复杂度的选定范围和/或将时间复杂度的选定分布告知训练集合（例如，平均分布、钟曲 线分布等）。
[0028] 控制例程140包括在处理器部件150上操作的指令的序列，处理器部件150起到 训练设备100的主处理部件的作用以实现执行各种功能的逻辑。在训练阶段期间执行控制 例程140,处理器部件150可以将来自训练视频数据131的动态视频发送或另外提供到具有 选定观看特征的观看设备，以由该观看设备视觉地呈现。处理器部件150然后接收并且存 储与那些视觉呈现相关联的意见分数的指示作为原始训练数据132,处理器部件150随后 从原始训练数据132得到处理器部件150提供到计算设备500的设备矢量数据134。
[0029] 图3更详细地描绘了在训练阶段中的训练设备100的这样的操作的实施例，而图 4更详细地描绘了在训练阶段中在这样的操作期间在部件和/或该实施例的其它部分之间 交换的数据的方面。如所描绘的，控制例程140可以包括训练部件141和通信部件149中 的一个或多个。此外，训练部件141可以包括收集部件1412、非线性拟合部件1413和线性 拟合部件1414中的一个或多个。在执行控制例程140时，处理部件150可以执行训练部件 141的部件1412、1413和1414中的一个或多个，以及通信部件149。
[0030]收集部件1412可以向观看设备70提供训练视频数据131的动态视频，以用于通 过观看设备的显示器视觉地呈现给一个或多个人10。如在图4中所描绘的，训练视频数据 131还可以包括训练集合的动态视频中的每一个的时间复杂度的指示。可选地，收集部件 1412可以得到这些动态视频中的每一个的时间复杂度。在一些实施例中，存储在用于训练 集合的动态视频中的一个的训练视频数据131中的时间复杂度的每一个指示可以是表示 在动态视频的所有帧当中的平均时间复杂度的数值。
[0031] 收集部件1412还可以操作控件120和/或显示器180,以提供用户界面以用于由 观看训练视频数据131的动态视频的人使用，以提供如由观看设备70视觉地呈现的每一个 动态视频的图像质量的意见分数。控件120可以是各种类型的输入设备中的任一种，包括 但不限于键盘、定点设备等。显示器180可以基于各种显示技术中的任一种，包括但不限于 液晶显示器（IXD)技术、电致发光（EL)技术等。可选地或此外，控件120和显示器180可 以被组合到单个用户界面设备（例如，触摸屏）中。不管如何从那些人处