息，模式2模型可以解码部分或全部的视频序列，像素信息用于视觉质量预测 以及解析比特流信息以便提高预测精度。
[0057] 参照图8,示出可以应用上述特征和原理的视频传送系统或装置800。处理器 805处理视频，并且编码器810对视频进行编码。从编码器生成的比特流通过分配网络 (distribution network)820传送给解码器830。视频质量监视器可以用在不同的阶段 (stage)〇
[0058] 在一个实施例中，视频质量监视器840可以由内容创建者使用。例如，所估计的视 频质量可以由编码器在决定诸如模式决定或比特率分配这样的编码参数中使用。在另外的 示例中，在对视频进行编码之后，内容创建者使用视频质量监视器来监视经编码的视频的 质量。如果质量度量不满足预先定义的质量级别，则内容创建者可以选择对视频重新编码 以改善视频质量。内容创建者也可以基于质量对经编码的视频进行评级，并且相应地对内 容收费。
[0059] 在另外的实施例中，视频质量监视器850可以由内容分配者使用。视频质量监视 器可以放置在分配网络中。视频质量监视器计算质量度量，并且将它们报告给内容分配者。 基于来自视频质量监视器的反馈，内容分配者可以通过调整带宽分配和访问控制来改善其 服务。
[0060] 内容分配者也可以将反馈发送给内容创建者以调整编码。注意，在编码器处改善 编码质量可能未必改善解码器侧的质量，因为高质量编码的视频通常需要较多的带宽并且 针对传送保护留下较少的带宽。因此，为了在解码器处达到最佳的质量，应当考虑编码比特 率和用于信道保护的带宽之间的平衡。
[0061] 在另外的实施例中，视频质量监视器860可以由用户设备使用。例如，当用户设备 搜索因特网中的视频时，搜索结果可能返回对应于所请求的视频内容的许多视频或视频的 许多链接。搜索结果中的视频可以具有不同的质量级别。视频质量监视器可以计算这些视 频的质量度量并且决定选择哪个视频来存储。在另外的示例中，用户设备可以使用若干错 误隐藏技术。视频质量监视器可以针对不同错误隐藏技术计算质量度量，并且基于所计算 出的质量度量来自动地选择使用哪种隐藏技术。
[0062] 在本文中所描述的实现方式可以实现为例如方法或过程、装置、软件程序、数据流 或信号。即使仅在单一形式的实现方式的上下文中进行了论述（例如，仅作为方法进行了 论述），所论述的特征的实现方式也可以实现为其他形式（例如，装置或程序）。装置可以 实现为例如适当的硬件、软件和固件。方法可以实现在例如装置中，诸如例如一般指代处理 设备的处理器，包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通 信设备，诸如例如计算机、手机、便携式/个人数字助理（"PDA"）以及便于终端用户之间的 信息的通信的其他设备。
[0063] 提及所述原理的"一个实施例"或"实施例"或"一种实现方式"或"实现方式"以 及它们的其他变型表示结合实施例描述的具体特征、结构、特性等包括在所述原理的至少 一个实施例中。因此，在整个说明书的各个地方出现的短语"在一个实施例中"或"在实施 例中"或"在一种实现方式中"或"在实现方式中"以及任何其他变型未必全都指代相同的 实施例。
[0064] 另外，本申请或其权利要求可能涉及"确定"各个信息。确定信息可以包括例如估 计信息、计算信息、预测信息或从存储器检索信息中的一个或多个。
[0065] 另外，本申请或其权利要求可能涉及"访问"各个信息。访问信息可以包括例如接 收信息、检索信息（例如，从存储器）、存储信息、处理信息、传送信息、移动信息、复制信息、 擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。
[0066] 另外，本申请或其权利要求可能提及"接收"各个信息。与"访问"相同，接收旨在 作为宽泛的术语。接收信息可以包括例如访问信息或检索信息（例如，从存储器）中的一 个或多个。另外，"接收"通常以某种方式包括在诸如例如存储信息、处理信息、传送信息、移 动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息这样的操作期间。
[0067] 对于本领域技术人员将显而易见的是，实现方式可以产生被格式化以承载可以例 如被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述 的实现方式之一产生的数据。例如，信号可以被格式化以承载所述实施例的比特流。这种 信号可以被格式为例如电磁波（例如，使用频谱的射频部分）或基带信号。格式化可以包 括例如对数据流进行编码和利用经编码的数据流对载波进行调制。信号承载的信息可以是 例如模拟或数字信息。已知地，信号可以在各种不同的有线或无线链路上传送。信号可以 存储在处理器可读介质上。
【主权项】
1. 一种用于估计视频序列的视觉质量的方法，包含： 访问包括视频序列中的当前帧的多个滑动窗口中的帧的空间失真； 响应于每个滑动窗口中的帧的各自的空间失真来确定指示每个滑动窗口的代表伪像 级别和大失真密度中的至少一个的因子（610,620); 响应于所确定的因子来确定当前帧的时间失真（660);以及 响应于当前帧的时间失真来确定视频序列的视觉质量。2. 根据权利要求1所述的方法，还包含： 确定多个滑动窗口的因子的最大值（640，650)，其中，响应于最大的因子来确定当前帧 的时间失真。3. 根据权利要求1所述的方法，其中，响应于每个滑动窗口中的具有大失真的帧的数 量与每个滑动窗口中的帧的总数量之间的比率来确定大失真密度。4. 根据权利要求1所述的方法，其中，将当前帧的时间失真确定为当前帧的空间失真 和最大的因子的乘积。5. 根据权利要求1所述的方法，其中，响应于每个滑动窗口的空间失真的中值函数来 确定代表伪像级别。6. 根据权利要求1所述的方法，其中，将当前帧的时间失真确定为当前帧的空间失真 和最大的因子中较小的一个。7. 根据权利要求1所述的方法，还包含： 执行以下至少一个：监视比特流的质量，响应于所确定的视觉质量来调整比特流，基于 所确定的视觉质量来创建新的比特流，调整用于传送比特流的分配网络的参数，基于所确 定的视觉质量来确定是否保持比特流以及在解码器处选择错误隐藏模式。8. -种用于估计视频序列的视觉质量的装置（700,800)，包含： 空间伪像级别估计器（730)，其访问包括视频序列中的当前帧的多个滑动窗口中的帧 的空间失真； 时间失真估计器（740)，其针对多个滑动窗口，响应于每个滑动窗口中的帧的各自的空 间失真来确定指示每个滑动窗口的代表伪像级别和大失真密度中的至少一个的因子，并且 响应于所确定的因子来确定当前帧的时间失真；以及 质量预测器（750)，其响应于当前帧的时间失真来确定视频序列的视觉质量。9. 根据权利要求8所述的装置，其中，时间失真估计器（740)确定多个滑动窗口的因子 的最大值，其中，响应于最大的因子来确定当前帧的时间失真。10. 根据权利要求8所述的装置，其中，时间失真估计器（740)响应于每个滑动窗口中 的具有大失真的帧的数量与每个滑动窗口中的帧的总数量之间的比率来确定大失真密度。11. 根据权利要求8所述的装置，其中，时间失真估计器（740)将当前帧的时间失真确 定为空间失真和最大的因子的乘积。12. 根据权利要求8所述的装置，其中，时间失真估计器（740)响应于每个滑动窗口的 空间失真的中值函数来确定代表伪像级别。13. 根据权利要求8所述的装置，其中，时间失真估计器（740)将当前帧的时间失真确 定为空间失真和最大的因子中较小的一个。14. 根据权利要求8所述的装置，还包含： 视频质量监视器（840,850,860)，其执行以下至少一个：监视比特流的质量，响应于所 确定的视觉质量来调整比特流，基于所确定的视觉质量来创建新的比特流，调整用于传送 比特流的分配网络的参数，基于所确定的视觉质量来确定是否保持比特流以及在解码器处 选择错误隐藏模式。15. -种计算机可读存储介质，在其上存储有用于根据权利要求1-7估计视频序列的 视觉质量的指令。
【专利摘要】空间失真(即，在独立于视频序列中的其他帧来观看帧时)可以与时间失真(例如，在连续观看帧时)相当不同。为了估计时间失真，使用滑动窗口方法。具体地，考虑在当前帧周围的多个滑动窗口。在每个滑动窗口内，计算大失真密度并且选择具有最高的大失真密度的滑动窗口。计算当前帧和所选择的窗口内具有大失真的最靠近的帧之间的距离。随后，根据最高的大失真比率、当前帧的空间失真以及距离来估计时间失真。在另外的实施例中，计算每个滑动窗口的空间失真值的中值并且使用中值空间失真值的最大值来估计时间失真。
【IPC分类】H04N17/00
【公开号】CN104995914
【申请号】CN201380072550
【发明人】廖宁, 陈志波, 张帆
【申请人】汤姆逊许可公司
【公开日】2015年10月21日
【申请日】2013年6月9日