用于确定具有变化的质量对比特率的媒体数据流的质量的概念的制作方法_3

文档序号:9713973阅读:来源:国知局
以恒定质量对比特率级别来接收媒体数据流的输入80、以及输出查找表34的数据库条目或查找表条目(S卩,标识符60和相关联参数集62的对)的输出82。划分器72包括三个输入:连接到输入78的输入、直接连接到输入80的另一输入、以及经由解码器70连接到输入80以获得经解码的或可再现版本的输入80处的媒体数据流的第三输入,该媒体数据流可以借助例如H.264来编码,如图6所指示,使得测试视频出现在解码器70的输出处或者划分器72的输入处。划分器72将传入的参考视频、传入的测试视频、以及传入的媒体数据流划分为观看时段,该观看时段实质上例如在其大小方面对应于之前提到的测试段,并针对每个观看时段将输入80处的媒体数据流的对应数据流段22向标识符确定器76转发,并将来自于测试视频的位于对应观看时段内的媒体段241例如,帧26)以及来自参考视频的对应段(例如,画面)向评估器74转发。为了简单起见,下面将假定对观看时段的划分在没有任何间隙的情况下发生,使得观看时段彼此无缝衔接,但是与此不同也是可行的。
[0049]标识符确定器76以与上面描述的相同方式来确定所有传入的数据流段22的标识符,和/或使用与设备32内标识符生成器40所进行的相同映射来确定所有传入的数据流段22的标识符。将提到:标识符生成器可以包括散列值形成,但是标识符还可能由散列值和为了可区分的原因而向例如媒体库10内的各个媒体内容分配的其它ID构成。
[0050]评估器74内的评估如下面更详细解释那样发生,且对于来自每个观看时段的每个媒体段24',该评估导致与已经根据其中编码有对应媒体内容24'的数据流段22所获得的标识符相关联的对应参数集。
[0051 ]对于出现在媒体数据库10中的相应媒体内容或视频20所具有的每个质量对比特率级别,重复刚刚描述的过程,因为对输入80应用对应的媒体数据流18,而参考视频出现在输入78处并表示没有任何编码损耗的媒体内容。质量对比特率级别每次保持恒定。更具体地,输入80处的媒体数据流18的数据流段22每次表示具有对于所有数据流段22相同的质量对比特率级别的相关联媒体段24',该级别在连续时间之间是改变的。以这种方式,如已经描述的,对于媒体内容20的每个媒体段24'的每个质量对比特率级别,标识符和关联参数集的对导致了查找表。
[0052]从而原则上图6的评估器74采用了图5的参数集确定64,且标识符确定器76采用了图5的标识符生成66。划分器72执行划分观看时段,该观看时段在图6的实施例中与评估器74执行的评估相关,以获得参数集。观看时段是这种时段:其可以满足与设备32内的质量确定器46选择测试段所使用的准则相同的准则。从而,观看时段可以例如跨若干媒体段24延伸。无论如何,评估器74根据观看时段的评估来生成针对位于当前观看时段中的每个媒体段24'的参数集。
[0053]更具体地,因此参考视频以及包括相应恒定质量对比特率级别在内的要传输的媒体数据流和根据该媒体数据流而解码出的测试视频按其原始长度被用作图6的设备的输入。评估器74可以使用客观测试方法,例如ITU-T J.247或ITU-T J.341,以映射主观测试。这种客观测试方法适于在这种测试中使用的画面序列。这种画面序列的持续时间或者这种观看时段的持续时间在例如10和16秒之间或者在6和20秒之间,在每种情况下均包含边界。划分器72从而将例如参考视频、测试视频和传入的媒体数据流划分为这种观看时段,并向评估器74转发以这种方式划分的参考和测试视频。在评估器74内执行的客观测量技术中,则针对观看时段72内的每个媒体段来确定参数或指示符(即,参数集),例如针对相应观看时段72内的每个画面26。针对可能用于提取参数集的方法的更详细描述将如下所述。同样如下所述的是对参数或指示符的描述。
[0054]正如针对每个段241例如针对每个画面)得到的参数集,在评估划分器72将参考视频和测试视频划分为的观看时段时,标识符确定器76针对每个媒体段241例如,针对每个画面26)根据相应数据流段22来确定标识符,该标识符在下面也将被称为标识元素。标识元素是关于段24'来计算的,使得比特流18内编码的段24'与数据库条目的精确关联在稍后的时间点上是可能的。作为标识元素,可以例如使用以无歧义的方式来确定的MD5和或者不同的“散列”和。
[0055]如上面已经描述的,随后将指示符或参数集连同“散列”和以及可选的可能其他控制元素(例如,与画面几何形状有关的信息)一起存储在数据库中。从而,对于大量视频序列和帧级别上的编码设置,用于确定编码质量的任何必需信息在数据库34中可用。
[0056]图7示出了估计当前传输信号的整体质量或者向客户端14传输的媒体数据流18的整体质量的方法。所述方法由设备32执行,例如图3的设备32,然而补充图3的功能,以执行以下将描述的图7的方法。如已经提到的,说明是针对视频流来说明的,然而它们也可以轻易地转移到除了视频之外的其他媒体内容。
[0057]如图7所示,传入的媒体数据流18首先经过数据流分析86,数据流18是例如到达接收机的那个数据流,或者概括地说,在接收侧,例如如已经提到的客户端14。为了获得媒体数据流18,可以例如将数据分接出(tap of f)网卡。在数据流分析86中,针对传输伪像(例如,分组丢失、比特错误、时间延迟、分组重复等)来分析视频相关数据或此处作为示例视频数据流的媒体数据流18。该分析可以在例如与标识符生成器40并联的传输伪像分析器或检测器186中执行和/或还获得媒体数据流18。基于分析结果,则可以在步骤88中估计描述传输链路的扰动的当前传输质量。同时,借助计算数据流元素22的标识符或标识元素,从传入的媒体数据流18中提取表示H.264比特流的数据流元素22的序列,即针对每个画面段24',例如在画面级别上或针对每个视频帧。标识符确定90由例如标识符生成器40来执行。如已经提到的,针对在步骤90中计算的标识元素,采用与在步骤66中生成数据库或在标识符确定器76中采用的相同的算法或相同的映射。因此,如果“散列”值或标识符由于传输扰动而不能被确定,则画面段24'与查找表34中的条目的不含糊关联可能发生,该步骤被称为图7中的数据库搜索92,其是由图3中的查找单元42来执行的步骤。然后将针对每个画面段24'(例如画面26)查找到的指示符或参数集用于计算当前编码质量,即在编码质量估计的步骤94中,其由图3中的聚合器44和质量确定器46来执行。该步骤的唯一前提条件是设备32具有对之前建立的数据库34的访问权限。这可以通过例如无损数据线来确保,或通过已经提前传输的数据库34来确保。下面将给出对编码质量估计94的过程的更详细的描述。
[0058]此时将注意到:目前为止描述的实施例也支持现代的流传输方法,例如HLS(HTTP实况流传输)。
[0059]步骤96包括基于步骤88和94的估计出的编码质量和估计出的传输质量来最终估计整体质量。该步骤也可以例如由图3的质量确定器46来执行,就好像传输质量估计88—样。
[0060]从而,上述实施例解决了自适应流传输方法取决于现有的传输信道容量而采用不同的编码质量的问题。如果传输信道属性改变,编码质量甚至可以在传输期间改变。由于利用了存储任何数量的在帧级别上的质量组合的查找表34,可以根据上述实施例始终提取出恰当的指示符。
[0061]下面将给出可以如何配置参数集确定器64或评估器74的更详细的描述。如已经描述的,可以将实际上已被证明提供良好的质量预测的已建立的标准化测量技术用于提取指示符或参数集。例如,可以使用ITU所标准化的名为ITU-T J.247的方法。出于完整性考虑,还将提到:其他非标准化方法或NR方法也可以用于获得参数集,然而该参数集在测量准确性的意义上一般伴随着损耗。
[0062]图8示出了可能具体地由图6的评估器74执行的步骤的可能序列的示例,假定为了确定观看时段的参数集,评估器74获得借助解码根据接收到的媒体数据流18所获得的测试视频以及相关联的参考视频。然而以下说明将示出在生成参数集时划分观看时段不是绝对强制性的。所述划分仅使得将完全标准化的测量技术用于生成参数集更容易。
[0063]作为输入参数,向图8的参数集提取方法提供来自被分为观看时段的参考视频的时间段以及要评估的并源自可能呈现出编码扰动的视频的对应时间段。时间观看时段和/或测试段的持续时间可以取决于主观测试(借助该主观测试来评估客观测量技术)的典型持续时间以及取决于其中规定了可能质量切换段24的流传输方法的要求。在例如HLS方法中,传输段24作为单个文件出现,使得理想上选择所述长度的整数倍。典型值是例如4至14秒的段长度,或备选地2至25秒的段长度,在每种情况下均包含边界。
[0064]确保了在参考视频中与观看时段相对应的段与测试视频中的段之间没有时间偏移。如果需要,采用用于将帧加以时间关联的算法。
[0065]在准备100(第一步骤)的上下文中,将各个段读入并传输至内部画面表示。该步骤是可选的,且如果不要求画面表示传输,则可被免除。
[0066]在信号分析102中,在画面级别上分析并表征各个视频段,即相应观看时段或相应测试段。此处,画面序列分析发生,其中,识别改变画面序列和各个静止帧段。在该框中,分别分析原始视频和测试视频。
[0067]后续步骤104包括执行颜色匹配。所述步骤包括对各个灰阶和颜色分量的直方图分析,且随后调整原始视频和测试视频之间的分布。此处移除轻微不同的系统颜色显示(颜色表示)和系统失真,因为其通常很难被观众所识别。该移除导致后续指示符分析106对于所述有错颜色显示(颜色误表示)和失真不敏感。
[0068]具体地,指示符分析106涉及提取与质量评估相关的扰动元素的集合,S卩参数集。针对测试视频中段24'在每种情况下(即例如针对每种情况下的画面)执行参数集的计算,使得参数集可用于每个帧。如已经提到的,媒体段24'大于仅一个帧的另一示例也将是可行的。下面将更详细地描述参数或指示符的属性。
[0069]如上面描述的,然后将参数集62或指示符以编码形式(此处,例如单个画面)存储在数据库或查找表34中,特别地连同已根据数据流段22获得的并包含相应媒体段24'在内的相应标识符一起存储或关联存储,已针对该相应媒体段24’确定了所述集合62。如图8所示,有可能让集合62的指示符连同用于在稍后的时间点上进行后处理的控制元素一起被缓冲。上面已经提到了这种控制元素的示例。此时,数据库或查找表34的设置是自由可选的,且取决于大小和现有软件与硬件要求。可以提到MySQL作为此处可以采用的数据库的示例。值得提到的是:标识符的生成确保了标识符60、画面或帧(即测试视频中的媒体段240以及关联参数或参数集62之间的不含糊关联。还将注意到:集合62的各个指示符值可以例如作为IEEE浮点数可用。如果将J.247用于生成参数,数据库条目82可以例如包含集合62的
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1