处理输入比特流的方法与信号处理装置制造方法
【专利摘要】本发明提供一种处理具有多个图帧与多个音频帧的输入比特流的方法，包含译码上述多个音频帧以产生多个已译码音频采样；以及当上述多个已译码音频采样正被连续输出以进行音频播放时，控制视频译码器来略过上述多个图帧之中一部分的图帧。本发明还提供一种处理具有多个图帧与多个音频帧的输入比特流的信号处理装置。本发明提供之方法与装置能够实现音视频的再次同步播放。
【专利说明】处理输入比特流的方法与信号处理装置
【技术领域】
[0001] 本发明有关于图帧的译码，特指一种控制视频译码器选择性地略过一个或多个图 帧的方法与相关的信号处理装置。
【背景技术】
[0002] 随着半导体技术的演进，同一装置可支持越来越多的功能，然而，对于通过电池来 供应操作电源的手持式装置来说，虽然手持式装置可经由设计而支持许多功能，但是仍然 需要考量整体的功率消耗，举例来说，手持式装置的视频译码器仅具有较低的运算处理能 力，因此，当视频比特流所传送的内容很复杂时，由于视频译码器本身的有限视频译码能 力，则即时的视频播放可能无法实现。为了解决本身仅具有限视频译码能力的视频译码器 所面临的这一问题，现有的解决方案便采取降低内容复杂度的作法，因而降低视频译码器 所要译码的视频比特流的数据率（datarate),举例来说，视频编码器（videoencoder)可 以略过（skip)/丢弃（drop)原本视频比特流中的一些预测编码图巾贞（predictiveframe,P frame)及/或双向预测编码图巾贞（bi-directionalpredictiveframe,Bframe)，以产生调 整后的视频比特流来满足本身仅具有限视频译码能力的视频译码器的需求。换言之，由于 视频比特流所传送的内容的复杂度降低了，因此，视频译码器便可以即时产生已译码图帧， 进而实现所要的即时视频播放。然而，假若视频译码器在某些情形下无法顺利取得具有已 降低复杂度的内容的视频比特流，则包含仅具有较低运算处理能力的视频译码器的手持式 装置仍然无法即时产生已译码图帧来提供流畅的视频播放。
[0003] 此外，视频播放有可能因为有限的视频译码能力而与音频播放不同步，而当视频 播放与音频播放发生不同步的情形时，则会对观赏者造成困扰。
[0004] 因此，亟需一种创新的视频译码器设计，其可基于本身的视频译码能力来适应性 地降低视频比特流中内容的复杂度，进而实现流畅且同步的视频播放。
【发明内容】
[0005] 本发明提供了一种处理输入比特流的方法与信号处理装置来选择性地略过一个 或多个图帧，以解决上述问题。
[0006] 依据本发明的第一方面，揭示了一种处理具有多个图帧与多个音频帧的输入比特 流的方法。上述方法包含以下步骤：译码多个音频帧以产生多个已译码音频采样；以及当 多个已译码音频采样正被连续输出以进行音频播放时，控制视频译码器来略过多个图帧中 一部分的图帧。
[0007] 依据本发明的第二方面，揭示了一种处理具有多个图帧与多个音频帧的输入比特 流的信号处理装置。信号处理装置包含：音频译码器、视频译码器以及控制器。音频译码器 用以译码多个音频帧以产生多个已译码音频采样。控制器耦接至视频译码器，并用以在多 个已译码音频采样正被连续输出以进行音频播放时，控制视频译码器来略过多个图帧中一 部分的图帧。
[0008] 本发明能够参照指示数据以及视频译码器的视频译码能力，来适应性控制视频译 码器译码，获取更好的显示性能。
【专利附图】
【附图说明】
[0009] 图1为本发明信号处理装置的第一实施方式的示意图。
[0010] 图2为图1所示的信号处理装置所采用的方法的流程图。
[0011] 图3为图2所示的步骤212的第一种设计范例的流程图。
[0012] 图4为图2所示的步骤212的第二种设计范例的流程图。
[0013] 图5为临界值与图帧寄存器中已译码图帧的总数之间的关系的示意图。
[0014] 图6为本发明信号处理装置的第二实施方式的示意图。
[0015] 图7为图6所示的信号处理装置所采用的方法的流程图。
[0016] 图8为图7所示的步骤710的第一种设计范例的流程图。
[0017] 图9为图7所示的步骤710的第二种设计范例的流程图。
[0018] 图10为本发明信号播放装置的第三实施方式的示意图。
[0019] 图11为图10所示的信号处理装置的操作的实施方式的示意图。
【具体实施方式】
[0020] 在说明书及权利要求书当中使用了某些词汇来称呼特定的元件。本领域的技术 人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求 书并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准 贝1J。在通篇说明书及权利要求书当中所提及的"包含"是开放式的用语，故应解释成"包含 但不限定于"。此外，"耦接"一词在此是包含任何直接及间接的电气连接手段。因此，若文 中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或通过其 它装置或连接手段间接地电气连接到第二装置。
[0021] 图1为本发明信号处理装置的第一实施方式的示意图。信号处理装置100是用 以处理具有多个已编码（encoded)/已压缩（compressed)的图巾贞的输入比特流（input bitstream)S_IN。信号处理装置100包含（但不局限于）视频译码器（videodecoder) 102、 指不数据估测单兀（indicationdataestimatingunit) 104、控制器（controller) 106 以 及图巾贞寄存器（videoframebuffer) 108。视频译码器102是在控制器106的控制之下，用 以略过或译码图帧，当目前图帧Fn允许被译码时，视频译码器102通过对输入比特流S_IN 所传送的目前图巾贞？11进行译码，而将已译码图巾贞（decodedvideoframe)Fn'传送至图巾贞寄 存器108。指示数据估测单元104耦接至视频译码器102,用以由目前图帧Fn的译码来得 到指示数据SI,在本实施方式中,指示数据Sl包含有指示目前图巾JiiFn相对于先前图巾贞（例 如输入比特流S_IN先前所传送的图帧Ftl?Flri)的复杂度（complexity)的信息。控制器 106耦接至视频译码器102与指示数据估测单元104,用以至少参照指示数据Sl以及视频 译码器102的视频译码能力，来控制视频译码器102译码或略过下一图帧Fn+1。信号处理装 置100中这些功能方块的运作与功能将于下详述。
[0022] 请参阅图2,图2为图1所示的信号处理装置所采用的方法的流程图。假如可大致 上得到相同的结果，则步骤不一定要完全遵照图2所示的次序来依序执行。决定下一图帧 是否应该被译码或略过的方法可简单归纳如下：
[0023] 步骤202:译码目前图帧。
[0024] 步骤204:由目前图帧的译码来得到多个特定视频特性的统计结果。
[0025] 步骤206:依据多个特定视频特性的统计结果来产生指示数据。
[0026] 步骤208:至少依据视频译码器的视频译码能力来决定判断临界值（decision threshold)〇
[0027] 步骤210:比较指示数据与判断临界值，以产生比较结果。
[0028] 步骤212 :依据比较结果来控制视频译码器译码或略过下一图帧。
[0029]在本实施方式中，指示数据估测单元104执行步骤204与206来取得指示数据Sl， 例如指示数据估测单元104计算出对应于视频译码器102所译码的目前图帧Fn的多个特定 视频特性的累计值（accumulationvalue)，计算出累计值与由先前图巾贞所得的历史平均值 (historicalaveragevalue)的加权平均值（weightedaveragevalue)，以及依据累计值 与加权平均值来决定出指示数据S1。举例来说（但本发明不限于此），上述用以决定指示 数据的多个特定视频特性可以是位移向量(motionvector)、离散余弦转换系数（discrete cosinetransform(DCT)coefficient)或是宏块类型（分割大小（partitionsize)及分割 类型（partitiontype))。在一实施方式中，传送至控制器106的指示数据SI可以是数值， 其指示出累计值与加权平均值之间的比值（ratio);而在另一实施方式中，传送至控制器 106的指示数据Sl可以包含有累计值与加权平均值。
[0030] 假若目前图帧Fn的译码过程所得到的位移向量被用来决定出指示数据S1，则指示 数据估测单元104可依据以下方程式来得到累计位移向量（accumulatedmotionvector)。
[0031] BlockNum-1 mvFk =? (ImM+ImM) ⑴
[0032] 在上述方程式（1)中，BlockNum代表目前图帧Fn中所具有的区块的总数，以及 MVx，b与MVy，b分别代表由区块索引值（blockindexvalue)b所索引的区块在X轴方向与Y 轴方向上的位移向量。请注意，在一些实施方式中，画面内编码区块（intra-codedblock) 可视为具有无限大的位移向量，因此，当由区块索引值b所索引的区块是画面内编码区块 时，则MVx，b与MVy，b便直接由预定值来加以设定（例如|MVx，bI= |MVy，bI=maxMV)。
[0033] 在得到目前图帧Fn所对应的累计值MFfi之后，指示数据估测单元104便计算累 计值MFpi与由先前图帧（即先前译码的图帧）所得的历史累计值Mrrni的一个加权平均值 ，而加权平均值可以表示如下：
[0034] MV.,. = a：< MVr： +(]-a)xMVF(2)
[0035] 在上述方程式（2)中，α代表一加权因子。历史累计值代表先前的已译码 图帧中位移向量的历史统计结果，因此，加权平均值MF,将会变成历史累计值（其代表先 前的已译码图帧中位移向量的历史统计结果）以计算出下一个加权平均值。
[0036] 接着，指示数据估测单元104依据累计值与加权平均值来决定出指示 数据SI，举例来说，指示数据估测单元104依据累计值MFfi与加权平均值Μ%之间的比值 来决定出指示数据S1，在此实作方式中，指示数据Sl可以表示如下： MV1^
[0037] Sl =-- (3) MVTnV
[0038] 由方程式（3)可知，指示数据SI可以视为目前的已译码图帧的位移向量的统计结 果与先前的已译码图帧的位移向量的历史统计结果的间的比较结果，假若输入比特流S_IN 中每一图帧均具有相同的区块个数，则指示数据SI等效是目前图帧的平均位移向量与时 域上的平均位移向量（即，先前图巾贞的位移向量的移动平均值（movingaverage))之间的 比值（ratio)。
[0039] 控制器106会通过执行步骤208?212来控制视频译码器102译码或略过下一图 MVf 帧Fn+1，因此，控制器106参考比较结果（即)来决定下一图帧Fn+1是要译码还是要 略过，在本实施方式中，控制器106另至少依据视频译码器102的视频译码能力来决定判断 临界值R，因此，控制器106会根据由指示数据Sl与判断临界值R所得到的比较结果，来控 制视频译码器102译码或略过下一图帧Fn+1，举例来说，控制器106直接比较指示数据Sl与 判断临界值R来产生比较结果，并依据比较结果，来控制视频译码器102译码或略过下一图 帧卩"+1。
[0040] 一些因子/参数可以反映出视频译码器102的视频译码能力，例如，控制器106依 据视频译码器图巾贞速率（videodecoderframerate)Rl以及输入图巾贞速率（inputvideo framerate)R2的比值（例如)，来设定判断临界值R。请参阅图3,图3为图2所示的 步骤212的第一种设计范例的流程图。控制视频译码器102译码或略过下一图帧Fn+1的操 作可包含以下步骤：
[0041] 步骤302:检查指示数据Sl是否小于判断临界值R。若是，则执行步骤304,否则， 执行步骤312。
[0042] 步骤304:控制视频译码器102略过下一图帧Fn+1。
[0043] 步骤306:检查视频译码器102的视频译码能力是否不符合（例如低于）预期视 频译码能力。若是，则执行步骤308,否则，执行步骤310。
[0044] 步骤308:对于要被参考以决定图帧Fn+3是否译码或略过的判断临界值R进行调 整。
[0045] 步骤310:将下一图帧Fn+1之后的图帧Fn+2设定为要被译码的目前图帧，接着，执行 步骤204。
[0046] 步骤312:控制视频译码器102译码下一图帧Fn+1。
[0047] 步骤314:检查视频译码器102的视频译码能力是否不符合（例如高于）预期视 频译码能力。若是，则执行步骤316,否则，执行步骤318。
[0048] 步骤316:对要被参考来决定位于下一图帧Fn+1之后的图帧Fn+2是否译码或略过的 判断临界值R进行调整。
[0049] 步骤318:将下一图帧Fn+1设定为要被译码的目前图帧，接着，执行步骤204。
[0050] 请注意，判断临界值R会由视频译码器102的预期视频译码能力所对应的初始值 Rini来加以设定，举例来说，预期视频译码器图帧速率Rlexp以及预期输入图帧速率R2exp会 事先得知，以及判断临界值R会由预期视频译码器图帧速率Rlraip以及预期输入图帧速率 R\ R2exp之间的比值（例如=f)或者跟此比值成比例的数值来加以初始化，因此，当视 exp 频译码器102正在处理输入比特流S_IN的第一个图帧Ftl时，由初始值Rini所设定的判断临 界值R会在步骤302中被使用，此外，判断临界值R可以在处理后续图帧的过程中被适应性 地/动态地更新（步骤308/316)。 MVf
[0051] 当指示数据Sl(例如^")小于目前的判断临界值R时，代表目前图帧Fn相较 于先前的图帧Ftl?Flri具有较低的复杂度，因此，极有可能下一图帧Fn+1相较于先前的图帧Ftl?Fn也会具有较低的复杂度，基于此假设，当指示数据Sl小于目前的判断临界值R时， 控制器102便判定下一图帧Fn+1的译码操作是允许被略过的（步骤302与304)，另一方面， 当指示数据Sl并未小于目前的判断临界值R时，控制器102便判定下一图帧Fn+1的译码操 作应该要被执行（步骤302与312)。
[0052] 如上所述，在本实施方式中，判断临界值R可以适应性地更新，在步骤306中，会检 查视频译码器102的视频译码能力是否低于预期视频译码能力，举例来说，实际视频译码 器图帧速率Rlart以及实际输入图帧速率R2aet的比值（即已译码图帧的个数与输入图帧的 个数的比值）会跟预期视频译码器图帧速率Rlexp以及预期输入图帧速率R2exp的比值进行 比较，当^小于^^时，代表判断临界值R过高而超过所需数值，进而造成太多图帧被 略过，因此，判断临界值R将会被降低以使得后续的图帧有较高机率被译码；另一方面，当 不小于^^时，则不会对判断临界值R进行任何调整。步骤306与308的操作可表 actexP 示如下：
【权利要求】
1. 一种处理具有多个图帧与多个音频帧的输入比特流的方法，包含： 译码上述多个音频帧以产生多个已译码音频采样；以及 当上述多个已译码音频采样正被连续输出以进行音频播放时，控制视频译码器来略过 上述多个图帧之中一部分的图帧。
2. 如权利要求1所述的方法，其特征在于，上述多个图帧之中被略过的一部分的图帧 具有一初始图帧，其位于上述多个图帧中至少一第一图帧之后，以及上述方法另包含： 译码上述至少一第一图帧以产生至少一第一已译码图帧；以及 调整上述至少一第一已译码图帧中每一第一已译码图帧的原始视频显示时间戳记。
3. 如权利要求2所述的方法，其特征在于，上述至少一第一图帧中每一第一图帧是在 视频播放与音频播放不同步之后才被译码，以及上述多个图帧之中一部分的图帧是被略过 以使得视频播放与音频播放再次同步。
4. 如权利要求2所述的方法，其特征在于，上述多个图帧之中被略过的一部分的图帧 具有一结束图帧，其位于上述多个图帧中一第二图帧之前，以及调整上述至少一第一已译 码图帧中每一第一已译码图帧的上述原始视频显示时间戳记的步骤包含： 估计上述至少一第一已译码图帧之前的已译码图帧的视频显示时间点与上述第二图 帧所对应的第二已译码图帧的视频显示时间点之间的时间间隔；以及 依据上述时间间隔来调整上述至少一第一已译码图帧中每一第一已译码图帧的上述 原始视频显示时间戳记。
5. 如权利要求4所述的方法，其特征在于，上述多个图帧之中被略过的一部分的图帧 中的上述初始图帧是位于多个第一图帧之后，以及依据上述时间间隔来调整上述至少一第 一已译码图帧中每一第一已译码图帧的上述原始视频显示时间戳记的步骤包含： 调整上述多个第一图帧所分别译码产生的多个第一已译码图帧的原始视频显示时间 戳记，其特征在于，上述多个第一已译码图帧的相对应的调整后视频显示时间戳记是分布 在上述时间间隔之中。
6. -种处理具有多个图帧与多个音频帧的输入比特流的信号处理装置，包含： 音频译码器，用以译码上述多个音频帧以产生多个已译码音频采样； 视频译码器；以及 控制器，耦接至上述视频译码器，用以在上述多个已译码音频采样正被连续输出以进 行音频播放时，控制上述视频译码器来略过上述多个图帧中一部分的图帧。
【文档编号】H04N21/2343GK104363456SQ201410621031
【公开日】2015年2月18日 申请日期:2011年6月14日 优先权日:2010年6月22日
【发明者】林建良, 谢芳易 申请人:联发科技股份有限公司