专利名称：视频处理的制作方法
技术领域：
本发明涉及视频信号处理。有时需要在时间上压缩视频信号，使其 持续时间短于原始持续时间，或反之延长持续时间。
背景技术：
美国专利5,995,153描述了提供实时视频节目扩展或收缩以使其与 安排好的时段匹配或从节目中产生盈余广播时间以插入广告或通告的方 法。该系统通过帧删减或重复来工作；也就是说，在收缩的情况下，删 除视频信号帧，这可以按照规则的间隔手工实现，或根据存在的运动量 而自适应地进行，使得具有高运动度的帧不被去除。类似地，可删除或 重复各段伴音轨道以进行匹配；假定差分延迟不被人所察觉的情况下， 这也可以根据内容来进行，而不必与视频帧的删除一致。
现在，数字视频编码技术通常使用帧间差分编码。通常，无法在不 产生在视频序列的后续帧中传播的错误的情况下从这样的视频信号中删 减帧。因此，帧删减法变得没有吸引力，因为人们需要在去除帧前对信 号进行解码，随后必须要再次进行编码。
发明内容
根据本发明，提供了如权利要求所定义的方法。
具体实施例方式
现在参考附图
通过示例来说明本发明的一些实施方式。 假设已经使用涉及帧间差分编码的常规方法对视频信号进行了编 码，根据(在本例中)MPEG2标准来编码，当然同一原理也可应用于 H.264和其它标准。来自远程编码器的编码视频信号被输入到缓存〗，尽管在优选的情况下该系统可以处于，甚至集成于该编码器上。信号以该 编码器确定的帧速率到达。控制单元2从该缓存1中读出数据，并通过 输出端3将其发送到远程接收器。
本发明的目标是能在时间上压縮视频信号，使得它在接收器处在比 编码器设想的时间稍短的时段内显示。然而，并不用删减帧，该系统如 下工作。要注意的是，该系统不需要对远程解码器进行任何修改。
在MPEG2中，通过多种机制将解码帧的显示速率通报给解码器
(i) 宣称的帧速率；
(ii) 解码时间戳；
(iii) 呈现时间戳。 我们将依次讨论这些机制。
根据标准ISO/正C 13818-2:2000(E)的6.3.3章节，各序列报头 (Sequence Header)包括以下参数
四位码frame—rate—code,其通报基础帧速率(称为frame—rate—value) 是24000/1001(=23.976...)，24，25，30000/1001(=29.97...),30,50， 60000/1001 (=59.94),或60帧每秒中的一个；
frame—rate—extension—n，两位二进制数，比调节系数的分子小l;
frame—rate—extension—d，五位二进制数，比调节系数的分母小l;
从而在解码器处将实际帧速率确定为
frame—rate^
frame—rate—value * (frame—rate—extension—n + 1)/(fraine—rate—extension—d + 1) 本例中，假设在编码器处设置的帧速率为25帧每秒，因此这些参数 取值如下
frame—rate—value = 25 frame—rate—extension一n = 0 frame—rate—extension一d = 0
控制单元2需要用一个适合于期望的新帧速率的值来替换这些参数 中的-一个或更多个。假如持续时长为一个小时的电视节目将被缩减3分 钟，变成57分钟的持续时间。理想的情况是该帧速率需要增加到原始帧速率的60/57倍，即26.316。
在标准允许的选项内无法精确地实现此帧速率，但是通过以下设置 可实现很好的近似
frame—rate—value — ■ 60
frame—rate—extension一n =3
frame—rate_extension—d =8
所以新的帧速率是
new—frame_rate —■
frame—rate—value * (frame—rate—extension—n + l)/(frame—rate—extension_d+ 1) =60*4/9 = 26.667。
这将实现56分15秒的新的播放时间。这比期望值稍短；如果需要 精确的长度，可通过将该速率变化仅仅应用于节目的一部分而容易地实 现。
一般情况下，该过程是
给出原始持续时间D和新持续时间d。 利用上述公式，由输入参数计算旧的帧速率R。
应当理解，所有输入帧都将被发送至解码器，没有帧会被删除(也
没有增加)，因此期望或目标新速率r可根据i^RD/d计算出。这时可以 简单地选择最接近目标速率的允许速率。但是，我们首选如下处理。
可利用参数的相应值生成关注范围(比如24到60fps)中所有可能 速率的表，并从该表中找出满足r'公的最小速率r'，来获得实际新速率。
应用该速率以得到总持续时间d的时间t为
t = R(D-d)/(r'-R)
现在来讨论时间戳，MPEG2规定(作为传输流(Transport Stream)
规范的一部分) 一些(但不是全部)图像携带限定该图像的解码时间的 解码时间戳，以及限定该图像的显示时间的显示时间戳。事实上不必使 用两个时间戳，且实际上不是所有解码器都使用两个时间戳。但是，除 非事先知道所用解码器的类型，否则有必要调整两种时间戳以匹配新的 帧速率。呈现时向戳(PTS， Presentation time stamp)是一个33位整数，其 指示由携带该时间戳的数据包中的数据表示的第一帧在解码器中的期望 呈现时间。其确切值是呈现时间(单位为秒)与系统时钟频率(通常是 90kHz)的乘积以233取模，四舍五入到最接近的整数。
原则上，各时间戳与帧速率的增大成比例地减小，即乘以R/r'。但是， 在序列中开始新速率的传输之后接着以原始速率进行传输的情况下，或 者在时间戳复位(即时间戳233-1之后是时间戳0)的情况下，需要采取 措施来避免发生中断。
在已经以旧速率开始传输的情况下，需要记录将以新速率发送的第 一帧的时间戳PTS,ef。如下面讨论的，如果该时间戳自身经过调整，则它 是调整后的用于PTS^的输出值，而不是输入值。
然后新速率下的任何后续任意帧n的输入时间戳PTS(n)使其时间相 对该第一帧縮放，以产生新的时间戳PTS'(n)，将该新的时间戳写入输出 数据包报头中，替代旧的时间戳
PTS'(n)=PTSref+NINT{(PTS(n)-PTSref).R/r'}
这里NINT表示"最接近的整数"。
注意如果该时间戳经过复位点，则需要确保该减法和加法执行模
如果(如上所设想的)以增加的帧速率传送之后以原始编码速率继 续传输，则后续帧的时间戳也需要调整。
较高速率下的最后一帧具有如上所述计算出的时间戳。为了便于说 明，将其称为帧m。其输入时间戳PTS(m)与调整后的时间戳PTS'(m)之
间的差表示要施加到后续时间戳上的永久偏移，即对于需要时间戳的任 意后续帧N
PTS'(N) = PTS(N) - (PTS(m) - PTS ('m》.
再次对该减法结果执行模233。
我们观察到在重复地在增加的帧速率下工作时，上述公式可能会导 致不确定地增加的时间偏移。但是，通过使用取模算法，这将不成问题。 或者，不应用该连续校正，可以设置MPEG传输流的中断位，从而按照与输入帧一致的值重新建立时间戳。
MPEG-2中的显示时间戳与呈现时间戳有相同的格式，且用同样方
法进行处理。
在视频序列具有使用MPEG编码的伴音音轨时，可以通过与应用于 视频数据包相同的方式修正应用于该音频数据包的时间戳，来调节播放 速率。或者，可以使用传统技术来在时间上对该音频信号进行压缩。
已经提到了不需要对解码器进行修正。大部分情况下(不是所有情 况)，不需要对显示进行修正。基本上，这里有两种可能情况。 一种是解
码器向监视器输出模拟视频信号这里我们期望扫描电路会轻松地适应
扫描速率的适度提高。另一情况是解码器将解码帧写入到显示缓存内， 随后以相当高的帧速率读出以在监视器上显示。这是基于计算机系统的
情景，其中，在英国，输入的25fps信号被写入显示缓存，随后以大概 60甚至75fps读出。当然这里解码器写入速率的微小改变对显示根本没 有影响。
可以理解，在本发明的情况下，如现有技术的系统中一样，可以抑 制或限制本方法对于视频序列的选定部分(根据图像内容手动或自动选 择的)的应用。这自然需要比针对整个传输时间的目标帧速率更高的瞬 时帧速率。如果认为目标速率和上述最低标准速率之间的差不足，则有 必要选择稍微高点的速率。
在H.264标准的情况下，该实施方式类似于MPEG2;存在整体vui (视频可用性信息)表帧速率。当结合RTP使用时，可以使用该RTP时 间戳。
如果不是提高帧速率以在时间上縮短视频，而是希望降低帧速率以 扩展时间尺度，则处理还是如上所述，只是当然新的持续时间d大于D(并 因此r〉1)，而且，如果需要精确的持续时间，则r'为满足r'》的最大速率。
权利要求
1、一种处理编码视频信号的方法，该视频信号包含在解码器处对该信息的解码帧速率起决定作用的一个或更多个定时参数，该方法包括以下步骤缓存所述视频信号，响应于指定对所述信号应用时间压缩还是扩展的命令，根据所述定时参数和所指定的压缩计算至少一个修正参数，以及利用所述修正定时参数代替所接收的定时参数而输出所述视频信号。
2、 如权利要求l所述的方法，其中，所述定时参数包括指定帧速率 的参数。
3、 如权利要求1或2所述的方法，其中，所述定时参数包括至少一 个指定帧的解码时间的时间戳。
4、 如权利要求i、 2或3所述的方法，其中，所述定时参数包括至 少一个指定帧的解码时间的时间戳。
5、 如上述任一权利要求所述的方法，用于具有从多个预定的离散帧 速率中指定一个帧速率的定时参数的信号格式，所述方法包括根据所接 收到的指定帧速率的定时参数和所指定的压缩求出期望的帧速率，并选 择所述离散帧速率中最接近于所述期望帧速率的一个。
6、 如权利要求l到4中任一个所述的方法，其中，所述命令指定了 时间压缩，并且该方法用于具有从多个预定的离散帧速率中指定一个帧 速率的定时参数的信号格式，包括根据所接收到的指定帧速率的定时 参数和所指定的压縮求出期望的帧速率，并选择所述离散帧速率中大于 或等于所述期望帧速率的最小的一个。
7、 如权利要求l到4中任一个所述的方法，其中，所述命令指定了时间压缩，并且该方法用于具有从多个预定的离散帧速率中指定一个帧 速率的定时参数的信号格式，包括根据所接收到的指定帧速率的定时 参数和所指定的压缩求出期望的帧速率，并选择所述离散帧速率中小于或等于所述期望帧速率的最大的一个。
8、如权利要求6或7所述的方法，所述方法还包括计算比建议的传 输时段短的时间段，在该时间段中，应用所选择的帧速率，使得在所期 望的传输时段上的平均帧速率基本上等于所述期望帧速率。
全文摘要
对编码视频信号进行处理，使得解码器处的显示短于(或，如期望的，长于)编码时的设想时间。该视频信号包含在解码器处对该信号的解码帧速率具有决定作用的一个或更多个定时参数。该方法包括缓存输入的视频信号，根据所述定时参数和所指定的压缩(或扩展)计算出至少一个修正参数，并利用所述修正定时参数代替所接收到的定时参数而输出所述视频信号。所述参数可包括指定帧速率的参数，至少一个指定帧的解码时间的时间戳，和/或至少一个指定帧的解码时间的时间戳。
文档编号H04N7/24GK101449584SQ200780018787
公开日2009年6月3日 申请日期2007年4月18日 优先权日2006年5月26日
发明者理查德·詹姆士·雅各布 申请人:英国电讯有限公司