专利名称：视频信号处理设备和视频信号处理方法、视频信号编码设备和视频信号编码方法、及程序的制作方法
技术领域：
另一方面，当以比GOP更精细的单位，即以帧为单位执 行提取时，由于画面之间引用关系的存在，需要进行解码处理。最简 单的方法是在解码所有编码数据之后提取预定片段。在智能渲染编辑中，例如，进行编辑以从如图1的部分A 所示的顺序编码视频信号中提取任意片段的情况下，只有分别包括所 提取片段的前端和末端的GOP被单独解码以提取所期望的帧，所述 帧被重新编码。
6
此外，在不同于位于所提取片革殳前端的GOP和末端的GOP的中间部分，编码视频信号如同不经过解码就被提取。如上所述，当编码视频信号受到智能渲染编辑时，发生参数的重写。因此，当H.264/AVC编码视频信号受到智能渲染编辑时，也发生参数的重写。参数的重写可导致预定数据序列被修改，使得已经被插入的EPB消失(因为不再需要)，或者相反地，使得EPB被插入(因为出现预定数据序列)。以这种方式，由智能渲染编辑导致的EPB的消失或EPB的插入在此后被称作EPB问题。本发明是在这种情况下做出的，当编码视频信号受到智能渲染编辑时，意图防止出现EPB问题，或解决已经出现的EPB问题。技术方案本发明的第一方面的视频信号处理设备是视频信号处理设备，其对以编码视频信号的帧为单位指定的片段执行智能渲染编辑，包括确定装置，用于确定在输入的编码视频信号中是否已经采取了 EPB问题出现防止对策；智能渲染编辑装置，用于解码和重新编码以所输入的编码视频信号的帧为单位指定的片段的前端部分和末端部分，以及将所述片段的不包含在所述前端部分或所述末端部分中的中间部分直接输出而不解码所述中间部分；以及EPB问题解决装置，用于检测表示第一事件或第二事件的EPB问题的出现，所述第一事件中，通过根据重新编码而重写编码视频信号中的预定参数，新EPB被插入到经过编辑的编码视频信号中，所述笫二事件中，编辑之前已经存在的EPB消失，当发生所述第一事件时，删除预先插入到所述编码视频信号中的相应于所述插入的EPB的填充符或预定数据，以及当所述第二事件发生时，将相应于已经消失的EPB的填充符插入所述编码视频信号中，其中当通过所述确定装置确定所输入的编码视频信号中已经采取了 EPB问题出现防止对策时，所述EPB问题解决装置的处理过程被省略。本发明第一方面的视频信号处理方法是视频信号处理设备的视频信号处理方法，所述视频信号处理设备对以编码视频信号的帧为单位指定的片段执行智能渲染编辑，包括步骤确定所输入的编码视频信号中是否已经采取了 EPB问题出现防止对策；无论是否已经采取所述EPB问题出现防止对策，都执行智能渲染编辑，其中以所输入的编码视频信号的帧为单位指定的片段的前端部分和末端部分被解码和重新编码，以及其中没有包括在所述片段的前端部分或末端部分中的中间部分未经解码而被直接输出；以及仅当确定没有采取EPB问题出现防止对策时，才执行如下问题解决过程检测表示第一事件或第二事件的EPB问题的出现，所述第一事件中，通过根据所述重新编码而重写所述编码—见频信号中的预定参数，新EPB被插入到经过编辑的编码视频信号中，所述第二事件中，在编辑之前已经存在的EPB消失，当所述第一事件发生时，删除预先插入所述编码视频信号中的相应于所述插入的EPB的填充符或预定数据，以及当所述第二事件发生时，将相应于已经消失的EPB的填充符插入到所述编码视频信号中。在本发明的第 一方面，确定在输入的编码视频信号中是否采取了 EPB问题出现防止对策；仅当确定没有采取EPB问题出现防止对策时，EPB问题的出现表示第一事件，其中通过根据重新编码重写编码视频信号中的预定参数，新EPB被插入到经过编辑的编码视频信号中，或者表示第二事件，其中检测到编辑之前已经存在的EPB消失；以及当发生第一事件时，预先插入编码视频信号中的相应于插入的EPB的填充符或预定数据被删除。可替换地，当发生第二事件时，执行EPB问题解决进程，其中相应于已经消失的EPB的填充符被插入到编码视频信号中。根据本发明的第一方面，可以解决当编码视频信号被智能渲染编辑时出现的EPB问题。根据本发明的第二方面，可对视频信号进行编码使得当执行智能渲染编辑时不引起EPB问题。 ；
图l是解释智能渲染编辑的图；图2是解释EPB问题的图3是示出本发明所应用的编辑设备的示例结构的方块图；图4是解释编辑设备所执行的提取处理过程的流程图；图5是示出通用个人计算机的示例结构的方块ii图6是解释作为EPB问题出现防止对策的参数比特长度设置过程。
附图才示^己图3示出了编辑设备的示例结构，其构成了本发明的一个 实施例。编辑设备10被设计为通过使用智能渲染编辑从前一级输入 的根据H.264/AVC方案编码的编码视频信号(也描述为H.264/AVC 流)中提取以帧为单位的任意指定片段。
0033编辑设备10由下述构成操作输入单元ll,其输入用户 的操作以指定提取片段；控制单元12，其控制编辑设备10的各个单 元；切换单元13，其在H.264/AVC流中将包括位于提取片段前端的 帧的GOP和包括位于提取片段末端的帧的GOP输出到重新渲染路 径，并且提取片段中的不被重新编码的中间部分输出到智能渲染路 径；解码器14，其解码通过重新渲染路径的H.264/AVC流输入；编 码器15,其再次对包含在作为解码的结果而获得的视频信号的提取片 段中的画面进行编码；和重写单元16，其根据智能渲染编辑来重写重 新编码部分和中间部分中的预定参数，以将所述结果输出至后续级。
0034注意到编辑设备10的输入被认为包括，采取了应对实行 智能渲染编辑时出现的EPB问题的对策(此后称为EPB问题出现防 止对策，其详细信息将在下面描述)的H.264/AVC流，以及没有采 取EPB问题出现防止对策的H.264/AVC流。假设采取了 EPB问题出 现防止对策的H.264/AVC流中嵌入有表示该事实的智能渲染指示符。 [0035需要在重写单元16中重写的参数包括至少如下三种参数 cpb—removal—delay@ Picture Timing (画面时序)SEI (此后称 作参数PI)
12frame_num@ Slice header (片段首部)(此后称作参数P2 ) pic—order cnt_lsb@ Slice header (it匕后称作参数P3 )0036上述参数PI至P3的比特长度分别由参数Pl，至P3，指定
如下
参数Pl， cpb_removal_delay—length—minusl@HRD参数
参数P2， log2_max_frame—num_mimis4@ Sequence parameter set (序列参数设置)
参数 P3， log2—max—pic_order_cnt—lsb—minus4@ Sequence parameter set (序歹'J参数设置)注意，开始该处理之前，假设用户已经使用操作输入单元 11指定了将从顺序H.264/AVC流中提取的片段，并且已经将该操作 的信息通知所述控制单元12。[0042j在步骤Sl,切换单元13根据控制单元12的控制来检测嵌入在前一级输入的H.264/AVC流中的智能渲染指示符，以确定是否已经采取了 EPB问题出现防止对策。如果确定已经釆取了 EPB问题出现防止对策，则处理继续到步骤S2，其中执行智能渲染编辑。连续地执行智能渲染编辑，直到在步骤S3确定编辑处理结束为止。然后，从前一级输入的H.264/AVC流中的中间部分(其跟随着GOP输出到重新渲染路径)通过智能渲染路径被输出至重写单元16。尽管使用重写单元16将预定参数以类似于重新编码部分的方式重写，但是因为将被重写的参数的比特长度受到EPB问题出现防止对策的限制，所以不会出现EPB问题。随后，跟随中间部分通过智能渲染路径输出的GOP通过重新渲染路径输出至解码器14，并且被解码器14解码。作为解码结果而获得的视频信号被输出至编码器15。包含在作为解码结果而获得的视频信号的提取片段中的帧被编码器15提取和再次编码。结果被输出至重写单元16，并且由重写单元16重写预定参数。注意，由于将要重写的参数的比特长度受到EPB问题出现防止对策的限制，所以不会出现EPB问题。因此，智能渲染编辑被执行而不会导致EPB问题。在步骤S6，重写单元16确定是否由于在智能渲染编辑处 理过程中重写参数而出现EPB问题。如果确认没有出现EPB问题， 则处理返回步骤S4并且重复后续处理。如果在步骤S6确定出现了 EPB问题，则处理进行至步骤S7。注意，如果在步骤S8确定H.264/AVC流中没有相应于至 少所述插入的EPB的可删除填充符，或者如果在步骤S10确定相应 于所述删除的EPB的填充符无法插入H.264/AVC流中，则不可能解 决所出现的EPB问题。因此，当前正在处理的智能渲染编辑被放弃， 并且处理进行至步骤S12。在步骤S12，当前正在处理的智能渲染编 辑被停止，并且全部提取片段从切换单元13输出到重新渲染路径， 以解码和重新编码全部的提取片段。相应的，重新渲染编辑结束。然而，如果在步骤S8还确定在H.264/AVC流中不存在相 应于至少所述插入的EPB的可删除填充符，只要不破坏标准，可以 通过仅减少插入其中的具有冗余参数等的EPB来实现智能渲染编辑。[0052这里，待删除的冗余参数的例子可包括具有表示该参数存 在的标志信息的例子。通过将表示该参数存在的标志信息从1 (存在) 修改为0 (不存在)，该参数被视作不存在，并且可以类似于填充符 的方式删除该参数的比特长度。另一个例子为具有指明参数的比特长度的比特长度信息 的例子。通过将某个参数的比特长度信息修改为短值，可以类似于填 充符的方式删除原始比特长度和变化后的比特长度之间的差。输入/输出接口 55连接到下列单元输入单元56，其包括 例如键盘或鼠标的输入装置，用户通过该输入装置输入操作命令；输 出单元57,包括诸如CRT (阴极射线管)显示器或LCD (液晶显示 器)的显示器，其上显示有操作屏幕等；存储单元58，其存储程序或 各种数据，例如硬盘驱动器；以及通信单元59，其包括调制解调器、 LAN(局域网)适配器等，并且通过诸如因特网的网络执行通信处理。 输入/输出接口 55还进一步连接到驱动器60，其从记录介质61读取 和记录数据，所述记录介质61可以为例如磁盘(包括软盘)、光盘 (包括CD-ROM (压缩盘只读存储器)和DVD (数字通用盘))、 磁光盘(包括MD (迷你盘))或半导体存储器。注意到个人计算机50除了执行设置参数Pl至P3的比特 长度的处理外，还可以根据H.264/AVC方案对视频信号进行编码。接下来，将参照图6的流程图来解释设置参数Pl至P3的 比特长度的过程，其通过个人计算机50执行程序而实现。注意到该 处理过程为需要在智能渲染编辑中重写的每个参数Pl至P3而执行。 此外，在智能渲染编辑中需要重写的参数不限于上述的参数Pl至P3。 下面将在参数Pl ( cpb_removaI—delay@ Picture timing SEI)的上下 文中进行描述。在步骤S21， CPU 51执行的程序集中在H.264/AVC编码 视频信号的数据串中的参数Pl，并且指定紧接在参数Pl之前的位置， 在该位置已经建立了字节对准(byte alignment)。并且，在所有参数P1至P3的比特长度已经设定的情况下， 设定的比特长度反映在编码视频信号包含的参数Pl，至P3，中。指示已 经采取了 EPB问题出现防止对策的智能渲染指示符被进一步嵌入在 编码视频信号中。注意到，例如，指明参数P1至P3的比特长度的参数P1， 至P3，分别具有下述值
参数Pl， cpbremoval—delay—length—minusl=15 : dpb—output_delay」ength_mumisl=5
参数P2， log2—max—frame—num—minus4=0
参数P3， log2—max_pic_order_cnt—lsb_minus4=0如上面解释的那样，根据参数比特长度设置处理，可设定 参数P1至P3的比特长度，使得无论它们变化到什么值，都不会出现 EPB问题。本说明书中，基于程序所执行的步骤包括以这里描述的次 序顺序执行的处理过程，并且还包括并行或单独执行的处理过程，而 不必是顺序的。
[0075注意到本发明的实施例不限于上述实施例，并且在不脱离 本发明范围的情况下可进行各种修改。
19
权利要求
1. 一种视频信号处理设备，其对以编码视频信号的帧为单位指定的片段进行智能渲染编辑，包括确定装置，用于确定在输入的编码视频信号中是否已经采取了EPB(竞争阻止字节)问题出现防止对策；智能渲染编辑装置，用于解码和重新编码以所输入的编码视频信号的帧为单位指定的所述片段的前端部分和末端部分，以及将所述片段的未包含在所述前端部分或所述末端部分中的中间部分直接输出而不解码所述中间部分；以及EPB问题解决装置，用于检测表示第一事件或第二事件的EPB问题的出现，所述第一事件中，通过根据重新编码而重写编码视频信号中的预定参数，新EPB被插入到经过编辑的视频信号中，所述第二事件中，编辑之前已经存在的EPB消失，当发生所述第一事件时，删除预先插入到所述编码视频信号中的相应于所述插入的EPB的填充符或预定数据，以及当所述第二事件发生时，将相应于已经消失的EPB的填充符插入所述编码视频信号中，其中当通过所述确定装置确定所输入的编码视频信号中已经采取了EPB问题出现防止对策时，所述EPB问题解决装置的处理过程被省略。
2. 根据权利要求1的视频信号处理设备，其中所述确定装置基 于表示是否已经采取了 EPB问题出现防止对策的信息来确定是否已 经采取了 EPB问题出现防止对策，所述信息包含在所输入的编码视 频信号中。
3. 根据权利要求1的视频信号处理设备，其中所述EPB问题出 现防止对策包括对所述预定参数的比特长度限制。
4. 一种对以编码视频信号的帧为单位指定的片段执行智能渲染 编辑的视频信号处理设备的视频信号处理方法，包括步骤确定所输入的编码视频信号中是否已经采取了 EPB (竟争阻止字节)问题出现防止对策；无论是否已经采取所述EPB问题出现防止对策，执行智能渲染 编辑，其中以所输入的编码视频信号的帧为单位指定的所述片段的前 端部分和末端部分被解码和重新编码，以及其中未包含在所述片段的 前端部分或末端部分中的中间部分未经解码而被直接输出；以及仅当确定没有采取EPB问题出现防止对策时，执行如下EPB问 题解决过程检测表示第一事件或第二事件的EPB问题的出现，所 述第一事件中，通过根据所述重新编码而重写所述编码视频信号中的 预定参数，新EPB被插入到经过编辑的编码视频信号中，所述第二 事件中，在编辑之前已经存在的EPB消失，当所述第一事件发生时， 删除预先插入所述编码视频信号中的相应于所述插入的EPB的填充 符或预定数据，以及当所述第二事件发生时，将相应于已经消失的 EPB的填充符插入到所述编码视频信号中。
5. —种用于控制视频信号处理设备的程序，所述视频信号处理 设备执行以编码视频信号的帧为单位而指定的片段的智能渲染编辑， 所述程序使计算机执行包括下列步骤的处理确定所输入的编码视频信号中是否已经采取了 EPB (竟争阻止 字节)问题出现防止对策；无论是否已经采取所述EPB问题出现防止对策，执行智能渲染 编辑，其中以所输入的编码视频信号的帧为单位而指定的所述片段的 前端部分和末端部分被解码和重新编码，以及其中未包含在所述片段 的前端部分或末端部分中的中间部分未经解码而被直接输出；以及仅当确定没有采取EPB问题出现防止对策时，执行如下EPB问 题解决过程检测表示第一事件或第二事件的EPB问题的出现，所 述第 一事件中，通过根据所述重新编码而重写所述编码视频信号中的 预定参数，新EPB被插入到经过编辑的编码视频信号中，所述第二 事件中，在编辑之前已经存在的EPB消失，当所述第一事件发生时， 删除预先插入所述编码视频信号中的相应于所述插入的EPB的填充 符或预定数据，以及当所述第二事件发生时，将相应于已经消失的EPB的填充符插入到所述编码视频信号中。
6. —种视频信号编码设备，其根据预定编码方案对视频信号进 行编码，包括设置装置，用于设置包含在作为编码结果而获得的编码视频信号 中的预定参数的比特长度在小于所述预定编码方案所允许的范围内， 作为智能渲染编辑中的EPB (竟争阻止字节)问题出现防止对策；以 及编码装置，用于根据所述设置的结果而编码所述视频信号，以及 在作为编码结果而获得的所述编码视频信号中包括表示所述预定参数的比特长度受到限制的信息。
7. 根据权利要求6的视频信号编码设备，其中所述设置装置模 拟紧接在所述编码视频信号中所述预定参数之前的数据序列，并且设 置所述预定参数的比特长度，使得无论所述预定参数被设置为何值都 不会出现其中将要插入EPB的数据序列。
8. —种视频信号编码设备的视频信号编码方法，其根据预定编 码方案对视频信号进行编码，包括步骤设置包含在作为编码结果而获得的编码视频信号中的预定参数 的比特长度在小于所述预定编码方案所允许的范围内，作为智能渲染 编辑中的EPB (竟争阻止字节)问题出现防止对策；以及根据所述设置的结果而编码所述视频信号，并且在作为编码结果 而获得的所述编码视频信号中包括表示所述预定参数的比特长度受 到限制的信息。
9. 一种用于控制根据预定编码方案对视频信号进行编码的视频 信号编码设备的程序，所述程序使计算机执行包括下列步骤的处理设置包含在作为编码结果而获得的编码视频信号中的预定参数 的比特长度在小于预定编码方案所允许的范围内，作为智能渲染编辑 中的EPB (竟争阻止字节)问题出现防止对策；以及根据所述设置的结果而编码所述视频信号，并且在作为编码结果 而获得的所述编码视频信号中包括表示所述预定参数的比特长度受到限制的信息。
全文摘要
本发明涉及视频信号处理设备和视频信号处理方法、视频信号编码设备和视频信号编码方法以及程序，其当编码视频信号被智能渲染编辑时可解决有关的EPB问题。在提取处理过程中，如果H.264/AVC流中已经采取了EPB问题出现防止对策，则执行智能渲染编辑而不监视EPB问题的出现。如果没有采取所述对策，则在执行智能渲染编辑的同时还监视EPB问题的出现。并且，当发生插入EPB的EPB问题时，相应于所插入的EPB的填充符或预定参数被删除。当发生删除EPB的EPB问题时，相应于被删除的EPB的填充符被插入。本发明可应用于使用H.264/AVC方案处理视频信号的装置。
文档编号H04N5/91GK101485200SQ200780025668
公开日2009年7月15日 申请日期2007年7月13日 优先权日2006年7月13日
发明者北村卓也, 江岛公志, 智 隈, 鹿岛浩司 申请人:索尼株式会社