专利名称：视频处理方法和相应的编码设备的制作方法
技术领域：
本发明涉及用于处理包含接连的帧的输入图像序列的视频处理方法，所述处理方法包括对于每个帧进行以下步骤a)藉助于以下子步骤预处理每个接连的当前的帧-对每个帧计算所谓的内容改变强度(CCS)；-根据接连的帧和计算出的内容改变强度来规定要被处理的接连的帧的结构；b)处理所述经预处理的帧。
所述方法例如可用于计算机视觉和视频内容分析系统。在这些应用中，由这样的系统在实施所述处理方法时生成的信息，或者可被例如存储在牵涉到使用MPEG-7标准的应用中，或者可被例如直接使用在诸如环境光的控制、可缩放系统中处理的资源分配、安全系统中唤醒触发等那样的应用中。
背景技术：
在视频压缩中，在传输编码视频序列时可以通过(与其它方法一起)减小在接连图像之间的时间冗余度而得到低比特率。这样的减小是基于运动估值(ME)和运动补偿(MC)技术的。然而，对于视频序列的当前帧执行ME和MC需要参考帧(也称为固定帧)。取MPEG2作为例子，规定了不同的帧类型，即I帧、P帧和B帧，对于这些帧所述ME和MC技术的执行是不同的I帧(或内部帧)由它们本身独立地编码，不用参考过去的或将来的帧(实际上，这意味着，在这种情形下，没有执行ME和MC)，而P帧(或前向预测图像)的每个帧是相对于过去的帧编码的(即，带有对以前参考帧的运动补偿)和B帧(或双向向预测图像)是相对于两个参考帧(过去帧和将来帧)而被编码的。B帧和P帧都可用作为参考帧。
为了得到良好的帧预测，这些参考帧需要具有高的质量，即必须花费许多比特来将它们编码，而非参考帧可以具有较低的质量(为此，在MPEG-2的情形下较大数量的非参考帧即B帧通常允许使用较低的比特速率)。为了表示哪些输入帧被处理为I帧、P帧或B帧，在MPEG-2中规定了一种基于图像组(GOP)的结构。更精确地，GOP使用两个参数，其中N是在两个I帧之间的时距以及M是在参考帧(I帧和P帧)之间的时距。例如，通常使用具有N＝12和M＝4的(N，M)-GOP，规定一个“IBBBPBBBPBBB”结构，然后重复进行。
接连的帧通常比起其间具有较长时距的帧具有更高的时间相关性。所以在参考帧与当前的预测帧之间的较短的时间距离一方面导致较高的预测精度，但另一方面暗示可以使用的非参考帧较少。较高的预测质量和较大数量的非参考帧这两者通常都导致较低的比特速率，但它们的作用是互相对立的，因为帧预测质量只能由较短的时间距离所形成。
然而，所述质量也取决于参考帧实际用作为参考的有用性。例如，明显的是，对于正好位于情景改变前的参考帧，正好位于情景改变后的帧相对于所述参考帧的预测是不可能的，虽然它们的帧距离可能只是1。另一方面，在具有稳定的或几乎稳定内容的情景中(如电视会议或新闻)，即使大于100的帧距离仍可导致高质量的预测。
从上面提到的例子，如通常使用的(12，4)-GOP那样的固定的GOP结构看来对于编码视频序列可能是低效的，因为在稳定内容的情形下参考帧的引入太经常，而如果它们刚好处在情景改变之前则其位置是不适当的。情景改变检测是已知的技术，它可用来在帧的良好预测由于情景改变而变为不可能的位置处引入一个I帧(如果在这个位置处没有I帧)。但是，如果帧的内容在具有剧烈运动的某些帧后几乎是完全不同的，情景却又完全没有改变(例如，在单个情景内连续跟踪网球运动员的序列中)，则序列不能从这样的技术获益。
以前的一项由申请人在2003年10月14日提交的、申请号03300155.3(PHFR030124)的欧洲专利申请，描述了用于找出较好的参考帧的方法。所述的以前的解决方案的原理是根据如下面列出的和
图1所示的(其中水平轴相应于所关心的帧的数目和垂直轴相应于内容改变的强度级别)某些简单的法则来测量内容改变的强度(或级别)测量的内容改变的强度被量化为级别(通常，小数目的级别就已足够(例如5个)，虽然级别的数目不是一种限制)，以及I帧被插入在具有0级别的内容改变强度(CCS)的帧的序列的开始端，而在出现CCS的级别增加之前或在出现CCS的水平减小之后插入P帧。测量例如可以是检测水平和垂直边沿的简单的块分类，或根据亮度、运动向量的其它类型的测量。
在MPEG编码情形下这个以前的方法的实施方案的例子示于图2。所显示的编码器包括编码分支101和预测分支102。由分支101编码、接收的信号在DCT与量化模块11中被变换成系数，量化后的系数然后在编码模块13中连同运动向量MV一起被编码。预测分支102接收在DCT与量化模块11的输出端处可得到的信号作为输入信号，该预测分支包括串联的逆量化与逆DCT模块21、加法器23、帧存储器24、运动补偿(MC)电路25和减法器26。MC电路25还接收由运动估值(ME)电路27(可以使用许多类型的运动估值器)根据输入的重新排序的帧(如下面说明的规定的)和帧存储器24的输出所生成的运动向量，这些运动向量MV也被发送到编码模块13，它的输出(“MPEG输出”)以复用的比特流的形式被存储或传送。
编码器的视频输入(接连的帧Xn)在预处理分支103中被预处理。首先，提供GOP结构规定电路31以用于根据接连的帧来规定GOP的结构。然后提供帧存储器32a，32b，...以便在电路31输出端处对可得到的I，P，B帧的序列进行重新排序(参考帧必须根据所述参考帧而在非参考帧之前被编码和被传送)。这些重新排序的帧在减法器26的正输入端处被接收(如上所述，它的负的输入端接收在MC电路25的输出端处可得到的输出预测帧，这些输出预测帧也被发送回加法器23的第二输入端)。减法器26的输出传递帧的差值，这些差值是要由编码分支101进行编码处理的信号。对于GOP结构的定义，最后提供CCS计算电路33，它的输出被发送到电路31。CCS的测量值按上述方式获得。
发明概要因此本发明的目的是，为不同应用提出一种基于所述CCS指示而导致新的结构的处理方法。
为此，本发明涉及如在本发明的引言段落中描述的方法，并且其特征还在于，所述CCS指示在一个视频内容分析步骤中被重新利用，以便为所述内容的任何特性的检测提供另外的输入。
在执行所述方法时，每个帧本身可被划分成子结构，诸如块、分段或任何种类的形状的对象。
本发明的另一个目的是提出根据本发明的原理把所述处理方法应用于去实施一种包括内容分析步骤的视频编码方法。
为此，本发明涉及把按照权利要求1的方法应用于去实施一种用于对包含接连帧的输入图像序列进行编码的视频编码方法，所述编码方法包括对每个接连帧进行以下步骤a)藉助于以下子步骤预处理每个接连的当前帧-对每个帧计算所谓的内容改变强度(CCS)；-根据接连的帧和计算的内容改变强度来规定要被编码的接连帧的结构；-以相对于原始帧序列的次序作过修改的次序来存储要被编码的帧；b)对重新排序过的帧进行编码；其中所述CCS指示在视频内容分析步骤中被重新使用，以便为检测所述内容的任何特性提供另外的输入。
本发明还涉及用于实施所述视频编码方法的设备。
附图简述现在参照附图作为例子描述本发明，图上-图1显示在上面引述的以前的欧洲专利申请中使用的法则，它用于规定要被编码的视频序列的参考帧的位置；-图2显示一种编码器，它允许在MPEG编码情形下执行在所述欧洲专利申请中描述的方法；-图3显示MPEG7处理链的示意性框图；-图4显示执行按照本发明方法的编码器。
发明详细说明本发明的实施例例如可以是以下的实施例。如所公知，近几十年看到大型信息数据库(包括几种类型的媒体，诸如文本、图像、声音等等)的开发，以及所述信息必须被表征、表示、索引、存储、发送和检索。适当的例子例如可以与MPEG7标准(也称为“多媒体内容描述接口”)相关地被提供，以及集中在基于内容的检索问题。这个标准提出描述这样的多媒体内容的一般的方法，即，它规定一个标准的描述符组，这个组可用来描述这些不同类型的多媒体信息，也提出规定这些描述符(描述方案)的关系的方法，以便允许基于各种类型的特性，诸如文本、彩色、结构、运动、语义内容等等得到快速和有效的检索。
为处理任何多媒体内容而提供的可能的MPEG7处理链的示意性框图示于图3。在编码侧，这个处理链包括对所述多媒体内容进行操作的特性提取子组件301；规范子组件302，在其中要应用MPEG7标准，所以为此包括用于产生MPEG7定义语言的模块321和用于定义MPEG7描述符和描述方案的模块322；标准描述子组件303；和编码子组件304。(图3还给出译码侧的示意图，包括译码子组件306，就在编码数据的发送操作之后，或这些已存储的编码数据的读操作之后；以及搜索引擎307，用来回答由用户控制的动作。)然后包括子组件303和304的设备的更详细的视图显示于图4，其中当它们相应于类似的电路时，某些标号是类似于在图2上表示的号码。编码子组件304包括编码分支，其中要被所述分支编码、接收的信号在DCT模块411中被变换成系数，在量化模块412中被量化，量化的系数然后在编码模决413中连同也由所述模块413接收的运动向量MV一起被编码。编码子组件304还包括预测分支，它接收在量化模块412的输出端处可得到的信号作为输入信号，该预测分支包括串联的逆量化模块421、逆DCT模块422、加法器423、帧存储器424、MC电路425和减法器426。MC电路425还接收由ME电路427根据输入的重新排序的帧生成的运动向量(如下面说明的规定的)和帧存储器424的输出，这些运动向量MV，如上所述，也被发送到编码模块413，它的输出(“视频流输出”)以复用的比特流的形式被存储或被传送。
按照这里提出的方法，编码器的视频输入(接连的帧Xn)在预处理分支中被预处理，其中GOP结构规定电路531根据接连帧规定GOP的结构，以及帧存储器532a，532b，...被提供来用于对电路531的输出端处可得到的I，P，B帧的序列进行重新排序(参考帧必须根据所述参考帧在非参考帧之前被编码和被传送)。这些重新排序的帧在减法器426的正的输入端处被接收，如上所述，它的负的输入端接收在MC电路425的输出端处可得到的输出预测的帧(这些预测的帧也被发送回加法器423的第二输入端)，以及它的输出端传递帧差值，这些差值是由编码分支处理的信号。为了规定GOP结构，最后提供了CCS计算电路533，它的输出被发送到电路531，而如上所述地得到的CCS的测量值被发送到内容分析电路540，它实际上是子组件303的主电路。它被连接到规范子组件302，以便规定规范单元，该单元将描述被这样分析的内容。
电路540因此可提供另外的输入，以用于任何种类的检测，例如用于检测原始的视频的属性和状态(mood)，或用于其它类型的处理，例如，用于按照视频概要对所述视频预过滤例如，由于在所述情景中帧的类似性，仅对显示不改变内容的情景的一个帧作进一步处理。
必须看到，本发明不限于前述的实施例，以及可以提出变例和修改方案，而不背离如在所附权利要求中规定的本发明的精神和范围。在这方面，作出以下的结束语。
藉助于硬件或软件项或这二者，有许多实施按照本发明的方法的功能的方式。附图完全是示意性的，仅仅代表本发明的一个可能的实施例。如果附图以不同的块显示不同的功能，则它不排除以单个项的硬件或软件来实现几个功能，也不排除由硬件或软件项或这二者来实现一种功能。所述硬件或软件项可以以几种方式被实施，诸如藉助于连线的电子电路或藉助于以合适的方式而适当编程的集成电路。
在以下的权利要求中的任何标号不应当被看作为限制这些权利要求。显然，动词“包括”和它的变形词的使用不排除在任何权利要求中所规定的以外的其它步骤或单元的存在。在单元或步骤前面的冠词“一个”不排除多个这样的单元或步骤的存在。
权利要求
1.一种用于处理包含接连的帧的输入图像序列的视频处理方法，所述处理方法包括对于每个接连的帧进行以下步骤a)藉助于以下子步骤预处理每个接连的当前的帧-对每个帧计算所谓的内容改变强度(CCS)；-根据接连的帧和计算出的内容改变强度来规定要被处理的接连的帧的结构；b)处理所述经预处理的帧；其中所述CCS指示在一个视频内容分析步骤中被重新利用，以便为所述内容的任何特性的检测提供另外的输入。
2.按照权利要求1的方法，其中每个帧本身被再划分成子结构。
3.按照权利要求2的方法，其中所述子结构是块。
4.按照权利要求2的方法，其中所述子结构是任何种类的形状的对象。
5.按照权利要求2的方法，其中所述子结构是分段。
6.把按照权利要求1的方法应用于去实施一种用于对包含接连的帧的输入图像序列进行编码的视频编码方法，所述编码方法包括对每个接连的帧执行以下步骤a)藉助于以下子步骤预处理每个接连的当前帧-对每个帧计算所谓的内容改变强度(CCS)；-根据接连的帧和计算出的内容改变强度来规定要被编码的接连帧的结构；-以相对于原始帧序列的次序作过修改的次序来存储要被编码的帧；b)对重新排序过的帧进行编码；其中所述CCS指示在视频内容分析步骤中被重新使用，以便为检测所述内容的任何特性提供另外的输入。
7.按照权利要求6的方法，其中每个帧本身被再划分成子结构。
8.按照权利要求7的方法，其中所述子结构是块。
9.按照权利要求7的方法，其中所述子结构是任何种类的形状的对象。
10.按照权利要求7的方法，其中所述子结构是分段。
11.视频编码设备，用于对包含接连的帧组的输入图像序列进行编码，其中每个帧本身被再划分成块，所述编码设备包括对每个接连的帧所应用的以下装置a)被应用到每个接连的当前帧的预处理装置；b)用于估计每个块的运动向量的估计装置；c)用于根据与当前帧的各个块分别相关联的所述运动向量来生成预测的帧的生成装置；d)变换与量化装置，用于对当前帧和上一个预测帧之间的差值信号应用变换以产生多个系数，并随后对所述系数应用量化；e)用于对所述量化的系数进行编码的编码装置；所述预处理装置本身包括以下装置-计算装置，用于对每个帧计算所谓的内容改变强度(CCS)；-规定装置，用于根据接连帧和计算出的内容改变强度来规定要被处理的接连的帧的结构；-存储装置，用于以相对于原先的帧序列的次序被修改过的次序来存储要被编码的帧；其中所述CCS指示在视频内容分析步骤中被重新使用，以便对所述内容的任何特性的检测提供另外的输入。
全文摘要
本发明涉及用于处理包含接连的帧的输入图像序列的视频处理方法，所述处理方法包括对于每个帧进行以下步骤a)藉助于对每个帧计算所谓的内容改变强度(CCS)的第一子步骤和从接连的帧和所述CCS来规定要被处理的接连帧的结构的第二子步骤，预处理每个接连的当前帧，以及b)处理所述经预处理的帧。这些帧可能或优选地被再划分成子结构，诸如块、分段、或任何种类的形状的对象。这个方法可用于例如在视频内容分析系统中的视频编码方法的实施。
文档编号H04N7/26GK1939064SQ200580010323
公开日2007年3月28日 申请日期2005年3月22日 优先权日2004年3月31日
发明者S·米坦斯 申请人:皇家飞利浦电子股份有限公司