专利名称：确定参考帧的方法及其装置的制作方法
技术领域：
本发明涉及多视点视频编码技术领域，特别是一种确定参考帧的方法以 及一种确定参考帧的装置。
背景技术：
随着多媒体通信技术的发展，人们不再满足于传统的固定视点视频以及二维(2D)平面视频，从而在娱乐、教育、观光和外科医学等许多应用领 域内出现了对于自由视点视频和三维(3D)视频的需求。例如，能够由观 看者选择视角的自由视点电视(FTV)、以及向处于不同位置的观看者播放 不同视角视频的三维电视(3DTV)。上述应用都要求使用多个摄像机在不 同的空间位置以不同的角度同时获取同 一场景的视频信号，并且还要求有效 地对所获得的一组视频信号进行压缩编码和传输。所获得的这一组视频被称 为多视点视频，而对它们进行压缩编码的过程被称为多视点视频编码。显然， 多#见点#见频编码是实现上述所有自由^L点-〖见频类和3D ^L频类应用的一项关 键技术。HHI提出了 一种与高级视频编码(Advanced Video Coding, AVC )兼容 的多视点视频预测结构一一分等级B帧预测结构。该技术充分利用了单个视 点视频内部视图的时间相关性以及不同视点视图间的相关性进行预测编码， 能够获得较高的编码增益。图1所示的是基于AVC的视图间分等级B帧预 测结构，其中S0、 Sl、 ... S7是每个视图的序号，T0、 Tl、 T2、 ...T3表示 不同的时间点。由图l可以看出，S0是采用H.264的编码方式单独编码的 视图，不需要其它视图做预测；S2、 S4、 S6、 S7仅有一个视图作为其参考 帧；Sl、 S3、 S5利用上下相邻视图做预测，从而去除视图间的冗余信息。H.264是目前为止最新的视频编码标准，在压缩效率、抗误码特性和网 络接入等性能上都有巨大的提高。直接(DIRECT)模式是一种有效的帧间 编码模式，它的运动矢量(MV)和参考帧索引(refldx)信息通过已编码块 的MV和refldx信息推导得出，不需要传送，从而能够节省一定的码率。 H.264中的DIRECT模式包含时域DIRECT模式和空域DIRECT模式两种。 其中，时域DIRECT模式是指MV由其最邻近的后向参考帧相同位置块的 MV推导得出，而空间DIRECT模式的MV信息和refldx信息是由当前编码 块的相邻块的MV和refldx推导得出。H.264中的空间DIRECT模式主要包括两大步骤首先完成参考帧选择 过程，其次完成MV的推导过程。图2给出了当前块的相邻块的示意图，其 中E块为当前编码块，A块为E的左块，B块为E的上块，C块为E的右 上块，并且当C块不存在时，用左上的D块来代替C块。在现有的空间DIRECT模式中，参考帧的选择机制如下选取A、 B、 C块中最小的有效参考帧索引refldx作为当前块DIRECT模式的参考帧。这 里的有效refldx是指大于0的refldx。当某个块仅采用单向预测时，未使用 的一侧的refldx等于-1。另夕卜，在现有的空间DIRECT模式中，MV推导过程如下默认选用A、 B、 C块MV的平均值作为当前块E的MV;并且，如果A、 B、 C中4又有一 个块的参考帧与当前块的参考帧相同时，优先选择该块的MV作为当前块E 的MV。在上述空间DIRECT模式的参考帧选择机制中，参考帧选择3个邻近块 中最小的非负refldx作为当前块的参考帧。该机制认为refldx越小的参考帧 与当前块越相似。但是，在多视点编码时，参考帧列表中同时存放了两种性质的参考帧。 一种是与当前帧处于同一视图的参考帧，称为视图内参考帧；另--种是与当 前帧处于同一时刻但属于不同视图的参考帧，称为视图间参考帧。例如，在 图1中，编码S1视图中T2时刻的帧时，SI中T0和T4时刻的帧是其视图内参考帧，而SO中T2和S2中T2时刻的帧为其视图间参考帧。多视点编码中的参考帧管理机制仍旧沿用H.264中的机制，采用两个参 考帧列表。不同的是先存放视图内参考帧，然后存放视图间参考帧，由于先 存放的参考帧的refldx较小，所以视图内参考帧的refldx总是小于视图间参 考帧的refldx。那么，依据空间DIRECT的参考帧选择机制，只要三个邻近 块中有一个块选视图内参考帧作为参考帧，那么当前块的参考帧将会选成视 图内参考帧。然而，如果三个邻近块中有两个块选视图间参考帧作为参考帧， 那么在一定程度上说明视图间相关性更强一些。但是，现有的机制导致了采 用视图间参考帧作为参考帧的DIRECT模式出现的概率非常d 、，从而降低了 编码的效率。发明内容有鉴于此，本发明提出了一种确定参考帧的方法，用以合理地选择参考 帧。本发明还提出了一种确定参考帧的装置。本发明提供了一种确定参考帧的方法，该方法包括计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况 下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下 的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参 考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。该方法进一步包括设置标志位，用以表示当前数据块的参考帧是否为 视图间参考帧。该方法进一步包括在选取视图内参考帧情况下的性能指标优于选取视 图间参考帧情况下的性能指标时，将所述视图内参考帧确定为当前数据块的 参考帧；和/或，在选取视图内参考帧情况下的性能指标等于选取视图间参 考帧情况下的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考帧。该方法进一步包括设置标志位，用以表示当前数据块的参考帧为视图 内参考帧或者视图间参考帧。所述计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧 情况下的性能指标之前进一步包括在参考帧列表中选取视图内参考帧和视 图间参考帧作为当前数据块的参考帧。该方法进一步包括改变参考帧列表中参考帧的排列顺序。在上述技术方案中，所述性能指标为比特率、失真率或者代价。本发明还提供了一种确定参考帧的装置，该装置包括性能指标计算模块，用于计算选取视图内参考帧情况下的性能指标以及 计算选取视图间参考帧情况下的性能指标；参考帧确定模块，用于比较所述选取视图内参考帧情况下的性能指标与 选取视图间参考帧情况下的性能指标，并在选取视图间参考帧情况下的性能 指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定 为当前块的参考帧。所述参考帧确定模块进一步用于设置用以表示当前块的参考帧是否为 视图间参考帧的标志位。所述参考帧确定模块进一 步用于在选取视图内参考帧情况下的性能指 标优于选取视图间参考帧情况下的性能指标时，将所述视图内参考帧确定为 当前块的参考帧，和/或，在选取视图内参考帧情况下的性能指标等于选取 视图间参考帧情况下的性能指标时，将所述视图内参考帧或者视困间参考帧 确定为当前数据块的参考帧。所述参考帧确定模块进一步用于设置用以表示当前块的参考帧为视图 内参考帧或者视图间参考帧的标志位。该装置进一步包括选取模块，用于在参考帧列表中选取作为当前数据 块参考帧的视图内参考帧和視图间参考帧，并提供给所述性能指标计算模 块。从上述方案中可以看出，由于本发明计算了在选取视图内参考帧作为当 前编码数据块参考帧情况下的性能指标以及在选取视图间参考帧作为当前 编码数据块参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性 能指标优于逸取视图间参考帧情况下的性能指标时，将所述视图间参考帧确 定为当前数据块的参考帧，从而使得合理地选择了参考帧，避免了现有技术 在任何情况下都不会选择视图间参考帧作为当前编码数据块的参考帧的缺陷，也使得采用视图间参考帧作为参考帧的DIRECT模式能够以更高的高率 出现。由于能够在性能指标更佳的情况下进行编码，所以本发明还提高了编 码的效率。而且，由于提高了 DIRECT模式出现的概率，而DIRECT模式无 需进行运动估计也无需携带MV和refldx，所以本发明还进一步提高了编码 的效率，降低了编码的数据量。
图1为基于AVC的视图间分等级B帧预测结构； 图2为当前块的临近块的示意图；图3为本发明实施例中确定参考帧的方法的流程示意图； 图4为本发明实施例中确定参考帧的装置的结构示意图； 图5为采用JMVM2和本发明实施例方法时选取DIRECT模式的数目图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明 进一步详细说明。多視点编码的主要目的是为了去除视图间的相关性，现有的工作主要围 绕这个问题在做。联合视频组(JVT)建立了一些核心实验，如亮度补偿、 视图合成等。具体到编码层，就是希望采用视图间参考帧的比例有所增加。 DIRECT模式在提高压缩效率方面起着比较重要的作用。根据前面的分析，采用视图间参考帧作为参考帧的DIRECT模式的概率非常小。本发明的实施例考虑到时间相关性和视图间相关性的独立性，分别对视 图内参考帧和视图间参考帧做DIRECT模式，选择性能指标较佳的一个作为 空间DIRECT模式的参考帧。当前编码的数据块可以是块(block)、宏块(macro block)等，在下 面的说明中以块为代表进行描述。在本发明实施例中，同时还可以添加表示参考帧是视图内参考帧或视图 间参考帧的标志位Direct—rps_flag。例如，如果Direct_rps_flag等于0 ，采用 视图内参考帧；如果Direct—rps—flag等于1 ，采用视图间参考帧。采用本方 法可以充分地比较当前编码块的视图相关性和时间相关性。图3为本发明实施例中确定当前块空间DIRECT模式的参考帧的流程示 意图。参照图3，该方法包括以下流程步骤101,在参考帧列表中选取视图内参考帧作为当前块空间DIRECT 模式的参考帧，从而做一次空间DIRECT模式并计算此时的性能指标。性能 指标可以采用比特率、失真率、代价等等，在下面的描述中以代价为例进行 说明，但是在具体应用中可以选取其它的性能指标。在参考帧列表中选取视图内参考帧具有许多种方法。例如，根据参考帧 信息中的视图识别标识来选取，视图识别标识与当前块的视图识别标识一致 的参考帧为视图内参考帧，而视图识别标识与当前块的视图识别标识不 一致 的参考帧为视图间参考帧，因此在这里选取视图识别标识与当前块的视图识 别标识一致的参考帧。另外，也可以利用视频的播放顺序来选取，时间点与 当前块的时间点不同的参考帧为视图内参考帧，时间点与当前块的时间点相 同的参考帧为视图间参考帧，因此在此选取时间点与当前块的时间点不同的 参考帧。需要说明的是，本发明并不局限于这些方法。步骤102，推导在上述选取视图内参考帧作为当前块空间DIRECT模式 的参考帧情况下的MV。例如，可以使用现有的方法推导MV,这里不再赘 述。然后，计算这种情况下的代价cost intra view。可以采用多种方法来计算代价costjntra—view。举例来说首先，根据 所述视图内参考帧和推导出的MV得到重建帧；接着，根据重建帧和当前帧 计算得到失真率；然后，裉据失真率和编码的比特率计算得到 cost—intra—view,例如将失真率和比特率相成得到一个cost—inter」"ew。这里 介绍的是一种较为简单的例子，在现有技术中还有其它许多计算代价的方 法，这里不——描述，并且本发明并不局限于上述方法。步骤103,在参考帧列表中选择视图间参考帧作为当前块空间DIRECT 模式的参考帧，从而也做一次空间DIRECT模式并计算此时的性能指标。同样，在参考帧列表中选取视图间参考帧具有许多种方法。例如，根据 参考帧信息中的视图识别标识来选取，视图识别标识与当前块的视图识别标 识一致的参考帧为视图内参考帧，而视图识别标识与当前块的视图识别标识 不一致的参考帧为视图间参考帧，所以在这里选取视图识别标识与当前块的 视图识别标识不一致的参考帧。另外，也可以利用视频的播放顺序来选取， 时间点与当前块的时间点不同的参考帧为视图内参考帧，时间点与当前块的 时间点相同的参考帧为视图间参考帧，因此在此选取时间点与当前块的时间 点相同的参考帧。同样，本发明并不局限于这些方法。步骤104，推导在上述选取视图间参考帧作为当前块空间DIRECT模式 的参考帧情况下的MV。例如，使用现有的方法推导MV，这里不再赘述。 然后，计算与最佳匹配块的代价cost_inter_view。在本步骤中可以使用上面步骤102中所述的各种方法来计算代价 cost—inter—view,只需要将其中的视图内参考帧替换为视图间参考帧。同样， 本发明并不局限于这种计算方法。需要注意的是，在步骤101至步骤102中计算了在选取视图内参考帧作 为当前块空间DIRECT模式的参考帧情况下的性能指标，在步骤103至步骤 104中计算了在选取视图间参考帧作为当前块空间DIRECT模式的参考帧情 况下的性能指标，在具体实现时，步骤101至步骤102与步骤103至步骤 104并不需要按照上述顺序执行，可以先执行步骤103至步骤104后4丸行步骤101至步骤102，也可以同时执行步骤101至步骤102和步骤103至步骤 104。上面的说明顺序只是为了描述方便，本发明对此并不作特别的限制。步骤105,比较选取视图内参考帧情况下的性能指标与选取视图间参考 帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取 视图内参考帧情况下的性能指标时，执行步骤106及其后续步骤。执行步骤 107及其后续步骤。当性能指标具体为代价时，在本步骤中，比较cost— intra—view和 cost—inter—view,在costjntra—view大于cost_inter_view以及cost—inter—view 小于cost—intra—view时，将步骤103中选取的视图间参考帧确定为当前块空 间DIRECT模式的参考帧，执行步骤106及其后续步骤；否则，将步骤101 中选取的视图内参考帧确定为当前块空间DIRECT模式的参考帧，执行步骤 107及其后续步骤。当然，在cost—intra—view = cost—inter_view时，，可以将步 骤103中选取的视图间参考帧确定为当前块空间DIRECT模式的参考帧，也 可以将步骤101中选取的视图内参考帧确定为当前块空间DIRECT模式的参 考帧。步骤106,将所述视图间参考帧确定为当前块空间DIRECT模式的参考 帧，设置用以表示当前块空间DIRECT模式的参考帧为视图间参考帧的标志 位，即设置表示参考帧是否是视图间参考帧的Direct_rps—flag= 1。那么，在 解码端，就可以根据该标志位得知当前块空间DIRECT模式的参考帧为视图 间参考帧，从而根据视图间参考帧进行解码。本流程结束。步骤107,将所述视图内参考帧确定为当前块空间DIRECT模式的参考 帧，设置用以表示当前块的空间DIRECT模式参考帧为视图内参考帧的标志 位，即设置Direct_rps_flag = 0。那么，在解码端，就可以根据该标志位得知 当前块的空间DIRECT模式参考帧位视图内参考帧，从而根据视图内参考帧 进行解码。本流程结束。另夕卜，也可以不设置Directjps—flag-0，那么解码端与现有技术一样根 据视图内参考帧进行解码。需要注意的是，在选取视图内参考帧情况下的性能指标等于选取视图间 参考帧情况下的性能指标时，可以将所述视图内参考帧或者视图间参考帧确定为当前块空间DIRECT模式的参考帧。在使用本实施例的上迷方法之后，参考帧列表可以不按照现有技术中先 存放视图内参考帧后存放视图间参考帧的顺序来存放参考帧，那么可以进一 步改变现有的参考帧列表中参考帧的排列顺序，从而提高了参考顿管理的灵 活性。图4为本发明实施例中用于确定参考帧的装置的结构示意图。参照图4, 该装置包括性能指标计算模块和参考帧确定模块，还可以进一步包括选取模 块。其中，性能指标计算模块主要用于计算在选取视图内参考帧作为当前块 空间DIRECT模式的参考帧情况下的性能指标，以及计算在选取视图间参考 帧作为当前块空间DIRECT模式的参考帧情况下的性能指标。该性能指标计 算模块可以采用上述步骤102和步骤104中描迷的性能指标计算方法。以计 算代价cost—intra—view为例，首先，根据所述视图内参考帧和推导出的MV 得到重建帧；接着，根据重建帧和当前帧计算得到失真率；然后，根据失真 率和编码的比特率计算得到cost:_intra_view。参考帧确定模块主要用于比较选取视图内参考帧情况下的性能指标和 选取视图间参考帧情况下的性能指标，在选取视图间参考帧情况下的性能指 标优于选取视图内参考帧情况下的性能指标时，将视图间参考帧确定为当前 块空间DIRECT模式的参考帧，否则将视图内参考帧确定为当前块空间 DIRECT模式的参考帧。另外，所述参考帧确定模块在选取视图内参考帧情 况下的性能指标等于选取视图间参考帧情况下的性能指标时，可以将视图间 参考帧确定为当前块空间DIRECT模式的参考帧，也可以将视图内参考帧确 定为当前块空间DIRECT模式的参考帧。进一步，在将視图间参考帧确定为当前块空间DIRECT模式的参考帧时，参考帧确定模块还可以设置用以表示当前块空间DIRECT模式的参考帧 为视图间参考帧的标志位，例如前面所述的设置Direct—rps—flag=: 1。那么， 在解码端，就可以根据该标志位得知当前块的空间DIRECT模式参考帧为视 图间参考帧，从而根据视图间参考帧进行解码。另外，在将视图内参考帧确定为当前块空间DIRECT模式的参考帧时， 参考帧确定模块可以设置用以表示当前块空间DIRECT模式的参考帧为视 图内参考帧的标志位，例如i殳置Direct—rps—flag = 0，那么，在解码端就可以 根据该标志位得知当前块空间DIRECT模式的参考帧为视图内参考帧，从而 根据视图内参考帧进行解码；参考帧确定模块也可以不设置标志位，那么解 码端与现有技术一样根据视图内参考帧进行解码。继续参照图4，所述选取模块主要用于在参考帧列表中选择视图内参考 帧作为当前块空间DIRECT模式的参考帧以及在参考帧列表中选择视图间 参考帧作为当前块空间DIRECT模式的参考帧，然后将所选取的视图内参考 帧和视图间参考帧提供给所述性能指标计算模块。该选取模块可以采用步骤 101和步骤103中所迷的方法进行操作，但是本发明并不局限于此。如图4所示的装置可以作为编码设备的一个部分。在采用本实施的方案后，采用视图间参考帧作为参考帧的DIRECT模式 的比例有所增加，从而可以提高编码效率。同时由于DIRECT模式的MV和 refldx信息是由邻近块推导得出的，不需要做运动搜索，所以在步骤IOI至 步骤104中做两次DIRECT模式不会引入很大的计算量。图5为釆用JMVM2和本发明实施例方法时选取DIRECT模式的数目 图，给出了 JMVM2和采用本实施例上述技术方案后ballroom序列SI到S7 DIRECT模式选取的平均值比较.。在图5中，横坐标为帧数(FrameNum)， 纵坐标为选择DIRECT模式的块数(DirectNum ),其中"▲，，表示采用JMVM2 技术时选择DIRECT模式的块数，"■"表示釆用本实施例技术后选择 DIRECT模式的块数。从图5中可以看出采用本实施例技术方案后，DIRECT模式选取比例有所增加。而DIRECT模式选取的增加，可以提高编码效率， 降低编码和后续解码的计算量。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1. 一种确定参考帧的方法，其特征在于，该方法包括计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。
2、 根据权利要求1所述的方法，其特征在于，该方法进一步包括 设置标志位，用以表示当前数据块的参考帧是否为视图间参考帧。
3、 根据权利要求1所述的方法，其特征在于，该方法进一步包括在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情况下 的性能指标时，将所述视图内参考帧确定为当前数据块的参考帧:；和/或在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下 的性能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的 参考帧。
4、 根据权利要求3所述的方法，其特征在于，该方法进一步包括 设置标志位，用以表示当前数据块的参考帧为视图内参考帧或者视图间参考帧。
5、 根据权利要求1所述的方法，其特征在于，所述计算选取视图内参 考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标之前进一 步包括在参考帧列表中选取视图内参考帧和视图间参考帧作为当前数据块 的参考帧。
6、 根据权利要求1所述的方法，其特征在于，该方法进一步包括 改变参考帧列表中参考帧的排列顺序。
7、 根据权利要求1至6中任一项所述的方法，其特征在于，所述性能指标为比特率、失真率或者代价。
8、 一种确定参考帧的装置，其特征在于，该装置包括性能指标计算模块，用于计算选取视图内参考帧情况下的性能指标以及 计算选取视图间参考帧情况下的性能指标；参考帧确定模块，用于比较所述选取视图内参考帧情况下的性能指标与 选取视图间参考帧情况下的性能指标，并在选取视图间参考帧情况下的性能 指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定 为当前块的参考帧。
9、 根据权利要求8所述的装置，其特征在于，所述参考帧确定模块进 一步用于设置用以表示当前块的参考帧是否为视图间参考帧的标志位。
10、 根据权利要求8所述的装置，其特征在于，所述参考帧确定模块进 一步用于在选取视图内参考帧情况下的性能指标优于选取视图间参考帧情 况下的性能指标时，将所述视图内参考帧确定为当前块的参考帧，和/或， 在选取视图内参考帧情况下的性能指标等于选取视图间参考帧情况下的性 能指标时，将所述视图内参考帧或者视图间参考帧确定为当前数据块的参考 帧。
11、 根据权利要求10所述的装置，其特征在于，所述参考帧确定模块 进一步用于设置用以表示当前块的参考帧为视图内参考帧或者视图间参考 帧的4示志4立。
12、 根据权利要求8所述的装置，其特征在于，该装置进一步包括 选取模块，用于在参考帧列表中选取作为当前数据块参考帧的视图内参考帧和视图间参考帧，并提供给所述性能指标计算模块。
全文摘要
本发明公开了一种确定参考帧的方法，该方法包括计算选取视图内参考帧情况下的性能指标以及选取视图间参考帧情况下的性能指标；比较选取视图内参考帧情况下的性能指标与选取视图间参考帧情况下的性能指标，并且在选取视图间参考帧情况下的性能指标优于选取视图内参考帧情况下的性能指标时，将所述视图间参考帧确定为当前数据块的参考帧。本发明还公开了一种确定参考帧的装置。本发明能够合理地选择参考帧，避免了现有技术在任何情况下都不会选择视图间参考帧作为当前编码数据块的参考帧的缺陷，也使得采用视图间参考帧作为参考帧的DIRECT模式能够以更高的高率出现。
文档编号H04N7/32GK101222640SQ20071000457
公开日2008年7月16日 申请日期2007年1月9日 优先权日2007年1月9日
发明者常义林, 杨海涛, 林四新, 熊联欢, 霍俊彦 申请人:华为技术有限公司