专利名称：多视点视频技术中的视间预测方法、编码器和解码器的制作方法
技术领域：
本发明涉及多视点视频技术领域，特别涉及一种多视点视频技术中的视 间预测方法、 一种多视点视频编码器和一种多视点视频解码器。
背景技术：
随着多媒体通信技术的发展，人们不再满足于传统的固定视点视觉以及2D平面视觉，在娱乐、教育、观光和外科医学等许多应用领域内出现了对 于自由视点视频和3D视频的需求。例如能够由观看者选择视角的自由视点 电视(FTV)，以及为处于不同位置观看者播放不同视角视频的3DTV。上 述应用都要求使用多个摄像机在不同的空间位置以不同的角度同时获取同 一场景的視频信号，并有效的对所获得的一组视频信号进行压缩编码和传 输。所获得的这一组视频被称为多视点视频，而对它们进行压缩编码这一过 程则被称为多视点视频编码。显然多视点视频编码是实现上述所有自由视点 视频类和3D视频类应用的一项关键技术。目前，多视点视频编码是基于现有单点视频编码技术的扩展，编码端和 解码端之间不传输参考向量相关信息，两侧在对宏块进行视间预测时，均直 接采用单点视频编码方案中的运动向量预测机制，将视图间的视差向量 (Disparity Vector )和时间轴运动向量混在一起，采用单点视频编码方案中 的运动向量预测器得到所需的参考向量，从而在编码端和解码端在对宏块进 行视间预测时采用相同的参考向量，在解码端能够实现正确解码。如果对当前宏块做视间预测时，采用单点视频编码技术中的运动向量预 测器得到的参考向量很大程度上是时间轴运动向量，而时间轴运动向量与视 图间的视差向量在空间关系上具有很大差异，所以在根据运动向量预测器得到的参考向量进行视间预测，视间预测的精度非常低。 发明内容有鉴于此，本发明提供了多视点视频技术中的视间预测方法、 一种多视 点视频编码器和一种多视点视频解码器，能够提高视间预测的预测精度。本发明提供的 一种多视点视频技术中的视间预测方法，包括 编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。本发明提供的一种多视点视频编码器，包括视间预测模块和传输模块 所述視间预测模块用于以视差向量作为参考向量对待编码宏块进行视间预测；所述传输模块用于获取所述待编码宏块的视差向量信息，并传输至解码端。本发明提供的一种多视点视频解码器，包括解码模块和视间预测模块；所述解码模块用于接收待编码宏块的视差向量信息，将该视差向量信息 传送给所述视间预测模块；所述视间预测模块用于接收所述视差向量信息，根据该视差向量信息确 定参考向量对待解码宏块进行视间预测。从上述方案可以看出，本发明中，编码端以视差向量作为参考向量对待 编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测，由于采用视差向量进行视间预测，提高了视间预测的 准确性，并且通过在辅助信息中传输视差向量对应的视差信息，使得解码端 能够获取编码端采用的参考向量，进行相同的视间预测，保证了解码的正确性。
图1为在编码端进行图像预测的流程图； 图2a为前向视间参考图像； 图2b为待编码图像；图2c为在一个视差向量分量上所进行的视图偏移示意图； 图3为视图偏移-绝对差均值曲线示意图；图4为在编码^。^w及^^^中各视差向量时，进行压缩编码的流程图； 图5为多视点视频编码器的结构示意图； 图6为多视点视频解码器的结构示意图。
具体实施方式
本发明具体实施例方式中，在编码端和解码端均以视差向量作为参考向 量对编码宏块进行视间预测，编码器传输上述视差向量信息至解码端，使得 解码端能够获知编码端进行视间预测所釆用的参考向量，从而即保证了编解 码的准确性，又提高了视间预测的精度，降低了编码量。编码端可以在图像级辅助信息，如图像头信息或条带头信息中编码并传 输上述视差向量信息。另外，上述视差向量信息可以为视差向量自身，也可 以为深度信息。当视差向量信息为深度信息时，编码端在将上述作为参考向 量的视差向量转换为深度信息后，将该深度信息传输至所述解码端；则解码 端获取所述深度信息后，求解出对应的视差向量，将该视差向量确定为参考 向量，对所述宏块进行视间预测。以视差向量作为参考向量对待编码宏块进行视间预测可以包括在待编码宏块的已编码相邻块中，存在采用视间预测的宏块时，根据所 述采用^f见间预测的已编码宏块采用的^见差向量，确定待编码宏块的参考向 量，并进行视间预测。这里，在根据所述采用视间预测的已编码宏块采用的 视差向量，确定待编码宏块的参考向量时，优先选择与当前待编码宏块采用相同参考图像的宏块对应的视差向量。如果在相邻采用视间预测的已编码宏 块中，没有与当前块采用相同参考图像的宏块时，则将与当前待编码宏块采 用不同参考图像的宏块对应的视差向量，按视图空间比例缩放，并进行方向 校正后，确定为当前待编码宏块的参考向量。以视差向量作为参考向量对待编码宏块进行视间预测可以包括 在待编码宏块的已编码相邻块中，不存在采用视间预测的宏块时，获取 为待编码宏块计算的最佳匹配视差向量作为参考向量进行视间预测。在获取为待编码宏块计算的最佳匹配视差向量作为参考向量进行视间 预测方式中，编码端在编码当前待编码图像前，求解出对应所有可能视差向 量的待编码图像与参考图像绝对差值，找出求解出的绝对差值中的所有局部 极小值，并对每个局部极小值对应的视差向量按采用频率进行降序排列，取 其中的前M个视差向量作为视差向量备选值集合；其中，M为大于等于l 的整数；则所述为待编码宏块计算最佳匹配视差向量包括对所述待编码宏块， 在所述视差向量备选值集合中，根据待编码宏块与参考宏块绝对差值最小原 则，选择最佳匹配视差向量作为参考向量。将所迷待编码宏块的视差向量信息传输至解码端可以包括在所述待编码图像的图像头信息中编码所述视差向量备选值集合中的 所有视差向量，并传输所述图像头信息至解码端；和，在所述宏块的宏块头中，编码所述选择的最佳匹配视差向量对应的索引值；所述解码端在解码宏块时，根据所述索引值和所述图像头信息中包括的 视差向量确定该宏块对应的视差向量。较佳地，上述M取2、其中i为大于等于1的整数，则在宏块头中编码 索引值时，可以采用i个比特位进行编码，减小了编码量，并充分利用了编 码空间。以下结合附图对本发明的具体实施例进行详细说明 如图l所示，为本实施例基于的在编码端，即在编码器中进行图像预测的流程图，该流程包括如下步骤步骤IOI、判断对当前待编码图像是否进行帧间预测，如果是执行步骤 102;否则，按J见有流程进4亍处理。步骤102、判断是否对当前待编码图像进行前向(P)帧预测，如果是 执行步骤103;否则执行步骤105。步骤103、进行前向区域^L差向量(RDV)计算，确定前向视差向量备 选值集合。本步骤中，首先进行区域视点差估计，求解前向区域视差向量集合。即 求解每一视差向量对应的，待编码图像与前向视间参考图像绝对差值，找出 求解出的绝对差值中所有局部极小值，将这些局部极小值对应的视差向量作 为前向区域视差向量集合中的元素。图2a所示为前向视间参考图像，图2b所示为待编码图像，图2c为在 一个视差向量分量上所进行的视图偏移示意图。其中前向视间参考图像和待 编码图像为同一时刻相邻的两个视点的视图。按照图2c所示，逐像素改变 参考图像与编码图像间的偏移量，并使用(1)式计算重叠区域的平均绝对 差值，从而得到图3中所示的视图偏移-绝对差均值曲线。式(1 )中Ir和Ic分别代表参考图像与编码图像；w与h分别是图像的 宽度与高度；i, j分别表示图像中像素点的水平与垂直坐标；x取整像素值， 是编码图像相对于参考图像间的偏移量。图2c和图3以在视差向量的一个分量上所进行偏移和绝对差值进行了 示例性说明，在实际中，需要在视差分量的两个分量上进行绝对差值的计算 如公式(2)所示通过公式(2)可以构造出视图偏移-绝对差均值曲面，在该曲面上寻找视图偏移-绝对差均值曲线上所有Nl个局部极小值点，它们就是编码图像的 前向区域视差向量，记为<formula>formula see original document page 11</formula>。对^匕集合中各 视差向量，根据待编码图像中各个宏块对视差向量的采用频率，按降序进行重排序得到<formula>formula see original document page 11</formula>。提取及""W中前M1<formula>formula see original document page 11</formula>个视差向量构成前向视差向量备选值集合，即待编码 图像视间预测参考向量的备选值集合，记为i Z)P^ - ，:,…,i Z)d}。本步骤中或者在步骤104中，可以进一步为待编码图像中的每一个宏块 MBk，根据MMAD原则，即根据待编码宏块与参考宏块绝对差值最小原则， 在前向视差向量备选值集合中选择最佳匹配视差向量i Z^二，如公式(4) 所示鮮久=argmin {腳枫(餅"} ( 4 )步骤104、在辅助信息，如该待编码图像的图像头信息中，进行前向 RDV编码，即编码前向视差向量备选值集合，然后执行步骤.07,,本步骤中，在辅助信息中首先编码^"「^中视差向量个数Ml;再编码 W「^/中各视差向量。步骤105、进行前向RDV计算和后向RDV计算，分别确定前向^见差向 量备选值集合和后向视差向量备选值集合。这里，确定前向视差向量备选值集合采用步骤103中采用的方式，类似 地，本步骤中在计算后向视差向量备选值集合时，首先求解后向区域视差向 量集合，即求解每一视差向量对应的，待编码图像与后向视间参考图像绝对 差值，找出求解出的绝对差值中所有局部极小值，将这些局部极小值对应的 视差向量作为后向区域视差向量集合中的元素，后向区域视差向量集合记 为肪^M/^UW，…，及DO。对^C集合中各视点差量根据各视差向量，根据待编码图像中各个宏块对视差向量的采用频率，按降序进行重排序 得到及<formula>formula see original document page 11</formula>提取及<formula>formula see original document page 11</formula>个视差向量得到后向视差向量备选值集合= W"C^^/，…，wC〉。本步骤中或者步骤106中，可以进一步在前向视差向量备选值集合和后 向视差向量备选值集合中，为待编码图像中的每一个宏块根据MMAD原则， 分别在前向視差向量备选值集合和后向视差向量备选值结合中选择最佳匹 配视差向量。步骤106、在辅助信息，如该待编码图像的图像头信息中，极性前向 RDV和后向RDV编码，即编码前向^见差向量备选4直集合和后向糸il差向量备 选值集合。本步骤中，在编码肌^w及肪「w中各视差向量时，按照如4所示的如 下步骤进行压缩编码步骤401、编码W^^^中视差向量个数M1; 步骤402、编码^D^^中各视差向量；步骤403、编码^^^^中视差向量个数与^"^w中视差向量个数之差 (Ml-M2);步骤404、编码^K^中视差向量^^各分量的符号，及对^"^各分 量的绝对值与^D^^中对应视差向量^D^f各分量的绝对值进行差分编码， 如公式(5)所示^DF, = arg min {(|i Dl^F — — - —r,' 一 ;c!) +1(—F, 一 _y| -一少|)|} ( 5 )步骤107、在对宏块进行编码时，判断对宏块是否进行视间预测，如果 是执行步骤108;否则按现有流程进行处理。在对宏块进行预测时，可能采用视间预测也可能采用时间预测，当采用 时间预测时，可以采用现有的方式进行预测；当采用视间预测时，执行步骤 108及后续步骤。步骤108、确定该宏块进行视间预测的参考图像，并判断该宏块的相邻 已编码宏块中是否存在视差向量相关信息，即相邻已编码宏块是否存在采用视间预测，如果是，则执行步骤109;否则执行步骤IIO。这里，确定进行视间预测的参考图像是指，确定当前待编码宏块进行视 间预测采用的参考图像是前向参考图像、后向参考图像还是前、后向参考图 像均采用，即确定是进行前向预测、后向预测还是双向预测。当然，如果在 步骤104后执行本步骤，则确定的参考图像一定是前向参考图像。步骤109、在采用视间预测的相邻已编码宏块中，选择与当前待编码宏 块采用相同参考图像的宏块，并将该宏块的进行视间预测所采用的视差向量 作为当前待编码宏块进行视间预测的参考向量，并进行视间预测。本步骤中，如果与当前待编码宏块采用相同参考图像的已编码宏块有多 个，则可以根据预先设定的规则，如按宏块编码类型或子宏块编码类型，选 择一个已编码宏块对应的视差向量，作为当前待编码宏块进行视间预测的参 考向量；也可以取这多个已编码宏块所对应的视差向量的平均值，作为当前 待编码宏块进行视间预测的参考向量。当然，在解码端与在编码端采用相同 的方式进行参考向量的选择。如果在本步骤中，所有采用视间预测的相邻已编码宏块均与当前待编码 宏块采用不同的参考图像，则根椐预先设定的规则，如按宏块编码类型或子 宏块编码类型，选择一个已编码宏块所采用的视差向量，按视图空间比例缩 放、进行方向校正后作为当前待编码宏块的参考向量。步骤IIO、在当前待编码宏块的宏块头中，编码该宏块对应的最佳匹配 视差向量的索引值，并将该最佳匹配视差向量作为参考向量进行视间预测。这里，如果该宏块采用前向预测，则采用该宏块在前向视差向量备选值 集合中对应的最佳匹配视差向量；如果该宏块采用后向预测，则采用该宏块 在后向视差向量备选值集合中对应的最佳匹配视差向量；如果采用双向预 观'J,则先编码前向视差向量备选值集合中对应的最佳匹配视差向量再编码后 向视差向量备选值集合中对应的最佳匹配视差向量。如果在前序步骤中已经完成对当前待编码图像中的所有宏块，均完成了 选择最佳匹配视差向量的步骤，则本步骤中直接根据选择的最佳匹配视差向量直接在宏块头中编码该最佳匹配视差向量的索引值；否则，在本步骤中为 当前待编码宏块在视差向量备选值集合中依据MMAD原则选择最佳匹配视差向量，然后再在宏块头中编码该最佳匹配视差向量的索引值。这里，索引值根据最佳匹配向量在视差向量备选值集合中的位置确定，索引值所占的比特数量为log2M，其中M为视差向量备选值集合中的元素 数量，即上述M1或M2。如，集合中的元素数量为4个，则索引值所占的 比特数量为2个，则OO表示集合中的第一个元素，即在图像头中第一个编 码的视差向量；Ol代表第二个元素，IO代表第三个元素，ll代表第四个元 素。这样，就大大减小了在宏块中编码视差向量时，所占用的数据量。编码端在上述编码后的图像头信息和宏块头信息传送到解码端后，解码 端从图像头信息中解析出前向参考图像备选值集合，或者解析出前向参考图 像备选值集合和后向参考图像备选值集合，再根据从采用视间预测宏块的宏 块头信息中解析出的索引值，就能够确定作为当前待解码宏块视间预测参考 向量的视差向量，从而能够与编码端进行相同的视间预测，保证了视间预测 的准确性。本发明具体实施例中还提供了一种多视点视频编码器，如图5所示，该 编码器包括视间预测模块和传输模块所述视间预测模块用于以视差向量 作为参考向量对待编码宏块进行视间预测；所述传输模块用于获取所述待编 码宏块的视差向量信息，并传输至解码端。本发明具体实施例中还提供了一种多视点视频解码器，如图6所示，该 解码器包括解码模块和视间预测模块；所述解码模块用于接收待编码宏块 的视差向量信息，将该视差向量信息传送给所述视间预测模块；所述视间预 测模块用于接收所述视差向量信息，根据该视差向量信息确定参考向量对待 解码宏块进行视间预测。以上是对本发明具体实施例的说明，在具体的实施过程中可对本发明的 方法进行适当的改进，以适应具体情况的具体需要。因此可以理解，根据本发明的具体实施方式
只是起示范作用，并不用以限制本发明的保护范围。
权利要求
1. 一种多视点视频技术中的视间预测方法，其特征在于，该方法包括编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。
2、 根据权利要求1所述的方法，其特征在于，所述编码端在传输至解 码端的辅助信息中编码所述视差向量信息。
3、 根据权利要求2所述的方法，其特征在于，编码端将能够解析出所 述视差向量的深度信息作为视差向量信息传输至所述解码端；所述解码端获取所述深度信息后，求解出对应的视差向量，将该视差向 量确定为参考向量，对所述宏块进行视间预测。
4、 根据权利要求2所述的方法，其特征在于，所述的辅助信息为图像 头信息或条带头信息。
5、 根据权利要求1所述的方法，其特征在于，所述以视差向量作为参 考向量对待编码宏块进行视间预测包括在待编码宏块的已编码相邻块中，存在采用视间预测的宏块时，根据所 述采用视间预测的已编码宏块采用的视差向量，确定待编码宏块的参考向 量，并进行-f见间预测。
6、 根据权利要求5所述的方法，其特征在于，根据所述釆用视间预测 的已编码宏块采用的视差向量，确定待编码宏块的参考向量时，优先选择与 当前待编码宏块采用相同参考图像的宏块对应的视差向量。
7、 根据权利要求6所述的方法，其特征在于，如果在相邻采用视间预 测的已编码宏块中，没有与当前块采用相同参考图像的宏块时，将与当前待 编码宏块采用不同参考图像的宏块对应的视差向量，按视图空间比例缩放， 并进行方向校正后，确定为当前待编码宏块的参考向量。
8、 根据权利要求1所述的方法，其特征在于，所述以视差向量作为参 考向量对待编码宏块进行视间预测包括在待编码宏块的已编码相邻块中，不存在采用视间预测的宏块时，获取 待编码宏块计算的最佳匹配视差向量作为参考向量进行视间预测。
9、 根据权利要求8所述的方法，其特征在于，编码端在编码当前待编 码图像前，求解出对应所有可能视差向量的待编码图像与参考图像绝对差 值，找出求解出的绝对差值中的所有局部极小值，并对每个局部极小值对应 的视差向量按采用频率进行降序排列，取其中的前M个视差向量作为视差 向量备选值集合；则所述为待编码宏块计算最佳匹配视差向量包括对所述待编码宏块， 在所述视差向量备选值集合中，根据待编码宏块与参考宏块绝对差值最小原 则，选择最佳匹配视差向量作为参考向量。
10、 根据权利要求9所述的方法，其特征在于，将所述待编码宏块的视 差向量信息传输至解码端包括在所述待编码图像的图像头信息中编码所述视差向量备选值集合中的 所有视差向量，并传输所述图像头信息至解码端；和，在所述宏块的宏块头中，编码所述选择的最佳匹配视差向量对应的索引值；所述解码端在解码宏块时，根据所述索引值和所述图像头信息中包括的 视差向量确定该宏块对应的视差向量。
11、 根据权利要求10所述的方法，其特征在于，在所述图像头信息中 编码视差向量备选值集合中的所有视差向量包括编码视差向量备选值集合 中包括的视差向量个数M，然后依次编码各个视差向量；所述索引值对应的比特数量为log2M。
12、 根据权利要求9至11中任一所述的方法，其特征在于，所述求解 出对应所有可能视差向量的待编码图像与参考图像绝对差值之前进一步包括判断当前的待编码图像是否采用帧间预测，如果是，且采用前向帧预测， 则将前向视间图像作为参考图像，然后执行所述的求解出对应所有可能视差 向量的待编码图像与参考图像绝对差值的步骤。
13、 根据权利要求12所述的方法，其特征在于，如果确定出当前的待 编码图像采用帧间预测，但采用双向预测，则将前向视间图像和后向视间图 像均作为参考图像，然后，针对前向视间图像作为参考图像，执行所述求解 出对应所有可能视差向量的待编码图像与参考图像绝对差值的步骤；并针对 后向视间图像作为参考图像，执行所述求解出对应所有可能视差向量的待编 码图像与参考图像绝对差值的步骤；则所述图像头信息中编码视差向量备选值集合中的所有视差向量包括 编码前向视间图像作为参考图像所得到的前向视差向量备选值集合中包括的前向視差向量个数Ml;顺序编码所述M1个前向视差向量；编码所述Ml,与后向视间图像作为参考图像所得到的后向视差向量备 选值集合中包括的后向视差向量的个数M2之差Ml-M2;对所述M2个后向视差向量'，先编码每个后向视差向量各分量的符号， 再对各后向视差向量各个分量的绝对值对应所述前向视差向量各个分量的 绝对值进行差分编码。
14、 一种多视点视频编码器，其特征在于，该编码器包括视间预测模块和传输模块所述視间预测模块用于以视差向量作为参考向量对待编码宏块进行视 间预测；所述传输模块用于获取所述待编码宏块的视差向量信息，并传输至解码端。
15、 一种多视点视频解码器，其特征在于，该解码器包括解码模块和 -f见间预测模块；所述解码模块用于接收待编码宏块的视差向量信息，将该视差向量信息传送给所述视间预测模块；所述视间预测模块用于接收所述视差向量信息，根据该视差向量信息确 定参考向量对待解码宏块进行视间预测。
全文摘要
本发明公开了一种多视点视频技术中的视间预测方法，包括编码端以视差向量作为参考向量对待编码宏块进行视间预测，并将所述待编码宏块的视差向量信息传输至解码端；解码端获取所述视差向量信息，根据该视差向量信息确定参考向量对所述宏块进行视间预测。本发明还公开了一种多视点视频编码器和一种多视点视频解码器。
文档编号H04N7/32GK101222639SQ200710004570
公开日2008年7月16日 申请日期2007年1月9日 优先权日2007年1月9日
发明者周建同, 曾鹏鑫, 林四新, 熊联欢, 胡昌启, 谢清鹏 申请人:华为技术有限公司