多视点分布式视频编码系统帧排列选择方法
【专利摘要】本发明属于分布式视频编码【技术领域】，为一种根据多视点分布式编码系统要求进行选择多视点分布式视频编码系统帧排列方式的准则。为此，本发明采取的技术方案是，多视点分布式视频编码系统帧排列选择方法，包括如下步骤：多视点分布式视频编码系统帧排列方式有三种，分别是棋盘型，非直线型和低时延型；分析每种帧排列模型及排列特点，根据分析结果，选择不同的多视点分布式视频系统帧排列方式，当视频系统要求高重构质量时，选择棋盘型排列方式；当视频系统的多个视点分布在非直线情况下，选择非直线型排列方式；当视频系统要求高实时性时，选择低时延型排列方式。本发明主要应用于分布式视频编码。
【专利说明】多视点分布式视频编码系统帧排列选择方法
【技术领域】
[0001]本发明属于分布式视频编码【技术领域】，尤其涉及一种多视点分布式视频编码系统帧排列选择方法。
技术背景
[0002]分布式视频编码是一种新兴的视频编码技术，它能够使运动估计与运动补偿预测从编码端转移到解码端，有效地降低了编码端复杂度，适用于低复杂度、低功耗的视频系统，如无线监控系统、无线视频系统等。多视点分布式视频编码和传统的单视点视频编码相比可以提供更多的视频场景信息。
[0003]多视点分布式视频编码中，边信息的获得是整个系统的关键部分，直接影响解码端非关键帧的重构质量。多视点分布式视频编码系统中的边信息包括视点间边信息和时间边信息，不同的边信息生成方法，与多视点分布式视频编码的帧排列有很大关系。不同的帧排列方式采用不同的时间边信息和视点间边信息的生成方式，在解码端解码的视频重构质量和重构时间以及对视点的分布情况有不同的影响。针对这种影响，急需一种根据多视点分布式编码系统要求进行选择多视点分布式视频编码系统帧排列方式的准则。
【发明内容】
[0004]为了克服现有技术的不足，提出一种根据多视点分布式编码系统要求进行选择多视点分布式视频编码系统帧排列方式的准则。为此，本发明采取的技术方案是，多视点分布式视频编码系统帧排列选择方法，包括如下步骤:多视点分布式视频编码系统帧排列方式有三种，分别是棋盘型，非直线型和低时延型；分析每种帧排列模型及排列特点，根据分析结果，选择不同的多视点分布式视频系统帧排列方式，当视频系统要求高重构质量时，选择棋盘型排列方式；当视频系统的多个视点分布在非直线情况下，选择非直线型排列方式；当视频系统要求高实时性时，选择低时延型排列方式。
[0005]分析每种帧排列模型及排列特点具体为:
[0006]棋盘型多视点分布式视频编码帧排列方式，关键帧与非关键帧间隔排列；在时间方向上，非关键帧是根据前、后两个关键帧经过运动补偿内插法重构获得时间边信息；在视点方向上，非关键帧是通过与之相邻视点的关键帧经过视差矢量内插法获得视点间边信息；通过棋盘型多视点分布式视频编码系统帧排列方式，时间边信息、视点间边信息的获得都是经过两个帧的运动估计，运动补偿等过程获得的，所以重构帧的质量比较高；但是在视点内部，运动补偿内插法导致解码顺序与显示顺序不一致，导致出现一定的解码时延；在视点间，视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求；
[0007]非直线型多视点分布式视频系统帧排列方式，在时间方向上，关键帧与非关键帧间隔排列，非关键帧的时间边信息是由前、后两个关键帧经过运动补偿内插法获得的，并经过重构得到的重构帧；在视点方向上，即不同视点同一时刻的巾贞，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的；每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量外推法获得的；通过非直线型多视点分布式视频编码系统帧排列方式，时间边信息的获得是经过两个帧的运动估计，运动补偿过程获得的，所以时间边信息的质量比较高，但运动补偿内插法导致解码顺序与显示顺序不一致，出现一定的解码时延；在视点间采用视差矢量外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视差矢量外推法视点可以分布在非直线上，适用于更多的视点分布情况；
[0008]低时延型多视点分布式视频系统帧排列方式，奇数视点的前两帧都是关键帧，从第三帧开始出现非关键帧，此后关键帧、非关键帧交替出现；偶数视点的前两帧是非关键帧，第三帧是关键帧，此后关键帧、非关键帧交替出现；奇数视点的前两帧外推出后一帧，然后把当前解码的非关键帧作为已解码帧与后一关键帧外推出后面的非关键帧；偶数视点的第二帧与第三帧外推出第四帧等；第二，在视点方向上，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的；每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量内插法获得的；通过低时延型多视点分布式视频编码系统帧排列方式，视点间边信息的获得是经过两个帧的运动估计，运动补偿等过程获得的，所以视点间边信息的质量比较高，但视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求；在视点内采用运动补偿外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视频的解码顺序与显示顺序一致，解码时延大大降低，适合于实时性要求高的视频系统。
[0009]与已有技术相比,本发明的技术特点与效果:
[0010]通过帧排列方法比较，本发明可以根据不同视频编码系统的要求，选择不同的多视点分布式视频系统帧排列方式，当视频系统要求高重构质量时，选择棋盘型排列方式；当视频系统的多个视点分布在非直线情况下，选择非直线型排列方式；当视频系统要求高实时性时，选择低时延型排列方式。
【专利附图】
【附图说明】
[0011]图1本发明的棋盘型的多视点分布式视频编码系统帧排列方式。
[0012]图2本发明的非直线型的多视点分布式视频编码系统帧排列方式。
[0013]图3本发明的低时延型的多视点分布式视频编码系统帧排列方式。
[0014]图4本发明的步骤流程图。
【具体实施方式】
[0015]多视点分布式视频编码系统，将编码端复杂度转移到解码端，适用于低复杂度的视频编码系统，对于不同的视频编码系统对视频的重构质量、视点的分布位置以及视频的解码时间有不同的要求，而视频的重构质量与解码时间是一对矛盾。因此针对不同的视频系统的要求，急需一种多视点分布式视频编码系统帧排列选择准则。
[0016]目前存在的多视点分布式视频编码系统帧排列方式有三种，分别是棋盘型，非直线型和低时延型。分别介绍每种帧排列模型及排列特点，分析得到多视点分布式视频编码系统巾贞排列选择标准。
[0017]棋盘型多视点分布式视频编码帧排列方式，关键帧与非关键帧间隔排列。在时间方向上，非关键帧是根据前、后两个关键帧经过运动补偿内插法重构获得时间边信息。在视点方向上，非关键帧是通过与之相邻视点的关键帧经过视差矢量内插法获得视点间边信息。通过棋盘型多视点分布式视频编码系统帧排列方式，时间边信息、视点间边信息的获得都是经过两个帧的运动估计，运动补偿等过程获得的，所以重构帧的质量比较高。但是在视点内部，运动补偿内插法导致解码顺序与显示顺序不一致，导致出现一定的解码时延。在视点间，视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求。
[0018]非直线型多视点分布式视频系统帧排列方式，在时间方向上，关键帧与非关键帧间隔排列，非关键帧的时间边信息是由前、后两个关键帧经过运动补偿内插法获得的，并经过重构得到的重构巾贞。在视点方向上，即不同视点同一时刻的巾贞，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的。每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量外推法获得的。通过非直线型多视点分布式视频编码系统帧排列方式，时间边信息的获得是经过两个帧的运动估计，运动补偿等过程获得的，所以时间边信息的质量比较高，但运动补偿内插法导致解码顺序与显示顺序不一致，出现一定的解码时延。在视点间采用视差矢量外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视差矢量外推法视点可以分布在非直线上，可以适用于更多的视点分布情况。
[0019]低时延型多视点分布式视频系统帧排列方式，奇数视点的前两帧都是关键帧，从第三帧开始出现非关键帧，此后关键帧、非关键帧交替出现。偶数视点的前两帧是非关键帧，第三帧是关键帧，此后关键帧、非关键帧交替出现。奇数视点的前两帧外推出后一帧，然后把当前解码的非关键帧作为已解码帧与后一关键帧外推出后面的非关键帧。偶数视点的第二帧与第三帧外推出第四帧等。第二，在视点方向上，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的。每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量内插法获得的。通过低时延型多视点分布式视频编码系统帧排列方式，视点间边信息的获得是经过两个帧的运动估计，运动补偿等过程获得的，所以视点间边信息的质量比较高，但视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求。在视点内采用运动补偿外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视频的解码顺序与显示顺序一致，解码时延大大降低，适合于实时性要求高的视频系统。
[0020]结合附图对本发明作更详细的说明。
[0021]如图1所示，所述的棋盘型的多视点分布式视频编码系统帧排列图中，横向表示时间，纵向表示视点。K代表关键帧，WZ代表非关键帧。在时间方向上，WZ帧是根据前、后两个K帧经过运动补偿内插法重构获得时间边信息。在视点方向上，WZ帧是通过与之相邻视点的K帧经过视差矢量内插法获得视点间边信息。对于本发明的棋盘型的多视点分布式视频编码的帧排列方法，解码顺序如下:对于视点之间的边信息解码，是先解码I号视点的第一中贞，同时解码3号视点的第一巾贞,然后通过视差矢量内插法解码2号视点的第一巾贞。依次按照这样的顺序，视点间解码，先解码K帧，再由已解码的K帧通过视差矢量内插法解码WZ帧。在视点内部(以I号视点为例)，先由重构解码I号帧(K帧)，再解码3号帧(K帧)，然后由已解码的2个K帧，经过运动补偿内插法获得2号帧(WZ)帧的边信息，从而重构出2号帧，以此类推其他的帧间解码。
[0022]如图2所示，所述的非直线型的多视点分布式视频编码系统帧排列图中，横向表示时间，纵向表示视点。在时间方向上，K帧与WZ帧间隔排列，WZ帧的时间边信息是由前、后两个K帧经过运动补偿内插法获得的，经过重构得到重构WZ帧。在视点方向上，即不同视点同一时刻的巾贞，在同一时刻的不同视点的巾贞的排列是K巾贞与WZ巾贞交替出现的。每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量外推法获得的。对于本发明的非直线型的多视点分布式视频编码的帧排列方法，解码顺序如下:对于视点之间的边信息解码，是先解码I号视点的第一帧，同时解码2号视点的第一帧，然后通过视差矢量外推法解码3号视点的第一帧。依次按照这样的顺序，视点间解码，先解码K巾贞，再由已解码的K帧通过视差矢量外推法解码WZ帧。在视点内部(以I号视点为例)，先由重构解码I号帧(K帧)，再解码3号帧(K帧)，然后由已解码的2个K帧，经过运动补偿内插法获得2号帧(WZ)帧的边信息，从而重构出2号帧，以此类推其他的帧间解码。
[0023]如图3所示，所述的低时延型的多视点分布式视频编码系统帧排列图中，横向表示时间，纵向表示视点。奇数视点的前两帧都是K帧，从第三帧开始出现WZ帧，此后K帧、WZ帧交替出现。偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现。奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一 K帧外推出后面的WZ帧。偶数视点的第二帧与第三帧外推出第四帧等。第二，在视点方向上，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的。每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量内插法获得的。对于本发明的低时延型的多视点分布式视频编码的帧排列方法，解码顺序如下:对于视点之间的边信息解码，是先解码I号视点的第一帧，同时解码3号视点的第一帧，然后通过视差矢量内插法解码2号视点的第一帧。依次按照这样的顺序，视点间解码，先解码K帧，再由已解码的K帧通过视差矢量内插法解码WZ帧。在视点内部(以I号视点为例)，先由重构解码I号帧(K帧)，再解码2号帧(K帧)，然后由已解码的2个K帧，经过运动补偿外推法获得2号帧(WZ)帧的边信息，从而重构出2号帧，以此类推其他的帧间解码。
【权利要求】
1.一种多视点分布式视频编码系统帧排列选择方法，其特征是，包括如下步骤:多视点分布式视频编码系统帧排列方式有三种，分别是棋盘型，非直线型和低时延型；分析每种帧排列模型及排列特点，根据分析结果，选择不同的多视点分布式视频系统帧排列方式，当视频系统要求高重构质量时，选择棋盘型排列方式；当视频系统的多个视点分布在非直线情况下，选择非直线型排列方式；当视频系统要求高实时性时，选择低时延型排列方式。
2.如权利要求1所述的多视点分布式视频编码系统帧排列选择方法，其特征是，分析每种帧排列模型及排列特点具体为: 棋盘型多视点分布式视频编码帧排列方式，关键帧与非关键帧间隔排列；在时间方向上，非关键帧是根据前、后两个关键帧经过运动补偿内插法重构获得时间边信息；在视点方向上，非关键帧是通过与之相邻视点的关键帧经过视差矢量内插法获得视点间边信息；通过棋盘型多视点分布式视频编码系统帧排列方式，时间边信息、视点间边信息的获得都是经过两个帧的运动估计，运动补偿等过程获得的，所以重构帧的质量比较高；但是在视点内部，运动补偿内插法导致解码顺序与显示顺序不一致，导致出现一定的解码时延；在视点间，视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求； 非直线型多视点分布式视频系统帧排列方式，在时间方向上，关键帧与非关键帧间隔排列，非关键帧的时间边信息是由前、后两个关键帧经过运动补偿内插法获得的，并经过重构得到的重构帧；在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的；每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量外推法获得的；通过非直线型多视点分布式视频编码系统帧排列方式，时间边信息的获得是经过两个帧的运动估计，运动补偿过程获得的，所以时间边信息的质量比较高，但运动补偿内插法导致解码顺序与显示顺序不一致，出现一定的解码时延；在视点间采用视差矢量外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视差矢量外推法视点可以分布在非直线上，适用于更多的视点分布情况； 低时延型多视点分布式视频系统帧排列方式，奇数视点的前两帧都是关键帧，从第三帧开始出现非关键帧，此后关键帧、非关键帧交替出现；偶数视点的前两帧是非关键帧，第三帧是关键帧，此后关键帧、非关键帧交替出现；奇数视点的前两帧外推出后一帧，然后把当前解码的非关键帧作为已解码帧与后一关键帧外推出后面的非关键帧；偶数视点的第二帧与第三帧外推出第四帧等；第二，在视点方向上，在同一时刻的不同视点的帧的排列是关键帧与非关键帧交替出现的；每个视点的非关键帧的边信息是通过与之相邻的视点的同一时刻的关键帧通过视差矢量内插法获得的；通过低时延型多视点分布式视频编码系统帧排列方式，视点间边信息的获得是经过两个帧的运动估计，运动补偿等过程获得的，所以视点间边信息的质量比较高，但视差矢量内插法要求视点分布在一条直线上，或者至少相邻的3个视点在一条直线上，这就对编码端的视点分布提出了一定的要求；在视点内采用运动补偿外推法获得，仅从一个方向进行运动估计、运动补偿等，相对棋盘型分布方式视点间边信息质量差一些，但视频的解码顺序与显示顺序一致，解码时延大大降低，适合于实时性要求闻的视频系统。
【文档编号】H04N19/597GK104079945SQ201410325192
【公开日】2014年10月1日 申请日期:2014年7月9日 优先权日:2014年7月9日
【发明者】郭继昌, 许颖 申请人:天津大学