基于位置的多Tile排列编码方法、装置、设备和解码方法与流程

本发明涉及视频编码领域，尤其是一种基于位置相关性的多tile排列编码方法、装置、设备和解码方法。

背景技术：

360度视频：利用多个摄像机同时对同一个空间下的物体进行多个角度拍摄，得到全方位360度进行拍摄的视频，运用一定的网络技术将真实的场景还原全在互联网上显示，并具有较强的互动性，进行360度视频播放时，允许用户在无需暂停视频播放的情况下，可以随意调节视频上下左右自由切换观看角度。

现有技术中，视频(如360度视频)的传输编码采用将视频进行tile分片分割，解码端接收到tile分片之后，根据tile分片编码递增的顺序排列tile分片，进行解码，但是由于排列时没有考虑到tile分片的位置相关性，导致渲染处理效率低，并且有可能两个tile分片的相邻处会出现的接缝噪点的问题，因此提出一种能提高处理效率并且减少相邻tile分片之间接缝噪点的tile分片排列编码方法是很有必要的。

技术实现要素：

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的是提供一种基于位置相关性的多tile排列编码方法、装置、设备和解码方法。

本发明所采用的技术方案是：

第一方面，本发明提供一种基于位置相关性的多tile排列编码方法，包括步骤：

获取待排列的tile分片；

根据tile分片的位置关系进行tile分片排列。

进一步地，所述tile分片为经过erp投影方式的数据分片。

进一步地，所述tile分片的位置关系具体为：将经过erp投影之后的tile分片根据不同的分辨率进行位置划分得到的位置关系。

进一步地，所述根据不同分辨率进行位置划分具体是以第一区域分辨率为标准：

第二区域在水平分辨率上做1/2降采样；

第三区域在水平分辨率上做1/4降采样。

进一步地，所述tile分片的位置关系具体为：将位于同一个区域的tile分片相邻排列，所述位于同一个区域的tile分片具有相同的分辨率。

进一步地，所述排列还包括，将位于同一个区域的tile分片按照位置相邻的顺序排列。

第二方面，本发明提供一种基于位置相关性的多tile排列解码方法，包括如第一方面所述的任一种基于位置相关性的多tile排列编码方法得到的视频数据，渲染时，将同一个区域的tile分片合并成一个区域进行处理。

进一步地，当获取的待排列的tile分片个数小于解码所需的最小tile分片个数时，使用位于排列顺序最末尾的tile分片内容填充剩余的位置。

第三方面，本发明提供一种基于位置相关性的多tile排列编码装置，包括：

待排列tile分片获取模块：用于获取待排列的tile分片；

排列模块：用于根据tile分片的位置关系进行tile分片排列。

第四方面，本发明提供一种基于位置相关性的多tile排列编码的控制设备，包括：

至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

本发明的有益效果是：

本发明通过在编码排列tile分片时，根据tile分片的位置相关性进行排列，位于同一位置区域的tile分片具有相同的分辨率，在解码后渲染的时候可以合并为一个区域进行统一处理，这样不仅加快了处理速度，还能避免两个tile分片相邻处可能出现的接缝噪点，通过调整排列顺序达到提升tile渲染的性能。

附图说明

图1a是球面全景视频示意图；

图1b是erp投影示意图；

图2是本发明一种实施方式中基于位置相关性的多tile排列编码方法流程图；

图3是本发明一种实施方式中经过erp映射的tile位置划分示意图；

图4是本发明一种实施方式中不同分辨率区域示意图；

图5是现有的根据tile分片编码递增的顺序排列示意图；

图6是本发明一种实施方式中接收到的tile分片的实际erp排列位置；

图7是本发明一种实施方式中基于位置相关性的tile分片排列方式示意图；

图8是本发明一种实施方式中基于位置相关性的多tile排列编码装置结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

现有技术中，将处理采集的360度球面全景视频多采用的是，将球面全景视频投影到2d屏幕上形成erp格式视频，大多数拍摄序列都是以erp格式存储的。equirectangularprojection(erp)是一种简单的映射方式，将经线映射为恒定间距的垂直线，将纬线映射为恒定间距的水平线。这种投影方式映射关系简单，但既不是等面积的也不是保角的，引入了相当大的失真。

如图1a所示，为球面全景视频示意图，图中可见视频包围球面，呈360度。

如图1b所示，为erp投影示意图，相当于将图1a的球面视频拉抻成一个平面，实现了3d-2d转换，其中erp是360度的图像平面，可以看到高纬度的南北极都被拉伸开，图像平面的左右边界可以对折在一起。

实施例一：

如图2所示，为本实施例中基于位置相关性的多tile排列编码方法流程图，包括步骤：s1：获取待排列的tile分片；s2：根据tile分片的位置关系进行tile分片排列。

其中tile分片为经过erp投影方式的数据分片，tile分片的位置关系具体为：将经过erp投影之后的tile分片根据不同的分辨率进行位置划分得到的位置关系。

如图3所示，为经过erp映射的tile位置划分示意图，图中能够看出图1a所示的球面全景视频经过erp映射后，基于拍摄位置划分为42个tile分片，拍摄范围横轴是[0,2π]，纵轴是

如图4所示，为不同分辨率区域示意图，便于显示，将图3的tile位置划分示意图进行重新排列，图中可见：

第一区域包括：tile分片{9，10，11，12，13，14，15，16，17，18，19，20，21，22，23，24，25，26，27，28，29，30，31，32}；

第二区域包括：tile分片{3，4，5，6，7，8，33，34，35，36，37，38}；

第三区域包括：tile分片{0，1，2，39，40，41}；

其中，对比图3可见，以纵轴原点为中心，离原点越远其距离高纬度的南北极更近，可以认为其tile视频包含的内容相对较少，因此根据与纵轴原点的距离将tile分片位置分类成上述的三个区域，即第三区域距离最远位于南北极的位置，第二区域较远处于第一区域和第三区域中间，第一区域位于纵轴原点两侧。

由于要将经过erp投影之后的tile分片根据不同的分辨率进行位置划分，其不同分辨率设置如下，以第一区域分辨率为标准，第二区域在水平分辨率上做1/2降采样，第三区域在水平分辨率上做1/4降采样。由于第三区域比第二区域相对更远，认为其包含的有效内容较少，因此对其采用1/4降采样，位于同一个区域的tile分片具有相同的分辨率。

实施例二：

根据实施例一，解码时，将同一个区域的tile分片合并成一个区域进行处理。

本实施例中，假设用户解码时接收到的多个tile分片为{3，8，9，10，19，20，21，22，31，32，33，38}，这样的12个tile分片。

如图5所示，为现有的根据tile分片编码递增的顺序排列示意图，其中tile分片进行解码时，其tile分片的排列顺序按照tile_id递增来排列，由于目前基于tile的编码应用中，解码时会下载最多m*n个tile分片(例如图5，m＝6,n＝3，共18个tile分片)，并把这最多m*n个分片合并成一路tile编码区域，送给硬件解码器去解码，这m*n个分片组成mxn的tile列表。

当下载的tile分片个数小于解码所需的最小个数(m*n)时，需要采用位于排列顺序最末尾的tile分片内容填充剩余的位置。

如图6所示，本实施例中接收到的tile分片的实际erp排列位置，图中可见tile分片8和tile分片3之间相邻，tile分片19和tile分片20相邻，tile分片20又和tile分片9相邻，tile分片9与tile分片10相邻，tile分片31和tile分片32相邻，tile分片32又与tile分片21相邻，tile分片21与tile分片22相邻，tile分片38与tile分片33相邻，因此根据相邻关系，其实际排列位置与图5所示的按照递增关系排列并不相同。

因此可以得到图7所示，基于位置相关性的tile分片排列方式示意图，其中[8，3]、[19,20,9,10]、[31,32,21,22]、[38,33]，以及采用tile分片38填充剩余位置，只有这样排列才能使得所有在erp图像上位置相邻的tile，能够排列在一起，并且易于将同一个区域的tile分片合并成一个区域进行处理。

本实施例中，tile分片8和tile分片3左右相邻，并且具有相同的水平缩放比例，这样在解码后进行渲染的时候可以合并为一个区域，进行统一处理。这样不仅加快了处理速度，还能避免两个tile分片相邻处可能出现的接缝噪点，通过调整排列顺序达到提升tile渲染的性能。

实施例三：

如图8所示，为本实施例中一种基于位置相关性的多tile排列编码装置结构框图，包括：

待排列tile分片获取模块：用于获取待排列的tile分片；排列模块：用于根据tile分片的位置关系进行tile分片排列。

另一方面，本发明提供一种基于位置相关性的多tile排列编码的控制设备，包括：

至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被所述至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如实施例一中的方法。

本发明通过在编码排列tile分片时，根据tile分片的位置相关性进行排列，位于同一位置区域的tile分片具有相同的分辨率，在解码后渲染的时候可以合并为一个区域进行统一处理，这样不仅加快了处理速度，还能避免两个tile分片相邻处可能出现的接缝噪点，通过调整排列顺序达到提升tile渲染的性能。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。