用于360度视频的有效压缩的球极投影的制作方法

文档序号:19160817发布日期:2019-11-16 01:20阅读:来源:国知局

技术特征:

1.一种用于处理视频数据的方法,其包括:

获得包含多个视频帧的360度视频数据,所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示;

将来自所述多个视频帧的一个视频帧分割成顶部区、中间区及底部区,所述顶部区包含所述球面表示的第一圆形区域,所述底部区包含所述球面表示的第二圆形区域,其在所述球面表示上与所述第一圆形区域相对,其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域;

将所述顶部区映射至输出视频帧的第一矩形区域中,其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域;及

将所述底部区映射至所述输出视频帧的第二矩形区域中,其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。

2.根据权利要求1所述的方法,其中在高于所述球面表示的中纬线的第一纬度及低于所述中纬线的第二纬度下分割所述视频帧,其中所述第一纬度及所述第二纬度与所述中纬线等距,其中所述顶部区高于所述第一纬度,且其中所述底部区低于所述第二纬度。

3.根据权利要求1所述的方法,其中映射所述顶部区及映射所述底部区包含:

选择所述输出视频帧中的像素位置;

确定所述球面表示上对应于所述像素位置的点,其中使用用于从正方形转换为圆的映射来确定所述球面表示上的所述点;

从所述球面表示上的所述点对像素进行取样;及

将所述经取样像素置放在所述像素位置处。

4.根据权利要求3所述的方法,其中所述用于将正方形转换为圆的映射将所述输出视频帧中的失真降至最低。

5.根据权利要求3所述的方法,其中映射所述顶部区及映射所述底部区进一步包含:

使用渐次曲线函数调整所述像素位置。

6.根据权利要求5所述的方法,其中在邻近于所述输出视频帧中的额外矩形区域的区域中的像素位置处使用所述渐次曲线函数。

7.根据权利要求5所述的方法,其中所述渐次曲线函数针对所述第一矩形区域或所述第二矩形区域的中间区域较少地改变像素位置,且针对所述第一矩形区域或所述第二矩形区域的外部区域较多地改变像素位置。

8.根据权利要求1所述的方法,其进一步包括:

将所述中间区映射至输出视频帧的一或多个矩形区域中。

9.根据权利要求8所述的方法,其中所述中间区包含左视图、正视图及右视图,其中所述左视图在所述输出视频帧中邻近于所述正视图置放,且其中所述右视图邻近于所述正视图置放。

10.根据权利要求1所述的方法,其中所述中间区包含后视图,其中所述底部区在所述输出视频帧中邻近于所述后视图置放,且其中所述顶部区邻近于所述后视图置放。

11.根据权利要求1所述的方法,其中将所述顶部区映射至所述第一矩形区域中包含将逐步调整应用于其中所述第一矩形区域邻近于所述输出视频帧中的第三矩形区域的区域中,且其中将所述底部区映射至所述第二矩形区域中包含将所述逐步调整应用于其中所述第二矩形区域邻近于所述输出视频帧中的第四矩形区域的区域中。

12.根据权利要求1所述的方法,其中所述输出视频帧具有三乘二宽高比。

13.一种视频译码装置,其包括:

存储器,其经配置以存储包含多个视频帧的360度视频数据,所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示;及

处理器,其经配置以:

将来自所述多个视频帧的一个视频帧分割成顶部区、中间区及底部区,所述顶部区包含所述球面表示的第一圆形区域,所述底部区包含所述球面表示的第二圆形区域,其在所述球面表示上与所述第一圆形区域相对,其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域;

将所述顶部区映射至输出视频帧的第一矩形区域中,其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域;及

将所述底部区映射至所述输出视频帧的第二矩形区域中,其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。

14.一种在其上存储指令的非暂时性计算机可读媒体,所述指令在由一或多个处理器执行时致使所述一或多个处理器执行包含以下的操作:

获得包含多个视频帧的360度视频数据,所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示;

将来自所述多个视频帧的视频帧分割成顶部区、中间区及底部区,所述顶部区包含所述球面表示的第一圆形区域,所述底部区包含所述球面表示的第二圆形区域,其在所述球面表示上与所述第一圆形区域相对,其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域;

将所述顶部区映射至所述输出视频帧的第一矩形区域中,其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域;及

将所述底部区映射至所述输出视频帧的第二矩形区域中,其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。

15.一种设备,其包括:

用于获得包含多个视频帧的360度视频数据的装置,所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示;

用于将来自所述多个视频帧的视频帧分割成顶部区、中间区及底部区的装置,所述顶部区包含所述球面表示的第一圆形区域,所述底部区包含所述球面表示的第二圆形区域,其在所述球面表示上与所述第一圆形区域相对,其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域;

用于将所述顶部区映射至所述输出视频帧的第一矩形区域中的装置,其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域;及

将所述底部区映射至所述输出视频帧的第二矩形区域中,其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。

16.一种用于处理视频数据的方法,其包括:

获得包含多个视频帧的360度视频数据,来自所述多个视频帧的每一视频帧包含用于所述视频帧的视频数据的二维表示;

识别来自所述多个视频帧的一个视频帧的第一矩形区域;

将所述第一矩形区域映射至用于所述视频帧的视频数据的球面表示的顶部区中,其中所述顶部区包括所述球面表示的第一圆形区域,且其中映射所述第一矩形区域包含将来自所述第一矩形区域的视频数据布置至所述第一圆形区域中;

识别所述视频帧的第二矩形区域;及

将所述第二矩形区域映射至所述球面表示的底部区中,其中所述底部区包括所述球面表示的第二圆形区域,且其中映射所述第二矩形区域包含将来自所述第二矩形区域的视频数据布置至所述第二圆形区域中。

17.根据权利要求16所述的方法,其中所述顶部区包含所述球面表示中高于所述球面表示的第一纬度的表面,其中所述底部区包含所述球面表示中低于所述球面表示的第二纬度的表面,其中所述第一纬度及所述第二纬度与所述球面表示的中纬线等距。

18.根据权利要求16所述的方法,其中映射所述第一矩形区域及映射所述第二矩形区域包含:

选择所述球面表示上的点;

确定所述视频帧中对应于所述点的像素位置,其中使用用于将圆转换为正方形的映射来确定所述像素位置;

自所述像素位置对像素进行取样;及

将所述经取样像素置放于所述点处。

19.根据权利要求18所述的方法,其中所述用于将圆转换为正方形的映射反演在所述第一矩形区域或所述第二矩形区域中的视频数据经扩展以填充所述第一矩形区域或第所述二矩形区域时所引起的失真。

20.根据权利要求18所述的方法,其中映射所述第一矩形区域及映射所述第二矩形区域进一步包含:

使用渐次曲线函数调整所述像素位置。

21.根据权利要求20所述的方法,其中在邻近于一或多个额外矩形区域中的至少一者的区域中的像素位置处使用所述渐次曲线函数。

22.根据权利要求20所述的方法,其中所述渐次曲线函数针对所述第一矩形区域或所述第二矩形区域的中间区域较少地改变像素位置,且针对所述第一矩形区域或所述第二矩形区域的一外部区域较多地改变像素位置。

23.根据权利要求16所述的方法,其进一步包括:

将所述视频帧的一或多个额外矩形区域映射至所述球面表示的中间区中。

24.根据权利要求23所述的方法,其中所述一或多个额外矩形区域包含左视图、正视图及右视图,其中所述左视图邻近于所述正视图定位,且其中所述右视图邻近于所述正视图。

25.根据权利要求16所述的方法,其中所述视频帧的一或多个额外矩形区域包含后视图,其中所述第一矩形区域邻近于所述后视图,且其中所述第二矩形区域邻近于所述后视图。

26.根据权利要求16所述的方法,其中将所述第一矩形区域映射至所述顶部区中包含将逐步调整应用于其中所述第一矩形区域邻近于所述视频帧中的第三矩形区域的区域中,且其中将所述第二矩形区域映射至所述底部区中包含将逐步调整应用于其中所述第二矩形区域邻近于所述视频帧中的第四矩形区域的区域中。

27.一种视频译码装置,其包括:

存储器,其经配置以存储包含多个视频帧的360度视频数据,来自所述多个视频帧的每一视频帧包含用于所述视频帧的视频数据的二维表示;及

处理器,其经配置以:

识别来自所述多个视频帧的视频帧的第一矩形区域;

将所述第一矩形区域映射至用于所述视频帧的视频数据的球面表示的顶部区中,其中所述顶部区包括所述球面表示的第一圆形区域,且其中映射所述第一矩形区域包含将来自所述第一矩形区域的视频数据布置至所述第一圆形区域中;

识别所述视频帧的第二矩形区域;及

将所述第二矩形区域映射至所述球面表示的底部区中,其中所述底部区包括所述球面表示的第二圆形区域,且其中映射所述第二矩形区域包含将来自所述第二矩形区域的视频数据布置至所述第二圆形区域中。

28.一种在其上存储指令的非暂时性计算机可读媒体,所述指令在由一或多个处理器执行时致使所述一或多个处理器执行包含以下的操作:

获得包含多个视频帧的360度视频资,来自所述多个视频帧的每一视频帧包含用于所述视频帧的视频数据的二维表示;

识别来自所述多个视频帧的视频帧的第一矩形区域;

将所述第一矩形区域映射至用于所述视频帧的视频数据的球面表示的顶部区中,其中所述顶部区包括所述球面表示的第一圆形区域,且其中映射所述第一矩形区域包含将来自所述第一矩形区域的视频数据布置至所述第一圆形区域中;

识别所述视频帧的第二矩形区域;及

将所述第二矩形区域映射至所述球面表示的底部区中,其中所述底部区包括所述球面表示的第二圆形区域,且其中映射所述第二矩形区域包含将来自所述第二矩形区域的视频数据布置至所述第二圆形区域中。

29.一种设备,其包括:

用于获得包含多个视频帧的360度视频数据的装置,来自所述多个视频帧的每一视频帧包含用于所述视频帧的视频数据的二维表示;

用于识别来自所述多个视频帧的一个视频帧的第一矩形区域的装置;

用于将所述第一矩形区域映射至用于所述视频帧的视频数据的球面表示的顶部区中的装置,其中所述顶部区包括所述球面表示的第一圆形区域,且其中映射所述第一矩形区域包含将来自所述第一矩形区域的视频数据布置至所述第一圆形区域中;

用于识别所述视频帧的第二矩形区域的装置;及

用于将所述第二矩形区域映射至所述球面表示的底部区中的装置,其中所述底部区包括所述球面表示的第二圆形区域,且其中映射所述第二矩形区域包含将来自所述第二矩形区域的视频数据布置至所述第二圆形区域中。


技术总结
本发明提供用于处理360度视频数据的系统及方法。在各种实施方案中,360度视频帧的球面表示可分割成顶部区、底部区及中间区。所述中间区可映射至输出视频帧的一或多个矩形区域中。可使用将正方形转换为圆的映射将所述顶部区映射至所述输出视频帧的第一矩形区域中,使得圆形顶部区中的像素经扩展以填充所述第一矩形区。所述底部区可映射至所述输出视频帧的第二矩形区域中,使得圆形底部区中的像素经扩展以填充所述第二矩形区。

技术研发人员:G·范德奥维拉;M·科班;M·卡切维奇
受保护的技术使用者:高通股份有限公司
技术研发日:2018.03.21
技术公布日:2019.11.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1