用于生成包括三维视频内容的媒体文件的方法和装置,以及用于重放三维视频内容的方法和装置与流程

文档序号:26012990发布日期:2021-07-23 21:33阅读:来源:国知局

技术特征:

1.一种生成包含三维视频内容的媒体文件的方法,所述方法包括:

将包含在二维视频帧中的多个分量插入到媒体文件的媒体数据盒中,在所述二维视频帧中,所述三维视频内容被压缩;

将分别与所述分量相对应的第一轨道和包含元数据的第二轨道插入到所述媒体文件的元数据盒中;以及

将关于所述多个分量中的每一个分量的入口点的信息插入到所述第二轨道中。

2.根据权利要求1所述的方法,其中,所述媒体文件是根据基于iso的媒体文件格式(isobmff)的文件,所述媒体数据盒是mdat盒,并且所述元数据盒是moov盒。

3.根据权利要求1所述的方法,其中,所述三维视频内容包含点云,并且通过基于视频的点云压缩(v-pcc)技术被压缩为所述二维视频帧,

所述二维视频帧包含指示包括在所述点云中的点的位置信息的几何形状图像、指示所述点的颜色信息的纹理图像、以及指示关于包含在所述二维视频帧中的二维图像的像素中具有关于所述点云的信息的像素的信息的占用图图像,并且

所述元数据包含辅助信息,所述辅助信息包括关于从所述点云获得的面片的信息。

4.根据权利要求1所述的方法,其中,所述第一轨道包括包含关于经编码的几何形状图像的信息的几何形状轨道、包含关于经编码的纹理图像的信息的纹理轨道或包含关于经编码的占用图图像的信息的占用图轨道中的至少一个,以及

所述第二轨道还包含所述第一轨道的列表。

5.根据权利要求1所述的方法,其中,所述第二轨道包含在所述第二轨道中参考的所述第一轨道的数量、所述第一轨道的数据类型、用于对所述第一轨道的数据进行编码的视频编码规范的类型、简档和等级、所述第一轨道的数据是否被无损编码、或者所述第一轨道的轨道标识符中的至少一个。

6.根据权利要求1所述的方法,其中,所述第二轨道还包含点云压缩(pcc)解码器配置记录和pcc参数集。

7.根据权利要求1所述的方法,其中,所述第一轨道和所述第二轨道分别包含用于识别包括相应的轨道的组的识别信息。

8.一种发送三维视频内容的方法,所述方法包括:

生成二维视频帧以及从所述二维视频帧重构三维内容所需的元数据,在所述二维视频帧中,包含点云数据的三维视频内容被压缩;

对所述二维视频帧进行编码;

将经编码的二维视频帧和所述元数据封装到媒体文件中;以及

打包和发送经封装的数据,

其中,封装包括:

将包含在经编码的二维视频帧中的多个分量插入到所述媒体文件的媒体数据盒中;以及

将分别与所述多个分量相对应的第一轨道和与所述元数据相对应的第二轨道插入到所述媒体文件的元数据盒中,

其中,当所述媒体文件被解析时,所述第二轨道为所述多个分量中的每一个提供入口点。

9.一种用于发送三维视频内容的设备,所述设备包括:

至少一个处理器,被配置为生成二维视频帧以及从所述二维视频帧重构三维内容所需的元数据,在所述二维视频帧中,所述三维视频内容被压缩;对所述二维视频帧进行编码;将经编码的二维视频帧和所述元数据封装到媒体文件中,以及对封装的数据进行打包;以及

通信器,被配置为发送打包后的数据,

其中,所述至少一个处理器还被配置为通过将包含在经编码的二维视频帧中的多个分量插入到所述媒体文件的媒体数据盒中,并且将分别与所述多个分量相对应的第一轨道和与元数据相对应的第二轨道插入到所述媒体文件的元数据盒中,来生成所述媒体文件,并且

当所述媒体文件被解析时,所述第二轨道为所述多个分量中的每一个提供入口点。

10.一种接收三维视频内容的方法,所述方法包括:

通过处理接收到的包来重构媒体文件;

解析所述媒体文件以提取经编码的二维视频帧和元数据;

对经编码的二维视频帧进行解码;以及

基于所述二维视频帧和所述元数据重构并输出三维视频内容,

其中,对所述媒体文件的解析包括:

识别包含在所述媒体文件中的媒体数据盒和元数据盒;

从所述元数据盒中识别分别与包含在经编码的二维视频帧中的多个分量相对应的第一轨道以及包含所述元数据的第二轨道;以及

从所述第二轨道中识别所述媒体数据盒中的多个分量中的每一个的入口点。

11.根据权利要求10所述的方法,其中,所述媒体文件是根据基于iso的媒体文件格式(isobmff)的文件,所述媒体数据盒是mdat盒,并且所述元数据盒是moov盒。

12.根据权利要求10所述的方法,其中,所述三维视频内容包含点云,所述经编码的二维视频帧是其中所述三维视频内容通过基于视频的点云压缩(v-pcc)技术压缩的数据,

所述二维视频帧包含指示包括在所述点云中的点的位置信息的几何形状图像、指示所述点的颜色信息的纹理图像、以及指示关于包含在所述二维视频帧中的二维图像的像素中具有关于所述点云的信息的像素的信息的占用图图像,并且

所述元数据包含辅助信息,所述辅助信息包括关于从所述点云获得的面片的信息。

13.根据权利要求10所述的方法,其中,所述第一轨道包括包含关于经编码的几何形状图像的信息的几何形状轨道、包含关于经编码的纹理图像的信息的纹理轨道或包含关于经编码的占用图图像的信息的占用图轨道中的至少一个,以及

所述第二轨道还包含所述第一轨道的列表。

14.根据权利要求10所述的方法,其中,所述第二轨道包含在所述第二轨道中参考的所述第一轨道的数量、所述第一轨道的数据类型、用于对所述第一轨道的数据进行编码的视频编码规范的类型、简档和等级、所述第一轨道的数据是否被无损编码、或者所述第一轨道的轨道标识符中的至少一个。

15.根据权利要求10所述的方法,其中,所述第二轨道还包含点云压缩(pcc)解码器配置记录和pcc参数集。

16.根据权利要求10所述的方法,其中,所述第一轨道和所述第二轨道分别包含用于识别包括每个轨道的组的识别信息,并且

所述三维视频内容是基于具有相同组识别信息的轨道集重构的。

17.一种用于接收三维视频内容的设备,所述设备包括:

通信器,被配置为接收打包后的数据;以及

至少一个处理器,被配置为通过处理所述打包后的数据来重构媒体文件,

解析所述媒体文件以提取经编码的二维视频帧和元数据,

对经编码的二维视频帧进行解码,以及

基于所述二维视频帧和所述元数据重构并输出三维视频内容,

其中,所述至少一个处理器还被配置为识别包含在所述媒体文件中的媒体数据盒和元数据盒,从所述元数据盒中识别分别与包含在经编码的二维视频帧中的多个分量相对应的第一轨道和包含所述元数据的第二轨道,并且从所述第二轨道中识别所述媒体数据盒中的多个分量中的每一个的入口点。


技术总结
本公开涉及用于生成和发送包含三维(3D)视频内容的媒体文件的方法和设备。本公开还涉及用于从接收到的媒体文件重构和再现3D视频内容的方法和设备。根据本公开的实施例的一方面,一种生成包含3D视频内容的媒体文件的方法可以包括:将包含在2D视频帧中的多个分量插入到媒体文件的媒体数据盒中,在2D视频帧中,3D视频内容被压缩;将与多个分量中的每一个相对应的第一轨道和包含元数据的第二轨道插入到媒体文件的元数据盒中;以及将关于多个分量中的每一个的入口点的信息插入到第二轨道中。

技术研发人员:叶浩晴;裵宰贤;梁贤九
受保护的技术使用者:三星电子株式会社
技术研发日:2019.10.08
技术公布日:2021.07.23
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1