用于视频处理的方法、装置和介质与流程

本公开的实施例总体涉及视频处理技术，更具体地，涉及用于画中画支持的文件格式设计。

背景技术：

1、媒体流应用通常基于互联网协议(ip)、传输控制协议(tcp)和超文本传输协议(http)传输方法，并且通常依赖于诸如iso基础媒体文件格式(isobmff)的文件格式。这些流系统中的一种是基于http的动态自适应体(dash)。在dash中，针对多媒体内容的视频和/或音频数据可以有多种表示，不同的表示可以与不同的编解码特性(例如，视频编解码标准的不同配置文件或级别、不同的比特率、不同的空间分辨率等)相对应。此外，还提出了一种被称为“画中画(picture-in-picture)”的技术。因此，支持画中画服务的文件格式是值得研究的。

技术实现思路

1、本公开的实施例提供了一种用于视频处理的解决方案。

2、在第一方面，提出了一种用于视频处理的方法。该方法包括执行第一视频的媒体文件与第一视频的比特流之间的转换。该媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。

3、根据所提出的方法，采用指示来指示两个轨道是用于提供画中画服务的轨道对。由此，所提出的方法有利地使得支持基于isobmff的媒体文件中的画中画服务成为可能。

4、在第二方面，提出了一种用于处理视频数据的装置。该用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器。指令在由处理器执行时使得处理器执行根据本公开的第一方面的方法。

5、在第三方面，提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开第一方面的方法的指令。

6、在第四方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的由视频处理装置执行的方法生成的比特流。该方法包括执行第一视频的媒体文件与第一视频的比特流之间的转换。该媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。

7、在第五方面，提出了一种用于存储第一视频的比特流的方法。该方法包括：执行第一视频的媒体文件与第一视频的比特流之间的转换。该媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。

8、在第六方面，提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储第一视频的媒体文件，还视频媒体文件由视频处理装置执行的方法生成。该方法包括：执行第一视频的媒体文件与第一视频的比特流之间的转换，其中媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。

9、在第七方面，提出了一种用于存储第一视频的媒体文件的方法。该方法包括：执行第一视频的媒体文件与第一视频的比特流之间的转换；并且将媒体文件存储在非暂态计算机可读记录介质中。该媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。

10、提供
技术实现要素：
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

技术特征：

1.一种用于视频处理的方法，包括：

2.根据权利要求1所述的方法，其中所述指示包括第一类型的轨道参考。

3.根据权利要求2所述的方法，其中所述第一视频的空间分辨率小于所述第二视频的空间分辨率，并且所述第一类型的所述轨道参考是“pipm”轨道参考。

4.根据权利要求2所述的方法，其中所述第二视频的空间分辨率小于所述第一视频的空间分辨率，并且所述第一类型的所述轨道参考是“pips”轨道参考。

5.根据权利要求2-4中任一项所述的方法，其中所述轨道参考指示所述第二轨道。

6.根据权利要求2-5中任一项所述的方法，其中所述第二视频的媒体文件包括第二类型的轨道参考，所述第二类型的所述轨道参考指示所述第一轨道和所述第二轨道是用于提供画中画服务的轨道对。

7.根据权利要求1-6中任一项所述的方法，其中所述转换包括生成所述媒体文件并将所述比特流存储到所述媒体文件。

8.根据权利要求1-6中任一项所述的方法，其中所述转换包括解析所述媒体文件以重建所述比特流。

9.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂态存储器，其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-8中任一项所述的方法。

10.一种存储指令的非暂态计算机可读存储介质，所述指令使处理器执行根据权利要求1-8中任一项所述的方法。

11.一种非暂态计算机可读记录介质，存储第一视频的由视频处理装置执行的方法生成的比特流，其中所述方法包括：

12.一种用于存储第一视频的比特流的方法，包括：

13.一种非暂态计算机可读记录介质，存储第一视频的由视频处理装置执行的方法生成的媒体文件，其中所述方法包括：

14.一种用于存储第一视频的媒体文件的方法，包括：

技术总结
本公开的实施例提供了一种用于视频处理的解决方案。一种用于视频处理的方法，包括：执行第一视频的媒体文件与第一视频的比特流之间的转换。该媒体文件包括指示，该指示用于指示承载第一视频的比特流的第一轨道和承载第二视频的比特流的第二轨道是用于提供画中画服务的轨道对。所提出的方法有利地使得支持基于ISO基础媒体文件格式(ISOBMFF)的媒体文件中的画中画服务成为可能。

技术研发人员：王业奎
受保护的技术使用者：字节跳动有限公司
技术研发日：
技术公布日：2024/5/10