一种音视频合流录制播放方法、装置、设备及存储介质与流程

1.本发明涉及音视频录制播放技术领域，尤其涉及一种音视频合流录制播放方法、装置、设备及存储介质。


背景技术：

2.目前市面上录播主机对摄像头和麦克风的音视频流的合流录制都是通过把各个输入视频流根据宽度和高度拼接成一个视频流，各个输入音频流拼接成一个音频流，最后把拼接成的视频流和音频流合成一个媒体文件而成的。
3.但这种现有技术存在着明显的缺陷，主要在于：(1)合成的时候需要进行音视频编解码，软件运行开销大，对录播主机硬件性能要求高。(2)合成的媒体文件里面只有一个视频流和音频流，播放的时候只能播放包含所有摄像头的画面，无法选择是播放全部视频画面还是单独其中某个摄像头的画面，不够灵活。


技术实现要素：

4.本发明提供了一种音视频合流录制播放问题、装置、设备，以解决现有技术中音视频合成的步骤复杂、无法自定义播放所需要的摄像头画面的技术问题。
5.为了解决上述技术问题，本发明实施例提供了一种音视频合流录制播放方法，包括：
6.获取各摄像头的视频流以及各麦克风的音频流；
7.根据所述视频流和音频流，确定目标文件的数据，并生成目标文件的头信息；
8.根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制；
9.通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流；
10.响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放。
11.可以理解的是，相比于现有技术，本发明通过获取各摄像头的视频流以及各麦克风的音频流，从而确定目标文件的数据以及头信息，并通过目标文件的头信息，将各视频流和各音频流进行目标文件的写入，以确保每个音频流和每个视频流一一对应，从而完成目标文件的录制，并且在合成的时候无需要进行音视频编解码，简化了音视频录制的步骤，并且通过目标文件的头信息能够确保合成的目标文件里面不仅只有一个视频流和音频流，并通过响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，使得在播放的时候可以播放包含所有摄像头的画面，也可以选择是单独其中某个摄像头的画面，提高了用户体验。
12.作为优选方案，所述目标文件的数据，包括：目标文件的播放时长、所含音频流和视频流的数量、各视频流在目标文件中的流索引以及各音频流在目标文件的流索引。
13.作为优选方案，所述生成目标文件的头信息，具体为：
14.分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，进而生成目标文件的头信息。
15.可以理解的是，通过分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，能够准确地实现将各视频流以及音频流进行区分和定位，并通过在目标文件的头轨道中直接调用，以便于后续对目标文件中视频流和音频流的播放，进而将其对应的流索引写入目标文件的头信息中，避免各视频流和各音频流的实际音视频数据对目标文件的产生调用复杂和不准确的问题。
16.作为优选方案，所述根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制，具体为：
17.根据所述目标文件的头信息中各视频流和各音频流的流索引，对每个音频流和每个视频流进行配准，以使每个音频流的和每个视频流一一对应；
18.将配准后的各视频流和各音频流直接写入至目标文件的媒体数据中，从而完成目标文件的录制。
19.可以理解的是，通过将目标文件的头信息中的各视频流和各音频流的流索引来对每一个音视频数据进行配准，以使得每个音频流的和每个视频流一一对应，提高了音视频文件录制以及音视频播放时的准确性，并通过流索引配准后直接将对应的视频流和音频流数据写入至目标文件的媒体数据中，进而可以准确且高效的实现目标文件的录制。
20.作为优选方案，所述通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流，具体为：
21.根据录制后目标文件的头信息中的头轨道，得到各视频流和各音频流的流索引，并根据目标文件的媒体数据，得到录制后目标文件对应的视频流和音频流。
22.可以理解的是，通过录制后目标文件的头信息中的头轨道，来得到各音视频流的流索引，进而可以快速且准确地定位到录制后目标文件中从写入至媒体数据中的视频流以及音频流。
23.作为优选方案，所述响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放，具体为：
24.响应于用户所选的窗口播放的目标音视频，确定目标音视频所对应的流索引，进而来选用对应索引流的轨道；
25.根据选用对应索引流的轨道，确定并读取媒体数据中对应的视频流以及与视频流同步时对应的音频流，进而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
26.可以理解的是，通过响应于用户所选的窗口播放的目标音视频，进而来确定该目标音视频所对应的流索引，并选用对应该流索引的轨道，以便于后续准确地将读取的媒体数据中对应的视频流以及视频流同步时对应的音频流调用至轨道中进行播放，从而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
27.相应地，本发明还提供一种音视频合流录制播放装置，包括：获取模块、头信息模块、录制模块、分析模块和播放模块；
28.所述获取模块，用于获取各摄像头的视频流以及各麦克风的音频流；
29.所述头信息模块，用于根据所述视频流和音频流，确定目标文件的数据，并生成目标文件的头信息；
30.所述录制模块，用于根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制；
31.所述分析模块，用于通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流；
32.所述播放模块，用于响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放。
33.作为优选方案，所述目标文件的数据，包括：目标文件的播放时长、所含音频流和视频流的数量、各视频流在目标文件中的流索引以及各音频流在目标文件的流索引。
34.作为优选方案，所述生成目标文件的头信息，具体为：
35.分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，进而生成目标文件的头信息。
36.作为优选方案，所述根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制，具体为：
37.根据所述目标文件的头信息中各视频流和各音频流的流索引，对每个音频流和每个视频流进行配准，以使每个音频流的和每个视频流一一对应；
38.将配准后的各视频流和各音频流直接写入至目标文件的媒体数据中，从而完成目标文件的录制。
39.作为优选方案，所述通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流，具体为：
40.根据录制后目标文件的头信息中的头轨道，得到各视频流和各音频流的流索引，并根据目标文件的媒体数据，得到录制后目标文件对应的视频流和音频流。
41.作为优选方案，所述响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放，具体为：
42.响应于用户所选的窗口播放的目标音视频，确定目标音视频所对应的流索引，进而来选用对应索引流的轨道；
43.根据选用对应索引流的轨道，确定并读取媒体数据中对应的视频流以及与视频流同步时对应的音频流，进而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
44.相应地，本发明还提供一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现如上任一项所述的音视频合流录制播放方法。
45.相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行如上任一项所述的音视频合流录制播放方法。
附图说明
46.图1：为本发明实施例所提供的一种音视频合流录制播放方法的步骤流程图；
47.图2：为本发明实施例所提供的mp4文件格式的结构示意图；
48.图3：为本发明实施例所提供的播放器播放音视频的示意图；
49.图4：为本发明实施例所提供的一种音视频合流录制播放装置的结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.实施例一
52.请参照图1，为本发明实施例提供的一种音视频合流录制播放方法，包括以下步骤s101－s105：
53.步骤s101：获取各摄像头的视频流以及各麦克风的音频流。
54.需要说明的是，在本实施例中，视频流是通过各摄像头进行获取的，音频流是通过各麦克风进行获取的；可以理解的是，对于某一个时刻或时间段获取的视频流和音频流是同步的，即视频流中的画面对应于该音频流的声音。
55.步骤s102：根据所述视频流和音频流，确定目标文件的数据，并生成目标文件的头信息。
56.作为本实施例的优选方案，所述目标文件的数据，包括：目标文件的播放时长、所含音频流和视频流的数量、各视频流在目标文件中的流索引以及各音频流在目标文件的流索引。
57.需要说明的是，优选地，目标文件为mp4文件格式，在本实施例中，mp4文件的数据包括mp4文件的播放时长，所含音视频流数量、以及各音视频流在最终mp4文件中的流索引。
58.进一步说明的是，请参阅图2，mp4文件由箱(box)组成，每个箱(box)分为头部分header和数据部分data。其中，头部份header包含了box的类型和大小，data包含了子box或者数据，box可以嵌套子box。媒体数据mdat包含了实际媒体数据，最终解码播放的音视频数据都在这里面。轨道trak即为track box，一个mp4可以包含一个或多个轨道(比如视频轨道、音频轨道)，轨道相关的信息就在trak里，它是集成箱(container box)，至少包含两个box，分别为tkhd、mdia。
59.作为本实施例的优选方案，所述生成目标文件的头信息，具体为：
60.分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，进而生成目标文件的头信息。
61.需要说明的是，在本实施例中，分别将各个音视频流的流索引写入到mp4文件头的trak中，进而生成待合成的mp4文件的头信息。
62.可以理解的是，通过分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，能够准确地实现将各视频流以及音频流进行区分和定位，并通过在目标文件的头轨道中直接调用，以便于后续对目标文件中视频流和音频流的播放，进而将其对应的流
索引写入目标文件的头信息中，避免各视频流和各音频流的实际音视频数据对目标文件的产生调用复杂和不准确的问题。
63.步骤s103：根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制。
64.作为本实施例的优选方案，所述根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制，具体为：
65.根据所述目标文件的头信息中各视频流和各音频流的流索引，对每个音频流和每个视频流进行配准，以使每个音频流的和每个视频流一一对应；将配准后的各视频流和各音频流直接写入至目标文件的媒体数据中，从而完成目标文件的录制。
66.在本实施例中，分别将各个音视频流的流索引写入到mp4文件头的trak中后，将各个音视频实际数据不进行编解码，直接写入到mdat中，每个音频流的索引和实际音视频数据一一对应，合成一个mp4文件。这样合成的mp4文件中会有多个视频流和多个音频流。
67.可以理解的是，通过将目标文件的头信息中的各视频流和各音频流的流索引来对每一个音视频数据进行配准，以使得每个音频流的和每个视频流一一对应，提高了音视频文件录制以及音视频播放时的准确性，并通过流索引配准后直接将对应的视频流和音频流数据写入至目标文件的媒体数据中，进而可以准确且高效的实现目标文件的录制。
68.步骤s104：通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流。
69.作为本实施例的优选方案，所述通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流，具体为：
70.根据录制后目标文件的头信息中的头轨道，得到各视频流和各音频流的流索引，并根据目标文件的媒体数据，得到录制后目标文件对应的视频流和音频流。
71.需要说明的是，播放时播放器通过分析该mp4文件中的头信息，根据trak得到各个流的流索引，以使得根据mdat得到实际音视频数据来进行播放。
72.可以理解的是，通过录制后目标文件的头信息中的头轨道，来得到各音视频流的流索引，进而可以快速且准确地定位到录制后目标文件中从写入至媒体数据中的视频流以及音频流。
73.步骤s105：响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放。
74.作为实施例的优选方案，所述响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放，具体为：
75.响应于用户所选的窗口播放的目标音视频，确定目标音视频所对应的流索引，进而来选用对应索引流的轨道；根据选用对应索引流的轨道，确定并读取媒体数据中对应的视频流以及与视频流同步时对应的音频流，进而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
76.需要说明的是，在视频进行播放时，通过用户所选的播放视频对应的流索引，来确定对应的播放视频流，进而来选用对应索引流的轨道trak，读取mdat中对应的音视频数据，在播放器上创建所选视频流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
77.进一步地，播放原理相当于在播放器上再创建若干子播放器来播放各个视频流，从而达到在视觉上感觉到视频被拼接了的效果。由于mp4中的track包含实际的media data位置和大小的信息，根据track可以找到mdat，所以用户可以在播放器通过轨道选择具体播放某个摄像头画面，也可以分屏播放所有摄像头画面。
78.可以理解的是，通过响应于用户所选的窗口播放的目标音视频，进而来确定该目标音视频所对应的流索引，并选用对应该流索引的轨道，以便于后续准确地将读取的媒体数据中对应的视频流以及视频流同步时对应的音频流调用至轨道中进行播放，从而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
79.在本实施例中，录播主机合流录制时分析各个摄像头视频流和各个麦克风的音频流的流信息，确定最终合流成的mp4文件的播放时长，所含音视频流数量、以及各音视频流在最终mp4文件中的流索引。
80.根据确定结果，生成待合成的mp4文件的头信息，将各音视频流的媒体数据不根据宽度和高度进行物理拼接，而是按照流索引独立保存为待合成的mp4文件中的一个个轨道，并输出为mp4文件。
81.请参阅图3，播放时播放器通过分析该mp4文件中的头信息，得到所含音视频流数量，每个音视频流的时长和索引，确定每个播放窗口要播放的视频流以及音视频同步时需要以此为基准的流，实现分屏播放所有视频画面或单独播放其中某一路视频画面。本发明合流时不会对媒体数据进行宽度和高度上的物理拼接，所以合流时不需要进行音视频编解码，软件开销更小，对录播主机硬件性能要求更低，并且通过该种方式，播放时可以让用户选择任意一个摄像头画面进行单独观看，也可以同时对所有摄像头画面进行观看。
82.实施以上实施例，具有如下效果：
83.本发明实施例相比于现有技术，通过获取各摄像头的视频流以及各麦克风的音频流，从而确定目标文件的数据以及头信息，并通过目标文件的头信息，将各视频流和各音频流进行目标文件的写入，以确保每个音频流和每个视频流一一对应，从而完成目标文件的录制，并且在合成的时候无需要进行音视频编解码，简化了音视频录制的步骤，并且通过目标文件的头信息能够确保合成的目标文件里面不仅只有一个视频流和音频流，并通过响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，使得在播放的时候可以播放包含所有摄像头的画面，也可以选择是单独其中某个摄像头的画面，提高了用户体验。
84.实施例二
85.请参阅图4，其为本发明所提供一种音视频合流录制播放装置，包括：获取模块201、头信息模块202、录制模块203、分析模块204和播放模块205。
86.所述获取模块201，用于获取各摄像头的视频流以及各麦克风的音频流。
87.所述头信息模块202，用于根据所述视频流和音频流，确定目标文件的数据，并生成目标文件的头信息。
88.所述录制模块203，用于根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制。
89.所述分析模块204，用于通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流。
90.所述播放模块205，用于响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放。
91.作为优选方案，所述目标文件的数据，包括：目标文件的播放时长、所含音频流和视频流的数量、各视频流在目标文件中的流索引以及各音频流在目标文件的流索引。
92.作为本实施例的优选方案，所述生成目标文件的头信息，具体为：
93.分别将各视频流和各音频流的流索引分别写入至目标文件的头轨道中，进而生成目标文件的头信息。
94.作为本实施例的优选方案，所述根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制，具体为：
95.根据所述目标文件的头信息中各视频流和各音频流的流索引，对每个音频流和每个视频流进行配准，以使每个音频流的和每个视频流一一对应；将配准后的各视频流和各音频流直接写入至目标文件的媒体数据中，从而完成目标文件的录制。
96.作为本实施例的优选方案，所述通过分析录制后目标文件的头信息，得到录制后目标文件所含音频流和视频流，具体为：
97.根据录制后目标文件的头信息中的头轨道，得到各视频流和各音频流的流索引，并根据目标文件的媒体数据，得到录制后目标文件对应的视频流和音频流。
98.作为本实施例的优选方案，所述响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，进而实现音视频的播放，具体为：
99.响应于用户所选的窗口播放的目标音视频，确定目标音视频所对应的流索引，进而来选用对应索引流的轨道；根据选用对应索引流的轨道，确定并读取媒体数据中对应的视频流以及与视频流同步时对应的音频流，进而实现了创建所选音视频的流索引数量对应的视频播放窗口来进行单个或多个视频的播放。
100.所属领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
101.实施本发明实施例，具有如下效果：
102.本发明实施例相比于现有技术，通过获取各摄像头的视频流以及各麦克风的音频流，从而确定目标文件的数据以及头信息，并通过目标文件的头信息，将各视频流和各音频流进行目标文件的写入，以确保每个音频流和每个视频流一一对应，从而完成目标文件的录制，并且在合成的时候无需要进行音视频编解码，简化了音视频录制的步骤，并且通过目标文件的头信息能够确保合成的目标文件里面不仅只有一个视频流和音频流，并通过响应于用户确定每个窗口需要播放的视频流，分别读取与各视频流同步时对应的音频流，使得在播放的时候可以播放包含所有摄像头的画面，也可以选择是单独其中某个摄像头的画面，提高了用户体验。
103.实施例三
104.相应地，本发明还提供一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项实施例所述的音视频合流录制播放方法。
105.该实施例的终端设备包括：处理器、存储器以及存储在所述存储器中并可在所述
处理器上运行的计算机程序、计算机指令。所述处理器执行所述计算机程序时实现上述实施例一中的各个步骤，例如图1所示的步骤s101至s105。或者，所述处理器执行所述计算机程序时实现上述装置实施例中各模块/单元的功能，例如录制模块203。
106.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。例如，所述录制模块203，用于根据所述目标文件的头信息，将各个视频流和音频流进行目标文件的写入，以使每个音频流和每个视频流一一对应，从而完成目标文件的录制。
107.所述终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，示意图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
108.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
109.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
110.其中，所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read－only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进
行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
111.实施例四
112.相应地，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上任意一项实施例所述的音视频合流录制播放方法。
113.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。