录屏方法及装置与流程

本申请涉及电子信息，尤其涉及一种录屏方法及装置。

背景技术：

1、对于传统的录屏应用来说，都是通过录制屏幕画面功能来实现录屏的，但是会导致录制期间屏幕上出现的干扰因素也会被录制进去，影响录屏视频的质量。为了解决这一问题，期望通过截取视频应用播放视频时的视频流和音频流再进行合成的方式实现录屏。

2、但是，经分析发现，如果采用视频流和音频流合成的方式录屏，存在视频流和音频流的时间不同步的问题。目前，虽然已经出现了针对音频和视频不同步问题的处理方法，但是这些方法大多是在专业的编辑软件上通过离线的处理来对齐画面和声音，而对于上述在线录屏场景并不适用。

技术实现思路

1、本申请提供一种录屏方法及装置，能够解决在线录屏场景中视频流和音频流的时间不同步的问题。

2、第一方面，提供了一种录屏方法，该方法包括：获取来自于视频应用正在播放的视频对应的视频流和音频流；从第一时刻开始，将第一时刻及以后获取到的视频流和音频流合成为录制视频，第一时刻为获取到第一帧视频流的时刻。

3、在本申请的技术方案中，从第一帧视频流到达后才开始音视频的录制，录制过程包括接收音频流和视频流然后合成为录制视频，能够达到将音视频的时间同步的目的，而且步骤简单，不需要复杂运算，也不需要离线的专业编辑软件的处理，更适用于在线录屏场景。也就是，利用一个应用录制另外一个应用在线播放的视频，且录制的方式是采用从应用分别获取视频流和音频流再合成的方式。

4、需要说明的是，在线录屏场景中，主要是因为视频流的录制需要启动更多的进程进行配合才能实现录制，而音频流的录制只需要依赖于原有录音进程就能实现，导致视频的实际开始录制的时间晚于音频的实际开始录制的时间。这是因为在目前的电子设备中，为了安全性等考虑，不同应用之间是无法直接互相获取源视频流数据的，所以在本申请实施例所述的录屏过程中，录屏应用不能直接从视频应用获取视频流数据，才导致了音频流和视频流不同步(即音画不同步)的问题。例如，假设用户在t0时刻点击“开始录制”的选项图标，启动了在线录屏视频的任务。那么几乎在t0时刻音频录制的进程就很快准备好，并且开始获取视频流了。而视频录制的进程是在几秒后的t1时刻准备好的，所以是从t1时刻开始获取音频流。这种情况下，如果不进行时间同步，就会导致合成视频的音画不同步，而如果利用本申请技术方案进行处理，从t1时刻才开始正式的录制，也就是获取音频流和视频流然后合成，就有效避免了音画不同步的问题。

5、结合第一方面，在第一方面的某些实现方式中，在从第一时刻开始，将第一时刻及以后获取到的视频流和音频流合成为录制视频时，可以包括：将第一时刻及以后获取到的音频流和视频流按照获取的先后顺序依次进行合成，得到录制视频。可以在第一时刻之后每次获取到音频流和视频流的时候进行合成，也可以是在第一时刻开始之后的某个时刻将从第一时刻到该时刻之间获取到的视频流和音频流进行合成。

6、结合第一方面，在第一方面的某些实现方式中，在获取来自于视频应用正在播放的视频对应的视频流和音频流时，可以包括：从mediaserver获取mediaserver转发的来自于视频应用正在播放的视频对应的视频流；从audiohal获取audiohal发送的来自于视频应用正在播放的视频对应的音频流。在电子设备的原有软件结构的基础上通过增加了mediaserver转发来实现本申请的方案，能够在最小改动的前提下实现本申请方案，更加简单便捷。

7、结合第一方面，在第一方面的某些实现方式中，上述方法还包括：在第一时刻，丢弃在第一时刻之前获取到的音频流。在视频流接收到开始丢弃之前存储的视频流，以便于将音频流的起始时间和视频流的起始时间对齐。由于第一时刻之前的音频流并没有对应的视频流，是多余的，这样的处理方式，能够省去在后续处理流程中对这部分多余音频流的数据的处理，还能够消除这部分多余音频流对于合成结果的影响。需要说明的是，由于本申请是在线录屏视频的场景，所以在丢弃几帧第一时刻之前的音频流的情况下，并不影响最终合成的录制视频的音画的完整性。

8、结合第一方面，在第一方面的某些实现方式中，上述方法还包括：当结束录制后，丢弃所有获取到的视频流和音频流。这种实现方式，能够释放存储空间。

9、第二方面，提供了一种录屏装置，该装置包括由软件和/或硬件组成的用于执行第一方面中的任意一种方法的单元。

10、第三方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，当处理器执行计算机程序时能够实现第一方面的任意一种方法。

11、第四方面，提供了一种芯片，包括处理器，该处理器用于读取并执行存储在存储器中的计算机程序，当计算机程序被处理器执行时能够实现第一方面的任意一种方法。

12、可选地，该芯片还包括存储器，存储器与处理器电连接。

13、可选地，该芯片还可以包括通信接口。

14、第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当计算机程序被处理器执行时能够实现第一方面的任意一种方法。

15、第六方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，当计算机程序被处理器执行时能够实现第一方面的任意一种方法。

技术特征：

1.一种录屏方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从第一时刻开始，将所述第一时刻及以后获取到的视频流和音频流合成为录制视频，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述获取来自于视频应用正在播放的视频对应的视频流和音频流，包括：

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

6.一种录屏装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，所述处理单元具体用于：

8.根据权利要求6或7所述的装置，其特征在于，所述获取单元具体用于：

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述处理单元还用于：在所述第一时刻，丢弃在所述第一时刻之前获取到的音频流。

10.根据权利要求6至9中任一项所述的装置，其特征在于，所述处理单元还用于：当结束录制后，丢弃所有获取到的视频流和音频流。

11.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。

12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。

技术总结
本申请提供一种录屏方法及装置，该方法包括：获取来自于视频应用正在播放的视频对应的视频流和音频流；从第一时刻开始，将第一时刻及以后获取到的视频流和音频流合成为录制视频，第一时刻为获取到第一帧视频流的时刻。该方案中，从第一帧视频流到达后才开始音视频的录制，录制过程包括接收音频流和视频流然后合成为录制视频，能够达到将音视频的时间同步的目的，而且步骤简单，不需要复杂运算，也不需要离线的专业编辑软件的处理，更适用于在线录屏场景。

技术研发人员：王逸凡
受保护的技术使用者：荣耀终端有限公司
技术研发日：
技术公布日：2024/1/14