小程序配音作品处理的方法与流程

1.本发明涉及小程序配音作品技术领域，具体为小程序配音作品处理的方法。


背景技术：

2.程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载，操作简单快捷，因此现自媒体人通常使用小程序对作品进行配音处理。
3.常见的配音作品处理的方法在使用时，通过移动终端将文字输入小程序后台服务器中，通过小程序的后台将文字转换生成音频，随后将音频和视频作品进行对比裁剪生成新的视频，但文字转换生成的音频是通过小程序后台模拟合成的，无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题，不能满足配音作品处理的工作要求，为此提出小程序配音作品处理的方法。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了小程序配音作品处理的方法，解决了上述背景技术提出的技术问题。
6.(二)技术方案
7.为实现上述的目的，本发明提供如下技术方案：小程序配音作品处理的方法，包括以下步骤：
8.s1、使用后台合成和前端合成中的一种；
9.s2、后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐，使用微信声音录制recordermanager获取用户的朗读内容进行储存，完成后把本地录制的音频上传到后台服务器；
10.s3、后台服务器使用线程方法通过ffmpeg工具命令对音频和配音原素材进行裁剪，再使用裁剪后的文件通过ffmpeg命令合成一个新的视频文件，随后将视频文件上传至阿里云的oss，并进行数据保存；
11.s4、通过前端详情页对视频文件进行播放。
12.优选的，所述前端合成时，包括戴耳机录制和不带耳机录制两种方式播放背景音乐，且两种方式播放背景音乐时均调用微信声音录制recordermanager录制纯人声，当戴耳机录制时，只录制人声不会直接收录视频，耳机同步播放视频分类里的音频，录制完成暂停视频，调用微信音频合成wx.createmediacontainer()，做合成操作，调用extractdatasource()分离轨道容器，调用addtrack()添加传入录制完成的人声音频，通过wx.downloadfile下载后台返回的视频，再次调用addtrack()添加下载完成的本地视频，然后调用export()将容器内的轨道合并并导出视频文件，之后再将合成完的视频文件
上传到后台服务器。
13.优选的，所述不带耳机录制时，录制时长不能超过视频本身时长，设置自动超时录制停止，同步停止视频播放，完成后把本地录制的视频上传到后台服务器。
14.优选的，所述无耳机录制时，通过volume属性控制减小背景音频声音，保证录制的时候背景声不会覆盖人声，录制时长不能超过十分钟，设置自动超时录制停止，同步停止背景音频播放，完成后把本地录制的音频上传到后台服务器。
15.优选的，所述后台服务器使用时，接口会先将音频文件数据进行保存，然后将当前数据放入队列，等待处理，检查是否已开启处理音视频合成的线程，未开启则开启线程。
16.优选的，所述ffmpeg工具获取音频文件时长，判断音频时长，和配音的原素材视频时长进行对比，以时长短的为基准，对另一个文件使用ffmpeg命令进行裁剪。
17.优选的，所述前端详情页播放时逻辑，判断是否有合成后视频文件的链接，是的话直接播放合成后视频，如果还未合成，同时播放素材原视频文件和用户的作品文件。
18.(三)有益效果
19.与现有技术相比，本发明提供了小程序配音作品处理的方法，具备以下有益效果：
20.1、该小程序配音作品处理的方法，通过设置后台合成使用有无耳机的两种方式在播放背景音乐的同时，使用微信声音录制recordermanager对人声进行收录，并将音频上传至后台服务器，后台通过ffmpeg工具命令对音频和原素材进行对比裁剪后合成一个新的视频文件，新的视频文件数据上可以保留用户的原始音频，在无背景音干扰的情况下，可以使用音频分析工具，解析到更贴合实际的用户声音数据，避免了传统的文字转换生成的音频是通过小程序后台模拟合成的、无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题。
21.2、该小程序配音作品处理的方法，通过设置前端合成使用戴耳机和不戴耳机的两种方式播放背景音乐的同时，使用微信声音录制recordermanager对人声进行收录，通过调用微信音频合成wx.createmediacontainer()，做合成操作，通过调用extractdatasource()分离轨道容器和addtrack()添加人声音频，最终通过wx.downloadfile下载视频后再次调用addtrack()和export()将容器内的轨道合并并导出视频文件，能够节省资源、不需要消耗后台服务器，直接使用微信方的后台服务器进行合成，无需考虑合成需求增多的情况。
附图说明
22.图1为本发明的简易流程图；
23.图2为本发明中线程方法的简易流程图；
24.图3为本发明中前端合成的音频合成与视频导出的简易流程图。
具体实施方式
25.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.本发明提供一种技术方案，小程序配音作品处理的方法，包括以下步骤：
27.请参阅图1
28.s1、使用后台合成和前端合成中的一种，前端合成时，包括戴耳机录制和不带耳机录制两种方式播放背景音乐，且两种方式播放背景音乐时均调用微信声音录制recordermanager录制纯人声，当戴耳机录制时，只录制人声不会直接收录视频，耳机同步播放视频分类里的音频，录制完成暂停视频，调用微信音频合成wx.createmediacontainer()，做合成操作，调用extractdatasource()分离轨道容器，调用addtrack()添加传入录制完成的人声音频，通过wx.downloadfile下载后台返回的视频，再次调用addtrack()添加下载完成的本地视频，然后调用export()将容器内的轨道合并并导出视频文件，之后再将合成完的视频文件上传到后台服务器，不带耳机录制时，录制时长不能超过视频本身时长，设置自动超时录制停止，同步停止视频播放，完成后把本地录制的视频上传到后台服务器，能够节省资源、不需要消耗后台服务器，直接使用微信方的后台服务器进行合成，无需考虑合成需求增多的情况，请参阅图3；
29.s2、后台合成时，包括有耳机录制和无耳机录制的两种方式播放背景音乐，使用微信声音录制recordermanager获取用户的朗读内容进行储存，完成后把本地录制的音频上传到后台服务器，无耳机录制时，通过volume属性控制减小背景音频声音，保证录制的时候背景声不会覆盖人声，录制时长不能超过十分钟，设置自动超时录制停止，同步停止背景音频播放，完成后把本地录制的音频上传到后台服务器；
30.s3、后台服务器使用线程方法通过ffmpeg工具命令对音频和配音原素材进行裁剪，再使用裁剪后的文件通过ffmpeg命令合成一个新的视频文件，新的视频文件数据上可以保留用户的原始音频，在无背景音干扰的情况下，可以使用音频分析工具，解析到更贴合实际的用户声音数据，避免了传统的文字转换生成的音频是通过小程序后台模拟合成的、无法贴合实际的用户声音数据、无法体现用户的音色和感情，从而导致了配音作品质量低的问题，随后将视频文件上传至阿里云的oss，并进行数据保存，后台服务器使用时，接口会先将音频文件数据进行保存，然后将当前数据放入队列，等待处理，检查是否已开启处理音视频合成的线程，未开启则开启线程，ffmpeg工具获取音频文件时长，判断音频时长，和配音的原素材视频时长进行对比，以时长短的为基准，对另一个文件使用ffmpeg命令进行裁剪，请参阅图2；
31.s4、通过前端详情页对视频文件进行播放，前端详情页播放时逻辑，判断是否有合成后视频文件的链接，是的话直接播放合成后视频，如果还未合成，同时播放素材原视频文件和用户的作品文件。
32.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
33.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。