一种智能化双录系统及方法与流程

本发明涉及双录领域，尤其涉及一种智能化双录系统及方法。

背景技术：

1、随着社会法治化的发展，人们对各类业务活动的证据链的留存和保护，越来越重视。尤其是在金融、保险等有大量经济活动的领域，监管部门出台了许多业务活动的办理规范，对其过程中的录音录像，简称双录，其规范性的要求涉及的内容比较多，尺度相对也比较严格。

2、然而传统的双录系统，通常是通过较为简单的视频录制技术，实现业务活动过程的视频录制，一般的过程包括：音视频采集，压缩编码，打包成视频文件，最后上传到音像管理服务平台。另外，也有通过对远程视频通信内容的录制，从而实现双录。现有的双录技术相对于监管要求，或者说对于形成有效的证据链的要求，相差距离甚远，主要的问题包括：1、本地录制的音视频文件未及时上传至音像管理服务平台，不合规。2、远程录制过程中，由于网络波动原因，无法保证每一笔业务活动的视频录制质量。3、录制音视频文件在保存和传输过程中缺少安全措施，如防视频篡改、防视频内容泄漏等。4、缺少关键节点检查，如缺少视频人物身份确认、缺少人脸出镜检查、缺少客户回答等关键节点检查等。5、缺少灵活性，无法针对不同的业务流程定义，每个业务都需要做定制开发。

技术实现思路

1、本发明所要解决的第一个技术问题是针对上述现有技术提供一种可靠性好、智能化程度高、灵活性强的能将抽象音视频输入输出数据进行汇聚从而实现远程双录和本地双录的智能化双录系统。

2、本发明所要解决的第二个技术问题是通过上述智能化双录系统实施的智能化双录方法。

3、本发明解决上述第一个技术问题所采用的技术方案为：一种智能化双录系统，其特征在于包括：

4、业务流程定义模块，通过可视化界面对业务流程进行定义，在定义业务流程的不同节点时，选择数据的来源，其中数据的来源包括：业务系统的查询数据，主录制模块采集的音视频数据，主录制模块接收到的远程rtc系统发来的音视频数据，主录制模块播放的屏幕内容；同时还对双录音视频文件的水印进行定义；

5、业务服务模块，与外部的业务系统进行数据对接，为主录制模块提供业务数据支持；其中外部的业务系统为已经存在的信息系统；

6、主录制模块，实现双录音视频文件的录制和播报，同时还能调用 ai 服务，将录制的双录音视频文件结构化；

7、预加工加密模块，对主录制模块录制的双录音视频文件进行编码，对编码后的双录音视频文件进行打包、切片及加密；

8、解密合成及上传模块，获取预加工加密模块生成的加密切片文件，将加密切片文件进行解密并缓存，并将缓存的切片文件进行合成，生成完整的双录音视频文件，将完整的双录音视频文件上传给外部的影像服务平台；

9、rtc通信模块，与主录制模块及远程rtc系统对接，实现主录制模块与远程rtc系统之间的音视频数据交互；

10、质检模块，用于分析主录制模块生成的结构化数据，进行实时质量检查。

11、优选地，所述主录制模块中调用的ai服务包括ai 网关和ai 服务应用，ai 网关向外提供标准统一的 ai 访问接口，ai 服务应用包括以下服务应用中的一种或任意组合：人脸识别、语音合成、语音识别、文字识别、动作检测、自然语言处理。如此，在切换不同的 ai服务应用时，无需改动各系统访问 ai 服务的方式。

12、为了将双录音视频文件结构化，所述主录制模块调用ai服务后，记录其录制的双录音视频文件中的时间、空间和语义信息，从而将双录音视频文件结构化。

13、为了将来能够识别双录音视频文件外传后是否被篡改，所述解密合成及上传模块生成完整的双录音视频文件后，对该双录音视频文件做签名，形成文件摘要，并将文件摘要一起上传给外部影像服务平台。

14、优选地，所述主录制模块、预加工加密模块和解密合成及上传模块集成在同一录制终端内，该录制终端称为主录制终端。

15、本发明解决上述第二个技术问题所采用的技术方案为：一种智能化双录方法，其特征在于，该方法通过上述智能化双录系统实施，且包括以下步骤：

16、步骤一、根据业务场景确定双录参与方是否处于异地，若是，通过rtc通信模块建立视频通信通道，远程参与方所在远程rtc系统通过rtc通信模块与主录制模块连接；若否，仅使用主录制模块进行双录；

17、步骤二、每个远程双录参与方所在远程rtc系统以及主录制模块根据预设的流程，进行媒体内容的播放、音视频数据的采集和音视频数据的传输，主录制模块在采集本地音视频数据和获取远程rtc系统的音视频数据的过程中，根据预设的业务流程的定义，将指定的音视频数据交由 ai 服务处理，将ai服务识别后的结果作为结构化数据保存起来；

18、步骤三、主录制模块汇聚本地及远程需要记录的音视频数据，录制双录音视频文件，预加工加密模块将录制的双录音视频文件进行编码、打包、切片及加密工作；

19、步骤四、基于预设的业务流程，质检模块对主录制模块生成的结构化数据进行质检，并将质检情况进行实时展现；

20、步骤五、解密合成及上传模块获取预加工加密模块生成的加密切片文件进行解密并缓存，并将缓存的切片文件进行合成，生成完整的双录音视频文件，将完整的双录音视频文件上传给外部影像服务平台。

21、双录参与方具有多种情况，不同情况的音频流采集策略不同，具体为：当双录参与方处于异地，位于远程的远程参与方所在远程rtc系统通过rtc通信模块与主录制模块连接实现远程双录时，主录制模块的音频流采集策略为：使用耳机并采用loopback回采播放的音频；

22、如果双录参与方利用主录制模块实现自主双录，主录制模块的音频流采集策略为：主录制模块引导双录参与方使用耳机，并采用loopback回采播放的音频；如果双录参与方不使用耳机，使用主录制模块的扬声器，如果主录制模块的麦克风具备回声消除功能，则打开回声消除功能后，采用loopback回采播放的音频，然后叠加录制麦克风的音频；如果主录制模块的麦克风不具备回声消除功能，则直接录制麦克风的音频；

23、如果双录参与方同处一处实现临柜双录，主录制模块的音频流采集策略为：使用主录制模块的扬声器，如果主录制模块的麦克风具备回声消除功能，则打开回声消除功能后，采用loopback回采播放的音频，然后叠加录制麦克风的音频；如果主录制模块的麦克风不具备回声消除功能，则直接录制麦克风的音频。

24、进一步地，在自主双录与临柜双录过程中，主录制模块在打开麦克风的回声消除功能之前，先判断麦克风的回声消除功能是否稳定，其判断步骤如下：

25、步骤1、打开麦克风的回声消除功能，在相对安静的环境下播放标准音频a1，同时通过麦克风录音，得到音频b1；

26、步骤2、将音频b1与标准音频a1通过互相关函数找到极大值并对齐，对齐后计算二者的第一相关性系数；

27、步骤3、将第一相关性系数与第一预设阈值进行比较，若第一相关性系数小于第一预设阈值，则判断麦克风的回声消除功能稳定；否则，关闭麦克风的回声消除功能，在相对安静的环境下播放标准音频a2，同时通过麦克风录音，得到音频b2；

28、步骤4、将音频b2与标准音频a2通过互相关函数找到极大值并对齐，对齐后计算二者的第二相关性系数；

29、步骤5、将第二相关性系数与第二预设阈值进行比较，若第二相关性系数大于第二预设阈值，则判断麦克风的回声消除效果不佳但能正常关闭；否则，判断麦克风的回声消除效果不佳且不能关闭，或者判断麦克风失真。

30、主录制模块的视频流采集策略为：所述步骤三中，若主录制模块录制的视频数据为采集屏幕内容，则主录制模块将这部分视频数据通过rtc通信模块发送给远程 rtc系统；若主录制模块录制的视频数据为主录制模块的摄像头采集的视频数据，则主录制模块也将这部分视频数据通过rtc通信模块发送给远程 rtc系统。

31、为了能对切片内容进行加密或解密，所述步骤三及步骤五中，解密合成及上传模块生成一对公钥和私钥并发送公钥至预加工加密模块，预加工加密模块生成随机对称密钥并用公钥对所述对称密钥进行加密生成密文，并将密文发送至解密合成及上传模块，解密合成及上传模块用私钥对密文进行解密得到对称密钥；预加工加密模块用对称秘钥对切片内容进行加密，并将加密后的切片内容缓存后，发送给解密合成及上传模块，解密合成及上传模块接收到提交命令后，使用对称密钥对收到的加密切片内容进行解密，得到切片的原始内容，然后再将切片文件进行合成，生成完整的双录音视频文件，将完整的双录音视频文件上传给外部影像服务平台。

32、与现有技术相比，本发明的优点在于：该智能化双录系统及方法将本地的、需要rtc 远程通信的各种形式统一起来，在主录制模块汇聚本地及远程需要记录的音视频数据后统一进行编码、打包、切片及加密工作，由于是直接对主录制模块的音视频数据进行编码，且通过可靠传输机制上传切片，既避免了实时网络损伤导致的录制内容质量下降，也同时能够确保在录制任务结束时快速完成提交，从而实现即时在解密合成及上传模块落盘视频文件。