双录视频数据的质检方法、质检装置与处理器与流程

本技术涉及人工智能，具体而言，涉及一种双录视频数据的质检方法、质检装置、计算机可读存储介质与处理器。

背景技术：

1、随着监管要求日趋严格，对理财产品在销售过程中的录音录像视频进行合规性检测的工作量也日渐繁重。传统的人工审核方式，要求工作人员分析各类业务中的质量检查点，再完整浏览双录视频并判断各个质量检查点是否符合规范要求，这种方式不仅需要耗费大量的人力物力，而且视频审核的标准也因人而异，因此造成了合规性校验结果有效性无法得到保证。

2、随着人工智能技术的日渐成熟与计算机硬件的快速发展，人工智能技术在金融业的应用加速推进，使得运用语音识别、智能字符识别以及自然语言处理等技术，对双录数据自动合规性质检成为可能。目前的双录数据的智能质检技术方案中，虽已存在运用人工智能技术的质检方案，例如，对双录音频数据运用语音识别技术获得文本信息，并进行话术匹配检测以判断是否满足要求，以及对双录数据运用计算机视觉技术识别人员离席、签字行为等质检点。

3、上述的智能质检方案均存在着质检效率较低且质检结果较为不准确的问题。

技术实现思路

1、本技术的主要目的在于提供一种双录视频数据的质检方法、质检装置、计算机可读存储介质与处理器，以解决现有技术中对双录视频数据进行质检的准确性较低的问题。

2、根据本发明实施例的一个方面，提供了一种双录视频数据的质检方法，包括：对获取的双录视频数据进行音频分离，得到目标音频数据和目标视频数据；至少采用目标音频数据和预设话术内容，对多个质检点进行质检，得到第一质检结果和语音导航列表，所述语音导航列表为将部分的所述质检点的第一时间戳信息标记在所述目标音频数据的时间轴而得到的；基于部分的所述质检点对所述目标视频数据进行聚类分析，得到视频导航列表，并基于所述语音导航列表和所述视频导航列表，对部分点的所述质检点进行质检，得到第二质检结果，所述视频导航列表为将部分的所述质检点的第二时间戳信息标记在所述目标视频数据的时间轴而得到的，所述质检点包括证件质检点、行为质检点、话术质检点、敏感词质检点和人员离席质检点；对所述第一质检结果和所述第二质检结果进行整合，得到目标质检结果，并将所述目标质检结果发送至终端设备的显示屏，以使得所述显示屏对所述目标质检结果进行展示。

3、可选地，至少采用目标音频数据和预设话术内容，对多个质检点进行质检，得到语音导航列表，包括：对所述目标音频数据进行预处理，得到多个目标文字段落，所述预处理用于将所述目标音频数据转换为多个所述目标文字段落；基于所述预设话术内容中的预设证件质检点和预设行为质检点，对各所述目标文字段落进行逐句分析，得到所述证件质检点和所述行为质检点在所述目标音频数据中的所述第一时间戳信息，所述第一时间戳信息为所述证件质检点和所述行为质检点在所述目标音频数据中的开始出现时间；基于各所述第一时间戳信息，对所述目标音频数据的时间轴进行标记，得到所述语音导航列表。

4、可选地，至少采用目标音频数据和预设话术内容，对多个质检点进行质检，得到第一质检结果，包括：对所述目标音频数据进行预处理，得到多个目标文字段落，所述预处理用于将所述目标音频数据转换为多个所述目标文字段落；基于所述预设话术内容中的预设话术质检点和多个所述目标文字段落，得到话术质检结果，以及基于预设敏感词库和多个所述目标文字段落，得到敏感词质检结果；由所述话术质检结果和所述敏感词质检结果构成所述第一质检结果。

5、可选地，对所述目标音频数据进行预处理，得到多个目标文字段落，包括：对所述目标音频数据进行语音识别处理，得到所述目标音频数据对应的目标文字信息；对所述目标文字信息进行语义处理，得到多个所述目标文字段落。

6、可选地，基于所述预设话术内容中的预设话术质检点和多个所述目标文字段落，得到话术质检结果，包括：基于所述预设话术质检点，对多个所述目标文字段落进行逐句分析，得到多个备选命中句子；计算所述预设话术质检点与各所述备选命中句子的相似度评分，得到多个预设相似度评分；计算多个所述预设相似度评分的和，得到所述双录视频数据的目标相似度评分，由于所述目标相似度评分构成所述话术质检结果。

7、可选地，计算所述预设话术质检点与各所述备选命中句子的相似度评分，得到多个预设相似度评分，包括：对多个所述备选命中句子进行分词处理，得到多个目标关键词，其中，一个所述备选命中句子对应至少一个所述目标关键词；采用各所述目标关键词，分别对所述预设话术质检点对应的句子进行遍历，得到多个关键词匹配度，以及采用各所述备选命中句子，分别对所述预设话术质检点对应的句子进行遍历，得到多个文本距离匹配度，一个目标关键词对应多个所述关键词匹配度，一个所述备选命中句子对应多个所述文本距离匹配度；基于各所述备选命中句子对应的所述关键词匹配度和所述文本距离匹配度，确定对应的所述预设相似度评分。

8、可选地，基于预设敏感词库和多个所述目标文字段落，得到敏感词质检结果，包括：采用所述预设敏感词库中的各预设敏感词，分别与多个所述目标文字段落进行对比；在所述目标文字段落中存在与所述预设敏感词相同的目标文字的情况下，将所述目标文字所属的所述目标文字段落，确定为敏感词段落，并由所述敏感词段落构成所述敏感词质检结果。

9、可选地，基于部分的所述质检点对所述目标视频数据进行聚类分析，得到视频导航列表，包括：对所述目标视频数据中的多个视频帧进行抽帧处理，得到多个第一目标视频帧；对多个所述第一目标视频帧进行聚类分析，得到所述证件质检点和所述行为质检点的所述第二时间戳信息，所述第二时间戳信息为所述证件质检点和所述行为质检点在所述目标视频数据中的开始出现时间；将各所述第二时间戳信息标记在所述目标视频数据中，得到所述视频导航列表。

10、可选地，基于所述语音导航列表和所述视频导航列表，对部分点的所述质检点进行质检，得到第二质检结果，包括：对所述语音导航列表和所述视频导航列表进行合并处理，得到具有目标时间戳信息的所述目标视频数据，所述目标时间戳信息为所述证件质检点和所述行为质检点对应的所述第一时间戳信息和所述第二时间戳信息中，开始时间最早的一个时间戳信息；基于所述目标时间戳信息，对所述目标视频数据进行抽帧处理，以确定所述证件质检点对应的多个第二目标视频帧以及所述行为质检点对应的多个所述第二目标视频帧；基于所述证件质检点对应的多个所述第二目标视频帧，对所述证件质检点进行质检，得到所述证件质检点对应的目标命中图像和所述目标命中图像对应的时间戳信息，基于所述行为质检点对应的多个所述第二目标视频帧，对所述行为质检点进行质检，得到所述行为质检点对应的所述目标命中图像和所述目标命中图像对应的时间戳信息；由基于所述证件质检点对应的所述目标命中图像和对应的时间戳信息，以及所述行为质检点对应的所述目标命中图像和对应的时间戳信息，构成所述第二质检结果。

11、可选地，所述质检方法还包括：对具有目标时间戳信息的所述目标视频数据进行抽帧处理，确定人员离席质检点对应的多个第三目标视频帧；基于第一目标网络模型和多个所述第三目标视频帧，对所述人员离席质检点进行质检，得到所述人员离席质检点对应的所述目标命中图像和所述目标命中图像对应的时间戳信息，所述第一目标网络模型是基于神经网络模型构建并进行训练得到的；基于所述人员离席质检点对应的所述目标命中图像和对应的时间戳信息，构成所述第二质检结果。

12、可选地，基于所述证件质检点对应的多个所述第二目标视频帧，对所述证件质检点进行质检，得到所述证件质检点对应的目标命中图像和所述目标命中图像对应的时间戳信息，包括：采用目标组合算法，对所述证件质检点对应的多个所述第二目标视频帧进行预处理，得到多个预处理后的所述第二目标视频帧，所述目标组合算法为基于faster-rcnn、cnn与传统图像处理算法进行组合得到的算法；采用ctpn网络，对多个预处理后的所述第二目标视频帧进行文本检测，得到多个预设文本序列，并采用连接时序分类模型，对各所述预设文本序列进行处理，得到多个可信文本序列；将各所述可信文本序列中文字信息最多的所述第二目标视频帧对应的图像，确定为目标命中图像，以及将各所述可信文本序列中文字信息最多的所述第二目标视频帧对应的图像的时间戳信息，确定为所述目标命中图像对应的时间戳信息。

13、可选地，基于所述行为质检点对应的多个所述第二目标视频帧，对所述行为质检点进行质检，得到所述行为质检点对应的所述目标命中图像和所述目标命中图像对应的时间戳信息，包括：基于第二目标网络模型和多个所述第二目标视频帧，对所述行为质检点进行质检，得到所述行为质检点对应的所述目标命中图像和所述目标命中图像对应的时间戳信息，所述第二目标网络模型是基于神经网络模型构建并进行训练得到的。

14、根据本发明实施例的另一方面，还提供了一种双录视频数据的质检装置，包括：音频视频分离组件，用于对获取的双录视频数据进行音频分离，得到目标音频数据和目标视频数据；语音识别组件，用于至少采用目标音频数据和预设话术内容，对多个质检点进行质检，得到第一质检结果和语音导航列表，所述语音导航列表为将部分的所述质检点的第一时间戳信息标记在所述目标音频数据的时间轴而得到的；视频抽帧组件，用于基于部分的所述质检点对所述目标视频数据进行聚类分析，得到视频导航列表，并基于所述语音导航列表和所述视频导航列表，对部分点的所述质检点进行质检，得到第二质检结果，所述视频导航列表为将部分的所述质检点的第二时间戳信息标记在所述目标视频数据的时间轴而得到的，所述质检点包括证件质检点、行为质检点、话术质检点、敏感词质检点和人员离席质检点；整合组件，用于对所述第一质检结果和所述第二质检结果进行整合，得到目标质检结果，并将所述目标质检结果发送至终端设备的显示屏，以使得所述显示屏对所述目标质检结果进行展示。

15、根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行任意一种所述的双录视频数据的质检方法。

16、根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的双录视频数据的质检方法。

17、在本发明实施例中，所述的双录视频数据的质检方法中，首先，采用预设话术内容，对双录视频数据分离得到的目标音频数据中的各个质检点进行质检，得到第一质检结果和语音导航列表；然后，基于部分的质检点，对双录视频数据分离得到的目标视频数据进行聚类分析，得到视频导航列表，并基于语音导航列表和视频导航类别，对部分的质检点进行质检，第二质检结果；最后，对第一质检结果和第二质检结果进行整合，得到目标质检结果，并将目标质检结果发送至终端设备的显示屏，以使得显示屏对目标质检结果进行展示。与现有技术中，采用人工对双录视频数据进行质检或者依赖目标音频数据，对各质检点进行质检，到目标质检结果相比，本方案中双录视频数据中的目标音频数据进行各个质检点的质检，得到第一质检结果和语音导航列表。再基于部分质检点，对目标视频数据进行聚类分析，得到视频导航列表，并基于语音导航列表和视频导航列表，对部分质检点进行质检，得到第二质检结果，且基于第一质检结果和第二质检结果，得到目标质检结果，保证了在较为高效的对双录视频数据进行质检的基础上，还实现了较为准确地对各个质检点进行质检，保证了得到的目标质检结果较为准确，从而解决了现有技术中对双录视频数据进行质检的准确性较低的问题，进而保证了对双录视频数据的质检效率较高。