一种基于文件的合规业务检测方法及装置与流程

1.本技术涉及计算机技术领域，特别是涉及一种基于文件的合规业务检测方法及装置。


背景技术：

2.目前，为了加强金融类产品的全过程合规风险管理，要求逐步实施金融类产品销售过程的同步录音录像(简称“双录”)。
3.双录就是录音或录像。主要针对分支机构现场部分业务的风险揭示过程，进行录音或录像留痕。以规范金融企业的销售行为，同时也为事后产生争议时提供依据。对经营机构：约束销售人员行为，规范业务办理流程，避免销售人员弱化或隐瞒风险、夸大产品收益，有利于经营机构的内部管理。对投资人：可以详细地了解产品信息、风险等级及自己的权利责任，保障自身的合法权益。对于双录的合规有以下要求：1.背景光线应当适宜，录制的声音应该清晰；2.互动环节客户的回答符合要求，互动过程清晰无杂音；3.“双录”工作人员和客户“同框”；能清晰辨别员工和客户的面部特征；4.录制全程客户未离开画面；5.录制的内容完整、整个过程连续，没有中断。
4.现有的双录视频合规检测中，通常基于音视频媒体服务，通过推流的方式做实时合规检测，但是上述技术相对复杂，对开发人员的技术储备要求较高，落地成本高。并且，检测系统与业务系统耦合较深，一旦音视频服务不稳定，则回切换其他音视频厂商，但是第三方音视频厂商的音视频服务成本又比较高，为双录合规检测带来一定的困境。


技术实现要素：

5.本技术的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
6.根据本技术的一个方面，提供了一种基于文件的合规业务检测方法，包括：
7.获取待进行合规检测的目标视频文件；
8.解析所述目标视频文件，获取所述目标视频文件包含的音频文件和视频文件；
9.将通过静默检测的所述音频文件进行录音文件转写，得到所述音频文件对应的文字内容；
10.基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果；
11.基于所述第一检测结果和所述视频文件进行视频合规检测，得到第二检测结果；
12.根据所示第一检测结果和所述第二检测结果生成所述目标文件对应的合规检测报告。
13.可选地，所述基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果包括：
14.识别所述音频文件中所有业务流程节点对应的第一音频文件和第一文字内容，进行全局音频合规检测；所述全局音频合规检测包括但不限于噪音强度检测、声纹检测、文明
用语、脏词检测；或，
15.识别所述音频文件部分业务流程节点对应的第二音频文件和第二文字内容，进行节点音频合规检测；所述节点音频合规检测包括但不限于业务关键词检测、意图识别。
16.可选地，所述基于所述第一检测结果和所述视频文件进行视频合规检测，得到第二检测结果包括：
17.获取所述第一检测结果包含的经过梳理的目标业务流程节点，确定各所述目标业务流程节点在所述视频文件中对应的时间节点；
18.根据各所述目标业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测。
19.可选地，所述根据各所述目标业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测包括：
20.根据所有目标业务流程节点及其在所述视频文件中对应的时间节点，对所述视频文件进行全局视频合规检测；所述全局视频合规检测包括但不限于人脸在框检测、人脸对比检测、着装检测、光线强弱检；
21.识别部分目标业务流程节点及其在所述视频文件中对应的时间节点，对所述部分业务流程节点对应的部分视频文件进行节点视频合规检测；所述节点视频检测包括但不限于动作识别、文档识别、证件ocr识别。
22.可选地，所述解析所述目标视频文件，获取所述目标视频文件包含的音频文件和视频文件之后，所述方法还包括：
23.检测所述音频文件是否为静默文件；若所述音频文件为静默文件，则直接返回检测不通过的检测结果；若所述音频文件为非静默文件，则判断所述音频文件是否包含静默音频段；
24.若判断所述音频文件包含静默音频段，则记录所述静默音频段对应的起止时间点；
25.所述根据各所述业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测包括：
26.根据各所述业务流程节点在所述视频文件中对应的时间节点结合所述静默音频段对应的起止时间点对所述视频文件进行视频合规检测。
27.可选地，所述获取待进行合规业务检测的目标视频文件包括：
28.监听目标目录，在所述目标目录中检测到有新的文件时，获取所述所述目标目录中检测到的新的文件，作为所述目标视频文件；或，
29.通过预设的上传接口获取进行合规业务检测的目标视频文件；或，
30.利用定时器，定时从业务系统中拉取待进行合规业务检测的目标视频文件。
31.根据本技术的另一个方面，提供了一种基于文件的合规业务检测装置，包括：
32.文件处理模块，其配置成获取待进行合规检测的目标视频文件；解析所述目标视频文件，获取所述目标视频文件包含的音频文件和视频文件；
33.算法模块，其配置成将通过静默检测的所述音频文件进行录音文件转写，得到所述音频文件对应的文字内容；基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果；基于所述第一检测结果和所述视频文件进行视频合规检测，得到第
二检测结果；
34.结果输出模块，其配置成根据所示第一检测结果和所述第二检测结果生成所述目标文件对应的合规检测报告。
35.根据本技术的另一个方面，还提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述任一项所述的基于文件的合规业务检测方法。
36.根据本技术的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上述任一项所述的基于文件的合规业务检测方法。
37.根据本技术的另一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述任一项所述的基于文件的合规业务检测方法。
38.本技术提供了一种基于文件的合规业务检测方法及装置，在获取到待进行合规检测的目标视频文件之后，基于目标视频文件依次进行音频抽取、静默检测、音频合规检测、视频合规检测，最终完成的一整套合规检测。本技术提供的方案中，可以基于服务器文件/接口上传/定时拉取等方式进行数据采集，基于ffmpeg完成音频抽取、通过责任链模式组装合规算法，且整个合规检测过程分为音频合规检测和视频规格检测，且视频合规检测又基于音频合规检测结果下进行的视频合规检测，最终生成检测报告。
39.根据下文结合附图对本技术的具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述以及其他目的、优点和特征。
附图说明
40.后文将参照附图以示例性而非限制性的方式详细描述本技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
41.图1是根据本技术一个实施例的基于文件的合规业务检测方法流程示意图；
42.图2是根据本技术另一个实施例的基于文件的合规业务检测方法流程示意图；
43.图3是根据本技术一个实施例的基于文件的合规业务检测装置结构示意图；
44.图4是根据本技术另一个实施例的基于文件的合规业务检测装置结构示意图；
45.图5是根据本技术实施例的计算设备结构示意图；
46.图6是根据本技术实施例的计算机存储介质示意图。
具体实施方式
47.根据下文结合附图对本技术的具体实施例的详细描述，本领域技术人员将会更加明了本技术的上述以及其他目的、优点和特征。
48.图1是根据本技术一个实施例的基于文件的合规业务检测方法流程示意图，如图1所示，本实施例的基于文件的合规业务检测方法至少可以包括以下步骤s101～s106。
49.s101，获取待进行合规检测的目标视频文件；
50.本实施例中的待进行合规检测的目标视频文件可以是基于双录系统所录制的双
录视频文件。也就是说，业务系统将办理业务过程录制的视频和业务流程节点描述一并推送至本实施例执行合规检测的系统中，其中，视频格式可以是mp4，也可以是wav或其他视频格式。
51.可选地，上述步骤s101获取待进行合规业务检测的目标视频文件可以包括以下三种方式：
52.第一种方式，监听目标目录，在所述目标目录中检测到有新的文件时，获取所述所述目标目录中检测到的新的文件，作为所述目标视频文件。本实施例中的目标目录是专门用于存放双录视频文件的目录，当检测到该目标目录下有新的文件就触发后续对应的检测逻辑。实际应用中，可以利用文件变动监听器对目标目录的文件进行监听，当此目录下有文件新增时，自动回调相关的业务逻辑方法。
53.第二种方式，通过预设的上传接口获取进行合规业务检测的目标视频文件。具体的，可以通过开放出一个上传接口，用于接收业务系统的视频文件。
54.第三种方式，利用定时器，定时从业务系统中拉取待进行合规业务检测的目标视频文件。实际应用中，可选用上述任意一种方式获取目标视频文件，本技术实施例对此不做限定。
55.s102，解析所述目标视频文件，获取所述目标视频文件包含的音频文件和视频文件。
56.本实施例中，可以利用媒体文件抽取器，将目标视频文件中的音频分离出来。
57.s103，将通过静默检测的所述音频文件进行录音文件转写，得到所述音频文件对应的文字内容。
58.静默检测，是指检测音频文件中是否包含静默音频，静默音频，指的就是一个语音片段，经过检测分析后，没有任何有效的声音，就称之为静默音频。
59.对于通过静默检测的音频文件可以进行录音文件转写，以得到音频文件对应的文字内容。语音识别(automatic speech recognition，简称asr)是语音交互中最基础的一个ai技术环节，其中一句话识别是语音识别的一种，对一分钟内的短语音进行识别，适用于对话聊天、控制口令、语音输入法、语音搜索等较短的语音识别场景。还有一种是录音文件识别，针对完整的录音文件做asr识别，还包含角色分离，静默检测等附加功能。本实施例中，可以将通过静默检测的音频文件送入录音文件转写算法(asr)进行转换，最终得到录音文件中的文字内容。
60.s104，基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果。
61.语音合规检测，针对音频源做的一系列算法检测，用于判断业务经理或客户在办理业务时，所回答的问题、情绪、动作意图等是否合规。语音合规检测链是一条动态的音频合规检测链，其中可以包含音频静默检测、asr、脏词检测、流程话术关键字检测、意图检测、情绪分析等语音领域的各种检测算法，均可组合到此合规检测链中，用于完成业务系统的音频合规检测任务。
62.可选地，上述步骤s104基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果可以包括a1～a2。
63.a1，识别所述音频文件中所有业务流程节点对应的第一音频文件和第一文字内
容，进行全局音频合规检测；所述全局音频合规检测包括但不限于噪音强度检测、声纹检测、文明用语、脏词检测；或，
64.a2，识别所述音频文件部分业务流程节点对应的第二音频文件和第二文字内容，进行节点音频合规检测；所述节点音频合规检测包括但不限于业务关键词检测、意图识别。
65.本实施例中，可以将音频文件与asr结果一并送入语音合规检测链中，进行合规检测。其中检测分为全局检测和节点检测，如果是全局合规检测，就需要在整段音频文件中做相应类型的合规检测；如果是节点检测，就只需要对相关节点的时间段内的语音内容做合规检测，最终将结果推送到合规报告模块。(全局合规检测能力有噪音强度检测、声纹检测、文明用语、脏词等；节点检测能力有业务关键词检测、意图识别等)。
66.完成音频合规检测之后，可以获取相关的第一检测结果，例如，第一检测结果可以包括音频静默检测、asr、脏词检测、流程话术关键字检测、意图检测、情绪分析等是否符合标准的检测结果。另外，本实施例中的第一检测结果还可以包括根据录音文件转写得到的对话时间点再结合业务流程描述的整理结果，即新的业务流程节点的整合。
67.s105，基于所述第一检测结果和所述视频文件进行视频合规检测，得到第二检测结果。
68.视频合规检测，针对视频源做的一系列算法检测，用于判断业务经理或客户在办理业务时，所出示的证件是否是本人，办理业务时双方是否均在视频中、业务经理的着装是否符合要求、给客户的合同是否正规等各种合规规范检测。视频合规检测链是一条动态的视频合规检测链，其中可以包含视频静默检测、ocr识别、动作识别、文件识别、着装检测、表情分析等视频领域的各种检测算法，均可组合到此合规检测链中，用于完成业务系统的视频合规检测任务。
69.可选地，上述步骤s105基于所述第一检测结果和所述视频文件进行视频合规检测，得到第二检测结果可以包括以下b1～b2。
70.b1，获取所述第一检测结果包含的经过梳理的目标业务流程节点，确定各所述目标业务流程节点在所述视频文件中对应的时间节点。
71.b2，根据各所述目标业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测。具体地，其可以包括：
72.b2-1，根据所有目标业务流程节点及其在所述视频文件中对应的时间节点，对所述视频文件进行全局视频合规检测；所述全局视频合规检测包括但不限于人脸在框检测、人脸对比检测、着装检测、光线强弱检；
73.b2-2，识别部分目标业务流程节点及其在所述视频文件中对应的时间节点，对所述部分业务流程节点对应的部分视频文件进行节点视频合规检测；所述节点视频检测包括但不限于动作识别、文档识别、证件ocr识别。
74.本实施例的视频合规检测，将视频文件与语音质检结果一并送入视频合规检测链中，进行合规检测。视频合规检测依赖音频合规检测的结果，因为音频合规检测，会根据录音文件转写得到的对话时间点再结合业务流程描述做整理(实际情况是客户在做业务过程中，不一定严格按照流程顺序操作，有可能存在错乱，也有可能会出现重复操作同一个业务流程节点，这时就需要在音频质检中做全局调整，最终将调整后的时间节点推送到视频合规检测算法中)。视频合规检测过程根据音频检测提供的时间节点进行合规检测，其中检测
分为全局检测和节点检测，如果是全局合规检测，就需要在整段视频文件中做相应类型的合规检测；如果是节点检测，就只需要对相关节点的时间段内的视频内容做合规检测，最终将结果推送到合规报告模块。(全局合规检测能力有人脸在框检测、人脸对比检测、着装检测、光线强弱检测等；节点检测能力有动作识别、文档识别、证件ocr识别等)。
75.前文介绍，需要对音频文件进行静默检测，具体地，本实施例还可以包括以下步骤c1～c4。
76.c1，检测所述音频文件是否为静默文件；若所述音频文件为静默文件，则直接返回检测不通过的检测结果；若所述音频文件为非静默文件，则判断所述音频文件是否包含静默音频段；
77.c2，若判断所述音频文件包含静默音频段，则记录所述静默音频段对应的起止时间点。
78.上述步骤b2根据各所述业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测还可以包括：根据各所述业务流程节点在所述视频文件中对应的时间节点结合所述静默音频段对应的起止时间点对所述视频文件进行视频合规检测。
79.也就是说，可以通过vad检测抽取出来的音频文件，检查这个音频文件是否是静默语音，如果是全静默语音，即直接返回结果。如果只是部分存在静默，就将静默片段的起止时间节点记录下来供后续音频合规检测使用。
80.对于所得到的第二检测结果，可以包括对待检测视频流执行合规检测的多个检测项以及各检测项是否合规的检测结果。
81.s106，根据所示第一检测结果和所述第二检测结果生成所述目标文件对应的合规检测报告。
82.本实施例中，可以按照预设报告模基于第一检测结果和第二检测结果生成所述实时媒体流对应的合规检测报告；将所述合规检测报告和所述随路数据一并返回至前端系统。换言之，本实施例中可以针对不同的业务场景预先设置对应的报告模板，在得到第二检测结果之后，可以将第一检测结果和第二检测结果中对应各个检测想是否合规的检测结果对应填入报告模板，进而结合报告模板、第一检测结果和第二检测结果生成合规检测报告。最后，可以依据流媒体服务器，实时的将检测结果返回给前端业务系统，业务系统可以根据合规检测的结果，决定业务流程的走向。既保证了合规检测的实时性，又提高了系统体验。
83.本技术实施例提供了一种基于文件的合规检测方法，主要面向于对合规检测不要求实时出结果的业务上，且满足对合规系统开发能力不是很强的情况下，可以采用本实施例提供的方案进行合规检测。
84.本技术实施例提供的方法能够与业务系统解耦，可以分开部署，任何业务系统都可以按照本技术实施例中的数据规范，推送数据以进行合规检测。另外，本技术实施例提供的方案技术落地简单，只需要对接各种需要的算法即可，对开发人员的技术能力要求不高。此外，本技术实施例提供的方法使用了责任链模式，可以将同一领域的多种类型的合规检测算法串联成一个合规检测链简化了系统的复杂度，且支持自定义扩展，整个流程使用简单，用户体验高。
85.基于同一发明构思，本技术实施例还提供了一种基于文件的合规业务检测装置，如图3～图4所示，本实施例的基于文件的合规业务检测装置可以包括：
86.文件处理模块310，其配置成获取待进行合规检测的目标视频文件；解析所述目标视频文件，获取所述目标视频文件包含的音频文件和视频文件；
87.算法模块320，其配置成将通过静默检测的所述音频文件进行录音文件转写，得到所述音频文件对应的文字内容；基于所述音频文件和对应的所述文字内容进行音频合规检测，得到第一检测结果；基于所述第一检测结果和所述视频文件进行视频合规检测，得到第二检测结果；
88.结果输出模块330，其配置成根据所示第一检测结果和所述第二检测结果生成所述目标文件对应的合规检测报告。
89.在本技术一可选实施例中，算法模块320还可以配置成：
90.识别所述音频文件中所有业务流程节点对应的第一音频文件和第一文字内容，进行全局音频合规检测；所述全局音频合规检测包括但不限于噪音强度检测、声纹检测、文明用语、脏词检测；或，
91.识别所述音频文件部分业务流程节点对应的第二音频文件和第二文字内容，进行节点音频合规检测；所述节点音频合规检测包括但不限于业务关键词检测、意图识别。
92.在本技术一可选实施例中，算法模块320还可以配置成：
93.获取所述第一检测结果包含的经过梳理的目标业务流程节点，确定各所述目标业务流程节点在所述视频文件中对应的时间节点；
94.根据各所述目标业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测。
95.在本技术一可选实施例中，算法模块320还可以配置成：
96.根据所有目标业务流程节点及其在所述视频文件中对应的时间节点，对所述视频文件进行全局视频合规检测；所述全局视频合规检测包括但不限于人脸在框检测、人脸对比检测、着装检测、光线强弱检；
97.识别部分目标业务流程节点及其在所述视频文件中对应的时间节点，对所述部分业务流程节点对应的部分视频文件进行节点视频合规检测；所述节点视频检测包括但不限于动作识别、文档识别、证件ocr识别。
98.在本技术一可选实施例中，算法模块320还可以配置成包括：
99.检测所述音频文件是否为静默文件；若所述音频文件为静默文件，则直接返回检测不通过的检测结果；若所述音频文件为非静默文件，则判断所述音频文件是否包含静默音频段；
100.若判断所述音频文件包含静默音频段，则记录所述静默音频段对应的起止时间点；
101.所述根据各所述业务流程节点在所述视频文件中对应的时间节点对所述视频文件进行视频合规检测包括：
102.根据各所述业务流程节点在所述视频文件中对应的时间节点结合所述静默音频段对应的起止时间点对所述视频文件进行视频合规检测。
103.在本技术一可选实施例中，文件处理模块310还可以配置成：
104.监听目标目录，在所述目标目录中检测到有新的文件时，获取所述所述目标目录中检测到的新的文件，作为所述目标视频文件；或，
105.通过预设的上传接口获取进行合规业务检测的目标视频文件；或，
106.利用定时器，定时从业务系统中拉取待进行合规业务检测的目标视频文件。
107.举例来讲，如图4所示，本实施例的基于文件的合规业务检测装置中各模块功能如下：
108.文件处理模块310，包含视频采集及流程数据采集、音频文件的抽取和静默检测等功能。
109.算法模块320，采用23种设计模式中的责任链模式与策略模式，其中策略模式用来对接不同厂商的合规检测算法，对修改关闭，对扩展开放，具备很强的可扩展性。责任链模式用户串联同一领域不通类型的合规检测算法，支持不同业务的合规检测要求
110.结果输出模块330，包含合规结果组装、报表生成、结果推送。其中各个合规检测链将合规检测结果推送到此模块，对结果进行统一的组装，再按照不同的报表类型生成报表展示出来，如果需要推送结果，可以将合规检测结果通过邮件，接口等方式推动到其他第三方系统。
111.本技术实施例还提供了一种计算设备，参照图5，该计算设备包括存储器520、处理器510和存储在所述存储器520内并能由所述处理器510运行的计算机程序，该计算机程序存储于存储器520中的用于程序代码的空间530，该计算机程序在由处理器510执行时实现用于执行任一项根据本技术的方法步骤531。
112.本技术实施例还提供了一种计算机可读存储介质。参照图6，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本技术的方法步骤的程序531
′
，该程序被处理器执行。
113.本技术实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本技术的方法步骤。
114.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
115.专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现
不应认为超出本技术的范围。
116.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
117.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。