一种基于多频流网络模型的面审视频场景评估方法与流程

本发明涉及计算机视觉，更具体地，涉及一种基于多频流网络模型的面审视频场景评估方法。

背景技术：

1、随着信息技术现代化，互联网得到了迅猛发展。影响了社会生活的方方面面，银行业通过应用新技术，彻底改变了传统商业和业务运营模式。互联网银行是银行业积极拥抱互联网的一种新的服务模式，也是商业银行在互联网技术发展下的一种实现形式。相较于传统银行服务，互联网银行提供的服务拥有零距离、便操作、趋透明等优势。能够提供更加快捷服务，给予用户更多的便利。但是，银行业务线上化，同样也带来的了更大的信用风险。

2、当前，线上贷款业务的用户信用评分机制，多使用用户的文本信息进行建模，没有考虑到视频面审的客观因素；虽然场景分类研究已经有了广泛的开展，但单纯的场景分类无法很好地直接参与到用户的信用风险评估中。

技术实现思路

1、本发明的目的在于克服现有技术中存在的不足，提供了一种基于多频流网络模型的面审视频场景评估方法，能够全面评估用户的信用风险，提高风险评估的稳定性，利用线上面审视频进行场景分析建模具有积极的研究价值。

2、作为本发明的第一个方面，提供一种基于多频流网络模型的面审视频场景评估方法，包括如下步骤：

3、步骤s1：获取线上贷款申请视频中的原始图像序列；

4、步骤s2：对所述原始图像序列进行去噪处理，以得到去噪后的图像序列；

5、步骤s3：将所述去噪后的图像序列输入到多频流网络模型中，以输出所述线上贷款申请视频的场景评分结果和场景多标签分类结果；

6、步骤s4：根据所述线上贷款申请视频的场景评分结果和场景多标签分类结果，分析出用户的最终信用评分。

7、进一步地，所述对所述原始图像序列进行去噪处理，以得到去噪后的图像序列，包括：

8、通过滑动框方式提取所述原始图像序列中的多个时间戳图像序列；

9、按照两种不同的采样频率对每一个所述时间戳图像序列中的图像进行采样，以获得每一个时间戳对应的低频图像序列和高频图像序列；

10、将低频图像序列和高频图像序列合并保存，以获得合并后的图像序列，并依次保存所述线上贷款申请视频中的多个所述合并后的图像序列；

11、分别对所述合并后的图像序列中的低频图像序列和高频图像序列进行图像预处理，以得到预处理后的低频图像序列和高频图像序列；

12、将所述预处理后的低频图像序列中的图像和高频图像序列中的图像依次输入到场景分割模型中进行场景分割，分别获得所述预处理后低频图像序列中图像的场景分割得分矩阵和所述预处理后高频图像序列中图像的场景分割得分矩阵；

13、根据所述预处理后低频图像序列中图像的场景分割得分矩阵和所述预处理后高频图像序列中图像的场景分割得分矩阵，分别对所述合并后的图像序列中的低频图像序列和高频图像序列进行图像场景分割，以对应得到去噪后的低频图像序列和高频图像序列。

14、进一步地，所述通过滑动框方式提取所述原始图像序列中的多个时间戳图像序列；按照两种不同的采样频率对每一个所述时间戳图像序列中的图像进行采样，以获得每一个时间戳对应的低频图像序列和高频图像序列，还包括：

15、按所述滑动框方式从所述原始图像序列中，截取时长为n秒的时间戳，滑动框步长为n/2秒，m为帧率，每个时间戳总帧数为n*m帧；

16、在每个时间戳中按n*m/15低频率采样，获得低频图像序列；按n*m/2高频率采样，获得高频图像序列；

17、其中，低频图像序列的保存格式为listlsf{l1、l2…ln}，ln为低频图像序列中第n个图像，n为当前时间戳图像序列中的图像总采样次数；

18、其中，高频图像序列的保存格式为listhsf{h1、h2…hm}，hm为高频图像序列中第m个图像，m为当前时间戳图像序列中的图像总采样次数。

19、进一步地，所述根据所述预处理后低频图像序列中图像的场景分割得分矩阵和所述预处理后高频图像序列中图像的场景分割得分矩阵，分别对所述合并后的图像序列中的低频图像序列和高频图像序列进行图像场景分割，以对应得到去噪后的低频图像序列和高频图像序列，包括：

20、分别对所述预处理后低频图像序列中图像的场景分割得分矩阵和所述预处理后高频图像序列中图像的场景分割得分矩阵进行二值化操作，以得到二值化后的低频图像场景分割得分矩阵和二值化后的高频图像场景分割得分矩阵；

21、根据所述二值化后的低频图像场景分割得分矩阵和二值化后的高频图像场景分割得分矩阵，分别对所述合并后的图像序列中的低频图像序列和高频图像序列进行图像场景分割，以对应得到去噪后的低频图像序列和高频图像序列。

22、进一步地，所述将所述去噪后的图像序列输入到多频流网络模型中，以输出所述线上贷款申请视频的场景评分结果和场景多标签分类结果，包括：

23、获取历史线上贷款申请视频的去噪后的图像序列和当前线上贷款申请视频的去噪后的图像序列；

24、将所述历史线上贷款申请视频的去噪后的图像序列输入到多频流网络模型中进行训练，以得到训练后的多频流网络模型；

25、将所述当前线上贷款申请视频的去噪后的图像序列输入到所述训练后的多频流网络模型中，以输出所述当前线上贷款申请视频的场景评分结果和场景多标签分类结果。

26、进一步地，所述多频流网络模型包括骨干网络模块和检测头网络模块；

27、所述骨干网络模块包括时间子模块和空间子模块，所述去噪后的高频图像序列通过所述时间子模块提取时间特征，所述去噪后的低频图像序列通过所述空间子模块提取空间特征，所述时间子模块和空间子模块的网络架构均包含一个3d卷积层和4个残差块组，在所述空间子模块的残差块组之间，通过3d卷积层将中间层的时间特征合并到空间特征中；所述骨干网络模块的最后层通过池化层将所述时间子模块和空间子模块提取的特征进行合并，以获得时空特征；

28、所述检测头网络模块包括得分子模块和标签子模块，将所述时空特征分别输入到所述得分子模块和标签子模块中，以对应获得线上贷款申请视频的场景评分结果和场景多标签分类结果。

29、进一步地，所述得分子模块的损失函数为平滑l1范式，所述标签子模块的损失函数为二分类交叉熵，通过加权方式合并所述得分子模块和标签子模块的损失值，获得所述多频流网络模型的最终损失值，其中，所述多频流网络模型的最终损失值loss的计算公式如下：

30、，

31、其中，losssl1为平滑l1范式损失值，lossbce为二分类交叉熵损失值，λsl1为l1范式损失值的权重，取值为0.3，λbce为二分类交叉熵损失值的权重，取值为0.7，n为当前训练次数，epoch为总训练次数。

32、进一步地，所述将所述当前线上贷款申请视频的去噪后的图像序列输入到所述训练后的多频流网络模型中，以输出所述当前线上贷款申请视频的场景评分结果和场景多标签分类结果，包括：

33、将所述当前线上贷款申请视频中每一个时间戳图像序列对应的去噪后的低频图像序列和高频图像序列进行归一化处理，以获得归一化处理后的图像序列；

34、将所述归一化处理后的图像序列输入到所述训练后的多频流网络模型中，以获得所述当前线上贷款申请视频中所有时间戳图像序列的场景评分结果和场景多标签分类结果；

35、保存所述当前线上贷款申请视频中所有时间戳图像序列的场景评分结果和场景多标签分类结果，以生成所述当前线上贷款申请视频的时间戳综合分析序列；

36、对所述时间戳综合分析序列中的所有场景评分结果附加权重值，以获得当前线上贷款申请视频的最终场景评分结果；

37、对所述时间戳综合分析序列中的场景多标签分类结果进行排名统计，以得到所述当前线上贷款申请视频的场景多标签分类排名结果；

38、根据所述当前线上贷款申请视频的场景多标签分类排名结果判断是否对用户信用风险进行人工审核；若是，则结合用户填写的申请信息进行信用风险评估或拒接申请；若否，则根据所述当前线上贷款申请视频的最终场景评分结果对用户信用风险进行评估。

39、进一步地，所述对所述时间戳综合分析序列中的所有场景评分结果附加权重值，以获得当前线上贷款申请视频的最终场景评分结果，还包括：

40、将所述时间戳综合分析序列中的所有场景评分结果进行加权求平均，以得到所述当前线上贷款申请视频的最终场景评分结果q，计算公式如下：

41、，

42、其中，wi为当前时间戳场景评分结果的权重，si为当前时间戳场景评分结果，k代表当前线上贷款申请视频中时间戳图像序列的个数。

43、进一步地，所述对所述时间戳综合分析序列中的场景多标签分类结果进行排名统计，以得到所述当前线上贷款申请视频的场景多标签分类排名结果，还包括：

44、根据所述时间戳综合分析序列中的所有场景多标签分类结果，从所有场景标签中筛选出出现次数最多的前三个标签；

45、判断该前三个标签中是否存在高信用风险场景，如果存在高信用风险场景，则会累计到用户的信用风险等级中，当累计信用风险等级到达预警线时，则需要通过人工审核，结合用户填写的申请信息进行信用风险评估或拒接申请；当用户的累计信用风险等级没有到达预警线时，则根据所述当前线上贷款申请视频的最终场景评分结果对用户信用风险进行评估。

46、本发明提供的一种基于多频流网络模型的面审视频场景评估方法具有以下优点：

47、（1）针对线上贷款业务场景，以创新方式基于视频场景评估用户的信用风险。利用线上贷款申请过程中的视频场景等客观因素，训练多频流网络模型mfsn，能够更全面有效地降低用户的信用风险；

48、（2）通过mfsn模型，将场景评分和多标签分类联合考虑，共享特征，减少模型开支。采用视野范围更广的3d卷积核，能够深入的分析用户的客观因素；

49、（3）通过lsf图像序列和hsf图像序列，能够兼顾提取视频中的空间特征和时间特征，在应对线上贷款申请视频场景的变化、用户设备抖动等方面，具有良好的稳定性；

50、（4）通过场景分割模型，分割出前景信息与场景信息，能够有效地剔除前景在场景分析中造成的不必要干扰，使得mfsn模型更加精准；

51、（5）因此，该发明能够提取线上贷款申请视频的场景信息，兼顾时间特征和空间特征，剔除场景分析过程中的前景干扰，有效降低用户信用风险。适用于金融行业中所有线上贷款的业务场景，具有良好的推广价值。