一种基于多层复合模型的进件质检方法及系统与流程

本发明涉及金融信息安全管理和深度学习，尤其涉及一种基于多层复合模型的进件质检方法及系统。

背景技术：

1、在信息技术的高速发展社会背景下，居民的线上消费规模日益增长。对应的，信用卡的办卡需求也出现显著增加，信用卡业务安全管理愈发重要。

2、目前信用卡线上欺诈攻击已经渗透到了信用卡线上经营的各个环节，而商业银行受限于自身的智能校验能力不足，无法精准识别客户信息的准确性和真实性。另外，不法分子会通过包装身份信息和连续进件的方式反复试探各商业银行的客户风险管控模型，从而找寻模型漏洞以进行攻击。

3、传统的风险管理方法中，通常采用人工审核进件材料的方式确保材料合法性以及审核办卡申请是否合规。这种方式难以应对大量增加的进件量审核需要，容易出现审核资源“挤兑”造成业务处理效率答复下降等问题，且人工审核过于依赖审核人员个人经验，容易出现审核疏漏。

4、为了解决这一问题，现有技术也从计算机辅助处理的方法帮助审核人员处理进件审核工作。例如，申请号202010357043，名称为“证件图像质量自动检查方法及系统”的发明专利申请公开了一种证件图像质量自动检查方法，首先在证件图像中定位出证件区域；然后通过透视变换对证件区域图像进行校正；对校正后证件图像的内容进行可识别性判定，如可识别，输出识别内容后进行下一步；如不可识别,直接输出质量检查结果；根据不同质量检查指标并根据指标真假值判断，对校正后证件图像进行质量检查指标分类并输出二分类结果；输出证件图像质量检查结果。通过该方法能够自动化审核证件图像质量，特别是能够辅助判断证件图像是否存在伪造、变造等风险问题，能够用于辅助审核人员检查进件材料。

5、但是，上述方法虽然能用于检测证件图像的质量，但其本质属于一种多阶段序列的检测方式，最终检测结果高度依赖于各不同检测阶段的准确性，因此容易受到某个检测阶段的准确度所干扰，进而影响到整个检测模型的检测效果。由于整体方法需要涉及包括证件区域定位、证件图像透视变换、校正后身份证图像质量指标二分类等一系列处理步骤，前一个步骤产生的偏差可能影响后一个步骤，从而造成误差的累积，因此最终的检测结果容易受到某个步骤的准确度所干扰。另一方面，用于执行各不同步骤的具体训练目标不同，这样训练出来的模型容易形成各个模块局部最优，而整体很难达到最佳性能。此外，这类方法包含的图像仿射变换等操作可能会使图像丢失部分原始信息，而且这种仅基于空域特征对证件图像进行质量检查指标的二分类，容易被篡改图像误导，从而产生错误的分类结果。

6、由此可知，在现有证件图像质检模型的实际使用中，有很多因素可能会影响到质检模型的准确性，从而影响线上进件审核的效率和安全性。

技术实现思路

1、为解决现有技术的不足，本发明提出一种基于多层复合模型的进件质检方法及系统，基于空域特征和噪声特征的端到端图像分类网络来对身份证进行质检，噪声特征可以有效地帮助网络识别出图像中是否被篡改过，与此同时，端到端的图像分类网络可以有效避免太多个模块进行质量检测所产生的误差累积，并且减少了工程复杂度；此外，本发明还通过多层次模型对其他进件图像进行合影检测，从而检测出进件图像资料中是否包含客户经理与客户的合影图像，以适配进件质检需求。

2、为实现以上目的，本发明所采用的技术方案包括：

3、一种基于多层复合模型的进件质检方法，其特征在于，包括：

4、s1、获取进件图像集合，使用第一模型判断进件图像集合中是否同时包括证件图像和合影图像，当判断进件图像集合中不同时包括证件图像和合影图像时，停止质检流程并输出第一质检不合格信息；

5、s2、当判断进件图像集合中同时包括证件图像和合影图像时，进一步使用第二模型判断证件图像是否满足预设质量要求，当判断证件图像不满足预设质量要求时，停止质检流程并输出第二质检不合格信息；

6、s3、当判断进件图像集合中同时包括证件图像和合影图像时，进一步使用第三模型判断合影图像是否能够匹配预设的指定人员人脸信息，当判断合影图像不能够匹配预设的指定人员人脸信息时，停止质检流程并输出第三质检不合格信息；

7、s4、当判断合影图像能够匹配预设的指定人员人脸信息时，进一步识别合影图像中指定人员人脸信息之外的用户人脸信息；

8、s5、当判断证件图像满足预设质量要求，且合影图像能够匹配预设的指定人员人脸信息时，进一步判断用户人脸信息是否匹配证件图像，当判断用户人脸信息不匹配证件图像时，停止质检流程并输出第四质检不合格信息；

9、s6、当判断用户人脸信息匹配证件图像时，输出质检合格信息。

10、进一步地，所述步骤s2还包括：

11、对获取到的证件图像执行格式校验，将证件图像转换为rgb三通道图像，并调整至预设尺寸。

12、进一步地，所述第二模型包括基于空域特征和噪声特征的端到端图像分类网络模型。

13、进一步地，所述使用第二模型判断证件图像是否满足预设质量要求包括：

14、使用约束卷积层对证件图像执行动态预处理，并使用卷积神经网络学习噪声特征，获得对应的噪声图像；

15、使用全局注意力加权模块对证件图像和噪声图像执行注意力加权处理，得到rgb特征和噪声特征；

16、拼接rgb特征和噪声特征并输入resnet网络获得输出特征；

17、使用多尺度特征融合层组合输出特征，再通过分类层判断证件图像是否满足预设质量要求。

18、进一步地，所述第一模型包括指定图像特征检测模型；所述第三模型包括人脸特征比对模型。

19、进一步地，所述步骤s4包括：

20、识别合影图像中的人脸坐标和人脸数量。

21、本发明还涉及一种基于多层复合模型的进件质检系统，其特征在于，包括：

22、进件处理模块，用于使用第一模型判断进件图像集合中是否同时包括证件图像和合影图像；

23、证件图像质检模块，用于使用第二模型判断证件图像是否满足预设质量要求；

24、合影图像质检模块，用于使用第三模型判断合影图像是否能够匹配预设的指定人员人脸信息；

25、人脸识别模块，用于识别合影图像中指定人员人脸信息之外的用户人脸信息；

26、联合质检模块，用于判断用户人脸信息是否匹配证件图像。

27、本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

28、本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；

29、所述存储器，用于存储进件图像集合和指定人员人脸信息；

30、所述处理器，用于通过调用进件图像集合和指定人员人脸信息，执行上述的方法。

31、本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述方法的步骤。

32、本发明的有益效果为：

33、采用本发明所述基于多层复合模型的进件质检方法及系统，基于空域特征和噪声特征的端到端图像分类网络来对身份证进行质检，噪声特征可以有效地帮助网络识别出图像中是否被篡改过，为模型提供了更多维度的原始信息，与此同时使用了多尺度特征融合模块结合了深层特征和浅层特征，提高了模型对身份证图像的不同质量检查指标分类的准确率，减少了模型对篡改图像的误检率；与此同时，端到端的图像分类网络相对于现有技术增强了身份证图像特征的丰富性，并通过端到端的方式减少了多个模块间的累积误差，从而可以有效提高身份证图像质检分类的准确性，并且减少了工程复杂度；此外，本发明还通过多层次模型对其他进件图像进行合影检测，从而检测出进件图像资料中是否包含客户经理与客户的合影图像，以适配进件质检需求。