一种基于背景相似度的照片实时在线聚类方法及系统与流程

1.本发明涉及计算机图像处理技术领域，具体涉及一种基于背景相似度的照片实时在线聚类方法及系统。


背景技术：

2.当用户参与网上信用贷款时，需要用户做人脸活体检测，然后贷款方会拿到用户自行拍出的照片以便对客户真实身份进行联网核查。因此，现有对用户照片比对计算时，主要集中于照片中的人像部分，而忽略了照片的背景部分，然而照片的背景环境信息，同样具有非常重要的风险参考价值，例如对聚集在同一中介办公场所的骗贷行为，由于骗贷团伙极有可能聚集在同一环境、同一位置进行批量拍照，拍摄的照片的背景往往具有极高的相似度，若在同一背景环境中拍照的人有多个均存在骗贷失信行为，那么在同一背景环境中拍照的其他人也可能存在骗贷的风险。


技术实现要素：

3.为了克服上述问题或者至少部分地解决上述问题，本发明的目的在于提供一种基于背景相似度的照片实时在线聚类方法及系统，通过对用户的照片背景进行聚类分析以辅助贷款方进行识别查证或风险评估。
4.本发明通过下述技术方案实现：
5.第一方面，本发明实施例提供一种基于背景相似度的照片实时在线聚类方法，包括以下步骤：s101、获取用户照片；s102、对照片中的人像部分进行处理，以得到只包含背景的背景图片；s103、筛选出具备场景特征的背景图片；s104、从筛选出的背景图片中提取出背景特征，并转换成矩阵向量；s105、以上述矩阵向量作为查询条件，从索引库中查询出与上述矩阵向量相似度大于指定阈值的固定比例或数量的已知向量；s106、依据上述已知向量对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。
6.在本发明一些实施例中，上述获取用户照片之后还包括：s201、计算照片中人像部分的区域占比是否超过预设值；s202、若是，则删除当前图片，结束操作；s203、若否，则执行上述对照片中的人像部分进行处理，以得到只包含背景的背景图片的步骤。
7.在本发明一些实施例中，上述计算照片中人像的区域占比是否超过预设值包括：利用deeplabv3语义分隔网络技术，在自建人像分隔数据集上训练一个人像语义分隔ai模型；利用训练好的人像语义分隔ai模型，对用照片进行检测，获得人像部分在照片中的坐标位置；通过获得的上述人像部分在照片中的坐标位置，计算人像部分在整个照片中所占的比例。
8.在本发明一些实施例中，上述对照片中的人像部分进行处理，以得到只包含背景的背景图片包括：在上述人像部分在照片中的坐标位置处添加一个黑色遮罩层，只保留图片中的背景部分。
9.在本发明一些实施例中，上述筛选出具备场景特征的背景图片包括：以mobilenetv3作为骨干网络结构，在自建人像背景数据集上训练一个背景图片特征分类模型，用于将目标背景图片按照背景内容分为有场景特征或无场景特征两种类型；将待分类背景图片送入训练好的背景图片特征分类模型中执行分类判断，得到背景图片的场景类型。
10.在本发明一些实施例中，上述无场景特征包括白色空白场景和黑色空白场景。
11.在本发明一些实施例中，上述从筛选出的背景图片中提取出背景特征，并转换成矩阵向量包括：以resnet50作为骨干网络结构，利用卷积神经网络技术提取背景图片的背景特征，经转化得到一个2048维的36位精度浮点数矩阵向量。
12.在本发明一些实施例中，上述以上述矩阵向量作为查询条件，从索引库中查询出与上述矩阵向量相似度大于指定阈值的固定比例或数量的已知向量包括：使用上述矩阵向量作为查询条件，从向量搜索引擎faiss中查询与当前向量相似度大于指定阈值的固定比例或数量的已知向量。
13.在本发明一些实施例中，上述依据上述已知向量对应的已知照片的类别设置当前用户照片的类别包括：遍历查询到的已知向量所对应的照片的类别，以出现次数最多的类别作为当前矩阵向量所对应的照片的类别。
14.第二方面，本发明提供一种基于背景相似度的照片实时在线聚类系统，包括：获取模块：用于获取用户照片；处理模块：用于对照片中的人像部分进行处理，以得到只包含背景的背景图片；筛选模块：用于筛选出具备场景特征的背景图片；提取模块：用于从筛选出的背景图片中提取出矩阵向量；查询模块：用于从索引库中查询出与上述矩阵向量相似度大于指定阈值的固定比例或数量的已知背景特征；分类模块：依据上述已知背景特征对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。
15.本发明与现有技术相比，至少具有如下的优点和有益效果：
16.1)使用对人像处理后的照片参与计算，可增强拍摄环境背景的权重，对贷款申请人身处物理环境的分类结果更加精准可靠。
17.2)运用向量搜索引擎计算图像特征的相似度，对比两两暴力匹配，节约了海量的硬件计算资源和运行时间。
附图说明
18.为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
19.图1为一种基于背景相似度的照片实时在线聚类方法一实施例的流程示意图；
20.图2为一种基于背景相似度的照片实时在线聚类方法另一实施例的流程示意图；
21.图3为具备场景特征的背景图片的示例图；
22.图4为白色空白场景的背景示例图；
23.图5为黑色空白场景的背景示例图；
24.图6为一种基于背景相似度的照片实时在线聚类系统的结构框图。
25.图标：1
‑
获取模块，2
‑
处理模块，3
‑
筛选模块，4
‑
提取模块，5
‑
查询模块，6
‑
分类模块。
具体实施方式
26.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
27.实施例1
28.请参照图1，在本发明实施例提供一种基于背景相似度的照片实时在线聚类方法，包括以下步骤：
29.s101、获取用户照片；
30.示例性的，可利用活体检测技术批量获得用户照片，活体检测是在一些身份验证场景确定对象真实生理特征的方法，在人脸识别应用中，活体检测能通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作。可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段，从而帮助用户甄别欺诈行为，虽然通过活体检测能够验证其身份的准确性，但不能保证用户不会存在跑路的情况。
31.s102、对照片中的人像部分进行处理，以得到只包含背景的背景图片；
32.为避免照片中的人像部分对背景图的提取、识别产生影响，同时增强拍摄环境背景的权重，首先需要对照片中的人像部分进行遮盖、隐藏、抠除或虚化等操作。示例性的，可运用图像分隔技术将照片中的人像部分进行遮盖，以得到只包含自拍背景的图片，示例性的，具体的操作步骤可以为：
33.利用deeplabv3语义分隔网络技术，在自建人像分隔数据集上训练一个人像语义分隔ai模型；利用训练好的人像语义分隔ai模型，对用照片进行检测，获得人像部分在照片中的坐标位置；在上述人像部分在照片中的坐标位置处添加一个黑色遮罩层，只保留图片中的背景部分。此时的效果图如图3所示。
34.s103、筛选出具备场景特征的背景图片；
35.对人像部分进行遮挡后，照片便只剩下包含背景部分的背景图片，但并非所有的背景图片中均能够提取出有用的矩阵向量，部分照片中并不能反映出用户所在的场景，因此为节省时间和资源，首先需要对背景图片进行筛选，通过判断背景图片是否具备场景特征，进而决定是否需要对当前背景图片执行下一步的操作。其具体的操作步骤可以为：以mobilenetv3作为骨干网络结构，在自建人像背景数据集上训练一个背景图片特征分类模型，用于将目标背景图片按照背景内容分为有场景特征或无场景特征两种类型；将待分类背景图片送入训练好的背景图片特征分类模型中执行分类判断，得到背景图片的场景类型。若得到的结果为有场景特征，则继续后面的特征提取操作，若得到的结果为伍场景特征，则流程结束，不再继续针对该图片进行分析。
36.示例性的，若能够依据背景图片中的背景特征(例如所在环境、光线)等分析出用户拍照时所在时间、地点等情报则为有场景特征的背景图片，若不能，则无场景特征的背景图片，例如白色空白场景(如图4所示)和黑色空白场景(如图5所示)。
37.s104、从筛选出的背景图片中提取出矩阵向量，
38.筛选出的背景图片均为具备场景特征的背景图片，为便于对背景图片的中背景特征进行数据化、量化分析，首先则是需要从筛选出的背景图片中提取出矩阵向量，示例性的，可以resnet50作为骨干网络结构，利用卷积神经网络技术提取筛选出的背景图片的矩阵向量，经转化得到一个2048维的36位精度浮点数矩阵向量，以便后续的对比查询。
39.s105、以所述矩阵向量作为查询条件，从索引库中查询出与所述矩阵向量相似度大于指定阈值的已知向量；
40.示例性的，索引库可以为搜索引擎faiss。使用上述矩阵向量作为查询条件，从向量搜索引擎faiss中查询与当前向量相似度大于指定阈值的已知向量，若已知向量数量较大，则可将已知向量按相似度由高到低排列，并由高到底选取固定比例或数量的已知向量参与后续步骤的执行。若向量搜索引擎处于未初始化状态，则初始化向量搜索引擎faiss，若向量搜索引擎faiss已初始化，则跳过该步骤。
41.另外，若未查询到相似度大于制定阈值的向量，则流程终止，当前向量不进行后续的计算，同时意味着此时的索引库中不存在与当前背景图片同一类型的图片，此时则将当前背景图片放入索引库自行组成一个新的类别。
42.s106、依据所述已知向量对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。
43.示例性的，若以当前矩阵向量作为查询条件，从向量搜索引擎faiss中查询到了相似度由高到低排名前k的已知向量，则遍历查询到的已知向量所对应的照片的类别，以出现次数最多的类别作为当前矩阵向量所对应的照片的类别(矩阵向量与背景图片一一对应，背景图片与人像被遮挡前的照片一一对应)，并将照片放入对应的类别集合中。
44.另外，相似度越高的已知向量所对应的照片的类别往往更接近当前照片的真实类型。因此，若已知图片的类别出现的次数最多的有两种及以上，则可依据已知向量的相似度排名设定不同的权重，计算综合评分，将综合评分最高的类别作为当前照片的类别。
45.实施例2
46.请参照图2，在本发明一些实施例中，上述获取用户照片之后还包括：
47.s201、计算照片中人像部分的区域占比是否超过预设值；
48.进一步的，考虑到若用户照片中人像的区域占比过大，说明照片的背景特征十分有限，不具备继续分析的意义，因此在获取用户照片之后首先需要计算照片中人像的区域占比是多大，并判断是否超过预设值，示例性的，预设值可设为百分之九十。其具体的操作步骤可以为：利用deeplabv3语义分隔网络技术，在自建人像分隔数据集上训练一个人像语义分隔ai模型；利用训练好的人像语义分隔ai模型，对用照片进行检测，获得人像部分在照片中的坐标位置；通过获得的上述人像部分在照片中的坐标位置，计算人像部分在整个照片中所占的比例。
49.s202、若是，则删除当前图片，结束操作；
50.示例性的，若计算出的人像部分的区域占比大于百分之九十，则删除当前照片，流程终止。
51.s202、若否，则执行上述对照片中的人像部分进行处理，以得到只包含背景的背景图片的步骤。
52.示例性的，若计算出的人像部分的区域占比小于百分之九十，则执行后续s102的步骤。
53.综上，本发明提供的一种基于背景相似度的照片实时在线聚类方法具有如下有益效果：
54.1)使用对人像处理后的照片参与计算，可增强拍摄环境背景的权重，对贷款申请人身处物理环境的分类结果更加精准可靠。
55.2)运用向量搜索引擎计算图像特征的相似度，对比两两暴力匹配，节约了海量的硬件计算资源和运行时间。
56.3)基于特征向量相似度的实时在线聚类，相较于传统的离线聚类运算，计算精度更高，且减少了聚类结果中的无效样本，避免了无法及时覆盖到实时进件的照片的问题。
57.实施例3
58.请参照图6，本发明实施例提供一种基于背景相似度的照片实时在线聚类系统，包括:获取模块1：用于获取用户照片；处理模块2：用于对照片中的人像部分进行处理，以得到只包含背景的背景图片；筛选模块3：用于筛选出具备场景特征的背景图片；提取模块4：用于从筛选出的背景图片中提取出背景特征，并转换成矩阵向量；查询模块5：用于从索引库中查询出与上述矩阵向量相似度大于指定阈值的固定比例或数量的已知向量；分类模块6：用于依据上述已知向量对应的已知照片的类别设置当前用户照片的类别，并将当前用户照片放入对应的类别集合中。
59.本发明实施例所提供的系统可用于执行上述任一实施例上述的方法，具体见实施例1及实施例2。在此不作赘述。
60.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。