一种结合风控系统检测设备指纹是否碰撞的方法及装置与流程

1.本发明涉及计算机和网络通信领域，尤其是一种结合风控系统检测设备指纹是否碰撞的方法及装置。


背景技术：

2.设备指纹技术是互联网领域里较常见的一项技术，在业务安全领域尤其普遍，是一个基础安全服务。其目的是通过采集设备的一系列特征信息，上送到服务端，服务端经过算法分析和匹配，为每个设备生成唯一的标识，具体工作流程如图1所示。
3.设备指纹应用有两个核心指标，唯一性和稳定性。唯一性是不同的设备需要生成不同的指纹，如果不同的设备计算出得到一样的指纹，即出现了碰撞。 稳定性是设备在经历一些操作后，比如安装，卸载，系统升级等操作后，需要保证指纹不会变化。本方案主要针对唯一性的问题。唯一性目前会碰到的问题是由于手机厂商和操作系统提供商对权限的不断收紧，导致很多特征采集率越来越低，而且很多特征采集到的是有问题的，比如mac地址，安卓和ios现在新版本采集到的都是一样的，imei，idfa等字段采集率也越来越低。核心特征空缺或者出现重复导致的后果就是相似的设备计算以后得到了一样的指纹，即出现碰撞。指纹出现碰撞是很严重的问题，直接影响设备指纹的可用性。
4.目前针对这种新版本导致的数据异常情况，厂商只有及时更新sdk和应用才能避免指纹出现大规模碰撞。现有技术针对这种新型号手机或者新版本系统发布以后带来的数据采集异常没有特别好的办法，只能在出现这种情况以后，立即更新sdk和后台系统进行规避，无法做到自发现自修复。
5.针对这种问题，本方案提出在指纹计算的过程中使用决策系统进行决策判断，根据决策返回的决策结果再进行指纹计算。决策系统负责计算所有涉及特征的空值率，重复率，在每个手机型号操作系统版本上的分布情况，如果判断某个特征出现异常，则及时告知设备指纹系统，降低该特征的计算权重，以此来规避问题。


技术实现要素：

6.针对现有技术存在的问题，本发明主要针对指纹唯一性问题，该问题主要来自手机和操作系统厂商更新后，设备信息采集出现异常情况，这些数据异常会影响设备指纹的计算结果。本发明结合实时决策系统进行计算策略的实时判断，可以自动规避设备指纹因为特征异常引发碰撞，最大化降低影响。
7.本发明提供一种结合风控系统检测设备指纹是否碰撞的方法，所述方法包括以下步骤：s1. 互联网终端设备采集设备环境信息上报到设备指纹服务；s2. 设备指纹系统将采集数据解密，解析好以后，将设备环境信息和网络环境信息一并发送给决策系统，所述设备环境信息和网络环境信息中包含若干特征；s3.决策系统计算并判断设备信息和网络环境信息中每个特征的重复率和空值
率，对于重复率超出预设第一阈值或空值率超出预设第二阈值的特征标记为异常特征，设备指纹系统根据异常特征实时进行调整，以此避免指纹计算出现碰撞。
8.进一步，在安卓系统中，所述设备环境信息包括imei、mac、手机型号、操作系统版本、android_id、蓝牙mac、cpu频率、系统开机时间、系统更新时间；ios系统中所述设备环境信息包括idfa、idfv、屏幕分辨率、cpu频率、电池信息、开机时间。
9.进一步，所述决策系统包含规则引擎和实时计算两大功能，系统分为规则引擎模块和实时计算模块，规则引擎模块负责执行相关策略，实时计算模块负责执行各类聚合计算。
10.进一步，所述实时计算模块负责计算所有涉及指纹计算的特征的各项指标，计算每个设备型号和操作系统版本下，各个特征的重复率和空值率；规则引擎模块读取到相关的重复率和空值率数据并进行规则判断，得出每个特征的重复率和空值率是否在预设阈值内。
11.进一步，当某个特征的重复率超出预设第一阈值或空值率超出预设第二阈值，则该特征被标记为异常特征，规则引擎模块则把这个异常特征的异常情况反馈给设备指纹系统，设备指纹系统根据规则引擎模块反馈的结果实时进行调整，降低所述异常特征的计算权重或不使用所述异常特征进行计算。
12.进一步，实时计算模块在计算过程中需要区分是属于不同设备上报还是同一个设备上报，区分采用的策略是：首先检测设备是否安装作弊软件，如果检测结果为未安装作弊软件，则根据设备所在的gps位置，ip地址，解析出来的城市进行分析，如果在某个型号和操作系统版本的未安装作弊软件的设备上，不同gps位置，不同城市，不同的系统开机时间，不同的系统更新时间等特征前提下，mac地址经过计算发现出现重复的情况，那么则判断mac地址在这个型号和操作系统版本的设备上出现重复。
13.进一步，所述实时计算模块对所有涉及计算的特征都进行相关的重复率和空值率计算，采用聚合计算方式，在redis中存储和累计，将每个mac地址作为一个rediskey，里面的value是其今天的出现次数，关联的ip、地区、设备型号数量。
14.进一步，所述设备为手机。
15.进一步，检测设备是否安装作弊软件的方式为检测是否有越狱、模拟器、root代码注入特征。
16.另一方面，本发明提供一种结合风控系统检测设备指纹是否碰撞的装置，包括互联网终端、设备指纹系统和决策系统，其中所述决策系统包括规则引擎模块和实时计算模块，所述装置用于实施根据本发明所述的结合风控系统检测设备指纹是否碰撞的方法。
17.本发明在设备指纹的基础上，结合实时决策系统和实时计算模块，对所有特征进行数据质量判断，计算特征的重复率和空值率，一旦指标超过设定阈值，则立即调整计算策略。通过本方案，可以自动规避手机和操作系统厂商对信息采集的策略收紧带来的影响，及时避免设备指纹因为特征异常引发碰撞，从而避免影响业务正常进行。
附图说明
18.图1示出了现有技术中设备指纹系统的工作流程示意图；图2示出了根据本发明提出的结合风控系统检测设备指纹是否碰撞的方法及装置
的工作流程示意图。
具体实施方式
19.下面将结合附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
21.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
22.以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
23.如图2所示，根据本发明的结合风控系统检测设备指纹是否碰撞的装置包括互联网终端设备1、设备指纹系统2和决策系统3，所述决策系统3进一步包括相应地决策系统具备规则引擎模块31和实时计算模块32。根据本发明的结合风控系统检测设备指纹是否碰撞的方法包括以下步骤：s1.互联网终端设备1采集设备环境信息上报到设备指纹服务。所述互联网终端设备为手机或电脑等电子产品。安卓系统内所述设备环境信息包括imei，mac，手机型号，操作系统版本，android_id，蓝牙mac，cpu频率，系统开机时间，系统更新时间。ios系统内所述设备环境信息包括idfa，idfv，屏幕分辨率，cpu频率，电池信息，开机时间。采集的字段会较多，每个平台会接近上百个特征。
24.s2.设备指纹系统2将采集数据解密，解析好以后，将设备信息和网络环境信息一并发送给决策系统3。客户端上报设备信息使用对称加密算法，比如国密sm3，服务端收到数据以后进行解决，解密后的数据是一个map结构，内容即s1中提到的相关特征。
25.s3.决策系统3包含规则引擎和实时计算两大功能，相应地决策系统3具备规则引擎模块31和实时计算模块32，规则引擎模块31负责执行相关策略，实时计算模块32负责执行各类聚合计算。在这个场景下，实时计算模块负责计算所有涉及指纹计算的特征的各项指标，比如每个手机型号和操作系统版本下，各个特征的重复率相关指标和空值率相关指标。
26.重复率的相关指标计算：比如mac重复率，例如一天有十万次请求上报，计算如下几个指标，收集到的十万个mac中去重以后有多少，重复mac最多的是哪个mac，具体重复次数，这个mac是否关联多个手机型号，多个手机操作系统版本，多个ip地址。通过这些指标判
断是否出现mac异常重复。
27.空值率即判断这批mac中空值占比多少，空值mac是否出现在多个手机型号或者系统版本中。
28.实时计算模块32在计算时需要考虑如何区分是不同设备上报还是同一个设备上报，采用的策略是，如果设备（如手机）上没有检测出越狱，模拟器，root，代码注入这些特征，这样确认设备没有安装作弊软件，是一台正常设备，确认为正常设备之后还要根据（手机）设备所在的gps位置，ip地址，解析出来的城市等进行分析，比如特征mac地址（其他特征也需要进行类似判断，比如idfa，idfv，imei，android_id，涉及到指纹计算的特征都需要做相关指标计算），在某个型号和操作系统版本的正常手机上，不同gps位置，不同城市，不同的系统开机时间，不同的系统更新时间等特征前提下，mac地址经过计算发现出现重复的情况，那么这里就可以判断出来mac地址在这个型号和操作系统版本的手机上出现重复。相同道理，如果是空值，空值率也会增加。
29.一般情况下比如idfa，苹果未限制该特征采集之前，idfa采集率是比较高的，十万次请求中，idfa空值率一般低于1%，但ios新版本对idfa限制采集以后，空值率便会有明显上升，比如在ios14大规模更新以后，空值率可能会达到5%以上。
30.实时计算模块32对所有涉及计算的特征都进行相关的指标计算，统一每个特征的异常重复率和空值率。计算方式为采用聚合计算，在redis中存储和累计，比如每个mac地址作为一个rediskey，里面的value是其当天的出现次数，关联的ip，地区，手机型号数量。
31.规则引擎模块31读取到相关的指标数据并进行规则判断，每个特征的重复率和空值率必须在一定的合理区间内。每个特征基于历史数据做统计，在未出现异常的情况下，空值率和重复率的相关指标都有分析出来一些基线值，具体地，每个特征都设有单独的重复率阈值和空值率阈值，所述重复率阈值为第一阈值，所述空值率阈值为第二阈值。比如绝大多数特征重复率设置在1%以内，mac地址由于限制较多，其重复率设置为40%，而idfa空值率设置为5%。
32.如果某个特征出现异常，规则引擎模块32则把这个特征的异常情况反馈给设备指纹系统2，设备指纹系统2根据规则引擎模块31反馈的结果实时进行调整，如果某个特征出现超过阈值的重复率，设备指纹系统2则立即降低该特征的计算权重，以此来避免指纹计算出现不可控制的碰撞。一般降低该特征在指纹计算中的权重，例如，idfa原来占比10%权重，发现在ios14出现较多空值以后，则降低idfa在ios14版本的计算权重，将其降低至1%，或者直接不使用idfa进行计算。
33.本发明在设备指纹的基础上，结合实时决策系统和实时计算模块，对所有特征进行数据质量判断，计算特征的重复率和空值率，一旦指标超过设定阈值，则立即调整计算策略。通过本方案，可以自动规避手机和操作系统厂商对信息采集的策略收紧带来的影响，及时避免设备指纹因为特征异常引发碰撞，从而影响业务。
34.设备指纹系统结合规则引擎和实时计算系统，对设备特征的各项数据质量指标进行计算，结合设定的规则进行判定，将得到的判断结果反馈给设备指纹。
35.本发明主要针对指纹唯一性问题，该问题主要来自手机和操作系统厂商更新后，设备信息采集出现异常情况，这些数据异常会影响设备指纹的计算结果。结合实时决策系统进行计算策略的实时判断，可以自动规避或最大化降低影响。
36.设备指纹采集的数据相关指标计算，可以不用实时计算，近线或者离线批量计算也可以，因为新设备或者系统发布以后，达到一定的使用量是需要一段时间的。所以不用实时计算也可，指标特征有一定的延迟不会造成很大影响。
37.本发明实施例可用于大多数计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述linux系统下基于luks对硬盘的高强度加密方法实施例的各个过程，且能达到相同的技术效果。其中，所述的计算机可读存储介质，如只读存储器(read
‑
only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
38.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
39.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
40.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
41.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。