基于大数据行为分析的数据检测方法及系统与流程

1.本发明涉及数据处理领域，尤其涉及一种基于大数据行为分析的数据检测方法及系统。


背景技术：

2.随着信息技术的不断更新换代和计算机科学与技术的广泛应用，各行各业都进入了大数据时代，使用海量电子数据记录、核算和管理经济业务成为必然方式，传统的账簿式和手工式数据检测已不能满足检测需求。
3.申请号为201910912011.x的文献公开了一种网络模式内审系统，网络模式内审系统运用的网络模式内审方法包括：内审成果应用网络模块中公司领导集团组织审计决策，审计决策信息流互通至内审业务管理网络模块，内审业务管理网络模块中审计委员会根据审计决策，发布审计任务；审计小组成员从内审队伍建设网络模块的审计队伍成员储备库中搭配人员，成立审计小组；审计小组接到审计任务后，运用内审信息平台网络模块进行数据导出、分析、整理和在线审计并录入问题条目信息，在线下确认后形成审计报告和整改报告，审计报告和整改报告信息流最终反馈至公司领导集团及下属各单位。
4.现有技术通过发布的审计任务成立审计小组进行数据导出、分析、整理和在线检测，在进行数据导出，需要进行处理的数据量大，检测效率不高。


技术实现要素：

5.为此，本发明提供一种基于大数据行为分析的数据检测方法及系统，可以解决检测效率不高的问题。
6.为实现上述目的，本发明提供一种基于大数据行为分析的数据检测方法，该方法包括：根据终端数据检测要求生成不同种类的检测列表，所述检测列表包括检测数据名称和检测周期；根据所述检测周期的时长分配预设数量的一级检测人员和二级检测人员，所述一级检测人员用于对检测数据进行初检，所述二级检测人员用于对检测数据进行复核；根据所述检测数据名称调取检测周期内各终端的待检测数据，得到第一检测数据列表，所述待检测数据包括数据量；根据待检测数据的数据量对调取的待检测数据进行排序，得到第二检测数据列表;所述第二检测数据列表作为所述一级检测人员和二级检测人员进行初检和复核的检测顺序。
7.进一步地，在分配检测人员时，对检测周期的时长进行时间段平均划分，并为每个时间段分配预设数量的一级检测人员和二级检测人员，划分时间段数由检测周期的时长决定，其中设置有第一周期和第二周期，将检测周期和第一周期、第二周期进行比较，当检测
周期的时长≥第二周期时，则将检测周期的时长划分为3个时间段；当第一周期≤检测周期的时长＜第二周期时，则将检测周期的时长划分为2个时间段；当检测周期的时长＜第一周期时，则将检测周期的时长划分为1个时间段。
8.进一步地，在调取待检测数据时，根据所述检测数据名称从各终端调取检测周期内的相关待检测数据，若检测数据名称为a，将各终端的数据与检测数据名称a进行关联，将得到的关联数据进行时间筛选，将在检测周期内的数据筛出，并根据时间进行排序，得到第一检测数据列表。
9.进一步地，在对待检测数据进行排序时，将第一检测数据列表中的待检测数据进行优先级排序，所述待检测数据包括数据量和终端名称，若待检测数据对应的终端名称不同时，根据数据量大小对第一检测数据列表中的待检测数据进行优先级排序，数据量越大，其对应的待检测数据的优先级排序越高，若第一检测数据列表的待检测数据分别为数据量a1和其对应的终端c1，数据量a2和其对应的终端c2，当数据量a1＞数据量a2时，则将终端c1的待检测数据优先级排到终端c2的待检测数据优先级之前；当数据量a1＝数据量a2时，则终端c1的待检测数据优先级和终端c1的待检测数据优先级按原顺序排序；当数据量a1＜数据量a2时，则将终端c2的待检测数据优先级排到终端c1的待检测数据优先级之后。
10.进一步地，在对待检测数据进行排序时，若待检测数据对应的终端名称相同时，计算每个终端的数据量和来决定待检测数据的优先级排序顺序，若有三个待检测数据同属于终端c1，其待检测数据的数据量分别为a1、a2和a3，有两个待检测数据同属于终端c2，其待检测数据的数据量分别为a4和a5，计算终端c1的数据量和与终端c2的数据量和， 得出终端c1的数据量和为a1＋a2＋a3＝e1；得出终端c2的数据量和为a4＋a5＝e2；将终端c1的数据量和e1和终端c2的数据量和e2进行比较，当数据量和e1＞数据量和e2时，则将属于终端c1的待检测数据的优先级排到属于终端c2的待检测数据的优先级之前；当数据量和e1＝数据量和e2时，则属于终端c1的待检测数据的优先级和属于终端c2的待检测数据的优先级按原顺序排序；当数据量和e1＜数据量和e2时，则将属于终端c2的待检测数据的优先级排到属于终端c1的待检测数据的优先级之前。
11.进一步地，本发明提供一种基于大数据行为分析的数据检测方法，该方法还包括：对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，所述检测结果为待检测数据是否存在异常，若存在异常，得出存在异常的原因，将检测结果传输给相对应的终端。
12.进一步地，本发明提供一种基于大数据行为分析的数据检测方法，该方法还包括：对检测形成的检测结果进行评估，根据检测结果中存在异常的原因类别进行评估，得出评估结果和纠正措施，将评估结果和纠正措施传输给相对应的终端：若原因类别涉及数据异常，则将其级别评估为a级；
若原因类别涉及数据的凭证信息异常，则将其级别评估为b级；若原因类别涉及检测流程异常，则将其级别评估为c级；其中a级＞b级＞c级，根据评估级别给出对应的纠正措施。
13.进一步地，本发明还提供一种基于大数据行为分析的数据检测系统，该系统包括：生成模块，用以根据终端检测数据检测要求生成不同种类的检测列表，所述检测列表包括检测数据名称和检测周期；分配模块，用以根据所述检测周期的时长分配预设数量的一级检测人员和二级检测人员，所述一级检测人员用于对检测数据进行初检，所述二级检测人员用于对检测数据进行复核；调取模块，用以根据所述检测数据名称调取检测周期内各终端的待检测数据，得到第一检测数据列表，所述待检测数据包括数据量；排序模块，用以根据待检测数据的数据量对调取的待检测数据进行排序，得到第二检测数据列表;所述第二检测数据列表作为所述一级检测人员和二级检测人员进行初检和复核的检测顺序。
14.进一步地，该系统还包括检测模块和评估模块，所述检测模块用以对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，所述评估模块用以对检测形成的检测结果进行评估，得到评估结果和纠正措施。
15.进一步地，所述检测模块在分配检测人员时，对检测周期的时长进行时间段平均划分，并为每个时间段分配预设数量的一级检测人员和二级检测人员，划分时间段数由检测周期的时长决定，其中设置有第一周期和第二周期，将检测周期和第一周期、第二周期进行比较，当检测周期的时长≥第二周期时，则将检测周期的时长划分为3个时间段；当第一周期≤检测周期的时长＜第二周期时，则将检测周期的时长划分为2个时间段；当检测周期的时长＜第一周期时，则将检测周期的时长划分为1个时间段。
16.与现有技术相比，本发明的有益效果在于，通过根据检测周期的时长为检测列表中的检测数据分配预设数量的一级检测人员和二级检测人员，然后根据检测数据名称调取各终端的待检测数据，由于待检测数据量庞大，根据待检测数据的数据量对调取的待检测数据进行排序，待检测数据的数据量越大，其优先级越高，优先级高的待检测数据优先进行检测，提高了检测的效率。
17.尤其，通过将检测周期的时长进行时间段划分，并为每个时间段分配预设数量的一级检测人员和二级检测人员，二级检测人员在一级检测人员的检测基础上进行复核，提高了检测的质量和安全性。
18.尤其，通过将各终端的数据与检测数据名称a进行关联，将得到的关联数据进行时间筛选，将在检测周期内的数据筛出，并根据时间进行排序，得到第一检测数据列表，通过检测数据名称与各行数据进行关联，从大量数据中准确调取到有用数据，提高待检测数据的准确性，进而提高检测效率。
19.尤其，若待检测数据对应的终端名称不同时，通过根据待检测数据中涉及的数据量大小对第一检测数据列表中的待检测数据进行优先级排序，数据量越大，待检测数据的优先级排序越高，则将优先对其进行检测，进而提高了检测质量和检测效率。
20.尤其，通过在对待检测数据进行排序时，若待检测数据对应的终端名称相同，计算每个终端的数据量和来决定待检测数据的优先级排序顺序，终端的数据量和越大，终端的待检测数据优先级排序顺序就位于前面，优先对同属于这个终端的所有待检测数据进行检测，进而提高了检测质量和检测效率。
21.尤其，通过根据第二检测数据列表中的优先级排序顺序分别进行初检和复核，经过两次检测分析是否存在异常，若存在异常给出存在异常的原因，然后得出最终的检测结果，提高了检测数据的质量，最后将检测结果传输给相对应的终端，实现了数据的有效互通。
22.尤其，通过在检测数据存在异常时，对其存在异常的原因类别进行评估，通过不同的风险等级得出纠正措施，将评估结果和纠正措施传输给对应的终端，保证终端数据的真实性，提高终端数据的安全。
23.尤其，通过分配模块根据检测周期的时长为生成模块生成的检测列表中的检测数据分配预设数量的一级检测人员和二级检测人员，然后调取模块根据检测数据名称调取各终端的待检测数据，由于待检测数据量庞大，排序模块根据待检测数据的数据量对调取的待检测数据进行排序，待检测数据的数据量越大，其优先级越高，优先级高的待检测数据优先进行检测，提高了检测的效率。
24.尤其，通过检测模块对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，将检测结果传输给相对应的终端，实现数据的有效互通，评估模块通过对存在异常的检测数据进行评估，得出评估结果和纠正措施传输给相对应的终端，让其做相对应的措施，有效提高数据的质量。
附图说明
25.图1为本发明实施例提供的基于大数据行为分析的数据检测方法的流程示意图；图2为本发明实施例提供的基于大数据行为分析的数据检测系统的结构示意图。
具体实施方式
26.为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
27.下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
28.需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
29.此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
30.请参阅图1所示，本发明实施例提供的基于大数据行为分析的数据检测方法包括：步骤s110，根据终端检测数据检测要求生成不同种类的检测检测列表，所述检测检测列表包括检测数据名称和检测周期；步骤s120，根据所述检测周期的时长分配预设数量的一级检测人员和二级检测人员，所述一级检测人员用于对检测数据进行初检，所述二级检测人员用于对检测数据进行复核；步骤s130，根据所述检测数据名称调取检测周期内各终端的待检测数据，得到第一检测数据列表，所述待检测数据包括数据量；步骤s140，根据待检测数据的数据量对调取的待检测数据进行排序，得到第二检测数据列表;所述第二检测数据列表作为所述一级检测人员和二级检测人员进行初检和复核的检测顺序。
31.具体而言，此方法的应用场景可以为对各银行终端的数据进行审计，即根据银行内部决策的审计要求生成各个部门的审计列表，根据审计列表中的预设审计周期的时长为审计对象分配预设数量的一级审计人员和二级审计人员进行两次审计，分配完审计人员后，根据审计对象名称向总行、分行和支行调取相对应的待审计数据，由于调取的待审计数据量大，根据待审计数据的金额对调取的待审计数据进行排序，待审计数据的金额越大，其优先级越高，然后审计人员根据审计顺序进行两次审计。
32.具体而言，本发明实施例通过根据检测周期的时长为检测列表中的检测数据分配预设数量的一级检测人员和二级检测人员，然后根据检测数据名称调取各终端的待检测数据，由于待检测数据量庞大，根据待检测数据的数据量对调取的待检测数据进行排序，待检测数据的数据量越大，其优先级越高，优先级高的待检测数据优先进行检测，提高了检测的效率。
33.具体而言，在分配检测人员时，对检测周期的时长进行时间段平均划分，并为每个时间段分配预设数量的一级检测人员和二级检测人员，划分时间段数由检测周期的时长决定，其中设置有第一周期和第二周期，将检测周期和第一周期、第二周期进行比较，当检测周期的时长≥第二周期时，则将检测周期的时长划分为3个时间段；当第一周期≤检测周期的时长＜第二周期时，则将检测周期的时长划分为2个时间段；当检测周期的时长＜第一周期时，则将检测周期的时长划分为1个时间段。
34.具体而言，以银行数据审计为例，根据审计周期的时长平均分为时间段t1、时间段t2和时间段t3，为时间段t1、时间段t2和时间段t3分别分配的一级审计人员数量为a和二级审计人员数量为b，且数量a大于数量b，由于二级审计人员是在一级审计人员的审计基础上进行复核，所以人员分配较少，此外划分时间段数由预设审计周期的时长决定，预设审计周期的时长越长，划分的时间段数越多，反之就越少。
35.具体而言，本发明实施例通过将检测周期的时长进行时间段划分，并为每个时间段分配预设数量的一级检测人员和二级检测人员，二级检测人员在一级检测人员的检测基础上进行复核，提高了检测的质量和安全性。
36.具体而言，在调取待检测数据时，根据所述检测数据名称从各终端调取检测周期内的相关检测待检测数据，若检测数据名称为a，将各终端的数据与检测数据名称a进行关
联，将得到的关联数据进行时间筛选，将在检测周期内的数据筛出，并根据时间进行排序，得到第一检测数据列表。
37.具体而言，以银行数据审计为例，若审计对象名称为存款业务，审计周期为2022.5.1到2022.5.31，那么就从总行、分行和支行的数据调取与审计对象名称为存款业务相关联的数据，如定期存款或活期存款，其包括存款业务的流程操作、存款金额和相关凭证，然后将关联到的数据进行筛选，筛选出2022.5.1到2022.5.31这一周期的数据，形成第一审计数据列表。
38.具体而言，本发明实施例通过将各终端的数据与检测数据名称a进行关联，将得到的关联数据进行时间筛选，将在检测周期内的数据筛出，并根据时间进行排序，得到第一检测数据列表，通过检测数据名称与各行数据进行关联，从大量数据中准确调取到有用数据，提高待检测数据的准确性，进而提高检测效率。
39.具体而言，在对待检测数据进行排序时，将第一检测数据列表中的待检测数据进行优先级排序，所述待检测数据包括数据量和终端名称，若待检测数据对应的终端名称不同时，根据数据量大小对第一检测数据列表中的待检测数据进行优先级排序，数据量越大，其对应的待检测数据的优先级排序越高，若第一检测数据列表的待检测数据分别为数据量a1和其对应的终端c1，数据量a2和其对应的终端c2；当数据量a1＞数据量a2时，则将终端c1的待检测数据优先级排到终端c2的待检测数据优先级之前；当数据量a1＝数据量a2时，则终端c1的待检测数据优先级和终端c1的待检测数据优先级按原顺序排序；当数据量a1＜数据量a2时，则将终端c2的待检测数据优先级排到终端c1的待检测数据优先级之后。
40.具体而言，本发明实施例若待检测数据对应的终端名称不同时，通过根据待检测数据中涉及的数据量大小对第一检测数据列表中的待检测数据进行优先级排序，数据量越大，待检测数据的优先级排序越高，则将优先对其进行检测，进而提高了检测质量和检测效率。
41.具体而言，在对待检测数据进行排序时，若待检测数据对应的终端名称相同，计算每个终端的数据量和来决定待检测数据的优先级排序顺序，若有三个待检测数据同属于终端c1，其待检测数据的数据量分别为a1、a2和a3，有两个待检测数据同属于终端c2，其待检测数据的数据量分别为a4和a5；计算终端c1的数据量和与终端c2的数据量和， 得出终端c1的数据量和为a1＋a2＋a3＝e1；得出终端c2的数据量和为a4＋a5＝e2；将终端c1的数据量和e1和终端c2的数据量和e2进行比较，当数据量和e1＞数据量和e2时，则将属于终端c1的待检测数据的优先级排到属于终端c2的待检测数据的优先级之前；当数据量和e1＝数据量和e2时，则属于终端c1的待检测数据的优先级和属于终端c2的待检测数据的优先级按原顺序排序；当数据量和e1＜数据量和e2时，则将属于终端c2的待检测数据的优先级排到属于终端c1的待检测数据的优先级之前。
42.具体而言，以银行数据审计为例，当支行c1的金额和大于支行c2的金额和时，将优先计算同属于支行c1的所有待处理数据，而且同属于支行c1的各个待审计数据排序是根据待审计数据的金额大小进行排序的，同属于支行c2的各个待审计数据排序方法与同属于支行c1的各个待审计数据排序方法一致。
43.具体而言，本发明实施例通过在对待检测数据进行排序时，若待检测数据对应的终端名称相同，计算每个终端的数据量和来决定待检测数据的优先级排序顺序，终端的数据量和越大，终端的待检测数据优先级排序顺序就位于前面，优先对同属于这个终端的所有待检测数据进行检测，进而提高了检测质量和检测效率。
44.具体而言，请参阅图1所示，本发明实施例提供的基于大数据行为分析的数据检测方法还包括：步骤s150，对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，所述检测结果为待检测数据是否存在异常，若存在异常，得出存在异常的原因，将检测结果传输给相对应的终端。
45.具体而言，本发明实施例通过根据第二检测数据列表中的优先级排序顺序分别进行初检和复核，经过两次检测分析是否存在异常，若存在异常给出存在异常的原因，然后得出最终的检测结果，提高了检测数据的质量，最后将检测结果传输给相对应的终端，实现了数据的有效互通。
46.具体而言，请参阅图1所示，本发明实施例提供的基于大数据行为分析的数据检测方法还包括：步骤s160，对检测形成的检测结果进行评估，根据检测结果中存在异常的原因类别进行评估，得出评估结果和纠正措施，将评估结果和纠正措施传输给相对应的终端：若原因类别涉及数据异常，则将其级别评估为a级；若原因类别涉及数据的凭证信息异常，则将其级别评估为b级；若原因类别涉及检测流程异常，则将其级别评估为c级；根据评估级别给出对应的纠正措施。
47.具体而言， a级＞b级＞c级，且等级越高对应的纠正措施中的惩罚越严重。
48.具体而言，本发明实施例通过在检测数据存在异常时，对其存在异常的原因类别进行评估，通过不同的风险等级得出纠正措施，将评估结果和纠正措施传输给对应的终端，保证终端数据的真实性，提高终端数据的安全。
49.具体而言，请参阅图2所示，本发明实施例还提供了基于大数据行为分析的数据检测系统，该系统包括：生成模块210，用以根据终端数据检测要求生成不同种类的检测列表，所述检测列表包括检测数据名称和检测周期；分配模块220，用以根据所述检测周期的时长分配预设数量的一级检测人员和二级检测人员，所述一级检测人员用于对检测数据进行初检，所述二级检测人员用于对检测数据进行复核；调取模块230，用以根据所述检测数据名称调取检测周期内各终端的待检测数据，得到第一检测数据列表，所述待检测数据包括数据量；排序模块240，用以根据待检测数据的数据量对调取的待检测数据进行排序，得到
第二检测数据列表;所述检测第二检测数据列表作为所述一级检测人员和二级检测人员进行初检和复核的检测顺序。
50.具体而言，以银行数据审计为例，生成模块根据银行内部决策的审计要求生成各个部门的审计列表，分配模块根据审计列表中的预设审计周期的时长为审计对象分配预设数量的一级审计人员和二级审计人员进行两次审计，分配完审计人员后，调取模块根据审计对象名称向总行、分行和支行调取相对应的待审计数据，由于调取的待审计数据量大，排序模块根据待审计数据的金额对调取的待审计数据进行排序，待审计数据的金额越大，其优先级越高，然后审计人员根据审计顺序进行两次审计。
51.具体而言，本发明实施例通过分配模块根据检测周期的时长为生成模块生成的检测列表中的检测数据分配预设数量的一级检测人员和二级检测人员，然后调取模块根据检测数据名称调取各终端的待检测数据，由于待检测数据量庞大，排序模块根据待检测数据的数据量对调取的待检测数据进行排序，待检测数据的数据量越大，其优先级越高，优先级高的待检测数据优先进行检测，提高了检测的效率。
52.具体而言，请参阅图2所示，本发明实施例提供的基于大数据行为分析的数据检测系统还包括检测模块250和评估模块260，所述检测模块用以对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，所述评估模块用以对检测形成的检测结果进行评估，得到评估结果和纠正措施。
53.具体而言，本发明实施例通过检测模块对第二检测数据列表中的待检测数据按照顺序进行初检和复核，得到检测结果，将检测结果传输给相对应的终端，实现数据的有效互通，评估模块通过对存在异常的检测数据进行评估，得出评估结果和纠正措施传输给相对应的终端，让其做相对应的措施，有效提高数据的质量。
54.具体而言，以银行数据审计为例，本发明实施例可为包含一个总行终端、若干个分行终端和若干个支行终端，该基于大数据行为分析的银行非现场审计系统用于总行终端，所述分行终端和支行终端与总行终端通信连接，在调取待审计数据时，在总行终端、分行终端和支行终端调取待审计数据，审计结束后会将审计结果、风险评估结果和纠正措施传输给总行终端、分行终端和支行终端。
55.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
56.以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。