一种数据分析方法及分析系统的制作方法
【技术领域】
[0001 ]本发明涉及数据处理技术，尤其涉及一种数据分析方法及分析系统。
【背景技术】
[0002]当前，恐怖袭击日益猖獗，全世界都在找寻行之有效的反恐手段。随着互联网的发展，犯罪分子通过网络获取和发送大量信息，通过对这些信息的合理利用和挖掘可以有效打击并制止犯罪活动。
[0003]现有的针对犯罪活动的分析方法包括手工分析法、基于图像展现的分析法和社交网络分析法。但所有的分析法目前还仅仅停留在手工分析的层面上，即仍然是所谓第一代的犯罪网络分析法。这种分析方法面对庞大的数据量时，效率较低，具有一定的随机性。办案人员需要凭借多年的经验有目的地在茫茫数据中寻找自己认为有用的信息，事实上数据的获取依然靠人力完成。同时，办案人员获取到有用信息后往往还需要进一步挖掘、检索以确定潜在危险对象，使得办案效率低下。
【发明内容】
[0004]本发明提供一种数据分析方法及分析系统，以帮助办案人员在大量数据中快速定位找到有价值的信息并自动确定嫌疑人，节省了大量时间和警力，同时系统运行效率高，可第一时间发现并锁定潜在危险对象。
[0005]第一方面，本发明实施例提供了一种数据分析方法，包括:
[0006]编辑配置文件；
[0007]根据所述配置文件生成查询线索；
[0008]根据所述查询线索查询数据库得到嫌疑人线索数据；
[0009]根据所述配置文件和所述嫌疑人线索数据生成嫌疑人信息。
[0010]第二方面，本发明实施例还提供了一种数据分析系统，包括:
[0011 ]配置文件编辑模块，用于编辑配置文件；
[0012]查询线索生成模块，用于根据所述配置文件生成查询线索；
[0013]线索数据获取模块，用于根据所述查询线索查询数据库得到嫌疑人线索数据；
[0014]统计信息生成模块，用于根据所述配置文件和所述嫌疑人线索数据生成嫌疑人信息。
[0015]本发明通过编辑配置文件，利用编辑完毕的配置文件生成查询线索，进而通过查询线索得到嫌疑人线索数据并最终得到嫌疑人信息，解决了办案人员需凭经验有目的地在大量数据中寻找自己认为有价值的信息而带来的效率低下且无法第一时间确定嫌疑人的问题，以帮助办案人员在大量数据中快速定位找到有价值的信息并自动确定嫌疑人，节省了大量时间和警力，同时系统运行效率高，可第一时间发现并锁定潜在危险对象。
【附图说明】
[0016]图1是本发明实施例一提供的数据分析方法的流程图；
[0017]图2是本发明实施例二提供的数据分析方法的流程图；
[0018]图3是本发明实施例三提供的数据分析系统的结构示意图；
[0019]图4是本发明实施例四提供的数据分析系统的结构示意图；
[0020]图5是本发明实施例四提供的数据分析系统的序列图；
[0021 ]图6是本发明实施例五提供的数据分析方法的流程图。
【具体实施方式】
[0022]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0023]实施例一
[0024]图1为本发明实施例一提供的数据分析方法的流程图，本实施例可适用于办案人员根据自身办案需求发现并确定潜在危险对象的情况，该方法可以由办案人员使用的设备如台式电脑、笔记本电脑来执行，具体包括如下步骤:
[0025]步骤101、编辑配置文件；
[0026]其中，配置文件包含主题、发现规则、确定规则和过滤条件等多个内容，例如主题可以为“通过邮件传播XX视频”。发现规则包含多个可用于级联查询以获取结果的发现子单元，每个发现子单元包含具体的需要查询的数据库名称、数据库协议、级联查询源、关联的本地数据库类型及对应的关联字段等。过滤条件包括是否关联数据库及查询的数据时间段等。确定规则包括确定的线索的中文名称，该线索指定的下一级查询字段等指令。配置文件除包含上述主要内容外，还包含返回的查询结果的各个字段保存的位置及相应的取字段的指令信息。本方案中的配置文件可根据不同办案需求适应性调整，在已有的模板上进行简单设置即可。
[0027]步骤102、根据所述配置文件生成查询线索；
[0028]其中，根据配置文件生成查询线索包括根据配置文件和本地数据库生成查询线索。配置文件在编辑完毕后将根据自身配置文件的不同和本地数据库中记录的字段生成多条查询线索。本地数据库只记录了少量的关键字段信息，其根据每次查询外部数据库返回的结果进行更新。该查询线索包含了查询的数据库名称和嫌疑数据的字段，用于查询外部数据库并获取外部数据库返回的预查询的相应字段的内容。
[0029]步骤103、根据所述查询线索查询数据库得到嫌疑人线索数据；
[0030]其中，根据查询线索查询数据库得到嫌疑人线索数据包括:根据查询线索通过查询接口查询外部数据库得到嫌疑人线索数据。外部数据库包括基础数据库、海量数据库和全文数据库。基础数据库中记录的数据包括手机号码、身份证号码、姓名等基础信息，海量数据库中记录的数据包括登录的网站名称、ip地址、网络账号、adsl信息、域名、网址、登录时间、登录地点和登录账号等通过网络发送及获取信息时留下的相关数据，全文数据库中记录的数据包括邮件文本、短消息文本和留言文本等一些文本类信息。此三类数据库由于数据量大、安全级别高等原因并不在本地中保存，当需要查询时通过外部接口进行数据访问查询。查询得到的嫌疑人线索数据包括嫌疑人在使用网站时的登录账号、网名等，及和嫌疑人本身身份相关的姓名、联系电话、邮箱、住址和身份证号等信息。因查询线索和数据库中记录的信息的不同，返回的嫌疑人线索数据也不尽相同。如数据库中仅记录了嫌疑人登录账号及预留的邮箱，则通过查询返回的嫌疑人线索数据仅包括嫌疑人登录账号信息及其使用的邮箱名称，通过此次的查询线索无法定位到具体的嫌疑人。
[0031 ]步骤104、根据所述配置文件和所述嫌疑人线索数据生成嫌疑人统计信；
[0032]其中，根据所述配置文件和所述嫌疑人线索数据生成嫌疑人信息包括:根据所述配置文件和所述嫌疑人线索数据直接生成嫌疑人信息;或根据所述配置文件和所述嫌疑人线索数据查询数据库，生成嫌疑人信息，其中所述嫌疑人信息包括嫌疑人身份证号和嫌疑人所在地。当步骤103中通过查询线索取得嫌疑人线索数据后，该嫌疑人线索数据由于不同的查询状况得到的信息可唯一指定某一嫌疑人，如查询到身份证号码。当得到的嫌疑人数据信息不能唯一指定嫌疑人时，如查询到一网名或手机号码时，则需要根据该嫌疑人线索数据进一步查询以最终唯一确定嫌疑人。该查到的嫌疑人线索数据是否可最终确定唯一嫌疑人的规则记录在配置文件中，步骤101中提到的配置文件中包含的确定规则对该部分进行了设置。故当嫌疑人线索数据可唯一指定嫌疑人时则直接生成嫌疑人信息，当嫌疑人线索数据无法唯一指定该嫌疑人时，则根据该嫌疑人线索数据继续查询数据库以最终确定唯一的嫌疑人。如嫌疑人线索数据为手机号码，则通过对该手机号码的进一步查询可确定开通该手机号码的嫌疑人身份证信息以最终确定该嫌疑人身份。
[0033]本实施例提供的技术方案，通过编辑配置文件，利用编辑完毕的配置文件生成查询线索，进而通过查询线索得到嫌疑人线索数据并最终得到嫌疑人信息，解决了办案人员需凭经验有目的地在大量数据中寻找自己认为有价值的信息而带来的效率低下且无法第一时间确定嫌疑人的问题，以帮助办案人员在大量数据中快速定位找到有价值的信息并自动确定嫌疑人，节省了大量时间和警力，同时系统运行效率高，可第一时间发现并锁定潜在危险对象。
[0034]在上述技术方案的基础上，在根据查询线索查询数据库得到嫌疑人线索数据后，还包括:将所述嫌疑人线索数据保存在缓存中并同步更新所述嫌疑人线索数据至所述本地数据库中。将嫌疑人线索数据保存在缓存便于在查询数据库和生成嫌疑人信息时数据的获取。将嫌疑人线索数据保存至本地数据库便于再次查询，当本地数据库有符合查询线索的嫌疑人线索数据时可直接返回结果。
[0035]实施例二
[0036]图2为本发明实施例二提供的数据分析方法的流程图，本实施例可适用于办案人员通过配置文件发现并确定潜在危险对象，将其作为嫌疑人，该方法可以由办案人员使用的设备如台式电脑、笔记本电脑来执行，具体包括如下步骤:
[0037]步骤201、读取配置文件并获取本地数据库信息；
[0038]其中，读取配置文件以获取发现规则。
[0039]步骤202、根据配置文件及本地数据库信息生成查询线索。
[0040]其中，配置文件在编辑完毕后将根据自身配置文件的不同和本地数据库中记录的字段生成多条查询线索。本地数据库只记录了少量的关键信息，其根据每次查询外部数据库返回的结果进行更新。该查询线索包含了查询的数据库名称和嫌疑数据的字段，用于查询外部数据库并获取外部数据库返回的预查询的相应字段的内容
[0041]步骤203、根据查询线索调用外部查询接口；
[0042]其中，不同外部接口对应不同的数据库，主要的数据库基础数据库、海量数据库和全文数据库。基础数据库中记录的数据包括手机号码、身份证号码、姓名等基础信息，海量数据库中记录的数据包括登录的网站名称、网址、登录时间、登录地点和登录账号中等通过网络发送及获取信息时留下的相关数据，全文数据库中记录的数据包括邮件文本、短消息文本和留言文本等一些文本类信息。
[0043]步骤204、设置查询天数，并分别查询全文数据库、海量数据库和基础数据库；
[0044]其中，查询天数默认为I天，可根据实际情况进行自定义设置调整。
[0045]步骤205、将查询得到的嫌疑人线索数据保存至中间库；
[0046]其中，中间库可以为一个或多个oracle表，专门用于存放查询出的嫌疑人线索数据。
[0047]步骤206、读取配置文件获取确定规则；
[0048]其中，确定规则的具体实现方式可以为确定多条嫌疑人线索数据中的一条为主线索，该主线索后对应的属性不为空则可认定该主线索可唯一确定嫌疑人身份，若该主线索后对应的属性为空，则该属性对应另一查询模型，通过