一种基于事务日志数据的社会网络构建方法
【专利摘要】本发明属于社会网络分析数据挖掘领域，具体为一种基于事务日志数据的社会网络构建方法。本发明通过对现代软件系统如ERP,MIS,CRM等系统产生的事务日志数据进行挖掘，构建出基于真实环境的系统用户之间的社会网络，以供社会网络分析使用。本发明包括数据预处理模块、共现矩阵生成模块、社会网络构建模块。本发明首先将现代软件系统产生的事务日志数据进行预处理，包括清洗数据杂质、确定时间标识、确定空间标识等；然后共现矩阵生成模块根据事务用户使用系统行为特征计算出系统用户的加权共现矩阵。最后，定义一个基于边权重和JACCARD相关性系数的社会关系存在系数，用来判断真实的社会关系，从共现矩阵中构建出可信的社会网络。
【专利说明】一种基于事务日志数据的社会网络构建方法
【技术领域】
[0001]本发明属于社会网络分析【技术领域】，具体涉及一种社会网络构建。
【背景技术】
[0002]社会网络分析(Social Network Analysis)是对社会网络的关系结构及其属性加以分析的规范和方法，主要关注参与者之间的关系与结构，及其对参与个体和整个群体的影响。社会网络分析在职业流动分析、城市化对个体幸福的影响、世界政治和经济体系分析等领域得以广泛应用，发挥了重要作用。近年来，社会网络分析日益成为了数据挖掘领域的热门研究问题，受到了来自学术界和工业界的广泛关注。
[0003]在社会网络分析相关研究中，社会网络数据的质量和规模，是决定分析结果可信与否的两个关键因素。但是，当前社会网络分析存在如下问题:
a)大部分社会网络分析研究基于在线社会网络开展，但是在线社会网络只是对真实社会网络近似，其分析结果无法直接移植到真实社会网络上。当前对于社会网络分析的研究大多数基于在线社会网络，如Facebook, twitter以及国内的新浪微博等等。在线社交网络难以完全代替真实社会网络。一方面，现实世界中，并不是所有人都使用社交网站，在线社交网络难以刻画完整的社会关系。另一方面，网络世界的虚拟特性导致在线社交网络与现实社会网络存在巨大的结构差异。因此，基于在线社交网络观测到的现象和结论难以直接移植到真实社会网络上。
[0004]b)由于数据采集难度较大，少数基于真实社会网络的研究往往受限于小规模社会网络，难以取得统计意义下显著的分析结果。当前少部分针对真实世界社会网络开展的研究工作主要通过人工收集获取社会网络数据。比如，早在20世纪70年代初，WayneZachary [I]通过观察，构建了一个拥有34个节点的空手道乐部社会网络。近年来MITHuman Dynamics Lab通过采集手机位置数据、通话数据构建真实社会网络，由于这一方法成本较大，构造出的社会网络只有几百个节点。真实社会网络的有限规模极大地降低了分析结果的统计显著性，从而削弱了结论的可信度。
[0005]事务日志(transact1n logs)是由设备、软件、应用或者一个系统产生的记录该系统所提供的活动的日志文件。事务日志通常包括活动内容、执行时间、参与者的信息，以及一些其它信息。现代应用系统如ERP，MIS, CRM,电子商务系统以及监控系统中通常会系统地产生大量此类事务日志。
[0006]因此，当前社会网络分析研究急需、具有一定规模的真实社会网络数据。本发明提出一种基于事务日志的全新真实社会网络构建方法，该方法优点在于基于事务日志构建真实的社会关系网络，以满足当前研究对于真实社会网络的迫切需求。
【发明内容】
[0007]本发明的目的在于提供一种质量高、规模大的基于事务日志数据的社会网络构建方法，该方法能够从现代软件系统产生的海量事务日志数据中构建基于真实环境的社会关系网络。
[0008]本发明所提供的一种基于事务日志数据的社会网络构建方法，主要由数据预处理、共现矩阵生成和社会网络构建三个大步骤组成，其中:
数据预处理，包括对原始事务数据清洗，确定时间标识，确定空间标识；
共现矩阵生成，根据空间、时间共现特征，定义空间共现模型、时间共现模型，将事务数据分成不同的事务日志序列，定义具体共现矩阵计算模型，生成共现矩阵；
社会网络构建，定义一个基于边权重和节点间JACCARD系数的边存在系数，构建真实的社会关系网络；
数据预处理步骤如下:
(1)事务日志数据清洗:对从软件系统中采集来的事务日志数据进行整理分析，包括按照时间戳排序、按照地点分类、将个别不符合格式要求的数据杂质去掉；
(2)确定时间标识:探索事务日志的时间戳特性，确定哪些字段能够唯一标识一条记录的时间；
(3)确定空间标识:探索事务日志中的地点相关字段特征，确定哪些字段共同标识一个唯一的空间位置；
共现矩阵计算步骤如下:
(1)定义空间共现模型:考察数据预处理步骤(3)中定义的空间位置标记字段，分析各个空间位置产生的事务日志性质是否相同，如不同，按照性质将空间位置分为不同的类型，每个类型中分别定义空间共现，为方便处理，将所有日志按空间共现聚类，将日志按照空间聚类分为不同的日志序列，每一个日志序列中，所有日志之间都满足空间共现定义；
(2)定义时间共现模型:考察事务日志中，标识时间的字段特征，分析日志的时间特征，定义时间共现模型，选取一个时间间隔ΔΤ作为时间共现阈值，两条日志时间戳相差小于Δ时，称这两条日志满足时间共现；
(3)定义全局共现模型:同时满足空间共现模型定义和时间共现模型定义的两条事务日志，为满足全局共现模型定义的两条日志；
(4)计算共现矩阵:处理所有的日志序列，找出所有满足共现模型定义的用户对，创建一个由所有学生间的共现关系构成的共现矩阵元素％#的值为U，ν对应用户共现的次数，该矩阵为一个对称矩阵，，当U=V时，％>v=0 ;
社会关系网络构建步骤如下:
Cl)计算任意两个用户U，ν对应点之间的边权重:一条边的权重定义如下:
【权利要求】
1.一种基于事务日志的社会网络构建方法，其特征在于该方法主要由数据预处理、共现矩阵生成和社会网络构建三个大步骤组成，其中: 数据预处理:包括对原始事务数据清洗，确定时间标识，确定空间标识； 共现矩阵生成:根据空间、时间共现特征，定义空间共现模型、时间共现模型，将事务数据分成不同的事务日志序列，定义具体共现矩阵计算模型，生成共现矩阵； 社会网络构建:定义一个基于边权重和节点间JACCARD系数的边存在系数，构建真实的社会关系网络； 所述数据预处理步骤如下: (1)事务日志数据清洗:对从软件系统中采集来的事务日志数据进行整理分析，包括按照时间戳排序、按照地点分类、将个别不符合格式要求的数据杂质去掉； (2)确定时间标识:探索事务日志的时间戳特性，确定哪些字段能够唯一标识一条记录的时间； (3)确定空间标识:探索事务日志中的地点相关字段特征，确定哪些字段共同标识一个唯一的空间位置； 所述共现矩阵生成步骤如下: (1)定义空间共现模型:考察数据预处理步骤(3)中定义的空间位置标记字段，分析各个空间位置产生的事务日志性质是否相同，如不同，按照性质将空间位置分为不同的类型，每个类型中分别定义空间共现，为方便处理，将所有日志按空间共现聚类，将日志按照空间聚类分为不同的日志序列，每一个日志序列中，所有日志之间都满足空间共现定义； (2)定义时间共现模型:考察事务日志中，标识时间的字段特征，分析日志的时间特征，定义时间共现模型，选取一个时间间隔ΔΓ作为时间共现阈值，两条日志时间戳相差小于ΔΓ时，称这两条日志满足时间共现； (3)定义全局共现模型:同时满足空间共现模型定义和时间共现模型定义的两条事务日志，为满足全局共现模型定义的两条日志； (4)计算共现矩阵:处理所有的日志序列，找出所有满足全局共现模型定义的用户对，创建一个由所有学生间的共现关系构成的共现矩阵，元素的值为U，V对应用户共现的次数，该矩阵为一个对称矩阵，，当U=V时，； 所述社会关系网络构建步骤如下: Cl)计算任意两个用户U，V对应点之间的边权重:一条边的权重定义如下: wU,V = aU,V 其中，为共现矩阵计算步骤中，所生成的共现矩阵对应的元素值； (2)计算任意两个用户U，V对应点之间的JACCARD系数，两个用户U，V对应点之间的JACCARD系数计算方法如下:
其中，为共现矩阵计算步骤中，所生成的共现矩阵对应的元素值，k，k 分别表示点U，V的度数； (3)计算任意两个用户U，V对应点之间的边存在系数,两个用户U，V对应点之间的边存在系数计算方法如下:
其中，ζ为归一化因子，
，r为实数，参数r决定边的权重在存在系数中的重要程度；当r=o时，w;f v = I ；
Ii ,V (4)构建社会网络:计算出所有用户点之间的存在系数，然后，根据事务日志产生系统的规模特性，预估社会网络的大小，确定边存在系数阈值，保留边存在系数大于阈值的边，这些边即构成所构建的社会网络。
2.根据权利要求1所述的基于事务日志的社会网络构建方法，其特征在于定义日志序列的共现时间间隔阈值有两种方法: (1)非固定时间隔:将日志序列中，相邻的两条日志对应的用户视为时间共现； (2)时间间隔:计算出日志序列所有相邻日志时间间隔，按大小排序，选择时间间隔的中位数作为共现时间间隔阈值。
【文档编号】G06F17/30GK104199828SQ201410358497
【公开日】2014年12月10日 申请日期:2014年7月26日 优先权日:2014年7月26日
【发明者】陈创, 肖仰华, 汪卫 申请人:复旦大学