基于并行处理的集成网络信息分析系统的制作方法
【技术领域】
:
[0001]本发明涉及数据处理技术领域，具体地说是一种处理速度快、效率高、结果准确的基于并行处理的集成网络信息分析系统。
【背景技术】
:
[0002]随着网络的高速发展，网络作为最大的信息载体和交流平台，已成为当前进行信息宣传的重要途径。常规的信息(如新闻、广告、商品等)是制定媒介策略，透过媒体定位覆盖目标受众，为实现精准，也不过在投放后再以数据去验证、调整，很难实现考虑受众是否感兴趣和接收。而对于互联网实时信息推送(如个性新闻发布，实时广告竞价，个性商品展示等)，在投放前就已寻找到合适的受众，真正实现互联网化广告的精准投放、个性营销。
[0003]随着通信技术的发展，无线网络已经被使用在多个行业中，无论是家庭还商业，普及较广，这些无线网络可包括大量移动设备、无线路由器和接入点，这些无线网络的接入点都是WiFi节点。目前的网络信息的发布一般信息覆盖的地域范围难以限定，用户接收信息不能直接接收所处区域所需的各类别的信息。
[0004]现有的用户主观行为分析首先根据应用场景为不同的抽象概念选择合适的信念指标，建立用户主观行为分析模型。依据所选信念指标编制正式调查问卷，经模型拟合及模型评价并最终确立模型参数，现有技术虽然包含模型拟合，但这种模拟拟合过程不是动态的。由此可见，已有方法仅仅在模型建立之初确定模型参数，从而使得模型参数是静态的。而网络中用户的主观行为受到多方面的因素影响，呈现动态变化的特点。因此最初的模型参数随着时间的推移可能并不再适用，现有技术的用户主观行为分析模型缺乏动态性。
[0005]现有的大数据系统处理数据时仍采用单机节点上的串行方式实现，其数据处理量以及算法的负载度依赖于单个执行节点的性能，而由于大数据处理系统往往要对海量数据进行处理，现有的单机节点串行机制显然存在效率低、运算量低的问题。
【发明内容】
:
[0006]本发明针对现有技术中存在的缺点和不足，提出了一种处理速度快、效率高、结果准确的基于并行处理的集成网络信息分析系统。
[0007]本发明可以通过以下措施达到:
[0008]—种基于并行处理的集成网络分析系统，其特征在于设有数据预处理模块、与数据预处理模块相连接的数据挖掘模块以及与数据挖掘模块相连接的显示输出模块，还设有与数据挖掘模块相连接的参数设置模块;所述数据预处理模块包括属性增/删模块、属性位置交换模块、添加ID属性模块、多表合并模块、属性规约模块、数据冗余处理模块、数据抽样模块、数据噪声处理模块;所述数据挖掘模块还设有模型构建模块，用于依据选取的信念指标设定用户主观行为分析模型的结构;材料收集模块，用于依据选取的信念指标编制调查问卷，并依据该调查问卷收集基于多个用户的第一样本数据;样本库，用于存放用于统计分析的样本数据;统计分析模块，用于将所述样本库输入的数据进行统计分析处理，获得各信念指标间的相关系数矩阵，将该相关系数矩阵输入模型拟合模块;并接收监控模块的相关系数查询请求，然后向该监控模块返回基于样本库所有样本数据的当前的相关系数矩阵。
[0009]本发明所述数据挖掘单元还设有模型拟合模块，用于将统计分析处理后的相关系数矩阵与模型构建模块设定的用户主观行为分析模型进行模型拟合处理，得到再生矩阵。
[0010]本发明所述数据挖掘单元还设有模型评价模块，用于计算模型拟合模块输出的再生矩阵与相关系数矩阵的拟合度结果决定是否再次触发模型拟合模块，即当拟合度小于设定拟合度时再次返回模型拟合模块进行拟合，当拟合度大于设定拟合度时停止拟合过程，并根据最终的再生矩阵及用户主观行为分析模型的结构得到模型的参数，输出用户主观行为模型。
[0011]本发明所述数据挖掘单元还设有用户主观行为分析模型，用于将满足拟合度要求的参数值设置为用户主观行为模型的参数值得到最终用户主观行为分析模型，该模型还与监控模块连接，当用户主观行为分析模型的参数确定后就向监控模块输出再生矩阵，当模型更改后，才再次向监控模块输出再生矩阵。
[0012]本发明所述数据挖掘模块包括聚类模块、分类模块、关联规则模块、社会关系网分析模块。
[0013]本发明所述聚类模块中设有K-means算法模型。
[0014]本发明所述数据预处理模块采用并行数据预处理模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成数据预处理。
[0015]本发明所述数据挖掘模块为采用Map/Reduce机制的并行数据挖掘模块，设有Map/Reduce处理模型，通过调用Map函数，将每个处理任务由多个Map任务并行处理，这些Map任务被分配到所属处理任务分配的执行节点上执行，再通过调用Reduce函数，分别对每个处理任务的各Map任务的处理结果进行合并操作，完成并行数据挖掘。
[0016]本发明与现有技术相比，克服了单机节点串行处理方式的不足，提高了数据处理量和处理速度，具有结构合理、运行稳定、效率高等显著的优点。
【附图说明】
:
[0017]附图1是本发明的结构框图。
[0018]附图标记:数据预处理模块1、数据挖掘模块2、显示输出模块3、参数设置模块4。【具体实施方式】:
[0019]下面结合附图对本发明作进一步的说明。
[0020]如附图1所示，本发明提出了一种基于并行处理的集成网络分析系统，其特征在于设有数据预处理模块1、与数据预处理模块I相连接的数据挖掘模块2以及与数据挖掘模块2相连接的显示输出模块3，还设有与数据挖掘模块2相连接的参数设置模块4;所述数据预处理模块包括属性增/删模块、属性位置交换模块、添加ID属性模块、多表合并模块、属