基于通信领域大数据的用户数据分析系统及方法
【技术领域】
[0001] 本申请涉及大数据分析技术领域，尤其涉及基于通信领域大数据的用户数据分析 系统及方法。
【背景技术】
[0002] 随着我国移动通信事业的快速发展，通信领域拥有多年的数据积累，拥有诸如用 户基础信息、套餐信息、终端信息、位置信息、业务发展量等数据。从数据来源看，通信数 据来自于涉及移动语音、固定电话、固网接入和无线上网等所有业务，也会涉及公众集团客 户、政企客户和家庭客户。通过挖掘通信领域大数据，发现电信用户数据价值，可以实现从 用户需求洞察、目标用户发现、到营销策略制定的全营销流程贯通，帮助电信运营商提高业 务创新能力，从而更好地服务用户以支持运营主业，并在创新方向上重新把握数据产业链 的主导权，提升经营效率，开创了新的数据营销模式。因此，数据挖掘、数据分析已经成为电 信运营商的新商业运营模式。
[0003] 现有技术中，针对大数据处理方法主要集中在如下几种：
[0004] 1、基于分布式系统基础架构（Hadoop)平台的电信运营商海量数据处理方法
[0005] 通过使用开源数据转换工具（Sqoop)将原始数据系统数据抽取到Hadoop本地服 务器上；然后在数据仓库工具（Hive)中建表并根据运营商数据仓库的数据模型和业务需 求编写Hive脚本；接着执行Hive脚本将源数据转换后装载到Hive的目标表中；最后根据 需求编写Hive查询语句或者数据并行处理工具（MapReduce)程序对目标表中的数据进行 查询分析。
[0006] 2、基于网络图模型的处理用户信息方法
[0007] 通过设有用于完成关键信息抽取的数据分析和提取模块；用于对关键信息进行预 处理的数据预处理模块；用于将预处理后的数据抽象为网络图模型的网络构建模块；用于 对网络图模型进行划分并进一步分析运算的运算发现模块；用于输出发现结果的结果输出 模块。该方法能够通过快速的处理个体之间的通信数据，完成某一潜在团体的分类、划定和 输出。
[0008] 3、基于大数据量号码过滤方法
[0009] 通过准备待过滤数据的同时对其进行标识，按照标识指定的过滤顺序，对待过滤 数据进行逐项过滤，按照标识指定的过滤项类型，将数据项与过滤器类相对应，当过滤条件 不满足时，挂起过滤任务直至过滤条件满足。
[0010] 4、基于数据信息通信网络中实现用户流失预测的系统及方法
[0011] 通过数据采集提取模块、数据分析模块、数据建模模块和预测模块，数据采集提取 模块采集数据信息通信网络的用户数据并提取用户体验原始数据，数据分析模块生成用户 体验指标数据，数据建模模块建立预测模型，预测模块将用户体验指标数据输入预测模型 并根据预测结果判断该用户是否为可能流失的用户。
[0012] 以上方法均存在相应缺陷，具体列举如下：
[0013] 对于Hadoop平台的电信运营商海量数据处理方法，主要描述通过Hadoop架构的 各个Sqoop工具、Hive、MapReduce组件处理数据的具体步骤，更多的是描述Hive对于数据 表的处理过程，对于具体数据源和数据分析应用场景没有详细描述。
[0014] 通过网络图模型的处理用户信息方法，将用户信息进行网络图模型处理的方式， 通过网络图模型的计算函数公式进行用户评估和定位，更多的讲述计算函数的定义，对于 用户团体如何快速提取和输出没有描述。
[0015] 通过大数据量号码过滤，主要通过数据标识和过滤，按照标识指定的过滤顺序，对 待过滤数据进行逐项对应，不匹配则挂起过滤任务。对于其他数据关联、数据处理等没有描 述。
[0016] 通过数据信息通信网络中实现用户流失预测的方法，通过数据域采集用户数据， 分析数据域的用户指标进行预测用户流失倾向，对于用户的语音、短信、通信交际圈等没有 描述。
【发明内容】
[0017] 本申请提供了一种基于通信领域大数据的用户数据分析系统及方法，可以结合各 类用户数据进行综合分析。
[0018] 本申请实施例提供了一种基于通信领域大数据的用户数据分析系统，该用户数据 分析系统包括：数据汇聚组件、数据处理及分析组件、数据服务组件和数据存储组件；
[0019] 数据汇聚组件，用于从移动网络核心网的其他网元采集移动用户的数据，将采集 的用户数据发送到数据处理及分析组件；
[0020] 数据处理及分析组件，用于根据预先设置的用户数据分析模型，对来自数据汇聚 组件的相应种类的用户数据进行分析，将分析结果送入数据存储组件中存储；
[0021] 数据服务组件用于根据增值业务平台的数据分析要求，从数据存储组件中提取所 需的分析结果，并将所述分析结果推送给增值业务平台和APP客户端；
[0022] 数据存储组件用于与数据汇聚组件进行交互，将采集用户数据进行存储；与数据 处理及分析组件进行交互，存储分析结果；与数据服务组件进行交互，提取存储的分析结果 给增值业务平台和APP客户端使用。
[0023] 较佳地，所述数据汇聚组件采集的移动用户的数据包括如下内容的任意组合：CRM 基础信息、用户缴费、余额及欠缴数据、LAC/CI的基站的经度、炜度、基站所对应的街道、行 政区域、地市的数据、手机APP的经炜度、IVPN的话单日志、开/销户数据。
[0024] 较佳地，所述数据汇聚组件由协议适配接口、数据提取模块、数据汇聚存储接口和 数据汇聚接口组成；
[0025] 数据汇聚组件通过协议适配接口适配各个接入的网元协议接口后进行数据采集， 采集的数据经过数据提取模块将数据进行筛选提取，经数据汇聚存储接口将数据送入数据 存储组件中进行存储，同时数据汇聚存储接口与数据汇聚接口交互，将数据传输至数据处 理及分析组件进行后续处理。
[0026] 较佳地，所述协议适配接口进行数据采集包括如下之一或其任意组合：
[0027] 通过实时Socket接口与核心网信令监测网元交互，采集核心网信令数据；
[0028] 通过FTP接口与CRM进行IVPN用户的基础信息的汇聚；
[0029]通过FTP接口与计费中心交互，汇聚IVPN用户的缴费、余额及欠缴数据；
[0030]通过FTP接口与网管中心交互，汇聚基于LAC/CI的基站的经度、炜度、基站所对应 的街道、行政区域、地市的数据；
[0031] 通过FTP接口与IVPN平台交互，汇聚IVPN的话单日志、开/销户数据。
[0032]较佳地，所述数据处理及分析组件包括：数据处理接口、数据存储接口、数据分析 接口和用户数据模型分析模块；
[0033]所述数据处理接口用于通过与数据汇聚组件交互，获取用户数据，并将所获取的 用户数据提供给用户数据模型分析模块；
[0034]所述数据存储接口通过与数据存储组件交互，将用户数据模型分析模块输出的分 析结果发送到数据存储组件进行存储；与数据分析接口交互，将分析结果提供给数据服务 组件；
[0035]数据分析接口，用于通过与数据处理接口交互，根据增值业务平台的当前数据分 析目标，确定所要分析的用户群，以及用户数据模型分析模块所要使用的用户数据模型；通 过数据存储接口从数据存储组件中获取分析结果，并将分析结果提供给数据服务组件；
[0036]用户数据模型分析模块，用于根据数据分析接口所设置的用户数据模型，对数据 处理接口提供的用户数据进行分析，并输出分析结果，所述分析结果经由数据存储接口发 送到数据存储组件进行存储。
[0037]较佳地，用户数据模型分析模块包括如下子模块之一或其任意组合：
[0038]用户缴费数据分析子模块，通过与数据处理接口交互，获取用户的缴费数据，分析 用户的缴费水平，欠缴次数，分析用户的套餐使用情况；与数据存储接口交互，将分析得到 的用户缴费数据发送到数据存储组件进行存储；
[0039]用户位置分析子模块，通过与数据处理接口交互，获取用户信令中的LAC、CI位置 数据，并与网管数据相关联，对应出用户位置数据，并通过一定周期时间段对用户的常驻位 置进行汇总分析，结合时间分析标签，分析用户在不同时间段的位置分布情况，判断用户的 工作地、居住地、非工作时间常去地点的位置属性；根据位置属性分析用户的行为喜好；与 数据存储接口交互，将分析得到的用户位置数据发送到数据存储组件进行存储；
[0040]用户话务量分析子模块，通过与数据处理接口交互，获取通话数据，结合不同时间 段，分析用户所在的集团编号下的话务量分布情况，与数据存储接口交互，将分析的用户话 务量数据发送到数据存储组件进行存储；
[0041]用户通信交际圈分析子模块：通过与数据处理接口交互，获取通话数据，分析用户 的通信交际圈网络情况，分析用户通信交际圈中通信数/频率最高的前N个用户，确定潜在 发展用户；与数据存储接口交互，将分析的用户通信交际圈数据发送到数据存储组件进行 存储；
[0042]用户基础数据分析子模块：通过与数据处理接口交互，获取用户基础数据，分析用 户的基础注册信息，订购的套餐，用户年龄趋势分布情况、用户职业情况、注册常驻地址情 况、使用手机终端类型情况；与数据存储接口交互，将分析的用户基础数据发送到数据存储 组件进行存储。
[0043]较佳地，所述话务量分布包括如下之一或其任意组合：集团内的通话次数及趋势 占比、集团外的通话次数及趋势占比、呼叫客服电话占比、呼叫异网用户趋势占比、呼转至 异网号码的通话趋势占比。
[0044] 较佳地，所述数据服务组件包括：数据分析处理接口、数据分析选取模块、数据推 送模块、数据提取接口和数据服务接口；
[0045] 数据分析处理接口 ：与数据分析选取模块交互，将所设置的数据选取规则提供给 数据处理及分析组件进行数据处理；与数据推送模块交互，根据选取数据的输出要求进行 规则设置；
[0046] 数据分析选取模块：与数据服务接口交互，根据增值业务平台的数据分析应用数 据要求，设置数据选取规则；与数据分析处理接口交互，将设置的数据选取规则给数据处理 及分析组件进行数据处理。
[0047] 数据推送模块：与数据分析处理接口交互，对选取数据的输出要求进行规则设置； 与数据提取接口交互，从数据存储组件提取所要分析的用户数据；与数据服务接口交互，将 提取的数据进行封装。
[0048]数据提取接口：与数据推送模块交互，从数据存储组件将分析的用户数据进行提 取；与数据存储组件进行交互，获取用户数据；
[0049] 数据服务接口 ：与数据提取接口进行交互，将提取的数据进