一种基于大数据的流量实时计费系统和方法与流程

本发明涉及物联网通信技术领域，具体涉及一种基于大数据的流量实时计费系统和方法。

背景技术

物联网行业迅猛发展，传统企业的积极转型，催生了物联网连接类业务的巨大市场需求。在众多物联网行业中，又以小流量应用场景为主，且多应用于数据采集类设备中，对于网络的稳定和不间断性的要求比较高。目前传统运营商的物联网计费均采用离线计费或准实时计费，流量计费的延时较大，企业用户经常因用量预估不足欠费停机而造成数据损失。

技术实现要素：

针对现有技术中的缺陷，本发明的目的之一在于提供一种基于大数据的流量实时计费系统，能实现精准的实时流量计费。

第一方面，本发明实施例提供的一种基于大数据的流量实时计费系统，包括计费采集子系统、计算处理服务器和存储服务器，所述计费采集子系统用于将流量数据切割成用量数据，并收集所述用量数据，将用量数据分散发送给计算处理服务器；所述计算处理服务器接收所述用量数据，并对用量数据进行分析和拆解，根据计费规则进行重组得到计费数据，将计费数据进行缓存，并将计费数据发送给存储服务器；所述存储服务器接收并存储所述计费数据。

可选地，所述计费采集子系统包括多个流量数据分解模块，所述流量数据分解模块用于将数据流量按固定大小和固定时间的原则将流量数据切割成话单数据，并将话单数据发送给流量数据采集模块。

可选地，所述计费采集子系统还包括流量数据采集模块，所述流量数据采集模块用于接收并筛选话单数据，剔除无效话单数据保留有效话单数据，并将所述有效话单数据分类整理，采用大数据中的日志收集组件对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计算处理服务器。

可选地，所述计算处理服务器包括多个计费数据实时处理模块，所述计费数据实时处理模块用于接收所述收集的有效话单数据，对所述有效话单数据利用大数据实时计算组件进行高并发处理，得到计费数据。

可选地，所述计算处理服务器还包括计费数据缓存模块，所述计费数据缓存模块用于接收所述计费数据，并对所述计费数据进行分类缓存。

可选地，所述存储服务器包括计费数据存储模块，所述计费数据存储模块用于定期将计费数据缓存模块中的计费数据同步到以硬盘为介质的存储软件中进行存储。

第二方面，本发明实施例提供的基于大数据的流量实时计费方法，所述方法包括：

计费采集子系统将流量数据切割成用量数据，收集所述用量数据，并将所述用量数据分散发送给计算处理服务器；

计算处理服务器接收所述用量数据，并对用量数据进行分析和拆解，根据计费规则进行重组得到计费数据，将计费数据进行缓存，并将计费数据发送给存储服务器；

存储服务器接收并存储所述计费数据。

可选地，所述计费采集子系统将流量数据切割成用量数据的具体方法包括：利用基于gre/l2tp隧道协议的apn功能将流量数据引入计费采集子系统，将流量数据导入流量数据分解模块，流量数据分解模块将数据流量按固定大小和固定时间的原则将流量数据切割成话单数据，并将话单数据分散发送给流量数据采集模块。

可选地，所述方法还包括流量数据采集模块接收并筛选话单数据，剔除无效话单数据保留有效话单数据，并将所述有效话单数据分类整理，采用大数据中的日志收集组件对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计费数据实时处理模块。

可选地，所述方法还包括计费数据实时处理模块接收所述有效话单数据，并利用大数据中的实时计算组件对有效话单数据进行高并发实时处理，得到计费数据，并将计费数据发送给计费数据缓存模块，计费数据缓存模块分类缓存计费数据。

本发明的有益效果：

本发明提供的一种基于大数据的流量实时计费系统，通过改善计费能力来得到精准且实时地进行流量计费，可提前预警用量不足，避免数据损失。

本发明提供的一种基于大数据的流量实时计费方法，通过改善计费能力来得到精准且实时地进行流量计费，可提前预警用量不足，避免数据损失。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明所提供的基于大数据的流量实时计费系统的第一实施例的结构示意图；

图2示出了本发明所提供的基于大数据的流量实时计费系统的另一实施例的结构示意图；

图3示出了本发明所提供的基于大数据的流量实时计费方法的第一实施例的流程图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，示出了本发明所提供的基于大数据的流量实时计费系统的第一实施例的结构示意图，该系统包括计费采集子系统1、计算处理服务器2和存储服务器3，所述计费采集子系统1用于将流量数据切割成用量数据，并收集所述用量数据，将用量数据分散发送给计算处理服务器；所述计算处理服务器2接收所述用量数据，并对用量数据进行分析和拆解，根据计费规则进行重组得到计费数据，将计费数据进行缓存，并将计费数据发送给存储服务器；所述存储服务器3接收并存储所述计费数据。计费采集子系统将流量数据切割成多个用量数据，将多个用量数据分散发送给计算处理服务器，计算处理服务器接收并对用量数据进行分析和拆解，根据计费规则进行重组得到计费数据，将计费数据进行缓存，并将计费数据发送给存储服务器，存储服务器接收并存储计费数据。对计费数据进行缓存，便于对计费数据实时读取和定期写入存储服务器。

本发明实施例的基于大数据的流量实时计费系统，可准确实时计算数据流量的用量数据，对用量数据进行分析和拆解，根据计费规则重组得到计费数据，将计费数据进行缓存，便于定期写入存储服务器和用户实时读取计费数据。

如图2所示，示出了本发明提供的基于大数据的流量实时计费系统的另一实施例的结构示意图，计费采集子系统1包括多个流量数据分解模块11，所述流量数据分解模块11用于将数据流量按固定大小和固定时间的原则将流量数据切割成话单数据，并将话单数据发送给流量数据采集模块；所述计费采集子系统1还包括流量数据采集模块12，所述流量数据采集模块12用于接收并筛选话单数据，剔除无效话单数据保留有效话单数据，并将所述有效话单数据分类整理，采用大数据中的日志收集组件对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计算处理服务器。采用多个流量数据分解模块对数据流量进行分割，可提高数据的处理速度。

在具体实施时，流量数据分解模块利用基于gre/l2tp隧道协议的apn功能将流量数据引入三层核心交换机设备或者分光器，利用流量镜像原理，将流量数据导入话单切割服务器。话单切割服务器将数据流量按固定大小和固定时间的原则将流量数据切割成话单数据，并将话单数据发送给流量数据采集模块，流量数据采集模块将话单数据进行采集和筛选，剔除无效话单数据保留有效话单数据，并将有效话单分类整理，利用大数据中的日志收集组件对话单数据进行队列式收集，在本实施例采用kafka对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计算处理服务器。

计算处理服务器2包括多个计费数据实时处理模块21，所述计费数据实时处理模块21用于接收所述收集的有效话单数据，对所述有效话单数据利用大数据实时计算组件进行高并发处理，得到计费数据；计算处理服务器2还包括计费数据缓存模块22，计费数据缓存模块22用于接收所述计费数据，并对所述计费数据进行分类缓存。采用多个计费数据实时处理模块对有效话单数据进行处理，提高数据的处理速度，减少出现延时的情况。计费数据缓存模块对计费数据进行缓存，便于定期写入存储服务器和用户实时读取计费数据。

在具体实施时，计费数据实时处理模块利用大数据实时计算组件对话单数据进行高并发实时处理，在本实施例中采用storm对话单数据进行处理，得到计费数据，计费数据实时处理模块将计费数据发送给计费数据缓存模块进行缓存，计费数据缓存模块按照设计好的规则对计费数据进行分类缓存，为了应对极大数据量下的性能要求，采用以内存为主要数据载体的大数据组件，本实施例采用codis集群对计费数据进行缓存。

所述存储服务器3包括计费数据存储模块31，所述计费数据存储模块31用于定期将计费数据缓存模块中的计费数据同步到以硬盘为介质的存储软件中进行存储。在本实施例中采用mysql集群存储作为长期数据存储使用。

本发明实施例的基于大数据的流量实时计费系统的工作流程：通过多个流量数据分解模块对数据流量进行分割成话单数据，将话单数据发送给流量数据采集模块，流量数据采集模块接收并筛选话单数据，剔除无效话单数据保留有效话单数据，并将所述有效话单数据分类整理，采用大数据中的日志收集组件对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计费数据实时处理模块，计费数据实时处理模块对有效话单数据利用大数据实时计算组件进行高并发处理，得到计费数据，将计费数据发送给计费数据缓存模块进行缓存，计费数据存储模块定期将计费数据缓存模块中的计费数据同步到以硬盘为介质的存储软件中，作为长期数据存储使用。采用多个流量数据分解模块和多个计费数据实时处理模块提高数据的处理能力，提高数据处理速度。本发明实施例的基于大数据的流量实时计费系统，通过改善计费能力来得到精准且实时地进行流量计费，可提前预警用量不足，避免数据损失。

如图3所示，示出了本发明提供的基于大数据的流量实时计费方法第一实施例的流程图，所述方法包括：

s1:计费采集子系统将流量数据切割成用量数据，收集所述用量数据，并将所述用量数据分散发送给计算处理服务器；

具体地，计费采集子系统将流量数据切割成用量数据的具体方法包括：利用基于gre/l2tp隧道协议的apn功能将流量数据引入计费采集子系统，将流量数据导入流量数据分解模块，流量数据分解模块将数据流量按固定大小和固定时间的原则将流量数据切割成话单数据，并将话单数据分散发送给流量数据采集模块，流量数据采集模块接收并筛选话单数据，剔除无效话单数据保留有效话单数据，并将所述有效话单数据分类整理，采用大数据中的日志收集组件对话单数据进行队列式收集，在本实施例中采用kafka对话单数据进行队列式收集，并将收集的有效话单数据分散发送给计算处理服务器。

s2:计算处理服务器接收所述用量数据，并对用量数据进行分析和拆解，根据计费规则进行重组得到计费数据，将计费数据进行缓存，并将计费数据发送给存储服务器。

具体地，计算处理服务器中的计费数据实时处理模块接收所述有效话单数据，并利用大数据中的实时计算组件对有效话单数据进行高并发实时处理，得到计费数据。本实施例中采用storm对有效话单数据进行处理得到计费数据，并将计费数据发送给计费数据缓存模块，计费数据缓存模块接收计费数据，并按照设计好的规则对计费数据进行分类缓存，为了应对极大数据量下的性能要求，采用了以内存为主要数据载体的大数据组件，本实施例中采用codis集群缓存计费数据。

s3:存储服务器接收并存储所述计费数据。存储服务器中的计费数据存储模块定期从计费数据缓存模块中的计费数据同步到以硬盘为介质的存储软件中，本实施例中采用mysql集群存储计费数据，作为长期数据存储使用。

本发明实施例提供的基于大数据的流量实时计费方法，通过改善计费能力来得到精准且实时地进行流量计费，可提前预警用量不足，避免数据损失。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。