一种数据流量实时可视化的方法及系统的制作方法
【技术领域】
[0001]本发明涉及计算机技术领域，特别地涉及一种数据流量实时可视化的方法及系统。
【背景技术】
[0002]随着计算机网络技术的发展，数据流量分析系统的应用越来越广泛。目前，互联网企业在做数据流量分析系统的时候，由于系统数据量大以及传统的报表定制展示方式的限制，一般采用后台应用定制报表展示技术。因此，在提取和查询数据流量时，只能通过后台应用系统按照数据分析员既定的分析条件来查询和导出相关数据以便用于分析。
[0003]现有的数据流量分析系统，一般采用如图1所示的系统框架。其主要实现过程为:用户行为采集单元将采集到的页面访问行为、按钮点击行为、下单行为等数据导入历史数据单元、由历史数据单元使用调度系统配置的调度任务计算结果后，导入后台报表生成系统，生成报表后提供给后台应用进行展示，可根据需要例如以excel表格的形式等进行展不O
[0004]各类型的企业对数据流量分析系统的应用要求均有不同。电子商务企业由于对数据流量的敏感性，其数据流量分析系统应该具有实时、准确的特点。然而，现有的数据流量分析系统由于展示数据是通过后台应用进行的，脱离了页面的具体位置，因此在查询与对比数据时及其不方便；由于数据量大且高并发，会引起数据集群崩溃；并且由于数据存储于多个系统，提取数据流程麻烦；而且当天的数据会在汇总并导入历史数据单元后才能提取到，严重影响数据的实时性，故会影响运营决策。
【发明内容】
[0005]有鉴于此，本发明提供一种数据流量实时可视化的方法及系统，能够解决现有技术方案的时效性差和数据与页面实际位置脱离的问题，从而满足了对系统数据流量的实时性和便捷查看的需求，并能根据数据流量增长的需求进行动态扩容。
[0006]为实现上述目的，根据本发明的一个方面，提供了一种数据流量实时可视化的方法。
[0007]—种数据流量实时可视化的方法，包括:数据采集单元实时采集数据并将采集到的订单信息和请求页面信息以消息的形式发送至实时数据单元，其中，所述订单信息包括商品编号、引入订单量及引入订单金额，所述请求页面信息包括请求页面地址、页面访问次数、访客总量及按钮点击次数；实时数据单元按照预先设定的规则对接收到的所述订单信息和请求页面信息进行并行处理，并将流量数据发送至数据存储单元；数据存储单元对接收到的所述流量数据进行保存；后台应用单元读取所述数据存储单元中存储的流量数据并通过浏览器插件单元显示在当前页面上。
[0008]可选地，所述消息是通过kafka消息队列进行发送的。
[0009]可选地，还包括:历史数据单元通过使用调度系统配置的调度任务计算历史流量数据并定时发送至数据存储单元。
[0010]可选地，所述数据存储单元对接收到的所述流量数据进行保存包括:将所述实时数据单元发送的流量数据保存在分布式缓存服务器中；将所述历史数据单元发送的流量数据保存在分布式系统集群中；以及对所述实时数据单元发送的流量数据和所述历史数据单元发送的流量数据进行汇总，并保存在关系型数据库中；并且后台应用单元读取所述数据存储单元中存储的流量数据包括:后台应用单元读取所述数据存储单元的关系型数据库中存储的流量数据。
[0011]可选地，所述分布式缓存服务器为Redis，且所述分布式系统集群为Hadoop集群。
[0012]可选地，后台应用单元读取所述数据存储单元中存储的流量数据之前，还包括:根据预先设定的规则判断是否进行流量数据的显示。
[0013]根据本发明的另一方面，提供了一种数据流量实时可视化的系统。
[0014]—种数据流量实时可视化的系统，包括:数据采集单元，用于实时采集数据并将采集到的订单信息和请求页面信息以消息的形式发送至实时数据单元，其中，所述订单信息包括商品编号、引入订单量及引入订单金额，所述请求页面信息包括请求页面地址、页面访问次数、访客总量及按钮点击次数；实时数据单元，用于按照预先设定的规则对接收到的所述订单信息和请求页面信息进行并行处理，并将流量数据发送至数据存储单元；数据存储单元，用于对接收到的所述流量数据进行保存；后台应用单元，用于读取所述数据存储单元中存储的流量数据并通过浏览器插件单元显示在当前页面上。
[0015]可选地，所述消息是通过kafka消息队列进行发送的。
[0016]可选地，还包括:历史数据单元，用于通过使用调度系统配置的调度任务计算历史流量数据并定时发送至数据存储单元。
[0017]可选地，所述数据存储单元还用于:将所述实时数据单元发送的流量数据保存在分布式缓存服务器中；将所述历史数据单元发送的流量数据保存在分布式系统集群中；以及对所述实时数据单元发送的流量数据和所述历史数据单元发送的流量数据进行汇总，并保存在关系型数据库中；并且所述后台应用单元还用于:读取所述数据存储单元的关系型数据库中存储的流量数据。
[0018]可选地，所述分布式缓存服务器为Redis，且所述分布式系统集群为Hadoop集群。
[0019]可选地，在读取所述数据存储单元中存储的流量数据之前，所述后台应用单元还用于:根据预先设定的规则判断是否进行流量数据的显示。
[0020]根据本发明的技术方案，通过引入实时数据单元对采集的数据进行处理并实时展示，可以提高数据流量可视化系统的时效性，对运营决策的制定提供了更准确的依据；数据存储单元根据不同的应用场景选择不同的存储方式，既保证了存储效率又满足了扩容要求；通过引入浏览器插件的方式，将流量数据动态插入到当前页面的相应位置，使得网站运营人员能够方便、快捷的关注页面流量的数据变化，可以更好地指导电商运营。
【附图说明】
[0021]附图用于更好地理解本发明，不构成对本发明的不当限定。其中:
[0022]图1是现有的数据流量分析系统框架示意图；
[0023]图2是根据本发明实施例的一种数据流量实时可视化的方法的主要步骤示意图；
[0024]图3是根据本发明实施例的一种数据流量实时可视化的系统框架示意图。
【具体实施方式】
[0025]以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识至IJ，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]图2是根据本发明实施例的一种数据流量实时可视化的方法的主要步骤示意图。如图2所示，本发明的一种数据流量实时可视化的方法包括如下的步骤S21至步骤S24。
[0027]步骤S21:数据采集单元实时采集数据并将采集到的订单信息和请求页面信息以消息的形式发送至实时数据单元。其中，所述订单信息包括商品编号、引入订单量及引入订单金额，所述请求页面信息包括请求页面地址、页面访问次数、访客总量及按钮点击次数。
[0028]数据采集单元提供数据的基础服务，它是整个数据流量实时可视化系统的基础数据来源。以电商企业为例，数据采集单元主要采集订单信息和请求页面信息等需要进行分析的数据。对数据采集单元采集到的数据，可以通过消息的形式发送至实时数据单元进行处理，此处的消息是通过kafka消息队列进行发送的。通过使用kafka分布式消息队列进行数据发送，既可以解决海量高并发数据的传输问题，又可以很方便的进行系统扩容，从而保证了系统的整体稳定性。
[0029]步骤S22:实时数据单元按照预先设定的规则对接收到的所述订单信息和请求页面信息进行并行处理，并将流量数据发送至数据存储单元。实时数据单元是本发明的一种数据流量实时可视化的系统的关键组成部分，用户当天的所有的请求数据都会首先进入实时数据单元进行实时处理。
[0030]实时数据单元可以根据预设的处理规则采用并行的方式同时处理多条请求数据。例如，以电商企业为例，可以按照数据分析员等制定的规则，对用户请求的页面信息和订单信息等进行分析，并统计页面的访问次数、访客总量、按钮点击次数、商品编号、引入订单量、引入订单金额等需要使用的数据。实时数据单元在对实时流量数据进行处理时使用分布式计算框架Storm，对流量数据进行按Hash即兴随机分组和固定字段分组等策略，支持大流量数据的分布式计算服务，随时可以增加计算节点。之后，将所有请求数据及其处理结果发送至数据存储单元以进行保存。
[0031]本发明的实施例中还可以包括一个历史数据单元。历史数据单元主要提供非当天的数据流量统计服务，通过使用调度系统配置的调度任务计算历史流量数据并定时发送至数据存储单元。当天的所有请求数据会在一天结束时定期导入历史数据单元，以进行历史数据流量的统计。
[0032]步骤S23:数据存储单元对接收到的所述流量数据进行保存。数据存储单元用于保存经实时数据单元和历史数据单元处理后的底层的流量统计数据，并对底层的流量统计数据进行汇总整合，以方便查询显示。本发明实施例中，数据存储单元在进行数据的保存时，根据不同使用场景选择不同的存储方式，主要有如下3种:
[0033]1、将实时数据单元发送的流量数据保存在分布式缓存服务器中。由于实时数据单元发送的数据具有数据流量大，并发请求量大等特点，故在进行数据存储时使用高性能的分布式缓存服务器，例如可选用Key-Value数据库Redis等。同时，对Redis中经过计算框架Storm过滤、汇总后的数据进行保存时，关键字Key可以使用一致性哈希Hash算法进行计算并分布在不同的服务器上，以便支持服务器数量的动态扩容；
[0034]2、将历史数据单元发送的流量数据保存在分布式系统集群中。由于历史数据单元数据量巨大，需要进行分布式存储和计算，故使用成熟的分布式系统集群进行数据存储，例如可以选用Hadoop集群和Hive架构，集群的规模根据数据量的增长还可以动态扩容而不会影响线上业务，同时，还可以很方便的进行数据迀移、扩展和分布式计算等；
[0035]3、将实时数据单元发送的流量数据和历史数据单元发送的流量数据进行汇总后保存在关系型数据库中。例如，数据存储单元通过将相同商品编号的订单量及订单金额进行相加或将相同页面的访问次数统计计算等