网站数据更新方法和系统的制作方法
【技术领域】
[0001]本发明涉及互联网技术领域，特别是涉及一种网站数据更新方法和系统。
【背景技术】
[0002]随着互联网技术的发展，许多行业对来自相关网站的数据的依赖程度越来越高。传统的网站数据更新一般使用离线数据，即第N天使用及分析的网站数据实际上使用的第N-1天及以前的数据。这种网站数据更新方法无法反应出当天实际数据对网站所开展的业务的影响，一般只适用于对实时数据依赖度不高的行业，而对于一些对实时数据依赖度高的网站而言，比如垂直电商等，其对实时数据的敏感程度远高于历史数据，这些网站亟需实时数据能够参与到网站数据更新中去，因此现有的网站数据更新方法便无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率。
【发明内容】
[0003]基于此，有必要针对现有的网站数据更新方法无法满足如垂直电商这一类对数据更新速度要求快的网站，甚至有可能由于对网站数据分析不及时而影响业务开展进程及效率的技术问题，提供一种网站数据更新方法和系统。
[0004]一种网站数据更新方法，包括如下步骤:
[0005]获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
[0006]将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
[0007]在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0008]将所述网站日志以及实时业务数据上传至分布式消息队列；
[0009]在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0010]分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
[0011]利用合并后的网站日志以及实时业务数据更新网站数据。
[0012]一种网站数据更新系统，包括:
[0013]获取模块，用于获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
[0014]第一上传模块，用于将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
[0015]第一处理模块，用于在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0016]第二上传模块，用于将所述网站日志以及实时业务数据上传至分布式消息队列；
[0017]第二处理模块，用于在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0018]合并模块，用于分别从所述数据库和分布式消息队列中导出过滤及分类后的网站日志以及实时业务数据，并将两部分网站日志以及实时业务数据进行合并；
[0019]更新模块，用于利用合并后的网站日志以及实时业务数据更新网站数据。
[0020]上述网站数据更新方法和系统，通过将网站所对应的web服务器的网站日志以及网站的实时业务数据分别上传基于分布式系统基础架构的数据库以及分布式消息队列，分别在其所在的数据库以及分布式消息队列中进行过滤及分类处理，并将数据库以及分布式消息队列中过滤及分类处理后的网站日志和实时业务数据进行合并，并利用合并后的网站日志以及实时业务数据更新网站数据。本发明中，利用可以反映该网站的实时业务数据，并结合网站日志所包含的网站历史数据更新网站数据，使所更新的网站数据能准确反映对应的客户端所获取的实时业务数据，保证了网站更新的数据的速度和质量，根据更新后的网站数据进行后续的分析并采取相关应对措施，可以进一步提高该网站处理相应业务的效率。
【附图说明】
[0021]图1为一个实施例的网站数据更新方法流程图；
[0022]图2为一个实施例的分布式消息队列数据上传方法流程图；
[0023]图3为一个实施例的过滤及分类处理方法流程图；
[0024]图4为一个实施例的过滤及分类处理方法流程图；
[0025]图5为一个实施例的网站数据更新系统结构示意图；
[0026]图6为一个实施例的第二上传模块结构示意图；
[0027]图7为一个实施例的第一处理模块结构不意图；
[0028]图8为一个实施例的第二处理模块结构示意图。
【具体实施方式】
[0029]下面结合附图对本发明的网站数据更新方法和系统的【具体实施方式】作详细描述。
[0030]参考图1，图1所示为一个实施例的网站数据更新方法流程图，包括如下步骤:
[0031]S10，获取网站所对应的web服务器的网站日志以及网站的实时业务数据；其中，所述实时业务数据包括从网站日志更新的最后时刻至当前时刻内该网站的访问数据；
[0032]上述步骤SlO中，网站日志一般指以预设时间段为单位记录网站所在服务器接收该网站的相关业务请求以及运行时的出现的异常情况的消息或者文件；网站日志可以包括该网站的会员登陆次数，非会员登录次数，登录的会员等级，各类型的客户分别在该网站的停留时间等等。上述预设时间段可以为一天，即网站日志每天更新一次，当天的网站客户端获取的业务数据为该网站的实时业务数据；也可以为适合阶段性总结对应的网站业务数据的其他时间段。
[0033]S20，将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库；
[0034]上述步骤S20中，将所述网站日志以及实时业务数据上传至基于分布式系统基础架构的数据库，上述基于分布式系统基础架构的数据库可以基于Hadoop ( —个由Apache基金会所开发的分布式系统基础架构)，它具有高容错性，可以以一种可靠、高效、可伸缩的方式进行数据处理。这样，相关用户可以在不了解分布式底层细节的情况下，开发分布式程序，并且后续处理中可以对其中的网站日志以及实时业务数据进行高速运算和存储，可以提高数据处理的效率。
[0035]S30，在所述数据库中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0036]上述步骤S30中，对所述网站日志以及实时业务数据进行过滤及分类处理，可以将数据库中网站日志以及实时业务数据所包含的信息根据网站的时机业务需求筛选出有用信息，并将上述有用信息进行分类处理，使得到的信息更能准确清晰的反映该网站的业务状况。
[0037]S40，将所述网站日志以及实时业务数据上传至分布式消息队列；
[0038]上述步骤S40中，将所述网站日志以及实时业务数据上传至分布式消息队列，可以使消息的传输具体较低的延迟，进一步加快对相关数据的处理速度；并且使上述网站日志以及实时业务数据分两种路径进行处理，可以提高最终所获取的网站业务数据的准确性。
[0039]S50，在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理；
[0040]上述步骤S50中，在分布式消息队列中对所述网站日志以及实时业务数据进行过滤及分类处理，可以上述网站日志以及实时业务数据所包含的信息根据网站的时机业务需求筛选出有用信息，并将有用信息进行分类处理，使得到的信息更能准确清晰的反映该网站的业务状况。<