本发明涉及信息监控领域，特别是一种业务数据的处理方法、装置及系统。
背景技术：
在有些应用场景中，需要对业务消息的一些信息，如消息量和/或用户数等业务数据，进行地域分布的统计和确定等处理。例如，在各业务可能存在恶意消息来源时，需要确定该恶意消息在各个地区中的分布情况，以便针对重点业务进行监控。又如，在某业务可能存在恶意剧增时，需要确定该恶意剧增的业务地区，以迅速对相应业务调整策略，压制恶意进一步蔓延。此外，需要辅助进行线下打击，杜绝恶意来源时，也需要对业务消息的目标信息的地域分布进行统计和确定。
技术实现要素：
有鉴于此，本发明实施例中一方面提供一种业务数据的处理方法，另一方面提供一种业务数据的处理装置和系统，用以确定业务消息相关信息的地域分布。
本发明实施例中提供的一种业务数据的处理方法，包括：
分布式计算服务器接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；
分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；
将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
本发明实施例中提供的一种业务数据的处理方法，包括：
查询服务器接收来自用户的查询请求，根据所述查询请求从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据，并展示所述各地分布的用户数的统计数据；
所述分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据 为：所述分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息。
本发明实施例中提供的一种业务数据的处理装置，包括：至少一个计算服务器和至少一个汇总服务器；其中，
每个计算服务器用于接收来自业务系统的业务消息及其属性信息，所述属性信息包括用户标识和来源地理位置信息；按照第一时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；
每个汇总服务器用于按照第一时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。
本发明实施例中提供的一种业务数据的处理装置，包括：
请求接收模块，用于接收来自用户的查询请求；
查询模块，用于根据所述查询请求，从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据；
展示模块，用于展示所述查询模块查询到的统计数据。
本发明实施例中提供的一种业务消息的目标信息地域分布确定系统，包括：
实时检索分析服务器，用于从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据；
分布式计算服务器，用于从业务系统或所述实时检索分析服务器接收来自业务系统的业务消息及其属性信息；按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
可见，本发明实施例中，通过利用分布式计算服务器对来自业务系统的业务消息，按照其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，便可方便快速的确定各地分布的用户数的统计信息，之后可将该统计数据存储到一数据库中，以便查询展示。
附图说明
为了更清楚的说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，
图1为本发明各个实施例所涉及的一种实施环境的结构示意图；
图2a和图2b分别为本发明实施例中一种查询服务器的结构示意图；
图3为本发明实施例中一种业务消息的目标信息地域分布确定方法的示例性流程图；
图4和图5分别为本发明实施例中一种业务消息的目标信息地域分布展示方法的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
图1为本发明各个实施例所涉及的一种实施环境的结构示意图。如图1所示，该实施环境包括：业务系统101、实时检索分析服务器102、分布式计算服务器103、数据库104和查询服务器105。
其中，业务系统101用于提供业务消息以及该业务消息的属性信息。业务消息可以是业务系统过滤得到的恶意消息，也可以是设定需要监控的某业务的消息等，此处不对业务消息的具体类型进行限定。业务消息的属性信息可以包括用户标识和来源地理位置信息等。
实时检索分析服务器102用于从业务系统101实时接收来自业务系统101的业务消息及其属性信息，并可采用嵌套式的列存储以及位图(bit-map)等方式组织存储所述业务消息及其属性信息。这种结构的存储方式，在分析大规模复杂数据，如tb级规模的复杂数据时，能实现关键数据的快速定位，从而可实现秒级的数据访问分析。因此，实时检索分析服务器102可根据存储的所述业务消息及其属性信息中的来源地理位置信息，快速、低延迟地实时确定业务消息在各地分布的消息量的统计数据。
实时检索分析服务器102可以为已有的检索分析平台，如hermes实时检索分析服务器，hermes实时检索分析服务器基于搜索引擎技术，将检索与数据分析相结合，可实现万亿级别的数据秒级的定向检索分析和模糊检索分析。此外，实时检索分析服务 器102也可以为其它能实现类似功能的实时检索分析服务器。
分布式计算服务器103用于从业务系统101或实时检索分析服务器102接收来自业务系统101的业务消息及其属性信息。按照设定的第一时间间隔，对所述来自业务系统101的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息；将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到数据库104中。这里的第一时间间隔可以为1小时，即可每隔1小时计算一次。此外，第一时间间隔也可以为其它的时间段，如半小时、45分钟、1.5小时或2小时等。
其中，分布式计算服务器103可以为已有的分布式计算服务器，如hadoop计算集群，hadoop计算集群是一个分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的性能进行高速运算和存储。此外，分布式计算服务器103也可以为其它可以实现类似功能的计算集群。
分布式计算服务器103可以是一个包括多台服务器的服务器集群。在一次处理中，这些服务器可分别用于进行单机计算或多机汇总。其中，每个用于进行计算的服务器(简称计算服务器)用于接收来自业务系统的业务消息及其属性信息，所述属性信息包括用户标识和来源地理位置信息；按照第一时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据。例如，假设地域层级包括城市、省份和国家三个层级，则如需统计分布在a省的用户数，以及分布在b城市的用户数，则至少一个计算服务器用于对a省的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到a省的用户数统计数据，至少一个计算服务器用于对b城市的业务消息，根据各业务消息的用户标识进行用户数去重计算，得到b城市的用户数统计数据。之后每个用于汇总的服务器(简称汇总服务器)用于对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。例如，至少一汇总服务器用于对不同计算服务器的a省用户数统计结果进行汇总，得到a省分布的用户数的统计数据；至少一汇总服务器用于对不同计算服务器的b城市用户数统计结果进行汇总，得到b城市分布的用户数的统计数据。在某些应用中，汇总服务器也可以为一台。当然，地域层级也可以划分为包括县、地区、省份、国家四个地域层级等，具体如何划分此处不对其进行具体限定。
此外，分布式计算服务器103还可进一步用于按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息 根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据；将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数据存储到数据库104中。其中，第二时间间隔大于第一时间间隔。例如，第二时间间隔可以为一天，即每天计算一次各地分布的消息量及用户数的统计数据。此外，第二时间间隔也可以为其它的时间间隔，例如，2天、3天，4天，……。具体地，每个计算服务器进一步用于按照第二时间间隔根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；以及根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；每个汇总服务器用于按照第二时间间隔对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据；以及对不同计算服务器的相同地域的用户消息量统计结果进行汇总，得到各地分布的消息量的统计数据。通过进一步按照第二时间间隔计算用户数和消息量的地域分布，可以减少查询历史数据时不必要的重复计算。
其中，以统计a省和b城市的消息量和用户数的统计数据的情况为例，当统计消息量时，可由至少一个计算服务器用于对a省的业务消息进行消息量统计，得到a省的消息量统计数据，至少一个计算服务器用于对b城市的业务消息进行消息量统计，得到b城市的消息量统计数据。至少一汇总服务器用于对不同计算服务器的a省消息量统计结果进行汇总，得到a省分布的消息量的统计数据；至少一汇总服务器用于对不同计算服务器的b城市消息量统计结果进行汇总，得到b城市分布的消息量的统计数据。在某些应用中，汇总服务器也可以为一台。
数据库104可以为clouddatabase(cdb)，cdb的主要特点包括：高性能、高可靠的mysql服务；同时整合自动化管理工具，最大程度减少开发人员在部署、监控、扩容和故障恢复等方面的投入。此外，数据库104也可以为传统数据库，或者集成在计算集群服务器上的数据库。
查询服务器105用于接收来自用户的查询请求，判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则从数据库104中获取按照最近的第一时间间隔得到的各地分布的用户数的统计数据，从实时检索分析服务器102获取所述实时得到的各地分布的消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据；如果为历史数据，则从数据库104中查询对应第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
当然，查询服务器105也可以默认为从数据库104中获取按照最近的第一时 间间隔得到的各地分布的用户数的统计数据或根据所述查询请求，从数据库104中获取分布式计算服务器103按照第一时间间隔得到的各地分布的用户数的统计数据。和/或，还可默认从实时检索分析服务器102获取所述实时得到的各地分布的消息量的统计数据。
本发明实施例中的技术方案，初次查询请求的响应延迟可在10秒(s)以下，连续查询请求的响应延迟可在5s以下。也就是说，该技术方案能够在低延迟的状况下，准实时展示业务消息量和用户数的地域分布统计信息。
本发明实施例中提出的一种业务数据的处理系统可仅包括上述的分布式计算服务器103。
本发明实施例中提出的又一种业务数据的处理系统可仅包括上述的实时检索分析服务器102。
本发明实施例中提出的再一种业务数据的处理系统可同时包括上述的实时检索分析服务器102和分布式计算服务器103。
上述各业务数据的处理系统还可以进一步包括查询服务器105。
本发明实施例中提出的一种业务数据的处理系统可仅包括上述的查询服务器105。
本发明实施例中提出的又一种业务数据的处理系统可包括上述的分布式计算服务器103和查询服务器105。
本发明实施例中提出的再一种业务数据的处理系统可包括上述的实时检索分析服务器102和查询服务器105。
本发明实施例中提出的再一种业务数据的处理系统可包括上述的实时检索分析服务器102、分布式计算服务器103和查询服务器105。
本发明实施例中的查询服务器105可有多种具体实现方式，图2a和图2b分别示出了其中一种。
如图2a所示，该查询服务器105可包括请求接收模块201、查询模块202和展示模块203。
其中，请求接收模块201用于接收来自用户的查询请求。
查询模块202用于根据所述查询请求，从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据。
展示模块203用于展示所述查询模块查询到的统计数据。
如图2b所示，该查询服务器105可包括请求接收模块201、判断模块204、查询模块202和展示模块203。
其中，请求接收模块201用于接收来自用户的查询请求。
判断模块202用于根据所述查询请求判断需要查询的统计数据是实时数据还是历史数据。
查询模块203用于在需要查询的统计数据为实时数据时，从一数据库中获取一分布式计算服务器按照最近的第一时间间隔得到的各地分布的用户数的统计数据；在需要查询的统计数据为历史数据时，从所述数据库中查询所述分布式计算服务器对应第二时间间隔得到的各地分布的用户数及消息量的统计数据。
展示模块204用于展示所述查询模块查询到的统计数据。
在一个实施方式中，查询模块203还可进一步用于在需要查询的统计数据为实时数据时，从一实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据。
本发明实施例中还提出一种业务数据的处理方法，该方法可在图1所示实施环境中实现。
图3为本发明实施例中一种业务数据的处理方法的示例性流程图。该方法可应用于分布式计算服务器中。如图3所示，该方法可包括如下步骤：
步骤301，分布式计算服务器接收来自业务系统的业务消息及其属性信息；所述属性信息包括用户标识和来源地理位置信息。
步骤302，分布式计算服务器按照设定的第一时间间隔，对所述来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计信息。
其中，不同的地域层级可根据实际需要进行划分，例如，可划分为包括城市、省份、国家三个地域层级，或者还可以划分为包括县、地区、省份、国家四个地域层级等。
步骤303，分布式计算服务器将按照所述第一时间间隔得到的各地分布的用户数的统计数据存储到一数据库中。
该方法还可进一步包括如下的步骤304和步骤305。
步骤304，分布式计算服务器按照设定的第二时间间隔，对来自业务系统的业务消息根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据；并对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据。其中，第二时间间隔大于所述第一时间间隔。
步骤305，将按照所述第二时间间隔得到的各地分布的用户数及消息量的统计数 据存储到一数据库中。
上述方法中，对来自业务系统的业务消息数据根据其来源地理位置信息及用户标识分别按照不同的地域层级进行分布式的用户数去重计算，得到各地分布的用户数的统计数据，可包括：分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息根据各业务消息的用户标识进行用户数去重计算，得到该地域的用户数统计数据；分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的用户数统计结果进行汇总，得到各地分布的用户数的统计数据。
上述方法中，对所述业务消息根据其来源地理位置信息分别按照不同的地域层级进行分布式的消息量计算，得到各地分布的消息量的统计数据，可包括：分布式计算服务器中的每台计算服务器根据各业务消息的来源地理位置信息，对不同地域层级中的一个地域的业务消息进行消息量统计，得到该地域的消息量统计数据；分布式计算服务器中的每台汇总服务器对不同计算服务器的相同地域的消息量统计结果进行汇总，得到各地分布的消息量的统计数据。
此外，上述方法还可以进一步包括：实时检索分析服务器从业务系统接收来自业务系统的业务消息及其属性信息，并采用嵌套式的列存储以及位图的方式存储所述业务消息及其属性信息；根据存储的所述业务消息及其属性信息中的来源地理位置信息，实时确定业务消息在各地分布的消息量的统计数据。
图4和图5分别为本发明实施例中一种业务数据的处理方法的流程示意图。该方法可应用于查询服务器中。
对应步骤301～303，本实施例中提供的一种业务数据的处理方法可如图4所示，包括如下步骤：
步骤401，查询服务器接收来自用户的查询请求。
步骤402，查询服务器根据所述查询请求从一数据库中获取一分布式计算服务器按照第一时间间隔得到的各地分布的用户数的统计数据。
本步骤中，若需展示最近第一时间间隔得到的各地分布的用户数的统计数据，则从数据库中获取所述分布式计算服务器在最近的第一时间间隔得到的各地分布的用户数的统计数据；若需展示之前的某第一时间间隔得到的各地分布的用户数的统计数据，则从数据库中获取所述分布式计算服务器在对应的第一时间间隔得到的各地分布的用户数的统计数据。
步骤403，展示所述各地分布的用户数的统计数据。
此外，该图4所示方法还可以进一步包括：从实时检索分析服务器获取所述实时 检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的消息量的统计数据。
对应步骤301～305，本实施例中提供的一种业务消息的目标信息地域分布展示方法可如图5所示，包括如下步骤：
步骤501，查询服务器接收来自用户的查询请求。
步骤502，查询服务器接收来自用户的查询请求，判断需要查询的统计数据是实时数据还是历史数据，如果为实时数据，则执行步骤503；否则，执行步骤504。
步骤503，从所述数据库中获取所述分布式计算服务器在最近的第一时间间隔得到的各地分布的用户数的统计数据，并展示所述各地分布的用户数的统计数据。
步骤504，从所述数据库中查询所述分布式计算服务器在对应的第二时间间隔得到的各地分布的用户数及消息量的统计数据，并展示所述各地分布的用户数及消息量的统计数据。
此外，该图5所示方法还可以进一步包括：在需要查询的统计数据为实时数据时，从实时检索分析服务器获取所述实时检索分析服务器实时得到的各地分布的消息量的统计数据，并展示所述各地分布的消息量的统计数据。
另外，本发明的每一个实施例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然，数据处理程序构成了本发明。此外，通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此，这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式，例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如cd-rom等)、磁光存储介质(如mo等)等。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的处理器等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。其中，该处理器可包括有一个或者一个以上处理核心。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。