一种用于处理信息的方法和系统与流程

本发明涉及计算机科学
技术领域：
，具体而言，涉及一种用于处理信息的方法和系统。
背景技术：
：随着互联网的发展，各种业务系统间的信息交互量越来越大，为了保证高可用和高性能，往往同一业务由数十台服务器进行支撑。由每台服务器将请求的全路径和携带的信息记录在各自的日志中，并基于每台服务器日志进行分析。在实现本发明的过程中，发明人发现现有技术中至少存在以下的技术问题：1、排查问题困难在集群环境中，每次请求可以随机访问到集群中任何一台服务器。一旦出现问题，需要登录到每台机器进行日志排查，如果存在数十台服务器，每次定位问题都会产生巨大的工作量，严重影响工作效率。2、存在安全隐患请求中往往会携带一些需要保密的信息，如果将所有信息存放在日志中，给请求造成了安全隐患。3、存在时间延时由于每台服务器日志从落地到收集存在时间延迟，对实时性要求高的不能满足需求。4、需求变动调整较大当需求变更，需要修改日志中输出的字段格式，这不能通过简单配置调整，需要改动日志解析规则，增加了工作量。因此，需要一种新的高效的、安全的用于处理信息的方法和系统。在所述
背景技术：
部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：有鉴于此，本发明提供一种用于处理信息的方法和系统，能够提取出待处理信息，避免将信息存储到每台服务器日志。本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。根据本发明的一方面，提供一种用于处理信息的方法，所述方法包括：接收请求；若所述请求调用具有标记的方法，提取待处理信息；将所述待处理信息发送给消费者以进行处理。根据一些实施例，所述方法还包括：根据预设的待处理信息与数据库的对应关系提取待处理信息。根据一些实施例，所述将所述待处理信息发送给消费者以进行处理，还包括：将所述待处理信息以及所述对应关系送给消息中间件，以使监控所述消息中间件的消费者根据所述对应关系将所述待处理信息存储到对应的数据库。根据一些实施例，所述方法还包括：将所述待处理信息以及所述对应关系封装为预定的数据格式，并发送给所述消息中间件，以使所述监控所述消息中间件的消费者以所述预定的数据格式解析出所述待处理信息以及所述对应关系后，根据所述对应关系将所述待处理信息存储到对应的数据库。根据一些实施例，所述待处理信息包括：发送所述请求的业务服务器的信息、接收所述请求的本地服务器的信息以及所述请求处理过程中的异常信息中的至少一种。根据一些实施例，当所述待处理信息为发送所述请求的业务服务器的信息时，所述方法还包括：从所述请求中提取发送所述请求的业务服务器的信息。根据一些实施例，当所述待处理信息为所述请求处理过程中的异常信息时，所述方法还包括：检测所述请求调用的方法的处理是否异常；如果检测到所述请求调用的方法的处理异常，提取所述请求处理过程中的异常信息。根据本发明的另一方面，提供一种用于处理信息的系统，所述系统包括：接收单元，用于接收请求；提取单元，用于在所述请求调用具有标记的方法时，根据提取规则提取待处理信息；处理单元，用于将所述待处理信息发送给消费者以进行处理。根据一些实施例，所述系统还包括：获取单元，用于根据预设的待处理信息与数据库的对应关系获取提取规则。根据一些实施例，所述处理单元，配置为将所述待处理信息以及所述对应关系送给所述消费者，以使所述消费者根据所述对应关系将所述待处理信息存储到对应的数据库。根据一些实施例，所述待处理信息包括：发送所述请求的业务服务器的信息、接收所述请求的本地服务器的信息以及所述请求处理过程中的异常信息中的至少一种。本发明实施例提供的用于处理信息的方法和系统中，通过接收请求；若所述请求调用具有标记的方法，根据提取规则提取待处理信息；将所述待处理信息发送给消费者以进行处理，实现了灵活的对信息的提取，便于信息的统一管理，提高了信息的安全性和信息处理的效率。附图说明通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。图1是本发明实施例提供的一种服务器集群系统的示意图。图2是根据一示例性实施例示出的用于处理信息的方法的流程图。图3是根据一示例性实施例示出的待处理信息的系统架构图。图4是根据一示例性实施例示出的统计数据的展示界面的示意图。图5是根据一示例性实施例示出的异常监控界面的示意图。图6是根据一示例性实施例示出的处理信息的系统的结构图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1是本发明实施例提供的一种服务器集群系统的示意图。如图1所示，服务器集群系统中包括多个业务服务器A、B以及C，以及服务器集群。用户可以通过业务服务器发送请求，负载均衡器将请求分发给服务器集群中的本地服务器进行处理。对于每个本地服务器来说，其处理过程如下。图2是根据一示例性实施例示出的用于处理信息的方法的流程图。如图2所示，在S202中，接收请求。根据示例实施例，本地服务器可以接收到负载均衡器发送的请求，但本发明并不限于此，例如，本地服务器还可以接收到业务服务器发送的请求。在S202中，若该请求调用具有标记的方法，提取待处理信息。需要说明的是，每个本地服务器均设置有生产者，该生产者内核为一个切面程序，是利用Java语言基于spring框架开发的web程序。生产者在初始化时加载预设的待处理信息与数据库的对应关系。根据示例实施例，提取待处理信息的过程中，可以将本地服务器中的、请求可能会调用的方法设置为切点，并在程序启动后，扫描所有切点，并在这些切点中织入包含待提取信息的通知后，对这些切点进行侦听。需要说明的是，本发明实施例中，可以将所有方法均设置为切点，这样当任何一个请求调用任何一个方法时，均可以提取出所有的待处理信息。需要说明的是，织入通知也就是在这些方法上打上标记，例如，在方法上标注注解@GrabData，该标记可以是用户自定义的注解，本发明实施例中，该注解中包含待提取信息。根据示例实施例，当接收到请求后，如果请求调用具有标记的方法，则会根据与所述标记关联的注解中的待处理信息提取待处理信息。需要说明的是，如果请求调用具有标记的方法，也就是说请求调用切点，则会触发所述切点注入的通知，进而根据通知中保包含的待提取信息提取待处理信息。根据该预设的待处理信息与数据库的对应关系可以提取待处理信息。该待处理信息可以包括但不限于：发送请求的业务服务器的信息、接收请求的本地服务器的信息以及请求处理过程中的异常信息中的至少一种。例如，表1为本发明实施例提供的一个待处理信息与数据库的对应关系。待处理信息数据库发送请求的业务服务器的信息数据库字段N接收请求的本地服务器的信息数据库字段P请求处理过程中的异常信息数据库字段Q表1根据表1的待处理信息与数据库的对应关系，可以确定需要提取的待处理信息为发送请求的业务服务器的信息、接收请求的本地服务器的信息以及请求处理过程中的异常信息。根据示例实施例，当待处理信息为发送所述请求的业务服务器的信息时，可以从所述请求中提取发送所述请求的业务服务器的信息。例如发送所述请求的业务服务器的IP信息以及系统的业务信息等。根据示例实施例，当待处理信息为所述请求处理过程中的异常信息时，需要检测所述请求调用的方法的处理是否异常，如果检测到所述请求调用的方法的处理异常，提取所述请求处理过程中的异常信息。需要注意的是，在请求处理过程中，如果处理异常，才会存在请求处理过程中的异常信息。根据示例实施例，当待处理信息为接收所述请求的本地服务器的信息时，由于生产者原本就设置在本地服务器上，因此可以直接获取该本地服务器的信息。例如，本地服务器的IP信息、处理所述请求的时间信息等。在S206中，将所述待处理信息发送给消费者以进行处理。根据示例实施例，在提取到待处理信息后，可以将所述待处理信息以及所述对应关系送给消息中间件，以使监控所述消息中间件的消费者根据所述对应关系将所述待处理信息存储到对应的数据库。需要说明的是，通过消费者将待处理信息存储到对应的数据库，实现了对待处理信息的统一管理。根据示例实施例，在将待处理信息以及对应关系发送给消息中间件时，可以将该待处理信息以及该对应关系封装为预定的数据格式之后发送，消费者对消息中间件进行监控，当消息中间件中有消息到达后，消费者以该预定的数据格式对消息中间件中的消息进行解析，从而得到所述待处理信息以及所述对应关系，并进一步的，根据该对应关系，将待处理信息存储到对应的数据库。例如，提取的待处理信息分别为发送请求的业务服务器的信息A、接收请求的本地服务器的信息B以及请求处理过程中的异常信息C，在提取到上述待提取信息后，将上述待处理信息以及表1中的对应关系发送给消费者后，消费者根据表1中的对应关系，可以将发送请求的业务服务器的信息A存储到数据库字段N，将接收请求的本地服务器的信息B存储到数据库字段P，将请求处理过程中的异常信息C存储到数据库字段Q。根据示例实施例，可以将待处理信息以及所述对应关系封装为预定的数据格式，并发送给消息中间件，以使消息中间件以该预定的数据格式解析出待处理信息以及对应关系后，根据该对应关系将所述待处理信息存储到对应的数据库。本发明实施例中，提供了数据库集群来存储提取出的待处理信息。例如，数据库集群中包括多个数据库1、2和3，根据表1中的对应关系，可以在数据库1、2和3的数据库字段N中存储发送请求的业务服务器的信息，在数据库1、2和3的数据库字段P中存储接收请求的本地服务器的信息，在数据库1、2和3的数据库字段Q存储请求处理过程中的异常信息。对于每个数据库来说，每个数据库的相应字段均存储有对应的待处理信息。利用数据库集群中的多个数据库来存储待处理信息，增加了数据库的存储容量。需要说明的是，当生产者再次提取了待处理信息时，消费者依然可以根据待处理信息与数据库的对应关系，将待处理信息存储到对应的数据库。此时可以将待处理信息与数据库的对应关系与待处理信息进行封装，并发送给消息中间件，由消费者解析出待处理信息以及所述对应关系后，将待处理信息存储到数据库。或者，可以只将待处理信息进行封装，并利用之前的对应关系将待处理信息存储到数据库。需要注意的是，本发明实施例中的消息中间件，可以是消息队列，在传输压力增大时，可以使用消息队列集群方式来存储待处理信息，该消息队列集群可以包括至少一个kafka服务器。从而提高消息中间件的存储能力。本发明实施例中的消费者可以是消费者集群，从而提高对待处理信息的处理效率。图3是根据一示例性实施例示出的待处理信息的系统架构图。如图3所示，生产者将提取出的待处理信息发送到消息中间件，该消息中间件可以是一个消息队列集群，该消息队列集群中包括多个kafka服务器。监控该消息队列集群的消费者集群可以包括多个消费者，当消费者集群监控到消息队列集群中的kafka服务器存储有待处理信息时，从消息队列集群中提取出该待处理信息，并存储到包含多个关系型数据库的数据库集群中。根据示例实施例，数据库可以包括但不限于关系型数据库，数据库集群中可以包括但不限于多个关系型数据库。本发明实施例提供的用于处理信息的方法和系统中，通过接收请求；若所述请求调用具有标记的方法，根据提取规则提取待处理信息；将所述待处理信息发送给消费者以进行处理，实现了灵活的对信息的提取，便于信息的统一管理，提高了信息的安全性和信息处理的效率。进一步的，在将待处理信息存储到数据库中后，可以对数据库中的数据进行统计，并展示统计数据。在进行统计时，可以通过但不限于按照周期、服务器的IP地址来进行统计。例如，图4是根据一示例性实施例示出的统计数据的展示界面的示意图。如图4所示，可以按照不同周期来统计多台服务器(不同的IP地址)被访问的数据。更进一步的，可以根据数据库中的数据展示异常监控页面。从而可以快速定位集群中众多服务器哪台出了问题。例如，图5是根据一示例性实施例示出的异常监控界面的示意图。本发明实施中，实现了灵活、实时、高效、安全地对信息的提取，而且将需要监控的数据统一存储到关系型数据库中，并且通过视图报表展示数据，方便了对集群中各个系统的状态进行监控，以及对业务系统调用服务的情况的统计。当服务器出现异常时，能够快速定位到问题服务器，降低了人力成本，提高了故障排查的效率。应清楚地理解，上述实施例中详细说明了用于处理信息的方法，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。下述为本发明系统实施例，可以用于执行本发明方法实施例。在下文对系统的描述中，与前述方法相同的部分，将不再赘述。图6是根据一示例性实施例示出的处理信息的系统的结构图。如图6所示，本发明实施例提供的处理信息的系统60，可以包括：接收单元610，用于接收请求；提取单元620，用于在所述请求调用具有标记的方法时，根据提取规则提取待处理信息；处理单元630，用于将所述待处理信息发送给消费者以进行处理。根据一些实施例，所述系统还包括：获取单元640，用于根据预设的待处理信息与数据库的对应关系获取提取规则。根据一些实施例，所述处理单元630，配置为将所述待处理信息以及所述对应关系送给所述消费者，以使所述消费者根据所述对应关系将所述待处理信息存储到对应的数据库。根据一些实施例，所述待处理信息包括：发送所述请求的业务服务器的信息、接收所述请求的本地服务器的信息以及所述请求处理过程中的异常信息中的至少一种。本发明实施例提供的用于处理信息的方法和系统中，通过接收请求；若所述请求调用具有标记的方法，根据提取规则提取待处理信息；将所述待处理信息发送给消费者以进行处理，实现了灵活的对信息的提取，便于信息的统一管理，提高了信息的安全性和信息处理的效率。以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。当前第1页1 2 3