一种数据管理系统的制作方法

本发明实施例涉及物联网技术领域，尤其涉及一种数据管理系统。

背景技术：

随着物联网技术的发展，在公司内部，一个系统已经无法满足用户或者公司的需求，往往涉及到多个系统，或者是分布式系统。传统的方法是对每个系统单独存储日志文件数据来记录用户操作，对用户的操作数据单独进行管理。当系统出现某个问题后，要定位问题着实比较繁琐，需要逐一对服务器日志文件进行查看，一旦服务器个数过多，采用逐一查看日志文件的方式会非常耗时费力，导致无法解决问题。并且如果一个错误牵涉到多个系统会导致定位问题更加困难，为了排查一个简单的错误可能需要花费几个小时甚至几天的时间，严重降低工作人员的工作效率，且问题迟迟无法解决也会影响用户的使用体验。

技术实现要素：

本发明提供一种数据管理系统，以实现多个应用系统数据的统一管理。

所述数据管理系统包括：搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统；

针对每个应用子系统，所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器；

所述消息代理器，用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据；

所述消息监控子系统，用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理，并将处理后形成的各目标数据发送至所述搜索服务器；

所述搜索服务器，用于作为数据查询的查询接口，将各所述目标数据按照相应的数据类型进行存储，形成至少一个数据集合，以便于用户查询。

本发明实施例提供了一种数据管理系统，包括：搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统；针对每个应用子系统，所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器；所述消息代理器，用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据；所述消息监控子系统，用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理，并将处理后形成的各目标数据发送至所述搜索服务器；所述搜索服务器，用于作为数据查询的查询接口，将各所述目标数据按照相应的数据类型进行存储，形成至少一个数据集合，以便于用户查询，解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题，实现数据统一管理，通过为用户提供一个统一查询接口，实现快速查找数据，提高工作人员的工作效率。

附图说明

图1是本发明实施例一中的一种数据管理系统的结构图；

图2是本发明实施例一中的另一种数据管理系统的结构图；

图3是本发明实施例二中的一种数据管理的实现示例图；

图4是本发明实施例二中的一种消息监控子系统对原始处理数据的处理方法流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种数据管理系统的结构图，该数据管理系统包括：搜索服务器11、消息代理器12、消息监控子系统13以及至少一个应用子系统14；

针对每个应用子系统14，所述应用子系统14用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器。

所述消息代理器12，用于采用消息队列的形式存储各所述应用子系统14反馈的原始处理数据。

所述消息监控子系统13，用于将所述消息代理器12中各原始处理数据按照相应的数据属性进行处理，并将处理后形成的各目标数据发送至所述搜索服务器11。

所述搜索服务器11，用于作为数据查询的查询接口，将各所述目标数据按照相应的数据类型进行存储，形成至少一个数据集合，以便于用户查询。

其中，应用子系统14具体可以理解为供各用户操作使用的系统；消息代理器12具体可以理解为用来存储数据的服务器，可以是实现高级消息队列协议的消息代理软件；消息监控子系统13具体可以理解为用来处理数据信息的系统；搜索服务器11具体可以理解为用来搜索数据的搜索引擎，例如可以是elasticsearch，一个分布式多用户能力的全文搜索引擎；消息发送条件具体可以理解为预先设置的、满足此条件可以执行信息发送操作的条件，用来筛选系统运行期间产生的数据信息，可以是携带特定后缀信息的数据，例如url格式的数据。原始处理数据具体可以理解为系统运行中，执行某一操作所产生的操作数据。

具体的，应用子系统14在实际运行中会根据执行的操作产生原始处理数据，根据预先设置好的消息发送条件判断原始处理数据是否满足消息发送条件，当原始处理数据满足消息发送条件时，将原始处理数据发送给消息代理器12。

具体的，消息代理器12接收到应用子系统发送的原始处理数据后，通过消息队列的形式存储原始处理数据，采用消息队列的形式存储原始处理数据可以保证数据先进先出。

其中，数据属性用来区分不同类型的数据，例如，后缀为.a的数据可以认为是日志数据，后缀为.r的数据可以认为是业务数据；目标数据具体可以理解为原始处理数据处理后的形成的数据。

具体的，消息监控子系统13将消息代理器12中的各原始处理数据根据其各自的数据属性分别进行相应的处理，将处理后形成的各目标数据发送给搜索服务器11。例如，后缀为.a的日志数据，将其按照数据大小10bit、数据类型10bit的格式处理。

具体的，搜索服务器11作为查询接口用于执行数据查询，目标数据根据其所属数据类型进行存储，形成数据集合，根据不同数据类型形成对应数据集合，方便用户查询数据。

用户在应用子系统中进行操作时，应用子系统根据实际运行情况产生原始处理数据，并将满足消息发送条件的原始处理数据发送给消息代理器。消息代理器将接收到的原始处理数据采用消息队列的形式进行存储，并通过消息监控子系统对各原始处理数据按照与其对应的数据属性进行相应的处理，得到目标数据，并发送到搜索服务器。搜索服务器将接收到的目标数据根据所属数据类型进行存储，形成数据集合，由于数据类型可以有多种，所以形成的数据集合也可能有多个。

本发明实施例提供了一种数据管理系统，包括：搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统；针对每个应用子系统，所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器；所述消息代理器，用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据；所述消息监控子系统，用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理，并将处理后形成的各目标数据发送至所述搜索服务器；所述搜索服务器，用于作为数据查询的查询接口，将各所述目标数据按照相应的数据类型进行存储，形成至少一个数据集合，以便于用户查询，解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题，实现数据统一管理，通过为用户提供一个统一查询接口，实现快速查找数据，提高工作人员的工作效率。

进一步地，图2提供了另一种数据管理系统的结构图，应用子系统14包括：业务数据发送模块141和日志数据发送模块142。

业务数据发送模块141，用于拦截所接收的服务请求数据，并将满足业务数据发送条件的服务请求数据作为目标处理数据发送至所述消息代理器；

日志数据发送模块142，用于从所获取的业务逻辑处理数据中筛选日志记录数据，并将所述日志记录数据作为目标处理数据发送至所述消息代理器，其中所述业务逻辑处理数据在响应所述服务请求数据后生成。

其中，服务请求数据具体可以理解为用户在应用子系统14上进行操作时所发出的服务请求，例如实现登录、浏览等服务所发出的请求数据。业务数据发送条件具体可以理解为预先设置好用来筛选服务请求数据的条件。业务逻辑处理数据具体可以理解为在应用子系统14上执行的业务处理操作所生成的数据，例如执行登录、浏览、查询、留言等操作都可以看作是一种业务逻辑处理数据。日志记录数据具体可以理解为日志类型的数据，用来记录用户操作数据，可以是具有特定标识符的数据，例如，后缀为.a类型的数据。

应用子系统14的业务数据发送模块141接收实际运行中产生的服务请求数据，服务请求数据可以是用户进行操作时所发出的请求。业务数据发送模块141对接收到的服务请求数据进行拦截，判断服务请求数据是否满足业务数据发送条件，并把满足业务数据发送条件的服务请求数据作为目标处理数据发送给消息代理器。服务请求数据在被应用子系统14拦截后，满足业务数据发送条件的发送至消息代理器并继续执行下一业务操作，不满足条件的直接执行下一业务操作，在执行下一业务操作时生成业务逻辑处理数据。日志数据发送模块142对获取到的不同种类的业务逻辑处理数据进行筛选，根据日志记录数据的特定标识符筛选出日志记录数据，并将日志记录数据作为目标处理数据发送至消息代理器。

进一步地，业务数据发送模块141具体用于：拦截用户触发生成的服务请求数据；如果所述服务请求数据中所包括的服务请求标识属于可发送标识范畴，则将所述服务请求数据作为目标处理数据发送至所述消息代理器。

其中，服务请求标识用来标识服务请求数据，区分服务请求数据是否需要发送至消息代理器12。服务请求数据包含很多信息，例如服务请求标识，用户id，用户操作信息，用户操作时间等。可发送标识具体可以理解为用来判断服务请求数据中的服务请求标识是否是可以发送给消息代理器12的标识；目标处理数据具体可以理解为业务数据发送模块141发送给消息代理器12的服务请求数据。

用户触发生成服务请求数据的方式可以是用户在应用子系统14上点击了登录等操作，由此可以生成服务请求数据，此时的登录操作也可以是任一用户进行的任一其他系统操作。业务数据发送模块141拦截服务请求数据，当识别出服务请求数据中所包括的服务请求标识属于可发送标识范畴，则将服务请求数据作为目标处理数据发送至消息代理器。

进一步地，日志数据发送模块142具体用于：响应所述服务请求数据进行相应的业务逻辑处理，生成至少一条业务逻辑处理数据；针对每条业务逻辑处理数据，如果检测到所述业务逻辑处理数据上携带有日志代码标识，则将所述业务逻辑处理数据作为目标处理数据发送至所述消息代理器。

其中，日志代码标识具体可以理解为标记数据信息为日志数据的标识码。

日志数据发送模块142在响应服务请求数据后执行相应的业务逻辑处理，生成业务逻辑处理数据，由于业务逻辑处理至少一种，所以生成的业务逻辑处理数据至少一条。检测每条业务逻辑处理数据，如果其携带日志代码标识，则认为此业务逻辑处理数据需要发送至消息代理器12。例如用户在执行登录操作时，生成服务请求数据并发送，若登录操作的服务请求数据中所包括的服务请求标识属于可发送标识范畴，则登录操作的服务请求数据会被发送至消息代理器12，并继续执行登陆后的浏览等操作；或者当登录操作的服务请求数据中所包括的服务请求标识不属于可发送标识范畴，则直接执行登陆后的浏览等操作。虽然登录操作不会被发送给消息代理器12，但是后续执行的浏览等业务逻辑处理生成的业务逻辑处理数据会根据其是否携带日志代码标识决定其是否需要发送给消息代理器12。

进一步地，消息监控子系统13，具体用于：确定所述消息代理器中各原始处理数据的数据属性；针对每个原始处理数据，如果所述原始处理数据的数据属性为日志数据，则按照设定的日志数据处理逻辑处理所述原始处理数据形成日志型数据，并将所述日志型数据作为目标数据发送至所述搜索服务器；如果所述原始处理数据的数据属性为业务数据，则按照设定的预警数据处理逻辑处于所述原始处理数据形成预警型数据，并将所述预警型数据所述作为目标数据发送至所述搜索服务器。

其中，日志数据处理逻辑具体可以理解为用来处理日志类型的数据，使其形成日志型数据，例如将日志类型的数据按照数据大小、类型、内容的顺序进行存储；预警数据处理逻辑具体可以理解为用来处理业务类型的数据，使其形成预警型数据，例如将业务类型的数据按照数据类型、大小、内容的顺序进行存储，并且日志类型的数据和业务类型的数据存储时所分配的大小可以不同。

根据消息代理器中各原始处理数据所特有的数据标识确定原始处理数据的数据属性，如果原始处理数据的数据属性为日志数据，则根据预先设定的日志数据处理逻辑对原始处理数据进行处理，进而形成日志型数据，并将日志型数据作为目标数据发送至搜索服务器。如果原始处理数据的数据属性为业务数据，则根据预先设定的预警数据处理逻辑对原始处理数据进行处理形成预警型数据，并将预警型数据作为目标数据发送至搜索服务器。

进一步地，搜索服务器11，具体用于：将数据类型为日志型的目标数据存储到设定的日志数据集，并将数据类型为预警型的目标数据存储到设定的预警数据集。

其中，日志数据集具体可以理解为用来存储日志数据的存储空间；预警数据集。具体可以理解为用来存储预警数据的存储空间。

进一步地，应用子系统14，还用于将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储。

由于在数据未实现统一管理前，每个应用系统产生的日志数据会存储在每个应用系统本身的日志存储空间，所以在本申请是实施例中应用子系统在发送日志数据前，需要将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储，以保证每个应用系统产生的日志数据存储到消息代理器中。

进一步地，如图2所示，该数据管理系统还包括：信息搜索平台15，信息搜索平台15与搜索服务器11连接，用于根据用户在信息搜索界面中输入的日志信息关键字，从搜索服务器11中获取与信息关键字匹配的日志数据信息。

其中，信息搜索界面具体可以理解为设置在显示屏幕上、可以接收用户输入的数据信息以使服务器执行搜索操作的界面，显示屏幕可以是计算机、手机、平板电脑等智能终端的显示屏幕；日志信息关键字具体可以理解为用于搜索日志数据的关键字，信息关键字中至少包括应用子系统的系统名、应用服务功能名，也可以包括用户id、用户名称、操作名称，例如登录操作等。

信息搜索平台15与搜索服务器11连接，从搜索服务器11中获取所要查询的信息。用户在信息搜索平台的信息搜索界面中输入日志信息关键字，通过搜索服务器可以查找并获取到与信息关键字匹配的日志数据信息。例如，在信息搜索界面中输入用户id，可以获得此用户在一段时间内执行的所有操作记录，也可以根据需求对操作记录进行筛选，只获取符合要求的信息。

进一步地，信息搜索平台15，具体用于：

根据用户触发形成的搜索指令，弹出信息搜索界面；

接收用户在所述信息搜索界面输入的日志信息关键字，向所述搜索服务器发送包含所述日志信息关键字的信息查询请求，接收所述搜索服务器响应所述信息查询请求后确定的日志数据信息并展示。

用户触发形成搜索指令的方式可以是用户点击了特定的搜索按键，此搜索按键可以是实际的键盘按键，也可以是虚拟按键。根据搜索指令，在信息搜索平台15中弹出信息搜索界面，此时用户可以在搜索界面输入日志信息关键字，信息搜索平台15在接收到日志信息关键字后，向搜索服务器11发送信息查询请求，同时在信息查询请求中携带日志信息关键字，搜索服务器11根据日志信息关键字确定日志数据信息，并将日志数据信息返回给信息搜索平台15，信息搜索平台15接收到搜索服务器11响应返回的日志数据信息后，对日志数据信息进行展示。信息搜索平台15在展示日志数据信息时，可以根据用户实际需求设置展示规则，展示特定数据内容。例如，只展示一段时间内的信息，或者在展示一个用户的信息数据时只展示其中的一个或几个操作，而非所有，实现根据用户需求对信息进行筛选，避免信息过多导致浏览时忽略重要信息。

进一步地，信息搜索平台15，还用于根据用户在设定的问题跟踪界面中输入的跟踪条件，从所述搜索服务器中获取满足所述跟踪条件的预警数据信息。

其中，问题跟踪界面具体可以理解为用来对某一用户、某一操作或某一应用系统等特定问题进行时刻追踪的界面。跟踪条件具体可以理解为用来定位追踪对象的条件，例如用户名称、用户id、应用子系统名称等。

具体的，用户在问题跟踪界面中输入跟踪条件，信息搜索平台15根据接收到的跟踪条件从搜索服务器中获取满足跟踪条件的预警数据信息。例如，输入某一用户id，结合展示规则可以获取用户在一段时间内执行的所有操作，包括在何一时间、何一应用子系统上执行了何种操作。通过设置问题追踪，可以快速获取用户操作，将用户在所有子系统上产生的所有操作综合管理。分散的数据往往无法反映问题，只有将数据集中管理分析，才能发现问题所在，通过分析所有用户数据，更快发现数据中存在的问题。

本发明实施例提供了一种数据管理系统，包括：搜索服务器、消息代理器、消息监控子系统以及至少一个应用子系统；针对每个应用子系统，所述应用子系统用于将实际运行中所产生满足消息发送条件的原始处理数据发送至所述消息代理器；所述消息代理器，用于采用消息队列的形式存储各所述应用子系统反馈的原始处理数据；所述消息监控子系统，用于将所述消息代理器中各原始处理数据按照相应的数据属性进行处理，并将处理后形成的各目标数据发送至所述搜索服务器；所述搜索服务器，用于作为数据查询的查询接口，将各所述目标数据按照相应的数据类型进行存储，形成至少一个数据集合，以便于用户查询，解决了多个系统操作数据存储在多个日志中导致的无法统一管理数据的问题，实现数据统一管理，通过为用户提供一个统一查询接口，实现快速查找数据，提高工作人员的工作效率。并且通过对问题进行追踪，将数据集中管理分析，可以更快发现和定位问题。

实施例二

图3为本发明实施例二提供的一种数据管理的实现示例图。如图3所述，该数据管理系统至少包括：应用子系统21、消息代理器22、消息监控子系统23、搜索服务器24、信息搜索平台25。数据管理系统中的应用子系统根据管理需求可以有多个，将需要管理的系统作为应用子系统接入到数据管理系统中。应用子系统可以是simpool系统、ass系统、充值系统、oms运维系统、鉴权系统等。

消息代理器22接收并存储原始处理数据，并通过消息监控子系统23处理原始处理数据。原始处理数据由应用子系统21筛选并发送，应用子系统21通过拦截用户触发生成的服务请求数据，对服务请求数据进行筛选，将符合条件的数据发送给消息代理器22。消息监控子系统23对原始处理数据进行处理形成不同类型的目标数据，发送给搜索服务器24，搜索服务器24根据目标数据的数据类型进行存储，并在接收到信息搜索平台25发送的信息查询请求时确定日志数据信息并反馈给信息搜索平台25，信息搜索平台25将日志数据信息以设定好的展示规则进行展示，以此实现应用子系统的数据信息收集及查询展示。

以应用子系统21中的用户登录操作为例，举例说明数据管理系统中应用子系统21对原始处理数据的收集过程。应用子系统21将预先存储的日志配置文件中的日志存储路径更新为消息代理器存储。用户在应用子系统21上进行登录操作时，生成服务请求数据，应用子系统21拦截用户触发生成的登录请求数据，并根据登录请求数据的数据标识判断此登录请求数据是否需要发送给消息代理器22。如需要，则发送登录请求数据给消息代理器，此时系统会继续执行登录操作后的浏览等操作，如果不需要，则系统直接执行登陆操作后的浏览等操作。用户在登录后进行的操作可以是浏览、查询、更改信息等业务操作，此时的业务查询数据在系统初始设置时已经设置好是否需要保存成日志记录数据，例如浏览、查询为非日志记录数据、更改信息为日志记录数据。用户在登录成功后，进行更改信息的操作产生的业务逻辑处理数据会携带日志代码标识，此时的业务逻辑数据被作为目标处理数据发送至消息代理器22。

图4提供了一种消息监控子系统对原始处理数据的处理方法流程图，具体包括以下步骤：

步骤231、确定消息代理器中各原始处理数据的数据属性。

步骤232、如果所述原始处理数据的数据属性为日志数据，则按照设定的日志数据处理逻辑处理所述原始处理数据形成日志型数据，并将所述日志型数据作为目标数据发送至所述搜索服务器。

步骤233、如果所述原始处理数据的数据属性为业务数据，则按照设定的预警数据处理逻辑处于所述原始处理数据形成预警型数据，并将所述预警型数据所述作为目标数据发送至所述搜索服务器。

信息搜索平台25还可以根据设定跟踪界面跟踪问题，用户直接在跟踪界面输入跟踪条件，可以获得满足跟踪条件的数据信息。例如，用户设定跟踪条件为用户名称，在输入用户名称时可以获得用户在何时、何应用子系统进行了何种操作。对数据进行统一管理，可以全面的了解用户操作行为，更好的分析用户行为。或者获取某以时间段内某一应用子系统执行了何种操作，当应用子系统发生故障时，可以快速定位故障发生原因。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。