一种数据聚合实现系统及设备的制作方法

[0001]
本发明涉及软件开发技术领域，尤其涉及一种数据聚合实现系统及设备。


背景技术：

[0002]
在前后端分离的时代，“一云多端”已成为发展趋势，前端不仅仅限于pc端页面，手机端，小程序端等终端也越来越重要。但是不同的终端对于数据和接口又分别有不同的要求：如移动端为了节省网络开销，加快页面加载速度，应该尽可能减少接口请求数量，剔除冗余字段；pc端浏览器的性能较好，页面最丰富，接口需要的字段通常比较多。而在后端微服务大行其道的今天，如果针对不同的终端进行接口适配，会造成后端业务和前端ui严重耦合，降低开发效率。
[0003]
目前常用的一种方案是使用后端网关进行数据的转换和聚合，不需要在具体的业务接口中进行不同端的适配，这种方案一定程度上解决了上述问题，但是在后端开发过程中还是需要关注前端ui，并没有实现前端与后端完全解耦，降低了开发效率。


技术实现要素：

[0004]
有鉴于此，本发明的目的在于提出一种数据聚合实现系统、存储介质及设备，用以解决现有技术中后端开发人员需要对后端接口进行多次适配的问题。
[0005]
基于上述目的，本发明提供了一种数据聚合实现系统，包括数据聚合器，数据聚合器包括：
[0006]
接口请求工具，配置用于通过并行请求和/或串行请求向多个后端接口请求对应的多组所需数据；
[0007]
数据处理器，配置用于从接口请求工具接收多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及
[0008]
数据输出模块，配置用于将拼接数据及其对应的状态码以及每个后端接口的接口信息打包并以固定格式发送到前端，以及响应于接收到接口请求工具和/或数据处理器出现异常后发送的异常编码，而将其发送到前端。
[0009]
在一些实施例中，并行请求配置用于相互独立的所需数据；串行请求配置用于相互依赖的所需数据。
[0010]
在一些实施例中，数据聚合器还包括映射单元，映射单元配置用于存储所有的后端接口及其映射的输入字段，以及接受数据聚合器根据输入字段遍历所有的后端接口并找到多个后端接口。
[0011]
在一些实施例中，系统还包括进程管理器，进程管理器配置用于开启多个数据聚合器。
[0012]
在一些实施例中，进程管理器还配置用于响应于数据聚合器的工作进程异常对其进行重启操作。
[0013]
在一些实施例中，系统还包括日志管理模块，日志管理模块配置用于记录数据聚
合器和进程管理器的工作日志。
[0014]
在一些实施例中，系统还包括告警模块，告警模块配置用于根据日志管理模块报错的不同级别的日志发送其相应级别的告警信息。
[0015]
在一些实施例中，告警模块还配置用于根据日志管理模块报错的不同类型的日志发送其相应类型的告警信息。
[0016]
在一些实施例中，固定格式为json格式。
[0017]
本发明的另一方面，还提供了一种计算机设备，包括如上述系统中的任意系统。
[0018]
本发明至少具有以下有益技术效果：
[0019]
本发明通过数据聚合器，可以使前端开发人员根据不同终端的数据要求灵活地对多个后端接口进行数据转换和聚合，解决了后端需要根据前端ui需求进行接口适配的问题，实现了前端ui和后端业务数据的完全解耦，极大地提高开发效率，提升了产品的迭代速度；且前端可以对后端接口请求进行优化和合并，提高请求效率，缩短请求时间，提升前端性能。
附图说明
[0020]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0021]
图1为根据本发明提供的数据聚合实现系统的实施例的示意图；
[0022]
图2为根据本发明提供的实现数据聚合实现系统的计算机设备的一个实施例的硬件结构示意图。
具体实施方式
[0023]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
[0024]
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
[0025]
基于上述目的，本发明实施例的第一个方面，提出了一种数据聚合实现系统的实施例。图1示出的是本发明提供的数据聚合实现系统的实施例的示意图。如图1所示，本发明的数据聚合实现系统包括数据聚合器20，数据聚合器20包括：接口请求工具201，配置用于通过并行请求和/或串行请求向多个后端接口10请求对应的多组所需数据；数据处理器202，配置用于从接口请求工具接收多组所需数据并对其去除冗余字段且进行拼接，得到拼接数据；以及数据输出模块203，配置用于将拼接数据及其对应的状态码以及每个后端接口10的接口信息打包并以json格式发送到前端，以及响应于接收到接口请求工具201和/或数据处理器202出现异常后发送的异常编码，而将其发送到前端30。
[0026]
本发明实施例通过数据聚合器20，可以使前端开发人员根据不同终端的数据要求灵活地对多个后端接口10进行数据转换和聚合，解决了后端需要根据前端ui需求进行接口适配的问题，实现了前端ui和后端业务数据的完全解耦，极大地提高开发效率，提升了产品的迭代速度；且前端可以对后端接口10请求进行优化和合并，提高请求效率，缩短请求时间，提升前端性能。优选地，本实施例的数据聚合实现系统采用node.js实现，node.js是一个基于chrome v8引擎的javascript运行环境；其中，javascript是一种具有函数优先的轻量级、及时编译型的编程语言；chrome v8是一种高性能的javascript解释器；使得数据聚合实现系统具有单线程、异步输入输出、支持高并发的特点。
[0027]
在一些实施例中，并行请求配置用于相互独立的所需数据；串行请求配置用于相互依赖的所需数据。本实施例中，接口请求工具201具体为api接口(应用程序接口)的请求工具。api接口请求工具可以使用数据请求模块(例如axios模块)请求后端的所需数据，通过相互独立的所需数据使用并行请求，且相互依赖的所需数据使用串行请求，可以提高请求效率，对前端请求参数针对不同的后端接口10进行整理，并转发cookie、token等header头信息，如果后端接口10出错，会进行重试操作；其中，cookie为一种储存在用户本地终端上的数据，和后端交互时会自动携带；token表示令牌，用于计算机系统用户认证。
[0028]
在一些实施例中，数据聚合器20还包括映射单元，映射单元配置用于存储所有的后端接口10及其映射的输入字段，以及接受数据聚合器20根据输入字段遍历所有的后端接口10并找到多个后端接口10。
[0029]
在一些实施例中，系统还包括进程管理器，进程管理器配置用于开启多个数据聚合器20。通过开启多个数据聚合器20实例，使用集群模式，通过负载均衡，使请求均衡的负载到每一个实例上，可以保证数据聚合器20的高并发和高可用，单实例出错或大量请求的情况下，保证数据聚合器20正常工作。通过对不同工作进程设置权重，实现集群模式下多进程的负载均衡，以提高系统处理高并发能力。
[0030]
在一些实施例中，进程管理器还配置用于响应于数据聚合器20的工作进程异常对其进行重启操作。通过此操作，可以对工作进程进行守护，保证其可用性。
[0031]
在一些实施例中，系统还包括日志管理模块，日志管理模块配置用于记录数据聚合器20和进程管理器的工作日志。日志管理模块可记录输入字段、请求的后端接口、所需数据、冗余字段以及拼接数据等，通过日志来查找数据的源头和处理过程，更容易找出错误。
[0032]
在一些实施例中，系统还包括告警模块，告警模块配置用于根据日志管理模块报错的不同级别的日志发送其相应级别的告警信息。本实施例中，告警信息可以发送到开发人员邮箱，提醒开发人员及时处理。
[0033]
在一些实施例中，告警模块还配置用于根据日志管理模块报错的不同类型的日志发送其相应类型的告警信息。本实施例中，通过对数据聚合器的相关日志进行报错，可以方便数据溯源和错误处理；对进程管理器的相关日志进行报错后，记录错误日志，并立即发送告警信息的邮件。
[0034]
在一些实施例中，固定格式为json格式。json(javascript object notation)是一种轻量级的数据交换格式，它基于ecmascript(欧洲计算机协会制定的js规范)的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据；易于人阅读和编写，也易于机器解析和生成。
[0035]
本发明实施例的第二个方面，还提供了一种计算机设备，包括如上述系统中的任意一实施例的系统。
[0036]
如图2所示，为根据本发明提供的实现数据聚合实现系统的计算机设备的一个实施例的硬件结构示意图。以如图2所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图2中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与数据聚合实现系统的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，以实现上述实施例的数据聚合实现系统。
[0037]
最后需要说明的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
[0038]
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
[0039]
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
[0040]
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
[0041]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0042]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实
施例的保护范围之内。