一种基于动态接口的数据处理方法与流程

1.本发明属于企业软件服务领域，涉及数据处理技术，具体是一种基于动态接口的数据处理方法。


背景技术：

2.在2b的产品开发过程中，需要与企业的第三方系统做数据或业务集成，而由于不同企业客户的业务完全不同，2b的产品并不能像saas一样提供标准的开放api接口，基本是根据客户的实际需求添加一个或多个特定于该客户业务逻辑的定制开发接口；
3.而随着定制开发接口越来越多，代码的可维护性越来越差，当客户越来越多，一些公司会直接为每个客户建立独有的代码线，建立规模不小的项目开发团队来维护，导致维护难度增加，项目交付过程比较长，且每次交付都需要修改源代码、测试、部署，交付效率低下；
4.针对上述技术问题，本技术提出一种解决方案。


技术实现要素：

5.本发明的目的在于提供一种基于动态接口的数据处理方法，用于解决现有的数据处理方法对数据维护难度大、项目交付效率低的问题。
6.本发明需要解决的技术问题为：如何提供一种通过缩减编译、部署、测试以及发包过程以提高项目交付效率的基于动态接口的数据处理方法。
7.本发明的目的可以通过以下技术方案实现：
8.一种基于动态接口的数据处理方法，包括以下步骤：
9.步骤一：注册管理单元维护各个微服务和服务地址的映射关系，通过心跳检测维护各个微服务的健康状态；微服务根据各自负责的业务职责进行拆分；脚本执行单元和第三方系统通过定制api接口的方式实现数据集成的服务，加载与执行各个脚本；
10.步骤二：通过api网关对外提供统一的api接口访问入口，对接收到的接口请求做统一的身份认证，并将合法的请求负载均衡后路由转发给对应的微服务；
11.步骤三：对微服务单元的应用状态进行检测分析并将微服务标记为过盈对象、不足对象或标准对象；
12.步骤四：对过盈对象进行状态监控分析并对过盈对象的监控状态是否满足要求进行判定。
13.作为本发明的一种优选实施方式，在步骤三中，对微服务单元的应用状态进行检测分析的具体过程包括：将微服务单元的微服务标记为分析对象i，i＝1，2，
…
，n，n为正整数，设定分析周期，将分析周期分割为若干个分析时段，获取分析时段内的心跳数据xt，心跳数据xt为分析时段内注册管理单元接收到的心跳包数量值；获取分析时段内分析对象i的查询数据cxi、事务数据swi以及并发数据bfi；通过对查询数据cxi、事务数据swi以及并发数据bfi进行数值计算得到分析对象i的应用系数yyi；将分析对象i的应用系数yyi与预
设应用阈值yymin、yymax进行比较并通过比较结果将分析对象标记为不足对象、过盈对象或标准对象；将标准对象的数量标记为bz，通过对bz与xt进行数值计算得到微服务单元的整体系数zt；将整体系数zt与预设整体阈值ztmin进行比较并通过比较结果对微服务单元的整体应用状态是否满足要求进行判定。
14.作为本发明的一种优选实施方式，在步骤三中，分析时段的时长与微服务向注册单元发送心跳包的间隔时长相同，分析对象i的查询数据cxi为分析时段内分析对象i查询或访问服务器的总次数，分析对象i的事务数据swi为分析时段内分析对象i完成的事务处理总量，分析对象i的并发数据bfi为分析时段内分析对象i进行数据并发处理的总次数。
15.作为本发明的一种优选实施方式，在步骤三中，将分析对象i的应用系数yyi与预设应用阈值yymin、yymax进行比较的具体过程包括：若yyi≤yymin，则判定分析对象i的应用状态不满足要求，将对应的分析对象标记为不足对象；若yymin＜yyi＜yymax，则判定分析对象i的应用状态满足要求，将对应的分析对象标记为标准对象；若yyi≥yymax，则判定分析对象i的应用状态不满足要求，将对应的分析对象标记为过盈对象，将过盈对象发送至数据处理平台，数据处理平台接收到过盈对象后将过盈对象发送至状态监控模块。
16.作为本发明的一种优选实施方式，在步骤三中，将整体系数zt与预设整体阈值ztmin进行比较的具体过程包括：若整体系数zt小于整体阈值ztmin，则判定微服务单元在分析时段内的整体应用状态不满足要求，应用分析模块向数据处理平台发送应用不合格信号，数据处理平台接收到应用不合格信号后将应用不合格信号发送至管理人员的手机终端；若整体系数zt大于等于整体阈值ztmin，则判定微服务单元在分析时段内的整体应用状态满足要求，应用分析模块向数据处理平台发送应用合格信号，数据处理平台接收到应用合格信号后将应用合格信号发送至管理人员的手机终端。
17.作为本发明的一种优选实施方式，在步骤四中，对过盈对象进行状态监控分析的具体过程包括：将分析对象被标记为过盈对象的分析时段标记为标记时段，获取过盈对象的标记时段的数量并标记为标记值bj，将分析时段按照时间的先后顺序进行排序并编号，将标记时段的编号建立标记集合，对标记集合进行方差计算得到集中值jz，通过对标记值bj与集中值jz进行数值计算得到过盈对象的监控系数jk；将监控系数jk与预设监控阈值jkmax进行比较并通过比较结果对过盈对象的监控状态是否满足要求进行判定。
18.作为本发明的一种优选实施方式，在步骤四中，将监控系数jk与预设监控阈值jkmax进行比较的具体过程包括：若监控系数jk小于监控阈值jkmax，则判定过盈对象的监控状态满足要求；若监控系数jk大于等于监控阈值jkmax，则判定过盈对象的监控状态不满足要求，将过盈对象发送至数据处理平台，数据处理平台接收到过盈对象后将过盈对象发送至管理人员的手机终端。
19.作为本发明的一种优选实施方式，该基于动态接口的数据处理方法应用于基于动态接口的数据处理系统当中，包括数据处理平台，所述数据处理平台通信连接有程序管理模块、应用分析模块以及状态监控模块；
20.所述程序管理模块包括注册管理单元、微服务单元、脚本执行单元以及api网关；
21.所述注册管理单元用于维护各个微服务和服务地址的映射关系，通过心跳检测维护各个微服务的健康状态；
22.所述微服务单元包括若干个微服务，微服务用于处理实际业务相关的服务，微服
务根据各自负责的业务职责进行拆分；
23.所述脚本执行单元用于和第三方系统通过定制api接口的方式实现数据集成的服务，加载与执行各个脚本；
24.所述api网关用于对外提供统一的api接口访问入口，对接收到的接口请求做统一的身份认证，并将合法的请求负载均衡后路由转发给对应的微服务；
25.所述应用分析模块用于对微服务单元的应用状态进行检测分析；
26.所述状态监控模块用于对过盈对象进行状态监控分析。
27.本发明具备下述有益效果：
28.1、通过统一的数据集成标准接口，借助js语言解释执行的能力，通过对js脚本对象的新增、修改和删除，即实现动态的api业务接口能力，且调整立即生效，简化与第三方系统对接的过程，提升接口开发体验；
29.2、通过应用分析模块可以对微服务单元的应用状态进行检测分析，通过设置与发送心跳包的间隔时长相同的分析时段，在分析时段内对各个微服务的应用饱和程度进行分析，结合标准对象的数量与心跳数据对微服务单元的应用状态进行反馈，最后，结合各个分析时段内的应用状态对微服务单元的整体应用进行反馈，在整体应用状态异常时及时进行反馈，进而及时改善微服务单元的应用环境；
30.3、通过状态监控模块可以对过盈对象进行状态监控分析，通过对过盈对象在分析周期内的应用状态进行纵向分析，对过盈对象的监控状态进行反馈，防止事务分配不合理导致的微服务运行效率低下，保证各微服务之间均能够协同工作，提高其运行效率。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为本发明实施例一的系统框图；
33.图2为本发明实施例二的方法流程图。
具体实施方式
34.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
35.实施例一
36.如图1所示，一种基于动态接口的数据处理系统，包括数据处理平台，数据处理平台通信连接有程序管理模块、应用分析模块以及状态监控模块。
37.程序管理模块包括注册管理单元、微服务单元、脚本执行单元以及api网关；注册管理单元用于维护各个微服务和服务地址的映射关系，通过心跳检测维护各个微服务的健康状态，各个微服务启动后首先向注册中心注册本服务，并按固定的时间间隔向注册中心
发送心跳包，以维持本服务在注册中心的健康状态，每个微服务从自身业务的角度，将自身业务能力封装成一套标准业务接口，给前端、第三方系统和其他微服务进行调用；微服务单元包括若干个微服务，微服务用于处理实际业务相关的服务，微服务根据各自负责的业务职责进行拆分；脚本执行单元用于和第三方系统通过定制api接口的方式实现数据集成的服务，加载与执行各个脚本，脚本执行单元在处理请求时，根据请求参数中的脚本对象id加载对应的js脚本对象，并通过脚本执行单元内置的脚本执行引擎，执行该js脚本；执行脚本过程中，根据js脚本代码去调用其他各个微服务的标准接口，以利用每个微服务的业务能力；api网关用于对外提供统一的api接口访问入口，对接收到的接口请求做统一的身份认证，并将合法的请求负载均衡后路由转发给对应的微服务，api网关接收到来自第三方系统的接口请求，在验证该请求的有效性后，根据请求的地址将其转发到脚本微服务，脚本微服务处理完请求后，通过网关返回给第三方系统；通过统一的数据集成标准接口，借助js语言解释执行的能力，通过对js脚本对象的新增、修改和删除，即实现动态的api业务接口能力，且调整立即生效，简化与第三方系统对接的过程，提升接口开发体验。
38.应用分析模块用于对微服务单元的应用状态进行检测分析：将微服务单元的微服务标记为分析对象i，i＝1，2，
…
，n，n为正整数，设定分析周期，将分析周期分割为若干个分析时段，分析时段的时长与微服务向注册单元发送心跳包的间隔时长相同，获取分析时段内的心跳数据xt，心跳数据xt为分析时段内注册管理单元接收到的心跳包数量值；获取分析时段内分析对象i的查询数据cxi、事务数据swi以及并发数据bfi，分析对象i的查询数据cxi为分析时段内分析对象i查询或访问服务器的总次数，分析对象i的事务数据swi为分析时段内分析对象i完成的事务处理总量，分析对象i的并发数据bfi为分析时段内分析对象i进行数据并发处理的总次数；通过公式得到分析对象i的应用系数yyi，应用系数是一个反映分析对象进行事务处理饱和程度的数值，应用系数的数值越大，则表示对应分析对象进行事务处理的饱和程度越高；其中α1、α2以及α3均为比例系数，且α3＞α2＞α1＞1；将分析对象i的应用系数yyi与预设应用阈值yymin、yymax进行比较：若yyi≤yymin，则判定分析对象i的应用状态不满足要求，将对应的分析对象标记为不足对象；若yymin＜yyi＜yymax，则判定分析对象i的应用状态满足要求，将对应的分析对象标记为标准对象；若yyi≥yymax，则判定分析对象i的应用状态不满足要求，将对应的分析对象标记为过盈对象，将过盈对象发送至数据处理平台，数据处理平台接收到过盈对象后将过盈对象发送至状态监控模块；将标准对象的数量标记为bz，通过公式zt＝β1*xt+β2*bz得到微服务单元的整体系数zt，整体系数是一个反映微服务单元的整体运行状态好坏程度的数值，整体系数的数值越大，则表示微服务单元的整体运行状态越好；其中β1与β2均为比例系数，且β2＞β1＞1；将整体系数zt与预设整体阈值ztmin进行比较：若整体系数zt小于整体阈值ztmin，则判定微服务单元在分析时段内的整体应用状态不满足要求，应用分析模块向数据处理平台发送应用不合格信号，数据处理平台接收到应用不合格信号后将应用不合格信号发送至管理人员的手机终端；若整体系数zt大于等于整体阈值ztmin，则判定微服务单元在分析时段内的整体应用状态满足要求，应用分析模块向数据处理平台发送应用合格信号，数据处理平台接收到应用合格信号后将应用合格信号发送至管理人员的手机终端；对微服务单元的应用状态进行检测分析，通过设置与发送心跳包的间隔时长相同的分析时
段，在分析时段内对各个微服务的应用饱和程度进行分析，结合标准对象的数量与心跳数据对微服务单元的应用状态进行反馈，最后，结合各个分析时段内的应用状态对微服务单元的整体应用进行反馈，在整体应用状态异常时及时进行反馈，进而及时改善微服务单元的应用环境。
39.状态监控模块用于对过盈对象进行状态监控分析：将分析对象被标记为过盈对象的分析时段标记为标记时段，获取过盈对象的标记时段的数量并标记为标记值bj，将分析时段按照时间的先后顺序进行排序并编号，将标记时段的编号建立标记集合，对标记集合进行方差计算得到集中值jz，通过公式jk＝γ1*bj/γ2*jz得到过盈对象的监控系数jk，监控系数是一个反映过盈对象监控状态好坏程度的数值，监控系数的数值越小，则表示过盈对象的监控状态越好；其中γ1与γ2均为比例系数，且γ2＞γ1＞1；将监控系数jk与预设监控阈值jkmax进行比较：若监控系数jk小于监控阈值jkmax，则判定过盈对象的监控状态满足要求；若监控系数jk大于等于监控阈值jkmax，则判定过盈对象的监控状态不满足要求，将过盈对象发送至数据处理平台，数据处理平台接收到过盈对象后将过盈对象发送至管理人员的手机终端；对过盈对象进行状态监控分析，通过对过盈对象在分析周期内的应用状态进行纵向分析，对过盈对象的监控状态进行反馈，防止事务分配不合理导致的微服务运行效率低下，保证各微服务之间均能够协同工作，提高其运行效率。
40.实施例二
41.如图2所示，一种基于动态接口的数据处理方法，包括以下步骤：
42.步骤一：注册管理单元维护各个微服务和服务地址的映射关系，通过心跳检测维护各个微服务的健康状态；微服务根据各自负责的业务职责进行拆分；脚本执行单元和第三方系统通过定制api接口的方式实现数据集成的服务，加载与执行各个脚本；
43.步骤二：api网关用于对外提供统一的api接口访问入口，对接收到的接口请求做统一的身份认证，并将合法的请求负载均衡后路由转发给对应的微服务；
44.步骤三：对微服务单元的应用状态进行检测分析并将微服务标记为过盈对象、不足对象或标准对象，对微服务单元的应用状态进行检测分析，通过设置与发送心跳包的间隔时长相同的分析时段，在分析时段内对各个微服务的应用饱和程度进行分析；
45.步骤四：对过盈对象进行状态监控分析并对过盈对象的监控状态是否满足要求进行判定，通过对过盈对象在分析周期内的应用状态进行纵向分析，对过盈对象的监控状态进行反馈。
46.一种基于动态接口的数据处理方法，工作时，注册管理单元维护各个微服务和服务地址的映射关系，通过心跳检测维护各个微服务的健康状态；微服务根据各自负责的业务职责进行拆分；脚本执行单元和第三方系统通过定制api接口的方式实现数据集成的服务，加载与执行各个脚本；api网关用于对外提供统一的api接口访问入口，对接收到的接口请求做统一的身份认证，并将合法的请求负载均衡后路由转发给对应的微服务；对微服务单元的应用状态进行检测分析并将微服务标记为过盈对象、不足对象或标准对象，对微服务单元的应用状态进行检测分析，通过设置与发送心跳包的间隔时长相同的分析时段，在分析时段内对各个微服务的应用饱和程度进行分析。
47.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的
结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
48.上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的应用系数；将设定的应用系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到α1、α2以及α3的取值分别为2.17、3.84和5.68；
49.系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的应用系数；只要不影响参数与量化后数值的比例关系即可，如应用系数与事务数据的数值成正比。
50.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
51.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。