一种地震行业协议适配和调度的大数据接入方法与流程

本发明属于地震大数据，尤其涉及一种地震行业协议适配和调度的大数据接入方法。

背景技术：

1、在地震行业中，地震数据的实时获取和稳定接入对之后的数据处理和数据分析具有重要意义。地震行业大数据接入挑战主要包括数据量庞大、数据来源多样及协议差异性、数据接入稳定性要求高和数据格式不统一等方面的问题。首先，地震行业的数据量非常庞大，包括地震观测数据、状态数据、控制数据等多种类型的数据，这些数据的规模巨大，需要有效且稳定的接入方式；其次，地震行业的数据来源非常多样，包括地震监测站、地震仪器、卫星遥感等多种数据采集方式，这些数据来源的多样性和对接协议的差异性给数据接入带来了一定的复杂性；然后，地震行业的数据大部分是实时接入，对数据接入的稳定性要求极高，尽可能避免数据丢失的情况；最后，地震行业的数据格式也存在不统一的情况，不同数据源采用不同的数据格式和协议，导致数据接入的难度增加。

2、传统的数据接入方法往往只支持特定的协议和数据格式，需要对每种协议进行适配和转换，限制了数据源的选择和数据接入能力，同时由于传统的数据接入服务单机部署，与服务器环境资源耦合性较强，存在单点故障和数据丢失的风险。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种地震行业协议适配和调度的大数据接入方法，通过多协议插件集成，确保支持多类协议仪器终端数据对接，根据实际环境中不同地震数据接入的可用性需求和每个资源的可用性信息，配置可用性感知优先算法策略，配置负载阈值作为调度触发条件，结合kubernetes进行服务拉起和调度器任务分发，将仪器终端分配到不同的客户端，通过kubernetes中健康检查和自动故障转移的配置，确保数据接入的高稳定性。

2、本发明，提出了一种地震行业协议适配和调度的大数据接入方法，包括如下步骤：

3、s1.进行协议适配；

4、s2.自动拉起客户端策略调度；

5、s3.通过客户端插件进行控制；

6、s4.对地震数据进行接收；

7、s5.将地震数据进行推送；

8、s6.进行故障恢复和平滑升级。

9、进一步地，所述的进行协议适配具体包括以下步骤：

10、s11.将接入仪器终端的信息录入；

11、s12.进行插件测试；

12、s13.通过协议适配指令下发测试。

13、进一步地，所述自动拉起客户端策略调度具体包括以下步骤：

14、s21.将不同协议类型的仪器终端进行分组，每个分组内的服务协议属于相同的协议类型；

15、s22.然后依据不同地震数据接入的可用性需求和每个资源的可用性信息，将任务划分为不同的优先级；

16、s23.再将需要接入的仪器终端总数和在云平台中单个客户端实际支持的仪器终端数和通过监控测试，以及不同协议数据所消耗的资源情况，通过设定可用性感知优先算法策略，进行服务拉起和任务分发；

17、s24.设定负载阈值为70％，然后进行测试判定，若资源使用在70％范围内，则判定系统运行稳定，当有更多的仪器终端需要接入，负载阈值超过70％时，自动调起客户端服务，并配置相关信息，完成终端数据接入。

18、进一步地，所述的通过客户端插件进行控制具体包括如下步骤：

19、s31.当客户端服务成功拉起后，在汇集网关中进行服务注册，将其本身在云平台中的服务名称、ip地址信息、类型、对外暴露的接口信息存入数据库；

20、s32.当客户端服务完成注册后，向汇集网关发送心跳信息，记录当前客户端标识id、客户端总负载、客户端当前负载、当前接入的终端数、当前接入的正常终端数、各个插件自身负载情况以及状态；

21、s33.通过业务实际需要和具体的客户端服务对服务管理模块进行指令控制，控制服务中插件连接终端时的操作。

22、进一步地，所述的对地震数据进行接收具体包括如下步骤：

23、s41.在客户端和服务器之间建立网络连接，通过tcp/ip协议进行数据传输；

24、s42.通过协议插件解析数据格式，根据协议定义，将数据分割成不同的部分；

25、s43.对数据进行解析，对数据的完整性进行验证；

26、s44.依据地震数据传输协议定义的编码方式，对解析出来的数据进行解码，再对解析和解码后的地震数据进行进一步清洗处理；

27、s45.在数据传输完成后，关闭客户端和服务器之间的连接，释放资源和网络端口。

28、进一步地，所述的将地震数据进行推送具体包括以下步骤：

29、s51.依据具体的分系统数据要求，约定pulsar中topic的命名规范，通过tenant、namespace、topic三级限制原则自动创建topic；

30、s52.当客户端协议插件在解析完接入数据的包头信息后，将不同的分系统数据推送到相应的topic中，供后续系统使用。

31、进一步地，所述的进行故障恢复和平滑升级具体包括以下步骤：

32、s61.在应用程序的pod配置中，进行定义健康检查，并配置livenessprobe和readinessprobe，定期检查容器运行状态；

33、s62.当某个pod发生故障，kubernetes会自动将该节点上的pod转移到其他健康节点上；

34、s63.通过更新部署资源中的镜像版本或使用kubectl命令，触发平滑升级，通过kubernetes逐步启动新版本的pod，并逐步停止旧版本的pod；

35、s64.当升级过程中检测到错误或其他问题，自动回滚到上一版本，通过更新部署资源的镜像版本或使用kubectl命令，回滚到旧版本的部署，kubernetes将启动旧版本的pod并停止新版本的pod，回滚到之前的状态。

36、进一步地，所述s44中，清理处理包括对数据进行去重、排序和格式化。

37、进一步地，所述s43中，验证数据的完整性的方法采用哈希方法。

38、进一步地，所述s33中，操作包括注册、测试、启动、停止。

39、本发明有益效果如下：

40、1.与现有技术只能人为判断是否需要增加资源，没有标准，没有策略相比，根据不同地震数据接入的可用性需求和每个资源的可用性信息，将不同数据类型的接入任务划分为不同的优先级，其中观测数据需要实时接入且实时性要求极高，优先级设定为高；状态数据和控制数据需要实时接入，但允许一定范围内的延时，优先级设定为中；离线数据实时性要求不高，只需定时同步，优先级设定为低，根据需要接入的仪器终端总数和在云平台中单个客户端实际支持的仪器终端数，以及通过监控测试，不同协议数据所消耗的资源情况，配置负载阈值为0.7，作为调度触发条件，可以自动判断是否需要增加资源。

41、2.与现有技术在需要增加数据接入服务时，只能通过后台部署启动服务相比，通过设定的可用性感知优先算法策略，利用kubernetes进行服务拉起，调度器进行任务分发，将所有要引接的仪器终端分配到不同的客户端，实现每个客户端的仪器终端接入数维持到一定范围，消耗的系统资源维持到一定范围，当有更多的仪器终端需要接入，能够自动化控制调起客户端服务，配置相关信息，来完成终端数据接入。

42、3.针对地震行业的需求，以插件集成的形式，对涉及到的多种通讯协议，如seedlink、ntrip、http、mqtt、coap等进行封装，同时利用适配器模式将不同协议的接口进行统一，与现有技术在接入不同协议的数据时需要启用对应的服务，不能同时兼容多类协议，支持多种数据格式相比，可以实现不同协议之间的数据交互和通信，支持弹性扩展，可以根据需要动态增加或减少适配器实例，以应对不同的接入需求。

43、4.与现有技术往往将服务以单节点形式直接部署到服务器中，一旦发生故障，需要重新人工启动，没有容灾处理相比，在kubernetes中，定义健康检查，配置livenessprobe和readinessprobe，定期检查容器是否正常运行，同时配置自动故障转移，当某个pod中的客户端服务宕机，导致数据接入出现故障时，kubernetes会自动将该节点上的pod转移到其他健康节点上，确保数据接入的高稳定性。