一种解析和包装数据的数据获取处理系统及方法与流程

本发明属于机器数据处理，尤其涉及一种解析和包装数据的数据获取处理系统及方法。

背景技术：

1、在工厂环境中，某些机器设备由于未开放数据通讯协议，无法直接采集到机器的原生数据，这给生产数据的获取带来了很大的困扰。目前，大多数工厂仍然采用人工观察和统计的方法来管理机器生产数据，这种方法不仅效率低下，而且容易出错。

技术实现思路

1、本发明的目的在于提供一种解析和包装数据的数据获取处理系统及方法，解决目前机械设备数据采集效率低、不准确的问题。

2、本发明一方面提供一种解析和包装数据的数据获取处理系统，包括：

3、数据捕获模块:用于捕获机器数据库中的数据的变化，并将捕获的数据变化记录到日志文件中；

4、数据解析和处理模块：用于将保存在日志文件中的数据变化的数据进行解析和处理，提取出数据变化记录；

5、数据映射模块：用于将解析后的数据映射到特定的数据结构中；

6、数据格式化模块：用于将解析后的数据以 json 格式进行包装；

7、传输模块：将数据传输至目标平台。

8、优选的，所述数据捕获模块通过cdc技术捕捉机器数据库中的数据的变化。

9、优选的，所述数据捕获模块捕捉的数据变化包括ddl、dml以及dcl语句触发的数据变化。

10、优选的，所述数据捕获模块还用于对机器数据库中的binlog文件进行解析和处理，将获取的数据变化记录保存至日志文件。

11、优选的，所述传输模块根据tcp 传输协议将数据传输至目标平台。

12、本发明另一方面提供一种解析和包装数据的数据获取处理方法，包括如下步骤：

13、s1：通过cdc技术捕获机器数据库中数据的变化，并将其保存到日志文件中，对机器数据库中的binlog文件进行解析和处理，并将其保存到日志文件中；

14、s2：解析和处理保存的日志文件，提取出数据变化记录，并传输至目标平台；

15、s3:根据配置文件的映射信息，将解析后的数据映射到特定的数据结构中;

16、s4：将处理后的数据以 json 格式进行包装；

17、s5：使用可靠的 tcp 传输协议。将数据传输至目标平台。

18、本发明提供的一个或多个技术方案至少具有如下技术效果：

19、可以将系统部署到拥有独立数据库的的工厂机器上，通过数据捕获模块捕获机器数据库中的数据变化并存放在日志文件中，然后解析处理，最后以json 格式进行包装，上传至目标平台，当机器发生记录到数据库的数据变化时，系统会及时获取到并同步到第三方平台，数据精确且效率高。

技术特征：

1.一种解析和包装数据的数据获取处理系统，其特征在于，包括：

2.根据权利要求1所述的解析和包装数据的数据获取处理系统，其特征在于，所述数据捕获模块通过cdc技术捕捉机器数据库中的数据的变化。

3.根据权利要求1所述的解析和包装数据的数据获取处理系统，其特征在于，所述数据捕获模块捕捉的数据变化包括ddl、dml以及dcl语句触发的数据变化。

4.根据权利要求1所述的解析和包装数据的数据获取处理系统，其特征在于，所述数据捕获模块还用于对机器数据库中的binlog文件进行解析和处理，将获取的数据变化记录保存至日志文件。

5.根据权利要求1所述的解析和包装数据的数据获取处理系统，其特征在于，所述传输模块根据tcp 传输协议将数据传输至目标平台。

6.一种解析和包装数据的数据获取处理方法，其特征在于，包括如下步骤：

技术总结
本发明属于机器数据处理技术领域，尤其涉及一种解析和包装数据的数据获取处理系统及方法，包括：数据捕获模块:用于捕获机器数据库中的数据的变化，并将捕获的数据变化记录到日志文件中；数据解析和处理模块：用于将保存在日志文件中的数据变化的数据进行解析和处理；数据映射模块：用于将解析后的数据映射到特定的数据结构中；数据格式化模块：用于将解析后的数据以JSON格式进行包装；传输模块：将数据传输至目标平台；通过数据捕获模块捕获机器数据库中的数据变化并存放在日志文件中，然后解析处理，最后以JSON格式进行包装，上传至目标平台，当机器发生记录到数据库的数据变化时，系统会及时获取到并同步到第三方平台，数据精确且效率高。

技术研发人员：蔡清来,张钐钐,郑仙飞
受保护的技术使用者：福建省万物智联科技有限公司
技术研发日：
技术公布日：2024/3/17