一种基于CMSP的JSON数据解析与存储方法与流程

本发明涉及json数据的解析与存储技术，尤其涉及一种基于cmsp的json数据解析与存储方法。

背景技术：

目前第三方系统使用基于cmsp开发的数据库入库同步组件同步json数据，需要用户自行开发json数据格式转换程序，把json格式的数据转换成cmsp自定义的标准格式字节流数据，这样json数据才能被基于cmsp开发的数据库入库同步组件所使用。

目前这种方式存在的问题是多个第三方系统在使用基于cmsp开发的数据库入库同步组件同步json数据时，需要重复开发json数据格式转换程序，这样给用户带来额外的工作量，同时由于数据格式转换程序要把json数据转换成cmsp自定义的标准格式字节流数据，所以用户在开发之前我们要把cmsp自定义的字节流数据格式标准暴露给用户，因此也带来了数据安全问题。

技术实现要素：

为了解决以上技术问题，本发明提出了一种基于cmsp的json数据解析与存储方法，通过使用基于cmsp开发的json数据解析与存储方法，旨在使第三方系统使用基于cmsp开发的数据库入库同步组件同步json数据时，无需额外开发json数据格式转换程序，直接添加依赖包调用相关api接口即可。

本发明的技术方案是：

一种基于cmsp的json数据解析与存储方法，

在第三方系统使用基于cmsp开发的数据库入库同步组件同步json数据时，把json数据解析成cmsp自定义的标准格式字节流数据并把解析后的数据存储到远程cmsptopic中。

进一步的包括，

第三方系统接收到的json数据经调用json数据同步api处理后，发送到远程cmsptopic中，最后入库同步组件从cmsptopic中取走消息同步到相应的数据库中。

进一步的包括，

主要包括定义字段信息实体类、cmsp连接信息实体类、初始化数据、json数据转换、资源清理；

其中，

定义字段信息实体类，用以描述json数据中每个键在数据库中对应的字段信息；

定义cmsp连接信息实体类，用以描述cmsp连接信息，供存储数据时使用；

定义初始化数据方法，主要作用是用cmsp连接信息在远程cmsp服务上创建指定的topic队列，并使用字段信息集合以及表名根据标准的字节流格式生成标准格式的表结构字节流数据，然后存储到远程cmsptopic队列中，同时在表结构同步记录文件中进行记录；

定义json数据转换，解析json数据并把解析后的数据按标准的字节流格式生成标准格式的表记录字节流数据，然后存到远程cmsptopic队列中；

定义资源清理，用来关闭与远程cmsp建立的连接。

进一步的包括，

所述定义字段信息实体类，它有四个属性，分别为字段名、字段类型、字段是否为空、以及字段是否为主键。

进一步的包括，

所述定义cmsp连接信息实体类，它有六个属性，分别为远程cmsp连接的ip地址、端口号、用户名、密码、topic名字以及连接模式。

进一步的包括，

所述定义初始化数据，它有六个参数，分别为记录表结构是否同步的文件存储路径、表名、字段信息集合、cmsp连接信息、字符集以及时区。

进一步的包括，

所述定义json数据转换，它有两个参数，分别为json数据、记录操作类型。记录操作数据类型有三种，分别为新增、更新、删除，主要用来标记json数据的动作。

本发明的有益效果是

第三方系统通过使用基于cmsp的json数据解析与存储方法来转换json数据成cmsp自定义的标准格式字节流数据，无需额外开发json数据格式转换程序，直接添加依赖包调用相关api接口即可，有效的减少用户工作量，提高了数据的安全性。

附图说明

图1是json数据同步api使用场景图。

具体实施方式

下面根据附图对本发明的内容进行更加详细的阐述：

本发明的一种基于cmsp的json数据解析与存储方法，在第三方系统使用基于cmsp开发的数据库入库同步组件同步json数据时，可把json数据解析成cmsp自定义的标准格式字节流数据并把解析后的数据存储到远程cmsptopic中的方法。

为实现把json数据解析成cmsp自定义的标准格式字节流数据，并把解析后的数据存储到远程cmsptopic中，为此定义了字段信息实体类、cmsp连接信息实体类以及初始化数据、json数据转换、资源清理这三个方法来进行实现，具体实现描述请看下文：

a)定义字段信息实体类，它有四个属性，分别为字段名、字段类型、字段是否为空、以及字段是否为主键。用以描述json数据中每个键在数据库中对应的字段信息。

b)定义cmsp连接信息实体类，它有六个属性，分别为远程cmsp连接的ip地址、端口号、用户名、密码、topic名字以及连接模式。用以描述cmsp连接信息，供存储数据时使用。

c)定义初始化数据方法，它有六个参数，分别为记录表结构是否同步的文件存储路径、表名、字段信息集合、cmsp连接信息、字符集以及时区。

它的主要作用是用cmsp连接信息在远程cmsp服务上创建指定的topic队列，并使用字段信息集合以及表名根据标准的字节流格式生成标准格式的表结构字节流数据，然后存储到远程cmsptopic队列中，同时在表结构同步记录文件中进行记录。

d)定义json数据转换方法，它有两个参数，分别为json数据、记录操作类型。记录操作数据类型有三种，分别为新增、更新、删除，主要用来标记json数据的动作。

该方法的主要作用是解析json数据并把解析后的数据按标准的字节流格式生成标准格式的表记录字节流数据，然后存到远程cmsptopic队列中

e)定义资源清理方法，它的主要作用是用来关闭与远程cmsp建立的连接。

如图所示，该图描述了基于cmsp的json数据解析与存储方法的使用场景，即第三方系统接收到的json数据经调用json数据同步api处理后，发送到远程cmsptopic中，最后入库同步组件从cmsptopic中取走消息同步到相应的数据库中。

以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

技术特征：

技术总结
本发明提供一种基于CMSP的JSON数据解析与存储方法，属于JSON数据的解析与存储技术领域，本发明在第三方系统使用基于CMSP开发的数据库入库同步组件同步JSON数据时，把JSON数据解析成CMSP自定义的标准格式字节流数据并把解析后的数据存储到远程CMSP Topic中。有效的减少用户工作量，提高了数据的安全性。

技术研发人员：孙伟强;李朝铭
受保护的技术使用者：浪潮软件股份有限公司
技术研发日：2018.12.21
技术公布日：2019.04.26