增强数据扩展性的处理方法、系统、计算机设备及存储介质与流程

本发明涉及数据分析系统领域，具体讲是一种增强数据扩展性的处理方法、系统、计算机设备及存储介质。

背景技术：

1、目前对车辆信号数据的存储策略是：车端数据通过云端上传到消息队列(例如kafka),通过程序消费消息队列所需要的数据将其存储到数据库（oltp/olap）的目标表中。

2、但是这样的数据存储策略主要是存储业务所需要的信号字段,由于消息队列中的信号字段数量是不确定的并且数量庞大,因此把需要的业务字段在消费程序中写为固定式，若后续需要更多的字段信息则需要修改消费程序的代码，重新部署，如果业务改动频繁,则大大加大了开发人员的开发与部署的工作量。

技术实现思路

1、因此，为了解决上述不足，本发明在此提供一种增强数据扩展性的处理方法、系统、计算机设备及存储介质，将数据的全部字段信息作为一个字段放到转化表中，再通过转换函数将所需字段信息插入到数据库的目标表中，以此达到不需要更改与重新部署消费程序就能够到对所需字段信息进行即需即取的目的；减少了人工修改消费程序代码和重新部署程序的人力成本。

2、第一方面，本发明提供了一种增强数据扩展性的处理方法，包括

3、应用程序消费消息队列数据；

4、保留消费到的数据的全部字段信息；

5、将保留消费到的数据的全部字段信息存为设定格式的一个字段，存储到数据库的转化表；

6、筛选转化表中的目标字段信息，将所述目标字段信息存入数据库的目标表中。

7、为了向目标表中增加字段信息，所述方法还包括，当目标表需要增加字段信息时，从转化表中的全部字段信息中查找新的目标字段信息，并插入数据库的目标中。

8、可选的，所述设定格式为是json格式。

9、可选的，所述sql转化语句的解析函数是json解析函数get_json_object。

10、通过上述技术手段，能够实现将数据的全部字段信息作为一个字段放到转化表中，再通过转换函数将所需字段信息插入到数据库的目标表中，以此达到不需要更改与重新部署消费程序就能够到对所需字段信息进行即需即取的目的，减少了人工修改消费程序代码和重新部署程序的人力成本，对所需要字段的高效快捷利用。

11、并且在增加字段时通过写sql语言的方式将所需要的字段进行转换，就可向数据库中目标表增加字段信息，也不需要重新修改消费程序代码，减少了人工修改消费程序代码和重新部署程序的人力成本。

12、并且在增加字段时，只需要通过写sql语言的方式，将转化表中存储的待增加字段信息转换为一个指定格式的字段并插入到目标表中即可，也不需要重新修改消费程序代码，大大减少了人工修改消费程序代码和重新部署程序的人力成本，相较于现有技术效率更好，成本更低。

13、第二方面，本发明提供了增强数据扩展性的处理系统，包括数据处理单元，用于应用程序消费消息队列数据；保留数据单元，用于保留消费到的数据的全部字段信息；数据库转化表单元，用于将保留消费到的数据的全部字段信息存为设定格式的一个字段，存储到数据库的转化表；以及数据库目标表单元，用于筛选转化表中的目标字段信息，将所述目标字段信息存入数据库的目标表中。

14、可选的，增强数据扩展性的处理系统，还包括，添加字段信息单元，用于当目标表需要增加字段信息时，从转化表中的全部字段信息中查找新的目标字段信息，并插入数据库的目标中。

15、第三方面，本发明提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述增强数据扩展性的处理方法。

16、第四方面，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行上述任一项所述增强数据扩展性的处理方法的计算机程序。

17、本发明具有如下优点：

18、本发明将数据的全部字段信息作为一个字段放到转化表中，再通过转换函数将所需字段信息插入到数据库的目标表中，以此达到不需要更改与重新部署消费程序就能够到对所需字段信息进行即需即取的目的，以减少了大量人工更改代码与重新部署任务的人力成本，对所需要字段的高效快捷利用。

19、在本发明中，转化表的作用是存储，将数据的所有字段信息作为一个字段进行存储；所述目标表的作用是使用，存储的是多个所需要使用的目标字段，在获取数据时，只有能够被使用的目标字段才会被获取。

20、本发明在增加字段时，相较于现有技术效率更好，成本更低，因为在增加字段信息时，只需要通过写sql语言的方式，将转化表中存储的待增加字段信息转换为一个指定格式的字段并插入到目标表中即可，也不需要重新修改消费程序代码，大大减少了人工修改消费程序代码和重新部署程序的人力成本。

技术特征：

1.一种增强数据扩展性的处理方法，其特征在于，包括

2.根据权利要求1所述增强数据扩展性的处理方法，其特征在于，还包括，当目标表需要增加字段信息时，从转化表中的全部字段信息中查找新的目标字段信息，并插入数据库的目标中。

3.根据权利要求1所述增强数据扩展性的处理方法，其特征在于，消息队列数据是通过云端上传的车辆数据。

4.根据权利要求1所述增强数据扩展性的处理方法，其特征在于，所述设定格式为是json格式。

5.根据权利要求1所述增强数据扩展性的处理方法，其特征在于，将所述目标字段信息存入数据库的目标表中的方法是：

6.一种增强数据扩展性的处理系统，其特征在于，包括

7.根据权利要求6所述一种增强数据扩展性的处理系统，其特征在于，还包括，添加字段信息单元，用于当目标表需要增加字段信息时，从转化表中的全部字段信息中查找新的目标字段信息，并插入数据库的目标中。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一项所述方法的计算机程序。

技术总结
本发明公开了一种增强数据扩展性的处理方法、系统、计算机设备及存储介质，所述增强数据扩展性的处理方法，包括应用程序消费消息队列数据；保留消费到的数据的全部字段信息；将保留消费到的数据的全部字段信息存为设定格式的一个字段，存储到数据库的转化表；筛选转化表中的目标字段信息，将所述目标字段信息存入数据库的目标表中。本发明将数据的全部字段信息作为一个字段放到转化表中，再通过转换函数将所需字段信息插入到数据库的目标表中，以此达到不需要更改与重新部署消费程序就能够到对所需字段信息进行即需即取的目的；减少了人工修改消费程序代码和重新部署程序的人力成本。

技术研发人员：杨智威,叶松林
受保护的技术使用者：成都赛力斯科技有限公司
技术研发日：
技术公布日：2024/1/14