一种can数据应用处理方法与流程

本发明涉及公交数据分析，尤其是一种can数据应用处理方法。

背景技术：

1、公交集团车辆的can实时数据，具有以下特点：

2、1、公交can数据集量比较大，每天能达到上千万条，对存储压力比较大；

3、2、公交can数据集数据信息比较多，包含很多子集以及子集的子集，比如实时跟补发数据就包含整车数据、驱动电机数据、位置信息数据、极值数据、可充电储能装置电压数据、温度装置数据、告警数据等,不仅对存储压力比较大，对给业务系统展示也带来挑战；

4、3、公交can数据集数据脏数据较多,数据集子集数据关系密切,数据源端相关专业数据做了特殊处理不适合直接展示；

5、4、公交can数据集数据展示大部分实时性要求比较高，尤其预警还需特定分析实时展示方便及时排查车辆问题；

6、5、每天高吞吐量的实时数据以及特定的机器配置导致了可选择的数据接入处理分析展示选择的技术栈变窄。

7、针对公交集团车辆大批量can实时数据，包括车辆登入登出、车辆实时数据、车辆补发数据等,在有限的资源条件下,一方面需要保证数据的实时性较高,提供业务系统、app端实时调用展示等,也需要基于数据做一些检索分析统计报表等展示,如何在特定硬件条件下满足需求，是公交数据管理面临的挑战。

技术实现思路

1、为了克服上述现有技术中公交集团can数据集量大、处理难的缺陷，本发明提出了一种can数据应用处理方法，可实现can数据的优化存储和计算。

2、本发明提出的一种can数据应用处理方法，包括以下步骤：

3、s1、创建can数据应用处理架构，can数据应用处理架构包括原始数据区、消息队列区和存储区；

4、s2、原始数据区接收第三方提供的原始数据，所述原始数据在原始数据区进行数据预处理，形成预处理数据；周期性对预处理数据进行分类，以形成n个类别，将各个类别下的预处理数据整合为一个公共数据体，提供公共数据体的公共元素，对公共元素进行封装以形成封装数据；n个类别对应的封装数据形成封装队列；

5、s3、消息队列区获取原始数据区发送的封装队列，封装队列在消息队列区进行解析以还原封装队列中各个封装数据的公共元素，对公共元素进行字段解耦以获取公共元素对应类别的公共数据体中的预处理数据的指标信息；消息队列区根据解析后的指标信息跟踪统计原始数据区各类别下公共数据体的积累情况，当任一类别下的公共数据体积累到设定的数据量阈值，则消息队列区通知原始数据区将该类别下的公共数据体发送到存储区存储。

6、优选的，s2中，封装队列采用rabbitmq消息队列。

7、优选的，数据预处理包括数据过滤和数据矫正；数据过滤指的是根据设定的过滤规则对脏数据进行清洗过滤；数据矫正指的是针对协议加密转换后的数据进行协议反转恢复。

8、优选的，存储区基于elasticsearch在磁盘中构建。

9、优选的，磁盘采用ssd磁盘。

10、优选的，消息队列通过设置的搜索引擎elasticsearch跟踪统计原始数据区各类别下公共数据体的积累情况。

11、优选的，s3之后还包括步骤s4：存储区接收原始队列区发送过来的公共数据体后，存储区向消息队列区发送通知。

12、本发明的优点在于：

13、(1)本发明提供的can数据应用处理方法，把大批量多数据集提取公共特征，整合为一个大的数据体即公共元素,实现化零为整的包装意图。后面数据中转消费完成后再按照特定的子集分类解析还原为消息体处理，通过指标信息跟踪实现公共数据体的追溯和存储，实现化整为零的分散尝试。通过该规划方案，能实现数据的高效传输解析落地。

14、(2)本发明中采用rabbitmq消息队列接收数据缓解业务端接收压力,达到削峰作用,且利用消息队列对于消息数据的缓存作用,可以找回过去一定时间数据集。搜索引擎采用elasticsearch，既可以承担存储数据的工作，也保证了返回相关的查询结果的速度，有利于实现快速查询。

15、(3)本发明通过消息队列的缓冲和公共元素的提取，解决了关系型数据库的存储受限问题，且通过数据分类将同类打包成公共数据体，解决了低复用率数据侵占存储空间的问题，同时也简化了后续计算，有利于提高计算分析能力分配的有益性。本发明通过存储空间优化和计算能力优化，提高了计算结果展示的实时性，从而有利于提高体验感。

技术特征：

1.一种can数据应用处理方法，其特征在于，包括以下步骤：

2.如权利要求1所述的can数据应用处理方法，其特征在于，s2中，封装队列采用rabbitmq消息队列。

3.如权利要求1所述的can数据应用处理方法，其特征在于，数据预处理包括数据过滤和数据矫正；数据过滤指的是根据设定的过滤规则对脏数据进行清洗过滤；数据矫正指的是针对协议加密转换后的数据进行协议反转恢复。

4.如权利要求1所述的can数据应用处理方法，其特征在于，存储区基于elasticsearch在磁盘中构建。

5.如权利要求4所述的can数据应用处理方法，其特征在于，磁盘采用ssd磁盘。

6.如权利要求1所述的can数据应用处理方法，其特征在于，消息队列通过设置的搜索引擎elasticsearch跟踪统计原始数据区各类别下公共数据体的积累情况。

7.如权利要求1所述的can数据应用处理方法，其特征在于，s3之后还包括步骤s4：存储区接收原始队列区发送过来的公共数据体后，存储区向消息队列区发送通知。

技术总结
本发明涉及公交数据分析技术领域，尤其是一种can数据应用处理方法。本发明把大批量多数据集提取公共特征，整合为一个大的数据体即公共元素,实现化零为整的包装意图。后面数据中转消费完成后再按照特定的子集分类解析还原为消息体处理，通过指标信息跟踪实现公共数据体的追溯和存储，实现化整为零的分散尝试。通过该规划方案，能实现数据的高效传输解析落地。

技术研发人员：刘磊,任子晖,罗晶晶,王卫,高洪昌,吴良县,倪金林,曾永李,姚翔,夏振威,陈习岺,王婕
受保护的技术使用者：安徽交欣科技股份有限公司
技术研发日：
技术公布日：2024/1/15