一种列车轨道交通传感器数据管理方法及装置与流程

1.本发明涉及计算机应用技术领域，具体涉及一种列车轨道交通传感器数据管理方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。


背景技术：

2.近年来，随着经济技术的发展，铁路运输、城市轨道交通在交通运输中起着举足轻重的作用，并在经济社会中占有极其重要的地位。尤其是，随着列车运营管理的综合化、复杂化、一体化、智能化程度也不断提高，其运行安全、数据分析及检修的高效与快速等问题正变得越来越重要。目前，许多数据感知技术可以用于轨道交通设备的智能监控系统，比如采用多个通用传感器，通过传感器信息数据的处理，快速识别可能产生故障的类别和部位，再集合大数据处理、云计算分析能力的基础上，实现轨道交通设备零部件、设备及整个系统状态的辨识与分类工作。
3.为获取更为精确的实时数据，通过各种类型的传感器采集设备运行的数据，数据流入采集设备后上传至云服务器。然后通过算法对其进行处理解析。这是基于传感器数据进行设备故障的监测与诊断的基本流程。通过传感器对设备进行监控，可得到设备运行的实时数据；通过对传感器数据处理的流程进行管理，有利于高效地进行设备维护。然而，目前，解决现有的轨道交通存储管理系统样式繁多，通常都存在数据管理混乱的现状。如何整合现有的智能检测接口场景并设计良好的接入、拓展模式，即形成通用数据接口以降低轨道交通智能检测与数据分析平台运营成本，极大提高设备状态监测效率成为目前业界亟待解决的需要课题。


技术实现要素：

4.为此，本发明提供一种列车轨道交通传感器数据管理方法及装置，以解决现有技术中存在的数据存储方式对处理后的传感器数据管理效率较低的问题。
5.本发明提供一种列车轨道交通传感器数据管理方法，包括：
6.获取列车轨道对应的传感器集群所采集的传感器数据；
7.基于预设的数据处理模块对所述传感器数据进行清洗预处理；
8.构建与所述传感器数据适配的数据立方体结构；
9.对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
10.进一步的，所述构建与所述传感器数据适配的数据立方体结构，具体包括：
11.基于预设的数据仓库工具表，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集；并将第一层弹性分布式数据集作为基础数据立方体结构；
12.在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集，形成所述数据立方体；并将所述数据立方体的映射结构存储到预设的分布式存储系统中。
13.进一步的，所述在所述数据立方体结构中对应维度位置创建相应的目标索引，具体包括：
14.根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
15.进一步的，所述基于所述目标索引对存储的所述处理后的传感器数据进行管理操作，具体包括：基于所述目标索引对存储的所述处理后的传感器数据进行查询操作、读取操作、存储操作、传输操作、分析操作以及共享操作中的至少一种。
16.进一步的，所述的列车轨道交通传感器数据管理方法还包括：对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式；其中，所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志中的至少一种。
17.进一步的，所述基于预设的数据处理模块对所述传感器数据进行清洗预处理，具体包括：
18.基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包，并将解包数据发送到预设的算法服务器中进行数据清洗预处理操作。
19.进一步的，所述传感器数据包括电流传感器数据和/或振动传感器数据。
20.本发明还提供一种列车轨道交通传感器数据管理装置，包括：
21.传感器数据获取单元，用于获取列车轨道对应的传感器集群所采集的传感器数据；
22.数据清洗预处理单元，用于基于预设的数据处理模块对所述传感器数据进行清洗预处理操作；
23.数据立方体结构构建单元，用于构建与所述传感器数据适配的数据立方体结构；
24.存储数据管理单元，用于对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
25.进一步的，所述数据立方体结构构建单元具体用于：
26.基于预设的数据仓库工具表，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集；并将第一层弹性分布式数据集作为基础数据立方体结构；
27.在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集，形成所述数据立方体；并将所述数据立方体的映射结构存储到预设的分布式存储系统中。
28.进一步的，所述存储数据管理单元，具体用于：
29.根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
30.进一步的，所述存储数据管理单元，具体用于：基于所述目标索引对存储的所述处理后的传感器数据进行读取操作、存储操作、传输操作、分析操作以及共享操作中的至少一种。
31.进一步的，所述的列车轨道交通传感器数据管理装置还包括：格式设计单元，用于对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式；其中，所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志中的至少一种。
32.进一步的，所述数据清洗预处理单元，具体用于：
33.基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包，并将解包数据发送到预设的算法服务器中进行数据清洗预处理操作。
34.进一步的，所述传感器数据包括电流传感器数据和/或振动传感器数据。
35.本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的列车轨道交通传感器数据管理方法的步骤。
36.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的列车轨道交通传感器数据管理方法的步骤。
37.采用本发明所述的列车轨道交通传感器数据管理方法，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
39.图1为本发明实施例提供的一种列车轨道交通传感器数据管理方法的流程示意图；
40.图2为本发明实施例提供的一种轨道交通智能检测软件平台架构图；
41.图3为本发明实施例提供的一种数据立方结构示意图；
42.图4为本发明实施例提供的一种列车轨道交通传感器数据管理方法中基于数据立方的分布式存储架构示意图；
43.图5为本发明实施例提供的一种列车轨道交通传感器数据管理方法中数据立方查询过程的流程示意图；
44.图6为本发明实施例提供的一种列车轨道交通传感器数据管理装置的结构示意图；
45.图7为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
46.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
47.下面基于本发明所述的列车轨道交通传感器数据管理方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的列车轨道交通传感器数据管理方法的流程图，具体实现过程包括以下步骤：
48.步骤101：获取列车轨道对应的传感器集群所采集的传感器数据。
49.如图2所示其为本发明提供的轨道交通智能检测软件平台系统整体架构图，具体可将整个平台系统分为传感器集群(即传感器与数据采集系统)以及kubernetes(k8s开源开发平台)集群(即提供服务的云平台)两部分。整个平台系统是基于以docker(开源的应用容器引擎)为底层方案的kubernetes集群，使得服务可以模块化地进行部署。数据立方体结构即搭建在kubernetes集群中的传感器数据管理模块。其中，传感器集群采集数据的具体过程如下：由传感器数据管理模块中的采集管理子模块实现与数据采集系统的命令交互，从而控制传感器数据的采集。数据采集系统收集传感器数据，整合不同传感器通道，封装数据包，将数据包以流的形式发送至平台系统中的传感器数据管理模块。该传感器数据管理模块拉取数据包，对数据包进行解包，将数据推送至算法服务器交互模块，通过算法服务器交互模块实现数据清洗整合操作。
50.在本步骤执行之前，需要对所述传感器集群采集的所述传感器数据传输格式进行设计，预先设定所述传感器数据传输格式，即数据处理模块的数据输入格式。所述传感器数据封装的数据包格式具体包括起始符、设备编号、时间戳、数据长度、数据内容以及数据结束标志等中的至少一种。其中，数据内容为byte类型，二进制ascii形式。所述传感器数据包括电流传感器数据和/或振动传感器数据等。
51.步骤102：基于预设的数据处理模块对所述传感器数据进行清洗预处理操作。
52.在具体实施过程中，可基于预设的数据处理模块对获取包含所述传感器数据的数据包进行解包及缓存，并将解包数据发送到预设的算法服务器中通过调用通过振动传感器数据预定义的清洗整合流程实现数据处理操作。
53.步骤103：构建与所述传感器数据适配的数据立方体结构。
54.在本发明实施例中，所述构建与所述传感器数据适配的数据立方体结构具体实现过程可包括：基于预设的数据仓库工具表(hive表)，构建包含所述处理后的传感器数据和所述目标索引的一一映射关系，生成相应的第一层弹性分布式数据集(rdd
‑
1)，并将第一层弹性分布式数据集作为基础数据立方体结构(base cuboid)；在所述基础数据立方体结构上生成相应的三层子弹性分布式数据集(子rdd)，形成所述数据立方体，并将所述数据立方体的映射结构存储到预设的分布式存储系统(hbase)中。
55.在具体实施过程中，可使用spark(计算引擎)构建基于弹性分布式数据集(rdd；resilient distributed dataset)所描述的立方体(cube)，立方体的集合可以描述为弹性分布式数据集。其中，三维立方体具有四个弹性分布式数据集(如图3所示)，这些弹性分布式数据集具有parent/child关系，因为parent rdd可用于生成child rdd(子rdd或者子弹性分布式数据集)。通过将parent rdd缓存在内存中，child rdd的生成过程可以比从磁盘读取更加有效。
56.如图4所示，其为本发明实施例提供的一种列车轨道交通传感器数据管理方法中
基于数据立方的分布式存储架构示意图。
57.在一个完整实施例中，首先使用spark sql中的hive context读取中间hive表，然后执行一对一映射关系的“map”操作，将原始值编码为键值对key
‑
value。以振动传感器数据为例，对应原始值编码为<key，{equipment，sensor，time}>。其中，sensor是根据传感器数据包内容不同分为元数据、传感器设置交互等信息{sensor_tag，payload}。举例而言<sensor_tag，heartbeat，offset_x，offset_y，offset_z，act_thresh，fifo_samples，range>。
58.在生成rdd
‑
1过程中，一对一映射关系完成后即得到一个中间编码的rdd。rdd用一个“reducebykey”操作聚合以获得图3中所提到的rdd
‑
1，并将其作为base cuboid。
59.在生成三层子rdd过程中，在rdd
‑
1上做一个“flatmap”(一对多map)，因为base cuboid有三个子cuboid。以此类推，各级rdd得到计算。在完成时，这些rdd将完整地保存在分布式存储系统，可以缓存在内存中用于下一级的计算。当生成子cuboid时，缓存的数据将从缓存中删除。mapper过程以上一层cuboid的结果键值对(key
‑
value)作为输入。由于key是由各维度值拼接在一起，从其中找出要聚合的维度，去掉它的值组成新的key，并对value进行操作，然后把新key和value输出，进而hadoop mapreduce对所有新key进行排序、洗牌(shuffle)、再送到reducer处。reducer的输入会是一组有相同key的value集合，对这些value做聚合计算，再结合key输出就完成了一轮计算。以存储于hdfs中的一份振动数据为例，数据由hive表建立映射关系，hive context读取此映射关系建立key
‑
value对，即<key，{equipment，sensor，time}>，key即为数据立方的三个维度所对应的元数据，而后逐层向上建立映射关系，每层节点对相同键下的数据进行聚合计算，如此得到基于rdd的数据立方。进一步的，对数据立方进行存储，即将数据立方的映射结构存于hbase中。
60.步骤104：对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
61.在具体实施过程中，由于轨道交通设备繁多，传感器网络结构复杂，若针对传感器的唯一标识信息(id；identity document)与数据进行映射，数据量大计算量大，不利于维护。根据所述传感器数据传输格式，为存储到所述数据立方体结构中相应的立方数据设计目标索引；其中，所述目标索引在维度空间上划分为时间标识信息、传感器标识信息以及设备标识信息三维。
62.在本发明实施例中，所述基于所述目标索引对存储的所述处理后的传感器数据进行管理操作具体包括：基于所述目标索引对存储的所述处理后的传感器数据进行查询操作、读取操作、存储操作、传输操作、分析操作以及共享操作等中的至少一种，在此不做具体限定。
63.其中，以查询操作为例，其实现过程具体可参考图5所示，在此不再重复赘述。
64.本发明提供的数据立方技术在轨道交通智能检测场景中的应用，其中，数据立方体结构是位于数据存储层和数据库系统之上的，通过数据立方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。数据立方传感器统一接入技术可以将千差万别的传感器统一接入到云平台，快速实现传感器数据的查询、读取、存储、传输、管理、分析和共享等管理操作，是智慧感知应用信息
管理的实用型物联网系统。
65.采用本发明实施例所述的列车轨道交通传感器数据管理方法，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
66.与上述提供的一种列车轨道交通传感器数据管理方法相对应，本发明还提供一种列车轨道交通传感器数据管理装置。由于该装置的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的列车轨道交通传感器数据管理装置的实施例仅是示意性的。请参考图6所示，其为本发明实施例提供的一种列车轨道交通传感器数据管理装置的结构示意图。
67.本发明所述的一种列车轨道交通传感器数据管理装置具体包括如下部分：
68.传感器数据获取单元601，用于获取列车轨道对应的传感器集群所采集的传感器数据；
69.数据清洗预处理单元602，用于基于预设的数据处理模块对所述传感器数据进行清洗预处理；
70.数据立方体结构构建单元603，用于构建与所述传感器数据适配的数据立方体结构；
71.存储数据管理单元604，用于对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
72.采用本发明实施例所述的列车轨道交通传感器数据管理装置，能够通过将传感器集群所采集到的振动传感器数据进行整合，利用数据处理模块实现对振动传感器数据的处理，并基于数据立方结构建立数据索引，便于对处理后的数据进行管理，提高了数据管理的效率和准确率，从而降低了列车运行的故障率提升了可靠性。
73.与上述提供的列车轨道交通传感器数据管理方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述得比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。如图7所示，其为本发明实施例公开的一种电子设备的实体结构示意图。该电子设备可以包括：处理器(processor)701、存储器(memory)702和通信总线703，其中，处理器701，存储器702通过通信总线703完成相互间的通信。处理器701可以调用存储器702中的逻辑指令，以执行列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗整合处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
74.此外，上述的存储器702中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以
使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
75.另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗预处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
76.又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的列车轨道交通传感器数据管理方法，该方法包括：获取列车轨道对应的传感器集群所采集的传感器数据；基于预设的数据处理模块对所述传感器数据进行清洗整合处理；构建与所述传感器数据适配的数据立方体结构；对处理后的传感器数据进行存储时，在所述数据立方体结构中对应维度位置创建相应的目标索引，基于所述目标索引对存储的所述处理后的传感器数据进行管理操作。
77.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
79.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。