一种文物保护的异构数据接入方法、装置及系统与流程

1.本发明涉及文物安全数据获取技术领域，尤其涉及一种文物遗迹保护多源异构数据接入方法和系统。


背景技术：

2.目前就文物保护的数据在采集方面，文物安保系统存在有繁多的传感器、设备及系统，有些系统的数据采集问题较为复杂，比如较多应用系统年代久远，较难维护，难以采用数据接口或sdk的方式进行对接；
3.在传输方面，大多以博物馆数据交换技术研究为主，而相关的数据交换标准规范的制定工作还处于开始阶段，主要以地方标准及各个博物馆制定的信息化系统技术标准为主，而文物安保系统的数据感知、接入等相关规范尚未制定。
4.可见，现有技术中的文物保护中的异构数据存在采集困难、接入协议不统一等一系列问题。


技术实现要素：

5.针对现有技术中所存在的不足，本发明提供的一种文物保护的异构数据接入方法、装置和系统，其解决了现有技术中存在的异构数据有采集困难、接入协议不统一等一系列问题。
6.根据本发明的实施例，第一个方面，在一个实施例中，提供了一种文物遗址保护异构数据接入方法，所述接入方法包括：
7.构建多源异构数据采集引擎、统一接入协议和数据接入平台；
8.根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；
9.根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；
10.将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。
11.在一个实施例中，在构建多源异构数据采集引擎之前，所述方法还包括：
12.根据数据的封闭性对多个数据源进行分类，得到开放系统数据源和封闭系统数据源。
13.在一个实施例中，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
14.所述多源异构数据采集引擎根据rabbitmq消息中间件进行数据交换和系统间的解耦；
15.通过消息同步式接入方法，数据源将数据转为json字符串后，再转为字符流进行发送；
16.所述多源异构数据引擎将字符流数据转为字符串后再使用json工具进行格式化
处理，转为对应的原始数据集。
17.在一个实施例中，当所述数据源的类型为开放系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，还包括：
18.所述多源异构数据采集引擎根据数据接口直连式接入方法，从所述开放系统数据源中获取数据，得到所述原始数据集；
19.或/和，所述多源异构数据采集引擎根据所述数据库直连式接入方法，通过数据库账户与口令连接数据库进行数据采集，得到所述原始数据集；多源异构数据采集引擎采用kettle作为数据采集工具，通过制定转换规则，实现数据的抽取和转换；
20.所述视频接入式接入方法，主要以“kafka+opencv+flink+elk+redis”实现视频的采集及预处理。
21.在一个实施例中，当所述数据源的类型为封闭系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
22.所述多源异构数据采集引擎通过网络嗅探及抓包的方式获取封闭系统的数据，得到原始数据集。
23.在一个实施例中，所述步骤“根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集”之后还包括：
24.将标准化后的数据集发送至数据代理终端。
25.在一个实施例中，所述步骤“将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警”之后还包括：
26.利用数据接入平台实现对数据源的管理和控制。
27.第二个方面，提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入装置，主要包括：
28.多源异构数据采集引擎构建模块，用于构建多源异构数据采集引擎；
29.数据采集模块，用于利用多源异构数据采集引擎分别从多个数据源中采集数据；
30.统一接入协议构建模块，用于构建数据交换的统一接入协议，实现采集数据的标准化；
31.数据接入平台构建模块，用于构建数据接入平台，实现对采集数据的接入。
32.在一个实施例中，文物遗址保护异构数据接入装置，还包括：
33.数据源划分模块，用于对数据源根据数据的封闭性进行划分；
34.数据源管理模块，用于利用数据接入平台实现对数据源的管理和控制。
35.第三个方面，提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入系统，主要包括：
36.数据源、异构多源数据采集引擎和数据接入平台；
37.所述数据源用于监测要地安防的电力数据、现场环境数据和安防信息；
38.所述异构多源数据采集引擎用于实时采集数据源的数据并发送到数据接入平台，所述异构多源数据采集引擎和安全数据接入平台之间通过自定义的统一接入协议进行通信；
39.所述数据接入平台用于实现对数据源的管理和控制，为上层提供应用和统一接口，提供数据源的接入、管理，数据采集、规则制定、数据存储/转发及安全管理功能。
40.相比于现有技术，本发明具有如下有益效果：
41.1、构建了多源异构数据的采集引擎，从多个数据源中获取数据，解决了现有技术中存在的异构数据采集困难的问题。
42.2、制定了统一接入协议，对原始数据进行标准化处理，解决了现有技术中存在的接入协议不统一的问题。
附图说明
43.图1为本发明实施例的文物保护的异构数据接入方法流程图。
44.图2为本发明另一实施例的文物保护的异构数据接入系统图。
具体实施方式
45.下面结合附图及实施例对本发明中的技术方案进一步说明。
46.第一个方面，在一个实施例中，如图1所示，提供了一种文物遗址保护异构数据接入方法，所述接入方法包括：
47.构建多源异构数据采集引擎、统一接入协议和数据接入平台；
48.根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集；
49.根据所述统一接入协议，将所述原始数据集进行标准化处理，得到标准数据集；
50.将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警。
51.在上述实施例中，数据源为要地的ups电源、温度传感器、湿度传感器、烟雾传感器、烟雾传感器、漏水传感器、气体传感器、防火门传感器、视频监控、网络监控、区域入侵报警系统、电子围栏系统、电子巡更系统、智能预警及声音复核系统、地质灾害监测设备、电气火灾监测设备、粉尘检测设备或内涝监测设备中的一种或任意组合；
52.数据接入平台包括系统接入管理模块、感知数据管理模块、报警事件管理模块、运营运维管理模块和服务接口管理模块等模块，用于实现对数据源的管理和控制，为上层提供应用和统一接口，提供数据源的接入、管理，数据采集、规则制定、数据存储/转发及安全管理功能；
53.统一接入协议是数据源和统一接入平台之间的通信协议，采用http作为承载协议，数据源作为客户端，统一数据接入平台作为服务端，通信接口为9910，采用post方式，数据格式采用json，数据报文以同步方式进行交互，如不作特别说明，每传送一个数据报文则必有一个应答；
54.数据源在通过多源异构数据采集引擎接入数据接入平台之前，应在平台申请并注册，获取唯一设备编码，并在后续上传数据时携带该唯一数据编码；
55.统一接入平台实时接收经过统一接入协议标准化后的标准数据，标准数据包括报警事件和监测类数据(比如温度、湿度等)，报警事件包括持续性报警事件和瞬态报警事件。
56.在上述实施例中，构建的多源异构数据的采集引擎，从多个数据源中获取数据，得到原始数据集，原始数据集通过一个数据交换协议标准化后得到标准数据集，再将标准数据集上传到数据接入平台，由数据接入平台实现对数据源的管理和控制，解决了现有技术
中存在的文保场景下的异构数据采集困难、接入协议不统一等问题。
57.在一个实施例中，在构建多源异构数据采集引擎之前，所述方法还包括：
58.根据数据的封闭性对多个数据源进行分类，得到开放系统数据源和封闭系统数据源。
59.在上述实施例中，开放系统数据源包括有开放接口的数据源、没有开放接口但是能够通过数据库和数据中间件进行数据对接的数据源。
60.在一个实施例中，当所述开放系统数据源为有开放接口的数据源时，多源异构数据采集引擎通过接口直连的方式进行数据采集，得到所述原始数据集，其中接口协议采用http作为承载协议，并采用post方式，以json为数据格式。
61.在一个实施例中，当所述数据源的类型为能够通过数据中间件进行数据对接的数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
62.所述多源异构数据采集引擎根据rabbitmq消息中间件进行数据交换和系统间的解耦；
63.通过消息同步式接入方法，数据源将数据转为json字符串后，再转为字符流进行发送；
64.所述多源异构数据引擎将字符流数据转为字符串后再使用json工具进行格式化处理，转为对应的原始数据集。
65.在一个实施例中，当所述数据源的类型为能够通过数据库直连的方式进行数据对接的数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，还包括：
66.所述多源异构数据采集引擎根据所述数据库直连式接入方法，通过数据库账户与口令连接数据库进行数据采集，得到所述原始数据集；多源异构数据采集引擎采用kettle作为数据采集工具，通过制定转换规则，实现数据的抽取和转换；
67.所述视频接入式接入方法，主要以“kafka+opencv+flink+elk+redis”实现视频的采集及预处理。视频流以h.264进行编码，并采用rtsp协议进行数据传输；采集服务器结合opencv并发读取多路监控安防视频流，并将监控视频流封装为kafka消息推送至kafka集群，flink拉取kafka集群中的视频流数据，并解码计算；elk实现视频日志的解析。
68.在一个实施例中，当所述数据源的类型为封闭系统数据源时，根据所述多源异构数据采集引擎分别从多个数据源中获取数据，得到原始数据集，包括：
69.所述多源异构数据采集引擎通过网络嗅探及抓包的方式获取封闭系统的数据，得到原始数据集。
70.在上述实施例中，以web系统而言，主要通过摸拟登录及访问请求，读取并返回html页面，根据预先定义的规则进行解析；具体的可通过应用请求仿真摸拟访问web系统，不断探测系统的数据展现页面，进而解析，实现数据采集，并以配置文件的方式进行驱动并生成结构化数据。
71.其它系统以socket网络抓包方式进行网络包获取，并根据其他研究所得的智能分析模型进行数据解析，
72.在一个实施例中，所述步骤“根据所述统一接入协议，将所述原始数据集进行标准
化处理，得到标准数据集”之后还包括：
73.将标准化后的数据集发送至数据代理终端。
74.在一个实施例中，所述步骤“将所述标准数据集接入到所述数据接入平台，使所述数据接入平台对所述标准数据集进行展示、分析和预警”之后还包括：
75.利用数据接入平台实现对数据源的管理和控制。
76.第二个方面，提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入装置，主要包括：
77.多源异构数据采集引擎构建模块，用于构建多源异构数据采集引擎；
78.数据采集模块，用于利用多源异构数据采集引擎分别从多个数据源中采集数据；
79.统一接入协议构建模块，用于构建数据交换的统一接入协议，实现采集数据的标准化；
80.数据接入平台构建模块，用于构建数据接入平台，实现对采集数据的接入。
81.在一个实施例中，文物遗址保护异构数据接入装置，还包括：
82.数据源划分模块，用于对数据源根据数据的封闭性进行划分；
83.数据源管理模块，用于利用数据接入平台实现对数据源的管理和控制。
84.第三个方面，如图2所示提出了一种基于上述实施例中任意一项所述的文物遗址保护异构数据接入系统，主要包括：
85.数据源、异构多源数据采集引擎和数据接入平台；
86.所述数据源用于监测要地安防的电力数据、现场环境数据和安防信息；
87.所述异构多源数据采集引擎用于实时采集数据源的数据并发送到数据接入平台，所述异构多源数据采集引擎和安全数据接入平台之间通过自定义的统一接入协议进行通信；
88.所述数据接入平台用于实现对数据源的管理和控制，为上层提供应用和统一接口，提供数据源的接入、管理，数据采集、规则制定、数据存储/转发及安全管理功能。
89.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。