一种将物理设备时序变量自动映射为数字模型的方法与流程

1.本发明涉及计算机技术和软件工程领域以及物联网应用技术领域，特别涉及一种将物理设备时序变量自动映射为数字模型的方法，可应用于工业自动化和物联网数据互联场景。


背景技术：

2.随着信息技术产业的兴起，计算机技术和软件工程技术快速发展，人类世界的信息化和数字化概念从互联网进一步引申到物联网。以往的计算机互联，升级到智能设备互联，把所有真实物品通过信息传感设备与网络连接起来，进行信息交换，实现物物相息，形成可靠、高效、智能、统一的信息化网络体系。物联网的应用领域涉及到方方面面，在工业、农业、交通、环境等基础设施领域的应用，有效的推动了各行业的智能化发展。
3.然而新技术在前进道路上尚有一些障碍。设备作为物联网的边缘端，是数据产生的源头，一直以来都存在设备规格多样、涉及技术繁杂、数据形式异构、通讯协议不一等问题，影响了物联网技术标准的统一和协同，阻碍了不同领域之间的数据融合。在常规的物联网系统解决方案中，设备的感知和接入主要依靠人工操作进行对接，并手动建立设备与数字模型的关系。数字模型是一种对物理设备的数字抽象，具备良好的可读性，使用者可以通过数字模型直观的了解到设备的属性、数据、功能。对于物联网平台的使用者来说，需要在每次新设备接入时，进行大量的设置、匹配和调试工作。而已经配置好的设备及其数字模型，仍存在不易移植系统、难以复用设置、需要时常维护等问题。对于如此情形，在管理为数不多的设备时，人工尚可支撑。但当设备体量达到成百上千的数量级时，物联网的维护人员必然要面对陡增的工作量和加倍的调试难度。随着物联网应用变得越来越普遍，开发效率要求越来越高，如何让设备快速接入物联网已经变得尤为重要。


技术实现要素：

4.本发明要解决的技术问题是针对现有技术的不足而提供一种便捷、快速、高效的将物理设备时序变量自动映射为数字模型的方法，以解决设备接入系统的自适应问题。
5.为解决上述技术问题，本发明的内容包括：
6.一种将物理设备时序变量自动映射为数字模型的方法，包括以下步骤：
7.s1.根据物理设备类型，使用可编程嵌入式装置将物理设备接入物联网系统；
8.s2.解析物理设备的通讯协议并将采集到的设备数据转换成时间序列变量；
9.s3.处理所述时间序列变量中的无效数据；
10.s4.将经过处理的时间序列变量数据以mqtt协议从边缘端发送到云端平台；所述边缘端为步骤s1中的可编程嵌入式装置；
11.s5.在云端平台上，根据设定的映射规则自动将接收到的数据数字化重组为数字模型。
12.进一步的，所述步骤s1中，按照物理设备传输数据的硬件通讯模式区分物理设备
类型；或者按照物理设备产生的数据格式区分物理设备类型。
13.进一步的，所述步骤s1中，可编程嵌入式装置包括芯片处理器cpu、内部寄存器ram、网卡模块、gpio针脚以及usb接口。
14.进一步的，所述步骤s2中，对于采集到的设备数据，根据数据产生的时间节点，绑定统一标准的时间戳，形成时间序列变量。
15.进一步的，所述步骤s3中，对于时间序列变量中无效数据的处理，包括：对于采集到的未按照时间规律记录的乱序数据，在整理时根据时间戳的递增顺序重新排列；剔除格式类型错误的异常数据；自动填充时间点值为null的缺失值，包括根据最近时间戳进行空值填充和线性拟合计算两点间的空值两种方式。
16.进一步的，所述步骤s4中，所述边缘端的程序执行对时间序列变量数据的组合、创建mqtt消息并发送消息至云端平台；所述云端平台为支持mqtt协议的物联网平台。
17.进一步的，所述步骤s5中，所述映射规则包括时序数据的消息体中各字段的意义，以及各字段与数字模型的对应关系。
18.进一步的，所述步骤s5中，所述的数字化重组还包括，在将时序变量转换为数字模型的同时在时序数据库中进行存储，以及对云端平台中的设备数字模型关系表进行维护。
19.进一步的，所述步骤s5还包括：将所述的数字模型执行持久化处理并作为输出结果被封装和调用。
20.本发明的有益效果是：
21.本发明立足于物联网接入设备的场景，提供了创建数字模型的一种新思路，其不必区分设备注册和设备传输的流程差异，注重把时间序列数据作为核心内容，引入可编程的自动映射规则，能够解决设备接入系统的自适应问题。
22.本发明将采集到的物理设备产生的数据与时间关联，整理为时间序列变量，并按预设规则自动映射为数字模型，以方便在物联网系统中使用。由于应用了可编程嵌入式装置、执行了自动化匹配程序、引入了时间序列和数字模型的关联关系，故能够达到设备接入系统的自适应的目标。
23.本发明简化了接入物理设备数据并应用的操作和配置流程，减少人工手动干预的环节，降低人为误差或操作错误的影响，提升设备与平台的对接效率，增强了操作人员的用户体验。
附图说明
24.图1是本发明的方法流程图；
25.图2是本发明的应用环境示意图；
26.图3是本发明的可编程嵌入式装置的硬件架构图；
27.图4是本发明的执行程序模块示意图；
28.图5是本发明的物理设备与数字模型的映射示意图。
具体实施方式
29.为便于理解本发明，下面结合附图和具体实施方式对本发明作进一步详细的说明。本领域技术人员应该明了，所述实施例仅仅是帮助理解本发明，不应视为对本发明的具
体限制。
30.如图1、2所示，本发明提供了一种将物理设备时序变量自动映射为数字模型的方法，包括以下步骤：
31.s1.根据物理设备类型，使用可编程嵌入式装置将物理设备接入物联网系统；
32.具体的，按照物理设备传输数据的硬件通讯模式区分物理设备类型；或者按照物理设备产生的数据格式区分物理设备类型。
33.硬件通讯模式包括：以太网rj45接口模式、蜂窝移动网络(4g/5g)模式、无线局域网ieee 802.11标准(wifi)模式、近场通信(nfc)模式、近距离无线蓝牙连接(bluetooth)模式、串行通讯接口(com口，rs-232/rs-485协议)模式、通用串行总线接口(usb2.0/3.1，type-a/type-c)模式、lightning高速多功能i/o接口(雷电3协议/雷电4协议)模式。
34.数据格式包括模拟量和数字量两种。
35.嵌入式装置是一种能够独立运作的硬件器件，此类装置能够搭载多种电子元件，并部署软件代码，从而执行不同的程序，实现多种功能。如图3所示，可编程嵌入式装置包括芯片处理器cpu、内部寄存器ram、网卡模块、gpio针脚以及usb接口。该装置可以基于arm架构指令集或基于x86架构指令集，支持c、c++、java、python等高级编程语言在其上进行开发程序和运行程序。包含或部分包含图示硬件接口，以满足设备接入的物理条件。
36.s2.解析物理设备的通讯协议并将采集到的设备数据转换成时间序列变量；
37.时间序列变量是对同一统计指标的数据按其发生的时间先后顺序排列，划分成若干变量。这种动态数列被记录为时间序列变量，简称时序变量。
38.在物理层通讯建立成功的情况下，对多种不同的应用层协议进行解码和转义，至少支持http协议，mqtt协议，coap协议，amqp协议，modbus协议这些常见应用层通讯协议。
39.解析的作用是将物理设备原始产生的电平信号、开关量值、二进制码流等数据转换成为传递性良好的信息化数据。对于采集到的设备数据，根据数据产生的时间节点，绑定统一标准的时间戳，形成时间序列变量，可被物联网系统采集和记录。
40.s3.处理所述时间序列变量中的无效数据；
41.时序变量的产生源自对设备按时间节点进行周期性的采集和记录，决定了其本质是一种离散的、间隙的数码组合。对于时间序列变量中无效数据的处理，包括如下若干方式：对于采集到的未按照时间规律记录的乱序数据，在整理时根据时间戳的递增顺序(由远及近)重新排列；对于格式类型错误的异常数据，例如数列元素应为浮点数据类型，如3.14，而实际采集到一个字符类型的值，如“demo”，将异常数据从数列中剔除；对于时间点值为null(空值)的情况，会妨碍数据进行进一步的使用，因此需要自动填充缺失值，包括使用最近时间戳进行空值填充和线性拟合计算两点间的空值两种方式。
42.使用最近时间戳进行空值填充，就是当某时间戳值为空时，将使用前一个时间戳的值来填充空白。
43.线性拟合计算两点间的空值，就是当某时间戳值为空时，将使用前一个和下一个时间戳的值来填充空白。例如：在[t-before_range，t]和[t，t+after_range]两个范围中记录有效值，然后采用线性拟合的公式计算得出空值处的估计值。如，某时序变量α在2021-11-01t14：21：50.000为空。因此处理程序使用以前的时间戳2021-11-01t14：21：00.000(且时间戳位于[2021-11-01t14：20：50.000，2021-11-01t14：21：50.000]时间范围)及其值
62.821376，下一个时间戳记2021-11-01t14：22：00.000(且时间戳记位于[2021-11-01t14：21：50.000，2021-11-01t14：22：50.000]时间范围)及其值65.763415以执行线性拟合计算：
[0044]
62.821376+(65.763415-62.821376)/60s*50s＝65.273075
[0045]
最后使用变量α＝65.273075[2021-11-01t14：21：50.000]进行空值填充，生成相应的时序变量值。
[0046]
s4.将经过处理的时间序列变量数据以mqtt协议从边缘端发送到云端平台；边缘端的程序执行对时间序列变量数据的组合、创建mqtt消息并发送消息至云端平台；边缘端为步骤s1中的可编程嵌入式装置，云端平台为支持mqtt协议的物联网平台。
[0047]
如图4所示，步骤s4具体包括如下内容：
[0048]
4-1.物联网平台配置设备元数据，设备元数据包括设备唯一标识id、设备名称、topic信息、状态信息等设备基本信息；
[0049]
4-2.可编程嵌入式装置根据物联网平台的设备标识id和权限认证信息连接平台的消息中间件服务端emqx broker，同时服务端emqx根据终端客户端连接的clientid和账号密码匹配，认证正确后完成物理设备与物联网平台之间的连接；
[0050]
4-3.物理设备建立连接后，通过发送约定的数据标准结构(如图5所示)，发送设备实时数据到服务端emqx，通过平台的设备数据路由程序，将服务端emqx采集到的数据进行过滤清洗并收集到消息队列中间件kafka。
[0051]
s5.在云端平台上，根据设定的映射规则自动将接收到的数据数字化重组为可读性良好的数字模型。
[0052]
映射规则包括时序数据的消息体中各字段的意义，以及各字段与数字模型的对应关系。自动映射后台程序控制，动态地匹配映射规则，并自动地将时序数据构建为数字模型。数字化重组还包括在将时序变量转换为数字模型的同时在时序数据库中进行存储，以及对云端平台中的设备数字模型关系表进行维护。
[0053]
如图4所示，步骤s5包括如下内容：
[0054]
5-1.设备数据流转到消息队列中间件kafka的主题后，平台的存储程序通过实时消费kafka的主题数据，解析数据包结构，根据设备标识id从时序数据库iotdb中获取已存在的时间序列数据，对比数据包和时序数据库iotdb中的时间序列数据，判断数据包中测点数据的有效性和合法性，并定向摘选出未注册的设备及时序变量；
[0055]
5-2.存储程序对未注册的设备及时序变量进行处理，首先根据数据包中测点名称和测点值的类型在时序数据库iotdb注册相匹配的时间序列，再构造存储结构将数据的值存储到时序数据库iotdb，同时将该设备这些未注册的测点id、测点名称等基础信息维护到物联网平台的设备数字模型表中，完成数字模型的自动映射。
[0056]
最后，将自动映射得到的数字模型执行持久化处理并作为输出结果被封装和调用。自动映射得到的数字模型被存储在时序数据库iotdb的时序结构中，并在关系型数据库对应的设备数字模型表中生成一条记录，可以在后续使用中方便地查询和导出。自动生成的数字模型也是数字化产物，能够被软件系统持久化存储；持久化的数字模型可以作为输出结果被封装和调用，支持在不同的物联网系统中对数字模型进行移植或融合。
[0057]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换
和变型，本发明的范围由所附权利要求及其等同物限定。