面向数据的物联网可移动终端智能平台的实现方法与流程

本发明涉及面向数据的物联网可移动终端智能平台的实现方法，涉及属于数据处理系统或方法技术领域。

背景技术：

物联网时代的到来，不仅给人们的生活带来的诸多方便，其产生的海量数据也给数据处理带来的很大麻烦，故而大数据技术也随之兴起，但是大数据极低的价值密度以及所需要的海量存储资源和高速计算资源，让很多机构和研究者望而却步。本智能平台提出了在物联网可移动终端对所采集的数据进行数据清洗、过滤、数据的本地存储、数据的压缩、数据的云端上传等的综合解决方案。这不仅解决可移动物联网终端设备存储容量不足、数据传输信道不稳定、数据传输成本过高等问题，同时对物联网的采集数据在采集终端就进行了规范化和数据的压缩，大大提高了数据的价值密度，为大数据分析奠定了数据基础。

技术实现要素：

本发明的目的在于克服物联网可移动终端设备存储容量不足、数据传输信道不稳定、数据传输成本过高等上述缺陷，提出了一种面向数据的物联网可移动终端智能平台的实现方法，实现对其进行清洗、过滤、本地存储、压缩以及云端上传的智能平台的构建。

本发明是采用以下的技术方案实现的：一种面向数据的物联网可移动终端智能平台的实现方法，包括如下步骤:

步骤一:参数设定与数据存储:包括如下小步:

第一步:感知单元参数的设定:包括以下具体步骤:

(1)数据序列的设定:包括正常数据序列的设定和异常数据序列的设定，需要使用用户针对感知层的数据类型、以及自己研究的数据的需要，在考虑数据所有可能的情况下归纳分类得出的有限个序列；

(2)异常数据控制指令的设定:当感知层数据出现了异常数据，本平台将把对应的控制指令发送给物联网终端的控制单元；

第二步：感知单元本地数据存储：分为一元感知单元本地数据存储和多元感知单元本地数据存储两种情况，其中

情况一：一元感知单元本地数据存储：包括以下具体步骤:

(1)数据交互模块接收感知层数据；

(2)平台根据设定的数据序列对接收的数据进行清洗；

(3)清洗后的标准化数据根据设定异常序列进行过滤；

(4)过滤后的正常数据按照清洗后的标准数据索引的方式存储到正常数据库中；

(5)过滤后的异常数据进行异常处理；

情况二：多元感知单元本地数据存储：包括以下具体步骤:

(1)数据交互模块接收感知层数据；

(2)数据分解模块对接收的数据进行数据分解；

(3)平台对分解后的数据依次根据参数设定中其对应数据序列进行数据清洗；

(4)清洗后的标准化数据根据设定异常序列进行过滤；

(5)数据合成模块对过滤后的数据进行与运算合成，即都正常才正常，有异常就异常；

(6)合成后的正常数据按照清洗后的标准数据索引的组合的方式存储到正常数据库中；

(7)过滤后的异常数据进行异常处理；

步骤二：感知单元智能压缩和数据传输:包括如下小步:

第一步:当平台存储空间出现不足时，平台自动启动数据压缩功能；

第二步:压缩功能对正常数据库和异常数据库进行数据压缩并存储；

第三步:平台实时侦测全数据传输信道的联通性；

第四步:如果全数据传输信道联通，则启动数据云端上传功能对本地存储数据进行上传；

第五步:对于异常数据的警报信息，是通过异常处理警报数据传输信道实时上传。

进一步地，步骤一第一步(1)中的物联网感知层获取的数据，根据本平台对数据分析的需要，分为一元数据和多元数据；数据分析的需要包括精度、密度和采集频次。

进一步地，一元数据就是由单一的物联网感知层设备获得的简单、单一的数据，如温度和湿度；多元数据是由多个物联网感知层设备获得的较复杂的数据，如设备的状态和大气状况，是多个一元数据的组合。

进一步地，步骤一第二步中感知单元本地数据存储的参数清洗是本平台对数据清洗和过滤以及对数据进行存储和压缩的基础，本地存储的数据不是从感知层采集的原始数据，也不是被规范化后的数值数据，而是对应的设定参数中数据序列的索引，大大减少存储空间；由于本平台对感知层的数据通过数据过滤的方式做了规范化，当物联网可移动终端的存储空间不足时，本平台将自动启用数据压缩功能，进一步减少存储空间浪费；在数据压缩的同时也对数据的分析做了预处理，为云端大数据的分析奠定基础，提高价值密度。

进一步地，步骤一第二步情况一(5)和情况二(7)中的过滤后的异常数据进行异常处理，包括如下具体步骤：

a.发送对应的控制指令到数据交互模块，并由其转发给感知层控制单元；

b.通过异常处理警报数据传输信道发送警报信息；

c.按照清洗后的标准数据索引的方式存储到异常数据库。

进一步地，步骤二中的感知单元智能压缩，对存储到正常数据库和异常数据库中的数据进行初步的分类统计操作；因存储到本地数据库中的数据不是感知层采集的原始数据，也不是本清洗后的数值数据，而是清洗后对应参数序列中的索引编号，平台将对相同的数据进行合并，统计出现的次数和具体的时间序列，起到数据压缩、减少存储空间的作用。

进一步地，步骤二第三步中的全数据传输信道，其作用为上传本地存储的所有数据，该信道设定为wifi或Wlan的信道，该信道为低价但具有地域局限性的信道；针对物联网可移动终端的可移动性，并平台将根据设定的全数据传输信道参数，自动侦测信道的联通性，一旦联通将上传本地数据并对本地数据进行处理。

进一步地，步骤二第五步中的异常处理警报数据传输信道，该信道设定为GPRS或移动4G，该信道为覆盖范围较广、信号稳定但价格较高的信道；根据本平台对数据的处理，异常处理警报数据传输信道所传输的数据量较小；通过本平台面向不同数据的分类处理，即节省了数据传输流量也保证了数据的完整性。

本发明的有益效果是：本发明不仅对单一的可移动物联网终端数据提出了清洗、过滤、存储、压缩、云端上传解决方案，对多个较复杂的可移动物联网终端的组合也给出了相应的解决方案；本发明的平台和方法解决了可移动物联网终端存储容量不足、数据传输信道不稳定、数据传输成本过高等问题，同时也提高采集数据的价值密度，为大数据分析奠定基础，市场价值极其巨大，应用前景极为广阔，意义重大。

附图说明

图1(a)是一元感知单元的参数设定与数据存储的流程框图。

图1(b)是多元感知单元的参数设定与数据存储的流程框图。

图2(a)是一元感知单元的数据压缩和数据智能传输的流程框图。

图2(b)是多元感知单元的数据压缩和数据智能传输的流程框图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明所述的构建平台包括平台参数设定与数据存储、数据的压缩与智能传输两部分。

根据本平台对数据分析的需要，我们可以把物联网感知层获取的数据分为一元数据和多元数据。一元数据就是由单一的物联网感知层设备获得的简单、单一的数据，如温度、湿度等。多元数据是由多个物联网感知层设备获得的较复杂的数据，如设备的状态、大气状况等，他往往是多个一元数据的组合。

本智能平台提供参数设定功能，参数设定分为两部分。一是感知数据清洗过滤参数的设定，二是上传信道参数的设定。

感知数据过滤参数的设定是需要用户针对感知层数据的不同类型，以及用户对所采集数据的不同需求，如精度、密度、采集频次等，来设定所有可能的但数量有限的正常数据序列和异常数据序列，并对异常数据设定相应的控制指令。这样感知层数据传送到本智能平台时，本智能平台首先根据设定的所关注的有限数据序列对数据进行数据的清洗，实现对数据的规范化，清洗完成的规范数据再经过异常序列进行数据的过滤，并由此作出对异常数据的处理以及本地存储。本地存储的数据不是从感知层采集的原始数据，也不是被规范化后的数值数据，而是对应的设定参数中数据序列的索引，这样可以大大减少存储空间。同时，由于本平台对感知层的数据通过数据过滤的方式做了规范化，当物联网可移动终端的存储空间不足时，本平台将自动启用数据压缩功能，进一步减少存储空间浪费。在数据压缩的同时也对数据的分析做了预处理，为云端大数据的分析奠定基础，提高价值密度。

上传信道的设定可以设定两个信道。一个为全数据传输信道，其作用为上传本地存储的所有数据，该信道一般可设定为wifi或Wlan等低价但具有地域局限性的信道。针对物联网可移动终端的可移动性，并平台将根据设定的全数据传输信道参数，自动侦测信道的联通性，一旦联通将上传本地数据并对本地数据进行处理，如标识或删除等。另一个为异常处理警报数据传输信道，该信道一般可以设定为GPRS或移动4G等，该信道为覆盖范围较广、信号稳定但价格较高的信道。根据本平台对数据的处理，一般情况下异常处理警报数据传输信道所传输的数据量较小。这样通过本平台面向不同数据的分类处理，即节省了数据传输流量也保证了数据的完整性。

下面结合附图对本发明做进一步描述，共分为两大部分：参数设定与数据存储、数据的压缩与智能传输两部分。

参数设定与数据存储又可以分为两大类，即一元感知单元的参数设定和多元感知单元的设定，均可以通过平台进行参数设定，参数设定后就可以对感知单元传送过了数据进行清洗过滤。

平台清洗过滤参数的设定是本平台对数据清洗和过滤以及对数据进行存储和压缩的基础。

如图1(a)所示，一元感知单元参数的设定包括两大步骤：

(1)数据序列的设定

数据序列的设定又分为两部分：正常数据序列的设定和异常数据序列的设定。这两种序列的设定需要使用用户针对感知层的数据类型、以及自己研究的数据的需要，如精度、密度等，在考虑数据所有可能的情况下归纳分类得出的有限个序列。本平台提供参数设定操作界面，需要用户自己把归纳分类出的数据序列录入到本平台。

(2)异常数据控制指令的设定

本平台还支持对异常数据控制指令的设定，其作用是当感知层数据出现了异常数据，本平台将把对应的控制指令发送给物联网终端的控制单元。这也需要用户将对异常数据进行处理的控制指令录入到本平台中。

多元感知单元参数的设定实际就是对每个感知单元进行一元感知单元参数设定。这里就不在累述，详见图1(b)。

一元感知单元本地数据存储的步骤如下：

(1)数据交互模块接收感知层数据；

(2)平台根据设定的数据序列对接收的数据进行清洗；

(3)清洗后的标准化数据根据设定异常序列进行过滤；

(4)过滤后的正常数据按照清洗后的标准数据索引的方式存储到正常数据库中；

(5)过滤后的异常数据进行异常处理，包括三部分：

a.发送对应的控制指令到数据交互模块，并由其转发给感知层控制单元；

c.通过异常处理警报数据传输信道发送警报信息；

d.按照清洗后的标准数据索引的方式存储到异常数据库。

多元感知单元本地数据存储的步骤如下：

(1)数据交互模块接收感知层数据；

(2)数据分解模块对接收的数据进行数据分解；

(3)平台对分解后的数据依次根据参数设定中其对应数据序列进行数据清洗；

(4)清洗后的标准化数据根据设定异常序列进行过滤；

(5)数据合成模块对过滤后的数据进行与运算合成，即都正常才正常，有异常就异常；

(6)合成后的正常数据按照清洗后的标准数据索引的组合的方式存储到正常数据库中；

(7)过滤后的异常数据进行异常处理，包括三部分：

a.发送对应的控制指令到数据交互模块，进而发送给感知层控制单元；

c.通过异常处理警报数据传输信道发送警报信息；

d.按照清洗后的标准数据的索引组合方式存储到异常数据库。

数据压缩实际就是对存储到正常数据库和异常数据库中的数据进行初步的分类统计操作。因存储到本地数据库中的数据不是感知层采集的原始数据，也不是本清洗后的数值数据，而是清洗后对应参数序列中的索引编号，平台将对相同的数据进行合并，统计出现的次数和具体的时间序列，起到数据压缩、减少存储空间的作用。

如图2(a)所示，一元感知单元智能压缩和数据传输的步骤如下：

第一步：当平台存储空间出现不足时，平台自动启动数据压缩功能；

第二步：压缩功能对正常数据库和异常数据库进行数据压缩并存储；

第三步：平台实时侦测全数据传输信道的联通性；

第四步：如果全数据传输信道联通，则启动数据云端上传功能对本地存储数据进行上传；

第五步：对于异常数据的警报信息，是通过异常处理警报数据传输信道实时上传；

第六步：多元感知单元数据压缩和数据传输的步骤和一元感知单元数据压缩和数据传输的步骤基本一致，只是传输的具体数据不同而已，这里就不在累述，详见图2(b)。

当然，上述内容仅为本发明的较佳实施例，不能被认为用于限定对本发明的实施例范围。本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的均等变化与改进等，均应归属于本发明的专利涵盖范围内。