一种物联网数据预处理的方法及系统的制作方法
【专利摘要】本发明涉及一种物联网数据预处理的方法及系统，该系统包括：用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；以及数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作；数据预处理之后，将合法的数据保存到数据库。本发明方法简单，能降低系统的出错率。
【专利说明】一种物联网数据预处理的方法及系统
【技术领域】
[0001]本发明涉及一种物联网数据预处理的方法及系统。
【背景技术】
[0002]物联网是将小范围内的设备由特定的网络协议构成自组织网络，物联网的中心是一个汇聚节点，该节点一般具有与外部公网(Internet等)的连接能力。物联网主要解决孤立设备的联网问题，联网不依赖于公有网络，一般组成自组织的专有网络。物联网如果需要大范围部署，一般采取的方式是，小范围使用物联网联网，然后每个物联网子网的汇聚节点与中心服务器联网，最终形成一个跨区域部署的网络。
[0003]物联网是脆弱的网络，物联网子网可能出现故障，物联网子网数据可能出现传输异常，子网监控困难，网络结构随时可能发生变化。中心服务器要处理这种数据，需要一套完整的数据预处理机制，以降低系统出错的概率。
【发明内容】
[0004]本发明的目的是提供一种物联网数据预处理的方法，能降低物联网系统的出错率。
[0005]本发明采用以下方案实现:一种物联网数据预处理的方法，其特征在于包括以下步骤:
步骤Sll:对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；
步骤S12:采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；
步骤S13:按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。
[0006]在本发明一实施例中，所述不同的数据来源包括物联网子网的传感数据、对于物联网子网的事件通知和订阅用户查询请求；对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。
[0007]在本发明一实施例中，所述的非法的传感数据包括数据传输失真、数据格式错误和数据数值失真。
[0008]本发明的另一目的是提供一种物联网数据预处理系统，其特征在于包括:用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；以及数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作；数据预处理之后，将合法的数据保存到数据库。
[0009]本发明构思简单，三个模块的配合操作就能实现对接入数据从校验到错误数据的处理、合法数据的提交等，能最大程度的降低系统的出错率。
【专利附图】
【附图说明】
[0010]图1是本发明数据预处理的总体框图。
[0011]图2是本发明用户权限校验模块框图。
[0012]图3是数据及事件过滤模块框图。
[0013]图4是数据及事件有效性校验模块框图。
【具体实施方式】
[0014]为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的【具体实施方式】做详细的说明。
[0015]在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的【具体实施方式】的限制。
[0016]物联网数据预处理引擎可以部署在物联网数据中心服务器，可能部署在物联网网关节点(对外通信节点)中。物联网数据预处理的对象包含三种:物联网子网的传感数据；物联网子网的事件通知和订阅用户的查询操作(查询事件)。对于上述三种数据类型，数据预处理引擎经过下述过程进行预处理:
步骤Sll:对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性；
步骤S12:采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求；
步骤S13:按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。
[0017]具体的，请参见图1，本实施例提供一种物联网数据预处理系统，该系统包括:(I)用户权限校验模块，效验用户合法性和业务合法性，拒绝非法的数据请求；(2)数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知，丢弃垃圾数据；(3)数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作(取值范围规范化等)。数据预处理之后，将合法的数据保存到数据库。
[0018]用户权限校验模块主要功能是接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性。针对不同的数据来源，权限校验采取不同的策略。对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。用户权限校验模块的框图如图2所示。
[0019]数据及事件过滤模块，用于初步过滤非法数据(数据传输失真，数据类型错误，数据格式错误，事件类型错误，事件格式错误，数据数值失真，虚假数据)，降低后续的数据处理难度和出错概率，提高物联网服务器的稳定性。采用物联网数据过滤规则，过滤传感数据中非法的传感数据(数据传输失真，数据格式错误，数据数值失真等)；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求。物联网传感数据数据及事件过滤模块框图如图3所示。
[0020]物联网权限校验模块和数据过滤模块已经能够阻止多数的非法访问，但是无法阻止合法访问中失真的数据。失真的数据或不完整的数据会引起数据存储和数据分析出错。物联网数据及事件有效性校验模块作用就是矫正合法访问中的失真数据。具体步骤如下:按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理。对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作。数据有效性校验的最后一步是将其提交给外部模块。数据及事件有效性校验模块，如图4所示。
[0021]本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【权利要求】
1.一种物联网数据预处理的方法，其特征在于包括以下步骤: 步骤Sll:对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性； 步骤S12:采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规则，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求； 步骤S13:按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。
2.根据权利要求1所述的物联网数据预处理的方法，其特征在于:所述不同的数据来源包括物联网子网的传感数据、对于物联网子网的事件通知和订阅用户查询请求；对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。
3.根据权利要求1所述的物联网数据预处理的方法，其特征在于:所述的非法的传感数据包括数据传输失真、数据格式错误和数据数值失真。
4.一种物联网数据预处理系统，其特征在于包括: 用户权限校验模块，对接入合法性检查，并根据权限配置文件，赋予接入子网或用户相应的权限，拒绝非法的接入请求，保证物联网服务器的访问安全性； 数据及事件过滤模块，根据数据过滤配置文件，仅保留符合要求的传感数据和事件通知,丢弃垃圾数据；以及 数据及事件有效性检查模块，根据有效性配置文件，逐项检查数据有效性并作规定的预处理操作；数据预处理之后，将合法的数据保存到数据库。
5.根据权利要求4所述的物联网数据预处理系统，其特征在于:所述不同的数据来源包括物联网子网的传感数据、对于物联网子网的事件通知和订阅用户查询请求；对于物联网子网的传感数据，需要检查子网络是否授权接入，并且具有上传传感数据的权限，赋予授权网络传感数据上传权限；对于物联网子网的事件通知，需要检查子网络是否授权接入，并且具有事件通知上报权限，赋予授权网络事件通知上报权限；对于订阅用户查询请求，需要用户身份验证，业务合法性验证，仅接受合法用户的授权业务内的查询请求，拒绝非授权业务查询请求。
6.根据权利要求4所述的物联网数据预处理系统，其特征在于:所述数据及事件过滤模块采用物联网数据过滤规则，过滤传感数据中非法的传感数据；采用物联网事件过滤规贝U，过滤掉非法的事件消息；采用用户权限与业务对应规则，过滤非法的用户查询请求。
7.根据权利要求4所述的物联网数据预处理系统，其特征在于:所述的非法的传感数据包括数据传输失真、数据格式错误和数据数值失真。
8.根据权利要求4所述的物联网数据预处理系统，其特征在于:所述数据及事件有效性检查模块按照物联网数据及事件类型，校验数据或事件的格式，对于不能正常识别的格式，通知系统管理员并写入系统Log，数据做丢弃或备份处理；对于格式能够识别，但是数据的组织形式与物联网服务器要求的不同，需要做一个物联网数据及事件的格式适配工作；最后将校验后的物联网合法数据及事件提交到数据库。
【文档编号】H04L29/06GK104506352SQ201410808353
【公开日】2015年4月8日 申请日期:2014年12月24日 优先权日:2014年12月24日
【发明者】陈圣群, 施海柳, 李静 申请人:福建江夏学院