一种基于海云计算架构的物联网信息互操作方法与流程

文档序号:15296727发布日期:2018-08-31 19:27阅读:115来源:国知局

本发明属于大数据处理及物联网领域,具体涉及一种基于海云计算架构的物联网信息互操作方法。



背景技术:

以物联网“智慧地球”、“感知中国”为代表的社会发展愿景,为社会信息化和通信产业的未来发展指明了方向。目前,大量孤立闭环的物联网系统是物联网建设的起点与基本元素,这些应用往往局限于对单一事务的监测与智能管理。需要将这些信息孤岛有机融合与共享,使之互联互通和互操作,物联网感知数据呈现混杂异构性、海量性以及实时性等特点,异构性是指物联网采用感知的传感器不但功能各异,而且其采集的数据格式也不尽相同,数据语义也存在异构性,使得不同的传感器网络之间无法共享和互通;海量性包括智能节点海量性和监控数据海量性,2020年物联网终端规模将很可能达到千亿量级,其产生的海量数据的存储、传输与处理将面临前所未有的挑战;实时性是指目前物联网数据多呈推模式采集,数据所反映的都是监控采集时刻传感器状态,这就要求系统有实时、快速处理能力。异构子系统有机的结合使之能够互联、互通及互操作,成为物联网研究亟待解决的关键科学问题,也是决定物联网能否会像互联网那样走进人们生活的关键所在。云计算本质上是一种提供资源按需租用的服务模式,是一种新型的互联网数据中心业务,关注并协调各数据中心。物联网调动的资源远不止于此,还有许多普通节点、边缘节点,甚至是有计算能力的嵌入式节点等,这些边缘节点实际上拥有整个网络的90%以上的资源,在云计算模式中并没有被很好利用。

网络中的信息数据一般以完全结构化格式、半结构化格式和无结构化格式为主,其中半结构化格式数据结构是可变的。据统计,以计算机和移动终端等存储设备为载体的电子信息中非结构化数据占据了整个信息量的80%以上。互联网上数据多由半结构化xml表示,xml已成为大数据环境中信息交互、存储的格式标准。处理动态网络和异构数据下的通信中间件为是现代互联网络查询处理数据和移动互联网查询处理数据等的核心技术之一,凭借着其对海量非结构化异构数据优异的处理能力,得到了突飞猛进的发展。



技术实现要素:

本发明的目的在于提供,克服了现有计算技术中数据与计算的融合的不足,将云端与海端有机的整合,在海端通过实时交互共同完成事件发现、决策处理的一种基于海云计算架构的物联网信息互操作方法。

本发明的目的通过如下技术方案来实现:

一种基于海云计算架构的物联网信息互操作方法,包括以下步骤:

步骤一:构造一个海云计算的架构模型。该模型由海端与云端两部分构成。在海端,边缘节点在周围海端节点的协同感知配合下,通过实时交互共同完成事件发现、决策等处理,提供快速反应能力及最小业务半径、最大局部智能的服务;仅在必要时才可发送服务请求云端提供支持。在云端,超级计算中心对在海端处理的推数据重要结果或决策信息进行必要的存储,并支持物联网推模式的应用。

步骤二:中间转发节点将对信息进行缓存。该缓存由设定的生存周期限制,在生存周期内,其他子网节点在对缓存的消息有相同需求时,则直接从该缓存节点获取,而不是从信息来源获取,节省信息获取时间及网络的开销;在生存周期外,缓存的信息被缓存节点删除,防止大量的缓存信息占用该节点的性能。

步骤三:采用推模式处理实时数据流。针对海量的订阅请求表达形式中会含有不确定元素,提出部分谓词匹配路径方法,并分析过滤处理的xpath路径表达式。

步骤四:设计基于后缀树自动机过滤匹配方法。该方法利用树自动机技术,引入后缀思想,采用无秩树自动机的自底向上推模式方法,处理含有子孙轴和不确定元素复杂结构的订阅请求,考虑了树自动机具有丰富表达能力的特点和订阅请求复杂结构两方面因素,有效减少数据处理过程中大量相同转移的中间状态,避免状态集的重复计算。

本发明的有益效果在于:

本发明提出的基于海云计算架构的物联网信息互操作方法,克服了现有计算技术(如云计算、以ip为中心计算模式)中数据与计算的融合的不足,将云端与海端有机的整合,在海端通过实时交互共同完成事件发现、决策等处理,仅在必要时才可发送服务请求云端提供支持,实现网络资源的合理分配。并在信息转发过程中以信息为中心,缓存节点对消息进行缓存,并转发给子网中相同需求的节点。利用无秩树自动机的自底向上推模式方法,处理含有子孙轴和不确定元素复杂结构的订阅请求,有效减少数据处理过程中大量相同转移的中间状态,避免状态集的重复计算。合理的利用网络的边缘节点以及推技术从而大幅度提高网络信息的利用效率。

附图说明

图1是基于海云计算架构示意图;

图2是基于海云计算架构信息传输示意图;

图3是服务流程图;

图4是位置权重的xml相似度计算结构图;

图5是基于后缀树自动机过滤方法流程图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明:

具体实施方式一:

结合图1、2、3说明本实施方式,本实施方式的步骤如下:

步骤一:基于海云计算的推模式数据融合结构优化方法由云端节点(cloudnode,简称cn)、海端节点(seanode,简称sn)构成。云端是由系统运营商提供的云计算中心超级节点构成,它们是系统内最稳定的存储节点,与其他节点相比具有更强的计算及存储能力,并且能保证在机器无物理故障的情况下长时间在线。然而,海云计算中各种资源(包括计算、存储、数据等)并不仅仅来自于云端节点,每个海端节点在获取服务和资源的同时,也是完全可以利用自身的计算、存储等能力同时提供服务。当然,它们不是稳定运行的高效能节点,可能会随时加入或离开海云计算环境,但是这部分边缘节点的能力也是不容忽视的,他们拥有着网络上90%以上的资源。海端节点是无环路、层次嵌套结构,每个子网络由1个或若干个子网络组成,各子系统之间是多源异构的,这里异构对用户是透明的,用户只需提出要求、订阅其感兴趣信息,由基于海云计算架构来发现、整合这些异构子系统,最后将用户感兴趣信息加工后交给用户。另外,海云计算中规定了信誉机制,达到一定信誉等级的海端节点也可以转化为云端节点。

步骤二:基于海云计算架构的服务包含两大类,一类服务是在海计算的海端,即各种边缘节点采用saas的形式布置的iotscc发布订阅服务,处理实时的物联网感知数据流;另一类是服务完成在云端,即各种数据中心所处理的、需要存储的关键数据或生成决策数据等任务。

步骤三:在海端,边缘节点在周围海端节点的协同感知配合下,通过实时交互共同完成事件发现、决策等处理,提供快速反应能力及最小业务半径、最大局部智能的服务;仅在必要时才可发送服务请求云端提供支持。在云端,超级计算中心对在海端处理的推数据重要结果或决策信息进行必要的存储,并支持物联网推模式的应用。在信息传递过程中,中间转发节点将对信息进行缓存。该缓存由设定的生存周期限制,在生存周期内,其他子网节点在对缓存的消息有相同需求时,则直接从该缓存节点获取,而不是从信息来源获取,节省信息获取时间及网络的开销;在生存周期外,缓存的信息被缓存节点删除,防止大量的缓存信息占用该节点的性能。

步骤四:以图3为例,说明本发明的信息传输模式。在图中节点a为sn2的子网络节点,节点b、c、d、e为cn1的子网络节点,且架构如图所示。节点e产生订阅需求时发布订阅信息到cn1,如图中换色箭头所示,若网络边缘节点a有相同信息,则a发布信息路径如图红色箭头所示,途经节点对该信息进行一定时间的缓存处理。若在缓存时间内节点b产生可相似的订阅请求则节点b发送订阅信息到其上层节点c,如图中蓝色箭头所示。此时由于节点c对该信息进行缓存,则,节点c直接将缓存的信息发送给节点b,如图中棕色箭头所示,而不需要再从节点a处获取信息。

具体实施方式二:

结合图4说明本实施方式,本实施方式的步骤如下:

步骤一:计算节点语义相似度。将两个节点标记e1和e2分割成两个词集e1和e2,而e1和e2所含有的词汇个数分别记为|e1|和|e2|,将e1和e2中词对间的最大相似度的平均值作为两节点标记间的语义相似度。此节点标记相似度记为sim(e1,e2),其具体计算公式如(1)所示:

步骤二:计算节点间字符串相似度。记ed(s1,s2)为字符串s1和s2的编辑距离,sims(s1,s2)是两字符串的相似度,计算公式如(2)所示:

步骤三:计算xml路径相似度。针对路径相似度计算,主要从结构方面分析。路径中节点间相似度及节点在路径中的位置可称上下文关系均是影响路径相似度计算的因素。当计算xml文档中路径相似度时,引入了路径距离权值向量[d(1),d(2),...,d(n)],其中1,2,...,n为路径的下标。路径位置权值函数d(i)是随着i的增大而减小的函数,其满足如下条件:

其中d(i)为正数。

设两路径a1=(count1,x1,x2,...,xn)和a2=(count2,y1,y2,...,yn),a1和a2按照最长共享子属序列方法进行匹配,得到相似子属序列a=(r1,r2,...,rn),count为此路径在当前文档中出现的次数。相似子属序列a中的各节点在a1中的下标为sign=(l1,l2,...,ln),在a2中的下标为

sign2=(l1,l2,...,lk)。因此得到路径a1和a2的相似度sim的计算公式(4)如下所示:

步骤四:计算xml文档相似度。针对x1和x2两个xml文档中的路径集xp1和xp2,分别记作xp1=(a1,a2,...,an)和xp2=(a1',a'2,...,a'n),匹配xp1和xp2中的各个路径并记录下匹配每条路径的最大相似度值为sim=(psim1,psim2,...,psimn),则用xml文档中的路径相似度计算公式如(5)所示:

式中,m和n分别是x1和x2的文档中节点数目,则该xml文档相似度计算方法的时间复杂度为o(mn)。提出的xml文档相似计算方法可得出路径的位置权重的重要性,路径的相似数目越多,则两xml文档越相似。通过计算xml文档的相似度,使数据匹配的操作前端预处理能快速将实时数据流根据相似度值分类,提高匹配的准确性和匹配速度。

具体实施方式三:

结合图5说明本实施方式,本实施方式的步骤如下:

步骤一:处理异构文件匹配,本发明采用树自动机自底向上的方式。即先要为每个叶子节点赋以初始状态值,然后根据叶子节点的父节点的标签为其赋以新的状态值,如此递归向上直到根节点,若根节点被赋以可接受状态时,表明输入树为可接受的。

步骤二:本发明采用后缀思想。即在处理xpath订阅路径时,从路径的末尾元素开始匹配的一种观点。处理过程中可将相同订阅通过xpath路径表示,并将xpath中目标相同元素合并、构建自动机,订阅请求便是以相同的后缀元素开始。对于订阅请求中相同部分谓词匹配路径,所利用不同的理论得到不同的表达方式,相对于前缀思想而言,后缀思想的表达形式具有更少的转换状态,从而减少了运行栈中状态数量,增加了吞吐量,提高了过滤效率。本方法利用后缀思想处理含有大量部分匹配谓词路径的订阅,结合无秩树自动机自底向上的处理方法,克服了“xebt机n条订阅需要n个树自动机”的问题,同时也克服了“xtafilter中谓词匹配需要在结构匹配之后进行”的难题。

步骤三:为所有的ptas创建一个初始状态(状态序号为1)。如果首先输入一个xpath订阅,c-ptas则从初始状态开始创建。一个新的xpath订阅被订阅,都要将其对应的ptas添加到c-ptas中。本方法开始需初始化订阅请求并转化为xpath表达式,接收预处理后的xml文档,根据值计算xml文档相似度值其分类并输入sax进行解析,同时,将大量部分匹配谓词路径中后缀相同的路径组成一个后缀树自动机,并且从叶子节点开始标签,自底向上处理直至根节点,递归完成过滤匹配。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1