云环境下船舶航行数据的高效可视分析方法与流程

文档序号:12722415阅读:252来源:国知局

本发明涉及船舶航行数据分析技术领域,具体涉及一种云环境下船舶航行数据的可视分析方法。



背景技术:

目前,水上交通日益繁忙,交通流密度加大,船舶作为水上交通的行为主体,随着其大型化、专业化和高速化的发展,通航环境更加复杂化,影响船舶航行安全的因素正在不断增多,安全隐患和交通事故发生的可能性也在加大,对国民经济和人民财产构成严重威胁,因此,为船舶安全航行,规避风险,对船舶航行数据进行分析,有助于水上交通安全管理。

随着互联网、物联网技术的飞速发展,数据采集更为便捷,仅一艘营运中的船舶,24小时内通常可获取高达20GB的相关航行数据信息,这些信息内容繁多,涉及船舶位置、速度、航向等,海量的船舶航行数据已经形成。然而,这些数据的海量性和复杂度带来了对传统数据存储方式、分析、理解和呈现的巨大挑战,需要新处理模式才能从其中获得更强的决策力、洞察力与发现力。

可视分析作为科学可视化与信息可视化的自然延伸,将数据挖掘、计算机图形学与人机交互相结合,在海量数据分析中,显示了无与伦比的优势:通过交互式视觉表现方式,更直接地揭示隐藏在数据内部的规律,不仅对数据的认知、推理和决策提供更加有效支持,而且可驱动复杂数据分析。然而,面对海量数据规模效应,可视分析存在高效实现与灵活构建问题。

云计算无疑提供了解决方案:作为一种新兴共享基础架构方法,它以云服务方式将各种计算资源变成可供使用的动态、易扩展和可伸缩虚拟资源,从而提供超级计算和存储能力;而可视分析流程相对固定,可统一于可视化管道,方便利用云服务组合技术处理,以满足不同用户的可视化任务需求。目前已有一些基于工作流的可视化系统,但都没有考虑船舶交通领域中数据可视化多样性的特点,同时,也没有效利用云服务进行灵活的组合与分布运行,在处理海量的船舶航行数据时,严重影响可视分析的效率、交互性与实时性。



技术实现要素:

本发明的目的在于提供一种云环境下船舶航行数据的可视分析方法,本方法以可视分析的高效性为目标,利用面向列的开源数据库进行海量船舶航行数据的高效存储,通过船舶交通可视分析本体灵活实现云服务的选择与匹配,基于船舶航行数据特征,运用云服务间调用关系图建立可视分析组合优化模型,并对可视分析流程进行静态分割与动态调整,以提高船舶航行数据可视分析的效率。

为解决上述技术问题,本发明公开的一种云环境下船舶航行数据的高效可视分析方法,其特征在于,它包括如下步骤:

步骤1:将实时采集的船舶航行数据,利用逆序的船舶MMSI(Maritime Mobile Service Identify,水上移动通信业务标识码)与时间戳做数据表的主键,设计面向列的开源数据库HBase(Hadoop Database,Hadoop数据库)云存储模式;

步骤2:使用OWL-DL(Web Ontology Language-Description Logic,网络本体语言-描述逻辑)描述语言建立船舶交通可视分析本体,并设计基于HBase的OWL本体存储模式;

步骤3:利用描述逻辑,设计面向船舶航行可视分析特征的云服务描述模型,所述面向船舶航行可视分析特征的云服务描述模型包括可视化功能属性模型和QoS(Quality of Service,服务质量)属性模型;

步骤4:利用上述面向船舶航行可视分析特征的云服务描述模型,对用户可视分析功能需求和QoS需求进行描述;

步骤5:基于船舶交通可视分析本体的语义,在满足用户功能需求和QoS需求基础上,选择与用户功能需求和QoS需求相符合的可视分析云服务;分析实时采集的船舶航行数据的可视化特征,设计云服务内数据映射函数与云服务间功能语义映射函数,动态构建可视分析云服务优化组合模型;

步骤6:利用带权图对船舶航行可视分析流程建模,构建全局流程模型和局部流程模型,实现流程的静态优化分割;

步骤7:以服务推向数据、负载均衡化和吞吐量最大化为目标,建立多目标优化模型,完成局部流程的动态调整,以提高船舶航行数据的可视分析效率。

本发明的有益效果为:

1、本发明设计了一种基于HBase的船舶航行数据云存储方式;

2、本发明依据船舶交通特点建立了可视分析本体,实现了基于语义的可视分析云服务选择与组合;

3、本发明对云服务组合模型,将静态优化分割与动态调整相结合,有效地提高了面向船舶航行数据的可视分析流程执行效率。

附图说明

图1是本发明的流程图;

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细说明:

本发明云环境下船舶航行数据的高效可视分析方法,如图1所示,它包括如下步骤:

步骤1:将实时采集的船舶航行数据,利用逆序的船舶MMSI与时间戳做数据表的主键,设计面向列的开源数据库HBase云存储模式;

步骤2:使用OWL-DL描述语言建立船舶交通可视分析本体,并设计基于HBase的OWL本体存储模式;

步骤3:利用描述逻辑,设计面向船舶航行可视分析特征的云服务描述模型,所述面向船舶航行可视分析特征的云服务描述模型包括可视化功能属性模型和QoS属性模型;

步骤4:利用上述面向船舶航行可视分析特征的云服务描述模型,对用户可视分析功能需求和QoS需求进行描述;

步骤5:基于船舶交通可视分析本体的语义,在满足用户功能需求和QoS需求基础上,选择与用户功能需求和QoS需求相符合的可视分析云服务;分析实时采集的船舶航行数据的可视化特征,设计云服务内数据映射函数与云服务间功能语义映射函数,动态构建可视分析云服务优化组合模型;

步骤6:利用带权图对船舶航行可视分析流程建模,构建全局流程模型和局部流程模型,实现流程的静态优化分割;

步骤7:以服务推向数据、负载均衡化和吞吐量最大化为目标,建立多目标优化模型,完成局部流程的动态调整,以实现船舶航行数据的高效可视分析。

上述技术方案的步骤1中,逆序MMSI可以将不同AIS(Automatic Identification System,船舶自动识别系统)数据分布存储到不同区域,从而有效避免数据倾斜现象,提高了存储与处理效率;

所述面向列的开源数据库HBase云存储模式设计了两个列族,一个为位置列(POSITION),包含经度和纬度;另一个为信息列(INFORMATION),包含船舶航向、速度属性信息,以提高存取效率。

上述技术方案的步骤2中,使用OWL-DL描述语言建立船舶交通可视分析本体的具体方法为:在确定船舶交通可视分析本体应用目的与范围的基础上,定义该船舶交通可视分析本体由以下五个核心类组成:可视化任务集、船舶航行数据模型、船舶交通可视化方法、可视化表征方式、交互模式,其中:

可视化任务集包括如下子类:轨迹可视化、交通流量可视化、密度可视化、速度可视化、船舶间距可视化、航向可视化和船舶属性可视化(如船舶种类、尺寸等);

船舶航行数据模型,首先分为连续型数据模型、离散型数据模型;连续型数据模型继续划分为:标量型、矢量型、张量型、点型和多变量型五个子类,而标量型、矢量型、张量型、点型和多变量型五个子类又按维度进一步细分为一维、二维、三维和高维;离散型数据模型继续划分为:连接型与非连接型离散数据两个子类,而连接型与非连接型离散数据两个子类又按维度进一步细分为一维、二维和三维和高维;

船舶交通可视化方法包括如下子类:轨迹堆叠图、平行坐标、密度热力图、散点图、散点矩阵图、时间序列图、透视图、蜘蛛图、时空立方体、时间透镜图、对比堆叠柱状图和径向图;

可视化表征方式包括如下子类:图标法、几何体法,动画演化法、可视变量编码法;

交互模式包括如下子类:维度转换,维缩放、放大或缩小、关联、选择、重组、动态过滤、整体或细节、平移或旋转、焦点或上下文;

上述技术方案的步骤2中设计基于HBase的OWL本体存储模式的具体方法为:利用数据库存储方式把船舶交通可视分析本体描述语言中包含的类以及类之间逻辑关系,经过映射,保存到HBase数据库表中,以便保留本体语义,同时,将船舶交通可视分析本体模型分解后,使用基于HBase的方式存储,将加快选择可视分析云服务时匹配速度,由此,为该可视分析本体的命名空间、资源、本体三元组、各种属性限制、本体内各种关系,建立了相应的表,以实现对船舶交通可视分析本体的高效管理及处理。

上述技术方案的步骤3中,可视化功能属性模型用于描述云服务实现的可视分析功能,可视化功能属性模型定义为:

VizCS_function=<VizTask,DataModel,VizTech,VizRep,Interaction Model,>;其中:VizTask为可视化任务,DataModel描述云服务能处理的船舶航行数据模型,Viztech说明云服务提供的可视化方法,VizRep为可视化表征方式,InteractionModel为提供的交互模式;

QoS属性模型,定义为:

VizCS_QoS=<Reliability,ResponseTime,Price,Availability,Reputation,Safety>,其中:Reliability为云服务可靠性,ResponseTime为响应时间,Price为使用云服务的费用,Availability是可用性,Reputation为声誉,Safety是安全性。

上述技术方案的步骤4中,利用步骤3所定义的面向船舶航行可视分析特征的云服务描述模型,分别对用户的功能需求和QoS需求进行描述,建立用户的可视化功能需求模型与QoS需求模型;

上述技术方案的步骤5中,基于船舶交通可视分析本体的语义,利用用户的可视化功能需求模型与QoS需求模型,选择与用户可视化功能需求和QoS需求相符合的可视分析云服务;在此基础上,面向船舶航行数据的可视化特性,动态构建可视分析云服务优化组合模型;

所述云服务内数据映射函数f1用于描述可视化数据从可视分析云服务输入到输出的映射关系,Aout[.]=f1(Ain[.]),Ain[.],Aout[.]分别为可视分析云服务输入和输出的可视化数据模型;

所述云服务间功能语义映射函数f2用于描述可视化数据在可视分析云服务间的映射关系,Bin[.]=f2(Aout[.]);Aout[.],Bin[.]分别为可视分析云服务A输出的可视化数据模型和可视分析云服务B输入的可视化数据模型;

动态构建可视分析云服务组合模型的具体方法为:根据用户需求功能描述,建立可视分析云服务间组合关系有向图CRG;对云服务间参数传递模式进行分析,分为值与结果方式、传值方式、地址方式三种;在考虑云服务间参数传递模式基础上,先依据当前可视分析云服务A的输入Ain[.]计算获得输出Aout[.],然后利用船舶交通可视分析本体进行云服务间功能语义映射,获得可视分析云服务B输入的可视化数据模型Bin[.],如果匹配成功,则组合可视分析云服务A和B,利用以上云服务内数据映射函数f1和云服务间功能语义映射函数f2以及船舶交通可视分析本体,动态构建可视分析云服务组合模型;然后基于数据转换模型,优化可视分析云服务组合;

所述优化可视分析云服务组合的具体方法为:遍历可视分析云服务间组合关系有向图CRG的结点集合,构建该有向图的极小强连通子图,并归入到一个集合中;对于无法归入的每个结点,构造该结点的极大无环路图,如果产生的图多于一个结点,将其归入无环路图集合中,循环此过程,直到遍历完可视分析云服务间组合关系有向图CRG中所有结点,最后在无环路图集合中,选择满足用户QoS要求的可视分析云服务组合VizCCS。

上述技术方案的步骤6中,利用带权图对船舶航行可视分析流程建模,构建全局流程模型和局部流程模型,实现流程的静态优化分割的具体方法为:

对可视分析云服务组合VizCCS构建程序依赖图(PDG)G=(V,E),依据可视分析流程的三个阶段,首先进行初始的图划分:数据过滤G1,数据映射G2,图形绘制G3,构建全局流程模型;对数据过滤G1,数据映射G2,图形绘制G3,用结点之间通信量作为边权值,以云服务间通信量最小化,服务流程并行度最大化为目标,进行迭代式调整,构建可视分析局部流程模型,从而完成可视分析流程的静态优化分割。

上述技术方案的步骤7中,以服务推向数据、负载均衡化和吞吐量最大化为目标,建立多目标优化模型,完成局部流程的动态调整,以实现船舶航行数据的高效可视分析的具体方法为:

建立如下多目标优化模型:

s.t.

其中:G(x)用于描述将服务推向数据时开销,用虚拟机迁移所需花费描述,xi∈{0,1},xi=1表示虚拟机VMi迁移,xi=0表示虚拟机VMi没有迁移,表示迁移后获得第k类资源的开销,n为参与可视分析任务的虚拟机个数,q为需要获得的资源的种类;LB为负载均衡方差值,total(CSi)是虚拟机VMj上可视分析云服务CSi所需完成的工作量,computing(VMj)为虚拟机VMj的计算能力,m表示虚拟机上分配的可视分析云服务个数,VTj表示预计在虚拟机VMj上完成其可视分析任务的时间,为预计完成可视分析任务所需时间的均值;THRU为系统总体吞吐量,利用虚拟机之间单位时间里数据通信量dsij(VMi,VMj)描述,dsij(VMi,VMj)表示虚拟机VMi,VMj之间的数据通信量,如果没有数据通信,则值为0;表示虚拟机VMj上云服务CS所需的每类资源总和应该小于虚拟机上提供的每类资源数量s.t.表示受限于;

利用基于粒子群智能优化算法(PSO)的Pareto(帕累托法)方法,对以上所建立的多目标优化模型求解,并兼顾云服务费用,完成船舶航行数据可视分析局部流程的动态再调整。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1