可动态配置的大数据分析系统及方法_3

文档序号:9524634阅读:来源:国知局
实例列表,化sk表示该类服务对象的任 务信息模型。
[0129] ObjInstList[ObjInstID] : : = <NodeID,InstSta1:us,InstLoad〉
[0130] 其中的化jInstID是系统中服务对象实例的唯一标识,NodelD是该实例的宿主节 点标识,InstStatus是系统中服务对象实例状态标识(正常、重载),InstLoad表示对象实 例化jInstID当前的负载。
[0131] InstStatus: :=〈NORMALIOVERRIDE〉,其中的NORMAL表示实例处于正常状态, OVERRIDE表示实例处于重载状态。
[0132] NodeStatus: :=〈NORMALIREADYIOVERRIDE〉,其中的NORMAL表示节点处于正常状 态,READY表示节点处于就绪状态,OVERRIDE表示节点处于重载状态。 阳133] Ξ、数据存储管理配置组件的数据结构
[0134] 该存储管理配置组件的配置数据结构用InConfA血in表示,主要是设定流数据分 批工作的模块参数W及存储参数控制。如何构成一个处理批的数据量的大小,通常分为静 态设置与动态设置二种策略模式,对于数据源的均匀供给情况下,W固定大小的容易适合 实时分析并实时结果展示,对于数据源是随机供给产生时,W动态时间窗口timeWindow为 适宜。数据形式定义如下:
[0135] InConfA血in:: = {〈NodeList,Batchin曲ef,StoringRef〉}
[0136] NodeList为3. 2节中的相应定义,对于NodeList中的ObjTypeSet设定为 INADMIN,表示为数据存储管理类型的节点,Batchin曲ef表示流处理组件中的分批 (BatchingRef)参数控制,表示流处理组件中存储参数Storin曲ef控制。对于数据存储管 理组件中的批处理与存储而言的警示信息定义如下: 阳 137]Alarmln: : = {〈BatchingAlarm,StoringAlarm〉},BatchingAlarm是批的数据容 易过少或过大,StoringAlarm是指存储延迟警示。
[0138] 四、实时流分析计算配置组件的数据结构
[0139] 实时流分析计算配置组件RTConfA血in作为实时分析计算模块相关参数的 管理者,主要维护系统中参与分析计算的节点信息列表NodeList,实时分析任务列表 TaskList;同时,对实时流分析计算模块中分析组件所承担的负载均衡参数(RTLoad)进行 设定。相应的数据结构定义如下:
[0140] RTConfA血in:: =〈NodeList,RTAnalysisReferenceList,RTTaskList,RTLoad〉
[0141] NodeList为3. 2节中的相应定义,对于NodeList中的ObjTypeSet设定为 RTADMIN,相应地对于NodeLiSt中的化jectLiSt是系统中实时分析对象的信息列表,RTAnalysisReferenceList是实时分析参数列表,RTTaskList是实时分析任务列表,其列 表元素类型是化sk规定的分析实例的任务模型,RTLoad是实时计算配置组件节点的负载。 阳142] 五、离线分析计算配置组件的数据结构
[0143] 离线分析计算配置组件化ConfA血in作为离线分析计算模块相关参数的管理 者,主要维护系统中参与离线分析计算的节点信息列表NodeList,离线分析任务列表 OLTaskList,同时,对离线分析计算模块中分析组件所承担的负载均衡参数(ο化oad)进行 设定。相应的数据结构定义如下:
[0144] OLConfA血in::=<NodeList, RTAnalysisReferenceList, RTTaskList, RTLoad〉
[0145] NodeList为3. 2节中的相应定义,对于NodeList中的ObjTypeSet设定为 0LADMIN,相应地,对于NodeList中的化jectList是系统中离线计算分析对象的信息列表, OLAnalysisReferenceList是离线计算分析参数列表,化化skList是离线计算分析任务列 表,其列表元素类型是化sk规定的分析实例的任务模型,0化oad是离线计算配置组件节点 的负载。 阳146] 六、动态配置视图组件的数据结构 阳147]动态配置视图(记为位于本发明所述系统上层的可视化层面, 维护系统总体中的配置信息列表。
[014引 ViewConfAdmin: : = ?AlarmAdmin,RTConfAdmin,OLConfAdmin,InConfAdmin)}
[0149] 该动态配置方法由四个配置组件组成:动态配置视图用于全局 管理;AlarmA血in表示警示配置管理,RTConfA血in表示实时流分析计算配置组件,作为实 时分析计算模块相关参数的管理者;OLConfAdmin表示离线数据分析计算配置组件,主要 负责该离线计算模块动态配置相关控制参数;InConfA血in表示存储管理配置组件,主要 负责该模块动态配置相关控制参数。
[0150] 屯、动态配置管理器的数据结构 阳15U在系统上层动态配置视图ViewConfA血in中的警示管理器AlarmA血in有能力来 维护视图结构中的配置信息列表,对于系统的警示信息所必须做的操作主要包括节点W及 对象实例需要做相应的操作,如重载操作、参数调整操作、删除操作、激活操作、更新操作、 置空操作等等。警示配置管理数据结构用AlarmA血in表示,用W执行ViewConfA血in中所 展示的动态配置该节点的相关任务。运种,其相应的结构定义如下:
[0152]AlarmAdmin:: = <AlarmNodeList,AlarmObjectInstList,AlarmTaskList) 阳153]AlarmNodeList[NodelD]:: = {<NodeStatus, NodeLoad>}
[0154] AlarmObjectInstList[ObjectInstID]:: = {〈NodelD,AlarmObjID,AlarmlnstID ,InstLoad〉}
[01 巧]AlarmTaskList[TaskID]::= {〈TaskName〉}
[0156]其中,AlarmNodeList是警不信息中的节点列表,AlarmObjectInstList是警不信 息中的相关运行的对象实例列表,AlarmTaskList是警示任务信息列表。 阳157] 八、动态配置方法中的消息
[0158] 对大数据分析系统中采用动态配置方法,消息结构是运行期动态调整系统配置的 通信基础。下面形式定义所必须的几种消息类型,其中的AlarmOb jectInstList表示警示 的运行时对象实例信息,AlarmNodelD是警示的唯一节点标识。
[0159] (l)Alarm(<[NodeID]〉,<WbjInstList]>):数据存储管理模块、实时计算模块W 及离线计算模块向动态配置视图ViewConfA血in发送警示节点及对象实例的列表信息。
[0160] (2)Adjust(<[NodeList], [ReferenceList]〉I<[NodelD], [ObjInstList], [Refer enceList]〉):动态配置视图组件ViewConfA血in通过动态配置管理器向数据存储管理模 块、实时计算模块W及离线计算模块发送节点及对象实例的参数调整信息。 阳161] (3)OverLoad([NodeList]I< [NodelD], [ObjInstList]〉):动态配置视图组件 ViewConfA血in通过动态配置管理器向数据存储管理模块、实时计算模块W及离线计算模 块发送节点及对象实例的重载信息。 阳162] (4)Active([NodeList]|<[NodeID], [ObjInstList]〉):动态配置视图组件ViewConfA血in通过动态配置管理器向数据存储管理模块、实时计算模块W及离线计算模 块发送对象实例的激活信息。 阳163] (5)Delete([NodeList]|<[NodelD], [ObjInstList]〉):动态配置视图组件 ViewConfA血in通过动态配置管理器向数据存储管理模块、实时计算模块W及离线计算模 块发送节点或对象实例的删除信息。
[0164] (6)Update(<[NodeList], [ReferenceList]〉I<[NodelD], [ObjInstList],[Refer enceList]〉):各模块节点(数据存储管理模块、实时计算模块W及离线计算模块)通过动 态配置管理器向动态配置视图组件ViewConfA血in发送节点或对象实例的状态或参数更 新信息。 阳1化](7)GetLoacK[NodeList] |<[NodelD], [ObjInstList]〉):动态配置视图组件ViewConfA血in通过动态配置管理器向数据存储管理模块、实时计算模块W及离线计算模 块发送节点或对象实例的获取负载赌的信息。 阳166] (8)SetNulU[NodeList] |<[NodelD], [Ob
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1