分布式实时数据融合系统的制作方法_4

文档序号:8365561阅读:来源:国知局
特征输入所选评估策略,生成决策信息。
[0117]图14示出了本发明实施例中决策信息分发模块6的工作流程示意图,如图14所示,决策信息分发模块6包括第一连接构建单元、第二连接构建单元、主题创建单元和决策信息分布单元。
[0118]具体地,第一连接构建单元,设置为构建集成在威胁估计模块5中的发布者客户端与决策信息分发单元之间的第一连接。第二连接构建单元,设置为构建集成在决策信息分发模块6中的订阅者客户端与服务器之间的第二连接。主题创建单元,设置为在决策信息分布模块中创建主题。决策信息分布单元,设置为通过第一连接接收威胁估计模块5发送的决策信息且使决策信息与一个主题相关联,并通过第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给订阅用户。
[0119]决策信息分发模块6的执行步骤如下:
[0120]步骤601:在威胁估计模块5中集成决策信息分发模块6提供的发布者客户端SDK。
[0121]步骤602:在决策信息分发模块6创建一个指定的主题(Topic)。(本步骤与步骤601顺序无关)
[0122]步骤603:使用发布者客户端SDK中提供的接口创建与决策信息分发模块6之间的TCP连接(即第一连接),同时配置此连接的主题和服务质量。
[0123]步骤604:威胁估计模块5将每次处理完数据生成的决策信息通过步骤603中的第一连接发送到决策信息分发模块6。
[0124]步骤605:决策信息的消费者通过使用决策信息分发模块6的订阅者SDK创建与服务器之间的连接(即第二连接),并订阅与上述相同的主题。
[0125]步骤606:决策信息分发模块6每收到发布者发来的消息,会根据订阅者的优先级分别发送给相应的主题订阅者;如果没有订阅者则丢弃此条消息。
[0126]值得注意的是,本文中提到的数据源可以选为传感器、视频输出设备、雷达或者集成网关。
[0127]本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
[0128]虽然本发明所公开的实施方式如上,但所述的内容只是为了便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属技术领域内的技术人员,在不脱离本发明所公开的精神和范围的前提下,可以在实施的形式上及细节上作任何的修改与变化,但本发明的保护范围,仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种分布式实时数据融合系统,其特征在于,包括: 数据采集模块,设置为获取并解析多个数据源发送的感知数据; 预处理模块,设置为依次对各个数据源对应的解析后的感知数据进行滤波; 对准模块,设置为将各个数据源对应的滤波后的感知数据对齐到同一采样时间点或时间片上; 状态估计模块,设置为利用各个数据源对应的对准后的感知数据生成并更新曲线拟合方程,并根据更新后的曲线拟合方程预估目标特征数据; 威胁估计模块,设置为根据预设的决策策略和预估的目标特征数据,得到决策信息;以及 决策信息分发模块,设置为将决策信息分发给订阅用户; 依次运行在storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块均受控于Storm引擎的Zookeeper节点。
2.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述数据采集模块包括: 采集单元,设置为与各个数据源建立连接,并获取各个数据源发送的感知数据; 格式化单元,设置为对各个数据源对应的感知数据进行格式化; 去冗余单元,设置为删除各个数据源对应的格式化后的感知数据中的冗余数据,得到各个数据源对应的解析后的感知数据。
3.根据权利要求2所述的分布式实时数据融合系统,其特征在于,所述数据采集模块还包括与所述去冗余单元电连接的日志生成单元,所述日志生成单元设置为利用各个数据源对应的解析后的感知数据生成运行日志,并将生成的运行日志提交给日志记录单元。
4.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述预处理模块包括: 第一接收单元,设置为接收所述数据采集模块发送的各个数据源对应的解析后的感知数据; 第一缓存单元,设置为依次对每个数据源,将所述数据源对应的解析后的感知数据存入相应的预处理缓存队列中; 第一判断单元,设置为判断所述预处理缓存队列中的解析后的感知数据的个数是否大于或者等于预设的第一数据个数; 滤波单元,设置为在所述预处理缓存队列里的解析后的感知数据的个数大于或者等于第一数据个数时,从所述预处理缓存队列里取出从当前时刻起的第一数据个数的解析后的感知数据,并将取出的解析后的感知数据装载进滤波算法执行器中进行分析和计算,得到所述数据源对应的滤波后的感知数据。
5.根据权利要求4所述的分布式实时数据融合系统,其特征在于,所述预处理模块还包括与所述滤波单元电连接的优化单元; 所述优化单元,设置为依次对每个数据源,利用所述数据源对应的滤波后的感知数据替换所述数据源对应的预处理缓存队列里的解析后的感知数据。
6.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述对准模块包括: 第二接收单元,设置为接收所述预处理模块发送的各个数据源对应的滤波后的感知数据; 第二缓存单元,设置为依次对每个数据源,将所述数据源对应的滤波后的感知数据存入相应的对准缓存队列中; 第二判断单元,设置为判断各个数据源对应的对准缓存队列中的滤波后的感知数据的个数是否均大于或者等于预设的第二数据个数; 对准单元,设置为在各个数据源对应的对准缓存队列中的滤波后的感知数据的个数均大于或者等于第二数据个数时,依次从各个数据源对应的对准缓存队列里取出从当前时刻起的第二数据个数的滤波后的感知数据,并将取出的滤波后的感知数据装载进对准算法执行器中进行分析和计算,得到各个数据源对应的对准后的感知数据。
7.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述状态估计模块包括: 第三接收单元,设置为接收所述对准模块发送的各个数据源对应的对准后的感知数据; 第三缓存单元,设置为依次对每个数据源,将所述数据源对应的对准后的感知数据存入相应的状态估计缓存队列中; 第三判断单元,设置为判断所述状态估计缓存队列里的对准后的感知数据的个数是否大于或者等于预设的第三数据个数; 状态估计单元,设置为在所述状态估计缓存队列里的对准后的感知数据的个数大于或者等于第三数据个数时,从所述状态估计缓存队列里取出从当前时刻起的第三数据个数的对准后的感知数据,并将取出的对准后的感知数据装载进状态估计算法执行器中进行分析和计算,得到所述目标特征数据。
8.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述威胁估计模块包括: 第四接收单元,设置为接收所述状态估计模块发送的目标特征数据; 策略执行单元,设置为根据所述目标特征数据从评估策略集中选择威胁评估策略; 决策信息生成单元,设置为根据所述目标特征数据和所述威胁评估策略,生成决策信息。
9.根据权利要求1所述的分布式实时数据融合系统,其特征在于,所述决策信息分发丰吴块包括: 第一连接构建单元,设置为构建集成在威胁估计模块中的发布者客户端与决策信息分发单元之间的第一连接; 第二连接构建单元,设置为构建集成在决策信息分发模块中的订阅者客户端与服务器之间的第二连接; 主题创建单元,设置为在决策信息分布模块中创建主题; 决策信息分布单元,设置为通过所述第一连接接收所述威胁估计模块发送的决策信息且使所述决策信息与一个主题相关联,并通过所述第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给所述订阅用户。
10.根据权利要求1至9中任一项所述的分布式实时数据融合系统,其特征在于,所述数据源为传感器、视频输出设备、雷达或者集成网关。
【专利摘要】本发明公开了一种分布式实时数据融合系统,其包括决策信息分发模块以及依次运行在Storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块。本发明采用Storm实时流式计算引擎作为系统的基础设施,使数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块分别运行在Storm集群环境中的五个工作节点上,能够充分利用Storm分布式集群的高性能并行处理能力,大大提高了分布式实时数据融合系统的数据实时处理能力、容错性和稳定性,增强了分布式实时数据融合系统的并发性和扩展性,克服了传统的集中式数据融合系统存在的在并发性和扩展性上将受到限制的技术缺陷。
【IPC分类】H04L29-08
【公开号】CN104683445
【申请号】CN201510038575
【发明人】程渤, 赵帅, 黄霁崴, 陈俊亮, 穆化鑫
【申请人】北京邮电大学
【公开日】2015年6月3日
【申请日】2015年1月26日
当前第4页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1