分布式实时数据融合系统的制作方法
【技术领域】
[0001]本发明涉及计算机技术领域，尤其涉及一种分布式实时数据融合系统。
【背景技术】
[0002]随着传感器技术及其相关技术的不断发展，传感器技术的应用场景不断丰富，工业、农业、军事等领域都在大量地使用传感器来感知环境中的各种参数。多传感器数据融合技术是一门集多种学科于一体的前沿技术，已经广泛应用于战场监视、自动目标识别、工业过程控制、机器人、遥感、医疗诊断等领域。多传感器数据融合技术经过多年的研宄与发展已经取得了丰硕的理论和应用成果，计算机技术、通信技术和数据处理技术等相关技术的进步也为多传感器数据融合技术的发展提供了新的动力。
[0003]在民用领域，传感器技术用在自动化生产过程中可以监控生产设备的各项指标并及时地反馈生产过程状态或发出报警，确保生产设备处于正确的工作状态；在军事领域，传感器的应用更为重要，通过部署大量传感器弥补了人工监视和人工探测在距离与持久性等方面的短板，对现代国防工业的发展具有重要的意义。但是在目前的实际应用中，只采用单一种类传感器提供的感知或观测数据已经远远无法满足我们日益增长的需求，必须通过使用多种类型传感器的感知或观测数据综合计算与分析，得到目标或场景的状态和参数。其中，实时处理技术在多传感器数据融合系统中的作用和地位越来越重要，应用也越来越广泛。随着系统结构越来越复杂，数据规模越来越大，随着系统结构越来越复杂，数据规模越来越大，需要一种实时数据处理策略来维持系统的稳定运行，确保采集的数据流得到实时的计算。
【发明内容】
[0004]本发明所要解决的技术问题是:随着传感器类型的增加、传感器部署区域的扩大，多传感器数据融合技术的应用场景也越来越多，加上现代数据融合的算法更加复杂，新型传感器感知数据的结构更加多样，多传感器数据融合系统在并发性和扩展性上将逐渐受到限制，传统的集中式数据融合系统面临着严峻的性能考验。
[0005]为了解决上述技术问题，本发明提供了一种基于Storm引擎的分布式实时数据融合系统，充分利用了 Storm引擎分布式集群的高性能并行处理能力。
[0006]本发明的技术方案为:
[0007]—种分布式实时数据融合系统，包括:
[0008]数据采集模块，设置为获取并解析多个数据源发送的感知数据；
[0009]预处理模块，设置为依次对各个数据源对应的解析后的感知数据进行滤波；
[0010]对准模块，设置为将各个数据源对应的滤波后的感知数据对齐到同一采样时间点或时间片上；
[0011]状态估计模块，设置为利用各个数据源对应的对准后的感知数据生成并更新曲线拟合方程，并根据更新后的曲线拟合方程预估目标特征数据；
[0012]威胁估计模块，设置为根据预设的决策策略和预估的目标特征数据，得到决策信息；以及
[0013]决策信息分发模块，设置为将决策信息分发给订阅用户；
[0014]依次运行在Storm引擎的五个工作节点上的数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块均受控于Storm引擎的Zookeeper节点。
[0015]优选的是，所述数据采集模块包括:
[0016]采集单元，设置为与各个数据源建立连接，并获取各个数据源发送的感知数据；
[0017]格式化单元，设置为对各个数据源对应的感知数据进行格式化；
[0018]去冗余单元，设置为删除各个数据源对应的格式化后的感知数据中的冗余数据，得到各个数据源对应的解析后的感知数据。
[0019]优选的是，所述数据采集模块还包括与所述去冗余单元电连接的日志生成单元，所述日志生成单元设置为利用各个数据源对应的解析后的感知数据生成运行日志，并将生成的运行日志提交给日志记录单元。
[0020]优选的是，所述预处理模块包括:
[0021]第一接收单元，设置为接收所述数据采集模块发送的各个数据源对应的解析后的感知数据；
[0022]第一缓存单元，设置为依次对每个数据源，将所述数据源对应的解析后的感知数据存入相应的预处理缓存队列中；
[0023]第一判断单元，设置为判断所述预处理缓存队列中的解析后的感知数据的个数是否大于或者等于预设的第一数据个数；
[0024]滤波单元，设置为在所述预处理缓存队列里的解析后的感知数据的个数大于或者等于第一数据个数时，从所述预处理缓存队列里取出从当前时刻起的第一数据个数的解析后的感知数据，并将取出的解析后的感知数据装载进滤波算法执行器中进行分析和计算，得到所述数据源对应的滤波后的感知数据。
[0025]优选的是，所述预处理模块还包括与所述滤波单元电连接的优化单元；
[0026]所述优化单元，设置为依次对每个数据源，利用所述数据源对应的滤波后的感知数据替换所述数据源对应的预处理缓存队列里的解析后的感知数据。
[0027]优选的是，所述对准模块包括:
[0028]第二接收单元，设置为接收所述预处理模块发送的各个数据源对应的滤波后的感知数据；
[0029]第二缓存单元，设置为依次对每个数据源，将所述数据源对应的滤波后的感知数据存入相应的对准缓存队列中；
[0030]第二判断单元，设置为判断各个数据源对应的对准缓存队列中的滤波后的感知数据的个数是否均大于或者等于预设的第二数据个数；
[0031]对准单元，设置为在各个数据源对应的对准缓存队列中的滤波后的感知数据的个数均大于或者等于第二数据个数时，依次从各个数据源对应的对准缓存队列里取出从当前时刻起的第二数据个数的滤波后的感知数据，并将取出的滤波后的感知数据装载进对准算法执行器中进行分析和计算，得到各个数据源对应的对准后的感知数据。
[0032]优选的是，所述状态估计模块包括:
[0033]第三接收单元，设置为接收所述对准模块发送的各个数据源对应的对准后的感知数据；
[0034]第三缓存单元，设置为依次对每个数据源，将所述数据源对应的对准后的感知数据存入相应的状态估计缓存队列中；
[0035]第三判断单元，设置为判断所述状态估计缓存队列里的对准后的感知数据的个数是否大于或者等于预设的第三数据个数；
[0036]状态估计单元，设置为在所述状态估计缓存队列里的对准后的感知数据的个数大于或者等于第三数据个数时，从所述状态估计缓存队列里取出从当前时刻起的第三数据个数的对准后的感知数据，并将取出的对准后的感知数据装载进状态估计算法执行器中进行分析和计算，得到所述目标特征数据。
[0037]优选的是，所述威胁估计模块包括:
[0038]第四接收单元，设置为接收所述状态估计模块发送的目标特征数据；
[0039]策略执行单元，设置为根据所述目标特征数据从评估策略集中选择威胁评估策略；
[0040]决策信息生成单元，设置为根据所述目标特征数据和所述威胁评估策略，生成决策?目息O
[0041]优选的是，所述决策信息分发模块包括:
[0042]第一连接构建单元，设置为构建集成在威胁估计模块中的发布者客户端与决策信息分发单元之间的第一连接；
[0043]第二连接构建单元，设置为构建集成在决策信息分发模块中的订阅者客户端与服务器之间的第二连接；
[0044]主题创建单元，设置为在决策信息分布模块中创建主题；
[0045]决策信息分布单元，设置为通过所述第一连接接收所述威胁估计模块发送的决策信息且使所述决策信息与一个主题相关联，并通过所述第二连接将与订阅用户对应的服务器订阅的主题相关联的决策信息分发给所述订阅用户。
[0046]优选的是，所述数据源为传感器、视频输出设备、雷达或者集成网关。
[0047]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果:
[0048]应用本发明实施例提供的分布式实时数据融合系统基于分布式软件架构，采用Storm实时流式计算引擎作为系统的基础设施，使数据采集模块、预处理模块、对准模块、状态估计模块和威胁估计模块分别运行在Storm集群环境中的五个工作节点上，能够充分利用Storm分布式集群的高性能并行处理能力，大大提高了分布式实时数据融合系统的数据实时处理能力、容错性和稳定性，增强了分布式实时数据融合系统的并发性和扩展性，克服了传统的集中式数据融合系统存在的在并发性和扩展性上将受到限制的技术缺陷。
[0049]本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0050]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中:
[0051]图1示出了本发明实施例分布式实时数据融合系统的结构示意图；
[0052]图2示出了图1所示的分布式实时数据融合系统的具体结构示意图；
[0053]图3示出了本发明实施例分布式实时数据融合系统的拓