数据源融合的方法和装置的制造方法_3

文档序号:9750809阅读:来源:国知局
及当前融合的数据信息的时间戳。
[0068]由上可知,本发明所提供的数据源融合的方法,对待融合的数据源的数据信息的时间戳没有要求,能够实现多种不同种类的时间序列数据源融合,能有效利用待融合的数据源中数据信息的时间戳的排序特性,融合效率高,数据源融合的实现过程简单、成本低。
[0069]本发明提供一种数据源融合的装置,参见图3,图3是本发明的数据源融合的装置第一实施例的功能模块示意图。在第一实施例中,所述数据源融合的装置100包括:概要信息生成模块110和数据融合模块120。其中,所述概要信息生成模块110,用于根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息。所述数据融合模块120,用于根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。
[0070]本实施例中,所述数据源为时间序列数据源,即所述数据源中的每条数据信息均携带有时间戳。参见图4,图4是图3中数据融合模块的细化功能模块示意图。所述数据融合模块120具体包括:计算单元121、数据提取单元122、数据融合单元123和循环控制模块124。其中,所述计算单元121,用于计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点。所述数据提取单元122,用于在所述每种待融合的数据源中,提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息。所述数据融合单元123,用于将提取的所有数据信息,按时间戳的先后顺序排列融合。所述循环控制单元124,用于在数据融合单元将提取的所有数据信息按时间戳的先后顺序排列融合后,判断所有待融合的数据源内的数据信息是否全部融合完毕;若否,则返回依次调用计算单元、数据提取单元、数据融合单元执行各自相应的操作,直至所有待融合的数据源内的数据信息全部融合完毕。其中,所述计算单元121的相应操作为:计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点。所述数据提取单元122的相应操作为:在所述每种待融合的数据源中,提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息。所述数据融合单元123的相应操作为:将提取的所有数据信息,按时间戳的先后顺序排列融合。
[0071]本实施例中,第I个的当前待处理时钟点为所述多数据源中数据信息最早时间戳对应的的时间点,下一步待处理时钟点为当前待处理时钟点加上时钟步进值所对应的时间点。如假设所有待融合的数据源中数据信息最早的时间戳为00:10,第I?3个时钟步进值为10S,第4个时钟步进值为5S,则第I个当前待处理时钟点为00:10,对应的下一步待处理时钟点(即第2个当前待处理时钟点)为00:20 ;第2个当前待处理时钟点对应的下一步待处理时钟点(即第3个当前待处理时钟点)为00:30……第4个当前待处理时钟点对应的下一步待处理时钟点(即第5个当前待处理时钟点)为00:40,后续依此类推。
[0072]本实施例中,所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息包括所述当前待处理时钟点对应的数据信息,不包括所述下一步待处理时钟点对应的数据信息。如假设当前待处理时钟点为00:01,下一步待处理时钟点为00:10。第I种数据源中数据信息的时间戳分别为 00:00、00:01、00:03、00:06、00:07、00:09、00:10、00:12 ?’第 2 种数据源中数据信息的时间戳分别为 00:01、00:03、00:04、00:05、00:07、00:08、00:10、00:12 ;第3种数据源中数据信息的时间戳分别为00:00、00:02、00:03、00:06、00:07、00:08、00:09、00:10、00:12 ;则提取第 I 种数据源中时间戳为 00:01、00:03、00:06、00:07、00:09 对应的数据信息;提取第2种数据源中数据信息的时间戳分别为00:01、00:03、00:04、00:05、00:07、00:08对应的数据信息;提取第3种数据源中数据信息的时间戳分别为00:02、00:03、00:06、00:07、00:08、00:09 对应的数据信息。
[0073]本实施例中,所述计算单元121,具体用于当所述时钟步进值为第I?η个时钟步进值,则根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值。所述概要信息记录有相应数据源的文件名、所有数据信息的时间戳、所有数据信息的总数据量、起始行数据信息和结束行数据信息。计算单元121计算第I?η个时钟步进值具体细化过程如下:首先针对每种待融合的数据源,根据数据信息时间戳最早和最晚的时间点之间的时间长度和数据信息的总数据量计算平均每秒种的数据信息量AVG1 (i = 1,2,3,…,i代表第i种数据源),则第I?η个时钟步进值为(VMax(AVG1);其中,C为一个固定值,其中时钟步进值的单位为秒。
[0074]本实施例中,所述计算单元121,具体还用于当所述时钟步进值为第m个时钟步进值,则根据第m-z个至第m-Ι个时钟步进值,及第m-z个至第m_l个时钟步进值对应的融合数据信息量和融合时间,计算第m个时钟步进值;其中,η为3?10的自然数,m为大于η的自然数,ζ为3?6的自然数。例如:假设η等于3,ζ等于3,第m_3、m_2、m-Ι个时钟步进值分别为Λ ρΛ 2、Λ 3,对应的数据融合时间分别为V t2、t3,对应的融合数据信息量分别是I1U2U3,则对应的三次数据融合的平均每秒融合数据信息量P1= I ,A1 (i = I, 2,3)。所述计算单元121计算第m个时钟步进值具体过程如下:根据Λ ρΛ 2、Δ 3和对应的三次数据融合的平均每秒融合数据信息量P1= I ,A1 (i = 1,2, 3),使用最小二乘法拟合法计算最佳线性逼近函数f(A) = aX Λ+b,如果a>0.1则第m个时钟步进值相比第m-Ι个时钟步进值长增加10%,如果&〈-0.1则第m个时钟步进值相比第m-Ι个时钟步进值减小10%,否则第m个时钟步进值与第m-Ι个时钟步进值相等。
[0075]参见图5,图5是图3中数据融合模块的另一细化功能模块示意图。上述数据源融合的装置100实施例中,所述数据融合模块120还包括:转换单元125。所述转换单元125,用于在将提取的所有数据信息融合之前,将所提取的所有数据信息转换为设定的格式。如此处理能够保证融合后的数据格式一致。
[0076]上述数据源融合的装置100实施例中,所述数据融合单元123,具体用于采用线程迭代算法,将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合,形成多个融合数据;将多个融合数据中每两个融合数据进行进一步融合,直至融合为一个融合数据。如假设有8种数据源:第1、2、3、4、5、6、7、8种数据源,首先可以采用4个线程迭代算法程序,分别从该8种数据源选择2种数据源,同时将所选的2种数据源中提取的数据信息按时间戳的先后顺序排列融合,形成4个一级融合数据。然后采用2个线程迭代算法程序,分别从所述4个一级融合数据中选择2个融合数据按时间戳的先后顺序排列融合,形成2个二级融合数据;最后再采用I个线程迭代算法程序将2个二级融合数据按时间戳的先后顺序排列融合,形成最终的融合数据。
[0077]另外本实施例中,当数据源种类为奇数,所述数据融合单元123,还用于在将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合之后,将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。如假设有7种数据源,首先可以采用3个线程迭代算法程序,分别从该7种数据源选择2种数据源,同时将所选的2种数据源中提取的数据信息按时间戳的先后顺序排列融合,形成3个一级融合数据。然后将剩余的一种
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1