数据源融合的方法和装置的制造方法_2

文档序号:9750809阅读:来源:国知局
[0048]本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
【具体实施方式】
[0049]应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
[0050]本发明提供一种数据源融合的方法,参见图1,图1是本发明的数据源融合的方法第一实施例的流程图。在第一实施例中,所述数据源融合的方法包括:
[0051]步骤S10、根据接收的融合指令,为每种待融合的数据源生成记录有数据信息的时间戳的概要信息。
[0052]本实施例中,所述数据源为时间序列数据源,即所述数据源中的每条数据信息均携带有时间戳。
[0053]步骤S20、根据所述概要信息,将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。
[0054]参见图2,图2是图1中步骤S20的细化流程示意图。所述步骤S20具体包括:
[0055]步骤S21、计算时钟步进值,根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点。
[0056]本实施例中,第I个的当前待处理时钟点为所述多数据源中数据信息最早时间戳对应的时间点,下一步待处理时钟点为当前待处理时钟点加上时钟步进值所对应的时间点。如假设所有待融合的数据源中数据信息最早的时间戳为00:10,第I?3个时钟步进值为10S,第4个步进值为5S,则第I个当前待处理时钟点为00:10,对应的下一步待处理时钟点(即第2个当前待处理时钟点)为00:20 ;第2个当前待处理时钟点对应的下一步待处理时钟点(即第3个当前待处理时钟点)为00:30……第4个当前待处理时钟点对应的下一步待处理时钟点(即第5个当前待处理时钟点)为00:40,后续依此类推。
[0057]本步骤S21中,当所述时钟步进值为第I?η个时钟步进值,则所述计算时钟步进值具体为:根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值。
[0058]本实施例中,所述概要信息记录有相应数据源的文件名、所有数据信息的时间戳、所有数据信息的总数据量、起始行数据信息和结束行数据信息。
[0059]本步骤S21计算时钟步进值具体细化过程如下:首先针对每种待融合的数据源,根据数据信息时间戳最早和最晚的时间点之间的时间长度和数据信息的总数据量计算平均每秒种的数据信息量AVG1 (i = 1,2,3,…,i代表第i种数据源),则第I?η个时钟步进值为CVMax(AVG1);其中,C为一个固定值,其中时钟步进值的单位为秒。
[0060]本步骤S21中,当所述时钟步进值为第m个时钟步进值,则所述计算时钟步进值具体为:根据第m-z个至第m-Ι个时钟步进值,及第m-z个至第m_l个时钟步进值对应的融合数据信息量和融合时间,计算第m个时钟步进值,其中,η为3?10的自然数,m为大于η的自然数,ζ为3?6的自然数。假设η等于3,ζ等于3,第m-3、m-2、m-l个时钟步进值分别为八1、Λ 2、Λ 3,对应的数据融合时间分别为V t2、t3,对应的融合数据信息量分别是Ip 12、I3,则对应的三次数据融合的平均每秒融合数据信息量P1= I ,A1 (i = I, 2,3)。计算第m个时钟步进值具体为:根据Λ 2、Λ 3和对应的三次数据融合的平均每秒融合数据信息量Pi= I i/ti(i = I, 2, 3),使用最小二乘法拟合法计算最佳线性逼近函数f (Λ) = aX Λ+b,如果a>0.1则第m个时钟步进值相比第m-Ι个时钟步进值长增加10%,如果a〈_0.1则第m个时钟步进值相比第m-Ι个时钟步进值减小10%,否则第m个时钟步进值与第m-Ι个时钟步进值相等。
[0061]步骤S22、在所述每种待融合的数据源中,提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息。
[0062]本实施例中,所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息包括所述当前待处理时钟点对应的数据信息,不包括所述下一步待处理时钟点对应的数据信息。如假设当前待处理时钟点为00:01,下一步待处理时钟点为00:10。第I种数据源中数据信息的时间戳分别为 00:00、00:01、00:03、00:06、00:07、00:09、00:10、00:12 ?’第 2 种数据源中数据信息的时间戳分别为 00:01、00:03、00:04、00:05、00:07、00:08、00:10、00:12 ;第3种数据源中数据信息的时间戳分别为00:00、00:02、00:03、00:06、00:07、00:08、00:09、00:10、00:12 ;则提取第 I 种数据源中时间戳为 00:01、00:03、00:06、00:07、00:09 对应的数据信息;提取第2种数据源中数据信息的时间戳分别为00:01、00:03、00:04、00:05、00:07、00:08对应的数据信息;提取第3种数据源中数据信息的时间戳分别为00:02、00:03、00:06、00:07、00:08、00:09 对应的数据信息。
[0063]步骤S23、将提取的所有数据信息,按时间戳的先后顺序排列融合;判断所有待融合的数据源内的数据信息是否全部融合完毕;若是则结束流程,否则返回步骤S21。
[0064]本步骤S23中,将提取的所有数据信息进行融合之前还包括如下处理:将提取的所有数据信息转换为设定的格式,如此处理能够保证融合后的数据格式一致。
[0065]本步骤S23的具体处理过程为:采用线程迭代算法,将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合,形成多个融合数据。将多个融合数据中每两个融合数据进行进一步融合,直至融合为一个融合数据。如假设有8种数据源:第1、2、3、4、5、6、7、8种数据源,首先可以采用4个线程迭代算法程序,分别从该8种数据源选择2种数据源,同时将所选的2种数据源中提取的数据信息按时间戳的先后顺序排列融合,形成4个一级融合数据。然后采用2个线程迭代算法程序,分别从所述4个一级融合数据中选择2个融合数据按时间戳的先后顺序排列融合,形成2个二级融合数据;最后再采用I个线程迭代算法程序将2个二级融合数据按时间戳的先后顺序排列融合,形成最终的融合数据。
[0066]另外本实施例中,当数据源种类为奇数,在将所有待融合的数据源中每两种数据源中提取的数据信息,按时间戳的先后顺序排列融合之后还包括:将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。如假设有7种数据源,首先可以采用3个线程迭代算法程序,分别从该7种数据源选择2种数据源,同时将所选的2种数据源中提取的数据信息按时间戳的先后顺序排列融合,形成3个一级融合数据。然后将剩余的一种数据源中提取的数据信息与所述3个一级融合数据其中之一按时间戳的先后顺序排列融合,形成三级融合数据;然后采用I个线程迭代算法程序,将2个一级融合数据按时间戳的先后顺序排列融合,形成I个二级融合数据;最后再采用I个线程迭代算法程序将所述二级融合数据和三融合数据按时间戳的先后顺序排列融合,形成最终融合数据。当然在形成所述三级融合数据之后,也可以采用I个线程迭代算法程序,将所述三级融合数据与其中一个一级融合数据按时间戳的先后顺序排列融合形成四级融合数据,最后再将该四级融合数据和剩余的一级融合数据按时间戳的先后顺序排列融合形成最终融合数据。
[0067]进一步,本发明所提供的数据源融合的方法实施例,在步骤SlO之前还包括如下处理:根据接收的融合指令,为每种待融合的数据源生成相应的数据融合进度表,并实时更新数据融合进度表。所述数据融合进度表用于实时记录对应的数据源中数据信息融合的情况,如记录有对应的数据源文件名称、数据融合处理序列号、数据融合处理状态、当前数据行指针、以
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1