数据源融合的方法和装置的制造方法
【技术领域】
[0001]本发明涉及数据分析技术领域，尤其涉及数据源融合的方法和装置。
【背景技术】
[0002]大数据技术的发展为海量数据的分析提供了保证，使得机器生成的海量数据能够得到有效的挖掘。
[0003]时间序列数据源是一类特殊的数据源，每条数据信息都有一个相应的时间戳，各条数据信息按照时间戳的先后顺序排列。当今社会基础设施十分发达，互联网、物联网、移动通讯、移动定位等系统广泛存在，每时每刻机器产生海量的数据(Machine-generateddata)，这些数据从不同的角度反映了社会的方方面面，因此对机器生成的时间序列数据源分析是大数据分析的一个重要分支。
[0004]对不同机器生成的时间序列数据源作系统性的分析往往需要首先将不同机器生成的时间序列数据源进行融合，要求融合后的数据中各条数据信息仍然以时间戳的先后排序，这种融合后数据能够直观详实地反映目标体的时空轨迹状态。
[0005]然而现有时间序列数据源的融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低。
【发明内容】
[0006]本发明的主要目的在于解决现有的数据源融合技术对待融合的数据源的数据信息的时间戳要求严格、计算复杂、融合效率低的技术问题。
[0007]为了实现上述目的，本发明提供一种数据源融合的方法，所述方法包括:
[0008]根据接收的融合指令，为每种待融合的数据源生成记录有数据信息的时间戳的概要信息；
[0009]根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。
[0010]优选地，所述根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合具体包括:
[0011]步骤一、计算时钟步进值，根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点；
[0012]步骤二、在所述每种待融合的数据源中，提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息；
[0013]步骤三、将提取的所有数据信息，按时间戳的先后顺序排列融合；判断所有待融合的数据源内的数据信息是否全部融合完毕；若否，则返回步骤一；若是，则结束流程。
[0014]优选地，所述的数据源融合的方法，当所述时钟步进值为第I?η个时钟步进值，则所述计算时钟步进值具体为:根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值；
[0015]当所述时钟步进值为第m个时钟步进值，则所述计算时钟步进值具体为:根据第m-z个至第m-Ι个时钟步进值，及第m-z个至第m_l个时钟步进值对应的融合数据信息量和融合时间，计算第m个时钟步进值；
[0016]其中，η为3?10的自然数，m为大于η的自然数，ζ为3?6的自然数。
[0017]优选地，所述的数据源融合的方法，步骤三中将提取的所有数据信息进行融合之前还包括:
[0018]将提取的所有数据信息转换为设定的格式。
[0019]优选地，所述将提取的所有数据信息，按时间戳的先后顺序排列融合具体包括:
[0020]采用线程迭代算法，将所有待融合的数据源中每两种数据源中提取的数据信息，按时间戳的先后顺序排列融合，形成多个融合数据；
[0021]将多个融合数据中每两个融合数据进行进一步融合，直至融合为一个融合数据。
[0022]优选地，所述的数据源融合的方法，当待融合的数据源种类为奇数，在将所有待融合的数据源中每两种数据源中提取的数据信息，按时间戳的先后顺序排列融合之后还包括:
[0023]将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。
[0024]优选地，所述的数据源融合的方法，还包括:
[0025]根据接收的融合指令，为每种待融合的数据源生成相应的数据融合进度表，并实时更新数据融合进度表。
[0026]此外，为实现上述目的，本发明还提供一种数据源融合的装置，包括:
[0027]概要信息生成模块，用于根据接收的融合指令，为每种待融合的数据源生成记录有数据信息的时间戳的概要信息；
[0028]数据融合模块，用于根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合。
[0029]优选地，所述数据融合模块还包括:
[0030]计算单元，用于计算时钟步进值，根据当前待处理时钟点和所述时钟步进值计算下一步待处理时钟点；
[0031]数据提取单元，用于在所述每种待融合的数据源中，提取时间戳处于所述当前待处理时钟点和所述下一步待处理时钟点之间的数据信息；
[0032]数据融合单元，用于将提取的所有数据信息，按时间戳的先后顺序排列融合；
[0033]循环控制单元，用于在数据融合单元将提取的所有数据信息按时间戳的先后顺序排列融合后，判断所有待融合的数据源内的数据信息是否全部融合完毕；若否，则返回依次调用计算单元、数据提取单元、数据融合单元执行各自相应的操作，直至所有待融合的数据源内的数据信息全部融合完毕。
[0034]优选地，所述计算单元，具体还用于当所述时钟步进值为第I?η个时钟步进值，则根据所有待融合的数据源中数据信息时间戳最早和最晚的时间点计算时钟步进值；当所述时钟步进值为第m个时钟步进值，则根据第m-z个至第m-Ι个时钟步进值，及第m_z个至第m-Ι个时钟步进值对应的融合数据信息量和融合时间，计算第m个时钟步进值；其中，η为3?10的自然数，m为大于η的自然数，ζ为3?6的自然数。
[0035]优选地，所述数据融合模块还包括:
[0036]转换单元，用于在将提取的所有数据信息融合之前，将所提取的所有数据信息转换为设定的格式。
[0037]优选地，所述数据融合单元，具体用于采用线程迭代算法，将所有待融合的数据源中每两种数据源中提取的数据信息，按时间戳的先后顺序排列融合，形成多个融合数据；将多个融合数据中每两个融合数据进行进一步融合，直至融合为一个融合数据。
[0038]优选地，所述数据融合单元，具体还用于当数据源种类为奇数，在将所有待融合的数据源中每两种数据源中提取的数据信息，按时间戳的先后顺序排列融合之后，将剩余的一种数据源中提取的数据信息与所述多个融合数据中的一个融合数据进行融合。
[0039]优选地，所述的数据源融合的装置，还包括:
[0040]进度表生成模块，用于根据接收的融合指令，为每种待融合的数据源生成相应的数据融合进度表，并实时更新数据融合进度表。
[0041]本发明所提供的数据源融合的方法和装置，根据接收的融合指令，为每种待融合的数据源生成记录有数据信息的时间戳的概要信息；根据所述概要信息，将所有待融合的数据源的数据信息按照时间戳的先后顺序排列融合的方式，对待融合的数据源的数据信息的时间戳没有要求，能够实现多种不同种类的时间序列数据源融合，能有效利用待融合的数据源中数据信息的时间戳的排序特性，融合效率高，数据源融合的实现过程简单、成本低。
【附图说明】
[0042]图1是本发明的数据源融合的方法第一实施例的流程图；
[0043]图2是图1中步骤S20的细化流程示意图；
[0044]图3是本发明的数据源融合的装置第一实施例的功能模块示意图；
[0045]图4是图3中数据融合模块的细化功能模块示意图；
[0046]图5是图3中数据融合模块的另一细化功能模块示意图；
[0047]图6是本发明的数据源融合的装置第二实施例的功能模块示意图。