本发明涉及计算机技术领域，尤其涉及一种应用于数据仓库的数据处理方法和装置。
背景技术：
随着业务数据的快速增长，数据仓库建设已成为有效管理和利用大数据进行商业智能和辅助决策的关键措施。通常，基于hive的数据仓库以离线数据处理为主，且主要支持时效为(t+1)的数据业务。离线etl(extract-transform-load，抽取-转换-加载)数据仓库的运行方式越来越无法满足用户对实施数据的处理需求。
现有技术中，实现数据仓库的准实时etl的方案，是将历史数据与通过实时计算框架处理的流数据文件分开进行存储。对于实时数据以及历史数据不会进行关联处理，只有当需要查询数据时，需依赖用户依据主键(primarykey)id，将相应的历史数据与实时数据提取出来，然后基于各数据的更新时间，提取更新时间字段最近的数据记录。
在实现本发明的过程中，发明人发现现有技术至少存在如下问题：
(1)所提取的数据中，可能包含用户非必要的历史数据，导致用户在进行数据记录生成之前，需要首先对数据进行筛选操作，较为复杂；
(2)依赖于用户手动进行数据去重的操作，可能导致同一主键id下历史数据与实时数据重复存储的情况；
(3)也使得基于hive数据分析引擎在进行操作时，对于同一主键id的数据，每次更新得到的数据记录都会进行存储，所得数据量较大，导致hive处理业务的复杂度和任务成本较大。
技术实现要素：
有鉴于此，本发明实施例提供一种应用于数据仓库的数据处理方法和装置，至少能够解决现有技术中依赖用户手动对实时数据与历史数据进行去重操作，导致去重效率不客观，同时影响后续业务处理复杂的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种应用于数据仓库的数据处理方法，包括：接收实时数据，确定与实时数据相关联的历史数据；确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中；分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
可选的，在接收实时数据之前，还包括：读取多个历史数据，获取每个历史数据的主键信息，确定与每个主键信息相应的文件，将每个历史数据存储至相应文件中的历史数据层中；
接收实时数据，确定与实时数据相关联的历史数据包括：接收实时数据，获取实时数据的主键信息，确定与实时数据的主键信息相应的历史数据，存储实时数据至历史数据所处文件中的实时数据层中。
可选的，文件还包括文件头；其中，文件头包括历史数据在历史数据层中占用的空间长度信息、以及实时数据在实时数据层中的存储起点位置信息。
可选的，接收实时数据包括：当达到预定调用条件时，接收实时数据；其中，预定调用条件包括预定调用周期、调用量达到预定调用量阈值中的至少一种。
可选的，在提取最新版本的实时数据或历史数据，以生成相应的数据记录之后，还包括：接收数据读取请求，当数据读取请求与数据记录相应时，提取数据记录并输出。
为实现上述目的，根据本发明实施例的另一方面，提供了一种应用于数据仓库的数据处理装置，包括：数据接收模块，用于接收实时数据，确定与实时数据相关联的历史数据；数据传输模块，用于确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中；数据合并模块，用于分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
可选的，还包括数据拆分模块，用于：读取多个历史数据，获取每个历史数据的主键信息，确定与每个主键信息相应的文件，将每个历史数据存储至相应文件中的历史数据层中；
数据接收模块，用于：接收实时数据，获取实时数据的主键信息，确定与实时数据的主键信息相应的历史数据，存储实时数据至历史数据所处文件中的实时数据层中。
可选的，文件还包括文件头；其中，文件头包括历史数据在历史数据层中占用的空间长度信息、以及实时数据在实时数据层中的存储起点位置信息。
可选的，数据接收模块，用于：当达到预定调用条件时，接收实时数据；其中，预定调用条件包括预定调用周期、调用量达到预定调用量阈值中的至少一种。
可选的，还包括数据读取模块，用于：接收数据读取请求，当数据读取请求与数据记录相应时，提取数据记录并输出。
为实现上述目的，根据本发明实施例的再一方面，提供了一种应用于数据仓库的数据处理的电子设备。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的应用于数据仓库的数据处理方法。
为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一所述的应用于数据仓库的数据处理方法。
根据本发明所述提供的方案，上述发明中的一个实施例具有如下优点或有益效果：对历史数据和实时数据进行融合处理，以最大程度减少数据重复存储，提升存储空间利用率，同时提升了数据仓库的时效性，满足了用户对于实时数据的查询分析需求。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的一种应用于数据仓库的数据处理方法的主要流程示意图；
图2是根据本发明实施例的一种可选的应用于数据仓库的数据处理方法的流程示意图；
图3是根据本发明实施例提供的目标文件的结构示意图；
图4是根据本发明实施例的另一种可选的应用于数据仓库的数据处理方法的流程示意图；
图5是根据本发明实施例的又一种可选的应用于数据仓库的数据处理方法的流程示意图；
图6是根据本发明实施例的一种应用于数据仓库的数据处理装置的主要模块示意图；
图7是本发明实施例可以应用于其中的示例性系统架构图；
图8是适于用来实现本发明实施例的移动设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，本发明实施例主要适用于线上平台的实时数据仓库的构建，例如电商平台。另外，所提供的拆分，为将原来的数据，按照预定规则进行数据的重新分布。
参见图1，示出的是本发明实施例提供的一种应用于数据仓库的数据处理方法的主要流程图，包括如下步骤：
s101：接收实时数据，确定与实时数据相关联的历史数据。
s102：确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中。
s103：分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
上述实施方式中，对于步骤s101，数据接入层，主要通过分布式消息系统(例如kafka)，将关系型数据库中的数据实时接入到消息队列中，作为生产者向数据仓库读写层提供实时数据。
对于所接收到的实时数据，可以依据其主键信息确定是否与历史数据有关联，该主键信息是可以唯一定位一条数据的字段，例如身份证号码、imei(internationalmobileequipmentidentity，国际移动设备识别码)、id、订单号、物流单号、文档名称等。
举例有：
1)以电商平台为例，在订单生成时即设置有相对独立的订单号，例如，订单的订单号129790581375589629；
2)以物流平台为例，不同物流平台有各自的物流单号设置规则，例如，物流平台a的物流单号为11位，物流平台b的物流单号为8为，且每个订单都分配有相对独立的物流单号，例如，48032161540；
3)以文档为例，不同文档有不同的文档名称，同时对应于不同的存储位置，例如，存储于桌面的文档1。
对于步骤s102，在数据仓库中设置有文件，用以存储分组后的实时数据以及历史数据。具体的，首先对历史数据进行分配，确定存储位置文件，之后，若接收到实时数据，则将其分配至该文件中。
进一步的，为便于对文件中数据的管理，可以对文件中的实时数据以及历史数据进行分层管理，且实时数据随时更新变化，因此，可以将实时数据置于最下层、历史数据置于上层。
对于步骤s103，基于对数据记录状态需要实时更新的要求，可以仅提取版本最新的数据，生成数据记录。该版本，可以是更新时间、也可以是版本号等，本发明主要以更新时间为例进行说明。
另外，基于合理利用空间资源的思想，在获取实时数据，结合历史数据生成数据记录之后，可以删除相关的历史数据记录，该删除，可以是删除所有，也可以仅仅是删除部分。例如，存储空间有限，仅可以存储3个数据记录，则将时间靠前的数据记录进行删除，仅保留时间较新的3个数据记录即可。
以下进行举例说明：
1)历史数据为订单1的下单时间2018/3/6-10:00，所接收到的实时数据为订单1的支付时间为2018/3/6-11:00，则生成数据记录为订单1的支付时间为2018/3/6-11:00，并基于该实时数据写入历史数据，生成新的历史数据—订单1的下单时间2018/3/6-10:00、支付时间为2018/3/6-11:00；
2)若再接收到实时数据订单1的配送时间2018/3/7-9:00，此时的历史数据为订单1的下单时间2018/3/6-10:00、支付时间2018/3/6-11:00，此时所生成的数据记录为订单1的配送时间2018/3/7-9:00。
通常情况下，实时数据的更新时间较与历史数据较新，即所得数据记录通常基于实时数据产生，但也存在异常情况，例如，因系统故障，一部分实时数据上传出现延迟，导致更新时间较晚，此时仍基于历史数据生成数据记录，并重新更新历史数据记录。
另外，所生成的数据记录除可以表示最新数据的更新时间(updatetime或者修改时间)外，例如，订单1的配送时间2018/3/7-9:00，还可以表示该订单的所有时间状态，例如，订单1的下单时间2018/3/6-10:00、支付时间为2018/3/6-11:00。
进一步的，每次实时数据写入完毕后，为减少数据重复存储，可以进行历史数据与实时数据的合并决策。该合并决策，将判断历史数据是否需要与实时数据进行版本(即更新时间)合并，具体有：
1)确定存储实时数据与历史数据的文件，读取该文件的文件头信息，以计算实时数据的存储大小，例如，该文件的占用空间量减去实时数据的开始位置所占用的空间量；
2)当实时数据的存储大小(例如，15m)大于预定的合并大小(例如，10m)时，可以触发合并；
3)合并时，将实时数据加载至内存中，同时遍历该文件中的历史数据，基于实时数据与历史数据的版本，将最新版本的实时数据写入最终文件的历史数据部分，并删除该文件中相应的实时数据存储记录。
需要说明的是，现有的数据都是存储于文件中，例如，磁盘，但在数据合并等处理时，需要将数据提取到内存中进行处理。
另外，对于文件的读写层，主要以文件为核心，作为实时数据源的消费者，不断将实时数据与分布式文件系统中的历史数据进行整合，并基于实时数据与历史数据的对比，确定最新的数据，便于后续对最新实时更新数据的查询。
上述实施例所提供的方法，提供了一种生成数据记录以应用于数据仓库的数据处理的方法，实现了实时数据仓库中实时数据的整理机制，提高了对于数据处理的实时性要求；另外，基于实时数据与历史数据的分组合并整理，基于实时数据与历史数据的版本比对，可以确定最新的数据，将最新的数据写入到文件中，便于后续对最新数据的查询，整体简化了用户操作，节约了数据存储空间，提高了数据查询效率。
参见图2，示出了根据本发明实施例的一种可选的应用于数据仓库的数据处理方法的流程示意图，包括如下步骤，
s201：读取多个历史数据，获取每个历史数据的主键信息，确定与每个主键信息相应的文件，将每个历史数据存储至相应文件中的历史数据层中。
s202：接收实时数据，获取实时数据的主键信息，确定与实时数据的主键信息相应的历史数据。
s203：确定历史数据所处文件，传输实时数据至文件中的实时数据层。
s204：分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
上述实施方式中，所述步骤s203、s204可分别参见图1所示步骤s102、s103的描述，在此不再赘述。
上述实施方式中，对于步骤s201，在接收实时数据之前，对于当前已存在的数据，即历史数据，需要进行初始化处理，即对历史数据进行拆分，以将拆分后的历史数据重新进行分配，得知每条数据所存放的位置，便于后续更新时进行快速定位。
通过hadoopmapreduce框架读取hdfs上的离线数据，即历史数据中的主键信息，并加载至实时数据文件系统中。也就是通过历史数据，重新生成一批实时文件，且历史数据与文件基于主键信息进行关联，便于将不同主键信息的历史数据写入到不同的文件中。但当不存在与该主键信息相应的文件时，则需创建新文件。
另外，文件具有数量限制，该数量不能超出所存储位置的空间大小，例如，文件数量＝hdfs目录大小/blocksize，其中，blocksize为数据存储的最小单位。当hdfs目录大小为2000m，blocksize为128m时，所得文件数量为2000/128＝15.6约等于16个。
进一步的，还可以生成记录表，至少用以记录主键信息、文件的对应关系，便于后续查询。另外，写入数据的时候可以做缓存进行批量写入，以提高性能。
对于步骤s202，对于所接收到的实时数据，根据相同的文件分配算法，将实时数据分发至与历史数据主键相同的文件分区内。
所使用的分发方式，可以是使用多线程方式，例如，使用java的线程池，线程池中有很多线程，每个线程处理一个文件。也可以采用其他方式，例如顺序一个一个处理，但较与多线程方式，效率较低，速度较慢。
进一步的，对数据仓库中目标文件(realtimefile，rtf，实时文件)的结构，还包括文件头部分，具体参加图3所示，其中：
1)文件头：文件中的第一行，用以存储元数据信息，即历史数据在目标文件中占用的空间长度信息、实时数据在目标文件中存储起点的位置信息；
2)历史数据层：文件中第二行开始是历史数据部分，且历史数据的结尾需添加标识行(例如，–rt—)或者分割符(例如，回车\n)，以区分实时数据；
3)实时数据层：从标识行或分割符的下一行开始，即实时数据部分。
需要说明的是，由于实时数据是不断变化的，历史数据是相对不便的，因此，实时数据与历史数据部分位置不可以调换，即需要先写入历史数据，之后再不断写入实时数据，便于后续数据处理。
另外，对于“历史数据的空间长度信息”以及“实时数据的位置信息”的选取，便于告知写数据的程序从哪里开始写实时数据，读数据的程序从哪里开始读取实时数据。且对于历史文件的空间长度信息的确定，需要在所有文件写完毕之后再进行更新。
上述实施例所提供的方法，基于对历史数据的重新分配，可以得知每个数据所存放的位置，便于后续进行数据更新时的快速定位和管理，提高了实时数据的存储速度。
参见图4，示出的是本发明实施例提供的另一种可选的应用于数据仓库的数据处理方法的主要流程图，包括如下步骤：
s401：当达到预定调用条件时，接收实时数据，确定与实时数据相关联的历史数据；其中，预定调用条件包括预定调用周期、调用量达到预定调用量阈值中的至少一种。
s402：确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中。
s403：分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
上述实施方式中，步骤s402、s403可分别参见图1所示步骤s102、s103的描述，在此不再赘述。
上述实施方式中，对于步骤s401，对于历史数据的初始化处理，具体参见图2所示步骤s201的描述；确定与实时数据相关联的历史数据，具体参见图1所示步骤s101的描述，在此不再赘述。
对于实时数据的写入，可以通过kafka模块，每当达到调用条件时，调用批量写数据接口，将数据写入缓存中。
对于实时数据的调用条件，可以是调用时间周期或者累计达到一定数据量，例如，每过30s、累计数量达到100个。且调用周期和调用阈值可以基于实际所需进行相应设置。
在实时数据写入过程中，如果需要记录实时数据队列的写入位置(例如，存储期限位置)，需要对写入结果进行判断，确定该实时数据是否成功写入。但当写入失败时，可以从记录的位置重写之前写入失败的实时数据。另外，该重写操作可以有次数限制，若超出则清除该实时数据；也可以没有次数限制，直至写入成功为止。
由于处理实时数据的线程有限，因为对于所写入的实时数据具有数量限制，当写入的数据量达到预定缓存设置上限后，启动线程池，根据实时数据的主键信息，使用多线程的方式，将实时数据分发至历史数据主键相同的文件中。
上述实施例所提供的方法，提供了对于实时数据的接收条件以及处理条件设置，便于后续控制处理，同时降低了缓存的运算服务压力，保证系统的正常运行。
参见图5，示出的是本发明实施例提供的又一种可选的应用于数据仓库的数据处理方法的主要流程图，包括如下步骤：
s501：接收实时数据，确定与实时数据相关联的历史数据。
s502：确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中。
s503：分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
s504：接收数据读取请求，当数据读取请求与数据记录相应时，提取数据记录并输出。
上述实施方式中，步骤s501可参见图1所示步骤s101的描述，也可以参见图2所示步骤s201、s202的描述，还可以参见图4所示步骤s401的描述；步骤s502可参见图1所示步骤s102的描述；步骤s503可参见图1所示步骤s103的描述，在此不再赘述。
上述实施方式中，对于步骤s504，在实时数据与历史数据合并之后，可以接收数据查询请求，通过判断主键信息文件中的更新时间，将最新版本的数据记录输出，或者将实时数据与历史数据所组合生成的数据记录输出。
进一步的，数据查询请求，也可以位于实时数据接收之前。由于对于实时数据与历史数据的合并，需要有一定的时间间隔(例如，几十秒或几分钟)，且实时数据是连续不断、批量写入到文件中的，因此，在读取时，对于没有合并的数据需要进行合并，才能保证所读取的数据是最新数据。具体地：
1)通过读取文件中的元数据信息，获取实时数据在文件中的位置；
2)将文件中的实时数据部分加载到内存中；
3)遍历历史数据部分，将同一主键信息的历史数据和实时数据进行分组；
4)对分组后的实时数据与历史数据进行版本比对，通过判断更新时间，将最新版本的数据作为数据记录、或者将实时数据与历史数据进行整合生成数据记录。
另外实时数据仓库系统，可以支持不同数据引擎对实时数据的查询，也可以支持不同数据分析算子，例如，求和sum、取最大值max等。
上述实施例所提供的方法，提供了对于数据仓库系统的查询处理，基于实时数据对历史数据的整合，能够保证所读取的数据是最新的数据，提高了数据处理的实时需求，同时支持不同查询引擎以及数据分析算子，应用范围较广。
本发明所采用的关系型数据库，可以是mysql，以事件的形式记录了除mysql查询操作外的所有数据ddl(datadefinitionlanguage，数据库定义语言)和dml(datamanipulationlanguage，数据库操作语言)语句，这些事件描述了存储在mysql中业务数据的更新。且只需跟踪数据的变化，不会修改数据库中的数据。
另外，所采用的分布式消息系统，可以是kafka。kafka是一种分布式的基于发布/订阅的消息系统，通常用于构建实时数据源的消息队列。具备高吞吐率，低延迟的特点，支持每秒100k以上的消息传输。
本发明实施例所提供的方法，重新设计了一种实时文件结构，实现了传统数据仓库与实时计算技术的结合，极大提升了数据仓库的etl时效性，满足了用户进行实时大数据的查询分析需求。另外，基于现有离线数据的基础上，可降低对数据仓库实时计算的开发成本，更加符合数据仓库的业务需求。
参见图6，示出了本发明实施例提供的一种应用于数据仓库的数据处理的装置600的主要模块示意图，包括：
数据接收模块601，用于接收实时数据，确定与实时数据相关联的历史数据；
数据传输模块602，用于确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中；
数据合并模块603，用于分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
本发明实施装置，还包括数据拆分模块604(图中未标出)，用于：读取多个历史数据，获取每个历史数据的主键信息，确定与每个主键信息相应的文件，将每个历史数据存储至相应文件中的历史数据层中；
数据接收模块601，用于：接收实时数据，获取实时数据的主键信息，确定与实时数据的主键信息相应的历史数据。
本发明实施装置，文件还包括文件头；其中，文件头包括历史数据在历史数据层中占用的空间长度信息、以及实时数据在实时数据层中的存储起点位置信息。
本发明实施装置，数据接收模块601，用于：当达到预定调用条件时，接收实时数据；其中，预定调用条件包括预定调用周期、调用量达到预定调用量阈值中的至少一种。
本发明实施装置，还包括数据读取模块605(图中未标出)，用于：接收数据读取请求，当数据读取请求与数据记录相应时，提取数据记录并输出。
另外，在本发明实施例中所述的应用于数据仓库的数据处理装置的具体实施内容，在上面所述应用于数据仓库的数据处理方法中已经详细说明了，故在此重复内容不再说明。
本发明实施例所提供的装置，重新设计了一种实时文件结构，实现了传统数据仓库与实时计算技术的结合，极大提升了数据仓库的etl时效性，满足了用户进行实时大数据的查询分析需求。另外，基于现有离线数据的基础上，可降低对数据仓库实时计算的开发成本，更加符合数据仓库的业务需求。
参见图7示出了可以应用本发明实施例的应用于数据仓库的数据处理方法或应用于数据仓库的数据处理装置的示例性系统架构700。
如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交系统软件等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的应用于数据仓库的数据处理方法一般由服务器705执行，相应地，应用于数据仓库的数据处理装置一般设置于服务器705中。
应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
参见图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram803中，还存储有系统800操作所需的各种程序和数据。cpu801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据接收模块、数据传输模块以及数据合并模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据传输模块还可以被描述为“实时数据传输至文件的实时数据层模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
接收实时数据，确定与实时数据相关联的历史数据；
确定历史数据所处文件，传输实时数据至文件中的实时数据层；其中，历史数据位于文件的历史数据层中；
分别获取实时数据以及历史数据的版本，提取最新版本的实时数据或历史数据，作为文件的最新数据记录，并写入历史数据层中进行记录更新。
根据本发明实施例的技术方案，重新设计了一种实时文件结构，实现了传统数据仓库与实时计算技术的结合，极大提升了数据仓库的etl时效性，满足了用户进行实时大数据的查询分析需求。另外，基于现有离线数据的基础上，可降低对数据仓库实时计算的开发成本，更加符合数据仓库的业务需求。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。