专利名称：一种批量数据入库装置、系统及方法
技术领域：
本发明涉及数据入库领域，特别涉及一种批量数据入库装置、系统及方法。
背景技术：
目前数据库的应用越来越广泛，数据库的作用也越来越重要，大量的数据需要通 过数据库的处理后来展现我们真正需要的数据，所以如何将批量数据安全方便的入库显得 越来越必要。但是目前的技术大多是追求入库速度，而对入库的安全性和可靠性以及入库 操作易用性研究不多。例如，现有的入库方式没有对入库失败的数据进行记录并且再次进 行入库。入库效率高固然好，但是一旦数据丢失，会极大的影响后续数据分析的准确性，导 致分析结果出现误差，后果将不堪设想。
发明内容
本发明的目的在于，提供一种批量数据入库装置，能够增加批量数据入库的安全 性和可靠性，极大地提高用户使用感受。本发明的另一目的在于，提供一种批量数据入库系统，能够增加批量数据入库的 安全性和可靠性，极大地提高用户使用感受。本发明的又一目的在于，提供一种批量数据入库方法，能够增加批量数据入库的 安全性和可靠性，极大地提高用户使用感受。本发明的批量数据入库装置，包括数据分析单元和数据入库单元，其中，所述数据 分析单元，用于按照一定规则分析批量数据，将合法的数据发送给数据入库单元；所述数据 入库单元，用于将所述数据分析单元发送来的数据入到数据库，并记录数据入到数据库的 入库结果，在入库结果为失败时，将入库失败的数据进行缓存，以备再次入库。其中，所述数据分析单元，进一步用于在按照一定规则分析批量数据后，将不合法 的数据进行缓存。其中，所述一定规则为按照数据库中数据表的表结构要求进行分析。其中，所述数据入库单元，进一步用于根据预先设定的入库速度将数据分析单元 发送来的数据入到数据库。其中，所述数据入库单元，进一步用于每隔一定时间将入库结果信息反馈给客户 端。其中，所述入库结果信息包括批量数据入库速度、批量数据入库实际记录数、成功 /失败记录数，入库失败文件存放路径。本发明的批量数据入库系统，包括批量数据入库装置，并进一步包括数据库以及 客户端，其中，所述数据库，用于接收批量数据入库装置发送来的批量数据；所述客户端，用 于接收数据入库单元反馈的入库结果信息，以提供给用户。其中，所述客户端具有可视化界面，用户通过所述可视化界面实时观察入库结果 信息以及以往一段时间内的批量数据入库记录。
本发明的批量数据入库方法，在将批量数据入到数据库之前，按照一定规则分析 批量数据，将合法的数据入库，并记录数据入库结果，在入库结果为失败时，将入库失败的 数据进行缓存，以备再次入库。其中，包括下列步骤在按照一定规则分析批量数据后，将不合法的数据进行缓存。其中，所述一定规则为按照数据库中数据表的表结构要求进行分析。本发明的有益效果是依照本发明的批量数据入库装置、系统及方法，能够增加批 量数据入库的安全性和可靠性。另外，在客户端，用户可以选择要入库的数据文件，可以根 据系统的负荷设定合适的入库速率，同时在客户端可以显示数据入库进度，入库的成功率， 入库结果和入库错误记录等，用户可以通过客户端轻松方便的了解入库情况，并且对一段 时间内的入库都会有记录，用户可以查询这段时间内的任何一次入库情况。总之，本发明具 有很大的灵活性和实用性，极大地提高了用户良好使用感受。
图1为本发明的批量数据入库装置的结构示意图；图2为本发明的批量数据入库系统的结构示意图；图3为本发明的批量数据入库方法的流程图。
具体实施例方式以下，参考附图1 3详细描述本发明的批量数据入库装置、系统及方法。如图1所示，本发明的批量数据入库装置，包括数据分析单元和数据入库单元，其 中，数据分析单元，用于按照一定规则(例如，按照数据库中数据表的表结构要求)分析批 量数据，将合法的数据发送给数据入库单元，将不合法的数据进行缓存。数据入库单元，用 于将数据分析单元发送来的数据入到数据库。另外，数据入库单元，进一步用于记录将数据分析单元发送来的数据入到数据库 的入库结果，在入库结果为失败时，将入库失败的数据进行缓存，以备再次入库。此外，数据入库单元，还可以进一步用于根据预先设定的入库速度将数据分析单 元发送来的数据入到数据库；以及进一步用于每隔一定时间将入库结果信息反馈给客户 端。其中，入库结果信息包括批量数据入库速度、批量数据入库实际记录数、成功/失败记 录数，入库失败文件存放路径等。这样，批量数据经分析并入库完毕后，客户端会接收数据 入库单元反馈的入库结果信息，进而，用户可以根据在客户端查询的入库结果信息，以决定 是否再次将入库失败的数据入库或者继续其他批量数据入库。如图2所示，本发明的批量数据入库系统，是在上述批量数据入库装置的基础上、 进一步包括数据库以及客户端，其中，数据库，用于接收批量数据入库装置发送来的批量数 据；客户端，用于接收数据入库单元反馈的入库结果信息，以提供给用户。在具体实现时，客户端可以为可视化客户端，用户可以从客户端上实时观察入库 结果信息以及以往一段时间内的批量数据入库记录。如图3所示，本发明的批量数据入库方法，包括下列步骤步骤100 在将批量数据入到数据库之前，按照一定规则(例如，按照数据库中数据表的表结构要求)分析批量数据，将合法的数据发送给数据入库单元，将不合法的数据 进行缓存。其中，一定规则为按照数据库中数据表的表结构要求进行分析。另外，还可以进一步包括下列步骤步骤200 记录数据入库结果，在入库结果为失败时，将入库失败的数据进行缓 存，以备再次入库。本发明的方法还可以进一步根据预先设定的入库速度将数据入到数据库；还可以 进一步每隔一定时间将入库结果信息反馈给客户端。其中，入库结果信息包括批量数据入 库速度、批量数据入库实际记录数、成功/失败记录数，入库失败文件存放路径。综上所述，依照本发明的批量数据入库装置、系统及方法，是在现有批量数据入库 基础上，将入库失败的数据完整的保存下来，在当前入库结束后，用户可再次将入库失败的 数据再进行入库，能够增加批量数据入库的安全性和可靠性。另外，在客户端，用户可以选 择要入库的数据文件，可以根据系统的负荷设定合适的入库速率，同时在客户端可以显示 数据入库进度，入库的成功率，入库结果和入库错误记录等，用户可以通过客户端轻松方便 的了解入库情况，并且对一段时间内的入库都会有记录，用户可以查询这段时间内的任何 一次入库情况。总之，本发明具有很大的灵活性和实用性，极大地提高了用户良好使用感 受。以上是为了使本领域普通技术人员理解本发明，而对本发明所进行的详细描述， 但可以想到，在不脱离本发明的权利要求所涵盖的范围内还可以做出其它的变化和修改， 这些变化和修改均在本发明的保护范围内。
权利要求
一种批量数据入库装置，其特征在于，包括数据分析单元和数据入库单元，其中，所述数据分析单元，用于按照一定规则分析批量数据，将合法的数据发送给数据入库单元；所述数据入库单元，用于将所述数据分析单元发送来的数据入到数据库，并记录数据入到数据库的入库结果，在入库结果为失败时，将入库失败的数据进行缓存，以备再次入库。
2.如权利要求1所述的批量数据入库装置，其特征在于，所述数据分析单元，进一步用 于在按照一定规则分析批量数据后，将不合法的数据进行缓存。
3.如权利要求1或2所述的批量数据入库装置，其特征在于，所述一定规则为按照数据 库中数据表的表结构要求进行分析。
4.如权利要求3所述的批量数据入库装置，其特征在于，所述数据入库单元，进一步用 于根据预先设定的入库速度将数据分析单元发送来的数据入到数据库。
5.如权利要求4所述的批量数据入库装置，其特征在于，所述数据入库单元，进一步用 于每隔一定时间将入库结果信息反馈给客户端。
6.如权利要求5所述的批量数据入库装置，其特征在于，所述入库结果信息包括批量 数据入库速度、批量数据入库实际记录数、成功/失败记录数，入库失败文件存放路径。
7.一种包含如权利要求1所述装置的批量数据入库系统，其特征在于，进一步包括数 据库以及客户端，其中，所述数据库，用于接收批量数据入库装置发送来的批量数据；所述客户端，用于接收数据入库单元反馈的入库结果信息，以提供给用户。
8.如权利要求7所述的批量数据入库系统，其特征在于，所述客户端具有可视化界面， 用户通过所述可视化界面实时观察入库结果信息以及以往一段时间内的批量数据入库记 录。
9.一种批量数据入库方法，其特征在于，在将批量数据入到数据库之前，按照一定规则 分析批量数据，将合法的数据入库，并记录数据入库结果，在入库结果为失败时，将入库失 败的数据进行缓存，以备再次入库。
10.如权利要求9所述的批量数据入库方法，其特征在于，包括下列步骤在按照一定 规则分析批量数据后，将不合法的数据进行缓存。
11.如权利要求9或10所述的批量数据入库方法，其特征在于，所述一定规则为按照数 据库中数据表的表结构要求进行分析。
全文摘要
本发明提供一种批量数据入库装置、系统及方法，其中，该装置包括数据分析单元和数据入库单元，其中，所述数据分析单元，用于按照一定规则分析批量数据，将合法的数据发送给数据入库单元；所述数据入库单元，用于将所述数据分析单元发送来的数据入到数据库，并记录数据入到数据库的入库结果，在入库结果为失败时，将入库失败的数据进行缓存，以备再次入库。本发明能够增加批量数据入库的安全性和可靠性，极大地提高用户使用感受。
文档编号G06F17/30GK101996244SQ20101053609
公开日2011年3月30日 申请日期2010年11月9日 优先权日2010年11月9日
发明者刘永康, 叶兵 申请人:中兴通讯股份有限公司