一种数据处理方法和装置制造方法
【专利摘要】本发明实施例公开了一种数据处理方法及装置。其中的方法包括：当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中；将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中；监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间；自所述记录的初始访问时间起，在所述动态交易数据库中删除未在设定时间范围内监控到的所述至少一个业务数据信息访问请求的业务信息。本发明实施例还相应地公开了一种数据处理装置。采用本发明实施例，通过将数据库分为业务静态数据库和动态交易数据库，使交易数据库脱离静态业务数据资料成为轻量级的数据库，提高了数据库访问效率。
【专利说明】一种数据处理方法和装置
【技术领域】
[0001]本发明涉及信息处理领域，尤其涉及一种数据处理方法和装置。
【背景技术】
[0002]信息的高速发展促进了数据量的激增，数据库作为存储各类业务数据信息的载体，其存储量受存储空间的限制。大数据量的存储占用了数据库大量的数据存储空间，同时也严重影响了数据访问效率。为了减轻数据库服务器的存储和访问压力，通常的做法为，采用分布式系统将数据进行拆分，把数据分布到不同的数据库服务器上，用户端通过路由或预设规则访问指定数据库，从而将系统的数据量和访问负载分散到多台数据服务器中。
[0003]采用上述方法对数据进行分库，虽然能减少各台数据服务器的数据存储和访问压力，但在进行数据访问或进行数据修改操作时，由于可能涉及多台服务器的协同工作，不仅增加了系统工作的复杂度，而且在一定程度上降低了数据库访问效率。
【发明内容】
[0004]本发明实施例提供一种数据处理方法和装置，减轻了数据访问压力，提高了数据库访问效率。
[0005]本发明实施例提供了一种数据处理方法，包括:
[0006]当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息；
[0007]将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中；
[0008]监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间；
[0009]自所述记录的初始访问时间起,若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
[0010]相应地，本发明实施例还提供了一种数据处理装置，包括:
[0011]第一存储单元，用于当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息；
[0012]第二存储单元，用于将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中；
[0013]监控单元，用于监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间；
[0014]处理单元，用于自所述记录的初始访问时间起，若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
[0015]本发明实施例中，通过将数据库分为业务静态数据库和动态交易数据库，使交易数据库脱离静态业务数据资料成为轻量级的数据库，减轻了数据存储压力，提高了数据库访问效率。
【专利附图】
【附图说明】
[0016]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本发明实施例提供的一种数据处理方法的流程示意图；
[0018]图2是本发明实施例提供的另一种数据处理方法的流程示意图；
[0019]图3是本发明实施例提供的一种数据处理装置的结构示意图；
[0020]图4是本发明实施例提供的另一种数据处理装置的结构示意图。
【具体实施方式】
[0021]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022]请参照图1，为本发明实施例提供的一种数据处理方法的流程示意图，该方法包括以下步骤:
[0023]S101，当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息。
[0024]具体实现中，所述至少一个业务数据信息通过渠道层包括网点渠道、电子渠道或自助渠道等将业务数据传送给指定数据服务器，由指定数据服务器的业务静态数据库存储接收到的至少一个业务数据信息，并按预设规则将所述至少一个业务数据信息划分为第一类业务信息和第二类业务信息，其中，第一类业务信息作为动户信息可用于缓存至交易数据库中进行访问；第二类业务信息作为不动户信息，只存储于业务静态数据库中。
[0025]S102，将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中。
[0026]具体实现中，所述至少一个业务数据信息的第一类业务信息通过数据共享过渡的方式缓存到所述动态交易数据库中，所述动态交易数据库除第一类业务信息外，还包括如交易参数、交易流水等交易信息。所述交易数据库主要用于交易信息和业务信息的存储，等待产品服务系统等应用服务领域的访问，交易数据库中的至少一个业务数据信息可通过数据共享过渡方式与所述业务静态数据库进行数据交互。
[0027]S103，监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间。
[0028]具体实现中，所述访问请求包括第一请求、第二请求和第三请求，其中第一请求包括访问业务静态数据库的请求；第二请求包括访问动态交易数据库请求；第三请求包括同时访问业务静态数据库和动态交易数据库的请求。所述动态交易数据库的数据服务器对访问请求进行监控，所述请求包括第二请求和第三请求，访问所述至少一个业务用户的第一类业务信息时，标记该业务信息，并记录初始访问时间。
[0029]S104,自所述记录的初始访问时间起,若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
[0030]具体实现中，所述动态交易数据库监控所述至少一个业务数据信息的访问请求，如按所述记录的初始访问时间起，未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则按预设规则，将所述至少一个业务数据信息在动态交易数据库中进行批量删除。否则，保留所述至少一个业务数据信息。
[0031]采用本发明实施例，通过将数据库分为业务静态数据库和动态交易数据库，使交易数据库脱离静态业务数据资料成为轻量级的数据库，提高了数据库访问效率。
[0032]请参照图2，为本发明实施例提供的另一种数据处理方法的流程示意图，该方法包括以下步骤:
[0033]S201，当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息。
[0034]具体实现中，所述至少一个业务数据信息通过渠道层包括网点渠道、电子渠道或自助渠道等将业务数据传送给指定数据服务器，由指定数据服务器的业务静态数据库存储接收到的至少一个业务数据信息，并按预设规则将所述至少一个业务数据信息划分为第一类业务信息和第二类业务信息，其中，第一类业务信息作为动户信息可用于缓存至交易数据库中进行访问；第二类业务信息作为不动户信息，只存储于业务静态数据库中。
[0035]S202，通过使用第一外部表将所述第一类业务信息中的至少一个业务数据信息过渡存储到共享文件存储中。
[0036]具体实现中，所述第一外部表用于业务静态数据库与共享文件存储之间的数据交互；所述共享文件存储可以被业务静态数据库和动态交易数据库访问。当需要将业务静态数据库中的数据信息过渡到动态业务数据库时，通过使用第一外部表将来自业务静态数据库的数据信息存储于共享文件中。
[0037]S203，通过使用第二外部表将所述共享文件存储中的所述第一类业务信息中的至少一个业务数据信息存储到所述动态交易数据库中。
[0038]具体实现中，所述第二外部表用于动态交易数据库和数据过渡存储的数据交互；所述动态业务数据库通过使用第二外部表，加载所述共享文件存储中的业务静态数据库的至少一个业务数据信息。
[0039]S204，当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第二请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，以访问动态交易数据库，并记录初始访问时间。
[0040]具体实现中，所述第二请求包括访问动态交易数据库请求。所述用户端的数据连接池数据源包括第一数据连接池数据源和第二数据连接池数据源，用于跨库访问，第一数据连接池数据源指向当前访问数据库，第二数据连接池数据源指向需跨库访问的数据库。当需要访问动态交易数据库时，由数据连接池数据源指向动态交易数据库。
[0041]S205，当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第三请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
[0042]具体实现中，所述第三请求包括同时访问业务静态数据库和动态交易数据库的请求。由动态交易数据库到业务静态数据库的访问时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
[0043]S206，所述被访问到的至少一个业务数据信息具有动户标识，自所述记录的初始访问时间起，对在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息进行删除。
[0044]具体实现中，所述动户标识用于标记被访问的至少一个业务数据信息，自所述记录的初始访问时间起，如在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息，则将具有动户标识的所述至少一个业务数据信息进行批量删除操作。
[0045]S207，当接收到第二类业务信息的访问请求时，将所述用户端的第二数据连接池数据源指向业务静态数据库，以访问业务静态数据库。
[0046]具体实现中，所述第二类业务信息存储于业务静态数据库中，当接受到第二类业务信息的访问请求时，需访问所述业务静态数据库，将第一数据连接池数据源指向当前动态业务数据库，第二连接池数据源指向业务静态数据库。
[0047]采用本发明实施例，通过将数据库分为业务静态数据库和动态交易数据库，将业务信息分为第一类业务信息和第二类业务信息，并通过动态业务数据库缓存第一类业务信息，当接收到不同的访问请求时，采用两类数据连接池数据源指向不同的数据库实现跨库访问，减轻了数据库的数据存储压力，提高了数据库访问效率。
[0048]请参照图3，为本发明实施例提供的一种数据处理装置的结构示意图，该装置包括以下单元:
[0049]第一存储单元11，用于当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息。
[0050]具体实现中，所述至少一个业务数据信息通过渠道层包括网点渠道、电子渠道或自助渠道等将业务数据传送给指定数据服务器，由指定数据服务器的业务静态数据库存储接收到的至少一个业务数据信息，并按预设规则将所述至少一个业务数据信息划分为第一类业务信息和第二类业务信息，其中，第一类业务信息作为动户信息可用于缓存至交易数据库中进行访问；第二类业务信息作为不动户信息，只存储于业务静态数据库中。
[0051]第二存储单元12，用于将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中。
[0052]具体实现中，所述至少一个业务数据信息的第一类业务信息通过数据共享过渡的方式缓存到所述动态交易数据库中，所述动态交易数据库除第一类业务信息外，还包括如交易参数、交易流水等交易信息。所述交易数据库主要用于交易信息和业务信息的存储，等待产品服务系统等应用服务领域的访问，交易数据库中的至少一个业务数据信息可通过数据共享过渡方式与所述业务静态数据库进行数据交互。
[0053]监控单元13，用于监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间。
[0054]具体实现中，所述访问请求包括第一请求、第二请求和第三请求，其中第一请求包括访问业务静态数据库的请求；第二请求包括访问动态交易数据库请求；第三请求包括同时访问业务静态数据库和动态交易数据库的请求。所述动态交易数据库的数据服务器对访问请求进行监控，所述请求包括第二请求和第三请求，访问所述至少一个业务用户的第一类业务信息时，标记该业务信息，并记录初始访问时间。
[0055]处理单元14，用于自所述记录的初始访问时间起，若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
[0056]具体实现中，所述动态交易数据库监控所述至少一个业务数据信息的访问请求，如按所述记录的初始访问时间起，未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则按预设规则，将所述至少一个业务数据信息在动态交易数据库中进行批量删除。否则，保留所述至少一个业务数据信息。
[0057]采用本发明实施例，通过将数据库分为业务静态数据库和动态交易数据库，使交易数据库脱离静态业务数据资料成为轻量级的数据库，提高了数据库访问效率。
[0058]请参照图4，为本发明实施例提供的另一种数据处理装置的结构示意图，该装置包括以下单元:
[0059]第一存储单元21，用于当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息。
[0060]具体实现中，所述至少一个业务数据信息通过渠道层包括网点渠道、电子渠道或自助渠道等将业务数据传送给指定数据服务器，由指定数据服务器的业务静态数据库存储接收到的至少一个业务数据信息，并按预设规则将所述至少一个业务数据信息划分为第一类业务信息和第二类业务信息，其中，第一类业务信息作为动户信息可用于缓存至交易数据库中进行访问；第二类业务信息作为不动户信息，只存储于业务静态数据库中。
[0061]第二存储单元22，用于将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中。
[0062]在本实施例中，第二存储单元22可包括第一过渡单元221和/或第二过渡单元222。
[0063]第一过渡单元221，用于通过使用第一外部表将所述第一类业务信息中的至少一个业务数据信息过渡存储到共享文件存储中。
[0064]具体实现中，所述第一外部表用于业务静态数据库与共享文件存储之间的数据交互；所述共享文件存储可以被业务静态数据库和动态交易数据库访问。当需要将业务静态数据库中的数据信息过渡到动态业务数据库时，通过使用第一外部表将来自业务静态数据库的数据信息存储于共享文件中。
[0065]第二过渡单元222，用于通过使用第二外部表将所述共享文件存储中的所述第一类业务信息中的至少一个业务数据信息存储到所述动态交易数据库中。
[0066]具体实现中，所述第二外部表用于动态交易数据库和数据过渡存储的数据交互；所述动态业务数据库通过使用第二外部表，加载所述共享文件存储中的业务静态数据库的至少一个业务数据信息。
[0067]监控单元23，用于监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间。
[0068]在本实施例中，监控单元包括第一监控子单元231和第二监控子单元232。
[0069]第一监控子单元231，用于当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第二请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，以访问动态交易数据库，并记录初始访问时间。
[0070]具体实现中，所述第二请求包括访问动态交易数据库请求。所述用户端的数据连接池数据源包括第一数据连接池数据源和第二数据连接池数据源，用于跨库访问，第一数据连接池数据源指向当前访问数据库，第二数据连接池数据源指向需跨库访问的数据库。当需要访问动态交易数据库时，由数据连接池数据源指向动态交易数据库。
[0071]第二监控子单元232，用于当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第三请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
[0072]具体实现中，所述第三请求包括同时访问业务静态数据库和动态交易数据库的请求。由动态交易数据库到业务静态数据库的访问时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
[0073]处理单元24，用于自所述记录的初始访问时间起，对在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息进行删除。
[0074]具体实现中，所述动户标识用于标记被访问的至少一个业务数据信息，子所述记录的初始访问时间起，如在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息，则将具有动户标识的所述至少一个业务数据信息进行批量删除操作。
[0075]访问单元25，用于当接收到第二类业务信息的访问请求时，将所述用户端的第二数据连接池数据源指向业务静态数据库，以访问业务静态数据库。
[0076]具体实现中，所述第二类业务信息存储于业务静态数据库中，当接受到第二类业务信息的访问请求时，需访问所述业务静态数据库，将第一数据连接池数据源指向当前动态业务数据库，第二连接池数据源指向业务静态数据库。
[0077]采用本发明实施例，通过将数据库分为业务静态数据库和动态交易数据库，将业务信息分为第一类业务信息和第二类业务信息，并通过动态业务数据库缓存第一类业务信息，当接收到不同的访问请求时，采用两类数据连接池数据源指向不同的数据库实现跨库访问，减轻了数据库的数据存储压力，提高了数据库访问效率。
[0078]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0079]以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
【权利要求】
1.一种数据处理方法，其特征在于，包括: 当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息； 将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中； 监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间； 自所述记录的初始访问时间起，若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
2.如权利要求1所述的方法，其特征在于，所述将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中，包括: 通过使用第一外部表将所述第一类业务信息中的至少一个业务数据信息过渡存储到共享文件存储中； 通过使用第二外部表将所述共享文件存储中的所述第一类业务信息中的至少一个业务数据信息存储到所述动态交易数据库中。
3.如权利要求1所述的方法，其特征在于，所述被访问到的至少一个业务数据信息具有动户标识； 所述自所述记录的初始访问时间起，若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息，包括: 自所述记录的初始访问时间起，对在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息进行删除。
4.如权利要求1所述的方法，其特征在于，所述监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间，包括: 当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第二请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，以访问动态交易数据库，并记录初始访问时间；和/或 当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第三请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
5.如权利要求1-4任意一项所述的方法，其特征在于，还包括: 当接收到第二类业务信息的访问请求时，将所述用户端的第二数据连接池数据源指向业务静态数据库，以访问业务静态数据库。
6.一种数据处理装置，其特征在于，所述装置包括: 第一存储单元，用于当接收到至少一个业务数据信息时，将所述至少一个业务数据信息存储到业务静态数据库中，所述至少一个业务数据信息包括第一类业务信息和第二类业务信息； 第二存储单元，用于将所述第一类业务信息中的至少一个业务数据信息存储到动态交易数据库中； 监控单元，用于监控是否存在所述至少一个业务用户的第一类业务信息的访问请求，记录初始访问时间； 处理单元，用于自所述记录的初始访问时间起，若未在设定时间范围内监控到所述动态交易数据库中的所述至少一个业务数据信息的访问请求，则在所述动态交易数据库中删除所述至少一个业务数据信息。
7.如权利要求6所述的装置，其特征在于，所述第二存储单元包括: 第一过渡单元，用于通过使用第一外部表将所述第一类业务信息中的至少一个业务数据信息过渡存储到共享文件存储中； 第二过渡单元，用于通过使用第二外部表将所述共享文件存储中的所述第一类业务信息中的至少一个业务数据信息存储到所述动态交易数据库中。
8.如权利要求6所述的装置，其特征在于，所述被访问到的至少一个业务数据信息具有动户标识； 所述处理单元具体用于自所述记录的初始访问时间起，对在设定时间范围内未具有所述动户标识的所述至少一个业务数据信息进行删除。
9.如权利要求6所述的装置，其特征在于，所述监控单元包括: 第一监控子单元，用于当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第二请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，以访问动态交易数据库，并记录初始访问时间；和/或 第二监控子单元，用于当监控存在所述至少一个业务用户的第一类业务信息的访问请求且为第三请求时，将所述用户端的第一数据连接池数据源指向动态交易数据库，将用户端的第二数据连接池数据源指向业务静态数据库，并记录动态交易数据库的所述至少一个业务数据信息的初始访问时间。
10.如权利要求6-9任意一项所述的装置，其特征在于，还包括: 访问单元，用于当接收到第二类业务信息的访问请求时，将所述用户端的第二数据连接池数据源指向业务静态数据库，以访问业务静态数据库。
【文档编号】G06F17/30GK104408056SQ201410592597
【公开日】2015年3月11日 申请日期:2014年10月29日 优先权日:2014年10月29日
【发明者】徐超, 陈大平, 王艳华, 向民, 沈东明 申请人:中国建设银行股份有限公司