数据处理方法及装置与流程

本发明实施例涉及计算机
技术领域：
，尤其涉及一种数据处理方法及装置。
背景技术：
：随着信息化程度的不断提高，在互联网中时刻都产生着大量的数据，企业管理者可以通过对大量数据进行分析统计，以对企业的经营管理提供决策支撑。在现有技术中，企业管理者定期从互联网中获取大量数据，并将大量数据存在数据库中，当需要从大量数据中获取有用的信息时，一般直接对数据库中的数据量较多的数据进行查询等操作，由于数据库中的数据量过于庞大，使得从大量数据中获取数据查询结果的速度较慢，进而导致从大量数据中获取数据查询结果的效率较低。技术实现要素：本发明实施例提供一种数据处理方法及装置，提高了从大量数据中获取数据查询结果的效率。第一方面，本发明实施例提供一种数据处理方法，包括：获取用户终端对原始数据库的查询需求，所述查询需求包括查询信息及所述查询信息对应的查询结果需满足的第一查询条件；根据所述查询信息及所述第一查询条件，对所述原始数据库中的数据进行整合操作，获取满足所述第一查询条件的中间查询结果；根据所述中间查询结果，确定查询数据库，以使所述用户终端对所述查询数据库进行查询操作，获取目标查询结果。第二方面，本发明实施例提供一种数据处理装置，包括：第一获取模块，用于获取用户终端对原始数据库的查询需求，所述查询 需求包括查询信息及所述查询信息对应的查询结果需满足的第一查询条件；第二获取模块，用于根据所述查询信息及所述第一查询条件，对所述原始数据库中的数据进行整合操作，获取满足所述第一查询条件的中间查询结果；确定模块，用于根据所述中间查询结果，确定查询数据库，以使所述用户终端对所述查询数据库进行查询操作，获取目标查询结果。本发明实施例提供的数据处理方法及装置，通过获取用户终端对原始数据库的查询需求，根据查询需求对原始数据库中的数据进行整合操作，获取满足查询需求的中间查询结果，并根据中间查询结果确定查询数据库，当用户终端需要进行查询操作时，通过对数据量较少的查询数据库进行查询操作，可以较快的获得数据查询结果，进而提高从大量数据中获得数据查询结果的效率。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本发明数据处理方法场景示意图；图2为本发明数据处理方法实施例一的流程图；图3为本发明数据处理方法实施例二的流程图；图4为本发明数据处理装置实施例一的结构示意图；图5为本发明数据处理装置实施例二的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为本发明数据处理方法场景示意图，请参照图1，包括探测服务器101、第三方数据库102、查询服务器103以及用户终端104；其中，探测服务器101包括至少1个探测节点1011，查询服务器103可以包括原始数据库1031、定时集群1032、查询数据库1033和展示平台1034；探测节点1011将从第三方服务器102中探测获取的原始数据存储至原始数据库1031中，定时集群1032对原始数据库1031中的数据进行整合处理，得到中间查询结果，并将查询结果存储至查询数据库1033中，展示平台1034根据用户终端104对查询数据库1033的查询请求，对目标查询结果进行图形化处理，并向用户终端104发送图形化处理结果。下面采用具体的实施例，对查询服务器103执行数据处理方法的流程进行详细说明。图2为本发明数据处理方法实施例一的流程图，该方法的执行主体可以为查询服务器，该查询服务器可以通过软件和/或硬件实现。请参照图2，该数据处理方法可以包括：S201、获取用户终端对原始数据库的查询需求，查询需求包括查询信息及查询信息对应的查询结果需满足的第一查询条件；S202、根据查询信息及第一查询条件，对原始数据库中的数据进行整合操作，获取满足第一查询条件的中间查询结果；S203、根据中间查询结果，确定查询数据库，以使用户终端对查询数据库进行查询操作，获取目标查询结果。在图1所示的实施例中，用户终端可以为用户进行数据查询的终端，例如，电脑、手机等；用户终端对原始数据的查询需求可以有多个，其中，查询需求为用户终端可能对原始数据库进行的查询操作，查询需求包括查询信息及查询信息对应的查询结果需满足的第一查询条件，查询信息和第一查询条件可以通过多种形式表示，例如，查询信息可以为原始数据库中的数据的多个属性值中的部分属性值，第一查询条件可以为属性值所对应的数据需要满足的条件。示例性的，原始数据库中每条记录(数据)包括4个属性值，分别记为：注册时间、注册地点、注册者、注册类型，查询需求中的查询信息可以为该4个属性值中的注册地点、注册类型，查询信息中“注册地点”对应的查询结果需要满足的第一查询条件为“注册地点为中国”，“注册类型”对应的 查询结构需要满足的第一查询条件为“注册类型为A”。在实际应用中，查询服务器对原始数据库中的数据进行的整合操作，可以为筛选操作或者累加操作等，通过筛选操作获取原始数据库中满足第一查询条件的部分数据，并通过累加操作对满足第一查询条件的部分数据中属性值相同的数据进行累加操作，获取数据量较少的中间查询结果，将中间查询结果存储至查询数据库以确定得到查询数据库，当用户终端需要进行查询操作时，通过对数据量较少的查询数据库进行查询操作，可以较快的获得数据查询结果，进而提高获得数据查询结果的效率。本发明实施例提供的数据处理方法，通过获取用户终端对原始数据库的查询需求，根据查询需求对原始数据库中的数据进行整合操作，获取满足查询需求的中间查询结果，使得用户终端在包括中间查询结果的查询数据库中进行查询操作并获取目标查询结果；通过上述方法获得的查询数据库中的数据量小于原始数据库中的数据量，提高了用户在数据量较少的查询数据库中进行查询操作以获得查询结果的速度，进而提高获得数据查询结果的效率。图3为本发明数据处理方法实施例二的流程图，该方法的执行主体可以为查询服务器，该查询服务器可以通过软件和/或硬件实现。请参照图3，该数据处理方法可以包括：S301、获取至少一个探测节点探测得到的原始数据，各探测节点位于不同的地理区域；S302、根据各原始数据的生成时刻，将生成时刻在预设时间范围内的原始数据存储至与预设时间范围对应的原始数据库中的数据表中；S303、获取用户终端对原始数据库的查询需求，查询需求包括查询信息及查询信息对应的查询结果需满足的第一查询条件；S304、根据查询信息及第一查询条件，对原始数据库中的数据进行整合操作，获取满足第一查询条件的中间查询结果；S305、根据中间查询结果，确定查询数据库，以使用户终端对查询数据库进行查询操作，获取目标查询结果；S306、接收用户终端发送的查询请求，查询请求包括第二查询条件；S307、根据第二查询条件对查询数据库进行查询操作，获取目标查询结果；S308、通过展示平台对目标查询结果进行图形化处理，得到图形化处理结果；S309、向用户终端发送图形化处理结果。在本实施例中，S303、S305与S101、S103的实现原理类似，此处不再赘述。下面对其它各步骤进行详细说明。在S301中，探测节点可以周期性的在互联网或者第三方数据库中探测获取原始数据，同时，为了保证原始数据库中的数据的全面性，可以将多个探测节点设置在不同的地理区域，以使得多个探测节点可以探测获取不同地理区域的数据，可选的，还可以将探测节点集成在查询服务器中。在S302中，为了方便在原始数据库中存取原始数据，可以在原始数据库中设置多张数据表，每张数据表用于存储生成时刻在同一预设时间范围的数据；在探测节点探测获取原始数据后，根据探测节点探测获取的原始数据的生成时刻，将原始数据存储至与该原始数据的生成时刻对应的数据表中，例如，原始数据库中包括12张数据表，每张数据表分别存储一年中1-12月中在不同月份生成的数据。需要说明的是，还可以根据原始数据的其它属性，在原始数据库中设置多张数据表，例如，根据原始数据的生成地点，在原始数据库中设置多张数据表，其中，每张数据表中原始数据的生成地点相同。在S304中，查询需求所包括的内容包括如下可行的实现方式。一种可行的实现方式，查询需求包括：查询需求包括查询信息和第一查询条件。另一种可行的实现方式，查询需求包括：查询信息和第一查询条件以及对第一查询条件的原始数据进行累加操作的指示信息。下面，针对包括内容不同的查询需求，对本实施例如何获取满足第一查询条件的中间查询结果进行详细说明。当查询需求包括查询信息和第一查询条件时，具体实现方式为：获取原始数据库中与查询信息对应的第一原始数据；在第一原始数据中确定满足第一查询条件的第二原始数据；将第二原始数据作为中间查询结果。在具体实现过程中，在S301中，查询服务器获取探测节点探测得到的原始数据，在S302中根据原始数据的生成时刻，将生成时刻在2000-1-100:00:00至2000-1-3123:59:59的原始数据存储在同一数据表中，该数据 表如表1所示。表1注册时间(精确到分钟)注册地点注册者域名类型2000-1-108：10Add-A注册者-M类型12000-1-108：30Add-E注册者-N类型22000-1-109：00Add-B注册者-P类型2……………………2000-1-809：00Add-C注册者-V类型32000-1-809：03Add-A注册者-O类型22000-1-814：20Add-D注册者-L类型1……………………在S303中，查询服务器获取用户终端对表1所示的原始数据的查询需求，查询需求具体为：查询在地点Add-A注册的注册者以及注册时间，根据该查询需求可知，该查询需求包括的查询信息为：注册时间、注册地点、注册者，查询信息中“注册地点”对应的查询结果需要满足的第一查询条件为“注册地点为Add-A”。在S304中，查询服务器根据在S303中获取得到的查询信息以及第一查询条件，对原始数据库进行整合操作，获取满足第一查询条件的中间查询结果，具体为：查询服务器在表1所示的原始数据库中，获取与查询信息(注册时间、注册地点、注册者)对应的第一原始数据，第一原始数据如表2所示。表2注册时间(精确到分钟)注册地点注册者2000-1-108：10Add-A注册者-M2000-1-108：30Add-E注册者-N2000-1-109：00Add-B注册者-P………………2000-1-809：00Add-C注册者-V2000-1-809：03Add-A注册者-O2000-1-814：20Add-D注册者-L………………查询服务器在第一原始数据(表2所示的数据)中，确定满足第一查询条件(注册地点为Add-A)的第二原始数据，具体的，查询服务器在表2中获取如表3所示的注册地点为Add-A的第二原始数据，并将表3所示的第二原始数据作为中间查询结果。表3注册时间(精确到分钟)注册地点注册者2000-1-108：10Add-A注册者-K2000-1-111：30Add-A注册者-H2000-1-112：00Add-A注册者-J………………2000-1-809：00Add-A注册者-W2000-1-809：03Add-A注册者-Q2000-1-814：20Add-A注册者-Z………………表3中的数据量为表1中的数据量的一部分，表3中的数据量小于表1中原始数据库中的数据量；在得到中间查询结果以后，将中间查询结果存储至查询数据库，当用户需要查询在注册地点Add-A注册的注册者以及注册时间时，通过对查询数据库中表3所示的中间查询结果中进行查询操作，由于查询数据库中表3所示的中间查询结果中的数据量小于原始数据库中的数据量，因此，可以减少获得查询结果的查询时间，进而提高获得查询结果的效率。当查询需求包括查询信息、第一查询条件以及对满足第一查询条件的原始数据进行累加操作的指示信息时，具体实现方式为：获取原始数据库中与查询信息对应的第一原始数据，在第一原始数据中确定满足第一查询条件的第二原始数据，根据指示信息，对第二原始数据执行累加操作，得到累加操作结果，并将累加操作结果作为中间查询结果。在具体实现过程中，查询服务器通过执行S301和S302获取得到的数据表如表1所示。在S303中，查询服务器获取用户终端对表1所示的原始数据的查询需求， 查询需求具体为：查询在地点Add-A在某天(或某些天)注册的域名个数；根据该查询需求可知，该查询需求包括的查询信息为：注册地点、注册时间、注册个数，各查询信息对应的第一查询条件分别为：“注册地点”对应的查询结果需要满足的第一查询条件为“注册地点为Add-A”；“注册时间”对应的查询结果需要满足的第一查询条件为“注册时间单位为天”；进一步的，查询需求中还包括对每一天中在不同时刻注册的域名个数进行累加操作的指示信息。在S304中，查询服务器根据在S303中获取得到的查询信息以及第一查询条件，对原始数据库进行整合操作，获取满足第一查询条件的中间查询结果，具体为：查询服务器在如表1所示的原始数据库中，获取与查询信息(注册时间、注册地点、注册个数)对应的第一原始数据，由于表1所述的原始数据库中不包括注册个数的属性项，因此，查询服务器从表1所示的原始数据库中获取的第一原始数据中包括注册时间、注册地点对应的数据，获取得到的第一原始数据如表4所示。表4注册时间(精确到分钟)注册地点2000-1-108：10Add-A2000-1-108：30Add-E2000-1-109：00Add-B…………2000-1-809：00Add-C2000-1-809：03Add-A2000-1-814：20Add-D…………查询服务器在第一原始数据(表4所示的数据)中确定满足第一查询条件(注册地点为Add-A)的第二原始数据，查询服务器在表4中获取注册地点为Add-A的第二原始数据如表5所示。表5注册时间(精确到天)注册地点2000-1-108：10Add-A2000-1-111：30Add-A2000-1-112：00Add-A…………2000-1-809：00Add-A2000-1-809：03Add-A2000-1-814：20Add-A…………由于查询信息中还包括对每一天中在不同时刻注册的域名个数进行累加操作的指示信息，查询服务器根据指示信息，对表5所示的第二原始数据中每一天中在不同时刻注册的域名个数进行累加操作，得到如表6所示的累加操作结果，并将表6所示的累加操作结果作为中间查询结果。表6注册时间(精确到天)注册地点注册个数2000-1-1Add-A1002000-1-2Add-A1202000-1-3Add-A130………………2000-1-10Add-A2002000-1-11Add-A1102000-1-12Add-A150………………表6中的数据量为表1中的数据量的一部分，表6中的数据量小于表1中原始数据库中的数据量；在得到中间查询结果以后，将中间查询结果存储至查询数据库，当用户需要查询在注册地点Add-A在某天(或某些天)注册的域名个数时，通过对查询数据库中表6所示的中间查询结果中进行查询操作，由于查询数据库中表6所示的中间查询结果中的数据量小于原始数据库中的数据量，因此，可以减少获得查询结果的查询时间，进而提高获得查询结果的效率。通过S304，可以获取到满足第一查询条件的中间查询结果，进而在S305中，查询服务器可以根据中间查询结果，确定查询数据库，以使用户终端对 查询数据库进行查询操作，获取目标查询结果。在S306-S309中，可以向用户终端提供具体的查询服务。具体地，当查询服务器接收到用户终端发送的包括第二查询条件的查询请求时，查询服务器根据第二查询条件对查询数据库进行查询操作，获取目标查询结果；查询服务器通过展示平台对目标查询结果进行图形化处理，得到图形化处理结果，并向用户终端发送图像化处理结果，使得用户根据图形化处理结果更清晰的获得目标查询结果的内容。图4为本发明数据处理装置实施例一的结构示意图，请参照图4，该数据处理装置包括：第一获取模块401，用于获取用户终端对原始数据库的查询需求，查询需求包括查询信息及查询信息对应的查询结果需满足的第一查询条件；第二获取模块402，用于根据查询信息及第一查询条件，对原始数据库中的数据进行整合操作，获取满足第一查询条件的中间查询结果；确定模块403，用于根据中间查询结果，确定查询数据库，以使用户终端对查询数据库进行查询操作，获取目标查询结果。图5为本发明数据处理装置实施例二的结构示意图，在图4所示实施例的基础上，请参照图5，第二获取模块402可以包括：第一获取单元4021，用于获取原始数据库中与查询信息对应的第一原始数据；第一确定单元4022，用于在第一原始数据中确定满足第一查询条件的第二原始数据；第二确定单元4023，用于将第二原始数据确定为中间查询结果。进一步的，第二获取模块402还可以包括：累加单元4024，用于根据查询需求中包括的指示信息，对第二原始数据执行累加操作，得到累加操作结果，指示信息用于指示对满足第一查询条件的原始数据进行累加操作；相应的，第二确定单元4023还可以用于，将累加操作结果作为中间查询结果。进一步的，数据处理装置还可以包括：第三获取模块404，用于获取至少一个探测节点探测得到的原始数据， 各探测节点位于不同的地理区域；存储模块405，用于根据各原始数据的生成时刻，将生成时刻在预设时间范围内的原始数据存储至与预设时间范围对应的原始数据库中的数据表中。进一步的，数据处理装置还可以包括：接收模块406，用于接收用户终端发送的查询请求，查询请求包括第二查询条件；第四获取模块407，用于根据第二查询条件对查询数据库进行查询操作，获取目标查询结果；处理模块408，用于通过展示平台对目标查询结果进行图形化处理，得到图形化处理结果；发送模块409，用于向用户终端发送图形化处理结果。本发明实施例的装置，可执行上述相应的方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。当前第1页1 2 3