一种数据查询方法、装置及电子设备与流程

本发明涉及互联网技术领域，特别是涉及一种数据查询方法、装置及电子设备。

背景技术：

用户在上传视频后会查看自己上传视频的视频数据，如视频的播放量、评论量等。现有技术中，通过基于kylin(麒麟)的查询方式，查询针对用户上传的视频的视频数据。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

由于受到查询时资源等的影响，使得通过基于kylin的查询方式进行查询时，在某些情况查询耗时较长，如kylin的查询引擎的资源被其他查询任务占用等。

技术实现要素：

本发明实施例的目的在于提供一种数据查询方法、装置及电子设备，以降低查询耗时。具体技术方案如下：

第一方面，本发明实施例提供了一种数据查询方法，包括：

同时分别向第一查询系统和第二查询系统发送查询请求；以使所述第一查询系统和所述第二查询系统在分别接收到所述查询请求时，返回与所述查询请求中包括的用户标识对应的查询结果；其中，所述第一查询系统和所述第二查询系统存储有相同的存储数据；所述第一查询系统为麒麟kylin；所述第二查询系统为德鲁依druid；

在第一时间接收到所述第一查询系统返回的查询结果时，将所述第一查询系统返回的查询结果作为查询结果；

或者，在第一时间接收到所述第二查询系统返回的查询结果时，将所述第二查询系统返回的查询结果作为查询结果。

可选的，在所述同时分别向第一查询系统和第二查询系统发送查询请求之前，所述方法还包括：

获取视频数据，所述视频数据包括各个视频的推荐量、播放量、评论量和涨粉量；

将所述视频数据存入预设hive表中，并生成done文件；

检查所述done文件，并根据所述hive表构建cube以及根据hive表将所述视频数据导入所述druid，其中，所述cube用于所述kylin存储所述视频数据。

可选的，所述查询请求还包括时间范围标识；

在将所述第一查询系统返回的查询结果作为查询结果，或将所述第二查询系统返回的查询结果作为查询结果之后，所述方法还包括：

将所述时间范围标识对应的时间范围内的目标查询数据进行统计，得到在所述时间范围内的统计数据，所述目标查询数据是所述查询结果中的数据。

可选的，在将所述第一查询系统返回的查询结果作为查询结果，或将所述第二查询系统返回的查询结果作为查询结果之后，所述方法还包括：

确定待封装信息，所述待封装信息包括用户名称；

将所述查询结果和所述待封装信息组合，得到组合数据；

将所述组合数据反馈给所述用户标识对应的用户。

第二方面，本发明实施例提供了一种数据查询装置，包括：

发送模块，用于同时分别向第一查询系统和第二查询系统发送查询请求；以使所述第一查询系统和所述第二查询系统在分别接收到所述查询请求时，返回与所述查询请求中包括的用户标识对应的查询结果；其中，所述第一查询系统和所述第二查询系统存储有相同的存储数据；所述第一查询系统为麒麟kylin；所述第二查询系统为德鲁依druid；

第一确定模块，用于在第一时间接收到所述第一查询系统返回的查询结果时，将所述第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到所述第二查询系统返回的查询结果时，将所述第二查询系统返回的查询结果作为查询结果。

可选的，所述装置还包括：

获取模块，用于所述同时分别向第一查询系统和第二查询系统发送查询请求之前，获取视频数据，所述视频数据包括各个视频的推荐量、播放量、评论量和涨粉量；

存储模块，用于将所述视频数据存入预设hive表中；

生成模块，用于生成done文件；

检查模块，用于检查所述done文件；

导入模块，用于根据所述hive表构建cube以及根据hive表将所述视频数据导入所述druid，其中，所述cube用于所述kylin存储所述视频数据。

可选的，所述查询请求还包括时间范围标识；

所述装置还包括：

统计模块，用于在将所述第一查询系统返回的查询结果作为查询结果，或将所述第二查询系统返回的查询结果作为查询结果之后，将所述时间范围标识对应的时间范围内的目标查询数据进行统计，得到在所述时间范围内的统计数据，所述目标查询数据是所述查询结果中的数据。

可选的，所述装置还包括：

第二确定模块，用于确定待封装信息，所述待封装信息包括用户名称；

组合模块，用于将所述查询结果和所述待封装信息组合，得到组合数据；

反馈模块，用于将所述组合数据反馈给所述用户标识对应的用户。

第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面所述的方法步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行第一方面所述的方法步骤。

在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面所述的方法步骤。

本发明实施例提供的数据查询方法、装置及电子设备，可以同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的数据查询方法的流程图；

图2为本发明实施例中存储视频数据的流程图；

图3为本发明实施例提供的具体实施例的流程图；

图4为本发明实施例提供的数据查询装置的结构示意图；

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。

用户上传视频后，有了解自己上传视频的情况的需求。如对于其上传的每个视频，查看每天的视频数据，或者查看视频在任意时间范围内的播放量，等等。

已有的查询方式中，通过一种查询系统kylin(麒麟)进行查询，如此，受到查询时该查询系统的资源等的影响，使得在一些情况下，查询时长较长。为了降低查询耗时，本发明实施例提供了一种竞争机制的查询方法，通过将视频数据保存至两个甚至多个查询系统中，如此，当接收到查询请求时，同时从两个或者多个查询系统中查找查询请求对应的视频数据，将优先从其中之一的查询系统中查找到的视频数据确定为目标查询数据，如此，能够提高查询速度。另外，本发明实施例中，当其中一个查询系统不可用时，可以从另外一个或者多个中进行查询，可以避免已有查询方式中通过一种kylin查询时，若kylin不可用而造成的无法查询的情况。

为了更清楚地说明本发明实施例提供的方案，下面首先对本发明实施例提供的数据查询方法进行详细说明。本发明实施例提供的数据查询方法可以应用于服务器。

本发明实施例提供了一种数据查询方法，如图1所示，可以包括：

s101，同时分别向第一查询系统和第二查询系统发送查询请求；以使第一查询系统和第二查询系统在分别接收到查询请求时，返回与查询请求中包括的用户标识对应的查询结果。

其中，第一查询系统和第二查询系统存储有相同的存储数据；第一查询系统为麒麟kylin；第二查询系统为德鲁依druid。

查询请求可以包括用户标识。如用户id(identification，身份)、用户名称等等。

查询请求是用于查询关于用户的视频的视频数据，该视频可以是用户上传的视频等。视频数据可以包括推荐量、播放量、评论量和/或涨粉量等。

用户可以通过访问页面向服务器发送查询请求，如此，服务器可以接收到查询请求。

第一查询系统和第二查询系统中分别对应保存用户以及用户的视频数据。如在第一查询系统或第二查询系统中，各个用户的视频数据分别保存在一个文件中；或者在第一查询系统或第二查询系统中，所有用户的视频数据全部保存在一个文件中，该文件中可以包括多个子文件，每个用户的视频数据对应保存在一个子文件中。如此，可以根据用户标识查找对应的文件或者子文件，以获取用户标识对应的视频数据。

第一查询系统和第二查询系统分别接收到查询请求后，查找该查询请求对应的查询结果，即查找查询请求中包括的用户标识对应的视频数据，并在查找到查询结果后，将查询结果返回给发送查询请求的服务器等。

s102，在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果。

不同的查询系统受到查询方式、查询资源等的影响，使得不同的查询系统的查询性能不同，即第一查询系统和第二查询系统返回查询结果的速度不同。不同的查询系统在不同时间，查询速度互有快慢，如在时间点1时，第一查询系统查询速度较快，则时间点1时，将从第一查询系统中查找到的查询结果作为查询结果。而当时间点2时，第二查询系统查询速度较快，则时间点2时，将从第二查询系统中查找到的查询结果作为查询结果。

本发明实施例中，kylin是完全的预计算引擎，通过枚举所有维度的组合，建立各种cube进行提前聚合，以hbase为基础的olap(onlineanalysisprocess，联机分析处理)引擎。druid则是轻量级的提前聚合(roll-up)，同时根据倒排索引以及bitmap提高查询效率的时间序列数据和存储引擎。kylin在对实时数据需求不高，但响应时间较高的查询，且维度较多，需求较为固定的特定查询时，查询速度较快，这种情况下，kylin较快的返回查询请求对应的查询结果。druid在对实时性要求高且响应时间短，以及维度较少且需求固定的简单聚合类查询等情况的查询时，查询速度较快，这种情况下，druid较快的返回查询请求对应的查询结果。如此可以实现，当先接收到kylin返回的查询结果时，将kylin返回的该查询结果作为查询结果，当先接收到druid返回的查询结果时，将druid返回的该查询结果作为查询结果。

本发明实施例中同时从第一查询系统和第二查询系查找待查询的视频数据，选择从第一查询系统或第二查询系统中较快查找到的视频数据确定为目标查询数据，目标查询数据即查询结果中包括的数据。即可以理解为本发明实施例中采用竞争机制，并行查询第一查询系统和第二查询系统，将优先从其中之一的查询系统中查找到的视频数据确定为目标查询数据。

本发明实施例中，同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。

一种可选的实施例中，在获取到用户对应的视频数据后，可以将视频数据反馈给用户，例如，可以通过页面展示给用户。

本发明实施例一种可选的实施例中，当用户查询的是在预设时间范围内的视频数据时，在从第一查询系统或者第二查询系统中获取用户的视频数据后，可以对预设时间范围内的视频数据进行统计。

具体地，查询请求还包括时间范围标识。在步骤s102之后，具体地在将第一查询系统返回的查询结果作为查询结果，或将第二查询系统返回的查询结果作为查询结果之后，还可以包括：将时间范围标识对应的时间范围内的目标查询数据进行统计，得到在时间范围内的统计数据，目标查询数据是查询结果中的数据。

其中，预设时间范围可以包括任意时间范围，如1周内、2周内、1个月内、2个月内等等。时间范围标识可以是区分不同时间范围的信息，如可以是时间范围的编号等等。

如此，当用户发送的查询请求中包括用户标识和时间范围标识时，可以向用户反馈该用户在时间范围标识对应的时间范围内的视频数据。

一种可选的实施例中，在步骤s102之后，具体地在将第一查询系统返回的查询结果作为查询结果，或将第二查询系统返回的查询结果作为查询结果之后，还可以包括：

确定待封装信息；将目标查询数据和待封装信息组合，得到组合数据；并将组合数据反馈给用户标识对应的用户。

待封装信息可以包括用户名称，和/或视频名称等。待封装信息也可以称之为title信息(头信息)。

或者，在查找到目标查询数据之后，将时间范围标识对应的时间范围内的目标查询数据进行统计，得到在时间范围内的统计数据。可以将统计得到的统计数据与待封装信息组合，并将组合得到的数据反馈给用户。

如此，能够使用户查询到的数据更直观。

一种可选的实施例中，为了可以从第一查询系统或第二查询系统中获取视频数据，将视频数据存储至第一查询系统和第二查询系统中。如图2所示，本发明实施例提供的数据查询方法，还可以包括：

s201，获取视频数据。

本发明实施例中，可以每天在预设的时间点或时间段获取用户前一天的视频数据，如在每天的零点获取用户前一天的视频数据等等。

用户的视频可以包括一个或多个，如几十个甚至几百万个等等。

视频数据可以包括播放量、推荐量、涨粉量、评论量、平均播放时长和/或播放完成度等等。

当视频数据包括多种类型的视频数据，一种可选的实施例中，可以通过不同的任务，分别获取不同类型的视频数据。另外，各个类型的视频数据的数据来源有可能也是不相同的，为了提高数据获取的速度，也避免不同类型之间数据获取的影响，本发明实施例可以并行获取各个类型的视频数据。

s202，将视频数据存入预设hive表中，并生成done文件。

其中，done文件用于指示待存储的视频数据已全部存入hive表中。

s203，检查done文件，并根据hive表构建cube以及根据hive表将视频数据导入druid。

其中，cube用于kylin存储视频数据。

构建cube可以包括：全量构建、增量构建、流式构建。其中，一种比较常用的方式是增量构建，增量构建可以使cube每次只构建hive表中新增部分的数据，而不是全部数据，如此，可以降低构建成本。

视频数据可以实时摄入，导入到druid后立即可查。具体地，导入druid可以包括实时导入和批量导入，本发明实施例一种可选的实现方式中可以采用批量导入的方式。具体地导入过程如下：(1)根据视频数据的hive表生成逗号分隔值(comma-separatedvalues，csv)文件并上传到分布式文件系统(hadoopdistributedfilesystem，hdfs)。(2)构建druid数据的schema，schema可以理解为数据库对象的集合，具体地可以是json文件，可以包括druiddatasource(数据库连接池)的具体信息，包括上述步骤中csv文件的路径等。(3)构建索引任务(调用druid的接口)，从而导入数据。

存储至kylin和druid中的视频数据是一致的。即将获取到的用户的视频数据同时导入两种存储系统。

本发明实施例不对存储至kylin和druid的方式作限制，任意可以实现将数据存储至kylin和druid的方式均在本发明实施例的保护范围内。

本发明实施例还提供了一个具体的实施例，如图3所示，包括：

s301，用户通过页面请求向服务器发送查询请求。

s302，服务器在接收到查询请求后，同时查询kylin和druid，即并行触发kylin和druid。具体地，可以包括步骤s3021和s3022，其中，s3021，查询kylin；s3022，查询druid。

为了使服务器在接收到查询请求后，可以从kylin和druid中查找该查询请求对应的查询结果，服务器预先将各个视频的视频数据存入kylin和druid中。具体地，服务器预先获取用户的视频数据，如各个用户的各个视频的推荐量、播放量、评论量和/或涨粉量等。然后将获取到的视频数据分别存储至kylin和druid，具体地存储过程在上述实施例中已进行了详述，这里就不再赘述。如此，在待查询视频数据时，可以从kylin和druid查询。

s303，判断kylin是否先返回查询请求对应的视频数据，若kylin先返回视频数据，也可以理解为，优先从kylin查找到查询请求对应的视频数据，则执行步骤s304；若kylin没有先返回数据，即表示druid先返回数据，同时可以理解为，优先从druid查找到查询请求对应的视频数据，则执行步骤s305。

s304，使用kylin返回的视频数据，即将从kylin查找到查询请求对应的视频数据作为目标查询数据。

s305，使用druid返回的视频数据，即将从druid查找到查询请求对应的视频数据作为目标查询数据。

s306，组装信息。

具体地，可以将用户名称、视频名称等信息与目标查询数据组装起来。

另外，当用户查询的是在预设时间范围内的视频数据时，在从kylin或者druid中获取用户的视频数据后，对预设时间范围内的视频数据进行统计。具体地，查询请求还包括时间范围标识。在查找到目标查询数据之后，还可以包括：将时间范围标识对应的时间范围内的目标查询数据进行统计，得到在时间范围内的统计数据。

将统计数据与用户名称、视频名称等信息组装起来。

s307，返回组装数据。

将组装后的数据反馈给用户。

如此，结束整个流程。

本发明实施例中，将用户的视频数据同时存储至kylin和druid中，保证有两份相同的数据可查。kylin和druid在查询任意时间范围内数据时，查询速度互有快慢，本发明实施例中使用竞争机制的数据查询，当用户选择某个查询条件时，如向服务器发送包括查询条件的查询请求，服务器并发查询kylin和druid，若kylin先返回视频数据，则使用kylin的视频数据，反之则使用druid的视频数据。如此，能够降低查询耗时，提高页面响应速度，提升用户体验。

另外，若kylin或druid其中一种不稳定或者不可用时，还可以使用另外一种可用的查询，避免使用一种查询系统查询时，一旦查询系统不可用，造成整个数据查询不可用，无法响应用户请求。

本发明实施例提供了一种数据查询装置，如图4所示，包括：

发送模块401，用于同时分别向第一查询系统和第二查询系统发送查询请求；以使第一查询系统和第二查询系统在分别接收到查询请求时，返回与查询请求中包括的用户标识对应的查询结果；其中，第一查询系统和第二查询系统存储有相同的存储数据；第一查询系统为麒麟kylin；第二查询系统为德鲁依druid；

第一确定模块402，用于在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果。

本发明实施例中，可以同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。

可选的，该装置还包括：

获取模块，用于同时分别向第一查询系统和第二查询系统发送查询请求之前，获取视频数据，视频数据包括各个视频的推荐量、播放量、评论量和涨粉量；

存储模块，用于将视频数据存入预设hive表中；

生成模块，用于生成done文件；

检查模块，用于检查done文件；

导入模块，用于根据hive表构建cube以及根据hive表将视频数据导入druid，其中，cube用于kylin存储视频数据。

可选的，查询请求还包括时间范围标识；

该装置还包括：

统计模块，用于在将第一查询系统返回的查询结果作为查询结果，或将第二查询系统返回的查询结果作为查询结果之后，将时间范围标识对应的时间范围内的目标查询数据进行统计，得到在时间范围内的统计数据，目标查询数据是查询结果中的数据。

可选的，该装置还包括：

第二确定模块，用于确定待封装信息，待封装信息包括用户名称；

组合模块，用于将查询结果和待封装信息组合，得到组合数据；

反馈模块，用于将组合数据反馈给用户标识对应的用户。

需要说明的是，本发明实施例提供的数据查询装置是应用上述数据查询方法的装置，则上述数据查询方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。

本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。

存储器503，用于存放计算机程序；

处理器501，用于执行存储器503上所存放的程序时，实现上述数据查询方法的方法步骤。

本发明实施例中，可以同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory，简称ram)，也可以包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述数据查询方法的方法步骤。

本发明实施例中，可以同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述数据查询方法的方法步骤。

本发明实施例中，可以同时从第一查询系统和第二查询系统查找视频数据，若在第一时间接收到第一查询系统返回的查询结果时，将第一查询系统返回的查询结果作为查询结果；或者，在第一时间接收到第二查询系统返回的查询结果时，将第二查询系统返回的查询结果作为查询结果，如此，能够提高查询速度。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。