提取装置、数据处理系统和提取方法
【技术领域】
[0001] 本发明涉及一种用于执行查询并处理流数据和存储在数据库中的数据的数据处 理系统、一种用在数据处理系统中用于从查询中提取将要转换为对流数据进行处理的程序 的转换对象的提取装置、一种用于提取转换对象的方法、以及一种用于使计算机执行该方 法的提取程序。
【背景技术】
[0002] 随着诸如1C标签、1C卡等的传感器、诸如在线购物和在线游戏等在线服务、装载 有GPS(全球定位系统）的蜂窝电话和智能电话、以及连接至网络的汽车导航系统的广泛使 用，这些传感器等不断生成大量的数据。称为流数据的大量数据在网络上流动并存储在数 据库中用于分析等目的。
[0003] 通过向管理数据库的数据库管理系统（DBMS)发出查询并在DBMS中执行查询，来 从数据库获得所需的数据。该查询可使DBMS执行除获取数据之外的处理，诸如数据的更 新、添加和删除。
[0004] 近年来，由于全球变暖等影响，风速和雨量瞬息万变，并且，有时仅几分钟的延迟 疏散都会引起灾难。为了识别这类突变并实现快速疏散，需要能够实时获取气流数据和降 雨数据的高速查询。
[0005] 数据库中存储了大量的数据，并且，搜索并获取所需数据需要一定时间。虽然这取 决于机器的数据量和吞吐量，但是，也可能要花上几分钟到几小时的时间。这使得不可能应 付要求实时获取数据的情况。
[0006] 因此，已经提出了在流数据存储到数据库中之前对将要输入数据库的流数据进行 处理的技术（例如，见专利文献1至4)。根据这些技术，由于对流数据进行了搜索等处理， 因此，可实时获取数据。
[0007][引用列表]
[0008][专利文献]
[0009][专利文献 1]JP2〇〇6_338432A
[0010] [专利文献 2]JP2〇l〇-l〇8〇73A
[0011] [专利文献 3]JP2〇10_2l7968A
[0012] [专利文献 4]JP2〇ll_〇59967A
【发明内容】
[0013][技术问题]
[0014] 在处理流数据的情况下，要求注册查询并且连续地对连续输入的流数据执行查 询。为此，描述用于流数据的指令的查询利用例如SPL(流处理语言）等流数据处理语言进 行说明。通过编译这类查询被转换为用于处理流数据的程序，称为流数据处理代码，并且通 过执行该代码来执行该处理。
[0015] 另一方面，在处理存储在数据库中的数据的情况下，如上所述的，由于难以用相同 的流数据处理语言描述例如对由数据库持有的多个表进行搜索的多个查询，所以，利用例 如SQL等数据库查询语言。
[0016] 已经需要使用不同语言所描述的查询以用于处理流数据和存储在数据库中的数 据。由此，在现有技术中，还无法通过使用一个查询对流数据和存储在数据库中的数据进行 高效处理。
[0017] 在处理流数据的情况下，流数据曾被存储在存储器中，然后所存储的数据经受处 理。流数据需要被存储在存储器中。然而，当流数据为大量数据时，由存储数据而导致的存 储器不足可使系统瘫痪。
[0018] 此外，为了实现强实时性，需要使用具有严格存储器限制的设备，诸如客户端计算 机和边缘服务器；由此，易于发生存储器不足和系统瘫痪。
[0019] 因此，已经需要提供一种能够防止发生存储器不足并且能够通过一个查询对流数 据和存储在数据库中的数据两者都进行高效处理的装置和方法。
[0020] [解决方案]
[0021] 针对这些问题，本发明提供了一种提取装置，用于从查询中提取作为转换对象将 要被转换为对连续地输入数据库的流数据进行处理的程序的子查询，所述查询包括作为子 查询将要发往用于管理数据库的数据库管理系统的一个或多个指令，所述提取装置包括： 输入单元，其用于接收查询、使用量随着对流数据的处理而增加的存储器的最大存储增加 量、以及作为每单位存储增加量的处理时间的效率的下限值的输入，与数据库管理系统执 行查询的情况相比，当流数据由程序处理时处理时间减少了；操作单元，其用于计算当包括 在查询中的每个子查询被转换为程序并且于是处理流数据时的至少一个存储增加量，以及 与由数据库管理系统执行的情况相比当流数据被处理时将要减少的处理时间，以及通过使 用至少一个计算得到的存储增加量和将要减少的处理时间来计算效率；以及提取单元，其 用于选择至少一个效率等于或高于下限值的子查询，对针对所选的子查询计算得到的存储 增加量进行合计，并且，在合计得到的存储增加量等于或小于最大存储增加量的情况下，将 所选的子查询提取作为转换对象。
[0022] [本发明的有利影响]
[0023] 本发明使得有可能防止发生存储器不足并且通过使用一个查询对流数据和存储 在数据库中的数据执行处理。
【附图说明】
[0024] 图1是本发明实施例的数据处理系统的整体配置图；
[0025] 图2是图示了在图1中图示的数据处理系统中提供的客户端和前端服务器的硬件 配置的示意图；
[0026] 图3是用于描述由图1中图示的数据处理系统执行的处理的示意图；
[0027] 图4是图示了将SQL图分为两个节点组的状态的示意图；
[0028] 图5是图示了计算SQL图的每个路径的效率的状态的示意图；
[0029] 图6是图示了在SQL图中提取转换对象节点的状态的示意图；
[0030] 图7是用作提取装置的客户端的功能性框图；
[0031] 图8是图不了SPL|旲板的不意图；
[0032] 图9是图示了由提取装置执行的处理的流程的流程图；
[0033] 图10是图示了写入SQL的查询的示意图；
[0034] 图11是图示了包括在写入SQL的查询中的作为节点的子查询的示意图；
[0035] 图12是图示了用于执行流水线处理的子查询的示例说明和用于执行非流水线处 理的子查询的示例描述的示意图；
[0036] 图13是图示了对最后的"内部联结"部分进行非流水线处理的示例的示意图；以 及
[0037] 图14是图示了由流水线处理和非流水线处理生成的表的示例和转换为引用表的 SQL的示例的示意图。
【具体实施方式】
[0038] 在下文中将依据在附图中图示的具体实施例对本发明进行描述，但是，本发明不 限于稍后所描述的实施例。图1是本发明实施例的数据处理系统的整体配置图。数据处理 系统包括I0T(物联网）装置10、分组通信网络11、客户端计算机（以下简称客户端）12、前 端服务器13和后端服务器14。虽然在图1中图示了每个单独的设备一个，但是，数据处理 系统可包括两个或两个以上的单独的设备。
[0039] 分组通信网络11是用于发送和接收数据被划分为的分组的通信网络，并且包括 互联网。I0T装置10是可连接至互联网的装置，其用于生成数据并将数据发送至互联网。 I0T装置10的示例包括：车辆、保健装置和各种类型的安装在工厂、学校等中的传感器。在 I0T装置10和分组通信网络11之间的通信由诸如Wi-Fi等无线电通信经由图中未图示的 接入点进行。
[0040] 保健装置的示例包括：例如，量表、身体成分测量仪、计步器、活度计、基础体温计 和血压计。这些装置包括用于执行测量以生成测量数据并将数据发送至互联网的传感器。
[0041] 车辆包括用于测量位置的GPS、车辆速度传感器、各种类型的用于燃油压力等的压 力传感器以及各种类型的用于室温、室外空气温度等的温度传感器，以发送由每个传感器 所检测到的和生成的测量数据。保健装置对体重、步数、体温、血压等进行测量，并发送生成 的测量数据。各种类型的安装在工厂等中的传感器的示例包括：例如，加载在安装于设备或 装置上以对其进行测量的体温计、流量计、压力计、光密度计等上的传感器。
[0042] 客户端12为用户使用的PC等，客户端12接收将要在用作第一处理器的前端服务 器13和用作第二处理器的后端服务器14中执行的查询的输入和各种类型的参数，并执行 查询的编译等。稍后将详细描述查询、参数和编译。注意，查询是对以诸如SQL等数据库描 述语言提供在后端服务器14中的数据库的询问的说明。
[0043] 前端服务器13接收流数据（诸如，由I0T装置10向分组通信网络11传输的大量 测量数据）的输入，处理流数据并向后端服务器14输出结果。前端服务器13接收由客户 端12通过对查询的编译而生成的称为流数据处理代码的程序，执行流数据处理代码，并对 输入的流数据进行规定的处理。由此，可执行对查询的一部分或所有的处理。
[0044] 后端服务器14通过前端服务器13接收处理结果，并且，当查询中还有待执行的处 理时，执行该处理，将结果存储在数据库中，并且还将结果返回至客户端12。此外，后端服务 器14执行将流数据存储在数据库中的处理。因此，后端服务器14包括用于管理数据库并 对数