于:
[0090]发起查询请求，将数据读取到内存中进行处理之前，将所述消息订阅系统320和数据仓库工具350中的数据合并，对合并后的数据建立视图。
[0091]示例性的，所述查询引擎340，具体用于:
[0092]向消息订阅系统320发起查询请求；
[0093]将所述消息订阅系统320中的所有最新数据读取到内存中；
[0094]通过计算节点对读取到内存中的数据进行过滤得到目标数据。
[0095]或者，所述查询引擎340，具体用于:
[0096]向数据仓库工具350发起查询请求；
[0097]将所述数据仓库工具350对应分区或子分区中的数据读取到内存中；
[0098]通过计算节点对读取到内存中的数据进行过滤得到目标数据。
[0099]又或者，所述查询引擎340，具体用于:
[0100]向消息订阅系统320和数据仓库工具350或视图发起联合查询请求；
[0101]将消息订阅系统320和数据仓库工具350中的相关数据读取到内存中；
[0102]通过计算节点对读取到内存中的数据进行过滤得到目标数据。
[0103]上述大数据的实时查询系统可执行本发明任意实施例所提供的大数据的实时查询方法，具备执行大数据的实时查询方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的数据库的操作。
[0104]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1.一种大数据的实时查询方法，其特征在于，包括: 采集系统实时采集用户操作产生的互联网数据，并根据采集系统的传输规则将所述数据分类传输给消息订阅系统； 所述消息订阅系统根据所述采集系统的传输规则将存储空间划分为不同的目录结构，所述不同的目录结构分别接收并存储由所述采集系统传输的不同类别的所述数据； 所述消息订阅系统根据消息订阅系统的配置规则，将所述目录结构中的数据划分为最新数据和过期数据； 查询引擎在调度系统的配合下，按照调度系统设置的调度规则将所述过期数据迀移至数据仓库工具不同的分区中； 所述查询引擎发起查询请求，将数据读取到内存中进行处理。2.根据权利要求1所述的方法，其特征在于，所述查询引擎在调度系统的配合下，按照调度系统设置的调度规则将所述过期数据迀移至数据仓库工具不同的分区中，包括: 所述调度系统对数据查询周期、过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系进行设置； 所述消息订阅系统对根据所述配置规则产生的过期数据进行标定； 所述查询引擎根据所述数据查询周期在消息订阅系统的数据中查询被标定的过期数据，并根据所述过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系，将所述被标定的过期数据迀移至数据仓库工具的对应分区中。3.根据权利要求2所述的方法，其特征在于，所述查询引擎根据所述过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系，将所述被标定的过期数据迀移至数据仓库工具的对应分区中，包括: 所述调度系统根据时间特征，将每个数据仓库工具分区对应的被标定过期数据分类；所述查询引擎根据所述过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系，将分类的被标定过期数据分别迀移至数据仓库工具分区对应设置的子分区中。4.根据权利要求1所述的方法，其特征在于，所述查询引擎发起查询请求，将数据读取到内存中进行处理之前，还包括: 将所述消息订阅系统和数据仓库工具中的数据合并，对合并后的数据建立视图。5.根据权利要求1所述的方法，其特征在于，所述查询引擎发起查询请求，将数据读取到内存中进行处理，包括: 所述查询引擎向消息订阅系统发起查询请求； 所述查询弓I擎将所述消息订阅系统中的所有最新数据读取到内存中； 计算节点对读取到内存中的数据进行过滤得到目标数据。6.根据权利要求1或3所述的方法，其特征在于，所述查询引擎发起查询请求，将数据读取到内存中进行处理，包括: 所述查询引擎向数据仓库工具发起查询请求； 所述查询引擎将所述数据仓库工具对应分区或子分区中的数据读取到内存中； 计算节点对读取到内存中的数据进行过滤得到目标数据。7.根据权利要求1或4所述的方法，其特征在于，所述查询引擎发起查询请求，将数据读取到内存中进行处理，包括: 所述查询引擎向消息订阅系统和数据仓库工具或视图发起联合查询请求； 所述查询引擎将消息订阅系统和数据仓库工具中的相关数据读取到内存中； 计算节点对读取到内存中的数据进行过滤得到目标数据。8.一种大数据的实时查询系统，其特征在于，包括: 采集系统，用于实时采集用户操作产生的互联网数据，并根据采集系统的传输规则将所述数据分类传输给消息订阅系统； 消息订阅系统，用于根据所述采集系统的传输规则将存储空间划分为不同的目录结构，所述不同的目录结构分别接收并存储由所述采集系统传输的不同类别的所述数据；所述消息订阅系统，还用于根据消息订阅系统的配置规则，将所述目录结构中的数据划分为最新数据和过期数据； 查询引擎，用于在调度系统的配合下，按照调度系统设置的调度规则将所述过期数据迀移至数据仓库工具不同的分区中； 调度系统，用于配合查询引擎实现过期数据的迀移； 数据仓库工具，用于接收并存储调度系统传输的所述过期数据； 所述查询引擎，还用于发起查询请求，将数据读取到内存中进行处理。9.根据权利要求8所述的系统，其特征在于: 所述调度系统，具体用于对数据查询周期、过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系进行设置； 所述消息订阅系统，具体用于对根据所述配置规则产生的过期数据进行标定； 所述查询引擎，具体用于根据所述数据查询周期在消息订阅系统的数据中查询被标定的过期数据，并根据所述过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系，将所述被标定的过期数据迀移至数据仓库工具的对应分区中。10.根据权利要求9所述的系统，其特征在于: 所述调度系统，用于根据时间特征，将每个数据仓库工具分区对应的被标定过期数据分类； 所述查询引擎，用于根据所述过期数据迀移时间点、过期数据迀移周期以及消息订阅系统中的过期数据与数据仓库工具分区的对应关系，将分类的被标定过期数据分别迀移至数据仓库分区对应设置的子分区中。11.根据权利要求8所述的系统，其特征在于，所述查询引擎，具体用于: 发起查询请求，将数据读取到内存中进行处理之前，将所述消息订阅系统和数据仓库工具中的数据合并，对合并后的数据建立视图。12.根据权利要求8所述的系统，其特征在于，所述查询引擎，具体用于: 向消息订阅系统发起查询请求； 将所述消息订阅系统中的所有最新数据读取到内存中； 通过计算节点对读取到内存中的数据进行过滤得到目标数据。13.根据权利要求8或10所述的系统，其特征在于，所述查询引擎，具体用于:向数据仓库工具发起查询请求；将所述数据仓库工具对应分区或子分区中的数据读取到内存中；通过计算节点对读取到内存中的数据进行过滤得到目标数据。14.根据权利要求8或11所述的系统，其特征在于，所述查询引擎，具体用于:向消息订阅系统和数据仓库工具或视图发起联合查询请求；将消息订阅系统和数据仓库工具中的相关数据读取到内存中；通过计算节点对读取到内存中的数据进行过滤得到目标数据。
【专利摘要】本发明公开了一种大数据的实时查询方法和系统。所述方法包括：采集系统实时采集用户操作产生的互联网数据,并根据采集系统的传输规则将所述数据分类传输给消息订阅系统；所述消息订阅系统根据所述采集系统的传输规则将存储空间划分为不同的目录结构，所述不同的目录结构分别接收并存储由所述采集系统传输的不同类别的所述数据；所述消息订阅系统根据消息订阅系统的配置规则，将所述目录结构中的数据划分为最新数据和过期数据；查询引擎在调度系统的配合下，按照调度系统设置的调度规则将所述过期数据迁移至数据仓库工具不同的分区中；所述查询引擎发起查询请求，将数据读取到内存中进行处理。上述方法可实现高效的海量数据的实时查询。
【IPC分类】G06F17/30
【公开号】CN105224658
【申请号】CN201510641107
【发明人】孔云龙
【申请人】北京京东尚科信息技术有限公司, 北京京东世纪贸易有限公司
【公开日】2016年1月6日
【申请日】2015年9月30日