一种基于分布式数据库消息数据管理方法及系统的制作方法
【技术领域】
[0001]本发明涉及数据管理技术领域，尤其涉及一种基于分布式数据库消息数据管理方法及系统。
【背景技术】
[0002]随着当今互联网的发展，各类消息系统面临数据量每年剧增的考验。同时随着消息输入方式的多样化，系统将存在大量半结构化、非结构化的数据。这使得数据库设计人员难以事先确定符合业务要求的数据关系模型，而传统RDBMS的横向扩展能力通常比较差，数据库表结构的变更将产生高昂的代价，这对大型消息系统来说无疑是一场灾难。
[0003]并且，消息系统对于实时性有着很高的要求，所以数据库对于高并发读写的性能变得尤为重要。由于庞大的数据量，单台DB进行存储将付出高昂的成本代价，同时无法满足高并发的读写需求。由此，使用大型的分布式数据存储系统，才有办法从根本上解决消息数据海量存储以及高并发读写的问题。
【发明内容】
[0004]本发明的主要目的在于提出一种基于分布式数据库消息数据管理方法及系统，克服现有RDBMS管理消息数据技术无法支持大并发快速读写的不足。
[0005]为实现上述目的，本发明提供了一种基于分布式数据库消息数据管理方法，所述消息数据包括结构化消息数据、非结构化消息数据，所述方法包括:
[0006]基于分布式数据库，利用数据库对象集合设计对结构化消息数据进行存储的步骤、通过数据块的方式对非结构化消息数据进行存储的步骤、通过主键方式对结构化消息数据进行查询的步骤、通过过滤器方式对非结构化消息数据进行查询的步骤。
[0007]可选地，所述利用数据库对象集合设计对结构化消息数据进行存储的步骤包括:
[0008]将结构化消息数据按照类型分别建立领域模型；
[0009]在分布式数据库中建立数据库表，设计该数据表的数据库对象集合；
[0010]将待存储的结构化消息数据按照领域模型进行转换，然后存入所述数据库表中单独的列簇。
[0011]可选地，所述通过数据块的方式对非结构化消息数据进行存储的步骤包括:
[0012]在分布式数据库中新增一个列簇，将待存储非结构化消息数据存储于该列簇中，同时通过其他列簇存储待存储非结构化消息数据的相关信息；
[0013]在每个列簇存储信息时，以键、值的方式存储每行单元格中的数据，形成若干数据块，然后将数据块保存到分布式数据库的格式文件中，最后将格式文件保存到后台的分布式文件系统中。
[0014]可选地，所述通过主键方式对结构化消息数据进行查询的步骤包括:
[0015]实例化对象，根据所述实例化对象获取对应的实例；
[0016]根据客户端的需求，在获取的实例中设置起始主键以及截止主键；
[0017]设置函数查询方式获取分布式数据库表中的记录；
[0018]调用解析器读取待查询的结构化消息数据，并将其封装为值对象返回数据给上层服务。
[0019]可选地，所述通过过滤器方式对非结构化消息数据进行查询的步骤包括:
[0020]设置过滤器读取待查询消息的消息基本信息，从中获取元数据信息；
[0021]根据元数据信息，针对不同的非结构化消息数据内容，编写不同的解析器进行解析读取；
[0022]将解析出的内容与消息基本信息，按照约定的格式与数据结构封装为一个值对象发送给上层服务。
[0023]可选地，所述数据库对象集合包括表名称、列簇、列、主表主键生成规则，索引主键生成规则、索引列。
[0024]可选地，所述非结构化消息数据的相关信息包括:内容类型、存储大小、创建时间、修改时间。
[0025]可选地，所述结构化消息数据包括:数字、符号；所述非结构化消息数据包括:文本、图像、声音、网页、视频。
[0026]可选地，所述消息数据具体为:个人消息数据、订阅号消息数据、关注/订阅消息数据、组织机构消息数据。
[0027]—种基于分布式数据库消息数据管理系统，包括服务端，所述服务端包括:
[0028]结构化消息数据存储单元，用于通过数据库对象集合，将待存储的结构化消息数据存储至分布式数据库中；
[0029]非结构化消息数据存储单元，用于通过数据块的方式，将待存储的非结构化消息数据存储至分布式数据库中；
[0030]结构化消息数据查询单元，用于通过主键方式，从分布式数据库中查询待查询的结构化消息数据；
[0031]非结构化消息数据查询单元，用于通过过滤器方式，从分布式数据库查询待查询的非结构化消息数据。
[0032]与现有技术相比，本发明具有以下技术效果:
[0033]本发明采用Hadoop和HBase作为底层存储支撑技术，利用它们的高扩展性以支持大型消息数据高性能存储管理，将其应用于目前的消息系统中，克服了现有RDBMS管理消息数据技术无法支持大并发快速读写的不足，同时可存储管理数据类型包括了结构化数据和非结构化数据，满足了具有大数据、时序性强、结构建等等特点的消息系统的数据管理需求。
【附图说明】
[0034]图1为实现本发明各个实施例的移动终端的硬件结构示意图；
[0035]图2为如图1所示的移动终端的无线通信系统示意图；
[0036]图3为本发明实施例一提供的结构化消息数据的存储方法流程图；
[0037]图4为本发明实施例一提供的非结构化消息数据的存储方法流程图；
[0038]图5为本发明实施例一提供的结构化消息数据的查询方法流程图；
[0039]图6为本发明实施例一提供的非结构化消息数据的查询方法流程图；
[0040]本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
【具体实施方式】
[0041]应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0042]现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
[0043]移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
[0044]图1为实现本发明各个实施例的移动终端的硬件结构示意图。
[0045]移动终端100可以包括无线通信单元110、A/V(音频/视频)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180和电源单元190等等。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述移动终端的元件。
[0046]无线通信单元110通常包括一个或多个组件，其允许移动终端100与无线通信系统或网络之间的无线电通信。例如，无线通信单元可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114和位置信息模块115中的至少一个。
[0047]广播接收模块111经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供，并且在该情况下，广播相关信息可以由移动通信模块112来接收。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播手持(DVB-Η)的电子服务指南(ESG)等等的形式而存在。广播接收模块111可以通过使用各种类型的广播系统接收信号广播。特别地，广播接收模块111可以通过使用诸如多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、数字视频广播-手持(DVB-H)，前向链路媒体(MediaFLO?)的数据广播系统、地面数字广播综合服务(ISDB-T)等等的数字广播系统接收数字广播。广播接收模块111可以被构造为适合提供广播信号的各种广播系统以及上述数字广播系统。经由广播接收模块111接收的广播信号和/或广播相关信息可以存储在存储器160(或者其它类型的存储介质)中。
[0048]移动通信模块112将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
[0049]无线互联网模块113支持移动终端的无线互联网接入。该模块可以内部或外部地耦接到终端。该模块所涉及的无线互联网接入技术可以包括WLAN(无线LAN) (W1-Fi)、Wibro(无线宽带)、Wimax(全球微波互联接入)、HSD