一种智能大数据处理方法和装置的制造方法
【技术领域】
[0001] 本发明涉及计算机技术领域，特别涉及一种智能大数据处理方法和装置。
【背景技术】
[0002] 随着计算机技术的不断发展，出现了大数据。大数据首先是指数据体量大，指代大 型数据集，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了 PB级的数 据量；大数据其次是指数据类别大，数据来自多种数据源，数据种类和格式日渐丰富，已冲 破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。
[0003] 因此，如何对大数据进行处理，成为了一个亟待解决的问题。
【发明内容】
[0004] 本发明提供了一种大数据的处理方法和装置，能够有效地对大数据进行处理。
[0005] -种智能大数据处理方法，包括：
[0006] 形成存储大数据的包括多个计算机的计算机集群；
[0007] 采集大数据；
[0008] 以列式存储的方式，将采集到的大数据存储到LSM树中；
[0009] 将各个LSM树分别存储到所述计算机集群中的各个计算机中。
[0010] 优选地，应用于智能视觉监控系统，
[0011] 进一步包括：预先设置基于LSM树的分布式存储表，该存储表以时间段的视频 作为行健，目标的实时检测、目标分类、运动目标的跟踪过程、视频内容的分析分别作为列 族；
[0012] 所述以列式存储的方式将采集到的大数据存储到LSM树中包括：
[0013] 将采集到的大数据，按照目标的实时检测、目标分类、运动目标的跟踪过程、视频 内容的分析进行分类处理后，分别存储到所述分布式存储表中对应列族的LSM树中；在每 一个列族中，将每一个LSM树中的数据写入内存中，当每一个LSM树达到预定大小后，将内 存中的LSM树的数据溢出到磁盘中，并定期将磁盘中的LSM树合并成一棵新的LSM树。
[0014] 所述将各个LSM树分别存储到所述计算机集群中的各个计算机中包括：将合并后 的各个新的LSM树分别存储到所述计算机集群中的各个计算机中。
[0015] 优选地，在所述将各个LSM树分别存储到所述计算机集群中的各个计算机中之 后，进一步包括：
[0016] 为所述计算机集群中的每一个计算机建立对应的任务；在接收到实际任务之后， 将各个实际任务分发到所述计算机集群中对应的计算机中；各个实际任务从被分发到的计 算机中存储的LSM树中实时读取或分析大数据。
[0017] 其中，所述实际任务为mapreduce任务。
[0018] 优选地，所述采集大数据包括：采集设定时间段内的智能视觉监控系统中的数据。
[0019] 一种智能大数据的处理装置，包括：
[0020] 形成单元，用于形成存储大数据的包括多个计算机的计算机集群；
[0021] 采集单元，用于采集大数据；
[0022] LSM树处理单元，用于以列式存储的方式，将采集到的大数据存储到LSM树中；
[0023] 集群处理单元，用于将各个LSM树分别存储到所述计算机集群中的各个计算机 中。
[0024] 其中，所述LSM树处理单元，进一步用于设置基于LSM树的分布式存储表，该存储 表以时间段的视频作为行健，目标的实时检测、目标分类、运动目标的跟踪过程、视频内容 的分析分别作为列族；将采集到的大数据，具体按照目标的实时检测、目标分类、运动目标 的跟踪过程、视频内容的分析进行分类处理后，分别存储到所述分布式存储表中对应列族 的LSM树中；在每一个列族中，将每一个LSM树中的数据写入内存中，当每一个LSM树达到 预定大小后，将内存中的LSM树的数据溢出到磁盘中，并定期将磁盘中的LSM树合并成一棵 新的LSM树。
[0025] 所述集群处理单元，具体是将合并后的各个新的LSM树分别存储到所述计算机集 群中的各个计算机中。
[0026] 优选地，所述集群处理单元，进一步用于为所述计算机集群中的每一个计算机建 立对应的任务；在接收到实际任务之后，将各个实际任务分发到所述计算机集群中对应的 计算机中；各个实际任务从被分发到的计算机中存储的LSM树中读取大数据。
[0027] 本发明实施例提供的智能大数据处理方法和装置，能够将大数据分布存储到计算 机集群中的多个计算机中，而不是集中存储到一台计算机中；并且，存储的时候，以列式存 储的方式存储到LSM中，而不是直接存储到数据库中，因此，解决了大数据的存储问题。
[0028] 另外，在本发明的实施例中，基于分布式集群计算机存储方式及LSM树的存储方 式，能够实现大数据的实时存储，避免数据量过大造成的存储困难问题。
[0029] 在本发明的实施例中，可以分发任务到计算机集群中的各个计算机，在任务为获 取大数据时，所获取的大数据是从集群中的各个计算机的LSM树中实时获取的。因此，实现 了实时获取大数据的目的。
[0030] 在本发明的实施例中，可以分发任务到计算机集群中的各个计算机，在任务为分 析大数据时，保证能实时获取分析结果。
【附图说明】
[0031] 图1是本发明一个实施例中实现智能大数据处理的流程图。
[0032] 图2是本发明另一个实施例中在智能视觉监控系统中实现智能大数据处理的流 程图。
[0033] 图3是本发明一个实施例中智能大数据的分发示意图。
[0034] 图4是本发明一个实施例中实现智能大数据处理的装置结构示意图。
【具体实施方式】
[0035] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本 发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实 施例，都属于本发明保护的范围。
[0036] 本发明一个实施例提供了一种智能大数据的处理方法，参见图1，该方法包括：
[0037] 步骤101 :形成存储大数据的包括多个计算机的计算机集群；
[0038] 步骤102 :采集大数据；
[0039] 步骤103 :以列式存储的方式，将采集到的大数据存储到LSM树中；
[0040] 步骤104 :将各个LSM树分别存储到所述计算机集群中的各个计算机中。
[0041] 本发明实施例能够将大数据分布存储到计算机集群中的多个计算机中，而不是集 中存储到一