一种大数据分析方法及系统与流程

本发明属于大数据分析领域，尤其涉及一种大数据分析方法及系统。

背景技术：

大数据作为时下最火热的it行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据分析也应运而生。

大数据分析，是通过众多的数据来分析得出有用的结论，而这些数据是通过一种技术手段做成一个系统来收集的，这个系统叫做大数据引擎。大数据引擎是对大数据进行收集、存储、计算、挖掘和管理，并通过深度学习技术和数据建模技术，使数据具有“智能”。

现有的大数据分析技术是比较固化的分析，分析很难根据场景的变化自动适配，一旦场景发生变化，就必须重新开发分析程序。

因此，需要提供一种大数据分析方法及系统来解决现有技术的不足。

技术实现要素：

为了解决现有技术存在的问题，本发明提供了一种大数据分析方法及系统，通过分析合成解决数据分析问题，适应各种应用场景。

一种大数据分析方法，包括：

采集大数据；

根据预设的分析组件对所述大数据进行预处理；

分析预处理后的大数据，得到可视化的分析组件；

根据用户需求选择分析组件的类型；

将所述分析组件进行合成，得到整个分析场景。

进一步的，所述根据预设的分析组件对所述大数据进行预处理，包括：

根据预设的分析组件对所述大数据进行过滤、清洗和提取，得到与所述分析组件相对应的数据集。

进一步的，所述分析预处理后的大数据，得到可视化的分析组件，包括：

通过预先设立模型对所述分析组件相对应的数据集进行分析，得到所述数据集的分析结果；

将所述分析结果按照预先设定的可视化展现种类进行展示，得到可视化的分析组件。

进一步的，将所述分析组件进行合成，得到整个分析场景，包括：

将用户选择的分析组件按照预先设定的顺序进行拼接，得到整个分析场景。

一种大数据分析系统，包括：

获取模块，用于采集大数据；

处理模块，用于根据预设的分析组件对所述大数据进行预处理；

可视化模块，用于分析预处理后的大数据，得到可视化的分析组件；

选择模块，用于根据用户需求选择分析组件的类型；

合成模块，用于将所述分析组件进行合成，得到整个分析场景。

进一步的，所述处理模块，用于，

根据预设的分析组件对所述大数据进行过滤、清洗和提取，得到与所述分析组件相对应的数据集。

进一步的，所述可视化模块包括：

分析子模块，用于通过预先设立模型对所述分析组件相对应的数据集进行分析，得到所述数据集的分析结果；

可视化子模块，用于将所述分析结果按照预先设定的可视化展现种类进行展示，得到可视化的分析组件。

进一步的，所述合成模块，用于，

将用户选择的分析组件按照预先设定的顺序进行拼接，得到整个分析场景。

本发明提供的技术方案与最接近的现有技术相比具有如下优点：

本发明提供的技术方案根据预设的分析组件对采集大数据进行预处理，然后分析预处理后的数据得到可视化的分析组件，再根据用户的需求选择一个或一个以上的分析组件进行合成，得到整个分析场景。本发明可以自由选择所需要的分析组件，解决各种数据分析问题，适应各种应用场景。

附图说明

图1是本发明流程图；

图2是本发明实施例中分析场景展示示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种大数据分析方法，包括：

采集大数据；

根据预设的分析组件对所述大数据进行预处理；

分析预处理后的大数据，得到可视化的分析组件；

根据用户需求选择分析组件的类型；

将所述分析组件进行合成，得到整个分析场景。

在本申请实施例中，首先根据预设的分析组件对采集大数据进行预处理，然后分析预处理后的数据得到可视化的分析组件，再根据用户的需求选择一个或一个以上的分析组件进行合成，得到整个分析场景。本发明可以自由选择所需要的分析组件，解决各种数据分析问题，适应各种应用场景。

在本申请的一些实施例中，所述根据预设的分析组件对所述大数据进行预处理，包括：

根据预设的分析组件对所述大数据进行过滤、清洗和提取，得到与所述分析组件相对应的数据集。

通过完成分析对象数据集的抽取、过滤、清洗工作，保证分析对象数据的纯度和数据质量。

首先采集用于分析合成的数据，从信源、渠道、内容分类、语种、情感分类、标签分类、关键字、时间范围等维度对数据进行过滤、清洗、提取，提取出来的数据形成一个个数据集合，用于后续的数据绑定。

在本申请的一些实施例中，所述分析预处理后的大数据，得到可视化的分析组件，包括：

通过预先设立模型对所述分析组件相对应的数据集进行分析，得到所述数据集的分析结果；

将所述分析结果按照预先设定的可视化展现种类进行展示，得到可视化的分析组件。

组件分析阶段主要是各组件根据对应的算法和模型，完成分析结果的可视化展现。

其中，预先建立的模型是基于深度学习建立的。

在本申请的一些实施例中，将所述分析组件进行合成，得到整个分析场景，包括：

将用户选择的分析组件按照预先设定的顺序进行拼接，得到整个分析场景。

其中，组件的种类可以包括如下几类：信源分析、信息内容、新闻发现、跨语言分析、实体分析、趋势变化、地域分析、传播分析、媒体特征、情感分析、互动分析、安全性分析。

每一种组件包括多种分析维度，用户可以根据自身的需求，选择一种或是一种以上的分析维度作为场景进行检索，可以得到包含需求的多个可视化组件，多个可视化组件可以根据用户的需求进行排序，然后展示在预设平台上，例如在动态屏上进行展示。

针对每一类组件设定组件的属性，给组件绑定数据源，设定分析结果的可视化展现种类，数据范围。可以选择一个或多个数据源集合进行自由组合。分析中的组件可以编辑、删除、重新添加。在手机、pc上的展示可以自由组合、自动适配。组件数据绑定完成后，根据数据的变化自动进行分析，分析结果实时更新。各个组件的分析由底层分析引擎来实现。分析结果以高级可视化的方式展现，提供动态更新，可以人机交互。分析的结果可以以多种形式输出，输出形式包括web页专题、报告、动态屏等形式。其中报告可以提供下载。动态屏支持切换模板。

如图2所示，是两个电影的一些相关数据的分析场景展示示意图，用户想了解爱情公寓和一出好戏的媒体曝光率、总声量渠道对比以及各自渠道声量分布的场景展示。

首先用户可以在搜索引擎输入“爱情公寓vs一出好戏”，通过本申请的大数据分析方法就可以分析出用户所需要的数据，并通过可视化组件按顺序展示到搜索界面，让用户可以直接的看出这几个维度的数据分布。

基于相同的发明构思本发明还提供了一种大数据分析系统，包括：

获取模块，用于采集大数据；

处理模块，用于根据预设的分析组件对所述大数据进行预处理；

可视化模块，用于分析预处理后的大数据，得到可视化的分析组件；

选择模块，用于根据用户需求选择分析组件的类型；

合成模块，用于将所述分析组件进行合成，得到整个分析场景。

可选的，所述处理模块，用于，

根据预设的分析组件对所述大数据进行过滤、清洗和提取，得到与所述分析组件相对应的数据集。

可选的，所述可视化模块包括：

分析子模块，用于通过预先设立模型对所述分析组件相对应的数据集进行分析，得到所述数据集的分析结果；

可视化子模块，用于将所述分析结果按照预先设定的可视化展现种类进行展示，得到可视化的分析组件。

可选的，所述合成模块，用于，

将用户选择的分析组件按照预先设定的顺序进行拼接，得到整个分析场景。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(applicationspecificintegratedcircuits，asic)、数字信号处理器(digitalsignalprocessing，dsp)、数字信号处理设备(dspdevice，dspd)、可编程逻辑设备(programmablelogicdevice，pld)、现场可编程门阵列(field-programmablegatearray，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。