一种社交网络数据采集与分析系统的制作方法_3

文档序号:8395967阅读:来源:国知局
用事件触发的方式。在这种情况下,数据分析系统开发事件接口,业务系统开发事件处理程序,通过在事件处理程序中创建业务数据。
[0034]根据企业实际的业务系统需要,也可能需要混合模式下,这时两种方式都需要支持。
[0035]社交网络产品评价数据采集与分析系统:
社交网络产品评价数据采集与分析系统需要由以下几个功能组件构成:
1、数据采集部分:
数据采集部分需要根据采集的数据来源分别进行实施,对于主流的公共社交网络平台,都提供了数据定制API,需要订阅平台提供的数据订阅服务,实现推送过来的数据分析处理组件。对于内部社交网络数据,则需要自行针对内部社交网络的软件进行开发。对于论坛等平台需要利用网络爬虫进行设置自动采集。
[0036]2、任务调度部分:
任务调度分为数据采集的任务调度和数据分析的任务调度两个部分。任务调度一般Java和C#语言都提供相应的组件来开发调度任务,并调度任务的执行。数据采集的任务调度接受用户输入的关键词,根据简单的算法进行分解或者合并,然后根据系统配置的采集器的个数,按照搜索关键词数目和采集器数目的组合产品独立的采集器任务。
[0037]数据分析任务对于收集到的每一份社交网络数据都要进行定性分析,所以每份数据都要触发一个定性分析任务。深入的知识发现则需要根据帖子数目的阈值,当帖子数目达到用户设定的数目时才触发,否则数目太少分析的结果可能只是少数人的片面意见,不具备代表性。
[0038]3、文档分类器:
文档分类器需要创建副词词典和产品评价形容词词典,然后需要进行分本抽取和文本搜索,并记录单词出现的相对位置。然后设计算法根据形容词的类别,副词的类别以及关键词出现的位置设计分类算法对文档的类别进行判断。判断结束后抛出事件或者调用业务系统的业务数据创建Web服务。
[0039]4、文档语义分析与知识发现:
这部分可以利用已有的文本挖掘的研宄成果和开源软件搭建分本分析和文本摘要的软件。在文本摘要的基础上,对文本摘要进行分词与词性判断。然后通过聚类器识别出同义词,通过文本聚类器的结果将类别特性输出给业务系统。
[0040]系统使用方式:
用户设置数据采集关键词和知识发现的数据量阈值,然后启动数据采集的过程。之后企业业务系统用户只要根据业务系统中的数据执行相应的业务流程即可。其中售后支持人员根据服务请求进行人工二次判定和服务处理,产品设计人员根据产品缺陷或者产品需求进行产品改进协同设计任务。
[0041]上述【具体实施方式】仅是本发明的具体个案,本发明的专利保护范围包括但不限于上述【具体实施方式】,任何符合本发明的一种社交网络数据采集与分析系统的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换,皆应落入本发明的专利保护范围。
【主权项】
1.一种社交网络数据采集与分析系统,其特征在于,其具体实现过程为: 一、首先设置主题词作为社交网络数据采集的关键词,该主题词即为用户输入的产品名称; 二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求,然后调度任务模块向数据采集模块提交采集任务,采集模块得到的文档按照有效时间进行预处理,对于超出时效的文档进行丢弃,保留下来的文档保存到数据库中进行后续的处理; 三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务,文档分析任务针对收集到的文档进行一般性分类,即进行文本分词,单词的语义分析,当已经抽取文本的摘要时,对摘要进行语义分析,判断出文档内容是否消极; 四、知识抽取模块从积累的文本摘要中,分解出来的主语和表语进行聚类,基于聚类的结果运用统计分析方法提取知识,并对提取的知识的有效性进行验证,基于验证的结果将知识以文本的方式进行输出。
2.根据权利要求1所述的一种社交网络数据采集与分析系统,其特征在于,所述步骤二中分析任务的具体分析判断过程为:首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典,副词的修饰作用和形容词的评价类型已知;然后在文档的产品关键词前后搜索形容词,基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断;当保守的判断认为文档的内容是消极时,触发事件,并将文档的ID以事件参数的形式传递给CRM模块;CRM模块触发服务请求,人工进一步判断,并进行相应的处理。
3.根据权利要求2所述的一种社交网络数据采集与分析系统,其特征在于,所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程;文本摘要的内容被存储在数据库中作为后续知识抽取的输入。
4.根据权利要求3所述的一种社交网络数据采集与分析系统,其特征在于,所述步骤四中提取出来的知识为产品的某个特性的改进或者是产品本身设计的缺陷,对应到PLM产品中的产品缺陷和产品需求;输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中,并触发产品设计部门的新版本设计的参考,产品设计部门基于抽取的知识设计产品的最新版本,经过研发后转换为产品的生产BOM。
5.根据权利要求1-4中任一所述的一种社交网络数据采集与分析系统,其特征在于,所述社交网络数据采集与分析系统通过松耦合的方式集成连接企业管理应用系统。
6.根据权利要求5所述的一种社交网络数据采集与分析系统,其特征在于,当社交网络数据采集与分析系统基于文档的分类或者文档语义分析的结果,触发CRM模块的服务请求,服务请求被分配给企业管理应用系统的服务人员时,该文档内容或者摘要的内容以及用户的相关信息显示给服务人员,服务人员根据这些信息判断是否需要跟进与客户进行交互:如果需要,则触发客户交流的过程,期间会与客户管理模块进行交互;如果需要进行进一步的处理,则创建服务订单触发售后维修或者换货的流程;当客户评价积累到一定的数目,则从客户评价中识别产品设计缺陷或者不满足消费者需求的功能,进而触发产品设计部门的新版本设计的参考。
7.根据权利要求6所述的一种社交网络数据采集与分析系统,其特征在于,社交网络数据采集与分析系统基于提取的文本摘要,经过知识抽取的处理步骤以后,转换为描述产品需求或者缺陷的知识文本,通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储,此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM。
【专利摘要】本发明公开了一种社交网络数据采集与分析系统,其具体实现过程为:数据分析模块对用户设定的帖子内容进行分词、语义分析,并触发CRM系统进行自动或者人工响应,然后以形容词为基准位置,在形容词的前后识别子的主题,这条数据的提取的结果每一个子主题一条记录存储到数据库中。当数据库子主题的数目累计到一定程度,启动文本分类模块和聚类,剔除同义词,推送给产品设计部门进行产品改进。最终完成社交网络数据采集、分析、处理与触发ERP等企业应用系统的业务处理。该一种社交网络数据采集与分析系统与现有技术相比,保证系统数据分析的准确性和有效性,实现了互联网数据分析系统能够被复用,降低了企业进行大数据分析的成本,实用性强。
【IPC分类】G06F17-30, G06Q50-00
【公开号】CN104715047
【申请号】CN201510135240
【发明人】李远贵, 朱金波
【申请人】浪潮集团有限公司
【公开日】2015年6月17日
【申请日】2015年3月26日
当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1