一种社交网络数据采集与分析系统的制作方法
【技术领域】
[0001]本发明涉及大数据处理技术领域，具体地说是一种实用性强、社交网络数据采集与分析系统。
【背景技术】
[0002]在移动互联网和社交网络广泛使用的背景下，企业产品交付给用户后，用户对于产品的评价往往会发布在社交网络和公众互联网上。这些评价信息借助互联网构成一种链式传播效应，影响力前所未有，并且消费者在购买之前参照互联网评价进行选择已经越来越成为一种消费习惯，所以企业必须具备及时响应社交网络和互联网上的产品评价的信息，通过及时响应，澄清用户评价，改善客户关系，从而形成口碑响应，帮助企业扩大销售，降低市场推广成本。另一方面，基于用户评价能够帮助企业改善产品设计，避免产品功能脱离用户需求，提高产品的竞争力和需求满足度。
[0003]针对上述需求背景，目前市面上的主流CRM系统和PLM系统用于解决该需求，传统企业应用软件(ERP，CRM, PLM等)在标准软件基础上通过定制实施将企业的业务流程固化在软件中，按照一定的业务规则，收集企业业务运营过程中的各种业务数据，根据一定的优化算法，优化企业的销售、采购、生产、资金、人力资源等业务经营活动帮助企业创造最大的经济效益。
[0004]但随着移动互联网的发展，企业面对的数据种类更多了，除了传统的企业业务运营外，互联网上的数据对于企业运营也具备巨大的价值。如互联网上的实时行情数据能够帮助企业更好的制定市场价格和控制采购成本；用户对于产品的评价数据能够帮助企业改善产品设计，提高用户需求满足度；社交网络数据能够帮助人才密集型企业快速定位到专业能力匹配的人才。传统的企业应用软件(如ERP，CRM, PLM)都不具备大数据分析处理能力，无法满足企业融合互联网大数据分析结果进行企业运营优化的需求；另一方面，以ERP为核心的企业应用系统已经成为企业日常运营的信息中枢，企业的业务流程执行和优化以传统的企业应用做支撑。在这个背景下，企业既不能抛弃传统的企业管理应用系统，又面临传统企业应用改造成本高的难题，急需通过一种有效的方法将数据分析应用和企业管理应用综合集成的方法。
[0005]目前大数据应用被广泛的应用在互联网应用或者行业专有应用上，在企业应用领域局限于个别创新性企业的零星应用，应用产品化程度不高，没有形成系统的大数据应用和传统ERP为代表的企业应用方法论和最佳实践。本发明从应用最广泛的客户服务为突破点，设计了不针对具体行业和企业的通用社交网络产品评价数据采集与分析系统，从而实现利用社交网络数据提升客户服务并改进产品设计的企业信息化系统。
【发明内容】
[0006]本发明的技术任务是针对以上不足之处，提供一种实用性强、社交网络数据采集与分析系统。
[0007]一种社交网络数据采集与分析系统，其具体实现过程为:
一、首先设置主题词作为社交网络数据采集的关键词，该主题词即为用户输入的产品名称；
二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求，然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理；
三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务，文档分析任务针对收集到的文档进行一般性分类，即进行文本分词，单词的语义分析，当已经抽取文本的摘要时，对摘要进行语义分析，判断出文档内容是否消极；
四、知识抽取模块从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出。
[0008]所述步骤二中分析任务的具体分析判断过程为:首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知；然后在文档的产品关键词前后搜索形容词，基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断；当保守的判断认为文档的内容是消极时，触发事件，并将文档的ID以事件参数的形式传递给CRM模块；CRM模块触发服务请求，人工进一步判断，并进行相应的处理。
[0009]所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程；文本摘要的内容被存储在数据库中作为后续知识抽取的输入。
[0010]所述步骤四中提取出来的知识为产品的某个特性的改进或者是产品本身设计的缺陷，对应到PLM产品中的产品缺陷和产品需求；输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中，并触发产品设计部门的新版本设计的参考，产品设计部门基于抽取的知识设计产品的最新版本，经过研发后转换为产品的生产BOM。
[0011]所述社交网络数据采集与分析系统通过松耦合的方式集成连接企业管理应用系统。
[0012]当社交网络数据采集与分析系统基于文档的分类或者文档语义分析的结果，触发CRM模块的服务请求，服务请求被分配给企业管理应用系统的服务人员时，该文档内容或者摘要的内容以及用户的相关信息显示给服务人员，服务人员根据这些信息判断是否需要跟进与客户进行交互:如果需要，则触发客户交流的过程，期间会与客户管理模块进行交互；如果需要进行进一步的处理，则创建服务订单触发售后维修或者换货的流程；当客户评价积累到一定的数目，则从客户评价中识别产品设计缺陷或者不满足消费者需求的功能，进而触发产品设计部门的新版本设计的参考。
[0013]社交网络数据采集与分析系统基于提取的文本摘要，经过知识抽取的处理步骤以后，转换为描述产品需求或者缺陷的知识文本，通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储，此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM。
[0014]本发明的一种社交网络数据采集与分析系统，具有以下优点:
本发明提出的一种社交网络数据采集与分析系统，针对产品评价的具体场景设计了实用高效的社交网络数据采集与数据挖掘系统，帮助企业及时响应客户的产品评价，提高客户满意度和产品需求满足度；针对传统企业管理信息系统相对封闭，实施成本高，应对变化速度慢的缺点，提出了社交网络数据分析系统与企业管理应用集成交互方法，以事件响应和服务调用的方式使得企业管理应用通过及时响应外部环境的数据，实用性强，易于推广。
【附图说明】
[0015]附图1是本发明的社交网络数据采集与分析系统结构图。
[0016]附图2是本发明的社交网络数据采集与分析系统与企业管理应用系统集成图。
【具体实施方式】
[0017]下面结合附图和具体实施例对本发明作进一步说明。
[0018]本发明公开了一种社交网络数据采集与分析系统，提出基于用户设定关键词如“空气净化器”，系统通过网络爬虫和社交网站的API推送采集包含关键词的论坛帖子和微博等社交网络产品评价数据。对于每一条数据，数据分析模块对于帖子内容进行分词、语义分析。基于产品评价语义分析的结果，此时可以触发CRM系统进行自动或者人工响应(如积极的评价产品，则自动回复；如果是负面的产品抱怨，则触发CRM系统的售后服务请求进行人工处理)，然后以形容词为基准位置，在形容词的前后识别子的主题(如静音效果，滤网)，这条数据的提取的结果每一个子主题一条记录存储到数据库中。当数据库子主题的数目累计到一定程度，启动文本分类模块和聚类