本发明涉及互联网技术领域，特别是指一种基于自然语言处理的公司行业分类计算方法。
背景技术：
在数据搜索中，精准的行业定位，能帮助用户快速判断目标公司是否符合自己的需求。现有的行业分类主要采用包括人工方法标注公司行业类别，制定行业分类规则以判断公司行业或传统分类方法（如支持向量机/决策树等方法）来实现，存在以下问题：
（1）人工方法：各行之间存在知识壁垒，需要大量行业专家参与才能有效完成标注，耗费大量人力和物力；
（2）规则方法：公司数量庞大，很难兼顾所有公司特征制定行业分类规则；并且新公司层出不穷，难以及时更新；同时制定规则需要大量人员参与，实现难度高；
（3）传统分类方法：需要进行特征提取处理，处理后文档损失信息，容易导致分类精准度降低。
有鉴于此，本发明人针对上述问题未臻完善所导致的诸多缺失及不便，而深入构思，且积极研究改良试做而开发设计出本发明。
技术实现要素：
本发明的目的在于提供一种基于自然语言处理的公司行业分类计算方法，具有分类精准度高、适用性广的特点，并且本发明所需要的人工标注量少，可以节省人力物力。
为了达成上述目的，本发明的解决方案是：
1、一种基于自然语言处理的公司行业分类计算方法，包括以下步骤：
步骤1、数据获取
通过爬虫网页数据，获取包含对于预分类公司的产品或服务的文本描述的文本数据;
步骤2、数据分析
2.1特征提取：将所有预分类公司的文本数据总和作为语料库，每个预分类公司的文本数据作为一篇文章，对预分类公司的文本数据提取特征，所述特征包括公司的产品、数据来源、tfidf统计和bow统计;通过activelearning进行数据标注；将网页url分段作为特征，通过noisychannellayer处理，量化数据来源的噪音;
2.2数据清洗：通过去除纯数字文本、小写化、去除常见词、去除低频词、词形还原的方式清理文本数据；
2.3训练词向量：将清理后的文本数据用glove和word2vec做词向量训练得到词向量；
步骤3、深度学习框架
结合步骤2.1中提取的特征和步骤2.3中的词向量，应用elmo、ulmfit模型和wideanddeep模型，进行训练深度学习模型；
步骤4、层级化分类
通过训练好的深度学习模型，对文本数据进行计算得到一级分类；针对每个一级分类根据数据特征的不同采用不同的模型进行单独训练，得到二级分类的分类器；根据输出的一级分类选择进入的二级分类的分类器，实现对公司的行业分类。
所述网页数据来源于预分类公司的官网主页、一级页面、社交网络主页或者企业黄页。
采用上述方法后，本发明流程简单、效率高，通过采用语言模型和迁移学习预训练分类模型，从而大幅提高准确率，并且节省人力物力；本发明通过层级化分类体系可以得到约30个一级分类和约300个二级分类，大大提高了分类的精准度；本发明的模型可以接受不同长度、形式的文本输入，不需要对模型作出任何调整，应用范围更广、实用性更高。
此外，在数据标注的过程中采用了activelearning，以保证模型的实时更新，增加实时性，减少重复劳动力。
具体实施方式
为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。
一个公司生产的产品或者其提供的服务体现了该公司的自有特征，可以通过计算该自有特征的相似程度来分析公司的行业分类。
本发明为一种基于自然语言处理的公司行业分类计算方法，包括以下步骤：
步骤1、数据获取
通过爬虫网页数据，获取包含对于预分类公司的产品或服务的文本描述的文本数据。
上述网页数据来源于预分类公司的官网主页、一级页面、社交网络主页或者企业黄页等预分类公司会发布其相关信息的平台。上述文本数据中包含的语义信息，可以用来做文本理解以及精准的行业分类。
步骤2、数据分析
2.1特征提取：将所有预分类公司的文本数据总和作为语料库，每个预分类公司的文本数据作为一篇文章，对预分类公司的文本数据提取特征，所述特征包括公司的产品、数据来源、tfidf统计和bow统计等。通过主动式推荐标准系统activelearning进行数据标注。将网页url分段作为特征，通过noisychannellayer处理，量化数据来源的噪音，以增加后续步骤中模型的准确率,如网页url为www.google.com，其分段为www|google|com。
2.2数据清洗：通过去除纯数字文本、小写化、去除常见词、去除低频词、词形还原（lemmatisation）等一系列自然语言处理的方式清理文本数据。
2.3训练词向量：将清理后的文本数据用glove和word2vec做词向量训练得到词向量，作为深度学习模型的输入。
步骤3、深度学习框架
结合步骤2.1中提取的特征和步骤2.3中的词向量，应用elmo、ulmfit模型和wideanddeep模型，进行训练深度学习模型。
本步骤中应用了elmo和ulmfit模型，准确率能在标准数据集上面做到最高的精准度。
步骤4、层级化分类
通过训练好的深度学习模型，对文本数据进行计算得到一级分类；针对每个一级分类根据数据特征的不同采用不同的模型进行单独训练，得到二级分类的分类器；根据输出的一级分类选择进入的二级分类的分类器，实现对公司的行业分类。
本发明流程简单、效率高，通过采用语言模型和迁移学习预训练分类模型，从而大幅提高准确率，并且节省人力物力；本发明通过层级化分类体系可以得到约30个一级分类和约300个二级分类，大大提高了分类的精准度；本发明的模型可以接受不同长度、形式的文本输入，不需要对模型作出任何调整，应用范围更广、实用性更高。
此外，在数据标注的过程中采用了activelearning，以保证模型的实时更新，增加实时性，减少重复劳动力。
上述实施例并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。