文件处理方法、系统、装置及介质与流程

本发明属于一种文件处理方法、系统、装置及介质。

背景技术：

现有技术，中国专利《一种国际贸易文件处理方法、系统以及一种服务器》(公开号：108170697a)提供一种国际贸易文件处理方法、系统以及一种服务器，所述方法包括：对图像国际贸易文件和文档国际贸易文件进行分类；识别图像国际贸易文件并将识别后的图像国际贸易文件和文档国际贸易文件统一转换为xml文件；根据xml文件附带的文件特征对xml文件进行分类；对xml文件进行分析处理确定xml文件中结构化部分和非结构化部分；对非结构化部分中的内容进行边界判别，确定标题区域和内容区域；对结构化部分有线框则依据线框，无线框则进行自适应投影；利用最大熵模型进行命名实体识别、根据规则判断句尾和基于本体表格的关系数据抽取，并将国际贸易信息元素以结构体的形式存储。所以本发明可完成国际贸易文件的结构化存储。

但是，现有技术存在如下技术缺陷：

1)未能有效提取国际贸易类文件的更多有效信息，在分类时会有较高差错率；

2)未能充分利用人工智能自然语言处理技术对文档内容进行分析整理；

3)处理并归并信息团块时处理方法较乱，逻辑不清晰，差错率较高。

技术实现要素：

针对现有技术中的缺陷，本发明目的在于提供一种解决上述技术问题的文件处理方法、系统、装置及介质。

为解决上述技术问题，本发明提供一种文件处理方法，包括如下步骤：

步骤1，输入文件；

步骤2，读取文件并获取文件中的文字信息；

步骤3，通过文字信息获取文本信息团块；

步骤4，通过文本信息团块形成结构化数据。

优选地，步骤2包括：

步骤2.1，系统后端服务器读取文件；

步骤2.2，获取文件的类型；

若文件的类型为图像型文件，则将图像型文件的图像信息转化为文字信息；

若文件的类型为文本型文件，则获取文本型文件的文字信息。

优选地，步骤2.2中，通过光学字符识别将图像型文件的图像信息转化为文字信息。

优选地，文字信息包括文本信息、空间位置信息及字形特征。

优选地，步骤3中，根据文本信息的空间位置信息在同一个维度上的连续性归并文本信息团块。

优选地，步骤4包括：

步骤4.1，获取文本信息团块中的关键词；

步骤4.2，通过关键词、文本信息、空间位置信息及字形特征对文件进行分类；

步骤4.3，根据文件的分类形成结构化数据；

步骤4.4，对结构化数据进行校验并矫正。

优选地，还包括步骤5，将结构化数据以结构化的方式存储。

一种系统，包括：

输入模块，输入文件；

读取模块，读取文件并获取文件中的文字信息；

归并模块，通过文字信息获取文本信息团块；

结构模块，通过文本信息团块形成结构化数据。

一种装置，包括：存储有文件处理程序的存储器及用于运行文件处理程序的处理器，文件处理程序配置为实现文件处理方法的步骤。

一种计算机可读存储介质，计算机可读存储介质上存储有文件处理程序，文件处理程序被处理器执行时实现文件处理方法的步骤。

与现有技术相比，本发明具有如下优势：对文本型文件和图像型文件进行识别并分类；将识别后的文件统一转化为数据内容，并存档，本发明使用json格式存储数据内容；对数据内容进行分析处理确定其信息之间的关系，对信息进行结构化处理并存储。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征目的和优点将会变得更明显。

图1为本发明文件处理方法流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改。

如图1所示，本发明文件处理方法包括如下步骤：

步骤1.用户通过系统前端提交国际贸易文件到系统后端服务器。

步骤2.系统后端服务器读取文件，并判断文件格式是图像型国际贸易文件，还是文本型国际贸易文件。

步骤3.如果文件格式是图像型，则通过ocr技术将图像型文字信息转化为文本信息，同时提取文本信息的空间位置信息及字形特征；如果是文本型文件格式，则直接提取文本信息及空间位置信息及字形特征，如字体及大小；在提取文本信息空间位置时，判断文本信息周边是否有表格线(或组成表征表格线的字符串组合，如有则视为表格线)，如果被表格线包围的，提取空间位置信息时增加第三个维度。

步骤4.根据文本信息的空间位置在同一个维度上的连续性，判断并归并文本信息团块。

步骤5.使用事先训练好的国际贸易知识库，作为分析语料库，使用自然语言处理处理技术，对提取出的信息团块进行语义分析；找出国际贸易相关活动中的关键词，以及关键词的相关匹配项。

步骤6.根据找出的国际贸易关键词内容及其空间位置信息、字形信息，采用适当的分类算法确定其文件分类。

步骤7.根据文件分类信息，进一步校验并矫正文档内其他关键词及内容匹配项的准确性，并最终形成结构化数据。

步骤8.将生成的结构化数据以json或xml或其他结构化数据存放方式存储起来，如数据库系统。

本发明还提供了一种装置，包括：存储有文件处理程序的存储器及用于运行文件处理程序的处理器，文件处理程序配置为实现文件处理方法的步骤。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质上存储有文件处理程序，文件处理程序被处理器执行时实现文件处理方法的步骤。

1、通过机器自动识别国际贸易类文件，转换为结构化数据，并存储以备各种数据系统取用，解决了大量的国际贸易类文件靠手工录入的问题，如传统的报关单人工录入，大幅提高了工作效率；

2、采用自然语言处理技术，对文档中的信息团块进行分析识别，解决了非结构化数据难以结构化的问题；

3、使用分类算法，并根据文档中已经识别出的信息团块及其空间特征对文档进行分类，解决了机器识别不同国际贸易类文件的问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，

本技术：
的实施例和实施例中的特征可以任意相互组合。

技术特征：

1.一种文件处理方法，其特征在于，包括如下步骤：

步骤1，输入文件；

步骤2，读取文件并获取文件中的文字信息；

步骤3，通过文字信息获取文本信息团块；

步骤4，通过文本信息团块形成结构化数据。

2.根据权利要求1所述的文件处理方法，其特征在于，步骤2包括：

步骤2.1，系统后端服务器读取文件；

步骤2.2，获取文件的类型；

若文件的类型为图像型文件，则将图像型文件的图像信息转化为文字信息；

若文件的类型为文本型文件，则获取文本型文件的文字信息。

3.根据权利要求2所述的文件处理方法，其特征在于，步骤2.2中，通过光学字符识别将图像型文件的图像信息转化为文字信息。

4.根据权利要求2或3所述的文件处理方法，其特征在于，文字信息包括文本信息、空间位置信息及字形特征。

5.根据权利要求4所述的文件处理方法，其特征在于，步骤3中，根据文本信息的空间位置信息在同一个维度上的连续性归并文本信息团块。

6.根据权利要求5所述的文件处理方法，其特征在于，步骤4包括：

步骤4.1，获取文本信息团块中的关键词；

步骤4.2，通过关键词、文本信息、空间位置信息及字形特征对文件进行分类；

步骤4.3，根据文件的分类形成结构化数据；

步骤4.4，对结构化数据进行校验并矫正。

7.根据权利要求6所述的文件处理方法，其特征在于，还包括步骤5，将结构化数据以结构化的方式存储。

8.一种系统，其特征在于，包括：

输入模块，输入文件；

读取模块，读取文件并获取文件中的文字信息；

归并模块，通过文字信息获取文本信息团块；

结构模块，通过文本信息团块形成结构化数据。

9.一种装置，其特征在于，包括：存储有文件处理程序的存储器及用于运行文件处理程序的处理器，文件处理程序配置为实现如权利要求1～7任一项所述的文件处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有文件处理程序，文件处理程序被处理器执行时实现如权利要求1～7任一项所述的文件处理方法的步骤。

技术总结
本发明文件处理方法、系统、装置及介质，包括如下步骤：步骤1，输入文件；步骤2，读取文件并获取文件中的文字信息；步骤3，通过文字信息获取文本信息团块；步骤4，通过文本信息团块形成结构化数据。与现有技术相比，本发明具有如下优势：对文本型文件和图像型文件进行识别并分类；将识别后的文件统一转化为数据内容，并存档，本发明使用Json格式存储数据内容；对数据内容进行分析处理确定其信息之间的关系，对信息进行结构化处理并存储。

技术研发人员：陈康;杨永彪;路强;陈希
受保护的技术使用者：上海朗曦信息技术有限公司
技术研发日：2020.04.13
技术公布日：2020.08.07