一种基于图片序列识别的法院材料电子目录编排方法与流程

本发明涉及目录编排技术，特别是一种基于图片序列识别的法院材料电子目录编排方法。

背景技术：

1、在现代司法体系中，法院和相关机构面临着大量的文件和材料，这些材料需要经过仔细的目录编排，以确保它们能够快速、准确地被检索和管理。随着数字化信息的快速增长，电子目录编排系统变得尤为重要。传统上，这一过程主要依赖于基于图像识别的方法，试图自动识别和分类每一页的材料类型。

2、然而，传统的图像识别方法存在严重的限制。其中一个主要问题是分类的不准确性。当前方法通常依赖于静态的图像检测模型，这意味着当遇到新的、未知类别的材料标题时，系统容易出现错误。举例来说，一份材料包括劳动合同、户口本、工资条和借条。如果模型未正确识别户口本标题，后续户口本的子页面可能会被错误地归类到其他类别，导致编目的不准确。或者就需要加入很多规则来纠正页码编排的错误。

3、此外，当前方法通常是基于每个图片的独立识别，而忽略了材料内部的前后顺序关系。页码标记依赖于前一张图片的分类结果，这容易导致错误的传递和编目不准确。因此，有必要引入一种更高效、准确且具有自适应性的方法来改进电子目录编排系统。

4、当前的法院材料编目系统存在以下问题：

5、目前，法院材料的电子目录编排系统主要依赖于传统的基于图像识别的方法，该方法存在一系列严重的问题，限制了系统的准确性、效率和适应性。主要问题包括以下几点：

6、1、分类不准确：当事人提交的材料种类繁多，包括对模型来说的已知类别和未知类别的文档。传统的图像分类方法无法有效应对未知类别的材料，并且材料类别多，模型学习困难，最终导致分类的不准确。例如，当一个材料类别尚未在检测模型中定义或者检测模型无法正确识别该类别时，这一问题将显著影响编目的准确性。

7、图像检测模型能识别的证件必须在训练集中出现，对于新材料，模型不具备泛化能力。这个问题带来的新问题是页码的错误，若有的材料不能被识别或者识别错误，则连续的页码会也出错。另外由于检测模型需要在大量相似图像中检测某个类别的标题，且不会利用这些图片的前后上下文信息，会增大模型的学习难度，是进一步提高识别效果的瓶颈。

8、2、错误传递：传统方法通常将具体的页码标记依赖于前一张图片的分类结果。这种依赖关系容易导致错误的传递，即当前一张图片的分类错误时，后续页面的分类和页码标记都会出现错误。这种错误传递对编目的准确性产生了不利影响。

9、3、人工干预和额外规则：为了弥补分类和页码标记的不足，当前系统通常需要大量的人工干预和额外规则的引入。这增加了工作的复杂性、成本和处理时间，同时容易引入人为错误。

10、4、效率低下：传统方法通常包括多个独立步骤，如图像分类和页码标记。这些步骤的分离降低了编目的效率，同时也增加了潜在的错误发生率。

技术实现思路

1、针对现有技术中存在的问题，本发明提供了一种提高分类的准确性、降低错误传递、适应杂乱的材料顺序，减少人工干预和提高编目的效率，有助于促进法院案件管理的数字化转型，提高法院工作的效率和可靠性的基于图片序列识别的法院材料电子目录编排方法。

2、本发明的目的通过以下技术方案实现。

3、一种基于图片序列识别的法院材料电子目录编排方法，步骤包括：

4、1)序列建模：引入了序列模型，将送交的扫描件看作一个序列，以建模每张图片的前后关系；

5、2)对所有材料图片进行二分类，即仅判断每张图片是首页还是子页；

6、3)将图片序列做编码，提取图片的版面特征和文本特征，将版面特征和文本特征连接在一起，形成一个多维特征向量；

7、4)学习融合后特征的表示，将融合后的多模态特征输入到序列模型中，所述序列模型将学习如何有效地编码多模态信息，并捕获图片序列中的上下文关系；

8、5)使用已标记的数据对序列模型进行训练；

9、6)将输入的图片序列送入已训练好的模型，模型将为每个图片标注为材料的首页或子页；

10、7)对于每个材料的首页，使用标题检测模型检测标题；若当前的材料图片没有标题，通过对当前材料图片与标准材料库中的每个材料计算图片相似度，若相似度大于阈值，则将标准材料库中最相似的图片标题当作当前材料的标题，否则提示用户出现新的材料，让用户来判断。

11、所述的序列模型为双向长短时记忆网络、单向的lstm或者gru模型。

12、所述的步骤3)使用cnn提取图片的版面特征，再用bert提取文本特征。

13、所述的步骤4)使用全连接层来学习融合后特征的表示，或是多模态模型提取多模态信息。

14、所述的步骤7)将检测出标题文本框通过ocr获得标题。

15、相比于现有技术，本发明的优点在于：本发明提高法院材料电子目录编排系统的准确性、效率和自适应性。本方法将送交的扫描件视为一个有序序列，充分利用了每种材料内部的自然顺序。通过引入序列模型，例如lstm(长短时记忆网络)，能够更好地建模每个图片之间的前后关系，从而显著提高了材料的识别准确性。

16、此外，还设计了一种类似命名体识别的方法，可以自动识别每个材料的首页，再通过对首页图片进行单独的标题抽取或者信息抽取拿到目录名，即使是未知类别的材料也能准确识别。一旦首页确定了，材料的页码也能够正确编码，会提高材料首页的检测准确性，减少了页码错误传递，为法院材料电子目录编排带来了重大的技术突破。对于没有标题的材料，采取类似人脸识别的方法，通过与标准材料库中的图片比对相似度确定其标题，最终无法确定的标题由人工判断。

17、本发明旨在改进法院材料电子目录编排系统，解决了传统方法存在的一系列问题。通过引入序列模型的解决方案，为法院和相关领域提供了一种更准确、更高效的目录编排工具，有望加速司法体系的数字化转型，减少错误，提高效率，并为案件处理提供更大的便利性。

18、本发明主要拆分编目工作，序列模型不仅仅使用单个图片信息提取首页，同时也使用了文本信息和前后文信息，再对首页使精心开发的标题抽取模型抽取标题。这样高了编目系统健壮性和效率。这个系统可以广泛应用于法院和类似领域，有望提高电子目录编排的质量和效率。

技术特征：

1.一种基于图片序列识别的法院材料电子目录编排方法，其特征在于步骤包括：

2.根据权利要求1所述的一种基于图片序列识别的法院材料电子目录编排方法，其特征在于所述的序列模型为双向长短时记忆网络、单向的lstm或者gru模型。

3.根据权利要求1所述的一种基于图片序列识别的法院材料电子目录编排方法，其特征在于所述的步骤3)使用cnn提取图片的版面特征，再用bert提取文本特征。

4.根据权利要求1所述的一种基于图片序列识别的法院材料电子目录编排方法，其特征在于所述的步骤4)使用全连接层来学习融合后特征的表示，或是多模态模型提取多模态信息。

5.根据权利要求1所述的一种基于图片序列识别的法院材料电子目录编排方法，其特征在于所述的步骤7)将检测出标题文本框通过ocr获得标题。

技术总结
本发明公开了一种基于图片序列识别的法院材料电子目录编排方法，主要拆分编目工作，序列模型不仅仅使用单个图片信息提取首页，同时也使用了文本信息和前后文信息，再对首页使精心开发的标题抽取模型抽取标题。这样高了编目系统健壮性和效率。这个系统可以广泛应用于法院和类似领域，有望提高电子目录编排的质量和效率。

技术研发人员：马楠
受保护的技术使用者：南京通达海软件有限公司
技术研发日：
技术公布日：2024/3/11