一种基于深度学习和ocr的检验、体检报告单结果提取方法
技术领域
1.本发明涉及图像识别领域，具体涉及一种基于深度学习和ocr的检验、体检报告单结果提取方法。
背景技术：
2.随着科学技术的进步，医疗领域也在逐渐走向数字化。在目前的检验、体检报告单数据收集中，与医院信息系统的数据对接是常见方式，但也面临着很多困难。出于对受检者信息保密性的考虑，国内几乎所有医疗检验、体检机构还不能直接分享检验、体检报告单电子数据。对于研究机构，纸质报告数字化的方法，可以作为一种数据采集的方式；对于受检者，将手中的纸质报告数字化，可以更方便的享受深层报告解读和数据挖掘服务。因此，如何实现表格形式的图像识别，使得纸质的医疗检验、体检报告单数字化很有必要。
3.文本检测和文本识别相对成熟，不过目前对于报告单形式数据的结构化方法，还有非常大的局限性，有很大提升空间。
4.对于现有的结果提取方法：一种是基于项目字典，对文本进行语义分析，先找到项目名称，再去匹配相应的检查结果；一种是预先设置模版，根据设置好的模版对数据进行提取。由于医疗机构高度个性化的报告模版和项目字典，使得现有方法的通用性、兼容性都不太好。
技术实现要素：
5.鉴于现有检验、体检报告单的数据都是以表格的形式展示，本方法基于文字的位置、大小，识别表格结构，将文字分为表格的表头、表格主体数据、其他文本数据三类。
6.本方法以一种更类似人类的思维方式理解报告单：根据文字的位置信息划分表格结构，之后只需要对表头的文字做简单的语义识别，表格主体数据不需要理解语义也可以简单的提取出来。
7.本发明采用的技术方案如下：一种基于深度学习和ocr的检验、体检报告单结果提取方法，包括以下步骤：步骤1：获取受试者的检验、体检报告单图片；步骤2：对原始检验、体检报告单图片进行预处理；步骤3：利用ocr技术识别图片中的文字大小、位置信息，以及文本内容；步骤4：利用深度学习模型，基于识别出来的文字大小、位置信息，对各文本进行分类，分为表格的表头、表格主体数据、其他文本数据；步骤5：基于文本的位置信息和分类结果，指定需要提取的表头，将对应的表格主体数据提取为结构化数据。
8.进一步的，步骤2中，对原始检验、体检报告单图片进行预处理的方法包括：边缘检测、霍夫直线检测、图片内容提取、透视变换、文字方向检测、图片方向旋转。
9.进一步的，步骤3中，利用ocr技术识别包括：文字检测、文字识别。
10.其中文字检测是找到图片中文字的位置，结果为文字的位置信息，包括文字的中心点位置、长宽。检测出文字位置后，通过文字识别得到对应的文本内容。
11.进一步的，步骤4中，深度学习模型为提前训练好的机器学习三分类模型：其输入为图片中所有文字的位置信息；输出为各个文字位置对应的分类结果，三种类别为表头、表格主体、其他文本。
12.进一步的，步骤5中，指定需要提取的表头方法为：通过提前设置好的表头文本内容，如“项目名称”、“检查结果”，与图片中分类结果为表头的文本内容做对比，用于找到需要提取表头的位置信息。
具体实施方式
13.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明 进行进一步详细说明。
14.一种基于深度学习和ocr的检验、体检报告单结果提取方法，包括以下步骤：步骤1：获取受试者的检验、体检报告单图片。
15.其中报告单图片可以通过手机拍照，或者使用扫描仪等方式获取。
16.步骤2：对原始检验、体检报告单图片进行预处理。
17.其中包含边缘检测、霍夫直线检测、计算顶点坐标、图片内容提取、透视变换、文字方向检测、图片方向旋转。
18.其中边缘检测、霍夫直线检测、透视变换使用opencv库。文字方向检测使用深度学习模型。
19.步骤3：利用ocr技术识别图片中的文字大小、位置信息，以及文本内容。
20.其中包含文字检测、文字识别两个深度学习模型。
21.步骤4：利用深度学习模型，基于识别出来的文字大小、位置信息，对各文本进行分类，分为表格的表头、表格主体数据、其他文本数据。
22.其中深度学习模型，需要利用从各个医院获取到的大量、多种模版的报告单图片，提前进行训练。首先对图片进行文字检测，获得文字位置信息。根据不同的模版手动设置三种类别标签的坐标范围，结合文字位置的中心点坐标，将文字位置标记为对应的分类结果。将文字位置信息作为输入，各个文字位置对应的分类结果作为标签，使用lstm网络结构，对模型进行训练。
23.步骤5：基于文本的位置信息和分类结果，指定需要提取的表头，将对应的表格主体数据提取为结构化数据。
24.其中，指定需要提取的表头方法为：通过提前设置好的表头文本内容，如“项目名称”、“检查结果”，与图片中分类结果为表头的文本内容做对比，用于找到需要提取表头的位置信息。
25.找到表头的位置信息后，与所有表格主体数据的位置信息结合，完成报告单的结果提取。利用文字的中心点、长宽信息，将需要提取的表头与相应的表格主体数据匹配起来，再通过格式转换，形成结构化的报告单结果。
26.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
技术特征：
1.一种基于深度学习和ocr的检验、体检报告单结果提取方法，其特征在于，包括以下步骤：步骤1：获取受试者的检验、体检报告单图片；步骤2：对原始检验、体检报告单图片进行预处理；步骤3：利用ocr技术识别图片中的文字大小、位置信息，以及文本内容；步骤4：利用深度学习模型，基于识别出来的文字大小、位置信息，对各文本进行分类，分为表格的表头、表格主体数据、其他文本数据；步骤5：基于文本的位置信息和分类结果，指定需要提取的表头，将对应的表格主体数据提取为结构化数据。2.根据权利要求1所述的一种基于深度学习和ocr的检验、体检报告单结果提取方法，其特征在于，所述步骤2中，对原始检验、体检报告单图片进行预处理的方法包括：边缘检测、霍夫直线检测、图片内容提取、透视变换、文字方向检测、图片方向旋转。
技术总结
本发明提供一种基于深度学习和OCR的检验、体检报告单结果提取方法，其特征是先使用OCR提取报告单图片中的文字内容和文字坐标信息，再根据文字坐标信息，使用神经网络模型解析报告单中的表格结构，将报告单上的文字分为表头、表格主体、其他三类，再根据表头的文字内容，找到所需的表头，最后根据坐标提取相应的表格主体数据。本方法以一种更类似人类的思维方式理解报告单：根据文字的位置信息划分表格结构，之后只需要对表头的文字做简单的语义识别，表格主体数据不需要理解语义也可以简单的提取出来。提取出来。
技术研发人员：陈超 宋彪 罗祎斐
受保护的技术使用者：内蒙古卫数数据科技有限公司
技术研发日：2020.12.31
技术公布日：2021/10/26