一种文件转换方法、计算机设备和存储介质与流程

文档序号:29076374发布日期:2022-03-01 22:52阅读:53来源:国知局
1.本发明实施例涉及文件格式的
技术领域
:,尤其涉及一种文件转换方法、计算机设备和存储介质。
背景技术
::2.在以往的生活中,人们常选择将大量信息记录在纸质文档上,随着计算机信息技术的发展,为适应信息时代数据检索、数据挖掘的工作,信息的记录逐渐采用数字化的方式,信息的传输也相应地采用通过网络和电子文件进行传输的方式。3.在进行电子文件传输时,传输内容的稳定性和传输速度作为电子文件传输的评价指标都受到广泛关注。pdf(portabledocumentformat,便携式文档结构)是一种电子文件格式,该格式针对进行传输的电子文件使用工业标准的压缩算法,缩小了电子文件体积便于传输。该格式下的电子文件本身也不依赖生成该电子文件的操作系统的语言、字体及显示设备,即pdf格式电子文件在用于保存和显示源文件的字体、格式、颜色和图形时,在windows或unix、os等系统中是通用的,电子文件内容的显示不受打开文件系统变化的影响,保障了传输内容的稳定性。pdf格式电子文件在确保传输内容稳定性的同时,还表现出另一种特点,即文件内容难以编辑、检索或从中摘取文本或图片。因此,在实际应用文件的场景中,用户将对pdf格式电子文件中的内容进行地提取与还原,由于通过人工完成pdf格式电子文件提取还原的过程耗费时间长,不适应于大规模地针对pdf格式电子文件的内容提取,因此开发者提出了一些转换文件格式的方法,用于简化提取和还原文件内容的过程。4.目前转换文件主要通过光学字符识别(opticalcharacterrecognition,光学字符识别)工具完成,当下的一些光学字符识别工具用于转换文件的内容时,通常先将文件的文件转化为多张图片的集合,然后对每张图片进行光学字符识别识别,将完成光学字符识别识别的图片集合起来即得到文件的转换结果。当文件每页的内容存在不固定的版式结构,例如一页单列或一页双列且每页混杂着表格、图片等非文字内容时,直接使用上述的光学字符识别工具进行识别则会出现表格部分、图片部分中的文字对纯文字区域的识别形成干扰,使识别过程处于噪音多杂质多状态的情况,从而识别结果易于出现错别字和异常字符。且上述光学字符识别工具在完成光学字符识别操作后通常仍按照自上而下的顺序排列识别到的文字内容,对于非一页单列的pdf文件排版格式来说,例如一页双列,阅读顺序在先的文字并不一定位置在顶部,因此识别结束后会出现内容错乱的问题。技术实现要素:5.本发明实施例提出了一种文件转换方法、装置、计算机设备和存储介质,以解决文件转换格式后内容错乱的问题。6.第一方面,本发明实施例提供了一种文件转换方法,包括:7.将源文件中每页原始页面转换为第一图像数据;8.针对每帧所述第一图像数据,在按照排版划分的每个版面中检测内容类型单一的区域,所述类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型;9.对所述区域识别符合所述排版的顺序;10.对属于所述第一类型的所述区域执行光学字符识别,得到可编辑内容;11.按照所述顺序将所述可编辑内容与属于所述第二类型的所述区域按照所述排版合并为可编辑的目标页面;12.将所述目标页面合并为可编辑目标文件。13.第二方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:14.一个或超过一个处理器;15.存储器,用于存储一个或超过一个程序;16.当所述一个或超过一个程序被所述一个或超过一个处理器执行,使得所述一个或超过一个处理器实现如第一方面所述的文件转换方法。17.第三方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的文件转换方法。18.本发明实施例中,通过将源文件中每页原始页面转换为图像,并针对每帧转换得到的图像,分类为适于光写字符识别的第一类型的区域、不适于光写字符识别的第二类型的区域,对不同类型的区域识别符合排版的顺序,然后保存这一顺序,再针对属于第一类型的区域执行光写字符识别的操作,得到可编辑的内容,按照保存顺序将可编辑的内容与属于第二类型的区域合并为可编辑的目标页面,最后将目标页面合并为可编辑的目标文件,从而将难以编辑或无法从中摘取文字的源文件转化为可编辑的文件,实现源文件的格式转换,帮助用户针对源文件中的内容进行提取,在转化过程中本实施例根据源文件的排版顺序进行可编辑的内容与属于第二类型的区域的合并,从而使目标文件的排版和源文件相同,实现原文件的还原。19.其中本实施例通过将源文件转化的图片中各个区域,划分为两种类型,针对适于光学字符识别的区域进行字符识别,避免了将不适于光学字符识别的区域中的文字识别出来,从而解决了在之后的对可编辑的内容进行排版时识别到不适于光学字符识别的区域中的文字,而引起的识别错乱问题,进一步的本实施例中预先识别并保存一帧图像中各区域的排序信息,根据排序信息进行可编辑的内容和不适于光学字符识别区域的合并,得到目标页面,目标页面中各区域的位置与源文件相同,避免了在pdf文件排版格式为一页双列或三列的竖直排版情况下,直接对pdf格式电子文件进行光学文字识别,识别顺序为从上往下从左往右,未考虑一页文件中存在超过一个版面而导致提取文字的分段错乱、文字排列不符合阅读顺序问题。最后,本发明实施例提供的技术方案通过在文件转换的过程中引入将源文件中各区域进行分类的操作以及排序操作,减少了文字识别错乱的概率,相比于
背景技术
:适用于多种排版格式的电子文件的转换,提升了电子文件转换的准确率进而减少了人工对转换内容的修正时间,提升了电子文件格式转换的效率。附图说明20.图1为本发明实施例一提供的一种文件转换方法的流程图;21.图2为本发明实施例一提供的一种坐标空间的示意图;22.图3为本发明实施例二提供的一种文件转换装置的结构示意图;23.图4为本发明实施例三提供的一种计算机设备的结构示意图。具体实施方式24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。25.需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。26.实施例一27.图1为本发明实施例一提供的一种文件转换方法的流程图,本实施例可适用于文件转换时,识别内容错乱的情况,该方法可以由文件转换装置来执行,该文件转换装置可以由软件和/或硬件实现,可配置在计算机设备中,具体包括如下步骤:28.步骤101、将源文件中每页原始页面转换为第一图像数据。29.本实施例中,在获取到源文件后,为使源文件适于光学字符识别,因此将源文件中每页原始页面转换为图像数据,其中源文件可以是pdf格式的文件,该格式下的文件易于传输,在不同系统中展示的内容稳定,但不易于编辑,而pdf格式的文件经光学字符识别识别后转换可以转换为txt格式的文件,则易于用户对文件进行编辑。光学字符识别是是通过图像处理和模式识别技术对光学的字符进行识别的意思,光学字符识别的流程包括图像预处理,实现初步的去噪效果,其次是行列切割,将每一行的文字切割下来再将每一行文字进行列的切割,由此可以切割出单个的字符。然后针对单个字符进行字符识别,字符识别的过程则表现为将字符输入预先训练好的光学字符识别模型中进行识别,得到单个文本。30.其次由于光学字符识别工具大多对单张图片进行识别,因此将源文件拆分为一页页的原始页面,并针对每页原始页面进行转换,在后续的步骤中也是以一页原始页面转换的第一图像数据作为执行的对象。将原始页面转换为第一图像数据的方法具体表现为,获取文档的总页数,根据总页数遍历文档,遍历时获取该页的原始页面的像素矩阵信息,将像素矩阵信息转换为图片。31.进一步的,由于图片中的文字可能存在倾斜、倒转的情况,而光学字符识别工具对此容易识别错误,因此需要先对图片进行角度判断,如果倾斜角度不为0,则说明图片内容需要摆正。本实施例中可以将第一图像数据输入角度判断模型中判断第一图像的倾斜角度,当倾斜角度不为0时,顺时针旋转第一图像数据知道倾斜角度为0。角度判断模型可以采用vgg16(visualgeometrygroup,视觉几何)模型,是一种深度卷积神经网络,主要探究了卷积神经网络的深度和其性能之间的关系,并通过反复堆叠3*3的小卷积核和2*2的最大池化层,成功的搭建了16-19层的深度卷积神经网络。同时,vgg的泛化能力非常好,在不同的图片数据集上都有良好的表现。到目前为止,vgg依然经常被用来提取特征图像。32.更进一步的,原始页面可能包含页眉页脚,在光学字符识别识别时页眉页脚部分的文字内容会对原始页面的识别内容造成干扰,因此在将原始页面转换为第一图像数据后,还可以将页眉页脚去掉,本实施例取出页眉页脚可以采用覆盖裁剪的方式,即预先根据原始页面中包含所有主体文字内容的外接矩形的大小,自定义一个白色矩形,然后将该白色矩形覆盖在第一图像数据上,获取被覆盖的第一图像数据作为新的第一图像数据,由此使对源文件的光学字符识别识别结果更准确。33.步骤102、针对每帧第一图像数据,在按照排版划分的每个版面中检测内容类型单一的区域,类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型。34.本实施例中,由于源文件的每页内容存在各种不固定的版式结构(例如,一页单列、双列或三列),而且混杂着图片、表格等多种非文字内容,因此,直接使用光学字符识别工具对每张图片进行处理,大多效果不佳,噪音多、杂质多,出现错别字或异常字符。更严重的是,光学字符识别的结果只是单纯地自上而下地排列内容,这对于一页双列或三列的版式结构来说,会直接导致识别的内容错乱,因此本实施例针对上述的情况,提出在按照排版的页面中检测内容类型单一的区域,例如文字区域、图片区域、表格区域等,并将这些内容类型单一的区域划分为适于光学字符识别的第一类型,不适于光学字符识别的第二类型,然后针对第一类型进行光学字符识别,由此避免了图片区域或表格区域中包括文字时,在进行整个原始页面的识别时,图片区域、表格区域对正文部分即文字区域的识别造成干扰。35.在本发明的一个实施例中,在按照排版划分的每个版面中检测内容类型单一的区域可以通过将第一图像数据输入图像分割模型来完成,使用图像分割模型时首先确定结构属于u型网络的图像分割模型,u型网络又称作u-net,是一种全卷积神经网络,输入和输出都是图像,没有全连接层。使用u型网络做图像分割,首先要明白的是图像分割的实质是当给出一张图像,可以分出一个物体的准确轮廓,u型网络用于图像分割时,实质是对第一图像数据中的每个像素点进行分类,进一步地本实施例中结构属于u型网络的图像分割模型可以针对输入的图像中不同区域画出准确的轮廓。本实施例中在确定图像分割模型后,则针对每帧第一图像数据,将第一图像数据输入图像分割模型,以在按照排版划分的每个版面中检测内容类型单一的区域。36.在本发明的一个实施例中,确定的图像分割模型是预先根据识别的要求,训练得到的,训练的过程在本实施例可以表现为:37.获取结构属于u型网络的图像分割模型。本实施例中训练时采用的图像分割模型,在结构上同样属于u型网络,但还未进行本实施例中针对第一图像数据的内容类型完成划分的训练。获取第二图像数据,第二图像数据由样本文件中的样本页面转换,第二图像数据中标记有按照排版划分的每个版面中检测内容类型单一的区域,类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型。38.本实施例中,样本文件的文件格式与源文件相同,第二图像数据中经过标记操作,标记有按照排版划分的每个版面中内容类型单一的区域,例如文字区域、图片区域、表格区域,进一步的又可以划分为适于光学字符识别的第一类型例如文字区域,不适于光学字符识别的第二类型,例如图片区域、表格区域。标记操作则可以表现为手动地标注第二图像数据中的各内容类型单一的区域,并分类命名。39.将第二图像数据输入图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域。40.本实施例中,还可以将第二图像数据输入图像分割模型中,通过图像分割模型预测第二图像数据中内容类型单一的区域,并在预测到各个内容类型单一的区域后画出各个区域的轮廓或用不同的颜色填充不同类型的区域。41.计算标注的区域与预测的区域之间的差异,作为损失值。42.本实施例中,还可以对第二图像数据经标注操作形成的各个区域,图像分割模型预测得到的各个区域是否在轮廓划分上相同进行计算,即计算标注的区域与预测的区域之间的差异,作为损失值。损失值表示真实值与预测值之间的差异,是评价模型性能的一种参数。43.按照损失值更新图像分割模型。44.本实施例中,若损失值未达到预期的值,则可以根据该损失值表示的模型的预测值与真实值之间的差异对图像分割模型进行更新。45.判断当前迭代的次数是否达到预设的阈值。46.本实施例中,在按照损失值更新图像分割模型时,由新的图像分割模型可以得到新的损失值,对于模型的应用来说,损失值越小越好,因此在根据损失值更新图像分割的模型中,通过迭代的方式,可以得到越来越小的损失值,然而通过迭代并不能得到一个完全确定的最优的损失值,只能得到一个近似的最优值,因此可以通过设定迭代的时间或迭代的次数来停止迭代的过程,获得一个损失值的近似最优解。本实施例中,通过设定迭代次数来终止迭代的过程,当判断得到当前时刻迭代次数达到预设的阈值时,则确定图像分割模型训练完成,若否,则针对图像分割模型重新训练,即返回执行将第二图像数据输入图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域。47.进一步地,在本实施例中还可以通过图像分割模型获取各个内容类型单一的区域的位置数据,例如在进行区域划分时,使用不同的颜色覆盖内容类型不同的区域,使用相同的颜色覆盖内容类型相同的区域,则图像分割模型输出由各种色块组成的色块图像数据,一种色块标识一种内容类型的区域,针对该色块图像数据,可以分别对其中某一种区域执行改色操作,例如选取内容类型为文字的区域为文字区域,并将文字区域设定为红色色块,则将该色块图像数据中除红色色块以外的部分都设置为黑色,然后将红色色块部分设置为白色,再针对白色色块获取白色连通域坐标数组,由此获得文字区域的最小外接矩形,将坐标数组中最大横坐标、最小横坐标、最大纵坐标、最小纵坐标进行组合,则可以得到文字区域最小外接矩形的左上角坐标、右上角坐标、右下角坐标、左下角坐标。本实施例中,每个区域的最小外接矩形坐标数组的获取都是基于以第二图像数据的左上角坐标点为原点建立的坐标系。48.在本发明的一个实施例中,训练得到适于分割第一图像数据的图像分割模型后,还可以对该图像分割模型进行测试,观察分割效果,测试过程具体表现为:49.获取第三图像数据,第三图像数据由样本文件中的样本页面转换,第三图像数据中标记有按照排版划分的每个版面中内容类型单一的区域,类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型。50.本实施例中,用于测试训练的图像分割模型的第三图像数据也是由样本文件中的样本页面转换而来,且在第三图像数据中标记有按照排版划分的每个版面中内容类型单一的区域。51.将第三图像数据输入图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域。52.本实施例中,测试图像分割模型首先将第三图像数据输入图像分割模型中,并由图像分割模型检测第三图像数据中一个或多个内容类型单一的区域。53.判断标注的区域与预测的区域的边缘是否吻合。54.本实施例中,图像分割模型的测试主要通过判断图像分割模型对第三图像数据分割的区域是否与第三图像数据中标注的区域相吻合,若是则说明图像分割模型分割效果达到要求,确定图像分割模型通过测试,若否,则返回执行将第二图像数据输入图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域,即重新训练图像分割模型。55.步骤103、对区域识别符合排版的顺序。56.本实施例中,将第一图像数据输入预先训练的图像分割模型后,第一图像数据中各区域则划分明确,为使第一图像数据在光学字符识别识别后,组合为目标页面时,各区域顺序不发生错乱,还可以先对第一图像数据中各个区域识别符合排版的顺序,并将该顺序记录下来用于之后的将各区域组合为目标页面。57.在本发明的一个实施例中,当第一图像数据中包括适于光学字符识别的第一类型的区域,不包括不适于光学字符识别的第二类型的区域时,对第一图像数据中内容类型单一的区域识别符合排版的顺序,具体表现为:58.若第一图像数据中包含第一区域,则对每个第一区域取第一标识点,第一标识点为位于第一区域的最小外接矩形的左上角的点,第一区域为为第一类型的区域。59.本实施例中,当第一图像数据中不包含第二区域时,则针对第一区域识别符合排版的顺序。第二区域为第一图像数据中不适于光学字符识别的第二类型的区域。首先对每个第一区域获取第一标识点,第一标识点即位于第一区域的最小外接矩形左上角的点,获取第一标识点包括获取第一标识点的横坐标、纵坐标数据。60.计算每个第一区域的第一标识点与第一原点之间的第一距离,第一原点为位于第一图像数据左上角的点。61.本实施例中,对第一标识点进行排序首先比较通过第一标识点和第一原点之间的第一距离的长短完成,其中第一原点是位于第一图像数据左上角的点,第一标识点的横坐标、纵坐标也是基于以第一原点为原点建立的坐标系得到。进一步地,第一距离是指第一标识点和第一原点之间的欧氏距离,计算方法为d=sqrt((x1-x2)^2+(y1-y2)^2),其中d为欧式距离,x1、y1为第一坐标点的横坐标、纵坐标,x2、y2分别为第一原点的横坐标、纵坐标,sqrt表示对sqrt之后的括号里的内容进行平方根计算。62.按照第一距离对第一区域进行升序排序,得到符合排版的顺序。63.本实施例中,在获得第一原点、第一标识点之间的第一距离后,则根据该第一距离,按照升序的方式对第一区域进行编号排序,例如将第一距离最短,距离第一原点最近的第一区域编号为数字1,当每个第一区域编号完成则根据前述的连通域坐标将这些第一区域从第一图像数据中裁剪下来,并根据编号为裁剪得到的第一区域命名。64.本实施例中,若两个第一区域的第一距离相等,则为方便排序时的编号,可以选择将横坐标较小的第一区域排序在横坐标较大的第一区域之前。65.在本发明的一个实施例中,若第一图像数据中包括第一区域和第二区域,则排序过程表现为:66.若第一图像数据中包含第一区域、第二区域,则对每个第一区域取第一标识点,对每个第二区域取第二标识点,第一区域为第一类型的区域,第二区域为第二类型的区域,第一标识点为位于第一区域的最小外接矩形的左上角的点,第二标识点为位于第二区域的最小外接矩形的右上角的点。67.本实施例中,当第一图像数据中既包括第一区域,又包括第二区域时,首先针对第一区域获取第一标识点,针对第二区域获取第二标识点,其中第二标识点为第二区域最小外接矩形的右上角的点,第二区域最小外接矩形的获取方法可以参见上述第一区域的最小外接矩形的获取方法。68.以第二标识点为第二原点,建立坐标空间,坐标空间包括第一象限、第二象限、第三象限、第四象限。69.本实施例中,在获得第二标识点后,以第二标识点作为第二原点,建立坐标空间,建立的坐标空间如图2所示,图2中选取表格区域200这一不适于光学字符识别的区域作为第二区域,根据表格区域200的右上角坐标建立坐标空间对第一区域210进行排序。可以从图2中知道的是,第三象限与第四象限与表格区域210处于坐标空间y轴的同一侧。70.计算每个第二区域的第二标识点与第一原点之间的第二距离,第一原点为位于第一图像数据左上角的点。71.本实施例中,当第一图像数据中存在多个第二区域时,针对每个第二区域都建立坐标空间,建立的顺序则可以根据第二区域的第二表示点与第一原点之间的第二距离得到,因此计算每个第二区域的第二标识点和第一原点之间的第二距离,第二距离的计算方法参见上述第一距离的计算方法。第一原点同样为位于第一图像数据左上角的点。72.按照第二距离对第二区域进行升序排序,得到符合排版的顺序。73.本实施例中,计算得到第二距离后,则按照升序的排序方法为第二区域进行排序,即将距离第一原点越近的第二区域排序在越前的位置,然后对排序在前的第二区域建立坐标空间,按照升序排序依次对排序在后的第二区域建立坐标空间。74.若两个第二区域的第二距离相等,则将横坐标较小的第二区域排序在横坐标较大的第二区域之前。75.本实施例中,当存在两个或者两个以上的第二区域与第一原点的第二距离相等时,为使每个第二区域顺序不重复,则将第二距离相同的第二区域中,横坐标较小的第二区域排序在横坐标较大的第二区域之前。76.按照第二区域的顺序,依次遍历位于第二区域对应的第三象限、第四象限中的未排序的第一区域,作为第一目标区域。77.本实施例中,完成对第二区域的排序后,针对排序在最先的第二区域建立坐标空间,并位于该第二区域坐标空间第三象限、第四象限的还未参与排序的第一区域作为第一目标区域,进行排序,排序结束后则针对序号在该第二区域之后的第二区域的坐标空间中第三象限、第四象限的,未参与排序的第一区域作为第一目标区域进行排序,依次遍历第一图像数据中所有的第二区域。对在后的第二区域坐标空间中的第一区域排序时,序号接在先第二区域中已排序的第一区域的序号之后进行排序。当每个第一区域排序编号完成则根据前述的连通域坐标将这些第一区域从第一图像数据中裁剪下来,并根据编号为裁剪得到的第一区域命名。78.计算每个第一目标区域的第一标识点与第一原点之间的第一距离,第一原点为位于第一图像数据左上角的点。79.本实施例中,在以第二区域右上角坐标点建立的坐标空间中对第一目标区域进行排序的过程表现为,计算每个作为第一目标区域的第一区域的第一标识点与第一原点之间的第一距离。80.按照第一距离对第一目标区域进行升序排序,得到符合排版的顺序。81.若两个第一目标区域的第一距离相等,则将横坐标较小的第一目标区域排序在横坐标较大的第一目标区域之前。82.在本发明的一个实施例中,若在遍历所有第二区域后,仍然存在未参与排序的第一区域的话,则进行以下操作:83.在遍历完第二区域之后,查询剩余未排序的第一区域,作为第二目标区域,第二区域为第二类型的区域。84.本实施例中,由于针对每个根据第二区域右上角坐标点建立的坐标空间的第三象限、第四象限中的第一区域进行排序,则始终存在未参与排序的第一区域,例如位于排序在最后的第二区域建立的坐标空间中第一象限、第二象限中的第一区域,因此在遍历完第二区域之后,可以查询剩余未排序的第一区域,作为第二目标区域,进行排序。85.计算每个第二目标区域的第一标识点与第一原点之间的第一距离,第一原点为位于第一图像数据左上角的点。86.按照第一距离对第二目标区域进行升序排序,得到识别符合排版的顺序。87.若两个第二目标区域的第一距离相等,则将横坐标较小的第二目标区域排序在横坐标较大的第二目标区域之前。88.步骤104、对属于第一类型的区域执行光学字符识别,得到可编辑内容。89.本实施例中,为获得可编辑内容,可以对前述的裁剪得到的属于第一类型的区域执行光学字符识别操作,获得单个文本,进一步地将单个文本聚合为可编辑内容。90.在本发明的一个实施例中,对属于第一类型的区域执行光学字符识别包括:91.对属于第一类型的区域执行图像增强操作。92.本实施例中,为使光学字符识别操作的对象的像素更清晰,易于识别,可以将属于第一类型的区域输入realsr(superresolution-realsr,图像超分)模型中,对像素进行增强,实现图像增强操作。93.当图像增强操作执行后,对属于第一类型的区域执行光学字符识别,得到单个文本。94.本实施例中,当执行图像增强操作后,属于第一类型的区域中像素增强,更易于光学字符识别。然后将增强后的属于第一类型的区域输入提前训练的光学字符识别模型中,得到单个的文本。95.对单个文本进行聚类,得到以单行文本的形式记录的可编辑内容。96.本实施例中,得到单个文本后,还可以对这些单个文本进行聚类。本实施例中对单个文本进行聚类可以采用dbscan(density—basedspatialclusteringofapplicationwithnoise,具有噪声的基于密度的聚类方法)算法,得到聚类结果数据。dbscan算法将簇定义为密度相连的点的最大集合,能够把具有足够密度的区域划分为簇,并可以在有噪音的空间数据集中发现任意形状的簇。dbscan算法中有两个重要参数:eps和mmpts。eps是定义密度时的邻域半径,mmpts为定义核心点时的阈值,在判断聚类的过程中,圆内可能存在多个符合的样本,由于文本框坐标一般都是垂直或横向分布,将mmpts设置得太大可能将不符合的样本也都包含了,将mmpts设置得太小则可能聚类太多。本实施例中可以根据第一图像数据中内容的性质,例如两个单个文本之间的间隔为50时,将eps设置为大于50的值如100,mmpts设置为3。本实施例中聚类结果数据则包括,由单个文本聚类得到的单行文本的文本坐标列表,单行文本识别字符列表和文本所属的类。97.步骤105、按照顺序将可编辑内容与属于第二类型的区域按照排版合并为可编辑的目标页面。98.本实施例中,可以将单行文本的文本坐标列表中的左上角点作为聚类中心点,对聚类中心点根据纵坐标由大至小,横坐标由大至小的顺序进行排序,然后根据聚类中心点的排序结果对由同一个的属于适于光学字符识别的第一类型的区域得到的单行文本即可编辑内容进行排序,得到可编辑的属于第一类型的区域。进一步地,则按照前述的第一区域的编号顺序,第一区域即属于第一类型的区域,将可编辑的属于第一类型的区域和属于第二类型的区域按照排版进行合并,得到可编辑的目标页面。99.在本发明的一个实施例中,由于进行光学字符识别后,属于第一类型的区域中的字符以单行形式存在,不构成段落,因此本实施例中还可以对单行文本进行连续性识别,并根据连续性识别的结果进行单行文本的拼接,具体过程如下:100.对在顺序上相邻的两行文本进行连续性检测。101.本实施例中,对单行文本进行排序后会出现在顺序上相邻的两行单行文本,此时本实施例可以以一份第一图像数据为单位,按照前述的编号顺序拼接属于该第一图像数据的属于第一类型的区域,然后根据拼接结果向属于第一类型的区域的位置填充识别得到的属于第一类型的区域包括的单行文本,若该第一图像数据中存在属于第二类型的区域,则将属于第二类型的区域以文字后缀,如“属于第二类型的区域”,并将该文字后缀按照顺序插入已完成填充的单行文本中。102.若连续性检测的结果表示在顺序上相邻的两行文本属于同一个段落,则将在顺序上相邻的两行文本拼接在同一个段落中。103.本实施例中,可以采用文本连续性模型,例如bert(bidirectionalencoderrepresentationfromtransformers,transformer的双向编码器表示)语言模型对在顺序上相邻的两行单行文本进行连续性判断,当模型的输出结果为连续1时,则将相邻的两行单行文本中在后的单行文本拼接至在在前的单行文本之后,当模型的输出结果为非连续0时则跳过当前的单行文本,不做任何处理。104.对在顺序上排序在属于第二类型的区域之前及之后的两行文本进行连续性检测。105.本实施例中,由于属于同一段落的单行文本可能被属于第二类型的区域间隔开来,为方便阅读和编辑,本实施例中还可以对属于第二类型的区域的位置进行调整,例如对在顺序上排序在属于第二类型的区域之前及之后的两行文本也进行连续性检测,检测的过程表现为模型在检测到文字后缀“属于第二类型的区域”时,自动对排序在该句子之前,之后的单行文本进行连续性检测。106.若连续性检测的结果表示在顺序上相邻的两行文本属于同一个段落,则将在顺序上相邻的两行文本拼接在同一个段落中。107.本实施例中,当检测到属于第二类型的区域之前和之后的两行单行文本为连续时,即这两行单行文本属于同一个段落,则将顺序上在后的单行文本拼接至在顺序在前的单行文本之后,即在顺序上相邻的两行文本拼接在同一个段落中。值得说明的是,在将间隔了一个属于第二类型的区域的在后单行文本拼接至该属于第二类型的区域之前时,会出现区域的部分移位,此时本实施例中可以将单行文本与区域等价,使单行文本相当于一个区域进行位置的移动,并保持该单行文本原属的属于第一类型的区域的排序编号不变。108.按照顺序将拼接之后的段落与第二类型的区域按照排版合并为可编辑的目标页面。109.本实施例中,在进行连续性判断后可以得到段落划分统一的文本,然后可以根据插入的文字后缀,向该文本中插入原本的属于第二类型的区域,并按照排版合并为可编辑的目标页面。110.步骤106、将目标页面合并为可编辑目标文件。111.本实施例中,再对每页原始页面进行上述操作得到目标页面后,可以根据拆分原始文件时的页码,将目标页面合并为可编辑的目标文件。112.本发明实施例中,通过将源文件中每页原始页面转换为图像,并针对每帧转换得到的图像,分类为适于光写字符识别的第一类型的区域、不适于光写字符识别的第二类型的区域,对不同类型的区域识别符合排版的顺序,然后保存这一顺序,再针对属于第一类型的区域执行光写字符识别的操作,得到可编辑的内容,按照保存顺序将可编辑的内容与属于第二类型的区域合并为可编辑的目标页面,最后将目标页面合并为可编辑的目标文件,从而将难以编辑或无法从中摘取文字的源文件转化为可编辑的文件,实现源文件的格式转换,帮助用户针对源文件中的内容进行提取,在转化过程中本实施例根据源文件的排版顺序进行可编辑的内容与属于第二类型的区域的合并,从而使目标文件的排版和源文件相同,实现原文件的还原。113.其中本实施例通过源文件转化的图片中各个区域,划分为两种类型,针对适于光学字符识别的区域进行字符识别,避免了将不适于光学字符识别的区域中的文字识别出来,从而解决了在之后的对可编辑的内容进行排版时识别到不适于光学字符识别的区域中的文字,而引起的识别错乱问题,进一步的本实施例中预先识别并保存一帧图像中各区域的排序信息,根据排序信息进行可编辑的内容和不适于光学字符识别区域的合并,得到目标页面,目标页面中各区域的位置与源文件相同,避免了在pdf文件排版格式为一页双列或三列的竖直排版情况下,直接对pdf格式电子文件进行光学文字识别,识别顺序为从上往下从左往右,未考虑一页文件中存在超过一个版面而导致提取文字的分段错乱、文字排列不符合阅读顺序问题。最后,本发明实施例提供的技术方案通过在文件转换的过程中引入将源文件中各区域进行分类的操作以及排序操作,减少了文字识别错乱的概率,相比于
背景技术
:适用于多种排版格式的电子文件的转换,提升了电子文件转换的准确率进而减少了人工对转换内容的修正时间,提升了电子文件格式转换的效率。114.实施例二115.图3为本发明实施例二提供的一种文件转换装置的结构框图,具体可以包括如下模块:116.第一图像数据转换模块310,用于将源文件中每页原始页面转换为第一图像数据;117.内容类型检测模块320,用于针对每帧所述第一图像数据,在按照排版划分的每个版面中检测内容类型单一的区域,所述类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型;118.排版顺序识别模块330,用于对所述区域识别符合所述排版的顺序;119.可编辑内容获取模块340,用于对属于所述第一类型的所述区域执行光学字符识别,得到可编辑内容;120.目标页面获取模块350,用于按照所述顺序将所述可编辑内容与属于所述第二类型的所述区域按照所述排版合并为可编辑的目标页面;121.目标文件获取模块360,用于将所述目标页面合并为可编辑目标文件。122.在本发明的一个实施例中,内容类型检测模块320包括:123.图像分割模型确定模块,用于确定结构属于u型网络的图像分割模型;124.第一图像数据输入模块,用于针对每帧所述第一图像数据,将所述第一图像数据输入所述图像分割模型,以在按照排版划分的每个版面中检测内容类型单一的区域。125.在本发明的一个实施例中,所述图像分割模型确定模块包括:126.图像分割模型获取模块,用于获取结构属于u型网络的图像分割模型;127.第二图像数据获取模块,用于获取第二图像数据,所述第二图像数据由样本文件中的样本页面转换,所述第二图像数据中标记有按照排版划分的每个版面中检测内容类型单一的区域,所述类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型;128.第二图像数据输入模块,用于将所述第二图像数据输入所述图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域;129.损失值计算模块,用于计算标注的所述区域与预测的所述区域之间的差异,作为损失值;130.图像分割模型更新模块,用于按照所述损失值更新所述图像分割模型;131.阈值判断模块,用于判断当前迭代的次数是否达到预设的阈值,若是,则调用图像分割模型训练完成确定模块,若否,则调用第二图像数据输入模块。132.图像分割模型训练完成确定模块,用于确定所述图像分割模型训练完成。133.在本发明的一个实施例中,所述图像分割模型确定模块还包括:134.第三图像数据获取模块,用于获取第三图像数据,所述第三图像数据由样本文件中的样本页面转换,所述第三图像数据中标记有按照排版划分的每个版面中检测内容类型单一的区域,所述类型包括适于光学字符识别的第一类型、不适于光学字符识别的第二类型;135.第三图像数据输入模块,用于将所述第三图像数据输入所述图像分割模型,以在按照排版划分的每个版面中预测内容类型单一的区域;136.预测结果检验模块,用于判断标注的所述区域与预测的所述区域的边缘是否吻合,若是则调用图像分割模型测试通过确定模块,若否,则调用所述第二图像数据输入模块。137.图像分割模型测试通过确定模块,用于确定所述图像分割模型通过测试。138.在本发明的一个实施例中,排版顺序识别模块330包括:139.a标识点获取模块,用于若所述第一图像数据中包含所述第一区域,则对每个所述第一区域取第一标识点,所述第一区域为所述第一类型的所述区域,所述第一标识点为位于所述第一区域的最小外接矩形的左上角的点;140.第一距离计算模块,用于计算每个所述第一区域的所述第一标识点与第一原点之间的第一距离,所述第一原点为位于所述第一图像数据左上角的点;141.第一区域排序模块,用于按照所述第一距离对所述第一区域进行升序排序,得到符合所述排版的顺序,若两个所述第一区域的所述第一距离相等,则调用第一区域备用排序模块;142.第一区域备用排序模块,用于将横坐标较小的所述第一区域排序在横坐标较大的所述第一区域之前。143.在本发明的一个实施例中,排版顺序识别模块330还包括:144.b标识点获取模块,用于若所述第一图像数据中包含第一区域、第二区域,则对每个所述第一区域取第一标识点,对每个所述第二区域取第二标识点,所述第一区域为所述第一类型的所述区域,所述第二区域为所述第二类型的所述区域,所述第一标识点为位于所述第一区域的最小外接矩形的左上角的点,所述第二标识点为位于所述第二区域的最小外接矩形的右上角的点;145.第一坐标空间建立模块,用于以所述第二标识点为第二原点,建立坐标空间,所述坐标空间包括第一象限、第二象限、第三象限、第四象限;146.第二距离计算模块,用于计算每个所述第二区域的所述第二标识点与第一原点之间的第二距离,所述第一原点为位于所述第一图像数据左上角的点;147.第二区域排序模块,用于按照所述第二距离对所述第二区域进行升序排序,得到识别符合所述排版的顺序,若两个所述第二区域的所述第二距离相等,则调用第二区域备用排序模块;148.第二区域备用排序模块,用于将横坐标较小的所述第二区域排序在横坐标较大的所述第二区域之前;149.第一目标区域获取模块,用于按照所述第二区域的顺序,依次遍历位于所述第二区域对应的所述第三象限、所述第四象限中的未排序的所述第一区域,作为第一目标区域;150.第一目标距离计算模块,用于计算每个所述第一目标区域的所述第一标识点与第一原点之间的第一距离,所述第一原点为位于所述第一图像数据左上角的点;151.第一目标区域排序模块,用于按照所述第一距离对所述第一目标区域进行升序排序,得到识别符合所述排版的顺序,若两个所述第一目标区域的所述第一距离相等,则调用第一目标区域备用排序模块;152.第一目标区域备用排序模块,用于将横坐标较小的所述第一目标区域排序在横坐标较大的所述第一目标区域之前。153.在本发明的一个实施例中,排版顺序识别模块330还包括:154.第二目标区域获取模块,用于在遍历完所述第二区域之后,查询剩余未排序的所述第二区域,作为第二目标区域,所述第二区域为所述第二类型的所述区域;155.第一距离计算模块,用于计算每个所述第二目标区域的所述第一标识点与第一原点之间的第一距离,所述第一原点为位于所述第一图像数据左上角的点;156.第二目标区域排序模块,用于按照所述第一距离对所述第二目标区域进行升序排序,得到符合所述排版的顺序,若两个所述第二目标区域的所述第一距离相等,则调用第二目标区域备用排序模块;157.第二目标区域备用排序模块,用于将横坐标较小的所述第二目标区域排序在横坐标较大的所述第二目标区域之前。158.在本发明的一个实施例中,可编辑内容获取模块340包括:159.图像增强操作执行模块,用于对属于所述第一类型的所述区域执行图像增强操作;160.光学字符识别执行模块,用于当所述图像增强操作执行后,对属于所述第一类型的所述区域执行光学字符识别,得到单个文本;161.文本聚类模块,用于对所述单个文本进行聚类,得到以单行文本的形式记录的可编辑内容。162.在本发明的一个实施例中,目标页面获取模块350包括:163.第一文本连续性检测模块,用于对在所述顺序上相邻的两行所述文本进行连续性检测,若所述连续性检测的结果表示在所述顺序上相邻的两行所述文本属于同一个段落,则调用文本拼接模块;164.文本拼接模块,用于将在所述顺序上相邻的两行所述文本拼接在同一个所述段落中;165.第二文本连续性检测模块,用于对在所述顺序上排序在所述第二类型的所述区域之前及之后的两行所述文本进行所述连续性检测,若所述连续性检测的结果表示在所述顺序上相邻的两行所述文本属于同一个所述段落,则调用文本拼接模块;166.目标页面合成模块,用于按照所述顺序将拼接之后的所述段落与所述第二类型的所述区域按照所述排版合并为可编辑的目标页面。167.本发明实施例所提供的文件转换装置可执行本发明任意实施例所提供的文件转换方法,具备执行方法相应的功能模块和有益效果。168.实施例三169.图4为本发明实施例三提供的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。170.如图4所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者超过一个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。171.总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(isa)总线,微通道体系结构(mac)总线,增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。172.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。173.系统存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者超过一个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。174.具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者超过一个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。175.计算机设备12也可以与一个或超过一个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者超过一个使得用户能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或超过一个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者超过一个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。176.处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的文件转换方法。177.实施例四178.本发明实施例四还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述文件转换方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。179.其中,计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或超过一个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。180.注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1