图像形成装置和文档电子化方法与流程

本发明涉及基于手写修改后的修改稿进行文档电子化的图像形成装置和文档电子化方法。

背景技术：

已有一种基于手写修改后的修改稿进行文档电子化的文档编辑装置。

技术实现要素：

不过，上述已有的文档编辑装置中，不改变修改稿的原文稿中所含文字的位置，而将修改部分所表示的文字添加到原文稿中。因此，存在电子化了的文档(即电子化文档)的文字布局不自然的问题。

由此，本发明的目的在于提供一种图像形成装置和文档电子化方法，能够提高基于修改稿的电子化文档的布局合理性。

本发明的图像形成装置具备：centralprocessingunit(cpu)、存储了文档电子化程序的存储装置以及进行读取的读取装置。cpu作为图像获得部、修改部分抽取部和文稿编辑部发挥功能。读取装置基于文稿来读取图像。图像获得部通过所述读取装置获得手写修改后的修改稿的图像。修改部分抽取部从所述图像获得部所获得的所述修改稿的所述图像中抽取出修改部分。文稿编辑部基于由所述修改部分抽取部抽取出的所述修改部分所表示的修改内容，对所述修改稿的原文稿进行编辑，并生成电子化文档。所述文稿编辑部改变所述原文稿所含的文字和图形中的至少一部分的位置，从而生成所述电子化文档。

本发明的文档电子化方法由图像形成装置来执行，所述图像形成装置具备基于文稿来读取图像的读取装置。文档电子化方法具备：图像获得步骤、抽取步骤和电子化文档生成步骤。图像获得步骤中，读取装置获得手写修改后的修改稿的图像。抽取步骤中，从所述图像获得步骤所获得的所述修改稿的图像中，抽取出修改部分。电子化文档生成步骤中，基于抽取出的所述修改部分所表示的修改内容，改变所述修改稿的原文稿所含的文字和图形中的至少一部分的位置，并生成电子化文档。

本发明的图像形成装置和文档电子化方法能够提高基于修改稿的电子化文档的布局合理性。

附图说明

图1是本发明的一实施方式所涉及的mfp的框图。

图2是基于修改稿进行文档电子化时的图1所示mfp的动作的流程图。

图3表示图2中的修改稿的图像的一个例子。

图4表示图3中的修改稿的修改部分的图像。

图5表示图3中的修改稿的原文稿的图像。

图6表示图5的原文稿被分成若干个区域后的图像。

图7表示由图6的图像生成的文稿布局信息。

图8(a)是图2中的编辑处理的前阶段的流程图。

图8(b)是图2中的编辑处理的后阶段的流程图。

图9表示新加了文字区域后的图7的文稿布局信息的一部分。

图10(a)是图1的mfp不识别“标题”的情况下的区域的一个例子。

图10(b)是图1的mfp识别“标题”的情况下的区域的一个例子。

图11表示基于图3的修改稿的电子化文档。

图12表示图11的文档的布局。

具体实施方式

以下，参照附图，对本发明的一实施方式进行说明。

首先，对作为本实施方式所涉及的图像形成装置的mfp(multifunctionperipheral)的结构进行说明。

图1是mfp10的框图。

如图1所示，mfp10具备：操作部11、显示部12、扫描部13、打印部14、传真通信部15、通信部16、存储部17和控制部18。操作部11是用于输入各种操作的按钮等操作装置。显示部12是显示各种信息的lcd(liquidcrystaldisplay)等显示设备。扫描部13是基于文稿来读取图像的读取装置。打印部14是在纸张等记录介质上执行印刷的印刷装置。传真通信部15是经由公共电话线等通信线路与未图示的外部传真设备进行传真通信的传真装置。通信部16是不通过lan(localareanetwork)或者互联网等网络而通过有线或无线直接地与外部装置进行通信、或者经由网络与外部装置进行通信的通信装置。存储部17是存储各种数据的半导体存储器或者hdd(harddiskdrive)等非易失性存储装置。控制部18对mfp10进行整体控制。

存储部17对文档电子化程序17a进行了存储。文档电子化程序17a基于手写修改后的文稿(以下称为“修改稿”)进行文档电子化。文档电子化程序17a可以在mfp10的制造阶段中安装到mfp10中，也可以从sd卡、usb(universalserialbus)存储器等存储介质中再安装到mfp10中，还可以从网络上再安装到mfp10中。

存储部17可以对表示特定布局的特定布局信息17b进行存储。特定布局是涉及页眉的布局、涉及页脚的布局和/或涉及正文分栏的布局等。存储部17也可以按mfp10的利用者或者mfp10的利用者所属的组来分别存储特定布局信息17b。另外，mfp10可以通过学习预先设定的文稿来生成特定布局信息17b。例如，在特定利用者的文稿的布局是两栏的频度是指定频度以上的情况下，mfp10可以在该利用者的特定布局信息17b中包含正文是两栏的布局。

存储部17可以对文字属性信息17c进行存储。文字属性信息17c表示文字的大小、字体、粗细和字间距等属性。文字属性信息17c也可以表示页眉、页脚和正文等与文字所在位置相对应的文字属性。还有，存储部17也可以按mfp10的每个利用者或者mfp10的利用者所属的每个组来分别存储文字属性信息17c。另外，mfp10可以通过学习预先设定的文稿来生成文字属性信息17c。

控制部18例如具备cpu(centralprocessingunit)、rom(readonlymemory)和ram(randomaccessmemory)。rom中存储程序和各种数据。ram用作控制部18的cpu的工作区域。控制部18的cpu执行控制部18的rom或存储部17中存储的程序。

控制部18通过执行存储部17中存储的文档电子化程序17a，来作为图像获得部18a、修改部分抽取部18b、原文稿再现部18c、区域抽取部18d、布局方针判断部18e和文稿编辑部18f。图像获得部18a通过扫描部13获得手写修改后的修改稿的图像。修改部分抽取部18b从由图像获得部18a获得的修改稿的图像中，抽取出手写的修改指示部分，即修改部分。原文稿再现部18c从修改稿的图像中再现手写修改前的文稿，即原文稿。区域抽取部18d从原文稿中分别抽取出原文稿所含的文字区域和图形区域。布局方针判断部18e基于由区域抽取部18d抽取的区域，判断原文稿的布局方针。文稿编辑部18f基于由修改部分抽取部18b抽取的修改部分所表示的修改内容，对修改稿的原文稿进行编辑，并生成电子化文档。

接下来，对基于修改稿进行文档电子化时的mfp10的动作进行说明。

图2是基于修改稿进行文档电子化时的mfp10的动作的流程图。

基于修改稿进行文档电子化的指示通过操作部11输入到控制部18后，控制部18执行图2所示的处理。

如图2所示，图像获得部18a通过扫描部13基于放置在扫描部13上的修改稿来读取图像20(例如，参照图3)(s101)。

图3表示修改稿的图像20的一个例子。

图3的图像20中，修改的指示31～38通过特定颜色的书写用具来手写而被添加到原文稿的图像40中。特定颜色是红色等。

指示31是在页眉的右端添加文字“1/2”的指示。

指示32是在文字“文章”和文字“结构”之间添加文字“的”的指示。指示32包含用于指示文字插入的符号32a。

指示33是删除“衣衣衣”这3个文字的指示。指示33由用于指示文字删除的符号33a构成。

指示34是将“乌乌乌”这一行和“诶诶诶诶诶”这一行进行交换的指示。指示34由用于指示行交换的符号34a构成。

指示35是在文字“咔咔咔”和文字“咔咔咔咔咔”之间添加文字“土土土土土”的指示。指示35包含用于指示文字插入的符号35a。

指示36是删除图形的指示。指示36由用于指示删除图形的符号36a构成。

指示37是移动图形的指示。指示37由用于指示移动图形的符号37a构成。

指示38是删除文字“图3-2”的指示。指示38由用于指示删除文字的符号38a构成。

如图2所示，在s101的处理之后，修改部分抽取部18b基于特定颜色，从在s101中读取的图像20中抽取出修改部分的图像30(例如，参照图4)(s102)。

图4表示图3的修改稿的修改部分的图像30。

如图2所示，在s102的处理之后，原文稿再现部18c再现原文稿的图像40(例如，参照图5)(s103)。具体来说，原文稿再现部18c从在s101中读取的图像20中去掉在s102中抽取出的图像30。其中，关于图像20中修改部分的图像30与原文稿的图像40(文字和图形)重叠的部分，原文稿再现部18c可以基于修改部分的颜色重叠在原文稿的颜色上导致的修改部分颜色变化，来再现原文稿的颜色。还有，关于图像20中修改部分的图像30与原文稿的图像40重叠的部分，原文稿再现部18c可以根据周围颜色，即原文稿的图像40中没有与修改部分的图像30重叠的部分的颜色，来补上颜色。

图5表示图3中的修改稿的原文稿的图像40。

如图2所示，在s103的处理之后，区域抽取部18d基于在s103中再现的原文稿的图像40，抽取出文字区域或图形区域(s104)。其中，在图像40中存在文字的情况下，区域抽取部18d从图像40中抽取出文字区域。还有，在图像40中存在图形的情况下，区域抽取部18d从图像40中按照每个图形一个一个地抽取出图形区域。另外，区域抽取部18d在抽取文字区域的情况下，可以基于图像40中的文字彼此间的距离变化和图形区域的布局等，抽取出若干个文字区域。

图6表示被分成若干个区域后的原文稿的图像40。

图6的图像40被分成文字区域41～45和图形区域46、47。其中，区域42包含段落42a、42b、42c、42d。还有，区域43包含标题43a和段落43b、43c。

如图2所示，在s104的处理之后，布局方针判断部18e对原文稿的图像40中是否存在文字区域进行判断(s105)。

在s105中，布局方针判断部18e判断出存在文字区域时，通过对每个文字区域进行ocr(opticalcharacterrecognition)处理来识别文字区域所含的文字(s106)。

在s105中，布局方针判断部18e判断出不存在文字区域时或者s106的处理结束时，生成文稿布局信息(s107)。文稿布局信息表示在s104中抽取出的文字区域和图形区域各自的布局。

例如，对于各文字区域和各图形区域，布局方针判断部18e求出其在原文稿的图像40的横向的开始位置(左端位置)、中心位置和结束位置(右端位置)，也求出其在原文稿的图像40的纵向的开始位置(上端位置)和结束位置(下端位置)。然后，在原文稿的图像40上，所求出的那些位置是一致的区域有若干个的情况下，那些区域调整至那些位置这种布局方式被布局方针判断部18e确定为原文稿的图像40的布局方针。理由是，在那些位置一致的情况下，特意那样布局的可能性比较高。

还有，布局方针判断部18e求出区域间的距离。然后，在所求出的这些距离是特定距离以下的情况下，布局方针判断部18e将维持这些区域间的距离这种布局方式确定为原文稿的图像40的布局方针。特定距离是规定大小的文字的两行距离。

图7表示由图像40生成的文稿布局信息。距离54表示区域41与区域42之间的长度。距离55表示区域42与区域43之间的长度。距离56表示区域44与区域46之间的长度。距离57表示区域44与区域47之间的长度。距离58表示区域45与区域47之间的长度。

例如，布局方针判断部18e将区域41～43的横向开始位置如线段51所示那样对齐这种布局方式，确定为原文稿的图像40的布局方针。还有，布局方针判断部18e将区域42和43的横向结束位置如线段52所示那样对齐这种布局方式，确定为原文稿的图像40的布局方针。还有，布局方针判断部18e将区域44～47的横向中心位置如线段53所示那样对齐这种布局方式，确定为原文稿的图像40的布局方针。还有，布局方针判断部18e例如将分别维持距离54、距离55、距离56、距离57和距离58这种布局方式，确定为原文稿的图像40的布局方针。

如图2所示，在s107的处理之后，文稿编辑部18f根据在s102中抽取的修改部分的指示内容来执行原文稿的图像40的编辑处理(s108)，然后结束图2的动作。

图8(a)是s108的编辑处理的前阶段的流程图。图8(b)是s108的编辑处理的后阶段的流程图。

如图8(a)所示，文稿编辑部18f通过复制原文稿的图像40来生成作为编辑对象的图像(s131)。

然后，文稿编辑部18f基于在s101中读取的图像20以及在s102中抽取出的修改部分的图像30，根据修改部分各自之间的距离和修改部分各自的内容，对修改部分进行分离(s132)。例如，在图4所示的例子中，文稿编辑部18f将图像30所含的修改部分分离成指示31～38。

在s132的处理之后，文稿编辑部18f使s132分离出的修改部分中还未成为处理对象的1个指示成为处理对象(s133)。

然后，文稿编辑部18f判断当前处理对象的修改部分的指示内容种类(s134)。

如图8(b)所示，文稿编辑部18f在s134中判断出指示内容如指示31、32、35那样是“文字添加”时，通过ocr来识别当前对象的修改部分的文字(s135)。

然后，文稿编辑部18f对当前对象的修改部分的文字的添加位置进行确定(s136)。

具体来说，在s136中，在当前对象的修改部分的文字的添加位置被具体地指定到特定布局信息17b和文稿布局信息所规定的文字区域内的情况下，文稿编辑部18f将所指定的位置确定为添加位置。

还有，在s136中，在当前对象的修改部分的文字的添加位置没有被具体地指定到特定布局信息17b和文稿布局信息所规定的文字区域内的情况下，文稿编辑部18f基于特定布局信息17b、文稿布局信息以及当前对象的修改部分在修改稿中的位置，新确定出区域的位置。例如，在编辑对象的图像的横向上，其它区域在开始位置对齐的情况下，文稿编辑部18f在将当前对象的修改部分的开始位置配置到该开始位置附近时，将当前对象的修改部分的开始位置也与其它区域对齐。上述说明了区域在编辑对象的图像的横向的开始位置，同样也适用于区域在编辑对象的图像的横向的中心位置、结束位置以及区域在编辑对象的图像的纵向的开始位置、结束位置。还有，文稿编辑部18f也可以将当前对象的修改部分的区域和其相邻区域之间的距离调整为与附近区域彼此之间的距离一致。还有，关于当前对象的修改部分，区域在编辑对象的图像的横向的开始位置、中心位置和结束位置以及区域在编辑对象的图像的纵向的开始位置和结束位置没有规则等情况下，文稿编辑部18f也可以将当前对象的修改部分的手写位置确定为当前对象的修改部分的添加位置。例如，如图9所示，在区域43的下侧新添加文字区域48的情况下，文稿编辑部18f用线段51、52分别限定区域48在横向的开始位置、结束位置，并将区域43和区域48之间的距离59与区域42和区域43之间的距离55保持一致。

在s136的处理之后，文稿编辑部18f对当前对象的修改部分的文字属性进行确定(s137)。例如，在原文稿的图像40中存在当前对象的修改部分的文字的添加区域的情况下，文稿编辑部18f在当前对象的修改部分的文字添加区域中，获得其文字添加位置的周围文字的属性。然后，文稿编辑部18f将获得的属性作为当前对象的修改部分的文字属性。

在s137的处理之后，对于作为编辑对象的图像，文稿编辑部18f把在s135中识别出的文字，以在s137中确定出的属性或文字属性信息17c所表示的属性，添加到在s136中确定出的位置上(s138)。

例如，在当前对象的修改部分的文字的添加位置是已有区域内的中途位置的情况下，文稿编辑部18f由于在该位置添加当前对象的修改部分的文字，而将已有区域内的文字中、当前对象的修改部分的文字的后续部分文字向后移动，移动量为当前对象的修改部分的文字的添加量。区域内的中途位置是指特定布局信息17b和文稿布局信息所规定的文字区域内的特定的行之间等位置。另外，在将文字添加到区域内的段落中的情况下，文稿编辑部18f在将添加部分的后续部分文字向后移动时，移动之后也维持住仍然还是段落。其中，文稿编辑部18f将区域内缩进的行判断为段落的开始行。还有，文稿编辑部18f将从行的中途到行的最后有空白的行、后续段落的开始行的前一行或者区域内的最后一行判断为段落的结束行。还有，文稿编辑部18f由于添加当前对象的修改部分的文字，而根据需要将含有该文字的区域之后的部分的文字向后移动，移动量为该区域的大小变大的增加量。不过，在含有添加文字的区域的下方的其它区域中，区域彼此之间的距离比规定大小的文字的两行距离等特定距离大的情况下，在区域彼此之间的距离达到特定距离之前，文稿编辑部18f都无需将其中位于下方的区域向后移动。

另外，通过s106中的文字识别，文稿编辑部18f可以识别出文字区域内的“标题”行。具体来说，文稿编辑部18f的文字识别是对“...章...”等特定格式进行识别，还有对文字大小的变化进行识别。因此，在区域内的“标题”的后续段落本身缩进的情况下，文稿编辑部18f可以避免错误地将该区域内的“标题”的后续全部行都检测为段落。例如，如图10(a)所示，在不将区域60中的行61识别为“标题”的情况下，文稿编辑部18f就错误地将后续全部行都识别为段落。也就是说，如图10(a)所示，文稿编辑部18f就错误地识别为存在段落62～67。另一方面，如图10(b)所示，在将区域60中的行61识别为“标题”的情况下，文稿编辑部18f能够正确地识别段落68和段落69。

文稿编辑部18f在s134中判断出指示内容是“图形添加”时，确定当前对象的修改部分的手绘图形的添加位置(s139)。

具体来说，在s139中，文稿编辑部18f基于特定布局信息17b、文稿布局信息以及当前对象的修改部分在修改稿中的位置，确定出新的区域布局。例如，在编辑对象的图像的横向上，其它区域在开始位置对齐的情况下，文稿编辑部18f在将当前对象的修改部分的开始位置配置到该开始位置附近时，将当前对象的修改部分的开始位置也与其它区域对齐。上述说明了区域在编辑对象的图像的横向的开始位置，同样也适用于区域在编辑对象的图像的横向的中心位置、结束位置以及区域在编辑对象的图像的纵向的开始位置、结束位置。还有，文稿编辑部18f也可以将当前对象的修改部分的区域和其相邻区域之间的距离调整为与附近区域彼此之间的距离一致。还有，关于当前对象的修改部分，区域在编辑对象的图像的横向的开始位置、中心位置和结束位置以及区域在编辑对象的图像的纵向的开始位置和结束位置没有规则等情况下，文稿编辑部18f也可以将当前对象的修改部分的手绘位置确定为当前对象的修改部分的添加位置。

在s139的处理之后，对于作为编辑对象的图像，文稿编辑部18f把当前对象的修改部分的手绘图形添加到在s139中确定出的位置上(s140)。

例如，文稿编辑部18f由于添加当前对象的修改部分的手绘图形，而根据需要将该图形的添加区域的下方部分向下方移动，移动与量为该区域的添加相对应的量。

文稿编辑部18f在s134中判断出指示内容如指示33、36、38那样是“删除”时，通过当前对象的修改部分确定出指定为删除的地方(s141)。

然后，文稿编辑部18f在作为编辑对象的图像上删除在s141中确定出的地方(s142)。

例如，在将区域的中途部分删除的情况下，文稿编辑部18f将该区域中的删除部分之后的部分向前移动，移动删除部分的量。另外，在区域内的段落中删除文字的情况下，文稿编辑部18f在将删除部分之后的部分向前移动时，移动之后也维持住仍然还是段落。其中，文稿编辑部18f可以识别文字区域内的“标题”行。因此，在文字区域内的“标题”的后续段落本身缩进的情况下，可以避免错误地将该文字区域内的“标题”的后续全部行都检测为段落。还有，文稿编辑部18f由于删除区域内被确定出的地方，而根据需要将原本含有该被确定出的地方的区域的下方的区域向前移动，移动原本含有该被确定出的地方的区域的大小变小的减少量。

文稿编辑部18f在s134中判断出指示内容如指示34、37那样是“移动”时，通过当前对象的修改部分，确定出被指定为移动的地方(s143)。

然后，文稿编辑部18f确定出当前对象的修改部分所指定的移动目的地位置(s144)。

然后，文稿编辑部18f在编辑对象的图像上，将s143确定出的地方移动到s144确定出的位置(s145)。

例如，将s143确定出的地方移动到s144确定出的位置的情况下，文稿编辑部18f根据需要，将s143确定出的地方移动后的部分的下方部分向下方移动，移动s143确定出的地方的量。其中，在移动文字的情况下，所移动的文字的移动目的地的区域与其下方的区域之间的距离大于规定大小的文字的两行距离等特定距离时，在区域彼此之间的距离达到特定距离之前，文稿编辑部18f都无需将其中位于下方的区域向后移动。还有，文稿编辑部18f在移动出发地将s143确定出的地方删除的情况下，根据需要将s143确定出的地方被删除了的部分的下方区域向上方移动，移动s143确定出的地方被删除了的量。另外，文稿编辑部18f在区域内的段落中添加文字的情况下，将添加部分的后续部分向后移动时，在添加部分的下方部分向后移动之后，也维持住仍然还是段落。还有，文稿编辑部18f在区域内的段落中删除文字的情况下，将删除部分的后续部分向前移动时，移动之后也维持住仍然还是段落。其中，文稿编辑部18f可以识别出文字区域内的“标题”行。因此，在区域内的“标题”的后续段落本身缩进的情况下，可以避免错误地将该区域内的“标题”的后续的全部行都检测为段落。

在s138、s140、s142或s145的处理之后，文稿编辑部18f判断在s132分离出的修改部分中是否存在还未成为过处理对象的指示(s146)。

文稿编辑部18f在s146中判断出s132分离出的修改部分中还存在未成为过处理对象的指示时，对文稿布局信息进行更新(s147)，再执行图8(a)的s133处理。

文稿编辑部18f在s146中判断出s132分离出的修改部分中不存在未成为过处理对象的指示时，结束图8所示的动作。

例如，mfp10在基于图3所示的修改稿进行文档电子化的情况下，通过执行图2的动作，最终生成图11所示的文档来作为编辑对象的图像。因此，mfp10可以通过打印部14对图11所示的文档进行印刷，或者将图11所示的文档存储到存储部17中。

另外，若对图11所示的文档的布局进行显示，则如图12所示。图12所示的图像与图6所示的原文稿的图像40相比较，修改如下。

区域41中，根据指示32而添加了“的”。区域41中，横向的开始位置以及纵向的开始位置和结束位置没有发生变化。

区域42中，根据指示33而删除了“衣衣衣”这3个文字。还有，区域42中，根据指示34而将“乌乌乌”这一行与“诶诶诶诶诶”这一行进行了交换。区域42中，横向的开始位置和结束位置以及纵向的开始位置没有发生变化。区域42中，纵向的结束位置向上移动了，由于减少了一行，而移动了一行的量。

区域43中，根据指示35而添加了“土土土土土”这些文字。区域43中，横向的开始位置和结束位置以及纵向的结束位置没有发生变化。区域43中，纵向的开始位置向上移动了，由于区域42中减少了一行，而移动了一行的量。

区域45根据指示38被删除了。

区域46根据指示36被删除了。

区域47根据指示37而进行了移动。区域47中，横向的中心位置没有发生变化。区域47的纵向的结束位置和区域44的纵向的开始位置之间的距离70与原文稿的图像40上的区域44和区域46之间的距离56(参照图7)相等。

区域49中，根据指示31而在页眉上添加了“1/2”这些文字。另外，文稿编辑部18f根据特定布局信息17b而设定了页眉内的布局。

如上述说明，mfp10通过改变修改稿的原文稿所含的文字和图形中的至少一部分的位置，来生成电子化文档。因此，能够提高基于修改稿的电子化文档的布局合理性。

mfp10根据原文稿的布局方针，对原文稿进行编辑，并生成电子化文档。因此，能够进一步提高基于修改稿的电子化文档的布局合理性。

mfp10在相对于原文稿的段落至少进行文字的添加或删除的情况下，在原文稿的编辑之后，也维持住仍然还是段落。因此，能够进一步提高基于修改稿的电子化文档的布局合理性。

即使在没有原文稿本身的情况下，只要有修改稿，mfp10就能够对原文稿进行再现。因此，能够提高便利性。另外，mfp10也可以预先将原文稿的图像存储在存储部17中，可以不用通过修改稿来再现原文稿，而使用存储部17中存储的原文稿的图像。

本发明的文档电子化方法的一部分例如也可以通过pc(personalcomputer)等计算机来实现，而不一定是mfp10。

本发明的图像形成装置在本实施方式中是mfp，不过也可以是mfp以外的图像形成装置。