图像形成装置以及文档电子化方法与流程

本发明涉及图像形成装置以及文档电子化方法。

背景技术：

已知一种根据以手写方式修改后的加工修改完毕原稿对文档进行电子化的典型的文档编辑装置。通过所述文档编辑装置，将由加工部分指示出的文字追加到原始原稿中，而不改变在加工修改完毕原稿的原始原稿中所包含的文字的位置。因此，在电子化文档中，文字的布局变得不自然。

技术实现要素：

本发明的一个方面所涉及的图像形成装置包括：读取设备，从原稿读取图像；以及图像获取部，通过所述读取设备来获取以手写方式修改后的加工修改完毕原稿的图像。所述图像形成装置进一步包括：加工部分提取部、区域提取部、布局方针判断部、以及原稿编辑部。

所述加工部分提取部从所述加工修改完毕原稿的图像中提取加工部分。所述区域提取部将所述加工修改完毕原稿的原始原稿中包含的多个区域从所述原始原稿中提取出来。所述布局方针判断部根据所述多个区域来判断所述原始原稿的布局方针。所述原稿编辑部依据由所述加工部分指示出的修改内容，按照所述方针来对所述原始原稿进行编辑以生成电子化文档。

进一步地，所述布局方针判断部对所述多个区域之中的多个文字区域之间的连续性进行判断。所述原稿编辑部按照根据所述多个文字区域之间的连续性而判断出的所述方针来对所述原始原稿进行编辑。

本发明的一个方面所涉及的文档电子化方法由具有读取设备的图像形成装置来执行。

所述文档电子化方法包括：(1)通过所述读取设备来获取以手写方式修改后的加工修改完毕原稿的图像的步骤；(2)从所述加工修改完毕原稿的图像中提取加工部分的步骤；(3)将所述加工修改完毕原稿的原始原稿中包含的多个区域从所述原始原稿中提取出来的步骤；(4)对所述多个区域之中的多个文字区域之间的连续性进行判断的步骤；(5)根据所述多个文字区域之间的连续性来判断所述原始原稿的布局方针的步骤；以及(6)依据由所述加工部分指示出的修改内容，按照根据所述多个文字区域之间的连续性而判断出的所述方针来对所述原始原稿进行编辑以生成电子化文档的步骤。

附图说明

图1示出本发明的一实施方式所涉及的mfp的框图。

图2示出根据加工修改完毕原稿对文档进行电子化时的一实施方式所涉及的mfp的操作。

图3示出图2所示的加工修改完毕原稿的图像的一例。

图4示出图3所示的加工修改完毕原稿的加工部分的图像。

图5示出图3所示的加工修改完毕原稿的原始原稿的图像。

图6示出被分离为多个区域的、图5所示的原始原稿的图像。

图7示出作为被分离为多个区域的原始原稿的图像且与图6所示的例子不同的例子的图像。

图8示出作为被分离为多个区域的原始原稿的图像且与图6及图7所示的例子不同的例子的图像的一部分。

图9示出根据图6所示的图像生成的原稿布局信息。

图10示出图2所示的编辑处理。

图11示出新追加文字区域时的图9所示的原稿布局信息的一部分。

图12的(a)示出一实施方式所涉及的mfp不识别“标题”时的区域的一例。图12的(b)示出一实施方式所涉及的mfp识别“标题”时的区域的一例。

图13示出基于图3所示的加工修改完毕原稿的电子化文档。

图14示出针对图13所示的文档的布局。

图15示出作为加工修改完毕原稿的图像的一例且与图2所示的例子不同的一例。

图16示出图15所示的加工修改完毕原稿的原始原稿的图像。

图17示出被分离为多个区域的、图16所示的原始原稿的图像。

图18示出基于图15所示的加工修改完毕原稿的电子化文档。

图19示出针对图18所示的文档的布局。

具体实施方式

以下，关于本发明的一实施方式，使用附图来进行说明。

首先，对于作为本实施方式所涉及的图像形成装置的复合机(mfp，multifunctionperipheral)的结构进行说明。

图1示出mfp10的框图。

如图1所示，mfp10包括：操作部11、显示部12、扫描仪13、打印机14、传真通信部15、通信部16、存储部17、以及对mfp10的整体进行控制的控制部18。操作部11是输入各种操作的按钮等操作设备。显示部12是显示各种信息的液晶显示器(lcd，liquidcrystaldisplay)等显示设备。扫描仪13是从原稿读取图像的读取设备。打印机14是在纸张等记录介质上执行打印的打印设备。传真通信部15是经由公用电话线路等通信线路而与未图示的外部传真装置进行传真通信的传真设备。通信部16是不经由局域网(lan，localareanetwork)、互联网等网络而是通过有线或无线直接地与外部装置进行通信或者经由网络与外部装置进行通信的通信设备。存储部17是存储有各种数据的半导体存储器、硬盘驱动器(hdd，harddiskdrive)等非易失性存储设备。

存储部17存储有用于根据以手写方式修改后的原稿(以下称为“加工修改完毕原稿”)对文档进行电子化的文档电子化程序17a。文档电子化程序17a可以在mfp10的制造阶段安装到mfp10，也可以从sd卡、通用串行总线(usb，universalserialbus)存储器等存储介质中追加安装到mfp10，还可以从网络上追加安装到mfp10。

存储部17可以存储用于示出与页眉或页脚相关的布局、与正文的栏相关的布局等特定布局的特定布局信息17b。存储部17还可以针对mfp10的每个用户或者mfp10的用户所属的每个组来存储特定布局信息17b。此外，mfp10可以通过对预先设想的原稿进行学习来生成特定布局信息17b。例如，mfp10在特定用户的原稿为两栏的频率在特定频率以上时，可以使该用户的特定布局信息17b包含正文的两栏布局。

存储部17可以存储用于示出文字的大小、字体、粗细、文字间距离等属性的文字属性信息17c。文字属性信息17c还可以示出与页眉、页脚、正文等包含有文字的位置相应的文字属性。此外，存储部17还可以针对mfp10的每个用户或者mfp10的用户所属的每个组来存储文字属性信息17c。此外，mfp10可以通过对预先设想的原稿进行学习来生成文字属性信息17c。

控制部18例如包括：中央处理器(cpu，centralprocessingunit)、存储有程序及各种数据的只读存储器(rom，readonlymemory)、以及作为控制部18的cpu的工作区域来使用的随机存取存储器(ram，randomaccessmemory)。控制部18的cpu执行在控制部18的rom或存储部17中存储的程序。

控制部18通过执行在存储部17中存储的文档电子化程序17a，从而实现：图像获取部18a，通过扫描仪13来获取加工修改完毕原稿的图像；加工部分提取部18b，从通过图像获取部18a获取的加工修改完毕原稿的图像中，提取以手写方式进行的修改的指示部分即加工部分；原始原稿再现部18c，根据加工修改完毕原稿的图像，来再现以手写方式被修改前的原稿即原始原稿；区域提取部18d，从原始原稿中提取文字区域以及图形区域之中被包含在原始原稿中的区域；布局方针判断部18e，根据由区域提取部18d提取出的区域来判断原始原稿的布局的方针；以及原稿编辑部18f，依据由加工部分提取部18b提取出的加工部分所指示出的修改内容来对加工修改完毕原稿的原始原稿进行编辑以生成电子化文档。

接着，针对根据加工修改完毕原稿对文档进行电子化时的mfp10的操作进行说明。

图2示出根据加工修改完毕原稿对文档进行电子化时的mfp10的操作。

在经由操作部11输入了根据加工修改完毕原稿对文档进行电子化的指示时，控制部18执行图2所示的处理。

如图2所示，图像获取部18a通过扫描仪13从放置在扫描仪13上的加工修改完毕原稿中读取图像20(例如，参考图3)(步骤s101)。

图3示出加工修改完毕原稿的图像20的一例。

图3所示的图像20是使用例如红色等特定颜色的书写工具并通过手写而将修改指示31至38添加到原始原稿的图像40后得到的图像。

指示31是在页眉的右端追加“1/2”这一字符串的指示。

指示32是在“文書”这一字符串与“構成”这一字符串之间追加“の”这一字符串的指示。指示32包含有用于指示将字符串插入的符号32a。特别地，在这个例子中，通过插入字符串“の”，希望将字符串“の”前后的字符串逆转。

指示33是用于将“いいい”这三个字符删除的指示。指示33由用于指示将字符删除的符号33a构成。

指示34是将“ううう”这一行和“えええええ”这一行互换的指示。指示34由用于指示将行互换的符号34a构成。

指示35是在“かかか”这一字符串与“かかかかか”这一字符串之间追加“トトトトト”这一字符串的指示。指示35包含有用于指示将字符串插入的符号35a。

指示36是将图形删除的指示。指示36由用于指示将图形删除的符号36a构成。

指示37是将图形移动的指示。指示37由用于指示将图形移动的符号37a构成。

指示38是将“図3-2”这一字符串删除的指示。指示38由用于指示将字符串删除的符号38a构成。

如图2所示，在步骤s101的处理之后，加工部分提取部18b根据特定的颜色，从在步骤s101中读取到的图像20中提取加工部分的图像30(例如，参考图4)(步骤s102)。

图4示出图3所示的加工修改完毕原稿的加工部分的图像30。

如图2所示，在步骤s102的处理之后，原始原稿再现部18c通过从在步骤s101中读取到的图像20中去除在步骤s102中提取出的图像30来再现原始原稿的图像40(例如，参考图5)(步骤s103)。其中，原始原稿再现部18c对于图像20之中在原始原稿的图像40上重叠有加工部分的图像30的部分，能够根据因在原始原稿的颜色上重叠有加工部分的颜色而引起的加工部分的颜色的变化来再现原始原稿的颜色，或者根据周边色即原始原稿的图像40之中未重叠有加工部分的图像30的那部分的颜色来进行补充。

图5示出图3所示的加工修改完毕原稿的原始原稿的图像40。

如图2所示，在步骤s103的处理之后，区域提取部18d从在步骤s103中再现的原始原稿的图像40中提取文字或图形区域(步骤s104)。其中，区域提取部18d在图像40中存在文字时，从图像40中提取文字区域。此外，区域提取部18d在图像40中存在图形时，从图像40中针对每个图形来提取图形区域。此外，区域提取部18d在提取文字区域时，能够根据图像40中的文字彼此间的距离的变化或图形区域的配置等，来提取多个文字区域。

图6示出被分离为多个区域的原始原稿的图像40。

图6所示的图像40被分离为文字区域41～45和图形区域46、47。其中，区域42包含有段落42a、42b、42c以及42d。此外，区域43包含有标题43a以及段落43b、43c。

如图2所示，在步骤s104的处理之后，布局方针判断部18e判断是否存在文字区域(步骤s105)。

布局方针判断部18e当在步骤s105中判断为存在文字区域时，针对文字区域中的每一个区域，通过光学字符识别(ocr，opticalcharacterrecognition)来识别文字(步骤s106)。

当在步骤s105中判断为不存在文字区域或者步骤s106的处理结束时，布局方针判断部18e判断是否已处理完加工修改完毕原稿的所有页(步骤s107)。

当在步骤s107中判断为未处理完加工修改完毕原稿的所有页即在加工修改完毕原稿中存在尚未处理的页时，控制部18对于后续的页执行步骤s101至s106的处理。

当在步骤s107中判断为已处理完加工修改完毕原稿的所有页时，布局方针判断部18e针对加工修改完毕原稿的原始原稿的所有页中的每一页，生成用于表示在步骤s104中提取出的文字区域以及图形区域中的每一个区域的布局的原稿布局信息(步骤s108)。

例如，布局方针判断部18e判断原始原稿的同一页内所包含的文字区域彼此间的连续性以及原始原稿的相邻的页所包含的文字区域彼此间的连续性，并将判断结果包含在原稿布局信息中。

例如，如图7所示，布局方针判断部18e将像区域71a和71b彼此间或者区域71c和71d彼此间等那样在上下方向上相邻的区域彼此间的连续性作为同一页71内所包含的文字区域彼此间的连续性来进行判断。此外，布局方针判断部18e在原始原稿的布局为两栏以上的布局时，将像图7所示的区域71b和71c彼此间等那样最下方的区域和该区域所属的栏的右侧相邻的栏的最上方的区域彼此间的连续性作为同一页内所包含的文字区域彼此间的连续性来进行判断。

布局方针判断部18e将像图7所示的区域71d与区域72a等那样相邻的两页之中前一页中的右下方区域与后一页中的左上方区域的连续性作为原始原稿的相邻的页所包含的文字区域彼此间的连续性来进行判断，其中，区域71d是页71的最后的区域，区域72a是页71的下一页即页72的最开始的区域。

布局方针判断部18e可以使用在步骤s106中识别出的文字来判断多个区域彼此间的连续性。即，布局方针判断部18e可以根据多个区域之间的文字内容的连续性来判断区域彼此间的连续性。例如，布局方针判断部18e在能够判断为一个词、一个词组、一个分句或一个句子跨越了两个区域时，能够判断为这些区域之间的文字内容具有连续性，其结果是，能够判断为这些区域彼此间具有连续性。

布局方针判断部18e可以根据多个区域之间的段落形式的连续性来判断区域彼此间的连续性。例如，当在对象区域中的最后一行的最后一列存在的字符不是例如句号等通常的句子结束字符或空格字符、且在该区域的下一个区域中的第一行的第一列存在的字符不是例如空格字符等通常的句子开始字符时，布局方针判断部18e可以判断为这些区域之间的字符串内容具有连续性。此外，布局方针判断部18e还可以在对象区域中的第一行的第一列未被缩进时，判断为该区域和该区域的前一区域之间的字符串内容具有连续性。

此外，布局方针判断部18e对于各区域，求出在原始原稿的图像40的横向上的开始位置(左端位置)、中心位置以及结束位置(右端位置)，并且求出在原始原稿的图像40的纵向上的开始位置(上端位置)以及结束位置(下端位置)。然后，布局方针判断部18e在存在所求出的这些位置相一致的区域时，将使这些区域对准这些位置判断为布局。因为在这些位置相一致的情况下，特意配置成这样的可能性较高。此外，布局方针判断部18e与实际上区域中包含的字符串的宽度无关地，统一地掌握判断为具有连续性的区域在横向上的宽度。例如，在图8所示的例子中，布局方针判断部18e针对判断为与宽度为一行六个字符的区域73具有连续性的区域74，虽然实际上在一行中只存在“あああ。”这四个字符，但是与区域73统一地，作为宽度为一行六个字符的区域来掌握。

此外，布局方针判断部18e求出区域间的距离。然后，布局方针判断部18e在所求出的这些距离为两行等特定的距离以下时，将维持这些区域间的距离判断为布局。

图9示出根据图像40生成的原稿布局信息。

例如，如图9中以线段51所示，布局方针判断部18e将区域41至43判断为在横向上的开始位置被设定为一致的区域。此外，如图9中以线段52所示，布局方针判断部18e将区域42和43判断为在横向上的结束位置被设定为一致的区域。此外，如图9中以线段53所示，布局方针判断部18e将区域44至47判断为在横向上的中心位置被设定为一致的区域。此外，布局方针判断部18e判断为例如区域41和42之间的距离54、区域42和43之间的距离55、区域44和46之间的距离56、区域44和47之间的距离57、区域45和47之间的距离58分别被维持。

如图2所示，在步骤s108的处理之后，原稿编辑部18f按照在步骤s102中提取出的加工部分的指示内容，执行原始原稿的图像40的编辑处理(步骤s109)，并结束图2所示的操作。

图10示出步骤s109的编辑处理。

如图10所示，原稿编辑部18f通过复制原始原稿的图像40，来生成编辑对象图像(步骤s131)。

接着，原稿编辑部18f根据在步骤s101中读取到的图像20和在步骤s102中提取出的加工部分的图像30，对加工部分按照各自之间的距离及各自的内容进行分离(步骤s132)。例如，在图4所示的例子中，原稿编辑部18f将图像30中包含的加工部分分离为指示31至38。

原稿编辑部18f在步骤s132的处理之后，将在步骤s132中分离出的加工部分之中尚未被设为对象的一个加工部分设为对象(步骤s133)。

接着，原稿编辑部18f判断当前对象加工部分的指示内容的种类(步骤s134)。

原稿编辑部18f当在步骤s134中判断为指示内容像指示31、32、35那样为“追加字符串”时，通过ocr来识别当前对象加工部分的字符串(步骤s135)。

接着，原稿编辑部18f对追加当前对象加工部分的字符串的位置进行确定(步骤s136)。

具体而言，在步骤s136中，原稿编辑部18f当在特定布局信息17b以及原稿布局信息中规定的文字区域内具体指定有追加当前对象加工部分的字符串的位置时，确定出该位置。

此外，在步骤s136中，原稿编辑部18f当在特定布局信息17b以及原稿布局信息中规定的文字区域内未具体指定有追加当前对象加工部分的字符串的位置时，根据特定布局信息17b及原稿布局信息与当前对象加工部分在加工修改完毕原稿中的位置，来确定新区域的布局。例如，原稿编辑部18f当在编辑对象图像的横向上其他区域在开始位置对齐配置的情况下，在该开始位置附近配置当前对象加工部分时，将当前对象加工部分的开始位置也与其他区域对齐配置。对于编辑对象图像的横向上的区域的开始位置进行了说明，但是对于编辑对象图像的横向上的区域的中心位置、结束位置、以及编辑对象图像的纵向上的区域的开始位置、结束位置而言，也是相同的。此外，原稿编辑部18f还可以使当前对象加工部分的区域和当前对象加工部分的区域的相邻区域之间的距离与附近的区域彼此间的距离一致。此外，关于当前对象加工部分，编辑对象图像的横向上的区域的开始位置、中心位置、结束位置、以及编辑对象图像的纵向上的区域的开始位置、结束位置不存在规律性时等情况下，原稿编辑部18f可以将当前对象加工部分的手写位置确定为追加当前对象加工部分的位置。例如，如图11所示，当在区域43的下方新追加文字区域48时，原稿编辑部18f分别用线段51、52来规定横向上的区域48的开始位置、结束位置，并使区域43和区域48之间的距离59与区域42和区域43之间的距离55一致。

原稿编辑部18f在步骤s136的处理之后，确定当前对象加工部分的文字的属性(步骤s137)。例如，原稿编辑部18f当存在对当前对象加工部分的文字进行追加的区域时，在对当前对象加工部分的文字进行追加的区域中，获取对当前对象加工部分的文字进行追加的位置周边的文字的属性，将所获取的属性确定为当前对象加工部分的文字的属性。

原稿编辑部18f在步骤s137的处理之后，针对编辑对象图像，以在步骤s137中确定的属性或以文字属性信息17c所表示的属性，将在步骤s135中识别出的文字追加到在步骤s136中确定出的位置(步骤s138)。

例如，原稿编辑部18f在对当前对象加工部分的文字进行追加的位置为在特定布局信息17b以及原稿布局信息中规定的文字区域内的特定行之间的位置等区域内的中途位置时，通过将当前对象加工部分的文字追加到该位置，从而将当前对象加工部分的文字之后的部分按照当前对象加工部分的文字的追加量而向后挪动。此外，原稿编辑部18f在将文字追加到区域内的段落中的情况下，当将追加部分之后的部分向后挪动时，在挪动后也会维持段落。在此，原稿编辑部18f将在区域内缩进的行判断为段落的开始行，将从中途到最后为止存在空格的行、后续段落的开始行的前一行、以及区域内的最后一行判断为段落的结束行。此外，原稿编辑部18f通过追加当前对象加工部分的文字，从而按照需要将包含该文字的区域之后的部分按照该区域大小所增大的量而向后挪动。但是，在包含所追加的文字的区域之后，区域彼此间的距离大于两行等特定距离时，原稿编辑部18f不使这些区域之中后侧的区域向后挪动，直到区域彼此之间的距离成为特定距离为止。

此外，原稿编辑部18f通过由步骤s106中的文字识别来识别“···章···”等特定的形式或者识别文字大小的变化等，从而能够识别出文字区域内的“标题”行。因此，原稿编辑部18f在区域内“标题”的后续段落自身被缩进时，能够防止将该区域内的“标题”的后续所有行分别误检测为段落。例如，如图12的(a)所示，原稿编辑部18f在区域60中未识别出行61为“标题”时，将后续的所有行分别识别为段落。即，如图12的(a)所示，原稿编辑部18f误识别为存在段落62至67。另一方面，如图12的(b)所示，原稿编辑部18f在区域60中识别出行61为“标题”时，能够正确地识别出段落68和69。

原稿编辑部18f当在步骤s134中判断为指示内容为“追加图形”时，确定对当前对象加工部分的手写图形进行追加的位置(步骤s139)。

具体而言，原稿编辑部18f在步骤s139中根据特定布局信息17b及原稿布局信息与当前对象加工部分在加工修改完毕原稿中的位置，来确定新区域的布局。例如，原稿编辑部18f当在编辑对象图像的横向上其他区域在开始位置对齐配置的情况下，在该开始位置附近配置当前对象加工部分时，将当前对象加工部分的开始位置也与其他区域对齐配置。对于编辑对象图像的横向上的区域的开始位置进行了说明，但是对于编辑对象图像的横向上的区域的中心位置、结束位置、以及编辑对象图像的纵向上的区域的开始位置、结束位置而言，也是相同的。此外，原稿编辑部18f还可以使当前对象加工部分的区域和当前对象加工部分的区域的相邻区域之间的距离与附近的区域彼此间的距离一致。此外，关于当前对象加工部分，编辑对象图像的横向上的区域的开始位置、中心位置、结束位置、以及编辑对象图像的纵向上的区域的开始位置、结束位置不存在规律性时等情况下，原稿编辑部18f可以将当前对象加工部分的手写位置确定为追加当前对象加工部分的位置。

原稿编辑部18f在步骤s139的处理之后，针对编辑对象图像，将当前对象加工部分的手写图形追加到在步骤139中确定出的位置(步骤s140)。

例如，原稿编辑部18f通过追加当前对象加工部分的手写图形，从而按照需要将追加了该图形的区域之后的部分按照该区域被追加的量而向后挪动。

原稿编辑部18f当在步骤s134中判断为指示内容像指示33、36、38那样为“删除”时，确定由当前对象加工部分指定进行删除的部位(步骤s141)。

接着，原稿编辑部18f针对编辑对象图像，删除在步骤s141中确定出的部位(步骤s142)。

例如，在区域中删除中途部分的情况下，原稿编辑部18f将在该区域中删除部分之后的部分按照删除部分的删除量而向前挪动。此外，原稿编辑部18f在从区域内的段落中删除文字的情况下，当将删除部分之后的部分向前挪动时，在挪动后也会维持段落。在此，原稿编辑部18f由于能够识别出文字区域内的“标题”行，所以在区域内“标题”的后续段落自身被缩进时，能够防止将该区域内的“标题”的后续所有行分别误检测为段落。此外，原稿编辑部18f通过删除特定的部分，从而按照需要将包含该部分的区域之后的部分按照该区域大小所减小的量而向前挪动。

原稿编辑部18f当在步骤s134中判断为指示内容像指示34、37那样为“移动”时，确定由当前对象加工部分指定进行移动的部位(步骤s143)。

接着，原稿编辑部18f确定由当前对象加工部分指定的移动目的地的位置(步骤s144)。

接着，原稿编辑部18f针对编辑对象图像，将在步骤s143中确定出的部位移动到在步骤s144中确定出的位置(步骤s145)。

例如，原稿编辑部18f当将在步骤s143中确定出的部位追加到移动目的地时，按照需要将追加了该部位的部分之后的部分按照追加该部位的量而向后挪动。但是，在追加文字的情况下，在包含所追加的文字的区域之后，区域彼此间的距离大于两行等特定距离时，原稿编辑部18f不使这些区域之中后侧的区域向后挪动，直到区域彼此之间的距离成为特定距离为止。此外，原稿编辑部18f当在移动前位置处删除在步骤s143中确定出的部位时，按照需要将删除了该部位的部分之后的部分按照删除该部位的量而向前挪动。此外，原稿编辑部18f在将文字追加到区域内的段落中的情况下，当将追加部分之后的部分向后挪动时，在挪动后也会维持段落。此外，原稿编辑部18f在从区域内的段落中删除文字的情况下，当将删除部分之后的部分向前挪动时，在挪动后也会维持段落。在此，原稿编辑部18f由于能够识别出文字区域内的“标题”行，因此当区域内“标题”的后续段落自身被缩进时，能够防止将该区域内的“标题”的后续所有行分别误检测为段落。

原稿编辑部18f在步骤s138、s140、s142或者s145的处理之后，判断是否存在在步骤s132中分离出的加工部分之中尚未被设为对象的加工部分(步骤s146)。

原稿编辑部18f当在步骤s146中判断为存在在步骤s132中分离出的加工部分之中尚未被设为对象的加工部分时，更新原稿布局信息(步骤s147)，并执行步骤s133的处理。

原稿编辑部18f当在步骤s146中判断为不存在在步骤s132中分离出的加工部分之中尚未被设为对象的加工部分时，结束图10所示的操作。

例如，mfp10在根据图3所示的加工修改完毕原稿来对文档进行电子化时，通过执行图2所示的操作，从而作为编辑对象图像最终生成图13所示的文档。因此，mfp10能够将图13所示的文档通过打印机14进行打印，或者存储到存储部17中。

此外，若针对图13所示的文档示出布局，则成为图14所示那样。图14所示的图像与图6所示的原始原稿的图像40相比，进行了如下修改。

区域41按照指示32而追加了“の”(的)。区域41的横向上的开始位置以及纵向上的开始位置和结束位置没有改变。

区域42按照指示33而删除了“いいい”这三个字符。此外，区域42按照指示34而互换了“ううう”这一行与“えええええ”这一行。区域42的横向上的开始位置和结束位置以及纵向上的开始位置没有改变。区域42的纵向上的结束位置按照减少一行的量而上升。

区域43按照指示35而追加了“トトトトト”这一字符串。区域43的横向上的开始位置和结束位置以及纵向上的结束位置没有改变。区域43的纵向上的开始位置按照区域42减少一行的量而上升。

区域45按照指示38而被删除。

区域46按照指示36而被删除。

区域47按照指示37而被移动。区域47的横向上的中心位置没有改变。区域47的纵向上的结束位置和区域44的纵向上的开始位置之间的距离60与原始原稿的图像40中的区域44和区域46之间的距离56(参考图9)相等。

区域49按照指示31而在页眉中追加了“1/2”这一字符串。此外，原稿编辑部18f按照特定布局信息17b而设定了页眉内的布局。

图15示出加工修改完毕原稿的图像220的一例。

图15所示的图像220由第一页原稿的图像221和第二页原稿的图像222构成，是使用例如红色等特定颜色的书写工具并通过手写而将修改指示231至234添加到原始原稿的图像240后得到的图像。

指示231是在“かかか”这一字符串与“かかかかか”这一字符串之间追加“トトトトト”这一字符串的指示。指示231包含有用于指示将字符串插入的符号231a。

指示232是将“けけ”这两个字符删除的指示。指示232由用于指示将字符删除的符号232a构成。

指示233是将“ここここ”这四个字符删除的指示。指示233由用于指示将字符删除的符号233a构成。

指示234是在“せせ”这一字符串和“せせ”这一字符串之间追加“の”这一字符串的指示。指示234包含有用于指示将字符串插入的符号234a。

图16示出图15所示的加工修改完毕原稿的原始原稿的图像240。

图17示出被分离为多个区域的原始原稿的图像240。

图17所示的图像240被分离为文字区域241至246。其中，区域242包含有段落240a、240b、240c、240d。此外，区域243包含有标题240e、段落240f、以及段落240g的一部分。此外，区域244包含有段落240g的一部分、以及段落240h、240i、240j。区域245包含有标题240k、以及段落240l的一部分。此外，区域246包含有段落240l的一部分、以及段落240m。

布局方针判断部18e在步骤s108中，根据区域243和区域244之间的文字内容的连续性以及区域243和区域244之间的段落形式的连续性，判断为区域243和区域244之间具有连续性。同样地，布局方针判断部18e在步骤s108中，根据区域245和区域246之间的文字内容的连续性以及区域245和区域246之间的段落形式的连续性，判断为区域245和区域246之间具有连续性。

此外，布局方针判断部18e在步骤s108中，针对判断为与宽度为一行六个字符的区域245具有连续性的区域246，虽然实际上在一行中包含空格在内最多也只存在“せせせせ”这五个字符，但是与区域245统一地，作为宽度为一行六个字符的区域来掌握。

例如，mfp10在根据图15所示的加工修改完毕原稿对文档进行电子化时，通过执行图2所示的操作，从而作为编辑对象图像最终生成图18所示的文档。因此，mfp10能够将图18所示的文档通过打印机14进行打印，或者存储到存储部17中。

此外，若针对图18所示的文档示出布局，则成为图19所示那样。图19所示的图像与图17所示的原始原稿的图像240相比，进行了如下修改。

区域241和242没有改变。

区域243和244按照指示231而追加了“トトトトト”这一字符串。此外，区域243和244按照指示232而删除了“けけ”这两个字符，并且按照指示233而删除了“ここここ”这四个字符。区域243的横向上的开始位置和结束位置以及纵向上的开始位置和结束位置没有改变。在由区域243和区域244构成的连续区域中，段落240f增加一行，段落240h减少一行，一行的段落240i被删除，据此，区域244的纵向上的结束位置上升了一行。

由于区域244的纵向上的结束位置上升了一行，因此区域245的纵向上的开始位置上升了一行。然而，区域245因为将由区域245和区域246构成的连续区域中所包含的段落240l全部包含，所以纵向上的宽度增加一行，因此纵向上的结束位置没有改变。此外，区域245的横向上的开始位置和结束位置没有改变。

区域246因为由区域245和区域246构成的连续区域中所包含的段落240l由区域245全部包含，所以纵向上的宽度减少一行，因此纵向上的结束位置上升了一行。此外，区域246的纵向上的开始位置与横向上的开始位置及结束位置没有改变。

如上所述，mfp10在依据由从加工修改完毕原稿的图像中提取出的加工部分指示出的修改内容来对原始原稿进行编辑以生成电子化文档时，对加工修改完毕原稿的原始原稿中包含的区域之中文字区域彼此间的连续性进行判断，作为判断为具有连续性的多个区域彼此相连续的整体来对原始原稿进行编辑，因此能够提高基于加工修改完毕原稿的电子化文档中的布局的恰当性。

mfp10根据多个区域之间的文字内容的连续性来对区域彼此间的连续性进行判断，因此能够提高对区域彼此间的连续性的判断的恰当性。因此，mfp10能够提高基于加工修改完毕原稿的电子化文档中的布局的恰当性。

mfp10根据多个区域之间的段落形式的连续性来对区域彼此间的连续性进行判断，因此能够提高对区域彼此间的连续性的判断的恰当性。因此，mfp10能够提高基于加工修改完毕原稿的电子化文档中的布局的恰当性。

此外，mfp10还可以仅当在多个区域之间满足文字内容的连续性和段落形式的连续性这两者时，判断为这些区域彼此间具有连续性。

即使没有原始原稿自身，只要有加工修改完毕原稿，mfp10就能够再现原始原稿，因此能够提高便利性。此外，mfp10也可以预先将原始原稿的图像存储在存储部17中，不根据加工修改完毕原稿来再现原始原稿，而是使用存储在存储部17中的原始原稿的图像。

本发明的文档电子化方法的一部分可以通过例如个人计算机(pc，personalcomputer)等计算机而不是mfp10来实现。

本发明的图像形成装置在本实施方式中为mfp，但也可以为除了mfp之外的图像形成装置。