专利名称：图像处理装置、图像处理系统以及图像处理方法
技术领域：
本申请基于美国专利法35U. S. C.第119条要求在2011年I月20日向日本专利局提交的申请号2011-009588的申请，并且申请内容被援弓I于此。本发明涉及对图像数据的指定部分进行提取并进行列表的技术。
背景技术：
从提高操作效率、文档管理的容易化等这样的观点来看，在各种情况下都存在想要从印刷物仅摘录指定的部分并进行列表化这样的状况。例如，在印刷物的校正操作中，存在肉眼观察所印刷的文档等对认为需要修改的部分标上记号，之后对标上记号的部分想仔细研究是否需要修改的情况。此时，如果仅摘录带记号的部分并作成一览(列表化)，则能够准确且高效地进行校正操作。另外例如，在论文等的文档作成操作的过程中，阅读作为参考的文献等时，通常对后面想要参照的部分(例如，认为重要的部分、与所需题目相关的部分、想要引用的部分等)预先标上记号。在此，如果仅摘录标上记号的部分并进行列表化， 则后面无需从整个文献中找出该部分，由此能够提高论文等的文档作成的操作效率。进而，如果不是将从印刷物摘录出的各部分仅按原始的印刷物所记载的顺序那样提取，而是根据摘录的各部分的性质进行分类并进行列表化，则更为方便。例如，在上述的例子中，与某个题目相关的摘录部分，和与其他题目相关的摘录部分在原始的印刷物中混在一起显示的情况下，若能够得到将摘录部分按每个题目分类的列表，则在后面重看时等是非常方便的。在日本特开平11-219245号公报中公开有用户在文档内写入注释(纵线、星号、用圆包围、下划线、加亮线(Highlight))的情况下，自动地提取写入了该注释附近的文章的构成。然而，在认为用户想要摘录的区域，如果还是文章中的一个单语时，则往往与多篇文章相关。另外，还存在文章和图形(例如，图表)组合的情况。在日本特开平11-219245号公报的技术中，所摘录的区域由系统自动地决定。SP， 在此，系统首先决定与注释项目相关的最小限度的文章的前后关系。另一方面，系统预先对文档进行区分处理，当决定最小限度的文章的前后关系后，将其扩张为包含其附近的全部区划，并将此作为应摘录的区域。根据该构成，很有可能产生摘录了比用户所希望宽的区域、或者摘录了比用户所希望窄的区域这样的问题。在前者的情况下，出现列表化的数据的尺寸不必要地增大、另外成为妨碍提高列表化的操作效率这样的问题。另一方面，在后者的情况下，结果用户必须重看原始的文档，因此列表化没有意义。
发明内容
本发明是鉴于上述的问题而做出的，其目的在于提供一种能够从印刷物中仅提取用户所希望的指定部分，并将其按用户所希望的那样进行分类并列表化的技术。
本发明所要解决的问题如上所述，下面说明用于解决该问题的方法和其效果。本发明具有分离部、判断部、关联部、提取图像取得部、图像区分部和一览数据生成部。上述分离部从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分。上述判断部对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪个进行判断。上述关联部将上述分类符号与被写入到和该分类符号最接近的位置的上述包围线相关联。上述提取图像取得部根据从上述图像数据中分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分。上述图像区分部对被与相同种类的上述分类符号相关联的I个以上的上述包围线分别包围的上述图像部分彼此进行成组化。上述一览数据生成部作成将所提取出的上述图像部分按每组汇总而成的一览数据。另外，优选地，本发明具备设定与上述手写部分外切的外切矩形的外切矩形设定部，上述判断部基于被上述分离后数据中针对上述手写部分而设定的上述外切矩形包围的区域所包含的像素数，对该手写部分是上述包围线和上述分类符号中的哪个进行判断。另外，优选地，本发明具备设定与上述手写部分外切的外切矩形的外切矩形设定部，上述提取图像取得部在上述包围线和设定在该包围线上的上述外切矩形包围的区域中能够设定其尺寸大于决定的阈值的内切矩形的情况下，将从上述外切矩形中除去了设定在其中的上述内切矩形之外的区域作为上述提取对象区域，在被上述包围线和设定在该包围线上的上述外切矩形包围的区域中无法设定上述内切矩形的情况下，将上述外切矩形内的区域作为上述提取对象区域。另外，优选地，本发明具备外切矩形设定部，其设定与上述手写部分外切的外切矩形；和位置信息取得部，其取得设定在上述手写部分上的上述外切矩形的中心位置作为该手写部分的位置信息，上述关联部基于上述手写部分各自的上述位置信息，指定被写入到与上述分类符号最接近的位置的上述包围线。另外，优选地，本发明具备显示装置、和使上述一览数据显示在上述显示装置的显示控制部。另外，本发明具备图像处理装置、和经由通信线路与上述图像处理装置连接的信息处理装置。上述图像处理装置具备分离部、判断部、关联部、提取图像取得部、图像区分部和一览数据生成部。上述分离部从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分。上述判断部对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪个进行判断。上述关联部将上述分类符号与被写入到和该分类符号最接近的位置的上述包围线相关联。上述提取图像取得部根据从上述图像数据中分离出上述手写部分后的分离后数据，提取包括被上述包围线包围的上述对象区域的提取对象区域内的图像部分。上述图像区分部对与相同种类的上述分类符号相关联的I个以上的上述包围线分别包围的上述图像部分彼此进行成组化。上述一览数据生成部作成将所提取出的上述图像部分按每组汇总而成的一览数据。上述信息处理装置具有显示装置和显示控制部。上述显示控制部使从上述图像处理装置经由上述通信线路取得的上述一览数据显示在上述显示装置。本发明具有分离步骤、判断步骤、相关联步骤、提取步骤、成组化步骤和一览数据作成步骤。上述分离步骤从利用手写对印刷物进行了写入之后的写入原稿的图像数据，分离出手写部分。上述判断步骤对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪个进行判断。上述相关步骤将上述分类符号与被写入到和该分类符号最接近的位置的上述包围线相关联。上述提取步骤根据从上述图像数据分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分。上述成组步骤对被与相同种类的上述分类符号相关联的 I个以上的上述包围线分别包围的上述图像部分彼此进行成组化。上述一览数据作成步骤作成将所提取出的上述图像部分按每组汇总而成的一览数据。本发明是计算机可读取的程序，上述计算机读取上述程序，上述计算机的CPU通过存储器执行上述程序，由此使上述计算机作为具备分离部、判断部、关联部、提取图像取得部、图像区分部和一览数据生成部的图像处理装置发挥作用。上述分离部从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分。上述判断部对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪个进行判断。上述关联部将上述分类符号与被写入到和其最接近的位置的上述包围线相关联。上述提取图像取得部根据从上述图像数据中分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分。上述图像区分部对与相同种类的上述分类符号相关联的I个以上的上述包围线分别包围的上述图像部分彼此进行成组化。上述一览数据生成部作成将提取出的上述图像部分按每组汇总而成的一览数据。根据本发明，对从图像数据中分离出的手写部分是包围线和分类符号中的哪个进行判断，并提取包含由被判断为包围线的手写部分包围的对象区域的提取对象区域内的图像部分。提取出的图像部分，以被与相同种类的分类符号相关联的I个以上的包围线分别包围的图像部分彼此成组化，并按每组汇总而作为一览数据。根据该构成，能够从印刷物中仅提取用户所希望的指定部分，并将其按用户所希望的那样进行分类并列表化。另外，根据本发明，基于分离后数据中的被针对手写部分而设定的外切矩形包围的区域中包含的像素数，对该手写部分是包围线、分类符号中的哪个进行判断。根据该构成，因为使用外切矩形这样的简化过的形状进行手写部分是包围线、分类符号中的哪个的判断，所以能够简单且准确地进行该判断。另外，根据本发明，能够在被包围线和外切矩形包围的区域中设定规定尺寸以上的内切矩形的情况下，将从外切矩形中除去了内切矩形的区域的图像部分作为提取对象区域，在无法设定内切矩形的情况下，将外切矩形内的区域作为提取对象区域。根据该构成， 通过使用外切矩形这样的简化过的形状，能够简单并且准确地指定用户希望提取的区域。另外，根据本发明，将设定在手写部分的外切矩形的中心位置作为该手写部分的位置信息来取得，并基于该位置信息，指定被写入到与分类符号最接近的位置的包围线。根据该构成，利用外切矩形这样的简化过的形状能够简单且准确地指定各手写部分的位置， 由此能够简单且准确地使分类符号和包围线相关联。另外，根据本发明，由于具有显示装置和使一览数据显示在该显示装置的显示控制部，所以用户能够使作成的一览数据显示在装置所具备的显示装置上。另外，根据本发明，由于与图像处理装置连接的信息处理装置具有显示装置、和使一览数据显示在该显示装置的显示控制部，所以用户能够使在图像处理装置中作成的一览数据显示在与其不同的信息处理装置所具备的显示装置上。其他功能、要素、过程、步骤、特点和本发明的优势通过下面参照附图详细说明本发明的优选实施例而将更加明显。
图I是表示数字复合机的构成的图。图2是表示写入原稿的一个例子的图。图3是表示数字复合机所具备的功能构成的框图。图4是用于说明预处理部的功能的图。图5是用于说明提取图像取得部的功能的图。图6是用于说明提取图像取得部的功能的图。图7是用于说明提取图像整理部的功能的图。图8是表示一览数据的构成例的图。图9是表示一览数据的构成例的图。图10是表示预处理的流程的图。图11是表示手写部分的判断处理的流程的图。图12是表示针对分类符号的处理流程的图。图13是表示针对包围线的处理流程的图。图14是表示生成一览数据的处理流程的图。图15是表示图像处理系统所具备的功能构成的框图。图16是表示显示画面的一个例子的图。
具体实施例方式〈A第一实施方式>〈I.数字复合机的构成>图I是表示本发明的实施方式的数字复合机I的构成的图。数字复合机I构成为具有FAX功能、复印功能、扫描功能、打印功能等多个功能的复合机(MFP装置)。数字复合机I成为将控制部11、R0M12、数据存储器13、图像存储器14、操作面板
15、图像处理部16、图像读取部17、图像记录部18、大容量储存部19和通信关系的处理部 31 34经由总线10电连接的构成。控制部11由CPU构成。控制部11基于R0M12所存储的程序P对上述的硬件各部进行控制，来实现数字复合机I的功能。R0M12是预先存储了数字复合机I的控制所需的程序P、数据等的读取专用的存储
>J-U ρ α装直。数据存储器13是能够进行读出和写入的存储装置，将图像数据、FAX号码、邮件地址等被暂时储存的各数据、在由控制部11进行的计算处理时产生的数据等暂时地存储。数据存储器13由SRAM、闪存等构成。图像存储器14是用于暂时存储通过LANI/F34或者NCU33从外部装置接收到的图像数据、在图像读取部17中取得了的图像数据、在图像处理部16中处理过的图像数据等的存储装置。图像存储器14由能够进行读出和写入的DRAM等存储器构成。操作面板15是作为用户界面发挥作用的处理部。操作面板15具有显示部151和操作键组152。显示部151显示各种信息并且接受用户操作。显示部151具有显示面板和安装在显示面板上的触摸面板。显示面板是显示数字复合机I的动作状态等的装置，例如由液晶显示器构成。触摸面板当检测到手指等触碰到显示面板的显示画面区域内，就取得该接触信息。操作键组152由文字键、数字键、功能键等各种键构成，接受指令、文本数据等的输入之类的用户操作。用户对操作键组152的操作被作为信号输入到控制部11。控制部 11基于用户操作对各部的动作进行控制。图像处理部16是对接收到的图像数据、从图像读取部17取得的图像数据等进行 A/D变换、色度系的变换、色调整、图像的合成等各种处理的处理部。图像读取部17是通过CXD线传感器等读取元件读取原稿上的图像的扫描仪。图像读取部17也可以是通过读取元件扫描载置在玻璃台上的原稿的表面来读取图像的类型的扫描仪，还可以是通过ADF(Auto Document Feeder :自动送稿器)输送载置在原稿的载置台(省略图示)上的原稿，通过静止在所搬运的原稿的表面上的读取元件扫描所搬运的原稿来读取图像的类型的扫描仪。图像记录部18是将图像存储器14、大容量储存部19等所储存的图像数据等记录到记录纸上的打印机。图像记录部18例如能够采用电子照相方式的打印机。大容量储存部19由硬盘等构成。大容量储存部19能够储存由图像读取部17处理后的图像数据。而且在该数字复合机I中，作为通信关系的处理部，成为将与多个协议对应地对图像数据等进行编码、解码的编解码器(CODEC) 31、进行收发数据的调制以及解调的调制解调器32、进行电话线路的开闭控制的NCU33和与LAN41的接口相当的LANI/F34，通过总线 10电连接的构成。在此，说明数字复合机I的通信环境。数字复合机I与LAN41连接。而且，LAN41 经由路由器42等与互联网43连接。由此,数字复合机I能够与经由LAN41连接的信息处理装置44、或者经由互联网43连接的信息处理装置45进行电子邮件通信等。此外，信息处理装置44、45例如，是个人计算机、与数字复合机I同样的装置、移动电话等。而且，数字复合机I与作为模拟线路用的数据通信网络的线路(例如， PSTN (Public Switched Telephone Network 一般公用电话网)46 (或者，ISDN(Integrated Services Digital Network :综合业务数字网)))连接。由此,数字复合机I能够与经由线路46连接的通信终端装置47进行FAX通信。此外，通信终端装置47例如是与调制解调器连接的个人计算机、与数字复合机I同样的装置、固定电话、移动电话、FAX专用机等。<2.与图像提取处理相关的构成〉数字复合机I具有从用户利用铅笔、圆珠笔等笔记工具对印刷物以手写方式进行了写入之后的原稿(以下称为“写入原稿”)60中，提取用户所希望的部分(摘录)，将其按用户所希望地进行分类并列表化的功能(提取分类功能)。<2-1.写入原稿〉
在具体地说明提取分类功能之前，参照图2来说明写入原稿60。图2示出写入原稿60的一个例子。如上所述，写入原稿60是用户以手写方式对印刷物进行了写入之后的原稿。在此，“印刷物”是例如使用墨水、调色剂等将文字、画、图表等图像形成在记录纸张等记录介质而成的。〈包围线71>存在用户想在印刷物内提取的部分(以下称为“对象部分”)的情况下，以手写方式标出包围对象部分的线(以下称为“包围线”)71。包围线71只要是规定关闭区域的情况，则可以是任何形状。例如，可以是多边形、圆角的多边形、圆形、椭圆形等。另外，也可以是包含凹陷的部分或者突出的部分的不规则的形状。另外，包围线71可以在印刷物内写入多个。但是，在同一页内写入多个包围线71的情况下，必须是各包围线71以不与其他包围线71交叉的方式被写入。<分类符号72>用户想要对对象部分进行分类的情况下，在包围线71的附近以手写的方式标出用于对对象部分进行分类的符号(以下称为“分类符号”)72。分类符号72只要是具有识别能力的符号就可以是任意符号。例如，能够使用文字(例如，数字、字母、片假名、片假名等 I个字符，或者将多个文字组合而成的)、记述符号(例如，问号(？)、感叹号(！)等)、 参照符(例如，参考符号(※丨、星号(*)等)、数学符号(例如，等号( = )、加号(+)、减号 (-)等)、图形(例如，圆形、三角、四边，或者将这些组合多个而成的图形等)、文字等和图形的组合(例如，用圆圈包围文字而成的等)，作为分类符号72。其中，由于分类符号72通过光学文字识别处理而被识别，所以为了防止光学文字识别处理中的误识别，优选是通过旋转而相互难以一致的组合。另外，由于分类符号72与位于其最近位置的包围线71建立关联，所以优选写到与想要使之关联的包围线71尽可能接近的位置上。其中，分类符号72需要以与包围线71、以及其他分类符号72不重叠的方式被写入。另外，优选分类符号72被写入到与印刷物所打印的线条画不重叠的位置。此外，分类符号72没必要一定针对全部的包围线71标出，即使存在没有分类符号72的包围线71也是没有问题。〈2-2功能构成>参照图3来说明提取分类功能。图3是表示数字复合机I所具备的功能构成的框图。数字复合机I具有预处理部110、分类符号区分部120、提取图像取得部130和提取图像整理部140，作为与上述功能相关的构成。这些各功能部是通过控制部11执行R0M12 上的程序P来实现的。〈预处理部110〉预处理部110是从读取写入原稿60而得的图像数据，取得与用户通过手写写入的部分(以下称为“手写部分”)7相关的各种信息的功能部，并且具有分离部111、外切矩形设定部112、位置信息取得部113和判断部114。参照图4来说明预处理部110的功能。图 4是用于说明预处理部110的功能的图。分离部111根据读取写入原稿60而得到的图像数据61，进行分离手写部分7(具体地说，包围线71以及分类符号72)的处理(以下称为“分离处理”)。在分离处理中，分离手写部分7和其以外的部分(即，是标出手写部分7之前的印刷物中打印的线条画的部分，以下称为“印刷部分”)。将从图像数据61中分离出手写部分7的数据(即，仪表示印刷部分的数据)以下称为“分离后数据62”。分离处理是例如能够利用图像数据61所包含的各对象的浓度差来进行的。即，手写部分与印刷部分相比存在浓度低的部分变多的趋势。于是，计算出图像数据61中的对象单位(例如，连结像素单位)的平均浓度，将平均浓度为规定值以下的部分判断为手写部分 7，通过对其进行分离，而能够从图像数据61中分离出手写部分7。另外，例如，分离处理是能够利用图像数据61所包含的各对象的浓度变化来进行的。即，手写部分与印刷部分相比存在浓度变化变得缓慢的趋势。于是，对图像数据61中的对象单位(例如，连结像素单位) 的平均浓度变化率(相邻接的像素间的浓度差的平均值)进行计算，将平均浓度变化率为规定值以下的部分判断为手写部分7，通过对其进行分离，而能够从图像数据61中分离出手写部分7。分离处理如上述所例示的那样，除了能够使用图像数据61中的各像素的浓度信息来进行之外，还能够使用公知的各种技术来进行。外切矩形设定部112设定分别与从图像数据61分离出的手写部分7外切的矩形 (以下称为“外切矩形”)81。位置信息取得部113取得从图像数据61分离出的手写部分7各自的位置信息。具体地说，计算出针对各手写部分7设定的外切矩形81的中心82的坐标，并将所得到坐标作为该手写部分7的位置信息进行取得。例如，能够取得外切矩形81的顶点坐标的平均值作为中心82的坐标。判断部114对从图像数据61分离出的手写部分7分别是包围线71、分类符号72 中的哪种进行判断。判断部114具备像素数计数部1141和判断处理部1142。像素数计数部1141对在分离后数据62中针对手写部分7设定的外切矩形81的区域(图中的虚线区域)中所包含的像素数进行计数。在此所得的计数结果成为与图像数据61的写入手写部分7的区域的内部的来自印刷物的线条画的像素数近似相等的值。包围线71是包围印刷物的线条画的标出部分，因此在图像数据61中的写入作为包围线71被标出的手写部分7的区域的内部应存在较多的出自印刷物的线条画的像素。与此相对，如果预先将分类符号72以不与印刷物的线条画部分重叠的方式写入进行规则化， 只要用户根据规则写入分类符号72，在写入作为分类符号72标出的手写部分7的区域的内部几乎不应存在出自印刷物的线条的像素。于是，判断处理部1142对由像素数计数部1141 计数出的像素数是否大于确定的阈值Wl进行判断，在像素数大于阈值Wl的情况下，将该手写部分7判断为包围线71。另一方面，在像素数在阈值Wl以下的情况下，将该手写部分7 判断为分类符号72。此外，被用于该判断处理的阈值Wl原理上还能够设为“O (零)”，但实际上，在分离处理中印刷部分和手写部分7被误识别的可能性也不为零。另外，还存在用户以与印刷物的线条画部分地重叠的方式标出分类符号72的可能性。而且，在用户与印刷部分接近地标出分类符号72的情况下，还存在在外切矩形81内仅包含印刷部分的可能性。于是，阈值Wl 优选设为稍大于“O”的值，以便在这些情况下也能够没有错误地分离分类符号72和包围线 71。
<分类符号区分部120〉再次参照图3。分类符号区分部120将分类符号72按相同种类的符号彼此进行成组化。具体地说，分类符号区分部120对分类符号72进行光学文字识别处理(OCR(Optical Character Recognition)处理),将识别结果相同的分类符号72彼此进行成组化,对各组给予识别编号(例如，组编号)。光学文字识别处理例如通过进行与预先登记的多个图案的图案匹配来执行。其中，在分类符号72被判断为文字不能被识别的情况下，也可以分类到决定该分类符号72的组，该分类符号72视为没有的符号进行以后的处理。此外，在此，存在对一组分类符号72进行文字识别处理而得到的识别结果为能够排位的符号组的情况。例如，如果识别结果是一组数字，则能够按升序、或者降序进行排位。 另外，如果识别结果为一组字母，则能够按从A、B、C到Z的排列顺序进行排位。还有，如果识别结果为一组平假名、或者一组片假名，则能够例如按50音图的顺序进行排位。这样，在识别结果为能够排位的符号组的情况下，分类符号区分部120给予与该符号的顺位对应的组编号。例如，在对一组分类符号72进行文字识别处理而得到的识别结果为“A”、“B”、“C”中的任意一个的情况下，分类符号区分部120对识别结果为“A”的分类符号72所属的组给予组编号“ I ”，对识别结果为“B”的分类符号72所属的组给予组编号“2”，对识别结果为“C” 的分类符号72所属的组给予组编号“3”。另外，例如，在图2所例示的写入原稿60的情况下，对一组分类符号72进行文字识别处理而得到的识别结果为“用圈包围I的图形”、“用圈包围2的图形”、“用圈包围3的图形”的任意一个。在该情况下，分类符号区分部120，对识别结果为“用圈包围I的图形”的分类符号72所属的组给予组编号“1”，对识别结果为“用圈包围2的图形”的分类符号72所属的组给予组编号“2”，对识别结果为“用圈包围3的图形”的分类符号72所属的组给予组编号“3” (参照图7)。〈提取图像取得部130〉提取图像取得部130是从分离后数据62中提取图像部分的功能部，其具备提取区域指定部131和提取处理部132。参照图5、图6来说明提取图像取得部130的功能。图5、 图6是用于说明提取图像取得部130的功能的图。提取区域指定部131指定从分离后数据62中应提取的区域(以下，称为“提取对象区域”)84。其中，提取对象区域84为包含用户希望提取的对象区域(即，被包围线71包围的对象区域)的区域。具体地说，提取区域指定部131如图5所示，对在被包围线71和设定在该包围线71上的外切矩形81包围的区域中，是否能够设定其尺寸大于所决定的阈值W2的内切矩形83进行判断。在无法设定内切矩形83的情况下(即，在包围线71和外切矩形81之间几乎不存在间隙的情况下)，提取区域指定部131将外切矩形81内的区域作为提取对象区域84 (ARl I)。另一方面，在能够设定一个以上的内切矩形83的情况下(即， 在包围线71和外切矩形81之间存在某种程度大的间隙的情况下)，将从外切矩形81中除去了其中所设定I个以上的内切矩形83的全部之外的区域作为提取对象区域84(AR12)。提取处理部132如图6所示，提取分离后数据62中的提取对象区域84内的图像部分。将提取出的图像部分在以下称为“提取图像85”。〈提取图像整理部140〉再次参照图3。提取图像整理部140是对提取图像85进行分类并作成一览数据63的功能部，其具备关联部141、图像区分部142和一览数据生成部143。一边参照图7 — 边说明提取图像整理部140的功能。图7是用于说明提取图像整理部140的功能的图。关联部141将各分类符号72和写入到与该分类符号72最接近的位置的包围线71 相关联。具体地说，位置信息取得部113使用针对各手写部分7指定的位置信息，在被写入到与各分类符号72同一页的包围线71之中，指定在与该分类符号72的中心82最接近的位置存在其中心82的包围线71。然后，将该包围线71视为被写入与该分类符号72最接近的位置的包围线71，与该分类符号72相关联(箭头ARl)。图像区分部142对被与属于相同组的(即，相同种类的)分类符号72相关联的I 个以上的包围线71分别包围的图像部分(具体地说，图像部分的提取图像85)彼此成组化。具体地说，图像区分部142首先，对包围提取图像85的图像部分的包围线71是否与任意一个分类符号72相关联进行判断。然后，在该包围线71与任意一个分类符号72相关联的情况下，对该提取图像85给予该相关联的分类符号72所属的组的组编号(箭头AR2)。 另一方面，在包围提取图像85的包围线71与任意一个分类符号72都不相关的情况下，对该提取图像85给予所决定的组编号(例如，“组编号O”)。换句话说，在存在被没有给予分类符号72的包围线71包围的图像部分的情况下，该图像部分彼此被汇总到一个组。一览数据生成部143将在图像区分部142中分组后的提取图像85按每组进行汇总，并且按组编号的升序排列，而作成一览数据63。图8、图9中示出一览数据63的构成例。如图8、图9所示，在一览数据63中，各提取图像85按每组被分类，并按组编号的升序排列。一览数据63既可以如图8所示，不按每组进行分页来一览显示，也可以如图9所示， 按每组来进行分页。所生成的一览数据63例如被储存在大容量储存部19中。大容量储存部19中储存的一览数据63根据来自用户的指示，在图像记录部18中被打印到记录纸上。另外，根据来自用户的指示，显示在显示部151。<3.处理流程〉说明提取分类功能的一系列处理的流程。此外，以下的处理是在用户使图像读取部17读取写入原稿60并且经由操作面板15输入了一览数据63的作成指示的情况下开始的。<3-1.预处理部110中的处理>首先，通过预处理部110进行预处理。参照图4、图10说明预处理的流程。图10 是表示该处理的流程的图。若通过图像读取部17取得写入原稿60的图像数据61，则分离部111从该图像数据61中分离出手写部分7(步骤Sll)。此外，在步骤Sll的处理中都没有检测出一个手写部分7的情况下，结束处理。在此，作为在步骤Sll的处理中检测到I个以上的手写部分7 来继续讲述。当I个以上的手写部分7被从图像数据61中分离时，接着，外切矩形设定部112设定与从图像数据61中分离出的I个以上的手写部分7分别外切的外切矩形81 (步骤S12)。接着，位置信息取得部113取得从图像数据61中分离出的I个以上的手写部分7 各自的位置信息(步骤S13)。具体地说，计算出针对各手写部分7在步骤S12中设定的外切矩形81的中心82的坐标，将所得到的坐标作为该手写部分7的位置信息进行取得。
接着，判断部114对从图像数据61分离出的I个以上的手写部分7分别是包围线 71、分类符号72中的哪一个进行判断(步骤S14)。参照图11更具体地说明该处理的流程。 图11是表示该处理的流程的图。首先，像素数计数部1141以任意一个手写部分7作为判断对象，对分离后数据62 中的针对成为该判断对象的手写部分7而设定的外切矩形81的区域所包含的像素数进行计数(步骤S141)。接着，判断处理部1142对步骤S141的计数结果是否大于所决定的阈值Wl进行判断(步骤S142)。在此，在判断为计数结果大于所决定的阈值Wl的情况下，成为判断对象的手写部分7被判断为是包围线71 (步骤S143)。另一方面，在计数结果为阈值Wl以下的情况下，成为判断对象的手写部分7被判断为是分类符号72(步骤S144)。当针对全部从图像数据61中分离出的I个以上的手写部分7，进行步骤S141 144的处理(在步骤S145为“是”)后，结束步骤S14的处理。如果步骤S14的处理结束则预处理结束，接着，对被判断为分类符号72的手写部分7和被判断为包围线71的手写部分7分别进行其他的处理。〈3-2分类符号区分部120中的处理>参照图12说明针对被判断为分类符号72的手写部分7通过分类符号区分部120 进行的处理的流程。图12是表示该处理的流程的图。首先，分类符号区分部120对被判断为分类符号72的全部的手写部分7分别进行光学文字识别处理(步骤S21)。接着，对步骤S21中的识别结果相同的分类符号72彼此进行成组化，对各组给予组编号(步骤S22)。〈3-3.提取图像取得部130的处理>参照图5、图6、图13来说明针对被判断为包围线71的手写部分7通过提取图像取得部130进行的处理的流程。图13是表示该处理的流程的图。首先，提取区域指定部131以任意一个包围线71作为对象，对在被该包围线71和设定在该包围线71上的外切矩形81包围的区域中是否能够设定其尺寸大于所决定的阈值 W2的内切矩形83进行判断(步骤S31)。在无法设定内切矩形83的情况下(在步骤S31为“否”)，提取区域指定部131将外切矩形81决定为提取对象区域84(步骤S32)。另一方面，在能够设定一个以上的内切矩形83的情况下(在步骤S31为“是”)， 提取区域指定部131将从外切矩形81中除去了其中设定的I个以上的内切矩形83的全部之外的区域决定为提取对象区域84(步骤S33)。接着，提取处理部132提取分离后数据62中的提取对象区域84 (即，在步骤S32、 或者步骤S33中决定的提取对象区域84)内的图像部分，作为提取图像85进行取得(步骤 S34)。若分别取得基于被判断为包围线71的所有的手写部分7的全部的提取图像 85 (步骤S35为“是”)，则处理结束。〈3-4.提取图像整理部140中的处理>如果针对被判断为分类符号72的手写部分7和被判断为包围线71的手写部分7各自的处理结束，则通过提取图像整理部140，进行对提取图像85分类而作成一览数据63 的处理。参照图7 图9、图14来说明该处理的流程。图14是表示该处理的流程的图。首先，关联部141将从图像数据61中分离出的全部的分类符号72，与被写入到和该分类符号72最接近的位置的包围线71相关联(步骤S41)。具体地说，关联部141使用在步骤S13 (参照图10)中取得的各手写部分7的位置信息，在写入到与各分类符号72同一页的包围线71中，指定在与该分类符号72的中心82最接近的位置上存在其中心82的包围线71。然后，将该包围线71视为被写入到与该分类符号72最接近的位置的包围线71， 并与该分类符号72相关联。接着，图像区分部142对所取得的全部的提取图像85进行分组(步骤S42)。具体地说，将被与属于相同组的分类符号72相关联的I个以上的包围线71分别包围的图像部分的提取图像85彼此成组化。另外，存在被没有给予分类符号72的包围线71包围的图像部分的情况下，将该图像部分彼此汇总到一个组。接着，一览数据生成部143将在步骤S42中分组过的提取图像85按每组汇总，并按组编号的升序排列，而作成一览数据63(步骤S43)。<4.效果〉根据上述实施方式，对从图像数据61中分离出的手写部分7是包围线71和分类符号72中的哪一个进行判断，并提取由被判断为包围线71的手写部分7包围的提取对象区域84内的图像部分。所提取的图像部分以被与相同种类的分类符号72相关联的I个以上的包围线71分别包围的图像部分彼此进行成组化，并按每组汇总而成为一览数据63。根据该构成，能够从印刷物中仅提取用户所希望的指定的部分，并将其按用户所希望的那样进行分类并列表化。另外，根据上述的实施方式，基于分离后数据62中的针对手写部分7而设定的外切矩形81的区域所包含的像素数，对该手写部分7是包围线71、分类符号72中的哪一个进行判断。例如，在要准确地求出分离后数据62中的手写部分7的区域所包含的像素数的情况下，必须准确地指定手写部分7的位置以及形状。由于包围线71很可能是用户以手写方式写入的不规则的形状，所以在要准确地指定其位置以及形状的情况下，运算量、应保持的信息量等变得非常多。与此相对，由于在上述实施方式中，通过利用与手写部分7外切的外切矩形81这样的单纯的形状，而对手写部分7是包围线71、分类符号72中的哪一个进行判断，所以能够简单且准确地进行该判断。另外，根据上述的实施方式，将基于针对包围线71设定的外切矩形81而规定的区域作为提取对象区域84。例如，在将包围线71内的图像部分直接作为提取对象区域的情况下，如上所述，必须准确地指定手写部分7的位置以及形状，因此运算量、应保持的信息量等变得非常多。与此相对，在上述的实施方式中，通过使用外切矩形这样的被简化的形状， 能够简单并且准确地提取用户希望提取的区域。另外，根据该构成，还存即使用户写入的包围线71不是完全闭合，也能够毫无问题地提取用户希望提取的区域的优点。此外，例如在摘录文本的情况下等，用户仅想要不遗漏地提取包围线71中包含的文章的可能性高，直接切下沿着包围线71的图像部分的必要性较低。即，通过不将包围线71内的图像部分作为提取对象区域，而将基于针对包围线71设定的外切矩形81规定的区域作为提取对象区域 84，用户感觉不便的可能性很低。
特别是在上述的实施方式中，在被包围线71和外切矩形81包围的区域中能够设定规定尺寸以上的内切矩形83的情况下，将从外切矩形81中除去内切矩形83之外的区域的图像部分作为提取对象区域84，在无法设定内切矩形83的情况下，将外切矩形81内的区域作为提取对象区域84。根据该构成，用户不希望提取的不需要的区域在提取对象区域84 中包含的比例减少。即，能够简单并且准确地指定用户希望提取的区域。特别是在上述的实施方式中，将被设定在手写部分7上的外切矩形81的中心82 的位置作为该手写部分7的位置信息取得，基于该位置信息，指定被写入与分类符号72最接近的位置的包围线71。根据该构成，能够使用外切矩形81之类的简化过的形状而简单且准确地指定各手写部分7的位置，所以能够简单且准确地进行分类符号72和包围线71的相关。〈B.第二实施方式〉〈I.图像处理系统100〉参照图15来说明本发明的第二实施方式的图像处理系统100。图15是表示图像处理系统100的功能构成的框图。图像处理系统100具有第一实施方式的数字复合机I、和与该数字复合机I经由通信线路连接的I个以上的信息处理装置。例如，具有数字复合机I、和与其经由LAN41连接的信息处理装置(例如，个人计算机)44。此外，图像处理系统100的构成并不限定于此，例如，也可以构成为还具备与数字复合机I经由互联网43连接的信息处理装置45 (或者，替换为信息处理装置44)(参照图I)。信息处理装置44例如由计算机构成，具备由CPU、ROM、RAM等构成并实现信息处理装置44的各功能的控制部441、显示器等显示装置442、和用于操作人员输入各种指示的由鼠标、键盘等构成的操作部443。而且，虽然省略图示，但还具备用于储存实现信息处理装置44的各种功能用的程序等的ROM、用于与经由LAN41或者互联网43等通信线路连接的数字复合机I等之间进行数据的交换的作为接口的通信部、存储经由通信线路从其他装置接收到的图像数据(例如，通信部经由LAN41从数字复合机I取得的一览数据63)等的存储装置等。在图像处理系统100中，能够将在数字复合机I中生成的一览数据63显示在信息处理装置44所具备的显示装置442。信息处理装置44具备显示控制部150，作为与一览数据63的显示处理相关的功能构成。显示控制部150是通过控制部441执行ROM上的程序来实现的。显示控制部150从存储装置读出由数字复合机I接收到的一览数据63并使之显示在显示装置442。图16中示出显示一览数据63的画面(以下，称为显示画面9)的构成例。在显示画面9中，一览显示属于相同的组的提取图像85 ( 一览显示部分91)。用户能够经由操作部443指定显示在一览显示部分91的组。即，用户经由操作部443，输入了想要使之显示的组的指定的情况下，显示控制部150使属于接受该输入而指定的组的提取图像85在一览显不部分91进行一览显不。另外，在一览显示部分91的旁边，显示用户进行写入的原始的印刷物(原始页显示部分92)。S卩，显示控制部150从数字复合机I取得在一览数据63的生成中使用的分离后数据62，使取得的分离后数据62显示在原始页显示部分92。通过与一览数据63并列地显示分离后数据62，用户能够确认提取图像85是从原始的印刷物的哪个位置被提取出的。此外，优选在原始页显示部分92例如用带色的线示出与显示在一览显示部分91 的提取图像85对应的提取对象区域84。根据该构成，用户能够一眼识别显示在一览显示部分91的提取图像85是从原始的印刷物的哪个位置提取出的提取图像85。在原始的印刷物由多页构成的情况下，也可以采用在原始页显示部分92显示在一览显示部分91所显示的提取图像85中包含用户选择出的一个提取图像85的页的构成。 即，在用户经由操作部443选择了显示在一览显示部分91的提取图像85中的任意一个的情况下，也可以采用显示控制部150接受该输入，将分离后数据62中包含所选择的提取图像85的页显示在原始页显示部分92的构成。另外，优选在用户选择了一个提取图像85的情况下，显示示意所选择的提取图像 85在原始的印刷物中位于哪个位置的信息(例如，在原始的印刷物中示出包含提取图像85 的页的页编号、记载在提取图像85在该页中的右侧、左侧的哪侧，另外，记载在该页中的上侧、下侧中的哪侧等的信息)(位置信息显示部分93)。另外，也可以构成为在显示画面9中显示有属于在一览显示部分91中显示的组的提取图像85，在原始的印刷物的整体上存在几个，另外，在原始页显示部分92所显示的页内中存在几个等信息(个数信息显示部分94)。此外,还可构成为显示画面9中显示有接受画面的显示变更指示等的图标(例如，接受在一览显示部分91显示前一组的指示的图标95、接受在一览显示部分91显示下一组的指示的图标96、接受显示一览数据63的打印列表的指示的图标97、接受显示结束的指不的图标98等)。<2.效果〉根据上述的实施方式，与数字复合机I连接的信息处理装置44具有显示装置442、 和使一览数据63显示在该显示装置442的显示控制部150，用户能够使在数字复合机I中作成的一览数据63，显示到与其不同的信息处理装置44所具备的显示装置442。〈C.变形例 >在上述的实施方式中，判断部114基于分离后数据62中的针对手写部分7而设定的外切矩形81的区域所包含的像素数，对该手写部分7是包围线71、分类符号72中的哪一个进行判断。在此，判断部114也可基于图像数据61中的针对手写部分7而设定的外切矩形81内部的平均像素密度，对该手写部分7是包围线71、分类符号72中的哪一个进行判断。即，该情况下，平均像素密度(外切矩形81的区域内部所包含的像素数除以外切矩形 81的尺寸而得的值)大于决定的阈值的情况下，将该手写部分7判断为包围线71。另外， 在小于等于所决定的阈值的情况下，将该手写部分7判断为分类符号72。另外，在第二实施方式中，数字复合机I和信息处理装置44构成图像处理系统 100，在数字复合机I中生成的一览数据63被显示在信息处理装置44所具备的显示装置 442。在此，如上所述，也可采用将数字复合机I中所生成的一览数据63显示在数字复合机 I的显示部151的构成。此时，上述的显示控制部150在数字复合机I中也被实现(具体地说，数字复合机I的控制部11通过执行R0M12上的程序P来实现)。根据该构成，用户能够使在数字复合机I中作成的一览数据63显示在数字复合机I所具备的显示部151。
另外，在图像处理系统100中，在数字复合机I中要实现的功能部110、120、130、 140中的I个以上的功能部，也可以在信息处理装置44的控制部441中被实现。另外，在上述的实施方式中，数字复合机I通过使图像读取部17读取写入原稿60 而取得图像数据61，但取得图像数据61的构成不限于次。例如，也可以经由LAN41等通信线路从信息处理装置44、45接收。另外，还可以从经由线路46连接的通信终端装置47进行FAX接收。另外，在上述的实施方式中，数字复合机I进行的处理的流程不限定于上述的顺序。例如，也可以在预处理中，在取得手写部分7的位置信息之前，进行手写部分7是包围线71还是分类符号72的判断。另外，上述各处理也可以同时进行。本领域技术人员容易想到其它优点和变更方式。因此，本发明就其更宽的方面而言不限于这里示出和说明的具体细节和代表性的实施方式。因此，在不背离由所附的权利要求书以及其等同物限定的一般发明概念的精神和范围的情况下，可以进行各种修改。
权利要求
1.一种图像处理装置，其特征在于，具有分离部，其从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分；判断部，其对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪一个进行判断；关联建立部，其将上述分类符号与被写入到和该分类符号最接近的位置的上述包围线建立关联，提取图像取得部，其根据从上述图像数据中分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分；图像区分部，其对通过与相同种类的上述分类符号建立关联的I个以上的上述包围线的各个包围线而被包围的上述图像部分彼此进行成组化；一览数据生成部，其作成将所提取出的上述图像部分按每组汇总而成的一览数据。
2.根据权利要求I所述的图像处理装置，其特征在于，具备外切矩形设定部，该外切矩形设定部设定与上述手写部分外切的外切矩形， 在上述分离后数据中，上述判断部基于针对上述手写部分而设定的上述外切矩形所包围的区域内所含有的像素数，来对该手写部分是上述包围线和上述分类符号中的哪一个进行判断。
3.根据权利要求I所述的图像处理装置，其特征在于，具备外切矩形设定部，该外切矩形设定部设定与上述手写部分外切的外切矩形，上述提取图像取得部，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中能够设定其尺寸大于所决定的阈值的内切矩形的情况下，将从上述外切矩形中去除了设定在其中的上述内切矩形之后的区域作为上述提取对象区域，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中无法设定上述内切矩形的情况下，将上述外切矩形内的区域作为上述提取对象区域。
4.根据权利要求I所述的图像处理装置，其特征在于，具备外切矩形设定部，其设定与上述手写部分外切的外切矩形；位置信息取得部，其取得利用上述手写部分设定的上述外切矩形的中心位置来作为该手写部分的位置信息，上述关联建立部基于上述手写部分各自的上述位置信息，来确定被写入到与上述分类符号最接近的位置的上述包围线。
5.根据权利要求I所述的图像处理装置，其特征在于，具有显示装置；以及显示控制部，其使上述一览数据显示在上述显示装置。
6.一种图像处理系统，其特征在于，具备图像处理装置；以及信息处理装置，其经由通信线路与上述图像处理装置连接，上述图像处理装置具备分离部，其从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分；判断部，其对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪一个进行判断；关联建立部，其将上述分类符号与被写入到和该分类符号最接近的位置的上述包围线建立关联；提取图像取得部，其根据从上述图像数据中分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分；图像区分部，其对通过与相同种类的上述分类符号建立关联的I个以上的上述包围线的各个包围线而被包围的上述图像部分彼此进行成组化；一览数据生成部，其作成将所提取出的上述图像部分按每组汇总而成的一览数据，上述信息处理装置具备显示装置；以及显示控制部，其使从上述图像处理装置且经由上述通信线路而取得的上述一览数据显示在上述显示装置。
7.根据权利要求6所述的图像处理系统，其特征在于，上述图像处理装置具备外切矩形设定部，该外切矩形设定部设定与上述手写部分外切的外切矩形，在上述分离后数据中，上述判断部基于针对上述手写部分而设定的上述外切矩形所包围的区域内所包含有的像素数，来对该手写部分是上述包围线和上述分类符号中的哪一个进行判断。
8.根据权利要求6所述的图像处理系统，其特征在于，上述图像处理装置具有外切矩形设定部，该外切矩形设定部设定与上述手写部分外切的外切矩形，上述提取图像取得部，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中能够设定其尺寸大于所决定的阈值的内切矩形的情况下，将从上述外切矩形中去除了设定在其中的上述内切矩形之后的区域作为上述提取对象区域，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中无法设定上述内切矩形的情况下，将上述外切矩形内的区域作为上述提取对象区域。
9.根据权利要求6所述的图像处理系统，上述图像处理装置具备外切矩形设定部，其设定与上述手写部分外切的外切矩形； 以及位置信息取得部，其取得利用上述手写部分设定的上述外切矩形的中心位置来作为该手写部分的位置信息，上述关联建立部基于上述手写部分各自的上述位置信息，来确定被写入到和上述分类符号最接近的位置的上述包围线。
10.根据权利要求6所述的图像处理系统，其特征在于，上述图像处理装置具备显示装置、以及使上述一览数据显示在上述显示装置的显示控制部。
11.一种图像处理方法，其特征在于，包括分离步骤，从利用手写对印刷物进行了写入之后的写入原稿的图像数据中，分离出手写部分；判断步骤，对上述手写部分是包围上述印刷物内的对象区域的包围线和用于对上述对象区域进行分类的分类符号中的哪一个进行判断；关联建立步骤，将上述分类符号与被写入到与该分类符号最接近的位置的上述包围线建立关联；提取步骤，根据从上述图像数据分离出上述手写部分后的分离后数据，提取包含被上述包围线包围的上述对象区域的提取对象区域内的图像部分；成组化步骤，对通过与相同种类的上述分类符号建立关联的I个以上的上述包围线的各个包围线而被包围的上述图像部分彼此进行成组化；一览数据作成步骤，作成将所提取出的上述图像部分按每组汇总而成的一览数据。
12.根据权利要求11所述的图像处理方法，其特征在于，具备外切矩形设定步骤，在该外切矩形设定步骤中设定与上述手写部分外切的外切矩形，在上述判断步骤，在上述分离后数据中，基于针对上述手写部分而设定的上述外切矩形所包围的区域内所含有的像素数，对该手写部分是上述包围线和上述分类符号中的哪一个进行判断。
13.根据权利要求11所述的图像处理方法，其特征在于，具备外切矩形设定步骤，在该外切矩形设定步骤中设定与上述手写部分外切的外切矩形，在上述提取步骤中，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中能够设定其尺寸大于所决定的阈值的内切矩形的情况下，将从上述外切矩形中去除了设定在其中的上述内切矩形之后的区域作为上述提取对象区域，在被上述包围线和利用该包围线设定的上述外切矩形所包围的区域中无法设定上述内切矩形的情况下，将上述外切矩形内的区域作为上述提取对象区域。
14.根据权利要求11所述的图像处理方法，其特征在于，具有外切矩形设定步骤，设定与上述手写部分外切的外切矩形；位置信息取得步骤，取得利用上述手写部分设定的上述外切矩形的中心位置来作为该手写部分的位置信息，在上述关联建立步骤中，基于上述手写部分各自的上述位置信息，来确定被写入到与上述分类符号最接近的位置的上述包围线。
15.根据权利要求11所述的图像处理方法，其特征在于，具备显示步骤、以及使上述一览数据显示在上述显示装置的显示控制步骤。
全文摘要
本发明提供一种图像处理装置、图像处理系统以及图像处理方法。该图像处理装置从利用手写对印刷物进行了写入之后的写入原稿的图像数据(61)中分离出手写部分(7)，对所分离出的手写部分(7)是包围线(71)和分类符号(72)中的哪个进行判断。提取由被判断为包围线(71)的手写部分(7)包围的图像部分来取得提取图像(85)。将分类符号(72)与被写入到和其最接近的位置的包围线(71)相关联，并将提取图像(85)以与属于同一组的分类符号(72)中的任意一个相关联的包围线(71)包围的区域的图像部分彼此成组化。然后，将提取图像(85)，作成按每组汇总而成的一览数据。
文档编号H04N1/00GK102611815SQ201110429498
公开日2012年7月25日 申请日期2011年12月20日 优先权日2011年1月20日
发明者姜成泰 申请人:村田机械株式会社