图像判别装置以及图像属性判别方法

专利名称：图像判别装置以及图像属性判别方法
技术领域：
本申请主张于2009年9月9日提出的日本专利申请2009-208605号的优先权，
并在此引用其全部内容。本发明涉及判别图像的属性的图像判别装置以及图像属性判别方法。
背景技术：
近几年，以节省空间为方针，在一台机器上兼备复印功能、传真通信功能、以 及网络通信功能的网络复合机正在普及。网络复合机的一些机种具备有对通过扫描仪扫描原稿而得到的图像数据的图像 属性进行判别并提取文字区域等的图像判别装置。以往，作为该图像判别装置判别图像属性的方法，通过使用了文字信息数据的 模式匹配等提取文字区域的方法被周知。但是，在以往的图像判别装置中，存在着在需要大容量的存储器的同时还需要 大量的运算量的问题。

也就是说，在以往的图像判别装置中，需要网罗了有可能包含在图像中的活字 等的文字信息数据，因此需要能够存储这些大容量的文字信息数据的存储器。另外，在 以往的图像判别装置中，对于使用了文字信息数据的模式匹配，需要包含正规化在内的 相当量的运算。因此，在以往的图像判别装置中，由于在需要大容量的存储器的同时还需要大 量的运算量，所以存在着在提取文字区域时花费处理时间的问题。

发明内容
所以，本发明是鉴于这样的问题而完成的，其目的在于，提供一种图像判别装 置，能够减少存储器的容量，并且能够减少运算量。本发明要解决的课题如上所述，接着说明用于解决该课题的方法和其效果。为了实现上述的目的，本发明涉及的图像判别装置是判别表示图像种类的图像 属性的图像判别装置，具备边缘计算部、局部连接性计算部和图像属性判别部。边缘计 算部针对图像的由规定数的像素组成的每个处理单位计算边缘方向。局部连接性计算部 根据计算出的上述边缘方向，针对上述每个处理单位计算用于表示与周边的处理单位之 间的边缘方向的吻合程度的局部连接性的强度。图像属性判别部使用上述属性判别区域 内的处理单位的局部连接性的强度，针对上述图像的由规定数的处理单位组成的每个属 性判别区域判别上述图像属性。据此，针对图像的每个属性判别区域，使用局部连接性的强度判别图像属性。 这里，对于该局部连接性的强度的计算，不需要大容量的存储器，另外，不需要大量的 运算。因此，对于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述边缘计算部还针对上述图像的每个上述处理单位计算边缘强度，上述图像属性判别部还针对上述图像的每个上述属性判别区域，使用上述属性判 别区域内的处理单位的边缘强度判别上述图像属性。据此，还针对图像的每个属性判别区域使用边缘强度判别图像属性。这里，对 于该边缘强度的计算，不需要大容量的存储器，另外，不需要大量的运算。因此，对于 判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述边缘计算部应用模板型1次微分过滤器，针对上述图像的 每个上述处理单位进行上述的计算。据此，应用模板型1次微分过滤器进行边缘方向或者边缘强度的计算。这里， 对于应用该模板型1次微分过滤器的计算，不需要大容量的存储器，另外，不需要大量 的运算。因此，对于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述局部连接性计算部将在与用于计算出上述局部连接性的对 象的处理单位、即对象处理单位的边缘方向垂直的方向上邻接的两侧的处理单位作为上 述周边的处理单位，计算出上述对象处理单位的边缘方向和上述周边的处理单位的边缘 方向之间的吻合程度作为上述对象处理单位的局部连接性的强度。据此，计算出对象处理单位的边缘方向和周边的处理单位的边缘方向的吻合程 度作为对象处理单位的局部连接性的强度。因此，能够简单地计算出局部连接性的强 度，对于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述图像属性判别部使用上述局部连接性的强度较高的处理单 位的数量和上述局部连接性的强度较低的处理单位的数量的比率，针对上述图像的每个 上述属性判别区域判别上述图像属性。据此，使用局部连接性的强度较高的处理单位的数量和局部连接性的强度较低 的处理单位的数量的比率判别图像属性。因此，通过计算比率这种单纯的计算能够判别 图像属性，因此对于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述图像属性判别部针对上述图像的每个上述属性判别区域， 在上述局部连接性的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理 单位的数量得到的值、即局部连接性比率在规定的第一阈值以上的情况下，判别上述图 像属性是文字区域。另外，上述图像属性判别部针对上述图像的每个上述属性判别区 域，在上述局部连接性比率小于上述第一阈值的情况下，判别上述图像属性是带有底色 的文字或者图画区域又或者是照片区域。据此，在局部连接性比率在规定的第一阈值以上的情况下，判别图像属性是文 字区域。另外，在局部连接性比率小于第一阈值的情况下，判别图像属性是带有底色的 文字或者图画区域又或者是照片区域。因此，能够通过简单的判断判别文字区域、带有 底色的文字或者图画区域又或者照片区域，因此对于判别图像属性，能够减少存储器的 容量并且减少运算量。另外，优选地，上述图像属性判别部针对上述图像的每个上述属性判别区域， 使用上述属性判别区域内的处理单位中的上述局部连接性的强度较高的处理单位的边缘 强度的平均值、即边缘强度平均值判别上述图像属性。 据此，使用局部连接性的强度较高的处理单位的边缘强度的平均值、即边缘强 度平均值判别图像属性。因此，能够通过计算边缘强度的平均值这种单纯的计算判别图像属性，因此对于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述图像属性判别部针对上述图像的每个上述属性判别区域， 在上述局部连接性的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理 单位的数量得到的值、即局部连接性比率在规定的第一阈值以上，并且上述边缘强度平 均值在规定的第二阈值以上的情况下，判别上述图像属性是活字区域，在上述局部连接 性比率在上述第一阈值以上，并且上述边缘强度平均值小于上述第二阈值的情况下，判 别上述图像属性是手写区域。据此，在局部连接性比率在第一阈值以上并且边缘强度平均值在第二阈值以上 的情况下，判别图像属性是活字区域。另外，在局部连接性比率在第一阈值以上并且边 缘强度平均值小于第二阈值的情况下，判别图像属性是手写区域。因此，不需要进行使 用了文字信息数据的模式匹配就能够通过简单的判断判别活字区域和手写区域，因此对 于判别图像属性，能够减少存储器的容量并且减少运算量。另外，优选地，上述图像属性判别部针对上述图像的每个上述属性判别区域， 在上述局部连接性的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理 单位的数量得到的值、即局部连接性比率小于规定的第一阈值，并且上述边缘强度平均 值在规定的第三阈值以上的情况下，判别上述图像属性是带有底色的文字或者图画区 域，在上述局部连接性比率小于上述第一阈值并且上述边缘强度平均值小于上述第三阈 值的情况下，判别上述图像属性是照片区域。据此，在局部连接性比率小于第一阈值并且边缘强度平均值在第三阈值以上的 情况下，判别图像属性是带有底色的文字或者图画区域。另外，在局部连接性比率小 于第一阈值并且边缘强度平均值小于第三阈值的情况下，判别图像属性是照片区域。因 此，能够通过简单的判断判别带有底色的文字或者图画区域和照片区域，因此对于判别 图像属性，能够减少存储器的容量并且减少运算量。另外，为了实现上述的目的，本发明涉及的图像判别装置是判别用于表示图像 种类的图像属性的图像判别装置，具备边缘计算部、局部连接性计算部和图像属性判别 部。边缘计算部针对图像的由规定数的像素组成的每个处理单位进行边缘方向和边缘强 度的计算。局部连接性计算部基于计算出的上述边缘方向，针对每个上述处理单位计算 表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度。图像属性判别 部针对每个上述图像的由规定数的处理单位组成的属性判别区域，使用根据上述属性判 别区域内的处理单位的局部连接性的强度计算出的边缘强度判别上述图像属性。据此，针对图像的每个属性判别区域，使用根据局部连接性的强度计算出的边 缘强度判别图像属性。这里，对于该局部连接性的强度以及边缘强度的计算，不需要大 容量的存储器，另外，不需要大量的运算。因此，对于判别图像属性，能够减少存储器 的容量并且减少运算量。 另外，本发明不仅作为这样的图像判别装置能够实现，也能够作为内置有这样 的图像判别装置的网络复合机实现。另外，本发明也可以作为将图像判别装置所具备的特征的处理部的各自的动作 步骤化的方法来实现。另外，本发明也可以作为进行各处理部的处理的集成电路来实 现。
并且，本发明也可以作为用于使计算机执行上述各步骤的程序来实现。这种程 序也能够经由CD-ROM等的记录介质或者互联网等的传输介质来发布。根据本发明涉及的图像判别装置，能够减少存储器的容量并且减少运算量。通过以下参照附图对本发明的优选实施方式进行的详细描述，本发明的其它特 征、构件、过程、步骤、特性及优点会变得更加清楚。


图1是表示包括本实施方式中的网络复合机的通信系统的构成的一例的图。图2是表示本实施方式中的网络复合机的硬件构成的框图。图3是表示具备本实施方式中的图像判别装置的图像处理装置的功能构成的框 图。图4是表示本实施方式中的边缘数据的一例的图。图5是表示本实施方式中的局部连接性数据的一例的图。图6是表示本实施方式中的图像判别装置的动作的一例的流程图。图7是表示本实施方式中的边缘计算部计算边缘方向以及边缘强度的处理的一 例的流程图。图8是说明本实施方式中的边缘计算部计算各像素的边缘方向和边缘强度的 图。图9是表示本实施方式中的局部连接性计算部计算局部连接性的强度的处理的 一例的流程图。图10是说明本实施方式中的局部连接性计算部计算局部连接性的强度的图。图11是说明本实施方式中的局部连接性计算部计算局部连接性的强度的图。图12是表示本实施方式中的图像属性判别部判别图像属性的处理的一例的流程 图。图13A是说明本实施方式中的图像属性判别部判别图像属性的处理的图。图13B是说明本实施方式中的图像属性判别部判别图像属性的处理的图。图13C是说明本实施方式中的图像属性判别部判别图像属性的处理的图。图13D是说明本实施方式中的图像属性判别部判别图像属性的处理的图。图14是说明第一阈值、第二阈值以及第三阈值的一例的图。
具体实施例方式下面，使用附图对本发明的实施方式进行详细的说明。首先，使用图1以及图2，对具备本发明的实施方式中的图像判别装置的网络复 合机的构成的概要进行说明。图1是表示包括本实施方式中的网络复合机的通信系统的构成的一例的图。如该图所示那样，该通信系统具备网络复合机1以及2、终端装置3以及4、 PSTN (Public Switched Telephone Network 公用开关电话网)5 以及 LAN (Local Area Network) 6.这里，网络复合机1是具备本实施方式的图像判别装置的网络复合机的一例。网络复合机1经由PSTN5与网络复合机2连接，另外经由LAN6与终端装置3以及4连 接。网络复合机1能够将扫描仪读取的原稿例如经由PSTN5传真发送给网络复合机2。另外，网络复合机1能够将扫描仪读取的原稿例如经由LAN6发送给终端装置3以及 4。另外，网络复合机1能够将扫描仪读取的原稿例如通过内置的打印机打印出来。图2是表示本实施方式中的网络复合机1的硬件构成的框图。如该图所示那样，网络复合机1具备CPU (Central Processing Unit) 10、 ROM (Read Only Memory) 11、RAM (Random Access Memory) 12、调制解调器 13、 NCU(Network Control Unit) 14,操作面板15、显示器16、扫描仪17、打印机18以及 LANI/FCLAN 接口)19。CPU10通过执行ROMll中储存的控制程序20来控制网络复合机1的全体。作为特征的处理，CPU10判别扫描仪17读取的原稿的图像数据的图像属性。关 于该图像数据的图像属性的判别的具体处理内容在后面进行说明。ROMll是保持CPU10执行的控制程序20的读取专用存储器。RAM12是保持CPU10执行控制程序20时使用的工作数据以及由扫描仪17得到 的图像数据等的可读写存储器。调制解调器13将RAM12保持的图像数据等调制成传真信号并发送，另外将从 外部接收的传真信号解调成线路数据。调制解调器13是例如依据G3规格的传真调制解调器。NCU14是控制调制解调器13和PSTN5的连接的网络控制器。操作面板15是接受使用者的操作的触摸屏。显示器16是显示针对使用者的操作引导、或者网络复合机1的动作状态的显示 装置，例如LCD (Liquid Crystal Display 液晶显示装置)。扫描仪17是图像读取的装置，在CPU10的控制下，使用CCD对原稿进行光学
读取，由此生成图像数据。打印机18是打印装置，在CPU10的控制下，打印输出例如由RAM12保持的图
像数据表示的图像。LANI/F19是连接网络复合机1和LAN6的通信适配器，在CPU10的控制下，例
如，将RAM12保持的图像数据发送给终端装置3等。接着，对本实施方式中的网络复合机1所具备的图像判别装置进行说明。图3是表示具备本实施方式中的图像判别装置120的图像处理装置100的功能构 成的框图。也就是说，该图是表示通过图2所示的硬件构成发挥的网络复合机1的功能 中的关于主要具备本实施方式的图像判别装置120的图像处理装置100的功能的构成的框 图。如该图所示那样，图像处理装置100具备原稿储存部110、图像判别装置120以 及图像处理部130。原稿储存部110是储存图像数据111的存储单元，具体而言是通过RAM12实 现。该图像数据111是由扫描仪17读取原稿生成的图像数据。图像判别装置120是对表示图像种类的图像属性进行判别的装置。这里，所谓判别图像属性是指判别是活字区域？还是手写区域？还是带有底色的文字或者图画区 域？还是照片区域？另外，图像判别装置120如该图所示那样具备边缘计算部121、局部连接性计算 部122、图像属性判别部123以及数据存储部124。另外，下面记述的基于边缘计算部 121、局部连接性计算部122以及图像属性判别部123的各种处理通过执行控制程序20的 CPUlO等来实现。边缘计算部121针对图像的由规定数的像素组成的每个处理单位进行边缘方向 以及边缘强度的计算。具体来讲，边缘计算部121针对原稿储存部110中储存的图像数据 111，应用模板型1次微分过滤器，对每个处理单位进行边缘方向以及边缘强度的计算。这里所说的边缘方向是指处理单位的像素的像素特征值(浓淡)发生变化的方 向。另外，边缘强度是指处理单位的像素的像素特征值的变化(浓淡变化)的大小。后 面进行详细说明。局部连接性计算部122根据边缘计算部121计算出的边缘方向，针对每个处理单 位计算表示与周边的处理单位的边缘方向的吻合程度的局部连接性的强度。具体来讲，局部连接性计算部122将计算局部连接性的对象的处理单位、即在 与对象处理单位的边缘方向垂直的方向上邻接的两侧的处理单位作为周边的处理单位， 计算出对象处理单位的边缘方向和周边的处理单位的边缘方向的吻合程度作为对象处理 单位的局部连接性的强度。图像属性判别部123针对图像的由规定数的处理单位组成的每个属性判别区 域，使用属性判 别区域内的处理单位的局部连接性的强度以及边缘强度判别图像属性。 所谓属性判别区域是指例如将图像分割成多个的块。具体来讲，图像属性判别部123针对图像的每个属性判别区域，使用局部连接 性的强度较高的处理单位的数量和局部连接性的强度较低的处理单位的数量的比率判别 图像属性。另外，图像属性判别部123针对图像的每个属性判别区域，使用属性判别区 域内的处理单位中的、局部连接性的强度较高的处理单位的边缘强度的平均值、即边缘 强度平均值判别图像属性。后面对图像属性判别部123进行的图像属性的判别处理进行 详细说明。数据存储部124是存储用于判别图像属性的数据的存储单元，具体是通过 RAM12实现。如该图所示那样，数据存储部124具备边缘数据125以及局部连接性数据 126。图4是表示本实施方式中的边缘数据125的一例的图。如该图所示那样，边缘数据125是边缘计算部121计算出的、用于表示每个处理 单位的边缘方向以及边缘强度的数据的集合。也就是说，边缘计算部121计算出每个处理单位的边缘方向以及边缘强度，通 过将计算出的边缘方向以及边缘强度存储在数据存储部124中来更新边缘数据125。图5是表示本实施方式中的局部连接性数据126的一例的图。如该图所示那样，局部连接性数据126是局部连接性计算部122计算出的、用于 表示每个处理单位的局部连接性的强度的数据的集合。也就是说，局部连接性数据126使用边缘数据125的边缘方向，计算出每个处理单位的局部连接性的强度，通过将计算出的局部连接性的强度存储在数据存储部124中 来更新局部连接性数据126。 另外，图像属性判别部123使用数据存储部124中存储的边缘数据125的边缘强 度和局部连接性数据126的局部连接性的强度来判别图像属性。返回至图3，图像处理部130根据图像判别装置120判别的图像属性对图像数据 111进行修正。例如，图像处理部130判断被判别为是手写区域的部分是被篡改过的部 分，并进行对图像数据111施加修正等的修正以除去手写区域。另外，图像处理部130 通过执行控制程序20的CPUlO等来具体实现。接着，对图像判别装置120的动作进行说明。图6是表示本实施方式中的图像判别装置120的动作的一例的流程图。如该图所示那样，首先，边缘计算部121针对图像的由规定数的像素组成的每 个处理单位进行边缘方向以及边缘强度的计算(S102)。这里，将处理单位设定为1像 素，边缘计算部121针对每个像素进行边缘方向以及边缘强度的计算。另外，后面对该 边缘计算部121计算边缘方向以及边缘强度的处理进行详细说明。接着，局部连接性计算部122针对每个像素，根据边缘计算部121计算出的边缘 方向计算局部连接性的强度(S104)。另外，后面对该局部连接性计算部122计算局部连 接性的强度的处理进行详细说明。并且，图像属性判别部123针对每个规定的像素数的块，使用块内的每个像素 的局部连接性的强度以及边缘强度判别图像属性(S104)。另外，后面对该图像属性判别 部123判别图像属性的处理进行详细说明。接着，对边缘计算部121计算边缘方向以及边缘强度的处理(图6的S102)进行 详细说明。图7是表示本实施方式中的边缘计算部121计算边缘方向以及边缘强度的处理的 一例的流程图。如该图所示那样，首先，向边缘计算部121输入原稿存储部110中存储的图像数 据111(S202)。这里设为输入具有彩色图像的图像数据111。并且，边缘计算部121将图像数据111变换成灰度色标的图像数据(S204)。接着，边缘计算部121针对变换后的图像数据111的全部的像素反复进行(循环 1 S206 S216)下面的处理(S208 S214)。首先，边缘计算部121应用模板型1次微分过滤器计算各像素的边缘方向和边缘 强度(S208)。图8是说明本实施方式中的边缘计算部121计算各像素的边缘方向和边缘强度的 图。具体来讲，该图表示了相对于计算边缘方向和边缘强度的对象的像素、即注目 像素A的、Prewitt算子的模板型1次微分过滤器的应用结果。如该图所示那样，边缘计算部121计算出各方向的输出值中的输出值最大的方 向作为边缘方向，并计算出该边缘方向上的输出值作为边缘强度。具体来讲，边缘计算部121计算出注目像素A和其周边像素的像素值乘以该图所 示的系数并累积而得到的数值、即输出值。并且，边缘计算部121计算出该输出值最大的方向作为边缘 方向。另外，边缘计算部121计算出该最大的输出值作为边缘强度。在该图中，边缘计算部121计算出输出值是“+400”为最大的“右下”方向作 为边缘方向，计算出“+400”作为边缘强度。另外，在该图中，各像素的像素值取0 255的值进行计算。另夕卜，对于模板型1次微分过滤器，除了 Prewitt还有Roberts、Robinson、Kirsch
等的算子，边缘计算部121在考虑运算量和精度的基础上选择最佳的算子，输出值进行 最佳正规化。返回至图7，边缘计算部121判断计算出的边缘强度是否小于规定的阈值 (S210)。边缘计算部121在判别为计算出的边缘强度小于规定的阈值的情况下(S210中的 是)，由于注目像素不能被当作边缘的噪声的可能性很高，所以决定为没有边缘方向并决 定边缘强度也为0(S212)。例如，如果边缘强度的绝对值小于50，则边缘计算部121决 定为没有该像素的边缘方向、边缘强度为0。并且，边缘计算部121通过将决定的边缘方向以及边缘强度存储在数据存储部 124中来更新边缘数据125(S214)。另外，边缘计算部121在判别为计算出的边缘强度不小于规定的阈值的情况下 (S210中的否)，通过将计算出的边缘方向以及边缘强度存储在数据存储部124中来更新 边缘数据125(S214)。通过针对图像数据111的全部的像素反复执行(循环1: S206 S216)以上处 理(S208 S214)，边缘计算部121计算边缘方向以及边缘强度的处理(图6的S102)结束。接着，对局部连接性计算部122计算局部连接性的强度的处理(图6的S104)进 行详细说明。图9是表示本实施方式中的局部连接性计算部122计算局部连接性的强度的处理 的一例的流程图。如该图所示那样，局部连接性计算部122针对图像数据111的全部像素反复进行 (循环2 S302 S310)下面的处理(S304 S308)。首先，局部连接性计算部122判断计算局部连接性的强度的对象的注目像素是 否没有边缘方向(S304)。具体来讲，局部连接性计算部122参照数据存储部124中存储 的边缘数据125的边缘方向判断注目像素是否没有边缘方向。局部连接性计算部122在判别为注目像素没有边缘方向的情况下(S304中的 是)，计算下一个像素的局部连接性的强度。也就是说，对于决定为没有边缘方向的像 素，由于可以视为无关紧要的空白区域，所以不进行局部连接性的强度的计算。局部连接性计算部122在判别为注目像素不是没有边缘方向的情况下(S304中的 否)，计算局部连接性的强度(S306)。图10以及图11是说明本实施方式中的局部连接性计算部122计算局部连接性的 强度的图。如图10所示那样，局部连接性计算部122将注目像素的边缘方向和与该边缘方 向的垂直方向上邻接的两侧的2个像素的边缘方向进行比较，计算局部连接性的强度。
通过计算局部连接性的强度可以了解边缘方向是在固定方向上连续还是不吻 合。局部连接性计算部122根据注目像素的边缘方向和与该边缘方向垂直的方向上邻接 的两侧的2个像素的边缘方向的角度差计算局部连接性的强度。在8个方向的情况下， 该角度差为0度、45度、90度、135度以及180度的其中一个。具体来讲，局部连接性计算部122根据数据存储部124中存储的边缘数据125， 参照注目像素和邻接的两侧的2个像素的总计3个像素的边缘方向，计算注目像素和邻接 的一侧的1个像素的角度差以及注目像素和邻接的另一侧的1个像素的角度差。另外，在注目像素与决定为没有边缘方向的像素邻接的情况下，由于与邻接的 像素的角度差不明，所以局部连接性计算部122将角度差设为中间值的90度来计算局部 连接性的强度。另外，在与注目像素邻接的两侧的2个像素中至少有1个像素是被决定为没有边 缘方向的像素的情况下，局部连接性计算部122针对该注目像素也可以不使用角度差计 算局部连接性的强度而是在后面说明的与局部连接性的强度的强弱相关的分类中将其分 类为局部连接性的强度较低的像素。这是因为在与注目像素邻接的两侧的2个像素中至 少有1个像素是被决定为没有边缘方向的像素的情况下，该注目像素成为边缘的终端， 可以视为边缘中断。这里，如果注目像素与邻接的2个像素的角度差都为0度，则可以说边缘方向在 固定方向上连续的程度最大、局部连接性的强度较高。与此相反，注目像素与邻接的2 个像素的角度差越大，则边缘方向越不吻合，局部连接性的强度越低。

若考虑了这些，则如图11所示那样，关于局部连接性的强度的强弱，例如能够 按照下面那样以从高到底的顺序对局部连接性的强度进行分类。(a)与邻接的两侧的2个像素的角度差都为0度。(b)与邻接的一侧的1个像素的角度差为0度，与另一侧的1个像素的角度差为 45度。(c)与邻接的两侧的2个像素的角度差都为45度。(d)与邻接的一侧的1个像素的角度差为0度，与另一侧的1个像素的角度差为 90度。(e)与邻接的一侧的1个像素的角度差为45度，与另一侧的1个像素的角度差为 90度。(f)与邻接的两侧的2个像素的角度差都为90度。关于局部连接性的强度的强弱的基准，没有明确的定义，一般来说与(f)相对应 的像素被称为噪声。这里，将与(a)相对应的像素设为局部连接性的强度较高的像素(后 面称为局部连接性Hi像素)，将与(b)、(c)、(d)、(e)以及(f)相对应的像素分类为局 部连接性的强度较低的像素(后面称为局部连接性Low像素)。也就是说，局部连接性计算部122将与(a)相对应的像素(局部连接性Hi像素) 的局部连接性的强度计算为“Hi”，将与(b) (f)相对应的像素(局部连接性Low像 素)的局部连接性的强度计算为“Low”。另外，分类方法并不限于上述那样的分类为局部连接性Hi像素和局部连接性 Low像素的方法，局部连接性计算部122根据判别的画像属性决定适当的分类方法。
并且，局部连接性计算部122通过将计算出的局部连接性的强度存储在数据存 储部124中来更新局部连接性数据126(S308)。通过针对图像数据111的全部的像素反复执行(循环2: S302 S310)以上的处 理(S304 S308)，来结束局部连接性计算部122计算局部连接性的强度的处理(图6的 S104)。接着，对图像属性判别部123判别图像属性的处理(图6的S106)进行详细说明。图12是表示本实施方式中的图像属性判别部123判别图像属性的处理的一例的 流程图。图13A 图13D是说明本实施方式中的图像属性判别部123判别图像属性的处 理的图。图像属性判别部123针对多个像素组成的每个块，使用块内的各像素的局部连 接性的强度以及边缘强度判别图像属性。具体来讲，如图12所示那样，图像属性判别部123将图像数据111分割成多个 块，针对所有的块，反复进行(循环3 : S402 S428)以下的处理(S404 S426)。这 里，各块由8X8像素组成。另外，图像属性判别部123根据读取的原稿的尺寸、解像 度、 检测精度等决定该块的尺寸。首先，图像属性判别部123从局部连接性数据126中取得各像素的局部连接性的 强度，从边缘数据125中取得各像素的边缘强度(S404)。并且，图像属性判别部123根据取得的各像素的局部连接性的强度计算局部连 接性的强度为“Hi”的像素(局部连接性Hi像素)和局部连接性的强度为“Low”的 像素(局部连接性Low像素)的像素数的比率(后面称为局部连接性比率)(S406)。也 就是说，局部连接性比率是局部连接性Hi像素的像素数除以局部连接性Low像素的像素 数得到的值。另外，图像属性判别部123根据取得的各像素的边缘强度计算局部连接性Hi像 素的边缘强度的平均值、即边缘强度平均值(S408)。接着，图像属性判别部123判断块中的局部连接性Hi像素以及局部连接性Low 像素的像素数的合计是否在规定的像素数以上(S410)。图像属性判别部123在判别为块中的该像素数的合计不在规定的像素数以上的 情况下(S410中的否)，判别该块是“空白区域”(S412)。所谓规定的像素数是指例如 相当于块内的像素数的50%的像素数。也就是说，在该块中不存在局部连接性Hi像素或者局部连接性Low像素，或者 与块的尺寸相比这些像素数非常少的情况下，图像属性判别部123将该块视为无关紧要 的空白区域，不进行图像属性的判别。所谓块中局部连接性Hi像素或者局部连接性Low 像素的像素数的合计非常少的情况是指在块中被定义为没有边缘方向的像素占了大半的 情况。另外，图像属性判别部123在判别为块中的该像素数的合计在规定的像素数以 上的情况下(S410中的是)，判断局部连接性比率是否在第一阈值以上(S414)。图像属性判别部123在判别为局部连接性比率在第一阈值以上的情况下(S414中的是)，判别该块的图像属性是没有背景色的文字区域。其理由是因为如图13A以及图 13B所示那样，考虑作为没有背景色的文字区域的特征是文字对象的轮廓部分的边缘方 向在固定方向上连续，边缘方向频繁或者急剧地变化的像素相对较少。 并且，图像属性判别部123还判断局部连接性Hi像素的边缘强度平均值是否在 第二阈值以上(S416)。图像属性判别部123在判别为局部连接性Hi像素的边缘强度平均值在第二阈值 以上的情况下(S416中的是)，判别该块的图像属性是活字区域(S418)。其理由是因为 如图13A以及图13B所示那样，考虑作为活字的特征是与手写相比，邻接像素之间的浓 度变化较大，边缘陡峭的像素相对较多。另外，不利用所有像素的边缘强度平均值而是利用局部连接性Hi像素的边缘强 度平均值进行判别是因为容易出现边缘强度的差的是文字对象的轮廓部分，该部分相当 于边缘方向在固定方向上连续的局部连接性Hi像素。另外，图像属性判别部123在判别为局部连接性Hi像素的边缘强度平均值小于 第二阈值的情况下(S416中的否)，判别该块的图像属性是手写区域(S420)。其理由是 因为如图13A以及图13B所示那样，考虑作为手写的特征是与活字相比，邻接像素之间 的浓度变化较小，边缘缓和的像素相对较多。另外，不利用所有像素的边缘强度平均值 而是利用局部连接性Hi像素的边缘强度平均值进行判别的理由和活字的情况相同。另外，图像属性判别部123在判别为局部连接性比率小于第一阈值的情况下 (S414中的否)，判别该块的图像属性是带有底色的文字或者图画区域、又或者是照片区 域。其理由是因为没有表现出上述的没有背景色的文字区域的特征。也就是说，如图13C以及图13D所示那样，带有底色的文字或者图画区域又或 者照片区域与没有背景色的文字区域的特征不符合是因为文字或者图画对象的轮廓部分 与具有中间灰度的浓淡值的底色部分邻接，与没有背景色的文字区域相比边缘方向在固 定方向上连续的像素变少。并且，图像属性判别部123还判断局部连接性Hi像素的边缘强度平均值是否在 第三阈值以上(S422)。图像属性判别部123在判别为局部连接性Hi像素的边缘强度平均值在第三阈 值以上的情况下(S422中的是)，判别该块的图像属性是带有底色的文字或者图画区域 (S424)。其理由是因为如图13C以及图13D所示那样，考虑相当于带有底色的文字或者 图画区域的局部连接性Hi像素的文字或者图画对象的轮廓部分与相当于照片区域的局部 连接性Hi像素的照片的轮廓部分相比，邻接像素之间的浓度变化较大，边缘陡峭的像素 相对较多。图像属性判别部123在判别为局部连接性Hi像素的边缘强度平均值小于第三阈 值的情况下(S422中的否)，判别该块的图像属性是照片区域(S426)。其理由是因为如 图13C以及图13D所示那样，考虑相当于照片区域的局部连接性Hi像素的照片的轮廓部 分与相当于带有底色的文字或者图画区域的局部连接性Hi像素的文字或者图画对象的轮 廓部分相比，邻接像素之间的浓度变化较小，边缘缓和的像素相对较多。通过针对图像数据111的所有的块反复执行(循环3: S402 S428)以上的处理 (S404 S426)，图像属性判别部123判别图像属性的处理(图6的S106)结束。
由此，图像属性判别部123能够以块为单位判别活字区域、手写区域、带有底 色的文字或者图画区域、以及照片区域的4个种类的图像属性。另外，判别图像属性的 单位不限于以块为单位，图像属性判别部123为了判别图像全体的图像属性，也可以进 行针对图像全体的图像属性的判别。接着，对第一阈值、第二阈值以及第三阈值的一例进行说明。图14是说明第一阈值、第二阈值以及第三阈值的一例的图。如该图所示那样，用于判别是否是文字区域的局部连接性比率α的阈值、即第 一阈值是0.5。另外，所谓第二阈值和第三阈值，可以是相同的值，但是与没有背景色的文字 区域的边缘强度相比，带有底色的文字或者图画区域又或者照片区域的边缘强度是绝对 低的值的可能性较高，因此考虑第三阈值使用小于第二阈值的值是有效的。因此，用于判别是活字区域还是手写区域的局部连接性Hi像素的边缘强度平均 值β的阈值、即第二阈值是192。另外，用于判别是是带有底色的文字或者图画区域还 是照片区域的局部连接性Hi像素的边缘强度平均值β的阈值、即第三阈值是128。另 夕卜，这里的第二阈值以及第三阈值是将边缘强度正规化为8比特的情况下的数值。如上所述，根据本发明涉及的图像判别装置120，针对图像的每个属性判别区 域，使用局部连接性的强度以及边缘强度判别图像属性。这里，对于该局部连接性的强 度的计算以及边缘强度的计算，不需要大容量的存储器，另外，不需要大量的运算。另外，应用模板型1次微分过滤器，进行边缘方向或者边缘强度的计算。这 里，对于应用该模板型1次微分过滤器的计算，不需要大容量的存储器，另外，不需要 大量的运算。另外，计算对象处理单位的边缘方向和周边的处理单位的边缘方向的吻合程度 作为对象处理单位的局部连接性的强度。因此，能够简单地计算局部连接性的强度。另外，使用局部连接性的强度较高的处理单位的数量和局部连接性的强度较低 的处理单位的数量的比率判别图像属性。因此，能够通过计算比率这种单纯的计算判别 图像属性。另外，在局部连接性比率在规定的第一阈值以上的情况下，判别图像属性是文 字区域。另外，在局部连接性比率小于第一阈值的情况下，判别图像属性是带有底色的 文字或者图画区域又或者是照片区域。因此，能够通过简单的判断来判别文字区域、带 有底色的文字或者图画区域又或者照片区域。另外，使用局部连接性的强度较高的处理单位的边缘强度的平均值、即边缘强 度平均值来判别图像属性。因此，能够通过计算边缘强度的平均值这种单纯的计算判别 图像属性。 另外，在局部连接性比率在第一阈值以上并且边缘强度平均值在第二阈值以上 的情况下，判别图像属性是活字区域。另外，在局部连接性比率在第一阈值以上并且边 缘强度平均值小于第二阈值的情况下，判别图像属性是手写区域。因此，不需要进行使 用了文字信息数据的模式匹配就能够通过简单的判断来判别活字区域和手写区域。另外，在局部连接性比率小于第一阈值并且边缘强度平均值在第三阈值以上的 情况下，判别图像属性是带有底色的文字或者图画区域。另外，在局部连接性比率小于第一阈值并且边缘强度平均值小于第三阈值的情况下，判别图像属性是照片区域。因 此，能够通过简单的判断判别带有底色的文字或者图画区域和照片区域。如上所述，根据本发明，对于判别图像属性，可以构成一种图像判别装置，能 够减少存储器的容量并且减少运算量。另外，通过减少存储器的容量能够降低成本。上面根据实施方式对本发明涉及的图像判别装置进行了说明，但是本发明并不 限定于该实施方式。也就是说，应该考虑到这次公开的实施方式并不是具有限制性的举例说明了所 有的发明点的实施方式。本发明的范围不是基于上述的说明而是基于权利要求的范围被 表示，意图包括与权利要求的范围均等的含义以及范围内的所有的变更。例如，在本实施方式中，图像属性判别部123被设定为判别活字区域、手写区 域、带有底色的文字或者图画区域以及照片区域的4种类的图像属性。但是，在只打算 进行判别是否是文字区域的情况下，图像属性判别部123也可以设定为只使用局部连接 性比率来判别是活字区域或者手写区域，还是带有底色的文字或者图画区域又或者照片 区域的2种类的图像属性。另外，在本实施方式中，图像属性判别部123被设定为判别活字区域、手写区 域、带有底色的文字或者图画区域以及照片区域的4种类的图像属性。但是，在判明判 别的图像只是文字区域的情况下，图像属性判别部123也可以设定为只判别活字区域以 及 手写区域的2种类的图像属性。同样，在判明判别的图像不是文字区域的情况下，图 像属性判别部123也可以设定为只判别带有底色的文字或者图画区域，以及照片区域的2 种类的图像属性。另外，在本实施方式中，图像属性判别部123设定为在计算出局部连接性Hi像 素的边缘强度平均值(图12的S404 S408)以后判断局部连接性Hi像素以及局部连接 性Low像素的像素数的合计是否在规定的像素数以上(图12的S410)。但是，图像属性 判别部123也可以设定为在计算该边缘强度平均值(图12的S408)以前，例如在取得局 部连接性的强度以及边缘强度(图12的S404)以前判断该像素数的合计是否在规定的像 素数以上(图12的S410)。本发明能够作为图像判别装置，特别是作为在判别图像属性时能够减少存储器 的容量并且能够减少运算量的图像判别装置来利用。虽然参照优选实施方式描述了本发明，但是可以以多种方法改进本发明，并且 可以推知与上面提出和描述的实施方式不同的多种实施方式，这对本技术领域的普通技 术人员而言是显而易见的。因此，后附权利要求书意在涵盖本发明的所有落入本发明主 旨和范围内的改进方案。
权利要求
1.一种图像判别装置，具备以下构成，边缘计算部，针对图像的由规定数的像素组成的每个处理单位计算边缘方向；局部连接性计算部，基于计算出的上述边缘方向，针对上述每个处理单位计算用于 表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度；以及图像属性判别部，针对上述图像的由规定数的处理单位组成的每个属性判别区域， 使用上述属性判别区域内的处理单位的局部连接性的强度，判别图像属性。
2.根据权利要求1所记载的图像判别装置，其特征在于，具备，图像处理部，其基于上述图像属性判别部判别的图像属性对图像数据进行修正。
3.根据权利要求1所记载的图像判别装置，其特征在于，上述边缘方向是处理单位的像素特性值发生变化的方向。
4.根据权利要求1所记载的图像判别装置，其特征在于，上述边缘计算部针对上述图像的每个上述处理单位还进行边缘强度的计算；上述图像属性判别部针对上述图像的每个上述属性判别区域，还使用上述属性判别 区域内的处理单位的边缘强度判别上述图像属性。
5.根据权利要求1所记载的图像判别装置，其特征在于，上述边缘强度是处理单位的像素特性值的变化的大小。
6.根据权利要求1所记载的图像判别装置，其特征在于，上述边缘计算部针对上述图像的每个上述处理单位，应用模板型1次微分过滤器进 行上述计算。
7.根据权利要求1所记载的图像判别装置，其特征在于，上述局部连接性计算部将如下的处理单位作为上述周边的处理单位，计算出上述对 象处理单位的边缘方向和上述周边的处理单位的边缘方向之间的吻合程度作为上述对象 处理单位的局部连接性的强度，上述处理单位是在与用于计算上述局部连接性的对象的 处理单位、即对象处理单位的边缘方向垂直的方向上邻接的两侧的处理单位。
8.根据权利要求1所记载的图像判别装置，其特征在于，上述图像属性判别部使用上述局部连接性的强度较高的处理单位的数量和上述局部 连接性的强度较低的处理单位的数量的比率，针对上述图像的每个上述属性判别区域判 别上述图像属性。
9.根据权利要求8所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在局部连接性比率在 规定的第一阈值以上的情况下，判别上述图像属性是文字区域，上述局部连接性比率是 上述局部连接性的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单 位的数量得到的值。
10.根据权利要求9所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性比 率小于上述第一阈值的情况下，判别上述图像属性是带有底色的文字或者图画区域、或 者是照片区域。
11.根据权利要求4所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，使用上述属性判别区域内的处理单位中的上述局部连接性的强度较高的处理单位的边缘强度的平均值、即边 缘强度平均值来判别上述图像属性。
12.根据权利要求11所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性 的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单位的数量得到的 值、即局部连接性比率在规定的第一阈值以上，并且上述边缘强度平均值在规定的第二 阈值以上的情况下，判别上述图像属性是活字区域，在上述局部连接性比率在上述第一 阈值以上，并且上述边缘强度平均值小于上述第二阈值的情况下，判别上述图像属性是 手写区域。
13.根据权利要求11所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性 的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单位的数量得到的 值、即局部连接性比率小于规定的第一阈值，并且上述边缘强度平均值在规定的第三阈 值以上的情况下，判别上述图像属性是带有底色的文字或者图画区域，在上述局部连接 性比率小于上述第一阈值并且上述边缘强度平均值小于上述第三阈值的情况下，判别上 述图像属性是照片区域。
14.根据权利要求1所记载的图像判别装置，其特征在于，上述图像属性判别部将把上述图像分割成多个的块作为上述属性判别区域，针对每 个上述属性判别区域判别上述图像属性。
15.—种图像判别装置，其特征在于，具备如下构成，边缘计算部，针对图像的由规定数的像素组成的每个处理单位计算边缘方向和边缘 强度；局部连接性计算部，基于计算出的上述边缘方向，针对每个上述处理单位计算用于 表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度；以及图像属性判别部，针对上述图像的由规定数的处理单位组成的每个属性判别区域， 使用根据上述属性判别区域内的处理单位的局部连接性的强度计算出的边缘强度来判别 图像属性。
16.根据权利要求15所记载的图像判别装置，其特征在于，具备图像处理部，其基于上述图像属性判别部判别的图像属性对图像数据进行修正。
17.根据权利要求15所记载的图像判别装置，其特征在于，上述边缘方向是处理单位的像素特性值发生变化的方向。
18.根据权利要求15所记载的图像判别装置，其特征在于，上述边缘强度是处理单位的像素特性值的变化的大小。
19.根据权利要求15所记载的图像判别装置，其特征在于，上述边缘计算部针对上述图像的每个上述处理单位，应用模板型1次微分过滤器进 行上述计算。
20.根据权利要求15所记载的图像判别装置，其特征在于，上述局部连接性计算部将如下的处理单位作为上述周边的处理单位，计算出对象 处理单位的边缘方向和上述周边的处理单位的边缘方向的吻合程度作为上述对象处理单位的局部连接性的强度，上述处理单位是在与用于计算上述局部连接性的对象的处理单 位、即对象处理单位的边缘方向垂直的方向上邻接的两侧的处理单位。
21.根据权利要求15所记载的图像判别装置，其特征在于，上述图像属性判别部使用上述局部连接性的强度较高的处理单位的数量和上述局部 连接性的强度较低的处理单位的数量的比率，针对上述图像的每个上述属性判别区域判 别上述图像属性。
22.根据权利要求21所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在局部连接性比率在 规定的第一阈值以上的情况下，判别上述图像属性是文字区域，上述局部连接性比率是 上述局部连接性的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单 位的数量得到的值。
23.根据权利要求22所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性比 率小于上述第一阈值的情况下，判别上述图像属性是带有底色的文字或者图画区域、或 者是照片区域。
24.根据权利要求15所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，使用上述属性判别区 域内的处理单位中的上述局部连接性的强度较高的处理单位的边缘强度的平均值、即边 缘强度平均值来判别上述图像属性。
25.根据权利要求24所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性 的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单位的数量得到的 值、即局部连接性比率在规定的第一阈值以上，并且上述边缘强度平均值在规定的第二 阈值以上的情况下，判别上述图像属性是活字区域，在上述局部连接性比率在上述第一 阈值以上，并且上述边缘强度平均值小于上述第二阈值的情况下，判别上述图像属性是 手写区域。
26.根据权利要求24所记载的图像判别装置，其特征在于，上述图像属性判别部针对上述图像的每个上述属性判别区域，在上述局部连接性 的强度较高的处理单位的数量除以上述局部连接性的强度较低的处理单位的数量得到的 值、即局部连接性比率小于规定的第一阈值，并且上述边缘强度平均值在规定的第三阈 值以上的情况下，判别上述图像属性是带有底色的文字或者图画区域，在上述局部连接 性比率小于上述第一阈值并且上述边缘强度平均值小于上述第三阈值的情况下，判别上 述图像属性是照片区域。
27.根据权利要求15所记载的图像判别装置，其特征在于，上述图像属性判别部将把上述图像分割成多个的块作为上述属性判别区域，针对每 个上述属性判别区域判别上述图像属性。
28.—种图像属性判别方法，其特征在于，具备下面的步骤，边缘计算步骤，针对图像的由规定数的像素组成的每个处理单位计算边缘方向；局部连接性计算步骤，基于计算出的上述边缘方向，针对上述每个处理单位计算用于表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度；以及 图像属性判别步骤，使用上述属性判别区域内的处理单位的局部连接性的强度，针 对上述图像的由规定数的处理单位组成的每个属性判别区域来判别图像属性。
29.—种计算机程序，使计算机执行下面的步骤，其特征在于， 边缘计算步骤，针对图像的由规定数的像素组成的每个处理单位计算边缘方向； 局部连接性计算步骤，基于计算出的上述边缘方向，针对每个上述处理单位计算用 于表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度；以及图像属性判别步骤，使用上述属性判别区域内的处理单位的局部连接性的强度，针 对上述图像的由规定数的处理单位组成的每个属性判别区域判别图像属性。
全文摘要
本发明目的在于提供图像判别装置，其是用于判别表示图像种类的图像属性的图像判别装置，具备边缘计算部、局部连接性计算部和图像属性判别部。边缘计算部针对图像的由规定数的像素组成的每个处理单位进行边缘方向的计算。局部连接性计算部针对每个上述处理单位基于计算出的上述边缘方向计算表示与周边的处理单位之间的边缘方向的吻合程度的局部连接性的强度。图像属性判别部针对上述图像的由规定数的处理单位组成的每个属性判别区域使用上述属性判别区域内的处理单位的局部连接性的强度判别上述图像属性。
文档编号H04N1/00GK102025865SQ20101027689
公开日2011年4月20日 申请日期2010年9月7日 优先权日2009年9月9日
发明者姜成泰 申请人:村田机械株式会社