图像处理装置及图像处理方法

图像处理装置及图像处理方法
【专利摘要】本发明提供一种可以高精度地判别原稿种类的图像处理装置及图像处理方法。图像处理装置(10)包括：输入图像取得部(161)，其读取原稿并取得生成的输入图像；文字列信息算出部(168)，计算出输入图像的文字列密度或文字列方差；原稿种类判别部(169)，其基于文字列密度或文字列方差来判别原稿种类。
【专利说明】图像处理装置及图像处理方法

【技术领域】
[0001]本发明涉及一种图像处理装置及图像处理方法，尤其涉及一种判别原稿种类的图像处理装置及图像处理方法。

【背景技术】
[0002]一般来说，扫描仪装置等图像读取装置读取原稿，将图像数据暂时存储在存储部中并发送到个人电脑等信息处理装置。另一方面，信息处理装置对从图像读取装置接收到的图像数据进行OCR (Optical Character Recognit1n)处理等来取得特定的信息,将图像数据与已取得的信息相关联地进行管理。在这种信息处理装置中，希望针对收据、名片、照片等各种原稿种类来管理图像数据。
[0003]已知一种图像装置，其存储设定信息，基于设定信息，判断出与被读取图像的原稿尺寸相对应的应用并起动该应用，其中，所述设定信息定义了基于原稿尺寸而应当被启动的应用(参见专利文献I)。
[0004]又，已知一种判定已读取的图像数据是彩色图像还是黑白图像的图像处理装置。该图像处理装置基于检知出传送的原稿顶端及后端的时机来确定原稿尺寸，并针对多个不同规格纸张的尺寸，判定已读取的图像数据是彩色图像还是黑白图像。然后，图像处理装置从多个判定结果中，选择使用与确定的原稿尺寸相同规格纸张的尺寸而进行了判定的判定结果(参见专利文献2)。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献1:日本专利公开2008-131254号公报
[0008]专利文献2:日本专利公开2010-273053号公报


【发明内容】

[0009]发明所要解决的技术问题
[0010]希望在使用已读取的原稿的图像数据的图像处理装置中，高精度地判定原稿种类。
[0011]本发明的目的在于提供一种可以高精度地判别原稿种类的图像处理装置及图像处理方法。
[0012]解决技术问题的手段
[0013]本发明所涉及的图像处理装置，包括:输入图像取得部，其读取原稿并取得生成的输入图像；文字列信息算出部，其计算出所述输入图像的文字列密度或文字列方差；和原稿种类判别部，其基于所述文字列密度或文字列方差来判别所述原稿的种类。
[0014]本发明所涉及的图像处理方法，包括:读取原稿并取得生成的输入图像的步骤；计算出所述输入图像的文字列密度或文字列方差的步骤；和基于所述文字列密度或文字列方差来判别所述原稿的种类的步骤。
[0015]发明的效果
[0016]通过本发明，基于输入图像的文字列密度或文字列方差来判别原稿种类。由此，能够提供一种可以高精度地判别原稿种类的图像处理装置及图像处理方法。

【专利附图】

【附图说明】
[0017]图1是基于实施方式的图像处理系统I的硬件构成图。
[0018]图2是图像处理电路16的功能框图。
[0019]图3是示出原稿种类判别处理的动作的流程图。
[0020]图4是用于对原稿尺寸进行说明的不意图。
[0021]图5是示出原稿尺寸算出处理的动作示例的流程图。
[0022]图6是用于对矩形的旋转进行说明的示意图。
[0023]图7是示出文字方向判别处理的动作示例的流程图。
[0024]图8是用于对文字方向判别处理进行说明的示意图。
[0025]图9是示出文字列信息算出处理的动作示例的流程图。
[0026]图10是示出文字列信息算出处理的动作的另一示例的流程图。
[0027]图11是用于对标注处理进行说明的示意图。
[0028]图12是示出文字列信息算出处理的动作的又一示例的流程图。
[0029]图13是用于对文字列方差的算出处理进行说明的示意图。
[0030]图14是示出文字列信息算出处理的动作的又一示例的流程图。
[0031]图15是另一图像处理系统2的硬件构成图。

【具体实施方式】
[0032]下面，参照附图，对本发明的一个方面所涉及到的图像处理装置、图像处理方法及计算机程序进行说明。但是，本发明的技术范围并不限于这些实施方式，而是涉及权利要求书中所记载的发明及其等同物。
[0033]图1是基于实施方式的图像处理系统I的硬件构成图。如图1所示，图像处理系统I包括图像读取装置10和信息处理装置20。图像读取装置10是图像处理装置的一个示例，例如为图像扫描仪、数码相机等，信息处理装置20是例如与图像读取装置10连接而使用的个人电脑等。
[0034]图像读取装置10包括:图像输入装置11、第一图像存储器12、第一接口装置13、第一存储装置14、第一 CPU (Central Processing Unit) 15、图像处理电路16。下面,对图像读取装置10的各部分进行详细说明。
[0035]图像输入装置11包括分别拍摄作为摄像对象物的原稿的表面及背面的两个摄像传感器。各摄像传感器具有以一维或者二维排列的CCD(Charge Coupled Device)、CMOS (Complementary Metal Oxide Semiconductor)等摄像兀件。各摄像传感器还具有将摄像对象物的像成像于摄像元件的光学系统，各个摄像元件输出与RGB各颜色对应的模拟值。图像输入装置11将摄像传感器输出的各个模拟值转换为数字值，生成像素数据，并生成由生成的各个像素数据构成的图像数据(下面称为RGB图像)。该RGB图像的各个像素数据为例如以8位来表示RGB各颜色中的每个颜色的合计24位RGB值所构成的彩色图像数据。
[0036]然后，图像输入装置11生成将RGB图像的各个像素的RGB值转换为亮度值及色差值(YUV值)的图像(下面称为输入图像)，保存在第一图像存储器12中。此外，例如根据以下的计算公式，能够计算出YUV值。
[0037]Y 值=0.30XR 值+0.59XG 值+0.1lXB 值 (I)
[0038]U 值=-0.17XR 值一0.33XG 值+0.50XB 值 (2)
[0039]V 值=0.50XR 值一0.42XG 值一0.08XB 值 (3)
[0040]第一图像存储器12包括非易失性半导体存储器、易失性半导体存储器、磁盘等存储装置。第一图像存储器12连接图像输入装置11，保存通过图像输入装置11生成的输入图像，并连接图像处理电路16，保存通过图像处理电路16对输入图像进行图像处理后的各种处理图像。
[0041]第一接口装置13具有例如USB (Universal Serial Bus)等以串行总线为标准的接口电路，与信息处理装置20电连接，发送接收图像数据及各种信息。又，也可以将闪存等连接到第一接口装置13，保存第一图像存储12中保存的图像数据。
[0042]第一存储装置14 包括 RAM (Random Access Memory)、ROM (Read Only Memory)等存储装置、硬盘等固定磁盘装置、或者软盘、光盘等可移动存储装置等。又，第一存储装置14中存储了用于图像读取装置10的各种处理的计算机程序、数据库、列表等。计算机程序也可以从计算机可读取的可移动型存储介质使用公知的安装程序等被安装到第一存储装置14。计算机可读取的可移动型存储介质是例如CD-ROM (compact disk read only memory) >DVD-ROM(digital versatile disk read only memory)等
[0043]第一 CPU15连接图像输入装置11、第一图像存储器12、第一接口装置13、第一存储装置14及图像处理电路16，并控制上述各部分。第一 CPU15进行图像输入装置11的输入图像生成控制、第一图像存储器12的控制、通过第一接口装置13的与信息处理装置20的数据发送接收控制、第一存储装置14的控制、基于图像处理电路16的图像处理的控制等。
[0044]图像处理电路16连接第一图像存储器12，进行判别原稿种类的原稿种类判别处理等。该图像处理电路16连接第一 CPU15并根据来自于第一 CPU15的控制基于预先存储在第一存储装置14中的程序进行动作。或者，图像处理电路16也可以用独立的集成电路、微处理器、固件等构成。
[0045]信息处理装置20包括第二接口装置21、第二图像存储器22、显示装置23、第二存储装置24、第二 CPU25。下面，对信息处理装置20的各部分进行详细说明。
[0046]第二接口装置21包括和图像读取装置10的第一接口装置13同样的接口电路，并连接信息处理装置20和图像读取装置10。
[0047]第二图像存储器22包括和图像读取装置10的第一图像存储器12同样的存储装置。在第二图像存储器22中，保存有通过第二接口装置21从图像读取装置10接收的图像数据和各种信息。
[0048]显示装置23包括由液晶、有机EL(Electro-Luminescence)等构成的显示器及向显示器输出图像数据的接口电路。显示装置23与第二图像存储器22连接，并将保存在第二图像存储器22中的图像数据显示在显示器上。
[0049]第二存储装置24包括和图像读取装置10的第一存储装置14同样的存储装置、固定磁盘装置、可移动存储装置等。第二存储装置24中，存储了用于信息处理装置20的各种处理的计算机程序、数据库、列表等。计算机程序也可以从例如CD-ROM、DVD-ROM等计算机可读取的可移动型存储介质中使用公知的安装程序等被安装到第二存储装置24。
[0050]第二 CPU25与第二接口装置21、第二图像存储器22、显示装置23、第二存储装置24连接，并控制上述各部分。第二 CPU25进行通过第二接口装置21的与图像读取装置10的数据发送接收控制、第二图像存储器22的控制、显示装置23的显示控制、第二存储装置24的控制等。
[0051]图2是图像处理电路16的功能框图。如图2所示的图像处理电路16包括:输入图像提取部161、原稿尺寸算出部162、印刷面判别部163、印刷颜色判别部164、二值化图像生成部165、直方图生成部166、文字方向判别部167及文字列信息算出部168等。进一步地，图像处理电路16包括原稿种类判别部169及数据处理部170等。
[0052]图3是示出基于图像读取装置10的原稿种类判别处理的动作的流程图。下面，参照图3所示的流程图，对原稿种类判别处理的动作进行说明。此外，下面说明的动作流程是基于预先存储在第一存储装置14中的程序，主要通过第一 CPU14协同图像读取装置10的各个元件被实行。图3所示的示例中，图像输入装置11判别收据、名片、照片及PPC(PlainPaper Copier)纸张作为原稿种类。
[0053]最初，图像输入装置11读取摄像对象物(原稿)，生成RGB图像及输入图像并保存在第一图像存储器12中。输入图像取得部161从第一图像存储器12中读出并取得RGB图像及输入图像(步骤S101)。
[0054]然后，原稿尺寸算出部162实施原稿尺寸算出处理(步骤S102)。原稿尺寸算出处理中，原稿尺寸算出部162基于输入图像计算出原稿尺寸。关于原稿尺寸算出处理，将在后面详述。
[0055]然后，原稿种类判别部169判别原稿尺寸是否被包含在作为收据尺寸范围和名片尺寸范围的共同范围的第一尺寸范围或作为收据尺寸范围和照片尺寸范围的共同范围的第二尺寸范围中(步骤S103)。
[0056]图4是用于对原稿尺寸进行说明的示意图。图4所示的图表400是根据读取各种各样的收据、名片及照片而生成的输入图像，绘制了计算出的尺寸的图表。图表400的横轴表示水平方向的长度(mm)，纵轴表示垂直方向的长度(mm)。此外，收据的水平方向为宽度方向(与打印收据时的收据传送方向正交的方向)，名片及照片的水平方向为横向。
[0057]根据读取收据而生成的输入图像，区域401?403示出绘制了计算出的大部分尺寸的区域。因为一般的收据规定了宽度方向的长度(例如:45mm、58mm、80mm等)，所以区域401?403成为沿水平方向为45mm、58mm、80mm的线的区域。
[0058]根据读取名片而生成的输入图像，区域411示出绘制了计算出的大部分尺寸的区域。基于名片的区域411位于纵向长度为70mm?110mm、横向长度为43mm?60mm的范围中。
[0059]根据读取照片而生成的输入图像，区域421?423示出绘制了计算出的大部分尺寸的区域。一般的照片尺寸为E开(83mmX 117mm)、L开(89mmX 127mm)、2L开(127mmX 178mm)中的任何一个。区域421与E开的照片对应，区域422与L开的照片对应，区域423与2L开的照片对应。
[0060]如图4所示，基于收据的区域401及402和基于名片的区域411在区域431重叠，基于收据的区域403和基于照片的区域421在区域432重叠。因而，根据基于输入图像计算出的原稿尺寸，如果打算判别原稿是收据还是名片亦或是照片，存在错误地进行判别的可能性。在原稿尺寸如区域431包含在收据尺寸范围和名片尺寸范围的共同范围中、或者如区域432那样被包含在收据尺寸范围和照片尺寸范围的共同范围中的情况下，应当基于原稿尺寸以外的要素来判别原稿种类。
[0061]然后，原稿种类判别部169在原稿尺寸没有被包含在第一尺寸范围或第二尺寸范围中的情况下，根据原稿尺寸来判别原稿种类(步骤S106)并将处理切换到步骤S116。原稿种类判别部169在原稿尺寸被包含在如图所示的各区域所对应的范围中的情况下，判别该原稿是该区域所对应的收据、名片或者照片。另一方面，原稿种类判别部169在原稿尺寸没有被包含在任何一个各区域所对应的范围中的情况下，判别该原稿是PPC纸张。
[0062]另一方面，在原稿尺寸被包含在第一尺寸范围或第二尺寸范围中的情况下，印刷面判别部163判别原稿表面及背面是分别的印刷面(步骤S105)。原稿种类判别部169用规定的二值化阈值(例如:128)对拍摄了原稿表面及背面的输入图像的亮度值进行二值化。在表示二值化后的值中任何一方的值的像素个数与全部像素个数的比例在规定比例(例如:1% )以下的情况下，原稿种类判别部169判别该面不是印刷面。
[0063]然后，印刷颜色判别部164对被印刷面判别部163判别为印刷面的面是单色还是彩色进行判别(步骤S106)。对于RGB图像，印刷颜色判别部164生成以各R值为梯级、以表示各R值的像素个数为频数的直方图。同样地，印刷颜色判别部164生成以各G值为梯级、以表示各G值的像素个数为频数的直方图和以各B值为梯级、以表示各B值的像素个数为频数的直方图。在生成的各直方图中，印刷颜色判别部164判别频数在阈值Thl以上的梯级是否在规定数量以上。在频数在阈值Thl以上的梯级在规定数量以上的情况下，印刷颜色判别部164判别该面是彩色，没有在规定数量以上的情况下，判别该面是单色。
[0064]然后，印刷颜色判别部164判别原稿是否具有单色印刷面(步骤S107)。在被印刷面判别部163判别为印刷面的面中的任何一个面是单色的情况下，印刷颜色判别部164判别原稿具有单色印刷面，在被印刷面判别部163判别为印刷面的面中的任何一个面都不是单色的情况下，判别原稿没有单色印刷面。
[0065]一般的收据中，用单色印刷商品名称、金额等，在其背面，或不进行印刷，或用单色或者彩色印刷表示店铺广告等的文字、照片、图像等。另一方面，一般的名片中，在两面或者单面用单色或者彩色印刷姓名、公司名称、住所、电话号码等。又，一般的照片中，用彩色印刷拍摄图像，在其背面，或不进行印刷，或用单色印刷拍摄日期和时间等。因而，在原稿没有单色印刷面的情况下，能够判别该原稿至少不是收据。
[0066]然后，在原稿没有单色印刷面的情况下，原稿种类判别部169判别原稿不是收据而是名片或照片，并将处理切换到步骤S113。
[0067]另一方面，在原稿具有单色印刷面的情况下，文字方向判别部167实施文字方向判别处理(步骤S108)。对于文字方向判别处理，文字方向判别部167基于输入图像，对印刷在原稿上的文字所排列的文字方向进行判别。对于文字方向判别处理，将在后面详述。
[0068]然后，原稿种类判别部169对文字方向判别部167所判别出的文字方向是否是水平方向进行判别(步骤S109)。原稿种类判别部169在原稿的纵向尺寸和横向尺寸中的任何一方与一般的收据所规定的宽度方向长度大体一致的情况下，将大体一致的方向当作水平方向，另一方当作垂直方向。另一方面，原稿种类判别部169在原稿的纵向尺寸和横向尺寸中的任何一方都与一般的收据所规定的宽度方向长度大体不一致的情况下，将原稿的横向当作水平方向，纵向当作垂直方向。即是说，原稿是收据的情况下宽度方向是水平方向，不是收据的情况下横向是水平方向。
[0069]一般的收据中，商品名称、金额等文字列被配置在宽度方向(水平方向)上。另一方面，一般的名片中，虽然姓名、公司名称、住所、电话号码等文字列被配置在纵向(垂直方向)上，但也存在文字列被配置在横向(水平方向)上的名片。又，照片中，既有文字列被配置在纵向(垂直方向)上的情况，也有被配置在横向(水平方向)上的情况。因而，在文字方向不是水平方向的情况下，能够判别该原稿至少不是收据。
[0070]然后，在文字方向不是水平方向的情况下，原稿种类判别部169判别原稿不是收据而是名片或照片，并将处理切换到步骤S113。
[0071]另一方面，在文字方向是水平方向的情况下，文字列信息算出部168实施文字列信息算出处理(步骤S110)。文字列信息算出处理中，文字列信息算出部168计算出输入图像的水平方向及垂直方向的文字列密度作为文字列信息。文字列密度是文字列分布相对于整个输入图像的比例。对于文字列信息算出处理，将在后面详述。
[0072]然后，原稿种类判别部169判别文字列信息算出部168计算出的文字列密度是否比规定值Vl更大(步骤S111)。规定值Vl被确定为根据事前的实验而对各种收据计算出的文字列密度平均值与对文字被印刷在横向上的各种名片计算出的文字列密度平均值的中间值(例如:30% )。
[0073]文字列被配置在横向上的名片中存在空白部分较多的倾向。因而，文字列被设置在横向上的名片中，配置文字的区域相对于整个名片的比例比一般的收据的文字相对于整个收据的比例更小的可能性较高。又，在拍摄日期和时间等被配置在照片背面的情况下，一般来说该文字列被配置在照片下端，背面大部分是空白部分。因而，配置文字的区域相对于照片背面的整个照片的比例比一般的收据的配置文字的区域相对于整个收据的比例更小的可能性较高。
[0074]此外，原稿种类判别部169在水平方向的文字列密度及垂直方向的文字列密度的至少一方在规定值Vl以下的情况下,判定文字列密度在规定值Vl以下。另一方面，原稿种类判别部169在水平方向的文字列密度及垂直方向的文字列密度都比规定值Vl更大的情况下，判定文字列密度比规定值Vl更大。
[0075]然后，原稿种类判别部169在文字列密度在指定值Vl以下的情况下，判别原稿种类不是收据并将处理切换到步骤S113。
[0076]另一方面，原稿种类判别部169在文字列密度比规定值Vl更大的情况下，判别原稿是收据(步骤S112)并将处理切换到步骤S116。
[0077]步骤S113中，原稿种类判别部169对原稿尺寸算出部162计算出的原稿尺寸是被包含在第一尺寸中还是被包含在第二尺寸进行判定。
[0078]然后，在原稿尺寸包含在第一尺寸中的情况下原稿种类判别部169判别原稿是名片(步骤SI 14)，在原稿尺寸包含在第二尺寸中的情况下判别原稿是照片(步骤SI 15)，并将处理切换到步骤SI 16。
[0079]步骤SI 16中，数据处理部170实行与原稿种类判别部169判别出的原稿种类相应的数据处理，并结束一系列步骤。
[0080]数据处理部170利用公知的OCR技术，从图像数据中确定的信息。在原稿是收据的情况下，数据处理部170从输入图像中提取出以“YYYY年MM月DD日”、“YYYY/MM/DD”等格式记载的文字列，取得表示购入日期和时间的信息。又，数据处理部170提取出输入图像上部所记载的文字列或标识，取得表示店名的信息。又，数据处理部170提取出位于输入图像下部所记载的“合计”、“Total”等文字列的右侧的文字列，取得表示金额的信息。又，数据处理部170提取出列表形式地记载在输入图像的中央部分的文字列，取得表示品种的信肩、O
[0081]另一方面，在原稿是名片的情况下，数据处理部170在输入图像的中央部分从具有比其他文字列更大的区域的文字列中取得表示姓名的信息，并从输入图像中提取出标识，取得表示公司名称的信息。又，数据处理部170提取出位于输入图像所记载的“TEL”等文字列或表示电话的标记等的右侧的数字列，取得表示电话号码的信息。又，数据处理部170提取出位于输入图像所记载的“Mail”等文字列或表示电子邮件的标记等的右侧的字母数字列，取得表示邮件地址的信息。
[0082]另一方面，在原稿是照片的情况下，数据处理部170从输入图像中提取出“YYYY年丽月DD日”、“YYYY/MM/DD”等格式的文字列，取得表示拍摄日期和时间或者印刷日期和时间的信息。
[0083]数据处理部170将输入图像、原稿种类及已取得的各种信息进行关联，储存在第一图像存储器12中，并通过第一接口装置13发送到信息处理装置20。
[0084]此外，在第一图像存储器12中，数据处理部170也可以针对不同原稿种类来变更储存输入图像的区域。又，数据处理部170也可以利用公知的图像处理技术来实行与原稿种类相应的校正处理。又，将各原稿种类(收据、名片或照片)所对应的多个应用程序与该原稿种类进行关联并存储在第一存储装置14中，数据处理部170也可以实行对原稿种类进行过关联的应用程序。
[0085]如上所述，原稿种类判别部169基于原稿尺寸、原稿是否具有单色印刷面、文字方向和文字列密度来判别原稿种类。此外，原稿种类判别部169也可以不使用原稿尺寸、原稿是否具有单色印刷面和/或文字方向来判别原稿种类。
[0086]例如，也可以省略步骤S102?S104和步骤S113?S115的处理，原稿种类判别部169仅判别原稿是否是收据。这种情况下，也可以进一步省略步骤S106?S107和/或S108?S109的处理，原稿种类判别部169判别原稿是否是收据。又，也可以实施步骤S102?S104和步骤SI 13?SI 15的处理，并省略步骤S106?S107和/或S108?S109的处理，原稿种类判别部169判别原稿种类。
[0087]又，一般地，用户集中相同种类的原稿来让图像读取装置10读取的可能性较高。因而，在图像读取装置10连续读取多个原稿的情况下，原稿种类判别部169也可以利用处理中原稿的前后读取的原稿种类的判别结果来判别处理中原稿的种类。例如，原稿种类判别部169将原稿种类判别为与刚传送走的原稿种类相同。或者，原稿种类判别部169也可以对连续读取的多个原稿分别地判别原稿种类，将连续读取的全部原稿种类判别为被判别出的原稿种类中最多的那种。
[0088]或者，在图像读取装置10读取多个原稿的情况下，原稿种类判别部169也可以利用处理中原稿的前后读取的原稿种类的判别结果来变更处理中原稿的种类的判别方法。例如，原稿种类判别部169在判别刚读取的原稿是收据的情况下，降低与文字列密度作比较的规定值VI，更容易将处理中原稿判别为收据。另一方面，原稿种类判别部169在判别刚传送走的原稿是收据的情况下，提高与文字列密度作比较的规定值VI，更容易将处理中原稿判别为不是收据。由此，原稿种类判别部169能够更高精度地判别原稿种类。
[0089]图5是示出原稿尺寸算出处理的动作示例的流程图。图5所示出的动作流程在图3所示出的流程图的步骤S102中被实行。
[0090]最初，对于输入图像亮度值，原稿尺寸算出部162提取出水平方向和垂直方向的边缘像素(步骤S201)。
[0091]原稿尺寸算出部162计算出输入图像各像素的水平方向两邻的像素亮度值之差的绝对值(下面，称为相邻差分值)，在相邻差分值在阈值Th2以上的情况下，将该图像上的像素作为垂直边缘像素。该阈值Th2例如可以设定为人能够用目视辨别图像上亮度差异的亮度值之差(例如:15)。原稿尺寸算出部162在垂直方向上也进行相同的处理，提取出水平边缘像素。
[0092]然后，原稿尺寸算出部162从由水平边缘像素生成的边缘图像(下面，称为水平边缘图像)和由垂直边缘像素生成的边缘图像(下面，称为垂直边缘图像)中分别检测出多条直线(步骤S202)。此外，从水平边缘图像中检测出在水平方向上延伸的直线，从垂直边缘图像中检测出在垂直方向上延伸的直线。原稿尺寸算出部162用霍夫转换检测直线。此夕卜，原稿尺寸算出部162也可以用最小二乘法检测直线。
[0093]然后，原稿尺寸算出部162检测出由检测出的直线构成的矩形(步骤S203)。原稿尺寸算出部162提取出由检测出的多条直线之中大致两两正交的四条直线构成的多个候选矩形首先，原稿尺寸算出部162选择一条水平方向的直线(下面，称为第一水平线)，提取出与选择的直线大致平行(例如±3°以内)且相距阈值Th3以上的水平方向的直线(下面，称为第二水平线)。然后，原稿尺寸算出部162提取出与第一水平线大致正交(例如相对于90°在±3°以内)的垂直方向的直线(下面，称为第一垂直线)。然后，原稿尺寸算出部162提取出与第一水平线大致正交且与第一垂直线相距阈值Th4以上的垂直方向的直线(下面，称为第二垂直线)。又，阈值Th3和阈值Th4也可根据图像读取装置10的读取对象即原稿的尺寸预先确定，可为相同。
[0094]对于检测出的全部直线，原稿尺寸算出部162提取满足上述条件的第一水平线、第二水平线、第一垂直线及第二垂直线的全部组合，并提取由提取出的各组合组成的矩形作为候选矩形。对于提取出的候选矩形，原稿尺寸算出部162计算出面积并检测出面积最大的候选矩形作为矩形。
[0095]然后，原稿尺寸算出部162旋转该矩形，使得检测出的矩形的四边分别与输入图像的四边大致平行(步骤S204)。
[0096]图6是用于对矩形的旋转进行说明的示意图。在图6所示的输入图像600中，由第一水平线601、第二水平线602、第一垂直线603及第二垂直线604组成的矩形605被检测出来了。原稿尺寸算出部162计算出两条水平线之中位于靠近输入图像600的上端部一侧的第一水平线601与在输入图像900的上端部平行的水平线606之间的角度607。同样地，原稿尺寸算出部162计算出两条垂直线之中位于靠近输入图像600的上端部一侧的第二垂直线604与水平线606之间的角度608。在角度607小于角度608的情况下，原稿尺寸算出部162旋转矩形605，使得第一水平线601与水平线606平行(角度607变为0° )。另一方面，在角度607大于角度608的情况下，原稿尺寸算出部162旋转矩形605，使得第二垂直线604与水平线606平行(角度608变为0° )。
[0097]然后，原稿尺寸算出部162根据检测出的矩形纵向点数及横向的点数和读入原稿时的分辨率(dpi:dots per inch)计算出原稿的纵向尺寸和横向尺寸(步骤S205)。原稿尺寸算出部162计算出各尺寸并结束一系列的步骤。
[0098]图7是示出文字方向判别处理的动作的示例的流程图。图7所示的动作流程在图3所示的流程图的步骤S108中被实行。
[0099]最初，二值化图像生成部165生成已进行二值化的输入图像的二值化图像(步骤S301)。对于输入图像的亮度值，二值化图像生成部165使用二值化阈值来进行二值化处理，将大于二值化阈值的像素转换为有效像素(黑色像素)，将小于二值化阈值的像素转换为无效像素(白色像素)。二值化阈值可以是被预先决定的值(例如128)，也可以等于输入图像全部像素亮度值的平均值。
[0100]然后，直方图生成部166生成二值化图像的有效像素的直方图(步骤S302)。直方图生成部166生成以二值化图像的水平方向或垂直方向的线为梯级、以水平方向或垂直方向的线的有效像素个数为频数的直方图。直方图生成部166生成以连续的规定数量的水平方向的线为一个梯级、以该规定数量的水平方向的线的有效像素个数为频数的水平直方图。同样地，直方图生成部166生成以连续的规定数量的垂直方向的线为一个梯级、以该规定数量的垂直方向的线的有效像素个数为频数的垂直直方图。规定数量例如为1，为了降低处理负荷也可以设为2以上的值。
[0101]然后，在直方图生成部166生成的直方图中，文字方向判别部167提取出频数在阈值以上的梯级连续的连续区域之中梯级的宽度是规定范围的连续区域(步骤S303)。文字方向判别部167分别在水平直方图和垂直直方图中，提取出频数在阈值Th5以上的梯级，并提取出频数在阈值Th5以上的梯级连续的区域作为第一连续区域。该阈值Th5例如为1，为了去除一定的噪声也可为2以上的值。文字方向判别部167从提取出的第一连续区域中，提取出与假定梯级的宽度作为文字的高度或宽度的范围(例如2mm?6mm)相当的范围所包含的区域作为第二连续区域。
[0102]然后，文字方向判别部167计算出对于水平直方图提取出的第二连续区域的数量和对于垂直直方图提取出的第二连续区域的数量(步骤S304)。
[0103]然后，文字方向判别部167根据对于水平直方图提取出的第二连续区域的数量和对于垂直直方图提取出的第二连续区域的数量来判别文字方向(步骤S305)。文字方向判别部167在对于水平直方图提取出的第二连续区域的数量在对于垂直直方图提取出的第二连续区域的数量以上的情况下，将文字方向判别为水平方向。文字方向判别部167在对于水平直方图提取出的第二连续区域的数量不及对于垂直直方图提取出的第二连续区域的数量的情况下，将文字方向判别为垂直方向。
[0104]图8是用于对文字方向判别处理进行说明的示意图。图8的图像801是对于收据而生成的二值化图像的一个示例。图表802示出以图像801所示的收据宽度方向(水平方向)的线的有效像素个数为频数的水平直方图。图表803示出以正交于图像801所示的收据宽度方向的方向(垂直方向)的线的有效像素个数为频数的垂直直方图。又，区域804?814示出对于水平直方图提取出的第一连续区域，区域815?818示出对于垂直直方图提取出的第一连续区域。虽然区域804?814及区域815?816也作为第二连续区域被提取，但因为区域817?818比规定范围更长，所以没有作为第二连续区域被提取。
[0105]如图8所示，在文字排列在水平方向上的情况下，对于水平直方图，因为与“ABC” “ 7卜9 > ”等各行的文字列对应地提取连续区域，所以对于水平直方图提取的连续区域的数量是文字被印刷的行数。另一方面，因为在垂直方向的各条线中各行的文字重复地存在，所以对于垂直直方图提取的连续区域较少。图8所示的示例中，对于水平直方图提取的连续区域的数量是11，对于垂直直方图提取的连续区域的数量是4，并将文字方向判别为水平方向。
[0106]图9是示出文字列信息算出处理的动作示例的流程图。图9所示的动作流程在图3所示的流程图的步骤SllO被实行。即是说，图9所示的动作流程在图7所示的动作流程之后被实行，文字列信息算出部168基于在图7的步骤S302中生成的直方图计算出文字列山/又ο
[0107]最初，文字列信息算出部168计算出直方图生成部166生成的直方图的全部梯级数和频数在阈值Th6以上的梯级数(步骤S401)。该阈值Th6例如为1，为了去除一定的噪声，也可以设为2以上的值。文字列信息算出部168对于水平直方图及垂直直方图分别计算出全部梯级数和频数在阈值Th6以上的梯级数。
[0108]然后，文字列信息算出部168计算出频数在阈值Th6以上的梯级数相对于直方图的全部梯级数的比例作为文字列密度(步骤S402)并结束一系列的步骤。
[0109]如上详述，通过按照图3、5、7及9所示的流程图进行动作，图像读取装置10基于原稿尺寸、原稿是否具有单色印刷面、文字方向及文字列密度，能够高精度地判别原稿种类。
[0110]图10是示出文字列信息算出处理的动作的另一示例的流程图。
[0111]该流程图在图像读取装置10中可以代替上述的图9所示的流程图来实行。图10所示的流程图中，文字列信息算出部168使用标注处理来计算出文字列密度。
[0112]最初，对于二值化图像生成部165生成的二值化图像，文字列信息算出部168判定各有效像素是否与其他有效像素连接，并将连接的有效像素标注为一个群组(步骤S501)。文字列信息算出部168判定在水平方向、垂直方向或倾斜方向(8附近)上相邻的有效像素相连接。此外，文字列信息算出部168也可以判定仅在水平方向或垂直方向(4附近)上相邻的有效像素相连接。
[0113]然后，文字列信息算出部168判定各群组是否接近其他群组，并将相互接近的群组结合成一个区块(步骤S502)。文字列信息算出部168将在垂直方向上互相重复且在水平方向上互相的端部位于规定距离以内的群组、在水平方向上互相重复且在垂直方向上互相的端部位于规定距离以内的群组结合成区块。
[0114]然后，文字列信息算出部168计算出各区块的面积(步骤S503)。文字列信息算出部168计算出区块的外接矩形的面积(垂直方向的像素个数X水平方向的像素个数)作为该区块的面积。
[0115]然后，文字列信息算出部168计算出全部区块的外接矩形的面积总和相对于二值化图像中的全部像素个数的比例作为文字列密度(步骤S504)并结束一系列的步骤。
[0116]图11是用于对标注处理进行说明的示意图。图11中，横向是水平方向，纵向是垂直方向。图11的图像1100示出二值化图像。二值化图像1100中，各文字A?Z分别被标注为一个群组。因为文字A的群组和文字B的群组在垂直方向上重合，且在水平方向上文字A的群组的右端和文字B的群组的左端位于规定距离以内，所以相互结合。同样地，分别地结合文字B的群组和文字C的群组、文字C的群组和文字D的群组、文字D的群组和文字E的群组,并将文字A?E的群组结合成一个区块1101。同样地，将文字F?K的群组结合成一个区块1102，将文字L?R的群组结合成一个区块1103，将文字S?Z的群组结合成一个区块1104。另一方面，因为区块1101?1104互相在垂直方向上相隔的距离大于规定距离，所以没有被结合。
[0117]此外，文字列信息算出部168也可以计算出全部群组的面积总和、全部群组的外接矩形的面积总和或全部有效像素的总和相对于二值化图像全部像素个数的比例作为文字列密度。
[0118]图3所示的步骤Slll中，原稿种类判别部169判别文字列密度是否比规定值V2更大。与决定规定值Vl同样地决定规定值V2。
[0119]又，原稿种类判别部169也可以基于第一文字列密度和第二文字列密度来判别原稿种类，该第一文字列密度基于用图9所示的流程图计算出的直方图，该第二文字列密度是用图10所示的流程图计算出的。这种情况下，原稿种类判别部169在第一文字列密度在规定值Vl以下的情况下，或者在第二文字列密度在规定值V2以下的情况下，判别原稿不是收据。另一方面，原稿种类判别部169在第一文字列密度比规定值Vl更大且第二文字列密度比规定值V2更大的情况下，判别原稿是收据。由此，基于文字列的水平方向成分、垂直方向成分及整体分布，能够高精度地判别原稿是不是收据。
[0120]如上详述，通过按照图3、5、7及10所示的流程图来进行动作，图像读取装置10基于原稿尺寸、原稿是否具有单色印刷面、文字方向及文字列密度，能够高精度地判别原稿种类。
[0121]图12是示出文字列信息算出处理的动作的又一示例的流程图。
[0122]该流程图在图像读取装置10中可以代替上述的图9所示的流程图来实行。图12所示的流程图中，文字列信息算出部168计算出输入图像的文字列方差作为文字列信息。文字列方差是输入图像中文字列零散程度(离散程度)。
[0123]最初，文字列信息算出部168提取直方图生成部166生成的直方图中频数在阈值以上的第一连续区域(步骤S601)。与图7的流程图的步骤S303同样地，文字列信息算出部168提取第一连续区域。文字列信息算出部168在文字方向是水平方向的情况下，从水平直方图中提取出第一连续区域，在文字方向是垂直方向的情况下，从垂直直方图中提取出第一连续区域。
[0124]然后，文字列信息算出部168在提取出第一连续区域的直方图中，计算出相互邻近的第一连续区域的中心间的距离。又，文字列信息算出部168计算出直方图的梯级的最小值与最接近最小值的第一连续区域的中心之间的距离。又，文字列信息算出部168计算出直方图的梯级的最大值与最接近最大值的第一连续区域的中心之间的距离(步骤S602)。
[0125]在文字方向是水平方向的情况下，文字列信息算出部168计算出各第一连续区域的垂直方向的中心，并计算出相互邻近的第一连续区域的垂直方向的中心之间的距离。又，文字列信息算出部168计算出水平直方图的梯级的最小值与最接近最小值的第一连续区域的垂直方向的中心之间的距离。又，文字列信息算出部168计算出水平直方图的梯级的最大值与最接近最大值的第一连续区域的垂直方向的中心之间的距离。
[0126]另一方面，在文字方向是垂直方向的情况下，文字列信息算出部168计算出各第一连续区域的水平方向的中心，并计算出相互邻近的第一连续区域的水平方向的中心之间的距离。又，文字列信息算出部168计算出垂直直方图的梯级的最小值与最接近最小值的第一连续区域的水平方向的中心之间的距离。又，文字列信息算出部168计算出垂直直方图的梯级的最大值与最接近最大值的第一连续区域的水平方向的中心之间的距离。
[0127]然后，文字列信息算出部168计算出已计算出的全部距离的方差作为文字列方差(步骤S603)并结束一系列的步骤。
[0128]图13是用于对文字列方差的算出处理进行说明的示意图。图13的图像1301表示对于收据而生成的二值化图像的一个示例。图表1302表示对于图像1301的水平直方图。虚线1321表示水平直方图的梯级的最小值，虚线1322表示水平直方图的梯级的最大值，虚线1321和虚线1322之间的各虚线表示第一连续区域的垂直方向的中心。距离1303表示水平直方图的梯级的最小值与最接近最小值的第一连续区域的垂直方向的中心之间的距离。距离1304?1313表示相互邻近的第一连续区域的垂直方向的中心之间的距离。距离1314表示水平直方图的梯级的最大值与最接近最大值的第一连续区域的垂直方向的中心之间的距离。
[0129]如图13所示，一般的收据中，文字列被配置在整张纸中。另一方面，在文字列被配置在横向上的名片中，文字列被配置在偏下侧处的情况较多。又，在拍摄日期和时间等文字列被配置在照片背面的情况下，一般来说，该文字列被配置在照片下端。因而，文字列被配置在横向上的名片及照片中，与一般的收据相比，配置文字的区域偏向某一侧的可能性较高。因而，基于文字列方差，能够高精度地判别原稿种类。
[0130]图3所示的步骤Slll中，原稿种类判别部169判别文字列方差是否比规定值V3更大。与决定规定值Vl同样地决定规定值V3。由此，原稿种类判别部169基于文字列方差来判别原稿种类。
[0131]又，原稿种类判别部169也可以基于文字列密度和文字列方差来判别原稿种类。这种情况下，在文字列密度在规定值Vl以下的情况下，或者在文字列方差在规定值V3以下的情况下，原稿种类判别部169判别原稿不是收据。另一方面，在文字列密度大于规定值Vl且文字列方差大于规定值V3的情况下，原稿种类判别部169判别原稿是收据。由此，能够高精度地判别原稿种类。
[0132]如上详述，通过按照图3、5、7及12所示的流程图来进行动作，图像读取装置10基于原稿尺寸、原稿是否具有单色印刷面、文字方向及文字列方差，能够高精度地判别原稿种类。
[0133]图14是示出文字列信息算出处理的动作的又一示例的流程图。
[0134]该流程图在图像读取装置10中可以代替上述的图12所示的流程图来实行。图14所示的流程图中，文字列信息算出部168使用标注处理来计算出文字列方差。此外，因为步骤S701?S702的处理与图10所示的步骤S501?S502的处理相同，所以省略说明。
[0135]步骤S703中，文字列信息算出部168计算出各区块的中心间的距离、二值化图像的一端与最接近该端的区块的中心之间的距离、以及二值化图像的另一端与最接近该另一端的区块的中心之间的距离。
[0136]在文字方向是水平方向的情况下，文字列信息算出部168计算出各区块的垂直方向的中心，并计算出相互邻近的区块的垂直方向的中心间的距离。又，文字列信息算出部168计算出二值化图像的上端与最接近上端的区块的垂直方向的中心之间的距离。又，文字列信息算出部168计算出二值化图像的下端与最接近下端的区块的垂直方向的中心之间的距离。
[0137]另一方面，在文字方向是垂直方向的情况下，文字列信息算出部168计算出各区块的水平方向的中心，并计算出相互邻近的区块的水平方向的中心间的距离。又，文字列信息算出部168计算出二值化图像的左端与最接近左端的区块的水平方向的中心之间的距离。又，文字列信息算出部168计算出二值化图像的右端与最接近右端的区块的水平方向的中心之间的距离。
[0138]然后，文字列信息算出部168计算出已算出的全部距离的方差作为文字列方差(步骤S704)并结束一系列的步骤。
[0139]此外，文字列信息算出部168也可以计算出全部群组的重心间距离的方差、全部群组的外接矩形的中心间距离的方差、或者全部有效像素间距离的方差作为文字列密度。又，文字列信息算出部168也可以计算出全部区块的中心位置的方差、全部群组的重心位置的方差、全部群组的外接矩形的中心位置的方差、或者全部有效像素位置的方差作为文字列密度。
[0140]如上详述，通过按照图3、5、7及14所示的流程图来进行动作，图像读取装置10基于原稿尺寸、原稿是否具有单色印刷面、文字方向及文字列方差，能够高精度地判别原稿种类。
[0141]图15是另一图像处理系统2的硬件构成图。图15所示的图像处理系统2与图1所示的图像处理系统I的不同之处在于设有图像处理电路的装置不同。即是说，图像处理系统2中，信息处理装置40是图像处理装置的一个示例，不是图像读取装置30而是信息处理装置40具有图像处理电路46。该图像处理电路46具有与图1所示的图像读取装置10的图像处理电路16相同的功能。
[0142]在图15所示的图像处理系统2中能够实行与上述图3的流程图所示的处理大致相同的处理。下面，对如何适合图3的流程图所示的处理进行说明。图像处理系统2中，图3的流程图所示的处理基于预先存储在第二存储装置44中的程序，主要通过第二 CPU45协同信息处理装置40的各个元件被实行。
[0143]然而，图3的步骤SlOl中，图像读取装置30的图像输入装置31生成RGB图像及输入图像并保存在第一图像存储器32中，第一 CPU35通过第一接口装置33将各图像发送到信息处理装置40。另一方面，一旦信息处理装置40的第二 CPU45通过第二接口装置41从图像读取装置30接收各图像，就将接收到的各图像保存在第二图像存储器42中。信息处理装置40的图像处理电路46从第二图像存储器42中读出并取得各图像(步骤S101)。
[0144]其他的处理通过信息处理装置40的图像处理电路46被实行。对图像处理系统I进行了说明的图像读取装置10的图像处理电路16所实行的情况与上述处理的动作相同。
[0145]由此，信息处理装置40具备图像处理电路46来实行原稿种类判别处理的情况能够得到与图像读取装置具备图像处理电路来实行原稿种类判别处理的情况相同的效果。
[0146]以上，对本发明的适宜的实施方式进行了说明，但本发明并不被这些实施方式所限定。例如，图像读取装置和信息处理装置的功能分担并不被图1及图15所示的图像处理系统的示例所限定，可以适当地进行变更，将包含图像处理电路中的各部分在内的图像读取装置及信息处理装置的各部分配置于图像读取装置或信息处理装置。或者，也可以用一体装置来构成图像读取装置和信息处理装置。
[0147]又，在图像处理系统I或2中，例如也可以通过互联网、电话线路网(包含便携终端线路网、普通电话线路网)、内联网等网络来连接图像读取装置和信息处理装置。或者，也可以通过无线LAN (Local Area Network)来连接。在那种情况下,在第一接口装置及第二接口装置设置连接网络的通信接口电路。又，也可以在网络上将多个信息处理装置20分散配置，各信息处理装置20协作来分担直线检测处理、矩形检测处理等，使得能够以云计算的方式提供图像处理的服务。由此，对于多个图像读取装置生成的读取图像，图像处理系统能够更高效率地实施原稿种类判别处理。
[0148]符号说明
[0149]10,30图像读取装置
[0150]20、40信息处理装置
[0151]161输入图像取得部
[0152]162原稿尺寸算出部
[0153]164印刷颜色判别部
[0154]165 二值化图像生成部
[0155]166直方图生成部
[0156]167文字方向判别部
[0157]168文字列信息算出部
[0158]169原稿种类判别部。
【权利要求】
1.一种图像处理装置，其特征在于，包括: 输入图像取得部，其读取原稿并取得生成的输入图像； 文字列信息算出部，其计算出所述输入图像的文字列密度或文字列方差；和 原稿种类判别部，其基于所述文字列密度或文字列方差来判别所述原稿的种类。
2.如权利要求1所述的图像处理装置，其特征在于，还包括: 二值化图像生成部，其生成对所述输入图像进行了二值化的二值化图像；和 直方图生成部，其生成所述二值化图像的有效像素的直方图， 所述文字列信息算出部基于所述直方图来计算出所述文字列密度或文字列方差。
3.如权利要求2所述的图像处理装置，其特征在于， 所述直方图生成部生成以所述二值化图像的水平方向或垂直方向的线为梯级、以水平方向或垂直方向的线的有效像素个数为频数的直方图， 所述文字列信息算出部计算出频数在阈值以上的梯级数相对于所述直方图的全部梯级数的比例作为所述文字列密度。
4.如权利要求2所述的图像处理装置，其特征在于，所述直方图生成部生成以所述二值化图像的水平方向或垂直方向的线为梯级、以水平方向或垂直方向的线的有效像素个数为频数的直方图， 所述文字列信息算出部提取所述直方图中频数在阈值以上的梯级连续的连续区域，计算出所述直方图的梯级的最小值与最接近所述最小值的所述连续区域的中心之间的距离、所述直方图的梯级的最大值与最接近所述最大值的所述连续区域的中心之间的距离、以及相互邻近的所述连续区域的中心之间的距离的方差作为所述文字列方差。
5.如权利要求1或2所述的图像处理装置，其特征在于，所述原稿种类判别部至少判别名片、收据及照片作为所述原稿的种类。
6.如权利要求1或2所述的图像处理装置，其特征在于，还包括: 原稿尺寸算出部，其计算出所述原稿的尺寸， 所述原稿种类判别部还基于所述原稿的尺寸来判别所述原稿的种类。
7.如权利要求1或2所述的图像处理装置，其特征在于，还包括: 印刷颜色判别部，其判别所述原稿是否具有单色印刷面， 所述原稿种类判别部还基于所述原稿是否具有单色印刷面来判别所述原稿的种类。
8.如权利要求1或2所述的图像处理装置，其特征在于，还包括: 文字方向判别部，其对打印在所述原稿上的文字所排列的文字方向进行判别， 所述原稿种类判别部还基于所述文字方向来判别所述原稿的种类。
9.一种图像处理方法，其特征在于，包括: 读取原稿并取得生成的输入图像的步骤； 计算出所述输入图像的文字列密度或文字列方差的步骤；和 基于所述文字列密度或文字列方差来判别所述原稿的种类的步骤。
【文档编号】G06K17/00GK104469071SQ201410168163
【公开日】2015年3月25日 申请日期:2014年4月24日 优先权日:2013年9月19日
【发明者】岛崎克仁, 松田夕贵 申请人:株式会社Pfu