图像处理装置、图像形成装置及图像处理方法与流程

本发明涉及图像处理装置、图像形成装置及图像处理方法。

背景技术：

以往，已知有执行ocr(opticalcharacterrecognition:光学字符识别)处理的图像处理装置，该ocr处理将图像数据中包含的字符图像识别为字符。近年来，要求提高ocr处理的字符识别的精度。

在作为ocr处理的对象的帐票或证书中，除了字符以外有时还包含格线、底纹、印迹等，当它们与字符重叠时，存在字符识别时不识别字符等问题。

因此，已知有去除图像内的格线、底纹、印迹来提高字符识别精度的技术。在专利文献1中公开的方法是，在消去了格线之后，进行因格线消去处理而被消去的字符部分的提取并补全所提取的字符部分，通过恢复由格线消去处理被消去的字符部分，来防止与格线干涉的字符的误识别。

此外，还已知一种被称为彩色失落的技术，对于预先打印在票据或证书中的格线或底纹等，使用颜色信息通过二值化处理进行白化后消去。在专利文献2中公开了进行彩色失落处理并提高字符的识别精度的方法。

但是，在以往的格线或底纹的除去方法中，根据字符和格线或底纹的重叠方法，在除去时，存在着字符的一部分也同时除去，字符识别的精度降低的问题。

另外，根据专利文献1公开的技术，在除去格线并恢复字符时，根据字符和格线的重叠方法，也存在着不能恢复，字符识别的精度降低的问题。

另外，在专利文献2的彩色失落处理中，由于色差等读取图像数据的质量恶化或墨水的模糊或洇渗等引起的原稿的质量恶化的影响而不能正确地检测颜色信息时，在消去格线或底纹时，存在着字符的一部分也同时除去，字符识别的精度降低的问题。

【专利文献1】(日本)特许第3204245号公报

【专利文献2】(日本)特许第5830338号公报

技术实现要素：

本发明是鉴于上述情况而完成的，其目的在于，在包含格线、底纹、印迹等的图像中，也能够高精度地进行字符识别/编码识别。

为了解决上述课题并实现目的，本发明的图像处理装置的特征在于包括：光源，其对被摄体至少照射不可见光；读取单元，其读取被照射有不可见光的图像；图像生成单元，其从所述读取单元中照射不可见光而获取的图像即第一图像来生成第二图像，和图像识别单元，其识别所述第二图像内的第一信息。

本发明的效果是，在包含格线、底纹、印迹等的图像中，也能够高精度地进行字符识别/编码识别。

附图说明

图1所示是第1实施方式所涉及的图像形成装置的一个构成示意图例。

图2所示是图像读取部的构成例的截面图。

图3所示是构成图像读取部的各部的电连接的框图。

图4所示是用各调色剂在白纸上印刷时的光谱反射率的说明图。

图5的(a)-(b)所示是可见图像和不可见图像的差异(字符)的说明图。

图6的(a)-(b)所示是可见图像和不可见图像的差异(编码)的说明图。

图7的(a)-(b)所示是第2实施方式所涉及的可见图像和非可见图像的mtf特性差异所引起的图像差异的说明图。

图8所示是构成图像读取部的各部的电连接的框图。

图9所示是概略地表示图像读取处理的流程的流程图。

图10的(a)-(f)所示是可见图像和不可见图像的非共通部分的去除的说明图。

图11的(a)-(d)所示是可见图像和不可见图像的共通部分的去除的说明图。

图12所示是第3实施方式所涉及的构成图像读取部的各部的电连接的框图。

图13所示是概略地表示图像读取处理的流程的流程图。

图14的(a)-(f)所示是不从可见图像中去除并保留共通部分或非共通部分的部分图像的功能的说明图。

图15的(a)-(f)所示是去除的图像例的说明图。

图16的(a)-(b)所示是以可见和不可见来读取无彩色的图像的说明图。

具体实施方式

参照以下附图来详细说明图像处理装置、图像形成装置以及图像处理方法的实施方式。

(第1实施方式)

图1所示是第1实施方式所涉及的图像形成装置100的一个构成示意图例。在图1中，图像处理装置100是通常被称为具有复印功能、打印机功能、扫描仪功能和传真功能中的至少2个功能的多功能外围设备。

图像形成装置100具有作为图像处理装置的图像读取部101以及adf(automaticdocumentfeeder:自动文档馈送器)102，并在其下部具有图像形成部103。对于图像形成部103，为了说明内部的构成，是取下外部罩盖来显示内部的构成。

adf102是将读取图像的原稿定位在读取位置的原稿支撑部。adf102将载置在载置台上的原稿自动搬送到读取位置。图像读取部101在规定的读取位置读取由adf102输送来的原稿。另外，图像读取部101在上表面具有作为载置原稿的原稿支撑部的接触玻璃，并读取作为读取位置的接触玻璃上的原稿。具体而言，图像读取部101是内部具有光源、光学系统、ccd(chargecoupleddevice:电荷耦合器件)等图像传感器的扫描仪，将由光源照明的原稿的反射光通过光学系统，来由图像传感器读取。

图像形成部103对图像读取部101读取的原稿图像进行打印。图像形成部103具有对记录纸手动供纸的手动供纸辊104和对记录纸进行供给的记录纸供给部107。记录纸供给部107具有从多级记录纸供纸卡盒107a来陆续放出记录纸的机构。所供给的记录纸张经由对位辊108被传送到二次转印带112。

在二次转印带112上输送的记录纸在转印部114中被转印有中间转印带113上的调色剂图像。

另外，图像形成部103具有光写入装置109、串列方式的成像部(y、m、c、k)105、中间转印带113及上述二次转印带112等。通过成像部105的成像处理，作为调色剂图像在中间转印带113上形成由光写入装置109写入的图像。

具体来说就是，成像部(y、m、c、k)105具有4个可旋转的感光体鼓(y、m、c、k)，并在各各感光体鼓的周围分别设有包括充电辊、显影器、一次转印辊、清洁器部及除电器的成像元件106。在各感光体鼓中，成像元件106发挥作用，感光体鼓上的图像通过各一次转印辊被转印到中间转印带113上。

中间转印带113在各感光体鼓和各一次转印辊之间的夹持部里，通过驱动辊和从动辊来张紧架设地被配置。被一次转印到中间转印带113上的调色剂图像通过中间转印带113的移动，在二次转印装置中被二次转印到二次转印带112上的记录纸上。该记录纸通过二次转印带112的移动被输送到定影装置110，并且调色剂图像作为彩色图像来定影在记录纸上。然后，记录纸朝着到机外的排纸盘被排出。还有，在双面打印的情况下，记录纸的正反面通过翻转机构111被翻转，翻转后的记录纸朝着二次转印带112被传送。

另外，图像形成部103不限于通过上述那样的电子照相方式来形成图像，也可以通过喷墨方式来形成图像。

接着，对图像读取部101进行说明。

图2所示是图像读取部101的构成例的截面图。如图2所示，图像读取部101在主体11内具有包括作为摄像元件即图像传感器9的传感器基板10、透镜部8、第1滑架6及第2滑架7。图像传感器9用作读取机构，例如是ccd或cmos图像传感器等。第1滑架6具有作为led(lightemittingdiode:发光二极管)的光源2及反射镜3。第2滑架7具有反射镜4、5。另外，图像读取部101在上表面设置有接触玻璃1及基准白板13。

图像读取部101在读取动作中，一边使第1滑架6及第2滑架7从待机位置(原本位置)向副扫描方向(a方向)移动，一边从光源2向上方照射光。然后，第1滑架6及第2滑架7将来自原稿12的反射光经由透镜部8在图像传感器9上成像。

另外，图像读取部101在电源接通on时等，读取来自基准白板13的反射光并设定基准。即，图像读取部101将第1滑架6移动到基准白板13的正下方，并点亮光源2，将来自基准白板13的反射光在图像传感器9上成像，由此来进行增益调整。

图3所示是构成图像读取部101的各部的电连接的框图。如图3所示，图像读取部101在上述图像传感器9、光源2之外，还具备作为图像生成单元的图像生成部21、作为图像识别单元的图像识别部22、用作控制单元的控制部23、光源驱动部24。还有，图像生成部21及图像识别部22可以由硬件、软件中的任一种来实现。

光源2是在被构成为近红外(nir)用的不可见波长区域中用于获取图像的光源。光源驱动部24驱动光源2。

图像传感器9能够拍摄可见、不可见的波长区域。图像传感器9读取被摄体来的反射光，并在可见图像的读取时输出rgb信号，在不可见图像的读取时输出nir信号。由于一般的图像传感器的彩色过滤器具有透射nir光的特性，所以在读取不可见图像时，nir信号会出现在rgb的各输出中。在本实施方式中，为了说明的目的，使用的是r输出的nir信号。另外，在本实施方式中，将照射可见光而由图像传感器9拍摄的图像称为可见图像，将照射近红外光等不可见光而由图像传感器9拍摄的图像称为不可见图像。

另外，在本实施方式中，作为不可见波长区域设想的是近红外区域(800～1000nm)，但也可以是其他的波长区域。但是，由硅半导体构成的图像传感器9在近红外区域中也具有灵敏度，所以作为不可见波长区域，通过使用近红外区域就能够挪用现有的图像传感器，并能够容易地实现不可见读取。因此，作为不可见波长区域，优选使用近红外区域。

图像生成部21输入从图像传感器9输出的可见图像(r/g/b)和不可见图像(ir)。图像生成部21对不可见图像进行图像处理而生成图像识别用的图像。在图像生成部21中的图像处理中，例如包括分辨率调整或倍率校正等。图像生成部21将生成的图像数据输出到图像识别部22。

图像识别部22输入从图像生成部21输出的图像数据。图像识别部22识别特定的信息并输出该识别结果。本实施方式的图像识别部22用作识别字符的字符识别部。另外，本实施方式的图像识别部22还用作识别编码信息的编码识别部。

控制部23控制光源驱动部24、图像传感器9、图像生成部21、图像识别部22等各部。

这里，图4所示是用各调色剂在白纸上印刷时的光谱反射率的说明图。图4所示是例如将图像形成部103所使用的kcmy的调色剂载置在白纸(各波长中显示高反射率的纸)上的情况下的光谱反射率。

在本实施方式中，利用在白纸上载置色料时的光谱反射率的差异，来得到可见图像和不可见图像中不同的图像。如图4所示，以k调色剂印刷的部位几乎吸收近红外区域的光，但仅以cmy调色剂印刷的部位几乎不吸收近红外区域的光。即，在不可见图像中因为仅出现由k调色剂印刷的图像，因此在可见图像和不可见图像之间产生了差异。图4所示各色料的近红外区域的吸收特性的差异是由色料的一部分中是否含有炭黑来决定的。因此，不限于图像形成部103所使用的调色剂，即使是其他的色料，只要使用含有炭黑的色料和不含炭黑的色料来进行印刷，就同样能够得到在可见图像和不可见图像中产生有差异的图像。另外，不限于炭黑，通过使用含有和不含有在不可见区域具有吸收特性的物质的色料，也可以得到同样的效果。

图5所示是可见图像和不可见图像的差异(字符)的说明图。在图5中，字符部分是用k调色剂印刷的图像，格线是用cmy调色剂印刷的图像。在可见图像中，由于出现用kcmy调色剂印刷的图像，所以如图5的(a)所示，得到字符和格线重叠的图像。另一方面，由于在不可见图像中仅出现用k调色剂印刷的图像，所以如图5的(b)所示，格线不会出现在图像上，只能得到字符的图像。另外，用cmy调色剂印刷的图像并不限于格线，也可以是底纹、印迹等。

图像生成部21从所输入的可见图像、不可见图像中选择不可见图像并输出到图像识别部22。

作为字符识别部发挥功能的图像识别部22因为在所输入的不可见图像中进行字符识别，以往由于在可见图像中格线的重叠而不能正确识别的字符，变得能够正确地识别了。由此，提高了字符识别的精度。

图6所示是可见图像和不可见图像的差异(编码)的说明图。除了上述字符识别之外，有时还识别条形码或二维码等编码信息。这种情况下，也能够以同样的构成来实现识别精度的提高。在图6中，二维码是用k调色剂印刷的图像，格线是用cmy调色剂印刷的图像。在可见图像中，由于出现用kcmy调色剂印刷的图像，所以如图6的(a)所示，得到二维码和格线重叠的图像。另一方面，由于在不可见图像中仅出现用k调色剂印刷的图像，所以如图6的(b)所示，格线不会出现在图像上，只能得到二维码的图像。另外，用cmy调色剂印刷的图像并不限于格线，也可以是底纹、印迹等。

图像生成部21从所输入的可见图像、不可见图像中选择不可见图像并输出到图像识别部22。

作为编码识别部发挥功能的图像识别部22因为在所输入的不可见图像中进行编码识别，以往由于在可见图像中格线的重叠而不能正确识别的二维码，变得能够正确地识别了。由此，提高了编码信息的识别精度。

如此，根据本发明，在包含格线、底纹、印迹等的图像中，也能够高精度地进行字符识别/编码识别。

(第2实施方式)

接着，对第2实施方式进行说明。

第2实施方式在可见图像中提高字符或编码的识别精度，与使用不可见图像来进行字符或编码的识别的第1实施方式是不同的。下面，在第2实施方式的说明中，省略了与第1实施方式为相同部分的说明，而对不同于第1实施方式的地方进行说明。

图7所示是第2实施方式所涉及的可见图像和非可见图像的mtf特性差异所引起的图像差异的说明图。如图7所示，一般地，图像读取部101的透镜单元8等的光学特性因为在可见波长区域被优化，因此在不可见波长区域中，mtf特性可能会恶化，图像可能会模糊(参照图7的(b))。为了进行高精度的字符识别或编码识别，希望用高精细的图像来进行识别，所以优选的是以可见图像来识别，而不是以不可见图像来识别。因此，在本实施方式中，示出了在可见图像中提高字符或编码的识别精度的例子。

在此，图8所示是构成图像读取部101的各部的电连接的框图。如图8所示，第2实施方式所涉及的图像读取部101的光源2被构成为可见用/近红外(nir)用。

图像生成部21具有生成并输出从可见图像中除去可见图像(r/g/b)和不可见图像(ir)中的共通部分或非共通部分后的图像的功能。图像生成部21将生成的图像数据输出到图像识别部22。

图像识别部22输入从图像生成部21输出的图像数据。图像识别部22识别特定的信息并输出该识别结果。

接着，对控制部23的控制所进行的图像读取处理的流程进行说明。

图9所示是概略显示图像读取处理的过程的流程图。如图9所示，控制部23首先控制光源驱动部24，仅点亮光源2的可见光源(步骤s1)，并控制图像传感器9来读取可见图像(步骤s2)。

接下来，控制部23控制光源驱动部24使光源2的可见光源熄灭后(步骤s3)，控制光源驱动部24仅点亮光源2的近红外光源(步骤s4)，并控制图像传感器9来读取不可见图像(步骤s5)。

然后，控制部23控制光源驱动部24使光源2的近红外光源熄灭(步骤s6)，结束读取动作。

另外，在本实施方式中，是先读取可见图像的处理流程，但当然也可以是先读取不可见图像的处理流程。

接着，对本实施方式的图像生成部21中的可见图像和不可见图像的非共通部分的除去进行说明。

图10所示是可见图像和不可见图像的非共通部分的去除的说明图。在图10中，字符部分是用k调色剂印刷的图像，格线是用cmy调色剂印刷的图像。在可见图像中，由于出现用kcmy调色剂印刷的图像，所以如图10的(a)所示，得到字符和格线重叠的图像。

另一方面，由于在不可见图像中仅出现用k调色剂印刷的图像，所以如图10的(b)所示，格线不会出现在图像上，只能得到字符的图像。

即，这种情况下的可见图像和不可见图像的共通部分是字符，非共通部分如图10的(c)所示地是格线。

图像生成部21为了去除格线而不损害字符图像，首先如图10的(d)所示，生成不可见图像和非共通部图像之间的and(与)图像。只要以留下该图10的(d)的图像的方式来进行处理，就不会损害字符图像。

于是，图像生成部21通过将从想要除去的格线、即图10的(c)的非共通部图像减去图10的(d)的and图像后的图像作为除去图像来生成，就生成图10的(e)所示的图像。

然后，图像生成部21通过从图10的(a)的可见图像中除去图10的(e)的图像，来得到图10的(f)那样除去了格线的可见图像。

图像识别部22对图10的(f)所示的可见图像进行图像识别。由此，就能够利用mtf被优化了的高精细的图像来进行字符识别或编码识别，从而能够提高识别精度。

接着，对本实施方式的图像识别部22中的可见图像和不可见图像的共通部分的除去进行说明。

图11所示是可见图像和不可见图像的共通部分的去除的说明图。在图11中，字符部分是用cmy调色剂印刷的图像，虚线的格线是用k调色剂印刷的图像。在可见图像中，由于出现用kcmy调色剂印刷的图像，所以如图11的(a)所示，得到字符和格线的图像。

在使用图11的(a)所示的可见图像进行字符识别的情况下，虚线的格线的一部分因为与字符区域的距离近，所以会将虚线的一部分误识别为字符，有可能变成在"1234"的数字之后附有数字"1"或英字符母"i"的字符串的识别结果。因此，在本实施方式中，通过还使用不可见图像，来提高字符识别的精度。

另一方面，由于在不可见图像中仅出现用k调色剂印刷的图像，所以如图11的(b)所示，字符不会出现在图像上，只能得到格线的图像。

即，这种情况下的可见图像和不可见图像的非共通部分是字符，共通部分如图11的(c)所示地是格线。

图像生成部21通过从图11的(a)的可见图像中除去图11的(c)的共通部分(除去图像)，来得到图11的(d)那样除去了格线的可见图像。

图像识别部22对图11的(d)所示的可见图像进行图像识别。由此，就能够利用mtf被优化了的高精细的图像来进行字符识别或编码识别，从而能够提高识别精度。

这样，根据本实施方式，通过去除识别字符或编码信息时不需要的信息，能够提高字符或编码信息的识别精度。

(第3实施方式)

接着，对第3实施方式进行说明。

在不仅是图像识别部22的识别结果，还要求辨认、保存可见图像本身时，在第1实施方式及第2实施方式中因为不保存可见图像，所以就不能满足该要求。

因此，第3实施方式与第1实施方式至第2实施方式的不同之处在于，在使用可见图像和不可见图像来提高字符或编码的识别精度的同时，还保存可见图像。下面，在第3实施方式的说明中，省略了与第1实施方式乃至第2实施方式为相同部分的说明，而对不同于第1实施方式乃至第2实施方式的地方进行说明。

图12所示是第3实施方式所涉及的构成图像读取部101的各部的电连接的框图。如图12所示，第3实施方式所涉及的图像读取部101的光源2被构成为可见用/近红外(nir)用。此外，图像传感器9具有在可见图像(r/g/b)之外，能够输出不可见图像(ir)的功能。

根据该结构，图像读取部101因为即使同时点亮可见光源和近红外光源，也能够分别获取可见图像和不可见图像，因此能够通过1次读取动作来获得可见图像、不可见图像的双方。因此，通过图像识别部22进行字符或编码信息的识别时的可见图像本身就能够保存了。另外，通过可见和不可见的同时读取，还能够实现读取动作时间的缩短。

接着，对控制部23的控制所进行的图像读取处理的流程进行说明。在本实施方式中，同时进行可见图像和不可见图像的获取。

图13所示是概略显示图像读取处理的过程的流程图。如图13所示，控制部23首先控制光源驱动部24点亮光源2的可见光源(步骤s11)，同时点亮光源2的近红外光源(步骤s12)，并在两个光源点亮的状态下控制图像传感器9来读取可见图像及不可见图像(步骤s13)。

然后，控制部23控制光源驱动部24使光源2的可见光源熄灭后(步骤s14)，熄灭光源2的近红外光源(步骤s15)，并结束读取动作。

另外，在本实施方式中，对于近红外光源，是首先使可见光源点亮、熄灭的处理流程，但点亮、熄灭的顺序当然也可以分别是任一个光源在先进行。

接着，对在本实施方式的图像生成部21中生成的图像举例说明。

图像生成部21不仅具有从可见图像中去除可见图像和不可见图像中的共通部分或非共通部分的功能，还具有不从可见图像中除去共通部分或非共通部分的一部分图像而保留的功能。

图14所示是不从可见图像中去除并保留共通部分或非共通部分的部分图像的功能的说明图。图14所示例是在画有格线的用纸上印刷了表示金额的字符，并盖有订正章的例子。在图14中，字符用具有吸收近红外光的特性的色料来印刷，格线及印迹用具有不吸收近红外光的特性的色料来印刷。

如图14的(a)所示，在可见图像中出现字符、格线、印迹等各图像，但如图14的(b)所示，在不可见图像中仅出现字符。

在此，当用户需要想以目视来确认在读取图像中盖有表示金额的字符和订正章时，如第2实施方式那样从可见图像中除去图14的(c)所示的可见图像和不可见图像中的非共通部分即格线和印迹时，在从图像生成部21输出的图像数据中，就不能通过目视来确认订正章。

另外，在由图像传感器9获取的可见图像本身中，通过重叠格线和字符并印刷，字符的视觉认知性就会恶化。

因此，图像生成部21按照用户想目视的图像，进行仅留下非共通部分的一部分即印迹的处理。

具体来说就是，图像生成部21从形状或颜色信息等特征量中提取在非共通部分中希望残留的图像即印迹，并生成图14的(d)所示的图像。然后，图像生成部21从非共通部分除去印迹，并生成图14的(e)所示的图像。由于图14的(e)的图像是希望从可见图像中除去的图像，因此图像生成部21进行从可见图像的除去处理。

作为以上处理的结果，图像生成部21如图14的(f)所示地，能够生成仅字符和印迹的图像，并能够满足想要通过目视来确认印迹这样的用户的要求。另外，在后级的图像识别部22中，通过以不可见图像进行图像识别，能够高精度地进行字符识别。

图15所示是去除的图像例的说明图。还有，在图15中，字符用具有吸收红外光的特性的色料来印刷，印迹、底纹、格线用具有不吸收红外线的特性的色料来印刷。

图15的(a)所示是在与字符重叠的位置里有印迹的例子。

在传票等中，有在所印刷的公司名子的旁边盖公司章的情况，也有字符和印迹重叠的。这时，在图像识别部22中想要识别公司名时，使用可见图像会因为字符和印迹的重叠部位的影响而不能正确地进行字符识别。但是，在本实施方式中，通过使用不可见图像，如图15的(b)所示，就能够用仅字符的图像来进行字符识别，并能够高精度地进行字符识别。

图15的(c)所示是在与字符重叠的位置里有底纹的例子。

在公共证明书等中，为了防伪的目的，有时会使用印刷有底纹的用纸。图像识别部22在印刷有底纹的用纸上想要识别被印刷的公司名时，使用可见图像会因为字符和底纹的重叠部位的影响而不能正确地进行字符识别。但是，在本实施方式中，通过使用不可见图像，如图15的(d)所示，就能够用仅字符的图像来进行字符识别，并能够高精度地进行字符识别。

图15的(e)所示是在与字符重叠的位置里有格线的例子。

在传票等中，有时使用印刷有格线的用纸。图像识别部22在印刷有格线的用纸上想要识别被印刷的公司名时，使用可见图像会因为字符和格线的重叠部位的影响而不能正确地进行字符识别。但是，在本实施方式中，通过使用不可见图像，如图15的(f)所示，就能够用仅字符的图像来进行字符识别，并能够高精度地进行字符识别。

图16所示是以可见和不可见来读取无彩色的图像的说明图。图16所示是在以无彩色预打印的底纹上盖有同系色的日期戳的例子。这里，底纹用具有不吸收近红外光的特性的色料来印刷，日期戳用具有吸收近红外光的特性的色料来印刷。

如前所述地，在图16的(a)所示可见光下由于盖章时的墨液的模糊导致底纹的浓度和日期戳的浓度的差异小的情况下，因为在彩色失落中会判定该日期戳也不是盖印颜色，所以就会导致字符的缺失。

因此，在本实施方式中，即使是无彩色下浓度差异小的图像，根据吸收特性对色料的光源的波长区域的不同，如图16的(b)所示，在不可见图像中也能够获取仅有日期戳的图像，并能够提高字符识别的精度。

另外，在上述实施方式中，举例说明了将本发明的图像形成装置适用到具有复印功能、打印机功能、扫描功能以及传真功能中的至少2个功能的多功能外围设备，但只要是复印机、打印机、扫描装置、传真装置等的图像形成装置，也能够适用于其中的任何一个。