图像处理装置、图像处理方法及存储介质与流程

本发明涉及一种图像处理技术。

背景技术：

二值化处理包括对输入颜色或灰度图像数据的各个像素值是否大于或小于阈值进行确定以及将图像数据转换成单色二值图像。日本特开4-290177号公报描述了一种通过使用单个阈值对图像数据的像素进行的二值化处理。

在日本特开4-290177号公报中描述的二值化处理中，没有考虑依据摄像环境可能包括在图像数据中的阴影分量。当包括在图像数据中的阴影分量具有小于阈值的像素值时，阴影分量通过二值化处理而被转换成黑色。如果背景为空白或白色的带阴影的原稿被拍摄为图像，则带阴影的白色区域被转换成黑色。

技术实现要素：

本发明的一方面提供一种图像处理装置，该图像处理装置包括获得单元，获得单元被构造为获得代表通过拍摄原稿图像而获得的多值图像中包括的阴影分量的阴影图像。该阴影分量依据摄像环境。该图像处理装置还包括生成单元，生成单元被构造为基于阴影图像中的在与目标像素的坐标一致的坐标处的对应像素的像素值，对多值图像中的目标像素的像素值进行二值化以生成代表白色或黑色的像素值。

通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是本发明的实施例中的系统的示例性构造的示意图。

图2a和图2b是移动终端的外部视图。

图3是移动终端的示例性构造的框图。

图4是数字多功能外围设备的示例性构造的框图。

图5是第一实施例的流程图。

图6a至图6c例示了第一实施例中的图像的二值化的示例。

图7是第一实施例中的生成阈值图(thresholdmap)的处理的流程图。

图8是第二实施例的流程图。

图9a和图9b例示了通过使用调整后的阈值而被二值化的示例性图像。

具体实施方式

下面将参照附图详细描述本发明的实施例。

图1例示了适于第一实施例的系统的整体构造。无线路由器102、计算机104以及数字多功能外围设备(mfp)300连接到局域网(lan)100。移动终端200能够经由无线路由器102和lan100连接到数字mfp300和计算机104。移动终端200和数字mfp300各自用作本实施例以及随后的实施例中的图像处理装置。

图2a和图2b是本实施例中的移动终端200的外部视图。移动终端200可以是各种类型中的任意一种。图2a例示了移动终端200的示例性前表面。移动终端200包括在前表面上布置的触摸面板显示器201以及操作按钮202。具体而言，触摸面板显示器201是用于显示例如信息、按钮和操作所需的图像等的显示设备，以及用于接收响应于人的手指等的触摸的输入的位置输入设备的组合设备。图2b例示了移动终端200的示例性后表面。移动终端200包括布置在后表面上的摄像单元203。在本实施例中，移动终端200可以是具有包括摄像单元203的照相机功能的任意移动终端。具体而言，移动终端200的示例包括智能电话、移动电话、平板终端、具有照相机功能的笔记本电脑、具有通信功能的数字照相机、以及能够以不接触的方式拍摄原稿图像的原稿照相机等。

图3是例示移动终端200的内部构造的框图。该图例示了用于实现本实施例的示例性构造。在图3中，中央处理单元(cpu)210、随机存取存储器(ram)211以及只读存储器(rom)212通过数据总线220彼此发送和接收程序和数据。数据总线220连接到存储单元213、数据发送和接收单元214、摄像单元215、显示单元216、操作单元217、图像处理单元218以及运动传感器219。这些部件、cpu210、ram211和rom212彼此之间发送和接收程序和数据。

作为闪速存储器的存储单元213存储图像数据和各种程序。数据发送和接收单元214包括无线lan控制器并经由无线路由器102向数字mfp300和计算机104发送数据和从数字mfp300和计算机104接收数据。摄像单元215对应于上述摄像单元203，拍摄原稿图像以获得图像数据。由图像处理单元218或cpu210通过存储单元213或ram211处理所获得的图像数据。之后，处理的图像数据经受通过cpu210的处理。例如，cpu210使图像数据被显示在显示单元216上、被存储在存储单元213中和/或通过数据发送和接收单元214被发送到外部设备。

显示单元216被包括在上述触摸面板显示器2011中。显示单元216显示，例如要通过使用照相机功能被拍摄为图像的原稿的实时取景图像、本实施例中的图像处理结果、关于处理的通知所需的信息以及操作所需的信息。

操作单元217包括操作按钮202和被包括在上述触摸面板显示器201中的触摸面板。操作单元217接受用户操作，并将关于操作的信息发送给与操作有关的单元或部件。

运动传感器219包括三轴加速度传感器、电磁罗盘以及三轴角速度传感器。运动传感器219能够通过使用已知技术检测移动终端200的姿势或运动。

cpu210运行在rom212或存储单元213中存储的程序，由此控制移动终端200的部件。

图4是例示数字mfp300的内部构造的图。该图例示了用于实现本实施例的示例性构造。参照图4，控制器单元310连接到充当图像输入装置的扫描仪301以及充当图像输出装置的打印机302。控制器单元310还连接到用于输入和输出图像数据和设备信息的lan100和公共通信线路400。控制器单元310控制整个系统。cpu311充当控制整个数字mfp300的控制器。操作单元接口(i/f)315是用于操作单元303的接口单元。操作单元i/f315将要在操作单元303中包括的显示单元(未例示)上显示的图像数据输出到操作单元303。此外，操作单元i/f315负责将用户通过操作单元303输入的信息发送给cpu311。网络i/f313连接到lan100以进行数据输入/输出。调制解调器314连接到公共通信线路400，并进行调制或解调制以发送或接收数据。存储单元312存储图像数据和压缩数据，并且包括用于cpu311的操作的系统工作存储器。设备i/f318将控制器单元310连接到扫描仪301和打印机302，并且同步地或非同步地转换图像数据。图像处理单元316校正、处理和/或编辑从扫描仪301或通过例如网络i/f313从外部输入的图像数据。cpu311、存储单元312、网络i/f313、调制解调器314、操作单元i/f315、图像处理单元316、压缩和解压单元317以及设备i/f318连接到数据总线320。

扫描仪301对原稿施加光，用诸如电荷耦合设备(charge-coupleddevice，ccd)线型传感器等的光接收元件读取反射的光，并将光转换为表示原稿上的图像的电信号以生成数字图像数据。打印机302基于该图像数据在片材上形成图像并输出该片材。可以使用诸如电子照相或喷墨方法等的任何图像形成方法。

具有上述构造的数字mfp300能够基于从例如移动终端200经由无线路由器102和lan100发送的图像数据来打印图像，并将该图像数据通过调制解调器3114通过传真发送。

图5是例示本实施例中的图像二值化处理的流程图。当获得由移动终端200利用包括摄像单元203的照相机功能所拍摄的图像、在存储单元213中存储的图像或者从外部设备接收的图像时，开始该处理。

在步骤s501中，图像处理单元218将作为多值图像的输入图像转换为灰度图像。如果输入图像是灰度图像，则可以省略步骤s501中的处理。在步骤s501中，假设输入图像是由红色(r)、绿色(g)和蓝色(b)三个颜色的信道代表的颜色图像，以预定比例混合三个信道，以生成单信道图像。可以使用任何混合比例。例如，可以使用国家电视标准委员会(ntsc)加权平均法来生成灰度图像。在这种情况下，输入图像是通过拍摄原稿图像而获得的多值图像，并且该多值图像包括依据摄像环境的阴影分量。

在步骤s502中，图像处理单元218获得阈值图。阈值图是代表在输入图像中包括的、并且依据摄像环境的阴影分量的阴影图像。可以通过读取通过拍摄摄像环境中的空白片材的图像而获得的、并且被存储在例如存储单元213中的灰度图像来获得阈值图。作为选择，可以通过分析输入图像(多值图像)的亮度特征量，并且估计该输入图像中包括的阴影分量来获得阈值图。稍后将参照图7详细描述根据输入图像获得阈值图的处理。

在步骤s503中，图像处理单元218根据灰度图像和阈值图生成二值图像。为了便于说明，假设灰度图像和阈值图中的各个由具有各自代表辉度分量的八位像素值的像素组成，像素值0代表黑色，并且像素值255代表白色。此外，要被输出的二值图像由具有1位像素值的像素组成，像素值0代表白色，并且像素值1代表黑色。在下面的描述中，g(x,y)表示在灰度图像中的坐标(x,y)处的像素值，t(x,y)表示在阈值图中的坐标(x,y)处的像素值，并且，b(x,y)表示在要被输出的二值图像中的坐标(x,y)处的像素值。如由式(1)所表示的，图像处理单元218将灰度图像的像素值g(x,y)与相同坐标处的阈值图的像素值t(x,y)进行比较，以确定二值图像的像素值b(x,y)是代表0(白色)还是1(黑色)，由此生成二值图像。

如果g(x,y)≥t(x,y),则b(x,y)＝0

如果g(x,y)<t(x,y),则b(x,y)＝1...(1)

具体而言，在灰度图像中的代表目标像素的辉度分量的像素值，大于或等于代表阴影分量的阈值图中的、代表位于与目标像素的坐标相同的坐标处的对应像素的辉度分量的像素值的情况下，生成代表白色的像素值。此外，在灰度图像中的代表目标像素的辉度分量的像素值，小于代表阴影分量的阈值图中的、代表位于与目标像素的坐标相同的坐标处的对应像素的辉度分量的像素值的情况下，生成代表黑色的像素值。在步骤s503中，灰度图像的像素中的各个经受二值化处理，由此生成二值图像。

如上所述，通过使用阈值图来进行适于输入图像的各个像素的二值化处理。

图6a至图6c例示了本实施例中的图像的二值化的示例。图6a例示了由摄像环境中的阴影引起的字符串后面的背景不匀的输入图像。图6b例示了与输入图像相对应的阈值图。在阈值图上，呈现摄像环境中的阴影的分量的分布。图6c例示了通过使用阈值图对输入图像进行二值化所获得的示例性所得图像。在该图像中不再现摄像环境中的阴影，并且只将图像背景中的字符串转换为黑色。

图7是例示图5中的步骤s502中的处理(在下文中，处理)的流程图。在该处理中图像处理单元218根据输入图像估计阈值图。

在步骤s701中，图像处理单元218将输入图像分割成多个块。在该分割中，各个块可以具有任意形状并且包括任意数量的输入像素。例如，各个块可以是使得在块的纵向方向上布置的输入像素的数量与在其横向方向上的布置的输入像素的数量相同的正方形。可以确定在输入图像的纵向方向和横向方向中的各个上的块的数量，使得块的数量范围为从8至64。块的数量可以是固定的或者可以根据输入图像的条件而改变。

在步骤s702中，图像处理单元218计算通过分割而获得的块中的各个的代表像素值。通过从包括在块中的输入像素选择相对亮的像素并使用所选择的像素，来确定代表像素值。计算代表像素值的最简单的方法包括将块中的最亮像素的像素值设置为代表像素值。另一方法包括按从最亮像素的顺序从块中选择预定数量的亮像素，对所选择像素的像素值进行平均，并且将平均值设置为代表像素值。又一方法包括按从最亮像素的顺序从块中选择预定范围内的辉度值的像素，对所选择像素的像素值进行平均，并且将平均值设置为代表像素值。此外，可以通过使用块中的像素值的直方图来计算代表像素值。另外，能够使用如下的方法：将块中的像素值聚集成簇，计算各个簇的簇代表值，并且将具有最高辉度值的簇代表值设置为代表像素值。当块包括被摄体的背景区域时，用这种方式计算的代表像素值与通过将摄像生成的阴影分量加到背景层而获得的值大致相等。当块不包括背景区域时，所计算的代表像素值是通过将阴影分量加到块中的相对亮的物体区域的而获得的值。

以上述方式获得所有块的代表像素值之后，在步骤s703中图像处理单元218生成由块的代表像素值组成的缩小图像。这个由块的代表像素值组成的图像是通过将输入图像进行缩小使得由上述分割中的块的数量来确定像素数量而获得的缩小图像。该缩小图像充当要经受后续阴影估计处理的基础图像。在步骤s704中图像处理单元218进行校正处理，以在充当基础图像的缩小图像中留下阴影分量。在该校正处理中，通过使用下一个包括背景区域的块的代表像素值来校正上述不包括背景区域的块的代表像素值。因此，通过将阴影分量加到背景层而获得的值被保留在图像中。

在步骤s705中，图像处理单元218将由该值组成的、通过将阴影分量加到背景层而获得的缩小图像放大，使得放大图像具有与输入图像相同的像素数量。可以使用任意的放大方法。通过例如使用与放大后的各个像素相对应的放大前的四个邻近的像素的值，和与放大后的像素和放大前的像素中的各个之间的位置关系相对应的加权系数，进行插值计算来确定放大后的各个像素值。放大图像是具有与输入图像的大小相同大小并且将阴影分量加到背景层的图像。放大图像是代表在图像中变化的背景-前景分离层的分布的阈值图。如上所述，能够根据输入图像生成阈值图。

尽管如上所述在本实施例中的二值化处理主要由移动终端200中的图像处理单元218进行，也可以由cpu210或者数字mfp300中的图像处理单元316或cpu311进行类似的处理。此外，可以通过计算机104或者例如网络服务器(未例示)进行类似的处理。

如上所述，如果输入图像包括代表阴影或不匀的阴影分量，则能够适当地改变用于图像的二值化的阈值值，由此实现高图像质量的二值化。第二实施例

在第一实施例中，获得并使用阈值图来提供针对像素的阈值值。然而，可能不能依据输入图像的特性或二值化图像的使用来获得最优的二值图像。第二实施例提供了一种包括根据条件调整阈值图的阈值值并使用调整后的阈值值的二值化处理的方法。与第一实施例中的详情相同的详情的描述被省略。

图8是例示第二实施例中的处理的流程图。如上所述，该处理包括根据条件调整阈值图的阈值值和使用调整后的阈值的二值化处理。当获得如下图像作为输入图像时开始该处理：由移动终端200用包括摄像单元203的照相机功能拍摄的图像、存储在存储单元213中的图像或者从外部设备接收到的图像。

在步骤s801中，cpu210获得关于例如如何获得了输入图像以及二值化图像的使用的信息。同时，图像处理单元218分析输入图像以获得特性信息。获得的信息是例如下列信息项目中的至少一者：

·输入设备的类型(例如，用移动终端200的照相机功能拍摄的图像、从外部获得的照相机拍摄图像或者从外部获得的扫描图像)；

·二值图像的使用(例如，光学字符识别(ocr)处理、特定图案检测、前景图案分离或者通过例如传真发送的图像数据)；

·像素数量(例如，输入图像的纵向方向的像素数量以及横向方向的像素数量、输入图像的总像素数量，或者分辨率信息)；以及

·图像特性(例如，边缘量、输入图像中包括的颜色的数量或复杂度、输入图像中包括的阴影度或者输入图像的背景的不匀度)。

能够使用公知技术来获得图像特性。例如基于通过典型的边缘提取方法提取的边缘像素的数量来定义边缘量。能够通过使用例如像素值的方差(variance)来容易地计算图像中包括的颜色的数量或复杂度。能够基于要被定义为阈值图的图像的对比度(contrast)(即，最大像素值与最小像素值之间的差分)或者基于方差来定义图像中包括的阴影度或者图像的背景的不匀度。

在步骤s802中，根据由cup210在步骤s801中获得的特性信息确定阈值调整功能。例如，假设基于关于二值图像(二值化图像)的使用的信息来确定阈值调整功能。

假设二值化图像要经受ocr处理，重要的是防止要被检测的字符通过二值化而丢失。因此，调整阈值值使得即使噪声可能被转换为黑色也将模糊字符或相对淡的字符被转换为黑色。为了简化，该调整处理包括向各个像素的阈值值添加偏移。

t'(x,y)＝t(x,y)+α

其中，t'(x,y)表示在坐标(x,y)处的调整后的阈值值，t(x,y)表示在阈值图中的坐标(x,y)处的像素值，以及α表示正偏移值。

假设二值化图像要经由lan100被发送到数字mfp300并且然后通过调制解调器314被传真发送到外部设备，重要的是，例如防止字符通过二值化而丢失并且尽可能的减少噪声。为了简化，该调整处理也包括向各个像素的阈值值添加偏移。

t"(x,y)＝t(x,y)+β

其中，t"(x,y)表示在坐标(x,y)处的调整后的阈值值，t(x,y)表示在阈值图中的坐标(x,y)处的像素值，以及β表示负偏移值，其绝对值小于α的绝对值。

图9a例示了通过在图6b的阈值图的像素的各个中使用如上所述调整后的阈值值t'(x,y)对图6a的输入图像进行二值化而获得的示例性所得图像。虽然图像的左下部分中的高浓度阴影没有被转换成白色，但是该字符被可靠地再现为黑色，因此使图像质量保持适于要经受ocr处理的输入图像。

图9b例示了通过在图6b的阈值图的像素的各个中使用如上所述调整后的阈值值t"(x,y)对图6a的输入图像进行二值化而获得的示例性所得图像。虽然输入图像包括局部高密度的阴影，但是该阴影被可靠地转换为白色。这样的图像质量适于例如由于期望这样的图像中的噪声降低而要被传真发送的图像。然而，上部字符串是模糊的。虽然上部字符串是可以读出的，但是这样的图像质量不适于例如ocr处理。

再次参照图8，在步骤s501中，图像处理单元218将输入图像转换为灰度图像。在步骤s502中，图像处理单元218生成阈值图。这些步骤与在第一实施例中的步骤相同。

在步骤s805中，图像处理单元218进行调整阈值图的处理。具体而言，如上所述，该处理是通过使用在步骤s802中确定的阈值调整功能转换阈值图的各像素。

最后，在步骤s503中，图像处理单元218根据调整后的阈值图对转换后的输入图像或灰度图像进行二值化。该处理与第一实施例中的处理相同。

在一个或更多个实施例中，可以将步骤s805和s503结合成一个步骤，在该步骤中，图像处理单元218在通过使用在步骤s802中确定的阈值调整功能调整阈值图的同时，将输入图像的各像素二值化。

如上所述根据条件调整阈值图，使得能够更有效地进行二值化处理。

根据本发明，如果在通过拍摄原稿图像而获得的多值图像中包括阴影分量，则能够将图像二值化使得阴影分量的影响降低并且提高图像质量。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(asic))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由系统或装置的计算机例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。计算机可以包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如压缩光盘(cd)、数字通用光盘(dvd)或蓝光光盘(bd)tm)、闪存装置以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参照示例性实施例对本发明进行了描述，但是应该理解，本发明不限于所公开的示例性实施例。应当对权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。