图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及 一 种使用扫描器的图像处理设备和图像处理方法。
背景技术：
存在一种通过使用多个具有特定分辨率的图像数据增加分 辨率的"超分辨率处理"和"超分辨率转换"的技术。该技术 使得能够将低分辨率图像转换成高分辨率图像，从而可以在传
统的装置中获得高分辨率图像("Super Resolution Processing by Plural Number of Lower Resolution Images(利用多个较低分辨 率图像的超分辨率处理)"Ricoh Technical Report No. 24， November, 1998)。
由于执行超分辨率技术需要多个帧的图像数据，这多个帧 的图像数据在原稿图像上的读取位置以亚像素(sub-pixel)为单 位(比像素小的单位)而略有差异，因此超分辨率技术广泛应用 于运动图像处理等领域中。
然而，在超分辨率处理中，需要多个帧的图像数据来生成 高分辨率图像的 一个像素的图像数据，这引起了数据量和计算 量大的问题。
传统上，通过根据目标图像区域的大小来确定进行超分辨 率处理的图像数据的数量已经减少了计算量(日本特开 2006-092450)。
然而， 一 般使用行传感器(line sensor)作为MFP (Multifunction peripheral,多功能外围设备)或扫描器等的图像 处理设备中的读取装置。即， 一个读取操作可以读取一页的数
7据。
上述读取装置通过使用在主扫描方向上以整数倍像素的间 隔水平布置的像素传感器组来读取原稿图像。因此，不利地，
读取装置不能够通过在主扫描方向上以亚像素为单位略微移动 像素的读取位置来读取原稿图像。
在上述情况下，难以在MFP中进行超分辨率处理。为了获 得高分辨率图像，需要增强装置的性能，这导致了高成本。
近年来，包括彩色扫描器和单色打印机的MFP已广泛应用，
这使得能够发送彩色信息。然而，其中的打印机单元仅可以接 受单色数据，因此在复制操作中，通过彩色扫描器所获得的彩 色信息丢失，从而没有充分地利用彩色信息的优势。

发明内容
为了解决上述问题，根据本发明实施例的图像处理设备包
括传感器单元，被配置为包括用于读取具有多个通道的图像 数据的多个行传感器；校正单元，用于校正由所述传感器单元 读取的所述图像数据以获得多个帧的图像数据，在所述多个帧 的图像数据中，所述多个行传感器中的相邻行传感器在原稿图 像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移 了不到一个像素；以及高分辨率转换单元，用于通过使用由所 述校正单元获得的所述多个帧的图像数据进行插值，从而获得 具有比所述行传感器的分辨率高的分辨率的单色图像数据。
根据本发明另 一实施例，提供一种图像处理设备中的图像 处理方法，所述图像处理设备包括传感器单元，所述传感器单 元被配置为包括用于读取具有多个通道的图像数据的多个行传 感器，所述图像处理方法包括校正由所述传感器单元读取的 所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的 读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到
一个像素；以及使用在所述校正中获得的所述多个帧的图像数
据进行插值，从而获得具有比所述行传感器的分辨率高的分辨 率的单色图像数据。
根据本发明另 一 实施例的图像处理设备包括传感器单元，
其包括用于读取图像数据的多个行传感器，其中相邻行传感器
在原稿图像上的读取位置偏移了不到一个像素；以及高分辨率 转换单元，用于通过使用由所述传感器单元获得的所述图像数 据进行插值，从而获得具有比所述行传感器的分辨率高的分辨 率的单色图像数据。
根据本发明另一实施例，提供一种图像处理设备中的图像 处理方法，所述图像处理设备包括传感器单元，所述传感器单 元包括用于读取图像数据的多个行传感器，其中相邻行传感器 在原稿图像上的读取位置偏移了不到一个像素，所述图像处理 方法使用由所述传感器单元获得的所述图像数据进行插值，以 获得具有比所述行传感器的分辨率高的分辨率的单色图像数 据。
利用上述结构，通过获得原稿图像上的读取位置不同的多 个帧的图像数据来进行超分辨率处理。通过应用根据本发明的 超分辨率处理，可以使用机械结构不需要比传统扫描器的机械 结构更复杂的扫描器来获得高分辨率图像。
通过以下参考附图对典型实施例的说明，本发明的其它特 征将变得明显。


图1示出才艮据本发明实施例的M F P的结构。
9图2A和图2B示出在第一实施例中使用的彩色行传感器。 图3示出通过利用在第一实施例中使用的倾斜行传感器扫
描原稿所获得的图像数据。
图4示出通过利用彩色行传感器扫描单色原稿所获得的图
像数据。
图5示出通过利用彩色行传感器扫描彩色原稿所获得的图 像数据。
图6是示出根据第 一 实施例的倾斜地放置行传感器的处理 的流程图。
图7是示出根据第 一 实施例的处理的流程图。 图8是示出根据第二实施例的处理的流程图。 图9示出通过利用在第四实施例中使用的行传感器扫描原 稿所获得的图像数据。
图IOA和图IOB示出在第三实施例中使用的行传感器。
图1 l是示出根据第三实施例的处理的流程图。
图12是示出根据第四实施例的处理的流程图。图13A 13C示出根据本发明的超分辨率处理的示例。
图14A 14F示出根据本发明的超分辨率处理的示例。
图15示出根据本发明的超分辨率处理的示例。
图16示出根据本发明的超分辨率处理的示例。
图17示出根据本发明的超分辨率处理的示例。
具体实施例方式
接着说明本发明的第一实施例。在本实施例中，给出有关 如下方法的说明该方法用于在包括彩色扫描器和单色打印机 的MFP(多功能外围设备)中，荻得原稿图像上的读取位置略微 不同的多个帧的图像数据，并对非彩色部分(achromatic portion)生成高分辨率图像。本实施例可以应用于在包括彩色扫描器和
彩色打印机的MFP中进行的单色打印。
图l示出MFP的结构。图像读取单元101是包括自动原稿给 送器的扫描器。在图像读取单元101中，光源(未示出)照射一批 原稿图像或一个原稿图像，通过透镜在CCD(Charge Coupled Device,电荷耦合装置)传感器等的固态摄像元件上形成从原稿 图像反射来的图像，从而获得来自固态摄像元件的光栅图像读 取信号作为图像信息。
在包括彩色扫描器的MFP中，通过将三种类型的彩色滤波 器安装到固态摄像元件来获得RGB彩色图像。
记录装置103是打印机。当执行MFP的复制功能时，通过数 据处理装置105将图像信号处理成记录信号，并将记录信号顺序 输出到记录装置103，由此在纸张上形成图像。此时，数据处理 装置105将从图像读取单元101接收到的RGB数据转换成单色数 据。记录装置103通过使用黑色着色材料对由数据处理装置105 处理后的数据进行图像形成并输出该图像。
通过作为设置在MFP中的按键操作单元的输入装置106来 提供从操作者到MFP的指令。通过数据处理装置105中的控制单 元(未示出)来控制这一 系列的操作。
另 一方面，在显示装置104中显示操作输入状态和正被处理 的图像数据。
存储装置102是能够存储由图像读取单元101读取的图像数 据等的区域。
网络I/F 107是连接至网络的接口 。通过4吏用该网络I/F 107， 可以从PC(个人计算机)等接收图像数据，可以通过数据处理装 置105对图像数据进行处理，并且可以通过记录装置103来输出 该图像数据。并且，可以经由网络I/F 107将由图^f象读耳又单元101读取的并 由数据处理装置105处理后的数据发送至PC等。当进行这种处 理时，与在复制处理中不同，可以在已经对/人图<象读耳又单元101 获得的RGB数据进行图像处理之后，将它们作为彩色数据而发送。
下面说明超分辨率技术。图13A示出读取装置要读取的图 像。图13B示出在例如以1200dpi的分辨率读耳又图^f象的情况下的 像素构成。在图13B中，网格图案1301表示以读取分辨率构成 的像素数据。即，当读取分辨率为1200dpi时，作为像素间距 (pixel pitch)的距离"n"对应于构成行传感器的像素传感器的 距离。
图13C示出在读取装置以300dpi的分辨率读取相同图像大 小的图像的情况下的像素构成。与在图13B中一样，网格图案 1302表示以读取分辨率构成的像素数据。因此，与在1200dpi 中作为像素间距的距离"n"相比，在300dpi中作为像素间距的 距离较长，即4n。
由于读取图像的再现性与分辨率成比例，因此在以1200dpi 读取的图像(图13B)与以300dpi读取的图像(图13C)之间，图像质 量的差异极大。
超分辨率处理是根据各自与图13C中示出的图像相对应的 多个图像数据来生成图13B中示出的图像的技术。通过使用该 技术，即使读取装置的分辨率不够高，也可以生成与由高分辨 率装置所读取的图像等同的图像。
优选地，满足特定条件以进行用于从低分辨率图像数据获 得高分辨率图像或较高分辨率图像的"超分辨率转换"。这些条 件如下所述。首先，优选可利用原稿图像的多个帧的图像数据， 其中，该多个帧的读取位置基于以读取装置的传感器的分辨率所读取的原稿图像的图像数据而在主扫描方向和/或副扫描方 向上略微偏移。换言之，使用多个连续帧的图像数据，其中， 通过基于基准图像数据在主扫描方向和/或副扫描方向上略微 偏移由传感器所读取的原稿图像上的读取位置来生成这些连续 帧。
另外，当读取多个帧的图像数据时，原稿图像上通过相邻 传感器所获得的帧之间在读取位置上的偏移在主扫描方向和/ 或副扫描方向上优选地小于 一 个像素(亚像素)。该读取位置的 偏移可以是作为对整数倍的偏移进行偏移校正的结果而剩余 的、小于一个像素的偏移。
下文中，将通过扫描由 一 帧构成的原稿图像所读取的数据， 即构成或表示一帧的原稿图像的数据称为"帧图像数据"。帧图 像数据还可以指通过例如使用仿射或其它变换和/或通道分割
(channel division)来处理所扫描的帧的图像数据而获得的数据。 在原稿图像中所读取的像素的位置称为"相位"。当相位偏 移时，称为"相位偏移"，并且将所读取的像素的偏移称为"相 位偏移"。这里使用的低分辨率不限于300dpi,而是表示在普通 打印中从装置输出的图像的分辨率。
这里使用的主扫描方向是与当扫描器读取放置在稿台上的 原稿图像时光源相对于原稿图像移动的方向垂直的方向。如由 图3中的箭头(A)所示，所读取的原稿图像的水平方向称为"主 扫描方向"。另一方面，副扫描方向是与光源的移动方向平行的 方向。如由图3中的箭头(B)所示，所读取的原稿图像的垂直方 向称为"副扫描方向"。
可选地，可以基于仅在主扫描方向上的相位偏移或者仅在 副扫描方向上的相位偏移来进行向较高分辨率的转换。然而， 在这种情况下,仅在具有相位偏移的方向上实现了较高的分辨
13率。
下面，参考图14A等来给出关于超分辨率处理的条件的说 明。图14A示出在以300dpi的分辨率读取图13A中示出的原稿图 像的情况下的像素构成。如在图3中一样，由箭头(A)表示的方 向是主扫描方向，而由箭头(B)表示的方向是副扫描方向。该图 与在图13A中示出的原稿图像相同。在图14A中示出的读取图像 用作要进行超分辨率处理的第一帧目标图像数据并用作基准图 像数据。
然后，如在图14C中所示，以300dpi的分辨率来读取图13A 中示出的原稿图像，其中基于基准图像数据，在主扫描方向上 的相位偏移为Ax (Ax〈4n)并且在副扫描方向上的相位偏移为Ay (Ay<4n)。在这种情况下，在图14D中示出的所读取的图像数据 的相位与原稿图像的相位有所不同，即在图14D中，相位在主 扫描方向上向左偏移了 Ax并且在副扫描方向上向上偏移了 Ay。 在图14D中示出的所读取的图像数据用作要进行超分辨率处理 的第二帧目标图像数据。
此外，如在图14E中所示，以300dpi的分辨率读取在图13A 中示出的原稿图像，其中基于基准图像数据，在主扫描方向上 的相位偏移为Ax' (Ax'<4n， Ax〈Ax')并且在副扫描方向上的相位 偏移为Ay'(Ay'<4n， Ay<Ay')。在这种情况下，在图14F中示出的 所读取的图像数据的相位与原稿图像的相位有所不同，即在图 14F中，相位在主扫描方向上向左偏移了 Ax'并且在副扫描方向 上向上偏移了 Ay'。在图14F中示出的所读取的图像数据用作要 进行超分辨率处理的第三帧目标图像数据。
在已经获得了相对于基准图像具有不同相位的多个帧的低 分辨率图像数据之后，可以通过超分辨率处理来进行向较高分 辨率的转换。图1 5示出根据三个帧的低分辨率图像数据生成高分辨率图 像。该图示出可以通过对具有不同相位的多个帧的低分辨率图
像数据(a)、 (b)、 (c)、...(帧(a)是基准图像数据)进行超分辨率处 理来获得图像数据(d)。参考图16和图17来详细说明此时进行的 超分辨率处理。
图16示出在超分辨率处理中使用的低分辨率图像数据和通 过超分辨率处理所获得的图像数据。具体地，图16示出原稿、 通过利用区域传感器读取该原稿所获得的基准低分辨率图像数 据F0、以及相对于基准图像数据FO具有略微偏移的相位的目标 低分辨率图像数据F1 F3 。原稿周围的虚线矩形表示由区域传 感器读取基准低分辨率图像数据FO的区域。实线矩形表示由区 域传感器读取目标低分辨率图像数据F1 F3的区域。
在本实施例中，由"um"来表示在主扫描方向上的偏移量 并且由"vm"来表示在副扫描方向上的偏移量。由"umn"和 "vmn"来表示目标低分辨率图像数据Fn(n^l 3)中的那些偏移 量。例如，如在图16中所示，目标低分辨率图像数据F1相对于 基准低分辨率图像数据F 0在主扫描方向和副扫描方向上具有 偏移，其中，由uml和vml来表示该偏移量。同样，由um2和vm2 表示目标低分辨率图像数据F2中的偏移量，并且由um3和vm3 表示目标低分辨率图像数据F3中的偏移量。
基于基准低分辨率图像数据F0和目标低分辨率图像数据 F1 F3来计算各个目标低分辨率图像数据Fn(r^l 3)中的偏移量 umn和vmn 。基于预先存储在ROM(Read Only Memory,只读存 储器)中的区域传感器的倾斜信息，以预定的计算方法来进行该 计算。
在图16中，以像素为单位示意性示出了各个目标低分辨率 图像数据中的偏移。然而，在由根据本实施例的区域传感器进
15行的读取中，在主扫描方向和副扫描方向上出现小于一个像素 的相位偏移。通过使用该微小的偏移，可以如上所述增加图像 的分辨率。
因此，在构成通过超分辨率处理所生成的图像数据的各个 像素(下文中称为"生成像素")中，存在既不存在于基准低分 辨率图像数据中也不存在于目标低分辨率图像数据中的像素。
对于这种像素，通过使用表示该生成像素周围的像素的像 素值的像素数据来进行预定的插值处理，从而在进行合成时增
加分辨率。作为插值处理，可以^使用双线性(bilinear)插值、双 三次(bicubic)插值和最邻近(nearest國neighbor)插值等。
例如，参考图17来说明使用双线性插值的插值处理。首先， 从基准低分辨率图像数据和目标低分辨率图像数据提取最接近 生成像素1801的位置(x， y)的最近像素1802。然后，将在图17 中的目标低分辨率图像数据中的生成像素1801周围的四个像素 确定为周围像素1802 1805。然后，将预定权重与周围像素的 数据值相加，对数据值进行平均，并通过使用以下公式来获得 生成像素的数据值。
f(x， y)=[|Xl-X|{|yl-y|f(X0, yO)+|y-yO|f(xO, yl)} + |X-xOi{|yl-yif(X, yO)+|y-yO|f(Xl，yl)}]/|xl-X0||yl-yO|
通过对各个生成像素位置进行上述处理，可以获得在图16 中示出的具有双倍分辨率的超分辨率图像。分辨率倍数不限于2 倍，并且可以采用多种倍数。随着在插值处理中使用的多个低 分辨率图像数据的数据值数量越大，超分辨率图像的分辨率越 高。
接着，说明根据本实施例的处理。图2A示出用作在本实施 例中使用的图像读取单元101中的固态摄像元件的行传感器。行 传感器201具有红色滤波器，行传感器202具有绿色滤波器并且行传感器203具有蓝色滤波器。从各个行传感器获得主扫描行的 数据。
具体地，从行传感器201获得红色图像数据(下文中为R图像 数据)，从行传感器202获得绿色图像数据(下文中为G图像数 据)，并且从行传感器203获得蓝色图像数据(下文中为B图像数 据)。通过组合这些图像数据，获得RGB彩色图像数据。传感器 的长边方向207表示主扫描方向，而传感器的短边方向208表示 副扫描方向。
在进行一般打印的图像处理设备中，当将原稿图像放置在 稿台上的指定位置处时，通过传感器收集在原稿图像下从光源 (其生成方向与原稿图像的垂直方向平行的光)照射至原稿图像 的光的反射光。吸收相对于传感器无倾斜的反射光。
与在图2A中示出的传感器的水平方向(长边方向)平行地收 集作为通过由光源的平行扫描所获得的行的图像数据的反射 光。因此，将传感器放置在可以几乎无倾斜地扫描原稿图像的 位置处。校正实际存在的微小倾斜并且对其进行补偿以使该倾 斜最小化。将用于实现原稿图像的输出的传感器设置位置称为 传感器的"基准设置位置"。
在通常的彩色扫描器中，将行传感器201 203布置在装置 中的基准设置位置处。如在图2A中所示，行传感器201、 202和 203以预定的间隔相互平行地进行布置。因此，R图像数据、G 图像数据和B图像数据之间在副扫描方向上出现偏移。即，出 现相位偏移。 一般通过偏移校正等的图像处理以像素为单位进 行补偿，以4交正并减小相位偏移。
另一方面，在本实施例中，如在图2B中所示，通过相对于 基准设置位置倾斜地布置行传感器来获得帧图像数据。即，图 2A中示出的长边方向与图2B中示出的长边方向不平行。因此，主扫描方向与图2B中示出的长边方向不平行。行传感器204具 有红色滤波器、行传感器205具有绿色滤波器并且行传感器206 具有蓝色滤波器。这些滤波器是倾斜的。
图3示出通过使用这些行传感器来扫描原稿的示例。通过扫 描原稿301来扫描得到多个帧图像数据302 304。下文中，将通 过红色滤波器扫描得到的帧图像数据称为R图像数据，将通过 绿色滤波器扫描得至'J的帧图像数据称为G图像数据，将通过蓝 色滤波器扫描得到的帧图像数据称为B图像数据。
通过行传感器204扫描得到图像数据302，通过行传感器205 扫描得到图像数据303，通过行传感器206扫描得到图像数据 304。将图像数据302 304中的各个图像数据表示为 一 帧的图像 数据。将图像数据302设置为R通道(channel),将图像数据303 设置为G通道，并将图像数据304设置为B通道。
因此，在本实施例中获得的图像数据具有三个通道。由于 行传感器是倾斜的并且被间隔地布置，因此与多个图像数据 302 304 —样，可以获得各个通道中在主扫描方向和副扫描方 向上具有相位偏移的帧图像数据。
并且，由于间隔地布置这些行传感器，因此相邻行传感器 读取原稿图像的位置在副扫描方向上偏移。即，可以获得在副 扫描方向上具有相位偏移的多个帧图像数据。
此外，通过相对于基准设置位置倾斜地布置行传感器，相 邻^f于传感器读耳又图的位置在主扫描方向和副扫描方向上偏 移。即，可以获得在主扫描方向和副扫描方向上具有相位偏移 的多个帧图像数据。
如果以上述方式出现的相位偏移是以亚像素为单位的，则 可以通过使用三个帧图像数据R图像数据、G图像数据和B图 像数据来进行超分辨率处理，从而可以获得高分辨率图像数据。为了产生以亚像素为单位的相位偏移，可以调整行传感器的间 隔和角度。
图6示出倾斜地布置行传感器的处理。首先，在步骤S602 中倾斜地放置行传感器601。将行传感器601相对于基准设置位
置的倾斜角定义为倾斜角e。
在步骤S603中，计算倾斜角e。任何方法都可用于计算该 角度e。例如，当在组装包括行传感器601的MFP的过程中安装
行传感器6 o i时可以获得该倾斜角e 。将倾斜角e作为所安装的装
置特有的值保持在MFP中的存储区域中。可以从存储区域获得
该倾斜角e。在步骤S605中将计算出的角度e存储为角度信息
604。
参考图7说明根据本实施例的使用倾斜布置的行传感器的 处理。本实施例是基于以60 0d p i的分辨率扫描原稿图像并通过 超分辨率处理获得分辨率为1200dpi的图像数据的假定。除该形 式以外，只要通过超分辨率处理增加了分辨率，就可以采用任 何形式。
在步骤S701中，图像读取单元101扫描原稿图像以获得 RGB图像数据702。在该状态下，与在图3中示出的多个帧图像 数据302 304 —样，帧图像数据倾斜。因此，在步骤S703中， 通过使用角度信息704来进行仿射变换(affine transformation), 以使帧图像数据旋转在扫描方向上的倾斜度。因此，校正了帧 图像数据的倾斜。
角度信息704与在图6示出的处理中计算出的角度信息604 相同。可以使用除仿射变换以外的任何方法作为用于校正倾斜 的帧图像数据的方法。对倾斜的图像数据的校正使得能够获取 在主扫描方向和副扫描方向上具有以亚 <象素为单位的相位偏 移、并且为校正帧图像数据的倾斜和减小该倾斜而被补偿的多
19个帧的图像数据。
然后，在步骤S705中进行非彩色判断，并且在步骤S706中 进行字符判断。基于这两个判断结果生成非彩色字符判断信号 707。通过向分辨率为1200dpi的预备数据中的各个像素中的非 彩色字符部分设置二进制位来生成非彩色字符判断信号707。
在传统的MFP中进行非彩色判断和字符判断，并且毫无疑 问，对于本发明中的非彩色判断和字符判断可以使用任何方法。
此外，非彩色字符判断信号不需要具有任意特定格式。
参考图4和图5说明在本实施例中判断非彩色字符的原因。 图4中示出的原稿401包括黑色字符，即非彩色字符。通过彩色 扫描器扫描该原稿并将所获得的数据分割成作为帧图像数据的 R图像数据402、 G图像数据403和B图像数据404。然后，各个帧 图像数据中的黑色字符部分的信号值彼此非常类似。
例如以下面的方式来判断此处的类似度。为了判断从图像 的黑色部分检测出的R图像数据402的信号值与G图像数据403 的信号值之间的类似度，判断R图像数据的信号值相对于G图像 数据的信号值的百分比是否在90% 110%的范围内。如果该百 分比在90%~110%的范围内，则判断为R图像数据的信号值与G 图像数据的信号值类似。还以相同的方式对其它图像数据进行 判断。
另 一方面，在图5中示出的原稿图像501包括品红色字符， 即彩色字符。通过彩色扫描器扫描原稿图像501，并且将所获得 的数据分割成R图像数据502、 G图像数据503和B图像数据504。 然后，与在非彩色字符中不同，各个帧图像数据的信号值不全 相同。
在图5中示出的示例中，R图像数据502和B图像数据504的 信号值与G图像数据503的信号值大不相同。然而，在品红色的这种情况下，R图像数据502和B图像数据504具有类似的信号 值。在该示例中，如果这些信号值彼此不类似，则即使相位以 亚像素为单位而不同，也不能执行超分辨率处理。因此，通过
使用非彩色判断仅对具有类似信号值的像素进行超分辨率处 理。在本实施例中，特别对非彩色字符部分进行处理。然而， 可以对任何非彩色像素进行处理。
返回参考图7，在步骤S708中对在步骤S706中进行了字符 判断的图像数据进行通道分割，从而将图像数据分割成R图像 数据、G图像数据和B图像数据709。
然后，在步骤S720中，对包括R图像数据、G图像数据和B 图像数据的帧图像数据进行分辨率转换。例如，如在本实施例 中 一样，当通过600dpi的扫描器扫描图像并生成1200dpi的数据 时，将分辨率转换成1200dpi。这里，没有指定用于分辨率转换 的方法。例如，可以采用线性缩放(linear scaling)。然后，在步 骤S710中，从分辨率转换后的图像数据中提取像素。
另 一方面，在步骤S712中对非彩色字符判断信号707进行 分辨率转换，从而生成分辨率转换后的非彩色字符判断信号
713。在600dpi的非彩色字符判断信号的情况下，通过线性插值 进行分辨率转换，乂人而将分辨率增加至1200dpi。在本实施例中， 使用线性插值作为分辨率转换，但是可选地，可以采用任何其 它方法。
同样，在步骤S717中对G图像数据715进行转换成1200dpi
的分辨率转换，从而生成分辨率转换后的G图像数据719。这里，
G图像数据715是与通过在步骤S708的通道分割所获得的G图像
数据(709)相同的数据。
仅对非彩色字符部分进行超分辨率处理，因此使用已经进
行了线性插值等的分辨率转换的数据。本实施例使用在要将由
21彩色扫描器扫描的数据作为单色数据输出时经常作为代表而使 用的G图像数据。然而，可以使用其它通道的图像数据或包含 多个通道的信号的图像数据。
在步骤S711中，通过使用分辨率转换后的非彩色字符判断
信号713来判断在步骤S710中提取出的分辨率转换后的像素是
否是非彩色字符。如果判断为所提取出的分辨率转换后的像素
是非彩色字符(在步骤S711中为是)(这表示各个帧图像数据R
图像数据、G图像数据和B图像数据709中的黑色字符部分的信
号值彼此非常类似)，则在步骤S714中通过使用R图像数据、G
图像数据和B图像数据709按上述处理进行作为高分辨率转换
的超分辨率处理，从而输出具有比装置的传感器的分辨率高的 分辨率的单色图像数据。
根据本实施例的对非彩色部分进行的超分辨率处理与仅对
字符的边缘部分进行增加分辨率和平滑化的处理的传统技术不
同，并且能够增加甚至是以小点打印出的不可分辨的字符的分辨率。
如果判断为所提取出的分辨率转换后的像素不是非彩色字 符(在步骤S711中为否)，则不进行超分辨率处理，并且处理进 入步骤716，在该步骤S716中，从分辨率转换后的G图像数据719 中提取G信号。
在上述处理之后，在步骤S718中判断是否已对全部像素进 行了处理。如果没有对全部像素进行处理，则处理返回步骤 S710,在该步骤S710中，提取另一分辨率转换后的像素并且重 复处理。如果已经对全部像素进行了处理，则处理结束。
根据本实施例，当在包括彩色扫描器的M F P中进行单色复 制或单色发送时，可以增加非彩色字符等的特定像素的分辨率。
接着，给出关于基于各个通道的信号值的比较结果进行超分辨率处理的第二实施例的说明。在第一实施例中，针对非彩 色部分判断是否要进行超分辨率处理。在第二实施例中，给出
关于通过比较R图像数据、G图像数据和B图像数据的信号值而 不是通过使用判断结果来判断是否要进行超分辨率处理的方法 的说明。MFP的结构和相对于基准设置位置倾斜地布置行传感 器的处理与第一实施例中的相同，并由此省略对其进一步的多 余说明。
参考图8来说明根据本实施例的处理。与在第 一 实施例中一 样，第二实施例是基于以600dpi的分辨率进行扫描并且通过超 分辨率处理获得分辨率为1200dpi的图像数据的假定。与在第一 实施例中一样，只要通过超分辨率处理增加了分辨率，就可以 可选地采用任何其它形式。
在步骤S801中，通过扫描获得RGB图像数据802。由于与 在第一实施例中一样，行传感器是倾斜的，因此在步骤S803中 通过使用角度信息804来进行仿射变换，从而校正帧图像数据的 倾斜并进4于补偿以减小该倾斜。
与在第一实施例中一样，调整红色、绿色和蓝色的各个行
传感器的角度和设置间隔。因此，获得在各个通道之间具有以 亚像素为单位的相位偏移的帧图像数据。
然后，在步骤S805中进行通道分割以获得R图像数据、G 图像数据和B图像数据815。然后，在步骤S816中，对通过通道 分割所获得的帧图像数据进行分辨率转换。
例如，如在本实施例中，当通过600dpi的扫描器获得数据 并且要生成1200dpi的数据时，将分辨率转换成1200dpi。这里， 可以采用线性缩放等的任何方法来转换分辨率。然后，在步骤 S806中，从分辨率转换后的帧图像数据中提取像素。
另一方面，在步骤S813中，还对G图像数据811进行分辨率
23转换以生成分辨率转换后的G图像数据814。与在第一实施例中 一样，当以600dpi的分辨率扫描原稿图像时，通过线性插值进 行分辨率转换，乂人而将分辨率增加至1200dpi。这里，G图像数 据811是与通过在步骤S805的通道分割所获得的G图像数据 (815)相同的数据。与在第一实施例中一样，使用G图像数据作 为代表值，但是可选地，可以使用其它通道的帧图像数据或者 包含多个通道的信号的帧图像数据。
在步骤S807中，通过使用R图像数据、G图像数据和B图像 数据815比较多个帧图像数据的信号值，从而选择用于超分辨率 处理的多个帧图像数据。在第一实施例中，例如在非彩色部分 的情况下，仅当在所有通道中获得的多个帧图像数据的信号值 彼此类似时，进行超分辨率处理。在彩色部分的情况下，在所 有通道中获得的多个帧图像数据的信号值彼此不类似，但是两 个帧图像数据的信号值可以彼此类似。
在图5中示出的品红色字符的示例中，G图像数据503具有 与其它两个信号值不同的信号值，但是R图像数据502和B图像 数据504的信号值彼此类似。此时，例如，以上述判断方法来判 断各个帧图像数据是否彼此类似。以这种方式，通过获得各个 帧图像数据的信号值来判断是否存在彼此类似的信号值，并且 选择出具有类似信号值的多个帧图像数据。
如果在步骤S808中判断为存在两个或更多个具有类似信 号值的帧图像数据(在步骤S808中为是)，则处理进入步骤S809, 在该步骤S809中，通过使用所选择出的具有类似信号值的多个 帧图像数据以上述处理来进行作为高分辨率转换的超分辨率处 理。结果，可以输出具有比装置的传感器的分辨率更高的分辨 率的单色图像数据。
在非彩色部分中，全部帧图像数据的信号值都彼此类似，
24并由此选择出三个帧图像数据作为要在超分辨率处理中使用的
数据。因此，可以通过使用全部的R图像数据、G图像数据和B 图像数据来进行超分辨率处理。
在彩色部分中，如果存在所选择出的两个帧图像数据，则 也可以进行超分辨率处理，尽管该效果小于使用三个帧图像数 据的情况下的效果。
如果在步骤S808中判断为不存在两个或更多个的帧图像 数据(在步骤S808中为否)，则处理进入步骤S810,在该步骤S810 中，从分辨率转换后的G图像数据814中提取G信号。在步骤S812 中，判断是否已对全部的像素进行了处理。如果没有对全部的 像素进行处理，则处理返回步骤S806并且重复处理。如果已经 对全部的像素进行了处理，则处理结束。
根据本实施例，当在包括彩色扫描器的MFP中进行单色复 制或单色发送时，可以增加特定像素的分辨率。特别地，在本 实施例中，可以不仅对非彩色部分而且可以对特定的彩色部分 进行超分辨率处理，从而增加分辨率。
接着，给出关于通过搜索具有与作为特定通道的帧图像数 据的基准图像数据的信号值类似的信号值的图像数据来进行超 分辨率处理的第三实施例的说明。在前述实施例中，通过使用 非彩色判断结果或通过比较各个帧图像数据的信号值来进行超 分辨率处理。在本实施例中，通过关注特定通道来进行超分辨 率处理。
在本实施例中，包括与前述实施例中的行传感器不同的行 传感器。图10A示出在本实施例中使用的传感器的示例。行传 感器1001具有红色滤波器，行传感器1002具有绿色滤波器，并 且行传感器1003具有蓝色滤波器，这些都与行传感器201 203 相同。与在前述实施例中一样，传感器的长边方向1009是主扫描方向，而传感器的短边方向IOIO是副扫描方向。
图IOA还示出不具有彩色滤波器的行传感器1004。行传感 器1004没有彩色滤波器并由此获得灰度级的帧图像数据。
本实施例使用图IOB中示出的作为相对于基准设置位置倾 斜的行传感器1001 1004的行传感器1005 1008,以偏移原稿图 像上的读取位置。将行传感器相对于基准设置位置倾斜布置的 处理与前述实施例中的处理相同，并由此省略对其进一步的多 余说明。
现在，参考图ll说明根据本实施例的处理。与在前述实施 例中一样，本实施例是基于以600dpi的分辨率进行扫描并且通 过超分辨率处理获得分辨率为1200dpi的图像数据的假定。与在 第一实施例中一样，只要通过超分辨率处理增加了分辨率，就 可以可选地采用任何其它形式。
首先，在步骤S1101中进行扫描，并且获得RGB一Bk图像数 据1102。在本实施例中，提供了四个行传感器，并且因而获得 了四个通道的帧图像数据R图像数据、G图像数据、B图像数 据和Bk图像数据。然后，与在前述实施例中一样，在步骤S1103 中，通过使用角度信息1104进行仿射变换，从而校正帧图像数 据的倾斜并进行补偿以减小倾斜。
在步骤S1105中，进行通道分割以将帧图像数据分割成R图 像数据、G图像数据和B图像数据1106以及Bk图像数据1107。然 后，在步骤S1116中对分割后的帧图像数据进行分辨率转换。
例如，如在本实施例中，当通过600dpi的扫描器来扫描数 据并且要生成1200dpi的数据时，将分辨率转换成1200dpi。这 里，可以采用线性缩放等的任意方法来转换分辨率。然后，在 步骤S1108中，从分辨率转换后的帧图像数据中提取像素。
另 一方面，在步骤S1113中还对Bk图像数据1107进行分辨率转换，从而生成分辨率转换后的Bk图像数据1115。与在第一 实施例中一样，当分辨率是600dpi时，通过线性插值转换分辨 率，从而将分辨率增加至1200dpi。
然后，在步骤S1119中，对R图像数据、G图像数据和B图像 数据1106以及分辨率转换后的Bk图像数据1115的信号值进行 比较，从而选择用于超分辨率处理的帧图像数据。这里，在R 图像数据、G图像数据和B图像数据1106中，选择具有与作为基 准图像数据的分辨率转换后的Bk图像数据1115的信号值类似 的信号值的图像数据。此时，通过使用上述判断方法来判断各 个帧图像数据的类似度。
特别地，如果原稿是非彩色的，则由于其信号值彼此类似， 因而选择全部的帧图像数据。没有指定比较方法和选择的基准。
然后，在步骤S1110中，判断在R图像数据、G图像数据和B
图像数据1106中是否存在与Bk图像数据类似的 一 个或多个帧
图像数据。如果判断为存在类似的帧图像数据，则处理进入步
骤Sllll,在该步骤S1111中，通过使用Bk图像数据和所选择的
帧图像数据以上述处理来进行作为高分辨率转换的超分辨率处
理。因此，输出具有比装置中所包括的传感器的分辨率高的分 辨率的单色图像数据。
如果在步骤S1110中判断为不存在类似的图像数据，则处理 进入步骤S1112，在该步骤S1112中，从分辨率转换后的Bk图像 数据1115中提取信号值。最终，在步骤S1114中判断是否已经对 全部的像素进行了处理。如果没有对全部的像素进行处理，则 处理返回步骤S1108，在该步骤S1108中，提取另一分辨率转换 后的像素并且重复该处理。如果已经对全部的像素进行了处理， 则处理结束。
在本实施例中，使用由Bk传感器所获得的图像数据作为基准图像数据，但是可以选择任意帧图像数据作为基准图像数据。 并且，与在前述实施例中一样，可以通过4吏用在图2中示出的三 种类型的行传感器来选择基准通道的帧图像数据。
根据本实施例，当在包括彩色扫描器的MFP中进行单色复
制或单色发送时，可以增加特定像素的分辨率。特别地，根据 本实施例，通过使用特定通道的帧图像数据作为基准，不仅可 以对非彩色部分而且可以对彩色部分进行超分辨率处理，从而 增加分辨率。
接着，给出关于在不倾斜行传感器的情况下进行超分辨率 处理的第四实施例的说明。在前述实施例中，行传感器相对于 基准设置位置倾斜以生成在主扫描方向和副扫描方向上具有不 同的相位的图像数据，然后进行超分辨率处理。在本实施例中， 在无需相对于基准设置位置而倾斜行传感器的情况下进行超分 辨率处理。
在前述实施例中，使用行传感器204 206或行传感器 1005 1008等的倾斜的行传感器。在本实施例中，使用行传感 器201 203或1001 1004等的布置在基准设置位置的行传感器。
图9示出通过使用行传感器2 01 ~2 0 3来扫描原稿的示例。图 9中的附图标记9 01表示原稿图像。通过使得具有红色滤波器的 行扫描器2 01扫描原稿图像9 01来获得帧图像数据902 。通过使得 具有绿色滤波器的行扫描器202扫描原稿图像901来获得帧图像 数据903 。通过使得具有蓝色滤波器的行扫描器203扫描原稿图 像901来获得帧图像数据904。由于这些行传感器未倾斜，因此 这些帧图像数据902~904在主扫描方向上具有相同的相位。
然而，行传感器201 203在副扫描方向上存在间隔。当前， 可以在设计上将间隔缩小为与两个像素相对应的长度。 一般地， 通过偏移校正等的图像处理来校正作为由间隔引起的读取位置
28的偏移的相位偏移。因此，校正以像素为单位的相位偏移。
然而，在通过偏移校正等来校正相位偏移时，可以以像素 为单位校正相位偏移，但可能保留了以亚像素为单位的相位偏 移。实际上，如果以亚像素为单位的相位偏移小，则可以通过 忽略该相位偏移来进行处理。然而，在本实施例中，不可忽牙见 在副扫描方向上以亚像素为单位的微小相位偏移，并且使用该 微小相位偏移。然后，可以通过使用在副扫描方向上保留的微 小相位偏移来进行超分辨率处理。因此，可以仅在副扫描方向 上增加分辨率。
在图12中示出才艮据本实施例的处理。与在前述实施例中一
样，第四实施例是基于以600dpi的分辨率进行扫描并且通过超 分辨率处理获得1200dpi的图像数据的假定。如在第一实施例中 一样，只要通过超分辨率处理增加了分辨率，就可以可选地采 用任何其它形式。
首先，在步骤S1201中，进行扫描以获得RGB图像数据 1202。在前述实施例中，由于行传感器是倾斜的，因此进行仿 射变换。然而，在本实施例中，由于行传感器不是倾斜的，因 此不进行仿射变换。图12的步骤S1203及后续的步骤与图7的步 骤S705及后续的步骤相同，并且省略对其进一步的多余说明。
在本实施例中，与在第一实施例中一样，对非彩色字符进 行超分辨率处理。可选地，与在第二实施例和第三实施例中一 样，可以通过比较信号值来对彩色字符进行处理。并且，与在 第三实施例中 一样，可以增加使用从特定通道获得的帧图像数 据作为基准的处理以及Bk传感器。
根据本实施例，当在包括彩色扫描器的M F P中进行单色复 制或单色发送时可以增加特定像素的分辨率。特别地，由于将 方向限制为副扫描方向，因此行传感器的倾斜和用于仿射变换
29的电路变得不必要。因此，可以以与传统的MFP的货币成本几 乎相同的货币成本来获得高分辨率图像数据。
在上述实施例的范围中包括如下处理方法该处理方法用 于将运行上述实施例的结构以实现上述实施例的功能的程序存
并且在计算机中执行该程序。另外，存储有程序的存储介质和 该程序本身包括在上述实施例中。
存储介质的示例包括软盘、硬盘、光盘、磁光盘、 CD-ROM(紧致盘只读存储器)、磁带、非易失性存储卡和 ROM(只读存储器)。
另外，在上述实施例的范围中，不但包括基于单独存储在 存储介质中的程序来执行处理，而且包括基于运行在OS(操作 系统)中的程序与其它软件和扩展板的功能协作地执行上述实 施例的操作。
尽管已经参考典型实施例说明了本发明，但是应该理解， 本发明不限于所公开的典型实施例。所附权利要求书的范围符 合最宽的解释，以包含所有这类修改以及等同结构和功能。
本申请要求2007年12月28日提交的日本专利申请 2007-340389的优先权，在此通过引用包含其全部内容。
权利要求
1. 一种图像处理设备，包括传感器单元，被配置为包括用于读取具有多个通道的图像数据的多个行传感器；校正单元，用于校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及高分辨率转换单元，用于通过使用由所述校正单元获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。
2. 根据权利要求l所述的图像处理设备，其特征在于，所 述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波 器的行传感器和具有蓝色滤波器的行传感器。
3. 根据权利要求l所述的图像处理设备，其特征在于，所 述传感器单元包括具有红色滤波器的行传感器、具有绿色滤波 器的行传感器、具有蓝色滤波器的行传感器和不具有彩色滤波 器的行传感器。
4. 根据权利要求l所述的图像处理设备，其特征在于，所 述校正单元是偏移校正单元，对由布置所述多个行传感器的位 置的间隔而在副扫描方向上引起的、所述原稿图像上的读取位 置的一个或多个像素的偏移进行补偿，并输出所述原稿图像上 的读取位置在副扫描方向上偏移了不到一个像素的所述多个帧 的图像数据。
5. 根据权利要求l所述的图像处理设备，其特征在于，相 对于基准位置倾斜地布置所述行传感器，其中，所述校正单元 是角度校正单元，并进行校正以通过旋转帧图像数据对倾斜进行补偿。
6. 根据权利要求l所述的图像处理设备，其特征在于，还包括信号值获得单元，用于获得由所述传感器单元获得的帧图 像数据的信号值，其中，对所述信号值获得单元判断为存在具有类似信号值 的两个或更多个帧的图像数据的区域进行高分辨率转换。
7. 根据权利要求6所述的图像处理设备，其特征在于，对 所述信号值获得单元判断为全部帧的图像数据的信号值都类似 的区域进行所述高分辨率转换。
8. 根据权利要求6所述的图像处理设备，其特征在于，对 所述信号值获得单元判断为全部帧的图像数据的信号值都类似 的区域中的字符部分进行所述高分辨率转换。
9. 根据权利要求l所述的图像处理设备，其特征在于，还 包括基准图像数据选择单元，用于从由所述传感器单元获得的 所述图像数据中选择基准图像数据，其中，对判断为存在具有与所述基准图像数据的信号值类 似的信号值的图像数据的区域进行高分辨率转换。
10. 根据权利要求9所述的图像处理设备，其特征在于，所 述基准图像数据是由不具有彩色滤波器的行传感器所获得的图 像数据。
11. 一种图像处理设备中的图像处理方法，所述图像处理 设备包括传感器单元，所述传感器单元被配置为包括用于读取 具有多个通道的图像数据的多个行传感器，所述图像处理方法 包括校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器 中的相邻行传感器在原稿图像上的读取位置在主扫描方向和副扫描方向的至少一个上偏移了不到一个像素；以及使用在所述校正中获得的所述多个帧的图像数据进行插 值，从而获得具有比所述行传感器的分辨率高的分辨率的单色 图像数据。
12. 根据权利要求ll所述的图像处理方法，其特征在于， 所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤 波器的行传感器和具有蓝色滤波器的行传感器。
13. 根据权利要求ll所述的图像处理方法，其特征在于， 所述传感器单元包括具有红色滤波器的行传感器、具有绿色滤 波器的行传感器、具有蓝色滤波器的行传感器和不具有彩色滤 波器的行传感器。
14. 根据权利要求ll所述的图像处理方法，其特征在于， 所述校正对所述图像数据进行偏移校正，对由布置所述多个行 传感器的位置的间隔而在副扫描方向上引起的、所述原稿图像 上的读取位置的一个或多个像素的偏移进行补偿，并且输出所 述原稿图像上的读取位置在副扫描方向上偏移了不到一个像素 的所述多个帧的图像数据。
15. 根据权利要求ll所述的图像处理方法，其特征在于， 相对于基准位置倾斜地布置所述行传感器，其中，所述校正进 行角度校正，并进行校正以通过旋转帧图像数据对倾斜进行补 偿。
16. 根据权利要求ll所述的图像处理方法，其特征在于， 还包括通过信号值获得单元获得由所述传感器单元获得的帧图像 数据的信号值，其中，对所述信号值获得单元判断为存在具有类似信号值 的两个或更多个帧的图像数据的区域进行高分辨率转换。
17. 根据权利要求16所述的图像处理方法，其特征在于， 对所述信号值获得单元判断为全部帧的图像数据的信号值都类 似的区域进行所述高分辨率转换。
18. 根据权利要求16所述的图像处理方法，其特征在于， 对所述信号值获得单元判断为全部帧的图像数据的信号值都类 似的区域中的字符部分进行所述高分辨率转换。
19. 根据权利要求ll所述的图像处理方法，其特征在于， 还包括从由所述传感器单元获得的所述图像数据中选择基准图像 数据，其中，对判断为存在具有与所述基准图像数据的信号值类 似的信号值的图像数据的区域进行高分辨率转换。
20. 根据权利要求19所述的图像处理方法，其特征在于， 所述基准图像数据是由不具有彩色滤波器的行传感器获得的图 像数据。
21. —种图像处理设备，包括传感器单元，其包括用于读取图像数据的多个行传感器， 其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像 素；以及高分辨率转换单元，用于通过使用由所述传感器单元获得 的所述图像数据进行插值，从而获得具有比所述行传感器的分 辨率高的分辨率的单色图像数据。
22. —种图像处理设备中的图像处理方法，所述图像处理 设备包括传感器单元，所述传感器单元包括用于读取图像数据 的多个行传感器，其中相邻行传感器在原稿图像上的读取位置偏移了不到一个像素，所述图像处理方法使用由所述传感器单 元获得的所述图像数据进行插值，以获得具有比所述行传感器 的分辨率高的分辨率的单色图像数据。
全文摘要
本发明涉及一种图像处理设备和图像处理方法。该图像处理设备包括传感器单元，被配置为包括用于读取具有多个通道的图像数据的多个行传感器；校正单元，用于校正由所述传感器单元读取的所述图像数据以获得多个帧的图像数据，在所述多个帧的图像数据中，所述多个行传感器中的相邻行传感器在原稿图像上的读取位置在主扫描方向或/和副扫描方向上偏移了不到一个像素；以及高分辨率转换单元，用于通过使用由所述校正单元获得的所述多个帧的图像数据进行插值，从而获得具有比所述行传感器的分辨率高的分辨率的单色图像数据。
文档编号H04N1/40GK101472043SQ20081018644
公开日2009年7月1日 申请日期2008年12月19日 优先权日2007年12月28日
发明者松崎公纪 申请人:佳能株式会社