图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备、一种图像处理方法以及一种图像处理程序，更具 体地，本发明涉及RAW数据的打印。
背景技术：
传统地，作为诸如数字摄像机之类的图像输入设备的数据记录格式，已知有 RAW数据格式，其中AD转换并记录来自彩色图像传感器的输出值(参见日本专利公开 No. 2005-33468)。通常，彩色图像传感器上承载了针对每一个像素的R(红)、G(绿)和 B (蓝)滤色器中的任意一个，因此，作为表示对象的图像，针对每一个像素仅具有一个颜色 分量的RAW数据是不完全的信息。因此，在对于RAW数据进行去马赛克(demosaicking)处 理(也被称作滤色器排列插值处理，其中计算并产生每一个像素中缺乏的颜色信息，并且 再现每一个像素的颜色数据，从而完成作为图像的对象)以便利用相邻像素的颜色分量对 至少每一个像素缺乏的颜色分量进行插值之前，不能打印表示对象的图像。在PC与打印机结合在一起的传统系统中，在通过所谓的显影应用程序对RAW数据 进行黑光补偿处理(optical black compensation)、去马赛克处理、白光校正、EV校正、色 调再现等之后，将RAW数据输出到打印机驱动器，然后由打印机驱动器将RAW数据转换为打 印数据。通过显影应用程序执行的EV校正和白光校正是将RAW数据(来自图像传感器的 未处理输出值)与给定系数相乘的线性变换。另一方面，由人感知的亮度与作为图像传感 器的测量光度量的亮度不相对应，因此，通常当输出图像时，进行作为非线性变换处理的色 调再现处理。大多数打印机驱动器具有对要打印的图像进行自动颜色平衡校正或自动亮度 校正的功能，以便能够在其对应的打印机中得到最希望的输出，例如，由精工爱普生株式会 社提供的auto-photo fine (注册商标)功能。然而，在现有技术中，已经发现的问题在于， 在对图像进行色调再现处理(这是一种非线性处理)之后，为了能够通过校正图像的颜色 平衡或亮度来得到高精度的校正结果，必须执行复杂的计算。此外，由于要在对图像进行去 马赛克处理之后来处理图像，当与处理RAW数据的情况相比较时，数据量较大。此外，通过 显影应用程序和打印机驱动器来进行白平衡相关和EV校正相关处理，结果导致处理所需 的时间增加。

发明内容
因此，本发明的目的是提供一种图像处理设备、一种图像处理方法以及一种图像 处理程序，能够根据RAW数据以高速打印高质量的图像。为了实现上述目的，根据本发明，提供了一种图像处理设备，包括输入单元，输入RAW数据；
3
打印数据产生单元，从要打印的图像产生打印数据，所述打印数据使打印单元能 够打印要打印的图像；校正单元，根据RAW数据设置颜色平衡操作值或亮度操作值，并且对RAW数据进行 与颜色平衡操作值相对应的颜色平衡校正、或与亮度操作值相对应的亮度校正；以及图像产生单元，利用去马赛克处理和色调再现处理从被进行了颜色平衡校正或亮 度校正的RAW数据产生作为要打印图像的图像。在执行去马赛克处理之前进行颜色平衡校正处理或亮度校正处理的结构中，当与 在去马赛克处理之后进行颜色平衡校正处理或亮度校正处理的结构相比较时，要校正的数 据量是三分之一。因此，能够以高速进行颜色平衡校正处理和亮度校正处理。通过在执行 非线性变换的色调再现处理之前进行颜色平衡校正处理和亮度校正处理，能够利用简单的 处理来校正要打印的RAW数据的颜色平衡特性和明亮度特性，能够打印高质量的图像。图像产生单元可以利用去马赛克处理和色调再现处理来产生中间图像，然后，利 用减色处理从中间图像产生作为要打印的图像的图像。当与在对RAW数据进行减色之后进行颜色平衡校正或亮度校正的情况相比较时， 在对RAW数据进行减色之前进行颜色平衡校正或亮度校正能够提供亮度和颜色平衡度被 校正为希望亮度和颜色平衡的高质量的打印图像，这是因为即使当图像的曝光和颜色平衡 较大偏离其适当范围时(所谓的失败画面)，能够在没有饱和引起的图像色调丢失的情况 下进行校正。输入单元可以输入RAW数据和要打印的图像；图像产生单元可以向打印数据产生 单元通知已经进行了颜色平衡校正或亮度校正；以及，当还没有进行颜色平衡校正或亮度 校正时，打印数据产生单元可以根据要打印的图像来设置第二颜色平衡操作值或第二亮度 操作值，并且可以对于要打印的图像进行与第二颜色平衡操作值相对应的颜色平衡校正、 或与第二亮度操作值相对应的亮度校正。根据该结构，图像产生单元向打印数据产生单元通知已经进行了颜色平衡校正或 亮度校正。这能够防止由于打印数据产生单元两次进行颜色平衡校正或亮度校正而引起的 图像质量的退化以及处理时间的增大。在以下结构中当还没有进行颜色平衡校正或亮度 校正时、打印数据产生单元根据要打印的图像来设置第二颜色平衡操作值或第二亮度操作 值并且对于要打印的图像进行与第二颜色平衡操作值相对应的颜色平衡校正、或与第二亮 度操作值相对应的亮度校正，如果已经执行了颜色平衡校正或亮度校正，打印数据产生单 元不对要打印的图像进行颜色校正或亮度校正，因此，可以在通过输入单元输入RAW数据 和要打印的图像的图像处理设备中共同地使用打印数据产生单元。结果，能够缩短图像处 理设备的开发所需的时间，因此能够减小图像处理设备的开发和制造成本。要打印的图像可以是根据JPEG方法压缩的图像。由于JPEG方法是数字摄像机的 标准文件方法，可以在各种机器中广泛地使用。图像产生单元可以记录颜色平衡校正或亮度校正的进行的完成，作为要打印图像 的属性信息，以便将属性信息发送到打印数据产生单元。根据本发明，还提供了一种图像处理方法，包括输入RAW数据；从要打印的图像产生打印数据，所述打印数据使打印单元能够打印要打印的图像；根据RAW数据设置颜色平衡操作值或亮度操作值，并且对RAW数据进行与颜色平 衡操作值相对应的颜色平衡校正、或与亮度操作值相对应的亮度校正；以及用去马赛克处理或色调再现处理从被进行了颜色平衡校正或亮度校正的RAW数 据产生作为要打印图像的图像。在执行去马赛克处理之前进行颜色平衡校正处理或亮度校正处理的结构中，当与 在去马赛克处理之后进行颜色平衡校正处理或亮度校正处理的结构相比较时，要校正的数 据量是三分之一。因此，能够以高速进行颜色平衡校正处理和亮度校正处理。通过在执行 非线性变换的色调再现处理之前进行颜色平衡校正处理和亮度校正处理，能够利用简单的 处理来校正要打印的RAW数据的颜色平衡特性和明亮度特性，能够打印高质量的图像。根据本发明，还提供了一种用于操作计算机的图像处理程序，包括输入单元，输入RAW数据；打印数据产生单元，从要打印的图像产生打印数据，所述打印数据使打印单元能 够打印要打印的图像；校正单元，根据RAW数据设置颜色平衡操作值或亮度操作值，并且对RAW数据进行 与颜色平衡操作值相对应的颜色平衡校正、或与亮度操作值相对应的亮度校正；以及图像产生单元，利用去马赛克处理或色调再现处理从被进行了颜色平衡校正或亮 度校正的RAW数据产生作为要打印图像的图像。在执行去马赛克处理之前进行颜色平衡校正处理或亮度校正处理的结构中，当与 在去马赛克处理之后进行颜色平衡校正处理或亮度校正处理的结构相比较时，要校正的数 据量是三分之一。因此，能够以高速进行颜色平衡校正处理和亮度校正处理。通过在执行 非线性变换的色调再现处理之前进行颜色平衡校正处理和亮度校正处理，能够利用简单的 处理来校正要打印的RAW数据的颜色平衡特性和明亮度特性，能够打印高质量的图像。顺便地，可以利用由结构本身指定其功能的硬件资源、由程序指定其功能的硬件 资源、或它们的结合来实现在本发明中提供的两个或更多单元的相应功能。此外，这些两个 或更多单元的相应功能并不局限于能够通过物理上彼此独立地硬件资源所实现的功能。此 外，不但将本发明指定为装置发明，而且将其指定为程序发明、具有记录在其上的程序的记 录介质发明、以及方法发明。


参考附图，通过详细描述本发明的优选实施例，本发明的上述目的和优点将变得 更加清楚，图中图1是根据本发明实施例的打印机的操作的流程图；图2是根据本发明实施例的打印机的示意结构的方框图；图3A是根据本发明的实施例的典型图；图3B是根据本发明的实施例的典型图；图4是根据本发明实施例的打印机的操作的流程图；图5是根据本发明的实施例的典型图；图6是根据本发明的实施例的典型图。
具体实施例方式下面将参考附图按照以下实施例的次序来进行描述，其中，将本发明应用于单机 类型(stand-alone type)的打印机。1.打印机的结构2.打印机的操作2-1. RAW 数据处理2-2.图像打印处理1.打印机的结构图2是本发明要应用到的打印机1的示意结构的方框图。打印机1是一种所谓的 单机类型打印机，能够从可移动存储器10读取通用格式设置的RAW数据和图像，并且能够 根据这些数据来执行打印操作。此外，打印机1能够从诸如数字摄像机30、PC (个人计算 机)32和具有摄像机的便携式电话终端34之类的外部系统直接输入通用格式设置的RAW 数据和图像。充当输入装置的外部IF(接口)20包括USB控制器、USB连接器等，用于与诸如 数字摄像机30、PC (个人计算机)32和具有摄像机的便携式电话终端34之类的外部系统进 行通信。通信标准并不局限于USB，也可以使用诸如IEEE 1394和红外线之类的任意标准。 此外，如果外部IF 20包括USB主机功能，当外部系统与USB大规模存储标准相对应时，打 印机能够相对于属于外部系统的存储介质来输入和输出数据。当在与打印机1相连的LAN 中设置了诸如硬盘之类共同使用的存储介质时，打印机1能够在外部系统的控制下，相对 于存储介质来输入和输出数据。换句话说，即使在存储介质处于外部系统控制下的情况下， 打印机1也能够将从RAW数据产生的图像临时存储在存储介质中，并且能够从中读取数据 用于打印。此外，打印机1本身可以配备有硬盘设备，由此能够增大打印机1的存储容量。充当输入装置的可移动存储控制器(RMC) 12与可移动存储器10相连，并且控制可 移动存储器10和RAM 14之间的数据传输。可移动存储器10可以是卡类型的快闪存储器， 或者可以是能够重复写入的任意其它非易失性存储介质。用作打印数据产生装置和图像产生装置的图像处理单元16是一种ASIC，它被用 于以高速执行诸如锐度校正处理和色调校正处理之类的图像校正处理、打印(impression) 划分处理、半色调处理、交织处理以及其它类似处理。顺便地，还可以利用CPU 22，根据程序 处理来执行这些处理。此外，可以将JPEG压缩/扩展功能添加到图像处理单元16，由此加 快JPEG压缩/扩展处理。打印单元18包括记录头，用于基于打印数据，根据喷墨方法在纸上形成图像；用 于使记录头往复运动的机构；以及纸进给和排放机构等。顺便地，作为打印方法，可以使用 诸如喷墨方法、激光方法、热方法和点击打(dot impact)方法之类的任意打印方法。RAM 14是一种易失性存储器，用于临时地在其中存储控制程序和要由控制程序处 理的数据，例如RAW数据、图像和打印数据。用作打印数据产生装置、校正装置和图像产生装置的CPU 22执行存储在快闪存 储器24中的控制程序，由此利用去马赛克处理来执行从RAW数据产生图像的处理，执行 JPEG压缩/扩展处理，以及控制打印机1的各个部件，以便控制打印的执行。可以将控制程序从计算机可读存储介质传输到快闪存储器24，或通过网络将控制程序从远程服务器传输 到快闪存储器24。操作单元26包括用于接收菜单操作和用户的打印需求的操作按钮、功能选择键 (jog dial)和其它各种按钮。当在特定模式下按压特定按钮时，将根据模式的各种需求输 入到打印机1中。显示单元28包括诸如IXD、图形控制器等之类的FPD (平板显示器)。可以在显示 单元28中的专用存储器中保证一个帧存储区域，或者可以将帧存储区域分配给RAM 14的 部分区域。2.打印机的操作图1和4分别是打印机1的操作的流程图。在开启打印机的自动图像校正功能的 同时，当用户选择RAW数据文件作为要打印的对象并且用户命令打印开始时，可以按照图1 和图4的次序来开始图1和4所示的处理。打印机1从可移动存储器10中读取RAW数据， 从RAW数据产生通用格式的要打印图像，将如此产生的要打印图像存储在可移动存储器10 中，并且从可移动存储器10中读取由打印机自身产生的、通用格式的要打印图像，由此执 行图像的打印。打印机的自动图像校正功能是一种功能，利用该功能，例如，即使在当拍摄画面时 由于错误曝光设置引起失败画面的情况下，打印机也能够分析画面的图像，设置适于打印 机特性的操作值，以便能够将图像改变为希望的图像，并且能够根据操作值对图像进行校 正。自动图像校正功能包括亮度校正、颜色平衡校正、对比度校正、锐度校正、记忆颜色校 正、颜色饱和度校正等。当用户通过作用设置在操作单元26上的操作按钮、功能选择键等 来操作显示在显示单元28上的打印机设置菜单时，能够开启或关闭该功能。在选择要打印文件的阶段，为了向用户指导要打印文件的选择，在FPD上显示存 储在RAW数据文件中的缩略图、VGA大小的缩小图像等。可以通过分析文件头来指定要打 印的图像。除非文件存储在RAW数据文件中(在本说明书中，假设RAW数据不是图像来进 行描述)，打印机1可以根据高速运算技术来产生VGA大小的缩小图像。具体地，例如，通 过产生沿每一个垂直和水平方向具有RAW数据的一半分辨率的图像，可以加速去马赛克处 理，或者，通过省略白平衡校正处理、亮度校正处理、伪彩色抑制处理等，能够加速缩小图像 的产生。顺便地，参考在打印机1从RAW数据来打印图像的过程中处理的要打印图像的格 式，在本实施例的描述中使用JPEG格式，但并不局限于此。根据本发明，可以使用其它通用 格式，诸如JPEG 2000格式、BMP型JPEG格式、TIFF型JPEG格式、JFIF型JPEG格式，或者 还可以使用通过指定其通用特性来优化的格式。当出现打印请求时，执行以下将分别详细描述的RAW数据处理和图像打印处理。 可以当按压预先设置的给定按钮时来产生打印请求。当产生打印请求时，打印机1检查可 移动存储器10是否处于可写入状态。当可移动存储器10不处于可写入状态时，或者当可 移动存储器10的剩余容量较小时，打印机还可以向用户通知该情况。当出现打印请求时，CPU 22可以开始访问指示灯(未示出)的闪烁操作。访问指 示灯的闪烁操作持续，直到打印操作结束为止。在打印操作的执行期间，打印机1从可移动 存储器10中读取RAW数据和要打印的图像，并且将要打印的图像写入到可移动存储器10
7中。因此，如果在打印操作的执行期间从RMC 12中去除了可移动存储器10，则有可能将要 打印的图像留在可移动存储器10中，或者有可能打印机的操作失去控制。换句话说，在打 印操作的执行期间闪烁访问指示灯能够防止出现会引起上述问题的故障。此外，例如，打印机1还可以开始用于通过在FPD上显示进度条来向用户指导打印 进度状态的处理。持续打印进度状态的显示，直到打印操作结束为止。这是因为，除非显示 打印进度状态，否则用户不会知道已经出现了系统错误。通常，由于制造成本的限制导致 CPU 22的处理速度较慢，打印机1需要数分钟来根据RAW数据产生图像。2-1. RAW 数据处理图1是RAW数据处理流的流程图。在步骤S200，CPU 22分析要打印RAW数据文件的属性信息，以便指定数字摄像机 的制造商、数字摄像机的型号、摄影信息(摄制日期、光圈、快门速度等)、打印控制信息、显 影控制信息等。打印控制信息包括打印尺寸明细、打印数目明细、用于得到希望打印结果 的图像校正控制信息等。为了从数字摄像机向打印机发送打印尺寸明细和打印数目明细， 还可以使用DP0F(数字打印命令格式)。作为从数字摄像机向打印机发送希望打印结果的 图像校正控制信息的标准，公知的有PIM(raiNT图像匹配)和Exif Ver2. 2。显影控制信息 包括锐度操作值，用于恢复由于低通滤波器造成的较低锐度；黑光信息；每一个颜色分量 的增益信息；亮度校正信息；面阵图像传感器的滤色器的排列信息；从设备颜色空间到RGB 颜色空间等的颜色匹配信息；以及伽马校正信息等。显影控制信息是每一种数字摄像机专 有的，并且通常不会通用，但可以通过分析文件头来指定。此外，作为用于显影控制信息的 通用标准，提出了 DNG。在步骤S202，CPU 22根据预增益信息和黑光信息来分别执行预增益处理和黑光 补偿处理。在预增益处理中，根据从文件头获得的预增益信息，可以线性地扩展RAW数据的 所有像素值。黑光信息表示在图像输入设备的图像传感器中设置的、不允许光入射的光接 收单元中累积的电荷量。在黑光补偿处理中，将由从文件头获得的黑光信息提供的数值看 作是黑色，并且从RAW数据的所有像素值中减去由黑光信息提供的数值。在步骤S204，CPU 22设置颜色平衡操作值或亮度操作值。对象的谱辐射能量分布 根据照明环境自然地变化，但是即使当照明环境变化时，人类仍将相同对象的颜色感知为 相同的颜色。将这种趋势称为颜色的永久属性(颜色恒定)。另一方面，图像传感器根据对 象的谱辐射能量分布，均衡地累积与各个颜色分量(在本实施例中，以RGB格式进行讨论) 相对应的电荷。因此，例如，为了将在晴天中白天室外被感知为白色的对象表示为白像素， 必须进行校正RGB的各个分量的颜色平衡的颜色平衡校正。该颜色平衡校正是一种白平衡 校正。CPU 22相对于各个RGB分量来设置颜色平衡操作值和亮度操作值。具体地，例如，当 按照图3A所示的方式来设置RAW数据的各个像素时，CPU 22产生要分析的图像，如图3B所 示，通过将与RAW数据的四个像素相对应的像素转换为包含三个RGB分量的两个像素来获 得所述图像。例如，P。表示具有三个分量(R。，G01和Bq)的像素，P2表示具有三个分量(R。， &2和氏)的像素。利用像素数目是RAW数据像素数目一半的要分析的图像，CPU 22设置颜 色平衡操作值和亮度操作值。相对于颜色平衡校正，已知多种算法。例如，分析要在RGB空 间中分析的图像的各个像素的分布状态，以便按照设定为非彩色的像素组能够提供非彩色 的方式，设置与各个RGB分量相关的操作值。针对亮度校正，根据各个像素的亮度分量的直方图，将与各个像素的亮度分量相乘的数值设置为亮度操作值。此外，与各个RGB分量相乘 的数值可以是亮度操作值。顺便地，还可以按照以下方式来设置颜色平衡操作值还向所述 颜色平衡操作值添加了存储为RAW数据的显影控制信息的、每一个RGB的增益信息。相对 于亮度操作值，还添加了存储为RAW数据的显影控制信息的亮度校正信息。当RAW数据的 分析结果示出不必进行亮度校正时，例如，可以将亮度操作值设为0，由此可以不进行亮度 校正。此外，还可以通过向其添加打印机1的特性来设置颜色平衡操作值和亮度操作 值。例如，打印机1的特性可以取决于墨的种类、在打印单元18中使用的打印方法以及图 像处理单元16的各种图像处理方法。此外，例如，当存在作为校正控制信息存储的可用颜 色平衡校正信息和亮度校正信息以便获得RAW数据的希望打印结果时，也可以进行参考。在步骤S206，CPU 22进行颜色平衡校正和亮度校正。具体地，根据在步骤S204设 置的颜色平衡操作值和亮度操作值，对RGB数据进行颜色平衡校正和亮度校正。在颜色平 衡校正中，利用针对每一个RGB分量设置的操作值(增益信息)，基本上将各个RGB分量与 常数相乘。在亮度校正中，可以将亮度分量与常数相乘，由此校正亮度，或者可以将颜色分 量与常数相乘，由此校正亮度。为了抑制色调饱和，颜色平衡校正和亮度校正也可以是其中 通过高亮带(lightlight band)来压缩色调的非线性处理。此外，还可以在利用矩阵或定 义了输入和输出之间的对应关系的LUT时执行颜色平衡校正和亮度校正。在这种情况下， 为了能够仅按照一种意义来定义用于颜色平衡校正或亮度校正的数字表达、矩阵或LUT，必 须预先将两个或更多数字表达、矩阵或LUT存储在快闪存储器24中。这里，在由打印机完成的上述自动图像校正功能中，对RAW数据进行颜色平衡校 正或亮度校正。通过在去马赛克处理之前进行颜色平衡校正或亮度校正，当与在去马赛克 处理之后执行这种校正的情况相比较时，如稍后所述，要分析的数据量是二分之一，并且要 校正的数据量是三分之一；因此，能够以高速执行颜色平衡校正或亮度校正。在以块为单位执行步骤S208到S220的处理。S卩，在将RAW数据从可移动存储器 10读取到CPU 22并且将其处理结果存储在RAM14之后。在执行了步骤S200到S206的处 理之后，在随后的步骤中，将要处理的块数据从RAM 14读取到CPU 22中，并且将处理结果 存储在RAM 14中。在根据422方法对YCbCr进行采样的JPEG格式中，按照由8像素X 16 像素构成的每一个块对图像进行编码。因此，将块的垂直方向宽度设置为8像素或8像素 的整数倍，而将块的水平方向宽度设置为16像素或16像素的整数倍。图5是示出了在从RAW数据产生打印数据之前RAM 14如何保存要处理的块数据 的典型图。实线表示静态占据存储器空间的数据大小，而阴影表示要处理的块数据的大小。 虚线表示处理整个RAW数据累积所需的存储器空间的大小。顺便地，在本实施例中，设定 RAW数据是16比特的表达来进行描述。在步骤S208，CPU 22执行与面阵图像传感器的滤色器的排列相对应的去马赛克 处理。去马赛克处理是一种处理，其中能够对于每一像素，利用基本上每一个具有一种颜色 分量(例如R、G和B中的任意一个)的相互相邻像素来彼此补偿缺乏的分量。作为结果， 当与处理之前的大小相比较时，如图2中的S2所示，由RAM 14临时保存的块数据的大小是 3 倍(S1)。如上所述，构造本实施例，以便在执行去马赛克处理之前，执行颜色平衡校正或亮度校正(步骤S204、S206)；因此，当与在执行去马赛克处理之后执行颜色平衡校正或亮度 校正的情况相比较，要分析的数据量是二分之一，并且要校正的数据量是三分之一，这使得 能够以高速来进行颜色平衡校正和亮度校正。在步骤S210，CPU 22执行从RGB颜色空间到YCbCr颜色空间的颜色空间转换。在 步骤S210的处理执行之前和之后，由RAM 14临时保存的数据量大小没有变化。在步骤S212，CPU 22执行根据422方法的子采样操作。S卩，按照16比特对Y分量 进行采样，对于Cb分量和Cr分量，按照16比特对每两个相邻像素的均值进行采样。作为 结果，如图5的S3所示，当与执行处理之前的大小相比较时，由RAM 14临时保存的数据量 大小是三分之二。在步骤S214，CPU 22执行伪彩色抑制处理。在包括Bayer排列的滤色器的面阵图 像传感器中，由于用于G的光接收单元的数目是用于R和B的光接收单元的数目的二倍，在 R和B分量中非常容易出现混叠。通过利用中值滤波器等的平滑处理来抑制由于混叠所产 生的伪彩色。在步骤S216，CPU 22执行色调再现处理。由人类感知的亮度与作为图像传感器的 光度量的亮度并不相对应。通常，根据主张感知量与刺激量的对数成比例的Weber/Fechner 假设，按照非线性的方式来转换亮度。顺便地，为了避免由于饱和导致的色调损失，还可以 执行在高亮区域(high light region)和阴影区域中逐渐抑制色调的变换。例如，利用针 对数字摄像机的每一种模式优化定义的LUT来执行变换。顺便地，已经对其执行了去马赛 克处理和色调再现处理的图像与在所附权利要求中所述的中间图像相对应。由于在执行其中执行非线性变换的色调再现处理之前进行颜色平衡校正和亮度 校正，可以通过简单的处理来校正RAW数据的颜色平衡特性和光亮度特性，由此能够打印 高质量的图像。在步骤S217，CPU 22 执行减色处理(subtractive processing)。具体地，YCbCr 的各个分量是从16比特减为8比特的颜色。作为结果，当与在进行减色处理之前的块数据 的大小相比较时，如图5的S4所示，由RAM 14临时保存的块数据的大小是二分之一。当与在进行减色处理之后执行颜色平衡校正和亮度校正的情况相比较时，例如， 即使当曝光和颜色平衡根据其希望的条件变化时(所谓的失败画面)，在执行减色处理之 前执行颜色平衡校正和亮度校正也能够在高亮区域和阴影区域中更平滑地抑制色调，由此 能够在没有饱和引起的色调丢失的情况下校正颜色平衡和亮度。作为结果，能够得到已经 将图像的亮度和颜色平衡校正为适当亮度和颜色平衡的、高质量的打印结果。在步骤S218，CPU 22执行颜色匹配处理。由于RAW数据的各个颜色分量的数值依 赖于在图像输入设备中设置的图像传感器的谱敏感度，所述数值不与由诸如sRGB之类的 通用标准所指定的三刺激值(tristimulus)相对应。颜色匹配处理是一种由输入数值来表 示颜色(彩色)光的处理，即，通过由诸如sRGB之类的通用标准指定的刺激值来表示RAW 数据。具体地，利用3X3矩阵运算和三维LUT(查找表)对像素值进行变换。可以从作为 显影控制信息的文件头中获得在该变换中使用的矩阵或三维LUT，或者，可以根据从文件头 获得的型号信息来应用之前已经根据数字摄像机的型号等定义的矩阵或三维LUT。在执行 步骤S218的处理之前和之后，由RAM 14保存的块数据的大小不变。在步骤S220，CPU 22执行JPEG压缩处理。JPEG压缩是一种编码，包括DCT、量化
10和霍夫曼编码的组合；按照由水平方向8像素X垂直方向8像素构成的每一个块执行JPEG 压缩。为了进行量化，应用预先指定的给定量化表、或与执行处理之后的目标数据量大小相 对应的量化表。顺便地，如上所述，压缩算法并不局限于JPEG，只要能够按照每一个块对数 据进行编码，可以使用任意类型的算法。通过重复执行步骤S208到S220的处理，将已经进行了 JPEG压缩处理的块数据累 积地存储在RAM 14的其它区域(除存储了执行JPEG压缩之前的块数据的区域以外的其它 区域)中。在已经对最后块重复执行了步骤S208到S220的处理的状态下(步骤S222判 断“是”的状态)，如图5的S5所示，在RAM 14的其它区域中，保存了从RAW数据产生的、并 且已经对其进行了 JPEG压缩处理的整个图像数据。在步骤S224，CPU 22设置已经对其进行了 JPEG压缩处理的图像数据的文件格式， 执行到可移动存储器10的输出处理，并且当到可移动存储器10的输出处理完成时，去除已 经临时保存在RAM 14中的Exif格式的文件。具体地，与量化表相同，将扩展要打印图像所 需的信息、拍摄信息(拍摄日期、光圈、快门速度等)、打印控制信息、用于获得希望打印结 果的图像校正控制信息和其它信息存储在文件头中，作为属性信息。由于为了已经产生图 像的打印机1方便起见，将要打印的图像存储在可移动存储器10中，优选地，可以将文件的 属性设置为“隐藏文件”。顺便地，对于要打印图像的文件头，可以添加已经进行了颜色平衡 校正或亮度校正的图像的信息。2-2.图像打印处理图4是图像打印处理流的详细流程图。图4所示的处理也是当将根据JPEG格式等排列的图像选择为要打印图像时所执 行的处理。即，根据本实施例的打印机1利用相同的软件资源和硬件资源来执行图像打印 处理，与要打印的对象是RAW数据还是图像无关。作为结果，能够缩短打印机1的显影时间， 并且能够限制其制造和开发成本。在步骤S300，CPU 22分析作为打印对象的要打印图像的属性信息(文件头)，指 定扩展要打印图像所需的信息、拍摄信息、打印控制信息、用于获取希望打印结果的图像校 正控制信息、文件大小和其它信息，并根据所指定的信息段，设置打印要打印图像所需的控 制值。具体地，例如，CPU 22设置量化表、用于锐度校正处理的控制值、用于颜色平衡校正 处理的控制值、用于色调校正处理的控制值、用于记忆颜色校正处理的控制值、要打印的拷 贝数目、要打印的纸张大小、打印分辨率和其它类似信息。顺便地，作为打印控制信息，还可 以使用与要打印图像相对应的DP0F信息等，当然，用户还可以通过操作单元26来设置针对 打印尺寸、打印分辨率等的控制值。以要打印对象带(band)为单位来执行步骤S302到S310的处理(下面将详细进 行描述)。即，在第一步骤S302中，将要打印带中的压缩数据从可移动存储器10读取到 CPU 22中，并且将其处理结果存储在RAM 14中；在各个后续步骤中，将要打印带的数据从 RAM 14读取到CPU 22中，并将其处理结果存储在RAM 14中。可以根据打印的方向来设置 要打印带。例如，如图6所示，当沿图像的水平方向(沿按照A到G的次序处理要打印带的 方向)顺序地打印沿水平方向分别较长的要打印图像时，即，当打印已经旋转90度以便要 打印图像的水平方向能够与纸张的进给方向一致时，沿图像的垂直方向较长的一侧设置要 打印带。在这种情况下，如图6所示，要打印图像的产生次序(水平方向表示由虚线箭头标记所示的次序，而垂直方向表示数字次序)不同于要打印图像的打印次序；因此，不能按照 顺序的方式顺序地处理要打印图像的产生和要打印图像的打印。因此，在这种情况下，必须 静态地将整个要打印图像保存在存储器空间中。然而，设定无压缩地产生要打印图像，在图 5的S2所示的状态中，要将要打印图像保存在RAM 14中。在打印中，由于必须同时将用作 源信息的要打印图像和用作输出信息的打印数据保存在RAM 14中，RAM 14的必要容量应 当相当大。考虑到这一点，根据本实施例，通过产生压缩的要打印图像来节约存储器资源。 除此之外，根据本实施例，通过在可移动存储器10中保存压缩的要打印图像，还能够使要 安装在打印机1中的RAM 14的容量与不对应于RAW数据的打印机的容量实质上相同。顺便地，上述有利效果并不局限于在旋转图像的同时打印图像的情况。例如，即使 当分析整个图像以便设置图像校正控制值时，要打印图像的压缩也能够表现优异。同时，即 使当要打印图像的目的地是诸如硬盘设备之类具有较低数据传输速度的设备时，或者即使 当打印机1和外部目的地设备之间的通信速度较低时，要打印图像的压缩效应也能够表现 优异。在步骤S302，CPU 22顺序地从可移动存储器10中读取要打印带中的块数据，对其 进行扩展，并将要打印带中的结果YCbCr图像存储在RAM 14中。作为结果，由RAM 14保存 的要打印带的图像提供了如图5的S6所示的状态。在步骤S304，CPU 22检查是否已经执行了颜色平衡校正或亮度校正。具体地，例 如，可以通过打印机1中封闭的(closed)API来发送这种校正的执行完成，或者，如上所述， 可以将图像记录在要打印图像的文件头中，并且根据步骤S300的文件分析来检查这种校 正的执行完成。当校正已经完成时，CPU 22不执行对于图像的颜色平衡校正或亮度校正， 由此能够防止由于两次执行颜色平衡校正或亮度校正所引起的图像质量的恶化和处理时 间的增加。在步骤S306，当还没有执行上述校正时，CPU 22对于图像执行颜色平衡校正或亮 度校正。具体地，CPU 22分析按照上述方式分析图像，并针对每一个RGB分量来设置颜色 平衡操作值(第二颜色平衡操作值)和亮度操作值(第二亮度操作值)。根据如此设置的 颜色平衡操作值和亮度操作值，CPU 22对图像进行颜色平衡校正操作处理和亮度校正操作 处理。要校正处理的图像可以是如图5的S6中所示的YCbCr图像，或如S7所示，可以是已 经从YCbCr颜色空间颜色空间变换到RGB颜色空间的图像。顺便地，可以利用添加的打印 机1的特性来设置第二颜色平衡操作值和第二亮度操作值。在步骤S308，CPU 22在进行其它图像校正处理中与图像处理单元16 —起协同操 作。具体地，CPU 22进行分辨率转换处理、锐度校正处理、对比度校正处理、颜色饱和度校正 处理、记忆颜色校正处理等，分别向上述处理应用了在步骤S300中设置的控制值。当将自 动校正功能设置为开启(在这种情况下，要校正图像的对比度、颜色饱和度和记忆颜色)， 根据在步骤S300中设置的控制值以及图像的分析结果，CPU 22执行锐度校正处理、对比度 校正处理、颜色饱和度校正处理、记忆颜色校正处理等。分辨率转换处理是一种根据在步骤 S300中设置的打印分辨率来转换图像分辨率的处理。在执行分辨率转换之后执行锐度校正 处理，在锐度校正处理中，在考虑到由于诸如数字摄像机等之类的图像输入设备的低通滤 器导致的降低锐度的同时来应用控制值。当对于已经进行了锐度校正处理的图像进行分辨 率转换处理时，存在恶化图像质量的趋势。根据本实施例，由于没有在分辨率转换处理之前执行锐度校正处理，能够增强打印图像的质量。可以在执行分辨率转换处理之后或之前执 行对比度校正处理、记忆颜色校正处理、颜色饱和度处理等。在步骤S310，CPU 22根据要打印带的图像来产生要打印带的打印图像(图5的 S8)，打印单元18根据打印数据来执行打印。当步骤S302到S306的处理已经完成、直到打印最后一个要打印带(当在步骤 S308判断“是”时)，CPU 22允许RMC 12去除保存在可移动存储器10中的要打印图像(步 骤S310)。在执行打印之后去除要打印图像能够防止与用户意愿无关地产生的要打印图像 无意义地耗费可移动存储器10的存储器区域。根据本实施例，已经给出了示例，其中作为要打印图像，可以使用根据JPEG格式 压缩的图像。然而，还可以使用处理未压缩图像作为要打印图像的文件格式(例如，BMP格 式或TIFF格式)。在这种情况下，由于消除了由于压缩图像引起的图像质量恶化，能够以较 高的质量打印图像。根据本实施例，已经给出了示例，其中选择RAW数据作为要打印的对象，当启用自 动校正功能时，在对RAW数据进行入马赛克处理之前，对RAW数据进行颜色平衡校正处理和 亮度校正处理。然而，除了颜色平衡处理和亮度处理之外，还可以在执行入马赛克处理之 前，对RAW数据进行记忆颜色校正处理、对比度校正处理、黑和白点校正处理等。在这种情 况下，利用所考虑的打印机1的特性(诸如颜料墨和染料墨之类的墨种类、诸如普通纸和光 泽纸之类的打印纸的纸张质量等)，设置各个校正参数。例如，对于记忆颜色校正，作为打印 机1的特性，当钴蓝显影较好时，按照扩展钴蓝的色调范围而限制显影较差的其它颜色色 调范围的方式来设置用于记忆颜色校正的参数。对于黑和白点校正，类似地，当由于打印机 的特性导致在黑色或白色上容易出现噪声时，通过限制黑色或白色的色调范围以及通过扩 展其它颜色的色调范围，能够打印锐度更高的图像。此外，关于打印纸的纸张质量，例如，当 在普通纸上打印图像时，可以按照与在光泽纸上打印图像的情况下相比较能够增大图像对 比度的方式，设置对比度校正的参数。在RAW数据阶段进行颜色平衡校正处理、亮度校正处 理、记忆颜色校正处理、黑和白点校正处理、对比度校正处理等可用于通过完整使用打印机 1能够再现的颜色范围的色域来校正图像。此外，迄今已经给出了实施例的描述，其中将本发明应用于作为图像形成设备的 单机类型的打印机中。然而，本发明还可以应用于执行RAW显影应用程序和打印机驱动器 程序的个人计算机中。
权利要求
一种图像处理设备，包括采集单元，采集RAW数据；校正单元，根据所述RAW数据设置颜色平衡操作值或亮度操作值，并且对所述RAW数据进行与所述颜色平衡操作值相对应的颜色平衡校正、或与所述亮度操作值相对应的亮度校正；以及图像产生单元，利用去马赛克处理和色调再现处理从被进行了颜色平衡校正或亮度校正的所述RAW数据产生图像。
2.根据权利要求1所述的图像处理设备，其中，所述校正单元包括分析对象产生单元，对所述RAW数据进行分析对象产生处理，并且产生分析对象图像；以及分析单元，对所述分析对象图像进行分析，以便设置所述颜色平衡操作值或所述亮度 操作值。
3.根据权利要求2所述的图像处理设备，其中，所述分析对象图像的像素数目小于所 述图像的像素数目。
4.根据权利要求1到3之一所述的图像处理设备，其中，在所述校正单元对所述RAW数 据进行颜色平衡校正或亮度校正后，不执行颜色平衡校正或亮度校正。
5.根据权利要求1到3之一所述的图像处理设备， 其中，所述采集单元采集所述RAW数据和所述图像；其中，所述图像产生单元向打印数据产生单元通知已经进行了颜色平衡校正或亮度校正；其中，在尚未进行颜色平衡校正或亮度校正时，所述打印数据产生单元根据所述图像 设置第二颜色平衡操作值或第二亮度操作值，并且对所述图像进行与所述第二颜色平衡操 作值相对应的颜色平衡校正、或与所述第二亮度操作值相对应的亮度校正；以及其中，在已经进行了颜色平衡校正或亮度校正时，所述打印数据产生单元不对所述图 像进行颜色平衡校正或亮度校正。
6.根据权利要求5所述的图像处理设备，其中，所述图像产生单元记录颜色平衡校正 或亮度校正的完成，作为所述图像的属性信息，从而将所述属性信息发送到所述打印数据 产生单元。
全文摘要
公开了一种图像处理设备和图像处理方法。输入单元输入RAW数据。打印数据产生单元从要打印的图像来产生打印数据。打印数据使打印单元能够打印要打印的图像。校正单元根据RAW数据设置颜色平衡操作值或亮度操作值，并且对RAW数据进行与颜色平衡操作值相对应的颜色平衡校正、或与亮度操作值相对应的亮度校正。图像产生单元利用去马赛克处理或色调再现处理从被进行了颜色平衡校正或亮度校正的RAW数据产生作为要打印图像的图像。
文档编号H04N9/07GK101895660SQ201010239688
公开日2010年11月24日 申请日期2006年9月30日 优先权日2005年9月30日
发明者西尾聪 申请人:精工爱普生株式会社