图像处理设备及其控制方法和摄像设备及其控制方法以及记录介质与流程

本发明涉及图像处理设备、图像处理设备的控制方法、摄像设备、摄像设备的控制方法以及记录介质。

背景技术：

在现有技术的摄像设备中，对图像传感器所拍摄的原始图像信息(RAW图像、RAW数据)进行去拜尔(debayering)(去马赛克)后转换成包括亮度和色度的信号，并且使各信号经过诸如噪声去除、光学失真校正和图像最优化等的所谓的显像处理。然后，对经过了显像处理的亮度信号和色度信号进行通常的压缩和编码以将其记录在记录介质上。

另一方面，还存在能够记录RAW数据的摄像设备。尽管进行记录所需的数据量庞大，但是RAW数据的优势在于：原始图像被最小程度地校正和劣化并且可以在拍摄之后进行编辑，并且被有经验的用户优选使用。

在PTL 1中公开了用于记录RAW图像的摄像设备的结构。在PTL 1中，描述了如下结构：连同RAW数据一起记录显像参数，并且在用以对RAW图像进行显像和再现的再现时使用该显像参数。

引用列表

专利文献

PTL 1：日本特开2011-244423

技术实现要素：

根据实施例的一个方面，一种图像处理设备，包括：获取单元，用于获取摄像单元所拍摄的拍摄图像的RAW数据；处理单元，用于以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤；以及控制单元，用于对处理单元进行控制，其中，在处理单元在摄像单元进行摄像时以逐步方式实时对RAW数据进行多个不同的图像处理步骤的情况下，控制单元根据与拍摄图像有关的工作状况来对处理单元进行控制以限制多个不同的图像处理步骤的逐步执行，对处理单元进行控制以输出直到进行了所限制的步骤为止的处理的RAW数据，并且生成表示所限制的步骤的信息。

通过以下参考附图的典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明的第一实施例的摄像设备的结构示例的框图。

图2A和2B是根据本发明的第一实施例的摄像设备的一部分的详细的框图。

图3是示出根据本发明的第一实施例的摄像设备的状态转换的图。

图4是示出根据本发明的第一实施例的摄像设备所记录的RAW文件的结构示例的图。

图5是示出根据本发明的第二实施例的摄像设备的结构示例的框图。

图6是示出根据本发明的第二实施例的摄像设备所记录的RAW文件的结构示例的图。

图7是示意性示出摄像元件的像素阵列的示例的图。

具体实施方式

近年来的摄像设备包括先进的图像传感器并且每个图像的像素数量显著增多。此外，每秒可以连续拍摄的图像的数量趋于增多。因此，诸如去拜尔、噪声去除和光学失真校正等的构成对RAW图像的显像处理的各处理步骤的处理量相应地增大，并且为了与摄像一起实时进行显像处理，会耗费庞大的电路和电力消耗。由于显像处理占用电路以及电力消耗限制等，导致可能存在无法实现高摄像性能的情况。

另一方面，对于如PTL 1那样RAW图像在未进行显像的情况下被记录的结构，减少了摄像期间的处理量，并且作为结果，可以预期：在不会被与摄像并列进行的显像处理所拖累的情况下，提高了作为照相机的摄像性能。然而，注意，由于RAW图像在没有进行显像的状态下被记录，因而在摄像之后，需要进行特定的RAW显像处理。然而，如上所述，除了图像大小和图像数据方面的增大以外，在摄像之后RAW显像处理所花费的时间增加并且在显示图像之前需要长时间的情况下，对用户而言存在损害摄像设备的便利性的压力。

现在，参考附图来详细说明本发明的实施例。

图1是示出根据本发明的第一实施例的摄像设备的结构示例的框图。图1所示的摄像设备100不仅将通过拍摄被摄体的图像所获得的图像数据记录在记录介质上，而且还具有从记录介质再现图像数据并且对图像数据进行显像处理以进行显示的功能、以及相对于外部设备或服务器(云)等发送和接收图像数据的功能。因此，在关注点聚焦于这些功能的情况下，可以将根据本实施例的摄像设备表述为图像处理设备、记录设备、再现设备、记录和再现设备以及通信设备等。

在图1中，控制单元161包括中央处理单元(CPU)和被配置为存储由CPU所要执行的控制程序的存储器，并且对摄像设备100的各单元的处理操作进行控制。操作单元162包括用户所使用的诸如按键、按钮或触摸面板等的输入装置，以向摄像设备100给出指示。控制单元161检测来自操作单元162的操作信号，执行存储器(未示出)中所存储的控制程序，并且对摄像设备的各单元进行控制，以使得执行与操作信号相对应的操作。显示单元123包括用于显示摄像设备100中所拍摄或再现的图像、菜单画面和各种信息等的液晶显示器(LCD)等。

在操作单元162发出了用以开始摄像操作的指示的情况下，通过摄像光学单元101将要拍摄的被摄体的光学图像形成在图像传感器单元102上。照相机控制单元104基于评价值计算单元105所获取出的诸如光圈、焦点、照相机抖动等的评价值的计算结果以及识别单元131所提取出的被摄体信息，来对摄像光学单元101和图像传感器单元102在摄像期间的操作进行控制。

图像传感器单元102将透过了针对各像素配置的红色、绿色和蓝色(RGB)颜色滤波器的光束转换成电信号。图7是示出配置在图像传感器单元102的摄像面上的颜色滤波器的示例的图，并且表示摄像设备100所应对的图像的像素阵列。如图7所示，针对各像素，以马赛克图案形式配置红色(R)703、绿色(G)701和蓝色(B)702，以形成如下结构，其中在该结构中，针对2行和2列的每4个像素规则地配置一个红色像素、一个蓝色像素和两个绿色像素的组。这些像素的这种配置通常被称为“拜尔阵列”。

传感器信号处理单元(获取单元)103针对像素值对利用图像传感器单元102对光学图像进行光电转换所获得的电信号进行修复处理。修复处理包括针对图像传感器单元102的缺失像素和可靠性低的像素的像素值进行的如下处理：使用相邻像素值对要修复的像素值进行插入的处理(针对由于像素的缺陷而导致的缺陷像素值进行校正处理)、以及减去预定的偏移值以补偿图像传感器单元102的输出的黑电平的处理。在本实施例中，将从来自图像传感器单元102的输出到来自传感器信号处理单元103的输出的电信号(数据)称为“RAW数据(RAW图像)”，这表示原始(未显像)图像。传感器信号处理单元103所要进行的各种校正处理可以是在后级设置的显像单元110中所要进行的显像处理之前所要进行的众所周知的处理。另外，传感器信号处理单元103可以仅进行这些处理中的一部分。

在显像单元110中对RAW数据进行显像处理。显像单元110包括如下的多个不同的显像处理单元：作为第一显像单元的简单显像单元111和作为第二显像单元的高质量图像显像单元112。显像单元110还包括被配置为在简单显像单元111的输出和高质量图像显像单元112的输出之间进行选择的切换单元121。简单显像单元111和高质量图像显像单元112这两者对RAW数据进行去拜尔(去马赛克)，以将RAW数据转换成包括亮度和色度的信号，并且进行诸如去除包含在各信号中的噪声以及光学失真校正等的用以使图像最优化的所谓的显像处理。

特别地，与简单显像单元111相比，高质量图像显像单元112能够应对像素数量较多的图像，并且高精度地进行处理步骤。高精度使得与简单显像单元111相比获得图像质量较高的显像图像，但是另一方面，处理负荷变大。因此，在本实施例中的高质量图像显像单元112不是专门针对与摄像一起的实时显像而设计的，而是被配置为可以花费时间来进行摄像之后的分布式处理。因而，后面花费时间而不是在摄像时进行高质量图像显像可以将电路规模和电力消耗的增大(峰值)抑制成低水平。此外，高质量图像显像单元112是被配置为以逐步方式对从传感器信号处理单元103所获取到的RAW数据进行多个不同的图像处理步骤。

另一方面，与高质量图像显像单元112相比，简单显像处理111的图像质量较低，但是被配置为与高质量图像显像相比与显像有关的处理量较少，从而使得在摄像期间可以高速地进行显像处理。通过这种方式，简单显像处理111具有小处理负荷，因而用于与摄像操作一起进行实时显像。根据基于用户经由操作单元162所指示的操作的控制或者当前的操作模式，控制单元161对切换单元121进行切换。

例如，简单显像单元111将显像之后的图像大小限制成二百万像素以下，或者将诸如噪声去除和光学失真校正等的相对耗时的信号处理限制成有限的处理步骤或省去这些信号处理，来实现显像处理的高速化和简单化。通过简单显像单元111在减小图像大小之后执行处理或者部分地限制显像处理的功能，摄像设备100可以在小电路规模和低电力消耗的情况下，实现以例如二百万像素并且每秒60帧的性能来进行摄像。

注意，本实施例描述了简单显像单元111和高质量图像显像单元112独立地存在于显像单元110中的结构，但是本发明还包括以下结构：一个显像单元对工作模式进行切换，以排他地进行简单显像和高质量图像显像的处理步骤。

显示处理单元122对显像单元110进行了显像处理的图像数据进行预定的显示处理，然后将图像数据显示在显示单元123上。还可以经由视频输出端子124将进行了显像处理的图像数据输出至外部连接的显示装置。视频输出端子124例如包括诸如高清晰度多媒体接口(HDMI：注册商标)或数字串行接口(SDI)等的通用接口。

还将显像单元110进行了显像处理的图像数据供给至评价值计算单元105。评价值计算单元105基于从传感器信号处理单元103输出的RAW数据或者从显像单元110输出的图像数据来计算诸如聚焦状态和曝光状态等的评价值。

还将显像单元110进行了显像处理的图像数据供给至识别单元131。识别单元131具有用于检测并识别图像数据中的被摄体信息的功能。例如，识别单元131检测图像数据中所表示的图像中的脸，并且在检测到脸的情况下，输出表示脸的位置的信息并且还基于与诸如脸等的特征有关的信息来鉴别特定人物。

还将显像单元110进行了显像处理的图像数据供给至静止图像压缩单元141和运动图像压缩单元142。在要将图像数据压缩成静止图像的情况下，使用静止图像压缩单元141。在要将图像数据压缩成运动图像的情况下，使用运动图像压缩单元142。静止图像压缩单元141和运动图像压缩单元142各自对目标图像数据进行高效率编码(压缩编码)，以生成信息量被压缩了的图像数据，并且将该图像数据转换成图像文件(静止图像文件或运动图像文件)。针对静止图像的压缩，可以使用联合图像专家小组(JPEG)等，并且对于运动图像的压缩，可以使用动态图像专家组-2(MPEG-2)、H.264或H.265等。

在本实施例中，在将从传感器信号处理单元103输出的图像数据称为“RAW数据”并且将显像单元110所输出的图像数据称为“显像数据”的情况下，以下将在高质量图像显像单元112内部显像处理完成中途的状态下的中间图像数据称为“iRAW数据”。该术语表示显像处理完成中途的RAW数据，并且是“中间RAW数据”的简写。

图2A和2B示出高质量图像显像单元112的详细结构。在图2A和2B中，通过相同的附图标记来表示与图1中的部分相同的部分。高质量图像显像单元112从传感器信号处理单元103接收所拍摄图像的RAW数据作为输入，并且将以逐步方式进行了构成高质量图像显像的多个不同的图像处理步骤的图像数据输出至切换单元121。多个处理步骤包括诸如周围光量校正单元220、失真校正单元221、去马赛克处理单元222、白平衡校正单元223、曝光校正处理单元224、轮廓校正单元225和噪声校正单元226等的图像处理单元所执行的各处理步骤。上述iRAW数据指各图像处理单元输出的图像数据。

各图像处理单元输出的iRAW数据可以输入至后级的以下图像处理单元，或者可以在控制单元161的操作下写入缓冲器115中。同样地，各图像处理单元可以接收前级的图像处理单元所输出的iRAW数据作为其输入，或者在控制单元161的控制下从缓冲器115读取图像数据。换句话说，控制单元161对作为被配置为以逐步方式对所获取到的RAW数据进行多个不同的图像处理步骤的处理单元的高质量图像显像单元112进行控制。这是本实施例的特征，并且根据诸如摄像设备的工作模式、电力消耗、图像大小以及来自操作单元的用户指示，高质量图像显像单元112可以与缓冲器115交换其iRAW数据。

注意，输入至高质量图像显像单元112的数据是RAW数据本身，但是在该数据被视为输入至高质量图像显像单元112之后的内部信号的情况下，为了方便而将该数据视为iRAW数据。

RAW压缩单元113使用诸如小波变换或者差分编码等的技术对缓冲器115中所存储的iRAW数据进行高效率编码，以将iRAW图像转换成处于压缩状态下的iRAW文件，并且将该iRAW文件存储在缓冲器(记录介质)115中。iRAW文件可以留在缓冲器115中被再次读取，但是在iRAW文件存储在缓冲器115中之后，该iRAW文件可以转移至其它记录介质以在其上进行记录(并且从缓冲器115中删除)。

记录再现单元151将iRAW文件以及在稍后将要描述的静止图像文件和运动图像文件记录在记录介质152上。记录介质152是内置的大容量存储器或硬盘或者可移除存储卡等。

记录再现单元151还可以从记录介质152读取静止图像文件、运动图像文件和iRAW文件。

RAW解压缩单元114对记录再现单元151所读取的iRAW文件进行解压缩以恢复存储在缓冲器115中的iRAW数据。记录再现单元151可以经由通信单元153而相对于外部存储器或服务器写入和读取各种文件。通信单元153具有能够通过使用通信端子154经由有线或无线通信来访问因特网或者外部装置的结构。

在用户经由操作单元162而开始再现操作的情况下，记录再现单元151从记录介质152或者经由通信单元153获取所期望的文件并且再现该文件。如果要再现的文件是iRAW文件，则记录再现单元151将所获取到的iRAW文件发送至RAW解压缩单元114。

如果要再现的文件是静止图像文件，则记录再现单元151将所获取到的静止图像文件供给至静止图像解压缩单元143。如果要再现的文件是运动图像文件，则记录再现单元151将所获取到的运动图像文件供给至运动图像解压缩单元144。

静止图像解压缩单元143对所输入的静止图像文件进行解码和解压缩，或者在该文件已经被解压缩的情况下不进行任何操作，并且将该文件作为静止图像的再现图像供给至显示处理单元122。运动图像解压缩单元144对所输入的运动图像文件进行解码和解压缩，或者在该文件已经被解压缩的情况下不进行任何操作，并且将该文件作为运动图像的再现图像供给至显示处理单元122。

接着，参考附图来详细说明根据本发实施例的摄像设备100的工作模式。图3是示出摄像设备100中的工作模式的转换的状态转换图。响应于来自操作单元162的用户操作指示或控制单元161的判断来执行模式的这种转换，并且在一种情况下响应于操作而手动进行该转换，而在另一种情况下自动进行该转换。如在图3中，摄像设备100根据操作而经由空闲状态(300)适当切换成以下四种模式中之一：静止图像拍摄模式(301)、静止图像再现模式(302)、运动图像拍摄模式(303)和运动图像再现模式(304)。

参考图2A和2B来详细说明高质量图像显像单元112。在图2A和2B中，周围光量校正单元220校正摄像光学单元101中的趋势，以使图像朝向镜头的中心更亮并且朝向周边更暗。失真校正单元221对诸如由于摄像光学单元101中的镜头特性而产生的诸如桶形失真等的失真进行校正。

去马赛克处理单元222对如图7所示的拜尔阵列的图像进行图像处理，以使得各像素具有R、G和B信号。在被去马赛克处理单元222进行处理之前各像素仅具有与一个颜色有关的信息的情况下，去马赛克后的各像素具有与R、G和B颜色有关的信息，因而通常数据量增加了。例如，数据量增加为3倍。白平衡校正单元对R、G和B的平衡进行调节，以针对具有各种色温的光源正确地校正白色。曝光校正单元224对各像素进行增益操作或者偏移叠加，以控制图像整体的亮度。

轮廓校正单元225对图像进行空间的低通滤波器(LPF)或高通滤波器(HPF)，以增强或模糊被摄体的轮廓。噪声校正单元226对图像进行LPF，以抑制图像整体或指定区域中的噪声，或者通过叠加来合成多个图像以抑制图像中的噪声。注意，在本实施例中，图2A和2B中所示的各功能单元的顺序不限于本示例。另外，高质量图像显像单元112所执行的图像处理的类型不限于本示例。例如，除了这里所示的这些功能以外，高质量图像显像单元112还可以具有进行用于将RGB图像转换成亮度和色度信号的颜色空间转换处理的功能、用于进行伽马处理的功能、高动态范围(HDR)增强功能、以及用于通过改变图像的切出位置所进行的抖动校正的电子防震功能等。

缓冲器接口(I/F)单元227在缓冲器115和各功能单元220～226之间交换与要记录和再现的图像有关的数据。将高质量图像显像单元112的功能单元的输入和输出连接至缓冲器I/F单元227中的切换器。缓冲器I/F单元227中所设置的切换器用于将高质量图像显像单元112中处理后的RAW数据供给至用于进行下一处理步骤的功能单元和缓冲器115中的至少一个。控制单元161对这些切换器进行控制，以控制各功能单元的经由缓冲器I/F单元227的输入是接收前级中的功能单元所输出的iRAW数据还是接收缓冲器115中所存储的iRAW数据。

在图2A和2B中，缓冲器I/F单元227是用于使各功能单元220～226经由缓冲器115在记录介质152等中记录图像或者再现图像的I/F。

注意，尽管在图2A和2B中未示出，但是在进行各信号处理操作时，功能单元220～226还可以使用缓冲器115作为临时存储空间，并且为此，与缓冲器I/F单元227的控制无关地，功能单元220～226能够与缓冲器115交换数据。

例如，在摄像设备100处于摄像模式中的情况下，控制单元161将缓冲器I/F单元227中的切换器控制成图2A所示的状态，并且对从传感器信号处理单元103输出的RAW数据进行高质量图像显像单元112中的周围光量校正和失真校正的处理。将如此处理后的iRAW数据一度存储在缓冲器115中，然后记录在记录介质152中。如在本示例中，在摄像期间，控制单元161对在将iRAW数据写入缓冲器115中之前在高质量图像显像单元112中显像处理执行到哪一个步骤进行控制。

此外，在本示例中，高质量图像显像单元112的处理在失真校正单元221所进行的失真校正处理处完成，因而没有必要操作从去马赛克处理单元222到噪声校正单元226的功能单元。对于功能单元222～226，可以断开向这些功能单元供给的电力，或者可以停止内部操作时钟，以积极地抑制电力消耗。

另一方面，在摄像设备100处于再现模式中的情况下，将缓冲器I/F单元227中的切换器控制成图2B所示的状态，并且通过缓冲器I/F单元227进行如下控制：将从记录介质152读取的iRAW数据输入至高质量图像显像单元112的去马赛克处理单元222，并且接收随后的显像处理步骤。

另一方面，在现有技术的高质量图像显像处理中，为了减少再现期间的RAW显像时间，通常尽可能地在摄像期间进行后级的显像处理(曝光校正处理、轮廓校正处理和噪声校正处理等)。然而，在本实施例中，如上所述，根据摄像设备(包括摄像单元和图像处理单元)的摄像模式、摄像条件的设置(变焦、调焦、曝光或ISO感光度等)、电力消耗、诸如处理负荷等的工作状况、图像大小、与诸如S/N比等的RAW数据有关的信息以及来自操作单元的用户指示等，适应性地控制对显像处理的逐步执行，以使摄像操作中的RAW数据处理最优化。

在摄像设备100处于运动图像拍摄模式中的情况下、或者尽管处于静止图像拍摄模式中但是在进行连续摄像时、或者在所记录图像的像素数量大于预定基准的情况下，如上所述，去马赛克处理单元222显著增大了图像数据的量。因此，在实时处理中与摄像一起进行用于显像的图像处理的情况下，处理时间变得比预定时间段长，这可能使得摄像性能劣化。为了避免这种情况，在本实施例中，高质量图像显像单元112适应性地控制缓冲器I/F单元227中所包括的切换器的连接，以控制进行到哪一个步骤的处理。例如，将这些切换器的连接控制成图2A和2B所示，以将高质量图像显像单元112的处理量限制成执行直到失真校正单元221的处理为止的图像处理，从而使得在失真校正之后将iRAW数据(来自高质量图像显像单元112的输出)传递至缓冲器115。结果，可以抑制实时操作中的高质量图像显像单元112的处理时间，以维持摄像性能。

上述示例是如下情况的说明：在摄像模式中，在诸如运动图像拍摄模式的情况、或者尽管处于静止图像拍摄模式中但是在进行连续摄像时、或者在所记录图像的像素数量大的情况等的情况下，可以预先判断为要应对的图像数据较大，并且将高质量图像显像单元112的控制限制到指定的显像处理步骤。

另一方面，在不对用于将正拍摄的图像数据限制到指定的显像处理步骤的方法进行限制的情况下，处理可以根据高质量图像显像单元112中的数据处理的剩余量而适应性地改变。利用示例来说明这样的适应性控制结构(方法)。

针对高质量图像显像单元112中的处理步骤的适应性控制的第一示例是在高质量图像显像单元112的数据处理速度落后于从传感器信号处理单元103输出的RAW数据的量并且缓冲器115可能溢出的情况下的控制。

如上所述，功能单元220～226还使用缓冲器115作为进行各信号处理操作时的临时存储空间。

此外，功能单元220～226的实际信号处理的详情可能根据各图像的状态而适应性地改变。

例如，噪声校正单元226判断图像的信噪比(S/N)的状态，以在图像的S/N低的情况(由于在利用小光量的场景中拍摄图像因而噪声大的情况等)下增大用于降低噪声的信号处理的量，并且另一方面，在图像的S/N高的情况下，减少信号处理的量。

如上所述，在各功能单元的数据处理的量根据图像的状态而动态改变的情况下，例如，控制单元161判断由于数据处理的量已改变因而是否有可能使缓冲器115溢出，并且在缓冲器115有可能溢出的情况下，进行控制以使得将进行高负荷的显像处理之前的步骤中的iRAW数据经由缓冲器115记录在记录介质152上，或者经由通信单元153记录在外部存储器或服务器上，并且使得不进行高负荷的显像处理，以避免缓冲器115中的数据的累积。之后，根据图像(电信号、数据)的状态，在缓冲器115中已经产生了针对溢出的余裕的情况下，进行控制以将所进行的直到高负荷的步骤为止的显像处理的iRAW数据写入缓冲器115中。通过这种方式，控制单元161根据RAW数据的数据量以及由于与图像相对应的处理速度而导致的缓冲器115的预期溢出，来对要进行到哪一个步骤的处理进行适应性地控制。

注意，如此所述，在适应性地改变显像处理的步骤的情况下，例如，针对静止图像的情况下的各所拍摄图像以及针对运动图像情况下的一个流中的各帧，对显像处理的步骤进行控制。因此，当根据本实施例的摄像设备100处于再现模式时，在要对iRAW数据进行剩余的显像处理的情况下，需要针对各帧判断显像处理已经完成到哪一个步骤。考虑到该情况下，将根据本实施例的RAW数据或iRAW数据的文件配置如下。

图4是示出RAW文件的结构示例的图。图4中所示的RAW文件400包括头部401、元数据部402和压缩数据部403。头部401包括用于表示该文件是采用RAW文件格式等的识别码。压缩数据部403包括进行了高效率编码的iRAW数据的压缩后的数据。

元数据部402包括与iRAW文件的文件名有关的信息404，并且还包括用于表示高质量图像显像单元112已经完成了显像处理到哪一个步骤的显像状况信息405。元数据部402还包括：分别由评价值计算单元105和识别单元131所检测出的评价值和被摄体信息、以及包括来自摄像光学单元101和图像传感器单元102的在摄像时的信息(例如镜头类型识别信息和传感器类型识别信息)的摄像元数据406。另外，尽管未示出，但是元数据部402还可以包括在摄像期间简单显像单元111所生成的图像、记录RAW文件的记录介质的识别码、以及与记录RAW文件夹有关的路径信息等。

如上所述，文件包含显像状况信息作为元数据，结果能够辨别出针对iRAW数据显像处理已经完成到哪一步骤。这同样适用于以下要说明的第二示例到第六示例。注意，根据本示例的各种文件的上述结构仅是示例，并且可以使用与诸如照相机文件系统的设计规则(DCF)或可交换图像文件格式(EXIF)等的标准相兼容的结构。

接着，说明针对高质量图像显像单元112中的处理步骤的适应性控制的第二示例。在要对大图像数据进行显像处理的情况下，增大电力消耗以减少摄像时间。因此，控制单元161对相对于摄像设备100内置或外接地添加的用以供给电力的电池的剩余量进行监视，并且根据该剩余量进行控制以改变高质量图像显像单元112的显像处理的步骤。利用该结构，对摄像设备100的电力消耗进行控制，以根据需要延长可以拍摄图像的时间(能够摄像时间)。应当理解，在摄像设备100连接至AC电源插座等或处于可以持续地被供给电力的情形的情况下，可以进行控制，以进行尽可能多的显像处理的步骤。

随后，说明针对高质量图像显像单元112中的处理步骤的适应性控制的第三示例。根据本实施例的摄像设备100在摄像期间记录iRAW数据，因而在再现时需要执行剩余的显像处理。针对在再现期间要进行的显像处理的详情，一些用户可能更喜欢将所有事项交给摄像设备，即，使用所谓的“自动模式”，但是摄像设备需要根据用户在其他情况下进行的选择来预先准备特定的设置模式。设置模式例如包括如下模式：识别人物的脸以使要拍摄的被摄体的白平衡和曝光最佳的模式、以及在要拍摄的被摄体是风景的情况下针对各风景自动调节颜色饱和度的模式等。此外，尤其对于有经验的照相机用户，用户自己经常设置详细的显像条件。特别地，经常对白平衡等进行细微调节以显像出期望的图像。因此，控制单元161被配置为进行控制，以使得学习用户所设置的上述设置模式以及用户详细设置的显像处理所用的处理参数，以根据该内容来改变高质量图像显像单元112的处理步骤。例如，如果用户频繁调节白平衡，则在紧挨着白平衡校正单元223之前停止摄像期间的高质量图像显像单元112的显像处理，以记录iRAW数据。

接着，说明针对高质量图像显像单元112中的处理步骤的适应性控制的第四示例。在通过经由通信单元153和通信端子154的通信与外部装置交换图像数据的情况下，假设存在可以交换图像数据的数据传输速度根据与外部装置的通信状况而改变的情况。不期望在数据传输速度低的情况下发送大的数据。通过功能单元220～226来改变从高质量图像显像单元112输出的iRAW数据的数据大小，因而，可以根据通信状况来改变高质量图像显像单元112的显像处理的步骤。

接着，说明针对高质量图像显像单元112中的处理步骤的适应性控制的第五示例。以上说明了根据各图像的状态来判断高质量图像显像单元112的显像处理的步骤的情况，但是例如在镜头的光圈由用户的操作而改变的情况下或者在镜头的变焦倍率被改变的情况下，失真校正单元221和曝光校正单元224等的处理负荷可能瞬间改变。本发明还考虑了在这种情况下改变高质量图像显像单元112的显像处理的步骤。

此外，在上述说明中已经使用了表达“由用户的操作”，但是本发明还考虑了：在不限制成用户的操作的情况下，在自动操作模式等中，判断利用照相机的自发操作状态，以改变高质量图像显像单元112的显像处理的步骤。

接着，说明针对高质量图像显像单元112中的处理步骤的适应性控制的第六示例。

例如，不将图2A和2B所示的功能单元的顺序限制成该示例，并且可以采用图像数据趋向于增大的顺序来构建各功能单元。

这是因为，在如上所述图像数据明显增大或者图像数据预期将增大的情况下，改变高质量图像显像单元112中的显像处理的步骤并且将iRAW数据记录在记录介质152上以使得高质量图像显像单元112的处理负荷不增大，这是更有效的手段。

此外，高质量图像显像单元112中用于实现各功能单元的方式可以是利用专用电路的硬件处理或者利用处理器等的软件处理等。

通常，与硬件处理相比，软件处理的运算速度较低。因此，在如本发明那样，根据图像(电信号、RAW数据)的状态或者照相机的操作状况来改变高质量图像显像单元112的显像处理的步骤的情况下，进行了直到硬件处理为止的显像处理的状态可以被视为iRAW数据。

不仅可以单独地使用上述控制示例作为针对高质量图像显像单元112的处理步骤的适应性控制，而且在包括了用以固定处理步骤的控制下还可以适当组合，并且优先确定处理步骤(iRAW数据的输出时间)。应当理解，上述六个控制示例是示意性的，并且可以采用与摄像设备100的结构或要拍摄的被摄体的特性相对应的其它控制组件。此外，可以将这些控制组件中的各控制组件预先安装为要由控制单元161执行的控制程序，或者可以后面安装为更新程序，以使得可以增加或改变控制组件。

根据上述实施例，在摄像期间记录RAW数据的摄像设备中，可以提供用于记录中间RAW数据(iRAW数据)以使得摄像之后的RAW显像处理的速度增大的图像处理设备和图像处理方法。

根据本实施例，提供了具有对RAW数据进行记录和再现的结构的摄像设备，与现有技术相比，利用该摄像设备提高了便利性。

接着，参考图5来说明本发明的第二实施例。图5是示出根据本实施例的摄像设备500的结构示例的框图。在图5中，通过相同的附图标记来表示与根据图1所示的第一实施例的摄像设备100的功能单元相同的功能单元，并且省略其说明。

与根据第一实施例的摄像设备100的区别在于将差异运算单元570插入在缓冲器115与RAW解压缩单元114和RAW压缩单元113各自之间。差异运算单元570是如下的差异单元，其被配置为生成进行了直到控制单元所限制的步骤为止的处理的RAW数据与进行了在所限制的步骤之前的任一步骤的处理的RAW数据之间的差异数据。

在第一实施例的情况下，无法将直到完成了特定步骤为止的处理的iRAW数据恢复到该处理之前的状态。例如，在针对已经完成了图2A和2B中的噪声校正单元226所进行的显像处理的iRAW数据的再现时，用户想要再调节白平衡的情况下，在一些情况下，仅仅向白平衡校正单元223输入上述iRAW数据是不充分的。这是因为，在一些情况下，在显像处理的操作期间发生数据缺失，从而使得数据不可逆。因此，在这种情况下，优选将iRAW数据恢复成从传感器信号处理单元103输出的RAW数据的状态，并且通过高质量图像显像单元112从开头执行显像处理。然而，为了实现上述操作，需要确保iRAW数据可以用来恢复传感器信号处理单元103的输出步骤中的RAW数据。

现在，说明用于恢复RAW数据的结构。在图5中，在缓冲器115中，写入了传感器信号处理单元103所输出的RAW数据。在缓冲器115中，还写入了高质量图像显像单元112所输出的iRAW数据。差异运算单元570例如以像素为单位对缓冲器115中的RAW数据和iRAW数据进行差异运算。在本实施例中，将差异数据称为“dRAW数据”。注意，差异运算单元570生成表示通过使用dRAW数据可以恢复到哪一步骤的iRAW数据的信息。

通过RAW压缩单元114、使用诸如小波变换和差分编码等的技术对iRAW数据和dRAW数据分别进行高效率编码，并将其转换成压缩状态下的文件，并且通过记录再现单元151将其记录在记录介质152上。可选地，经由通信单元153将iRAW数据和dRAW数据记录在外部存储器或服务器上。

图6示出本实施例中记录在记录介质152上或者经由通信单元153记录在外部存储器或服务器上的RAW文件的结构的示例。参考图6，说明根据本实施例的RAW文件的结构。

图6所示的RAW文件600包括头部601、元数据部602和压缩数据部603。头部601包括用于表示该文件是采用RAW文件格式等的识别码。压缩数据部603包括进行了高效率编码的iRAW数据610和dRAW数据611。以这种方式将iRAW数据和dRAW数据记录成对，由此保持iRAW数据和dRAW数据之间的对应关系。

元数据部602包括与iRAW文件的文件名有关的信息604。元数据部602还包括表示高质量图像显像单元112已经执行显像处理到哪一个步骤的状况信息605。元数据部602还包括表示通过使用dRAW数据可以恢复到哪一个步骤的iRAW数据的信息。此外，元数据部602还包括：分别由评价值计算单元105和识别单元131所检测到的评价值和被摄体信息、以及包括来自摄像光学单元101和图像传感器单元102的在摄像时的信息(例如，镜头类型识别信息和传感器类型识别信息)的摄像元数据606。另外，尽管未示出，但是元数据部602还可以包括摄像期间简单显像单元111所生成的图像、记录RAW文件的记录介质的识别码、以及与记录RAW文件的文件夹有关的路径信息等。

然而，注意，在上述说明中，dRAW数据是RAW数据和iRAW数据之间的差异，但是dRAW数据可以是iRAW数据的不同版本之间的差异。例如，在对进行了直到噪声校正单元226为止的处理的iRAW数据再次进行白平衡调节的情况下，要利用差异数据恢复的数据可以是进行了直到去马赛克处理单元222为止的处理的iRAW数据而不是RAW数据。这是因为，由于无需执行从周围光量校正单元220到去马赛克处理单元222的处理，因而降低了所执行的显像处理的量。在这种情况下，期望dRAW数据是噪声校正单元226所输出的iRAW数据和去马赛克处理单元222所输出的iRAW数据之间的差异数据。通过这种方式，可以记录高质量图像显像单元112在所执行的各处理步骤处或者在预定处理步骤处的dRAW数据。

上述各实施例仅是用于实现本发明的示例，并且本发明的技术范围不应当以基于上述实施例的限制方式来进行解释。换句话说，在不偏离本发明的技术思想或主要特征的情况下，可以采用各种形式来实现本发明。

其它实施例

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行本发明的上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)^TM等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2014年3月28日提交的日本专利申请2014-069276以及2015年3月25日提交的日本专利申请2015-062650的优先权，这里通过引用将其全部内容包含于此。