摄像设备和摄像设备的控制方法
【技术领域】
[0001]本发明涉及一种摄像设备和摄像设备的控制方法。特别地，本发明涉及用于处理运动图像或静止图像的RAW图像的技术。
【背景技术】
[0002]传统上，摄像设备对图像传感器所拍摄到的原始图像信息(RAW图像)进行去拜尔(de-Bayer)处理(去马赛克处理)，将该图像转换成包括亮度和色差的信号，并且针对各信号进行包括噪声去除、光学失真校正和图像优化的所谓的显像处理。通常，在这种显像处理之后，对亮度信号和色差信号进行压缩和编码并最终记录在存储介质中。
[0003]其它的传统摄像设备能够记录RAW图像。在记录RAW图像的情况下，需要记录大量数据。然而，由于可以使原始图像的校正或劣化为最低限度并且可以在拍摄到RAW图像之后编辑这些RAW图像(这些在记录RAW图像的情况下是有利的)，因此高级用户优选使用这种摄像设备。
[0004]日本特开2011-244423论述了能够记录RAW图像的摄像设备。根据日本特开2011-244423，连同RAW图像一起记录显像参数，并且在进行再现的情况下，使用这些显像参数来对RAW图像进行显像和再现。
[0005]近年来，摄像设备已配备有更高级的图像传感器，并且每个图像的像素数已大幅增加。另外，呈现每秒可以连续拍摄到的图像的数量不断增加的趋势。因而，包括针对RAW图像的去拜尔处理以及诸如噪声去除和光学失真校正等的显像处理的处理量协同地增加。结果，与摄像操作同时进行实时显像处理需要更多的电路和更大的电力消耗。显像处理需要更大的电路面积或者对电力消耗施加了限制。因此，在一些情况下，无法实现高的摄像性會K。
[0006]另一方面，如上述日本特开2011-244423所论述的，如果在无需进行显像的情况下记录RAW图像，则可以减少摄像操作期间的显像所需的处理量。然而，由于在无需进行显像的情况下记录RAW图像，因此难以迅速地再现并显示图像。另外，由于RAW图像特有的数据的特殊性，因此可能无法利用其它装置对这些RAW图像进行再现(显像)。S卩，利用传统的RAW图像记录方法，用户友好性可能劣化。
[0007]因而，存在为了使得传统设备能够实现高的摄像性能并迅速地显示再现图像而要解决的问题。也就是说，需要将高成本的电路安装在这些设备上并利用高功率驱动这些设备，或者需要迅速地且简单地记录并再现RAW图像。
[0008]引f列表
[0009]专利文献
[0010]专利文献1:日本特开2011-244423
【发明内容】
[0011]本发明涉及如下技术，其中该技术用于在摄像操作期间通过仅需较少的处理量的简单显像来确保容易再现的图像的同时，实现来自RAW图像的高质量图像显像。本发明还涉及如下技术，其中该技术用于生成通过简单显像所获得的并且要迅速地再现的图像文件以及要再现为高质量图像的RAW文件，使该图像文件和该RAW图像彼此相关联，并且记录所关联的图像文件和RAW图像。
[0012]根据本发明的一个方面，一种摄像设备，包括:摄像单元，用于拍摄被摄体图像，并且生成表示RAW图像的信息；第一显像单元，用于获取表示所述RAW图像的信息，并且在摄像操作期间对所述RAW图像进行显像；存储单元，用于将表示所述RAW图像的信息存储在存储器中；第二显像单元，用于读取所述存储器中所存储的表示所述RAW图像的信息，并且对所述RAW图像进行显像，以获得相比所述第一显像单元所获得的图像具有更高图像质量的图像；显示处理单元，用于输出与所述第一显像单元或所述第二显像单元进行了显像的图像信息有关的显示图像；以及控制单元，用于进行控制操作，以使得:在所述摄像单元所进行的所述摄像操作期间以及紧挨在所述摄像操作之后，将所述第一显像单元进行了显像的图像信息供给至所述显示处理单元；以及在所述第二显像单元完成图像信息的显像的情况下，利用所述第二显像单元进行了显像的图像信息来替换所述第一显像单元进行了显像的图像信息，并且将所述第二显像单元进行了显像的图像信息供给至所述显示处理单元。
[0013]通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
【附图说明】
[0014]图1是示出根据本发明典型实施例的摄像设备的结构的框图。
[0015]图2是根据本典型实施例的状态转变图。
[0016]图3是示出根据本典型实施例的静止图像拍摄模式的处理的流程图。
[0017]图4A示出根据本典型实施例的静止图像文件和RAW文件的结构。
[0018]图4B示出根据本典型实施例的静止图像文件和RAW文件的结构。
[0019]图5是示出根据本典型实施例的空闲状态的处理的流程图。
[0020]图6是示出根据本典型实施例的静止图像再现模式的处理的流程图。
[0021]图7A示出根据本典型实施例的静止图像再现模式的显示处理。
[0022]图7B示出根据本典型实施例的静止图像再现模式的显示处理。
[0023]图7C示出根据本典型实施例的静止图像再现模式的显示处理。
[0024]图8是示出根据本典型实施例的运动图像拍摄模式的处理的流程图。
[0025]图9A示出根据本典型实施例的运动图像文件和RAW运动图像文件的结构。
[0026]图9B示出根据本典型实施例的运动图像文件和RAW运动图像文件的结构。
[0027]图10是示出根据本典型实施例的运动图像再现模式的处理的流程图。
[0028]图11示出像素阵列。
【具体实施方式】
[0029]以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
[0030]图1是示出根据本发明典型实施例的摄像设备100的结构的框图。图1所示的摄像设备100不仅可以将通过对被摄体摄像所获得的图像信息记录在存储介质中，而且还可以再现从存储介质所读取的图像信息。另外，摄像设备100例如可以对这种图像信息进行显像和显示并且与外部装置或服务器(云)交换图像信息。因而，可以将根据本发明典型实施例的摄像设备100表现为图像处理设备、记录设备、再现设备、记录再现设备或通信设备。
[0031]在图1中，控制单元161包括中央处理单元(CPU)和存储该CPU要执行的控制程序的存储器。控制单元161控制摄像设备100的整体处理。操作单元162包括包含用户向摄像设备100给出指示所用的键、按钮和触摸面板的输入装置。控制单元161检测来自操作单元162的操作信号，并且控制摄像设备100，以使得摄像设备100进行适合该操作信号的操作。显示单元123包括用于显示摄像设备100所拍摄或所再现的图像、菜单画面和各种信息的液晶显示器(IXD)。
[0032]如果用户经由操作单元162给出用于开始摄像操作的指示，则经由摄像光学单元101输入对象被摄体的光学图像并且在图像传感器单元102上形成该光学图像。在摄像的情况下，照相机控制单元104基于评价值计算单元105所获取到的与光圈、焦点和照相机抖动等有关的评价值的计算结果并且基于识别单元131所提取的与面部识别结果等有关的被摄体信息，来控制摄像光学单元101和图像传感器单元102的操作。
[0033]图像传感器单元102将透过红色、绿色和蓝色(RGB)镶嵌颜色滤波器的光转换成电气信号，其中针对各像素配置一个滤波器。图11示出图像传感器单元102中所配置的颜色滤波器。图11示出摄像设备100所处理的图像的像素阵列。如图11所示，红色(R)、绿色(G)和蓝色(B)滤波器呈镶嵌图案配置，其中针对各像素配置一个滤波器。每组2行X 2列的4个像素(一个红色像素、一个蓝色像素和两个绿色像素)规则地并排排列。通常将这种像素配置称为拜尔阵列。
[0034]传感器信号处理单元103对图像传感器单元102所获得的转换得到的电气信号进行像素恢复处理。传感器信号处理单元103通过使用相邻像素的值来对图像传感器单元102所获得的缺失像素或低可靠性像素的值进行恢复处理。这样，传感器信号处理单元103对恢复对象像素进行插值并且减去预定的偏移值。在本典型实施例中，将从传感器信号处理单元103输出的图像信息称为表示原始(未显像)图像的RAW图像信息(以下称为RAW图像)。
[0035]显像单元110对这种RAW图像进行显像。显像单元110包括多个不同的显像处理单元。显像单元110包括作为第一显像单元的简单显像单元111和作为第二显像单元的高质量图像显像单元112。另外，显像单元110包括选择来自该单元111或112的输出的开关单元121。简单显像单元111和高质量图像显像单元112这两者对RAW图像进行去拜尔处理(去马赛克处理)、即颜色插值处理。这些显像单元111和112将RAW图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使图像最优化。即，这些显像单元111和112进行所谓的显像处理。
[0036]特别地，高质量图像显像单元112相比简单显像单元111更加精确地进行各处理。通过更加精确地进行各处理，高质量图像显像单元112产生图像质量相比简单显像单元111所产生的图像质量更高的显像图像。然而，高质量图像显像单元112的处理负荷大于简单显像单元111的处理负荷。因而，本典型实施例中的高质量图像显像单元112没有被配置成与摄像操作同时进行实时显像。高质量图像显像单元112被配置为在摄像操作之后的空闲时间段内存在足够时间的情况下，能够进行分散处理。代替在摄像操作期间进行高质量图像显像，通过允许高质量图像显像单元112在摄像操作之后存在足够时间的情况下进行高质量图像显像，可以使电路规模或电力消耗的增加(峰值)减小为低水平。作为对比，简单显像单元111被配置为需要相比高质量图像显像所需的处理量更低的显像处理量，由此在摄像操作期间简单显像单元111可以相比高质量图像显像单元112更快地进行显像处理。然而，简单显像单元111所产生的显像图像的质量低于高质量图像显像单元112所产生的显像图像的质量。由于简单显像单元111的处理负荷较低，因此主要在摄像设备100与摄像操作同时进行实时显像的情况下使用简单显像单元111。利用控制单元161根据用户经由操作单元162所输入的操作或者根据当前操作模式来切换开关单元121。另外，信号被输出至的仅一个单元即简单显像单元111或高质量图像显像单元112可以与开关单元121的切换连动地进行显像操作。
[0037]在本典型实施例中，显像单元110单独包括简单显像单元111和高质量图像显像单元112。然而，可选地，可以配置单个显像单元以通过切换操作模式来选择性地进行简单显像处理和高质量图像显像处理。
[0038]显示处理单元122对显像单元110进行了显像的图像信息进行预定显示处理。接着，显示单元123显示该图像。另外，可以将显像后的图像信息经由视频输出端子124输出至外部显示装置。视频输出端子124的示例包括诸如高清晰度多媒体接口(HDMI)或串行数字接口(SDI)等的通用接口。
[0039]还将显像单元110进行了显像的图像信息供给至评价值计算单元105。评价值计算单元105根据该图像信息来计算诸如表示聚焦状态和曝光状态的评价值等的评价值。
[0040]还将显像单元110进行了显像的图像信息供给至识别单元131。识别单元131具有检测并识别该图像信息中的诸如面部或人等的被摄体信息的功能。例如，如果识别单元131检测到该图像信息所表示的画面上的面部，则识别单元131输出表示该面部的位置的信息。另外，例如，识别单元131基于与诸如面部等的特征有关的信息来进行特定人的认证。
[0041]将显像单元110进行了显像的图像信息供给至静止图像压缩单元141或运动图像压缩单元142。静止图像压缩单元141和运动图像压缩单元142分别用于将该图像信息压缩作为静止图像和运动图像。静止图像压缩单元141和运动图像压缩单元142对对象图像信息进行高效率编码(压缩编码)，生成具有压缩信息量的图像信息，并且将该图像信息转换成图像文件(静止图像文件或运动图像文件)。可以使用JPEG等来进行静止图像的压缩，