用根据本发明示例性实施例的相机模块的拍摄和图像处理相关的整体操作。具体来讲，在拍摄模式下，控制器180可控制与用于在拍摄选项被设置的图像拍摄方案下应用拍摄选项的图像补偿的后处理操作相关的整体操作。控制器180可使显示图像与具有全分辨率的图像(静止图像)分离，以并行地(单独地)处理图像。控制器180被配置为控制相机模块170处理预览模式下的显示图像。控制器180控制相机模块170同时地(例如，表示基本上同时，在同一时刻或在给定的重叠时间段内)根据显示图像来处理预览显示，并针对具有全分辨率的图像来处理图像转换的后台(诸如，后处理补偿)。
[0067]如果在通过执行存储在存储器150中的至少一个程序对显示图像的预览进行显示时接收到基于拍摄选项的拍摄命令，则控制器180处理将拍摄选项应用于具有全分辨率的图像的图像补偿，还执行与进入预览模式相关的操作以基于下一帧的显示图像来处理预览显示(即，并行地通过图像补偿进行处理)。所述至少一个程序可包括用于执行与下述处理相关的操作的命令:将从相机模块获取的图像转换为显示图像和具有全分辨率的图像(静止图像)，对转换后的显示图像和具有全分辨率的图像进行缓存，显示被缓存的显示图像作为预览图像，在对显示图像进行显示作为预览的同时，在设置拍摄选项的输入被接收时，显示通过将拍摄选项应用于显示图像而获得的效果预览图像，在快门按钮的输入被接收时，作为后台处理将拍摄选项应用于具有全分辨率的图像的图像补偿，并在作为后台处理将拍摄选项应用于具有全分辨率的图像的图像补偿的同时，在快门按钮的输入被接收时进入预览模式以基于下一帧的显示图像来处理预览显示。将参照附图在便携式装置的操作及其控制方法的示例中描述控制器180的详细的控制操作。
[0068]在控制器180的控制下，供电单元190使用从外部电源施加的电力或内部电源对其施加的电力，并向每个构成元件供应操作每个构成元件所需的电力。我们注意到了电子装置的供电单元可仅包括可拆卸的电源线，其中，所述电源线可能包括也可能不包括传递某一期望水平的能量的转换电路。此外，申请人所附的权利要求不描述电池，并且供电单元可包括连接到电源的硬件。
[0069]同时，根据本发明的各种示例性实施例可被实现在其上存储有机器可执行代码的介质可读介质中，其中，所述机器可执行代码可被加载到计算机、处理器或微处理器内以进行执行。根据硬件实现，可使用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSro)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于执行所述功能的电子单元(仅列举一些非限制性的可能性)中的至少一种来实现本发明各种示例性实施例。在某些情况下，可由控制器180实现变化示例性实施例。根据软件实现，可通过包括机器可执行代码的单独的软件模块来实现根据说明书的过程和功能的实施例，其中，所述机器可执行代码被加载到硬件内以发挥功能。当软件模块被加载到硬件内并被执行时，所述软件模块可执行说明书中所描述的功能和操作中的至少—个°
[0070]此外，图1中所示的便携式装置可包括使用应用处理器(AP)、图像处理单元(GPU)和中央处理单元(CPU)来支持本发明的某些实施例的功能的各种装置，诸如各种信息和通信装置、多媒体装置及其应用装置。例如，便携式装置包括基于与各种通信系统相应的各个通信协议进行操作的装置，诸如，平板个人计算机(PC)、平板电话、智能电话、数码相机、便携式多媒体播放器(PMP)、媒体播放器、便携式游戏装置、膝上型计算机、个人数字助理(PDA)以及移动通信装置。
[0071]图2是示意性地示出根据本发明示例性实施例的相机模块170的示例性配置的框图。
[0072]现在参照图2，相机模块170包括相机210、图像处理器230和编解码器250。
[0073]可实现与图1和图2相比具有更多或更少元件的相机模块170。
[0074]当由控制器180驱动相机模块170时，也就是说，当激活拍摄功能时，相机210通过内部传感器来获取图像。相机210可包括例如光学单元211、图像传感器213和信号处理器 215。
[0075]继续参照图2，光学单元211通过meca快门、马达和致动器进行操作，并可通过致动器来操作缩放操作和聚焦操作。光学单元211提供外围图像，并且图像传感器213检测从光学单元211提供的图像并将所述图像转换为电信号。图像传感器231可以是具有高分辨率的图像传感器，诸如CMOS传感器或CCD传感器。在本发明示例性实施例中，图像传感器231可以是检测大于的超高清(UHD)级的图像的传感器。图像传感器213可在其中包括全局快门。通过信号处理器215将从图像传感器213检测到的图像转换为数字图像，并输出所述数字图像。
[0076]信号处理器215可包括图像信号处理器(ISP)。相机210可包括取景器。图像处理器230将从相机210产生的图像转换为显示图像，并对所述显示图像进行处理。此外，当拍摄选项被添加时，图像处理器230可对使用显示图像的图像转换和使用静止图像的图像转换进行处理。图像处理器230可包括预处理器231、图像缩放器233、静止图像缓冲器235、显示图像缓冲器237和后处理器239。
[0077]预处理器231执行对从相机210获取的图像进行预处理的功能。例如，预处理功能可包括3A(AWB(自动白平衡)、AE(自动曝光)、AF(自动聚焦)提取和处理功能、镜头暗角校正、坏像素校正和畸变(knee)校正功能。
[0078]图像缩放器233将从预处理器231输出的相机210的具有全分辨率的图像调整(缩放)为用于显示在显示单元130上的尺寸。例如，可通过诸如尺寸调节、抽取、插值、裁剪、相加和平均的各种方案中的至少一种方案来实现图像缩放。图像缩放器233可包括尺寸调节器和/或求和平均单元，其中，尺寸调节器和求和平均单元中的每一个包括用于操作的硬件，诸如，处理器、子处理器和/或与其相关的电路。
[0079]当通过尺寸调节器(未示出)来实现图像缩放器233时，尺寸调节器对从预处理器输出的具有高分辨率的图像进行尺寸调节，以使其符合将显示在显示单元130上的图像的容量和尺寸。在这种情况下，如上所述，所述尺寸调节可执行适合于显示单元130的宽高比的诸如抽取、插值和裁剪的操作，并可在控制单元180的控制下进行操作。
[0080]当通过求和平均来实现图像缩放器233时，求和平均单元(未示出)被配置为对图像的邻近像素进行相加和平均，以减少图像的像素数量。求和平均单元对从预处理器231输出的具有全分辨率的图像的邻近像素进行平均，以减少显示图像的像素数量。
[0081]静止图像缓冲器235提供机器可读存储器对从预处理器231输出的相机210的具有高分辨率的图像进行缓存。静止图像缓冲器235可被设置为具有足以存储具有高分辨率的帧图像的容量的尺寸。静止图像缓冲器235对每一帧的从预处理器231输出的具有全分辨率的图像进行缓存。当图像捕捉被请求时，可访问在控制器180的控制下被选择的图像。
[0082]显示图像缓冲器237可对从图像缩放器233输出的缩放后的图像进行缓存。显示图像缓冲器237可针对时间进行补偿，以显示和处理显示单元130上的显示图像。
[0083]从显示图像缓冲器237输出的显示图像和/或从静止图像缓冲器235输出的静止图像被输入到后处理器239。后处理器239执行诸如色彩插值、噪声抑制和色彩校正的后处理，并通过对经过后处理的图像进行图像转换处理来产生YUV数据。更具体地讲，后处理器239对经过预处理的图像进行色彩插值的后处理，并将经过后处理的图像转换为YUV图像。后处理器239可包括色彩插值器、图像处理链(IPC)和图像转换器。
[0084]色彩插值器执行将输入图像转换为彩色图像的色彩插值功能。例如，色彩插值器可将从相机210输出的图像的像素转换为包括三种颜色RGB的色彩(全色转换)。色彩插值器使用邻近像素之间的相关性来执行色彩插值。通常，在图像处理器230内，在色彩插值之前的图像处理可被称为预处理，并且色彩插值之后的图像处理可被称为后处理。
[0085]后处理器239的IPC还可对通过色彩插值器被色彩插值的图像执行降噪、伽马校正和亮度校正。
[0086]图像转换器将经过后处理的图像转换为YUV图像。
[0087]在预览模式下，后处理器239可输出由显示单元130显示的图像。后处理器239在捕捉模式下将后处理器239的图像分类为显示图像和静止图像，在显示单元130上输出显示图像，通过后台对具有全分辨率的图像进行后处理补偿，并通过编解码器250输出存储器150中的图像。可在加载到硬件内以执行的软件方案中配置后处理器239的功能。
[0088]在配置后处理器239的功能的方法中，控制器180在每一帧区间期间控制显示图像缓冲器239和静止图像缓冲器250，以选择应用于后处理器239的图像，并控制从后处理器239输出的图像，以将所述图像分类为显示图像和静止图像。控制器180将经分类的显示图像恢复到预览模式，并控制显示单元130输出所述显示图像，并且作为后台针对经分类的静止图像处理图像补偿以完成图像补偿。基于后台的后处理补偿功能可被存储或加载在至少一个存储器150中，并由控制器180或单独的处理器(未示出)执行。可通过单独的用于基于后台的后处理的图像补偿应用来实现基于后台的后处理补偿功能，其中，用于基于后台的后处理的图像补偿应用与执行拍摄功能(具体地讲，预览模式、预览模式下的预览图像的显示和拍摄)的基本拍摄应用分离。在这种情况下，拍摄应用和图像补偿应用并行地对图像进行处理。如果拍摄应用终止而后处理补偿还未终止，则图像补偿应用可继续执行任务而不考虑拍摄应用的终止，直到后处理补偿已终止为止。图像补偿的任务可根据用户设置在预设时间段期间被操作，或者被手动终止，或者根据用户选择而被执行。可按照各种单位来设置预设时间段期间的操作，可以以预定时间段(例如，预定时间间隔的夜间(例如，用户睡觉时的时间间隔))为单位、以时间为单位、以星期为单位、以周为单位和以月为单位来设置预设时间段期间的操作。
[0089]编解码器250包含或配置用于对从图像处理器230输出的静止图像进行压缩编码并在存储器150中存储编码后的静止图像的硬件。编解码器250可包括JPEG编解码器。
[0090]将描述具有上述构造的便携式装置的操作。
[0091]控制器180根据通过用户输入单元120输入的控制命令来控制相机模块170的操作。换言之，当相机模块170的驱动命令被产生时，用户控制相机210和图像处理器230在预览模式下执行操作。
[0092]更详细地讲，控制器180根据驱动命令来驱动相机210，并且从相机210输出的图像被输入到预处理器231。在控制器180的控制下，预处理器231针对每个帧周期(帧率)产生帧图像。帧周期可具有30fps (帧/秒)或更大(例如，60fps)。预处理器231从帧图像提取并处理3A(AWB、AE、AF)，并执行镜头暗角补偿、坏像素和畸变补偿。如上所述，经过预处理的图像是具有全分辨率的图像，所述图像被应用于图像缩放器233和静止图像缓冲器 235。
[0093]图像缩放器233将具有全分辨率的输入图像缩放为将在显示单元130上显示的尺寸。可通过下列处理来实现图像缩放:减少具有全分辨率的图像的像素数量，以将图像缩放为将在显示单元130上显示的合适尺寸；将具有全分辨率的图像缩放到合适的宽高比。可按照不同比例来实现图像缩放。
[0094]如上所述，将缩放后的图像应用于显示图像缓冲器237，使得缩放后的图像可由显示图像缓冲器237缓存。显示图像缓冲器237可调整显示图像的处理时间。换言之，在捕捉模式下，显示图像缓冲器237可对下一帧的显示图像进行缓存，直到对静止图像的处理终止为止。
[0095]此外，静止图像缓冲器235对从预处理器231输出的具有全分辨率的图像进行缓存。在这种情况下，静止图像缓冲器235可具有环形缓冲器配置，并可缓存预设数量的帧图像。换言之，静止图像缓冲器235可以是“N”(N是除了 I以外的整数)个能够缓存N个帧的图像数据的环形缓冲器配置，并可针对每一帧对从预处理器231输出的帧图像数据进行缓存。例如，从静止图像缓冲器235的第一缓冲器起，对针对每一帧产生的帧图像数据进行缓存。如果帧图像数据被缓存到最后一个缓冲器，则控制器180将从预处理器231输出的帧图像数据重新覆盖在第一缓冲器中。
[009