摄像机的图像处理装置和方法与流程

本发明涉及一种摄像机。更具体地，本发明涉及一种能够补偿快门滞后的摄像机的图像处理装置和方法。

背景技术：

正在研究在第四代(4G)通信系统中为用户提供需要各种数据传输能力的各种服务。在4G通信系统中，具体地，研究关注于在针对宽带无线接入通信确保移动性和服务质量的同时支持高数据速率服务。

摄像机设备和配备有摄像机的移动终端设备分别能够处理高质量图像和提供各种用户便利功能。根据相关技术近期开发的摄像机设备配备有能够处理完全高清(HD)或更高分辨率图像的图像传感器(或摄像机传感器)。

摄像机设备以预览模式显示由摄像机传感器感测的图像，并响应于按压快门按钮来记录由摄像机传感器输出的图像。此时，在触发快门和摄像机实际记录照片之间存在快门延迟或(快门滞后(lag))。例如，根据相关技术的摄像机设备在用户按压快门和图像处理器完全处理照片之间有时间差。这种时间差通常称作滞后。快门延迟(快门滞后)常常是造成较差摄像体验的原因(例如，用户错过“理想拍摄(perfect shot)”的原因)。

如果摄像机抖动或者如果在拍摄时作为拍摄对象的人做出非故意动作(如，闭眼)，则在校正捕获图像方面和在还原(restage)相同情形方面存在局限性，从而导致无法理想拍摄。

因此，需要一种方法和装置，在摄像机设备或配备有摄像机的终端中，在正确的定时捕获图像而没有快门延迟。

以上信息作为背景信息提供，仅帮助本公开的理解。对于上述任何内容是否可作为关于本发明的现有技术没有任何判定也没有任何断言。

技术实现要素：

本发明的方面在于解决至少上述问题和/或缺点并提供至少下述优点。因此，本发明的一方面在于提供一种在摄像机设备或配备有摄像机的终端中在正确的定时处捕获图像而没有快门滞后的方法和装置。

本发明的另一方面在于提供一种摄像机设备或配备有摄像机的终端的图像处理装置和/或方法，能够处理摄像机输出的图像以在每一帧产生多个图像以用作预览图像和捕获图像。

本发明的另一方面在于提供一种摄像机设备或配备有摄像机的终端的图像处理装置和方法，能够在每一帧处理摄像机输出的图像以产生预览图像并缓冲为候选捕获图像，在预览模式下在缓冲候选捕获图像的同时显示预览图像，并且响应于捕获请求以时分的方式处理观看图像和缓冲的图像以记录经过快门滞后补偿的捕获图像。

根据本发明的一方面，提供了一种图像处理装置。该图像处理装置包括：图像缩放器，将摄像机输出图像缩放为与观看图像相对应；缓冲器，缓冲摄像机输出图像；复用器，对图像缩放器和缓冲器的输出进行复用；图像处理器，处理与复用的图像缩放器和缓冲器的输出相对应的复用图像；解复用器，对图像处理器的输出进行解复用以将观看图像提供至显示单元；编解码器，将解复用器输出的摄像机输出图像编码成捕获图像；以及控制器，在帧持续时间内以时分的方式控制复用器和解复用器，使得图像处理器在捕获模式下顺序地处理观看图像和摄像机输出图像。

根据本发明的另一方面，提供了一种摄像机的图像处理方法。该图像处理方法包括：通过控制图像处理器，以建立观看图像处理路径、缓冲摄像机输出图像以及将摄像机输出图像中的至少一个转换成至少一个对应的观看图像以被显示，来处理观看图像；以及通过控制图像处理器，以在捕获模式下在帧持续时间内以时分的方式顺序地建立观看图像处理路径和捕获图像处理路径，以及在观看图像处理路径上处理观看图像并在捕获图像处理路径上处理在缓冲的摄像机输出图像之中选择的预先指定帧的摄像机输出图像，来处理捕获图像。

根据本发明的另一方面，提供了一种摄像机设备。该摄像机设备包括：摄像机，在摄像机驱动模式下产生全分辨率图像；显示单元，显示观看图像；输入单元，产生预览模式信号和捕获模式信号；存储单元，存储捕获图像；控制单元，进行控制以响应于预览模式信号建立观看图像处理路径，并在一个帧持续时间内响应于捕获模式信号以时分的方式顺序地建立观看图像处理路径和捕获图像处理路径；以及图像处理器，在控制单元的控制下，在预览模式下建立观看图像处理路径、缓冲摄像机输出图像、将摄像机输出图像转换为观看图像、处理观看图像并将处理后的观看图像输出至显示单元，在捕获模式下建立观看图像处理路径、缓冲摄像机输出图像、将摄像机输出图像中的至少一个转换为至少一个对应的观看图像、处理观看图像、在显示单元上显示处理后的观看图像、建立捕获图像处理路径、读出缓冲的图像之中预先指定帧的摄像机输出图像、处理摄像机输出图像、将处理后的图像编码成捕获图像并将捕获图像存储在存储单元中。

根据本发明的另一方面，提供了一种便携式终端。该便携式终端包括：摄像机，在摄像机驱动模式下产生全分辨率图像；显示单元，显示观看图像；输入单元，产生预览模式信号和捕获模式信号；存储单元，存储捕获图像；应用处理器，处理便携式终端的应用，进行控制以响应于摄像机预览模式信号建立观看图像处理路径，以及进行控制以响应于摄像机捕获模式信号在一个帧持续时间内以时分的方式顺序地建立观看图像处理路径和捕获图像处理路径；控制单元，控制用于终端的通信的通信单元，并且与应用处理器通信；以及图像处理器，在应用处理器的控制下，在预览模式下建立观看图像处理路径、缓冲摄像机输出图像、将摄像机输出图像转换为观看图像、处理观看图像并将处理后的观看图像输出至显示单元，在捕获模式下建立观看图像处理路径、缓冲摄像机输出图像、将摄像机输出图像中的至少一个转换为至少一个对应的观看图像、处理观看图像、在显示单元上显示处理后的观看图像、建立捕获图像处理路径、读出缓冲的图像中预先指定帧的摄像机输出图像、处理摄像机输出图像、将处理后的图像编码成捕获图像并将捕获图像存储在存储单元中。

以下详细描述结合附图公开了本发明的示例实施例，通过以下详细描述，本领域技术人员将更清楚本发明的其他方面、优点和突出的特征。

附图说明

结合附图，根据以下详细描述，本发明的特定示例实施例的上述和其他方面、特征以及优点将更清楚，附图中：

图1是示出了根据本发明示例实施例的摄像机设备的配置的框图；

图2A至2D是示出了根据本发明第一示例实施例的图像处理器(例如，图1的图像处理器120)的示例配置的框图；

图3A至3B是示出了根据本发明示例实施例的说明了缩放器的求和平均部件(summing and averaging part)的操作的示例图像的图；

图4A至4C是示出了根据本发明第二示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图；

图5是示出了根据本发明示例实施例的依赖于所选操作时钟的图像处理器(例如，如图4A至4C中任一附图所示而构造的图像处理器)的图像处理定时的图；

图6A至6C是示出了根据本发明另一示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图；

图7A至7C是示出了根据本发明示例实施例在图像处理器(例如，图6A至6C的图像处理器)中在图像块状态下处理帧图像的原理的图；

图8A至8C是示出了根据本发明示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图；

图9是示出了根据本发明示例实施例的图像处理器(例如，如图8A至8C中任一附图所示而构造的图像处理器120)的图像处理定时的图；

图10A和10B是示出了例如根据本发明示例实施例的图像处理器的详细配置的框图；

图11是示出了根据本发明示例实施例的摄像机设备或配备有摄像机的终端的图像处理方法的流程图；

图12A至12D是示出了根据本发明示例实施例的在摄像机设备或配备有摄像机的终端中处理观看图像的过程的流程图；

图13是示出了根据本发明示例实施例进行缩放以产生观看图像(例如，图12A至12D中的观看图像)以及后处理和显示观看图像的过程的流程图；

图14至17是示出了根据本发明示例实施例的在摄像机设备或配备有摄像机的终端中处理捕获图像的过程的流程图；以及

图18是示出了根据本发明示例实施例的配备有摄像机的便携式终端的配置的框图。

贯穿附图，应注意相似的附图标记用于表示相同或相似的元素、特征和结构。

具体实施方式

参考附图的以下描述用于帮助全面理解由权利要求及其等价物限定的本发明的示例实施例。这种描述包括各种特定细节以帮助理解，但是这些细节仅被看作是示例性的。因此，本领域普通技术人员将了解，在不脱离本发明目的范围和精神的前提下，可以对本文描述的实施例做出各种变型和修改。此外，为了清楚和简要，省略了对公知功能和结构的描述。

以下描述和权利要求中使用的术语和单词不限于其书面含义，而是仅仅是被发明人用于使能清楚而一致地理解本发明。因此，本领域技术人员应该清楚，对于本发明示例性实施例的以下描述仅用于说明，而不用于限制由所附权利要求及其等价物限定的发明。

应理解，除非上下文明确指出，否则单数形式的“一”、“一种”和“该”包括复数对象。因此，例如对“组件表面”的引述包括对一个或多个这种表面的引述。

尽管参考多个特定细节(如，摄像机的像素数目和帧速率)进行了描述以提供对本发明示例实施例的全面理解，然而本领域技术人员将认识到没有这些特定细节中的一些或全部也可以实现本发明的示例实施例。此外，可以省略对合并在此的公知功能和结构的详细描述，以避免模糊本发明的示例实施例的主题。

当摄像机设备或配备有摄像机的终端开启电源(例如，工作在预览模式)时，根据本发明示例实施例的摄像机设备或配备有摄像机的终端处理由摄像机传感器输出的帧图像，以产生用作预览和运动画面图像的图像(下文中称作观看图像)以及用作静止图像的图像(下文中称作捕获图像)。观看图像比捕获图像尺寸小。当摄像机设备或配备有摄像机的终端开启电源时，摄像机在每一个帧周期获取图像，获取的图像被缓冲。摄像机设备或配备有摄像机的终端在预览模式下处理由摄像机输出的图像以按照观看图像的形式来显示图像，并且在捕获模式下在缓冲的图像中选择能够补偿快门滞后的图像并将所选的图像处理成捕获图像。典型地，摄像机在触发快门与实际记录图像之间有快门延迟(例如，快门滞后)。根据本发明示例实施例的摄像机具有缓冲器，用于临时将摄像机的全分辨率图像与观看图像分开存储，以缓冲在摄像机操作模式下摄像机拍摄的图像。响应于捕获请求，摄像机设备或配备有摄像机的终端在缓冲的帧图像中选择能够实现(例如，对应于)零快门滞后的图像，并将所选的帧图像处理成捕获图像。根据本发明的示例实施例，缓冲器能够被配置为具有能够存储足以补偿快门滞后的预定数目帧图像的大小。假定在摄像机设备或配备有摄像机的终端中快门滞后为大约两个帧，可以优选地将缓冲器配置为具有足以缓冲大约5个帧的大小。在以下描述中，术语“摄像机输出图像”表示由摄像机输出的图像，摄像机输出图像的大小(像素数目)由摄像机110的图像传感器(图像传感器获取的像素数目)来确定。术语“观看图像”表示用作在预览模式下在显示单元上显示的预览图像的图像或者用作运动图像的图像，通过将摄像机输出的图像缩放到预定的尺寸(或分辨率)来产生所述观看图像。观看图像可以与预览图像和运动图像在分辨率(或尺寸)上相同或不同。术语“捕获图像”表示能够被记录为静止图像的图像，通过将摄像机输出图像或者由摄像机输出的图像缩放为预定尺寸来产生捕获图像。在本发明的示例实施例中，在假定捕获图像与摄像机输出图像相对应的前提下进行描述。

术语“图像缩放”表示将摄像机输出图像调节为预定的尺寸(或分辨率)。在本发明的示例实施例中，可以通过重新定尺寸、相加和求平均过程中的至少一个来完成图像缩放。术语“重新定尺寸”表示通过抽取、内插和剪裁来调整图像尺寸的过程。相加和求平均过程表示将相邻像素处理成一个像素以调整像素的数目，抽取、内插和剪裁过程可以在求平均过程之后。

在以下描述中，术语“预处理器”和“后处理器”可以可互换地简单称作“图像处理器”。

图1是示出了根据本发明示例实施例的摄像机设备的配置的框图。

参考图1，摄像机设备或配备有摄像机的终端包括控制单元100、摄像机110、图像处理器120、存储单元130、显示单元140和输入单元150。

当摄像机110开启电源时，摄像机110通过内部传感器获取图像。摄像机110可以包括光学单元、图像传感器和信号处理单元。光学单元由机械快门、电机和致动器来驱动，并且通过致动器来执行变焦和聚焦操作。光学单元拍摄场景图像，图像传感器感测由光学单元拍摄的图像并将图像转换成电信号。图像传感器可以是COMS传感器和CCD传感器以及其他高分辨率图像传感器中的任何一种。摄像机的图像传感器可以集成全局快门。全局快门用于与传感器中包含的机械快门相类似的功能。摄像机110还可以包括取景器。在本发明的示例实施例中，图像传感器可以是能够检测具有超高清(UHD)或更高分辨率的图像的传感器。图像传感器输出的图像由信号处理器来处理，以按照数字图像的形式输出。摄像机110输出的数据可以是拜尔(Bayer)数据(原始数据)。

图像处理器120缓冲由摄像机110输出的帧图像，在预览模式下将摄像机110输出的帧图像缩放并处理成观看图像，在捕获模式下在缓冲的帧图像中选择预定的帧图像并对所述预定的帧图像进行压缩编码。压缩编码后的图像可以是具有零快门滞后的帧图像。

根据本发明示例实施例，控制单元100控制摄像机的总体操作。控制单元100根据通过输入单元150输入的控制命令来控制摄像机的操作。如果通过输入单元150输入了摄像机驱动命令，则控制单元100控制摄像机110和图像处理器120在预览模式下操作。如果通过输入单元150输入了捕获请求，则图像处理器120选择在出现捕获请求时拍摄的摄像机输出图像，对所选的摄像机输出图像进行压缩编码并将压缩后的图像存储在存储单元130中。具体地，在本发明的示例实施例中，控制单元100控制图像处理器120在预览模式下产生观看图像而在捕获模式下显示观看图像，并以时分的方式来记录捕获图像。

存储单元130是用于存储摄像机110拍摄的图像的存储器，尽管在本发明的示例实施例中描述针对的是存储静止图像的情况，然而存储单元130可以存储运动图像。

显示单元140可以是能够显示由摄像机拍摄的图像和拍摄信息的显示设备，如，LCD或OLED。

输入单元150可以包括按钮，所述按钮产生用于摄像机功能的配置和操作的命令。输入单元150的按钮可以包括布置在摄像机外表面的物理按钮和呈现在触摸面板上的虚拟按钮。在这种情况下，可以将显示单元140和输入单元150集成为触摸屏。

在如图1所示构造的摄像机设备中，图像处理器120响应于捕获请求以时分的方式处理观看图像和捕获图像。为了实现该操作，根据本发明示例实施例的图像处理器120在一个帧周期内以时分的方式处理观看图像和捕获图像。用于处理由摄像机110输出的图像的图像处理器120可以分为预处理器和后处理器。图像处理器120可以包括图像缩放器和缓冲器，所述缓冲器用于缓冲预定数目的帧图像以用于实现零快门滞后。此时，包括上述组件的图像处理器120能够以时分的方式处理观看图像和捕获图像。

图2A至2D是示出了根据本发明第一示例实施例的图像处理器(例如，图1的图像处理器120)的示例配置的框图。

参考图2A至2D，图像处理器120包括预处理器210、图像缩放器220、后处理器230、缓冲器240、复用器250、解复用器255、静止图像编解码器260和运动图像编解码器270。

在图2A的配置中，图像处理器120对摄像机110输出的图像进行预处理，以产生缓冲为捕获图像的观看图像，并以时分的方式将预处理后的图像和缓冲后的预处理图像处理成观看图像和捕获图像。在图2B的配置中，图像处理器120以时分的方式缓冲并同时缩放由摄像机110输出的图像。在图2C和2D的配置中，图像处理器120缓冲摄像机110输出的图像，并以时分的方式将缓冲的图像处理成观看图像和捕获图像。

根据图2A所示的本发明示例实施例，预处理器210对摄像机110输出的图像执行预处理。预处理可以包括：自动白平衡(AWB)、自动曝光(AE)和自动聚焦(AF)(3A)提取和处理；镜头抖动校正；坏点(dead pixel)校正；拐点补偿等等。预处理器210应当具有在控制单元100的控制下预处理观看图像或捕获图像的能力。例如，预处理器210预处理摄像机110获取的图像(摄像机的图像传感器检测到的摄像机全分辨率图像)，预处理后的图像被同时输入至图像缩放器220和缓冲器240。

缩放器220将预处理器210输出的摄像机全分辨率图像缩放到适于在显示单元140上显示的尺寸。可以通过重新定尺寸、抽取、内插、剪裁、相加和求平均中的至少一个来执行图像缩放。执行图像缩放以将从摄像机110获取的全分辨率图像的像素数目减少到适于在显示单元140上显示的程度或者适合显示单元140的屏幕高宽比的程度。可以以多种高宽比来执行图像缩放。例如，假定摄像机110输出8Mbyte图像并且缩放比为4∶1，那么缩放器220将摄像机的输出图像按比例缩小为2Mbyte观看图像。

在控制单元100的控制下缓冲器240缓冲由预处理器210输出的图像，并输出在捕获模式下预先指定帧的图像。此时，缓冲器240能够缓冲预定数目的帧图像。缓冲器240可以构造为能够缓冲N个帧图像的N元素环形缓冲器。在这种情况下，缓冲器240按照依次从第一个缓冲元素到最后一个缓冲元素的顺序来缓冲由摄像机110输出的图像，如果缓冲器满，则后续的图像盖写最旧的缓冲元素。在本发明的示例实施例中，将N设置为5，在这种情况下，将缓冲器240构造为能够缓冲5个帧图像数据的5元素环形缓冲器。缓冲器尺寸可以等于足以补偿快门滞后的帧图像的数目。

复用器250接收缓冲器240和缩放器220的输出，并在控制单元100的控制下选择性地输出来自缩放器220的观看图像和/或缓冲器240中缓冲的摄像机输出图像。例如，复用器250在控制单元100的控制下在预览模式下输出来自缩放器220的图像。复用器250还在控制单元100的控制下，在捕获模式下，在相应的帧周期(捕获图像处理帧周期)期间，以时分的方式输出来自缓冲器240的摄像机输出图像或者来自缩放器220的观看图像和来自缓冲器240的捕获图像。例如，在捕获模式下，复用器250能够在控制单元100的控制下，以时分的方式输出仅捕获图像或者观看图像和捕获图像两者。

后处理器230对从复用器250输出的图像执行后处理。后处理包括颜色内插、噪声校正、伽马补偿、图像转换等操作以产生YUV数据。后处理器230在预览模式下对观看图像进行后处理，在捕获模式下对摄像机输出图像进行后处理。此时，后处理器230能够在捕获模式下在一个帧周期期间以时分的方式顺序地后处理从复用器250输出的观看图像和捕获图像。

解复用器255在控制单元100的控制下对后处理器230的输出进行解复用。解复用器在预览模式下将来自后处理器的观看图像输出至显示单元140，在捕获模式下将来自后处理器230的捕获图像输出至静止图像编解码器260。在捕获模式下，解复用器255在控制单元100的控制下对观看图像和捕获图像执行时分解复用，以将观看图像输出至显示单元140，将捕获图像输出至静止图像编解码器260。解复用器255可以由各种类型的解复用器中的一种来实现。

静止图像编解码器260对解复用器255输出的捕获图像进行编码，以压缩地存储在存储单元130中。例如，静止图像编解码器260可以是联合图像专家组(JPEG)编解码器。观看图像可以用作用于记录运动图像的图像。在这种情况下，如果输入了运动图像拍摄请求，则运动图像编解码器270对解复用器255输出的观看图像进行编码并将编码后的运动图像存储在存储单元130中。观看图像可以在尺寸上与用于预览模式的观看图像相同。运动图像可以是具有比观看模式下的观看图像多的像素的观看图像。在这种情况下，缩放器220可以具有预览模式缩放器和运动图像模式缩放器，或者能够根据操作模式来改变缩放比的可变缩放器。如果请求运动图像记录，则控制单元100控制缩放器220将图像缩放到运动图像的观看图像尺寸，使得缩放器220将预处理器210输出的全分辨率图像缩放到运动图像的观看图像尺寸。可以以各种格式(如，H.264)来执行运动图像编码。

对图2A所示构造的图像处理器120的操作进行了描述。如果用户通过输入单元150输入了摄像机驱动命令，则控制单元100驱动摄像机110在预览模式下操作。在预览模式下，控制单元100控制复用器250将缩放器220的输出提供至后处理器230，并控制解复用器255将后处理器230的输出提供至显示单元140。控制单元100还控制后处理器230对观看图像尺寸的图像执行后处理。

摄像机110输出的图像可以是拜尔图像，摄像机110对全分辨率图像进行预处理。预处理器210提取3A并执行镜头抖动校正、坏点校正、拐点补偿等。将预处理器210预处理后的摄像机图像输入至缓冲器240和缩放器220。例如，在预览模式下，对摄像机110拍摄的摄像机输出图像进行预处理，然后缓冲至缓冲器240并同时通过缩放器220缩放为观看图像。在预览模式下，缓冲器240缓冲多达N帧的图像，并丢弃N帧之前缓冲的旧图像。该操作是在捕获模式下捕获预先指定帧的摄像机输出图像(能实现零快门滞后的图像)。

缩放器220将输入的全分辨率图像缩放为适于在显示单元140上显示的尺寸。可以通过重新定尺寸、抽取、内插、剪裁、相加和求平均过程中的至少一个来完成图像缩放。执行图像缩放以将从摄像机110获取的全分辨率图像的像素数目减小到适于在显示单元140上显示的程度或者适合显示单元140的屏幕高宽比的程度。可以利用重新定尺寸器和/或通过求和平均部件来实现缩放器220。在利用重新定尺寸器来实现缩放器220的情况下，重新定尺寸器将从摄像机输出的图像重新定尺寸为适于在显示单元140上显示的尺寸。此时，通过抽取、内插和/或剪裁来执行重新定尺寸。在利用求和平均部件来实现缩放器220的情况下，求和平均部件对图像的相邻像素进行求和平均，以减少像素数目。

图3A至3B是示出了根据本发明示例实施例的说明了缩放器的求和平均部件的操作的示例图像的图。

参考图3A和3B，求和平均部件对摄像机110输出的图像的相邻像素进行求和平均以减少观看图像的像素数目。求和平均部件可以通过伪Foveon方法来实现信噪比和分辨率的改善。从摄像机110输出的图像的像素如图3A所示构造。如图3A所示，将像素布置为使得4个相邻像素包括1个红色(R)像素、1个蓝色(B)像素和2个绿色(G)像素。因此，通过将4个像素求和平均为一个像素，可以以比例4∶1来缩放图像。在本发明的示例实施例中，描述针对的是求和平均部件将4个像素求和平均为1个像素的情况。为了完成该操作，求和平均部件将两个G像素求和平均为1个G像素，并将平均后的G像素与R像素和B像素组合成单个像素。在图3A中，如果将G11、B12、R21和G22像素处理成一个像素，则将像素R＝R21、B＝B12、G＝(G11+G22)/2处理成具有RGB值的一个像素。通过求和平均处理，如图3B所示随着颜色内插处理将4个像素处理成一个像素。可以通过上述方法对如图3A所示布置的16个像素求平均，以按比例缩小为4个像素，此时对像素进行颜色内插。经由复用器250将求和平均部件缩放后的像素提供至后处理器230，后处理器对像素执行颜色内插、IPC处理和图像转换以产生YUV图像。在缩放器220利用求和平均部件来执行图像缩放的情况下，复用器250的图像内插器231可以仅执行颜色内插功能，像素数据的全颜色转换除外。

可以利用重新定尺寸器和求和平均部件两者来实现缩放器220，重新定尺寸器用于将从摄像机110输出的图像重新定尺寸为观看图像尺寸，求和平均部件用于将预处理后的图像的像素求和平均为观看图像的像素数目。在这种情况下，可以将缩放器220配置为先执行重新定尺寸然后执行求平均、先求平均再重新定尺寸，或者选择性地输出重新定尺寸器和求和平均部件的处理结果之一。

将缩放为观看图像尺寸的图像提供至复用器250，复用器250选择从缩放器220输出的观看图像并将观看图像输出至后处理器230。在观看模式下，后处理器230能够在控制单元100的控制下将要后处理的图像的尺寸配置为用于处理观看图像的尺寸。在这种情况下，后处理器230对从图像缩放器220输出的经过预处理的观看图像进行后处理，此时后处理可以是颜色内插、降噪、伽马校正和图像转换等中的至少一个。

后处理器230可以包括颜色内插器、图像处理链(IPC)和图像转换器。图像内插器执行颜色内插功能以将拜尔图像转换成彩色图像。摄像机110的图像传感器可以是CCD图像传感器或CMOS图像传感器。此时，CCD/CMOS图像传感器使用滤色器阵列使得每个像素传感器仅具有三个颜色通道中的一个通道以形成彩色图像。颜色内插器用于执行全色功能，将从摄像机110输出的图像的像素转换成包括RGB的彩色像素。颜色内插器利用相邻像素之间的相关来执行颜色内插功能。典型地，在图像处理器中，颜色内插之前的图像处理称作预处理，颜色内插之后的图像处理称作后处理。其次，IPC对颜色内插后的图像执行降噪、伽马校正和亮度校正。第三，图像转换器将后处理的图像(原始数据或拜尔数据)转换成YUV图像。例如，后处理器230对预处理后的图像执行诸如颜色内插和YUV图像转换之类的后处理。经由解复用器255将如上所述处理过的观看图像提供至显示单元140以在屏幕上显示。

根据本发明的示例实施例，摄像机110被配置为在预览模式下具有关于复用器250和解复用器255的观看图像处理路径，使得将摄像机110获取的每一个帧图像通过预处理器210、图像缩放器220和后处理器230处理为观看图像以在显示单元140上显示。将预处理器210预处理后的图像缓冲在缓冲器240中。例如，图像处理器120仅执行产生观看图像的操作，而不执行与存储图像的过程相关的操作。此时，观看图像处于被按比例缩小的状态，用于记录的高分辨率图像处于仅被缓冲的状态，摄像机可以处于低电流消耗和低热量状态。

典型地，由于快门延迟，摄像机拍摄图像从取景器或显示单元140上呈现的图像的定时延迟了特定数目的帧。例如，在触发快门与摄像机实际记录图像之间存在延迟(快门滞后或时间滞后)。时间滞后根据摄像机可变，控制单元100应当知道统计上获得的延迟时间。根据本发明的示例实施例，摄像机通过留意快门滞后来缓冲摄像机110获取的图像，并在缓冲的图像之中选择触发快门时拍摄的帧图像作为捕获图像。例如，根据本发明示例实施例的摄像机在预览模式下缓冲通过摄像机110获取的图像以实现零快门滞后。

如果在预览模式下通过输入单元150输入了捕获请求，则控制单元100检测快门按压时间并在缓冲器240中缓冲的图像中访问快门按压时间处拍摄的帧图像(即，具有零快门滞后的图像)。摄像机110控制复用器250和解复用器255建立用于处理捕获图像的路径。例如，控制单元100控制复用器250和解复用器255建立用于处理捕获图像的路径并控制后处理器230对摄像机110获取的图像进行后处理。控制单元100控制复用器250和解复用器255在一个帧周期期间处理捕获图像或者在一个帧周期期间以时分的方式处理观看图像和捕获图像两者。

在处理捕获图像时，控制单元100控制复用器250和解复用器255选择捕获图像处理路径并访问缓冲器240中经过快门滞后补偿的帧图像(例如，在快门按压定时处拍摄的具有零快门滞后的帧图像)。复用器250选择从缓冲器240输出的图像并将所选的图像提供至后处理器230，后处理器230对在缓冲器240中访问的捕获图像进行后处理。解复用器255将后处理的图像作为捕获图像提供至静止图像编解码器260，静止图像编解码器260对捕获图像编码以将编码图像存储在存储单元中。此时，静止图像编解码器260可以是静止图像编码器，如，JPEG编码器。尽管本发明的示例实施例针对的是静止图像对应于JPEG图像的情况，然而静止图像可以是以其他静止图像格式(例如，标记图像文件格式(TIFF))编码的图像。将压缩编码后的静止图像存储在存储单元130中。

尽管描述针对的是捕获图像是由摄像机110获取的图像的情况，然而在必要时可以缩放由摄像机110获取的图像。例如，摄像机的用户可以捕获尺寸(或分辨率)比摄像机全分辨率图像小的静止图像。在这种情况下，摄像机的用户能够记录具有小尺寸(或少像素数目)的捕获图像。尽管在本发明的示例实施例中描述针对的是摄像机具有用于缓冲由摄像机获取的图像的缓冲器的情况，然而捕获图像处理器可以在缓冲器240的输出节点处配置有与缩放器220不同的缩放器，使得将缓冲器240的输出提供至新引入的缩放器。在这种情况下，如果用户输入了只是图像的尺寸(像素数目)的捕获请求命令，则控制单元100进行控制使得将缓冲器240的输出提供至缓冲器240后面的缩放器(不是缩放器220)，并控制该缩放器将来自摄像机的图像缩放为用户期望的用于后处理的尺寸。

如上所述，在图像处理器120能够在一个帧周期期间同时处理观看图像和捕获图像的情况下，摄像机110以时分的方式控制复用器250和解复用器255在一个帧周期期间顺序地处理观看图像和捕获图像。在这种情况下，将观看图像处理周期设置为比捕获图像处理周期短。后处理器230可以被配置为在控制单元100的控制下处理不同尺寸的观看图像和捕获图像。

如果检测到捕获请求，则控制单元100控制复用器250和解复用器255在一个帧周期期间以时分的方式建立观看图像处理路径和捕获图像处理路径。在建立了观看图像处理路径的情况下，显示已经过缩放的观看图像，而在建立了捕获图像处理路径的情况下，从缓冲器240检索能够实现零快门滞后的帧的图像，对检索图像进行后处理和编码以用于存储。

如上所述，根据本发明示例实施例的摄像机设备能够实现零快门滞后。摄像机响应于用户意愿拍摄的图像是从用户期望的捕获图像有一定延迟而获取的帧图像。例如，用户期望的捕获图像是在摄像机110获取的帧图像之前的图像。为了实现零快门滞后，根据本发明示例实施例的摄像机设备响应于捕获请求在缓冲器240缓冲的图像之中选择先前帧的图像。

在用户输入捕获请求的时刻拍摄的照片可能不对应于正常条件下捕获的照片。在肖像照片的示例情况下，拍照时可能会发生闭眼或手抖动。在这种情况下，可以优选地记录另一帧图像。根据本发明示例实施例的摄像机设备将预定数目的帧图像缓冲在缓冲器240中，以便选择性地使用缓冲的图像之一。例如，根据本发明示例实施例的摄像机设备缓冲多幅帧图像，使得当捕获的图像不满意时可以将捕获图像替换成在缓冲器中选择的另一幅图像。

如果用户输入连续拍摄模式(快速连拍模式(burst shot mode))请求时，控制单元100访问从请求快速连拍模式的时刻开始缓冲的帧图像，后处理器230处理连续访问的帧图像，静止图像编解码器260对帧图像执行连续编码以将编码的图像存储在存储单元130中。例如，在快速连拍模式下，可以在每一个帧周期将摄像机拍摄的图像缓冲在缓冲器240中，控制单元连续访问缓冲的全分辨率图像以进行处理和编码以用于记录。

在上述状态下，如果通过输入单元150输入了图像回放请求，则控制单元100访问存储单元130中存储的图像，静止图像编解码器260对访问的图像进行解码，显示单元140播放解码的图像。如果通过输入单元150输入了运动图像回放请求，则控制单元100从存储单元检索所请求的运动图像并将检索的运动图像提供至运动图像编解码器270，运动图像编解码器270对运动图像进行解码以在显示单元140上播放解码的运动图像。

参考图2B，示出了图像处理器120的另一配置。如图2B所示，图像处理器120被配置为缓冲并缩放摄像机110获取的图像，并对缓冲的图像或缩放的观看图像进行预处理和后处理。参考图2B，缩放器220将从摄像机110输出的全分辨率图像缩放到适于在显示单元140上显示的尺寸。缓冲器240在控制单元100的控制下缓冲从摄像机110输出的图像，并输出预先指定帧的摄像机输出图像的图像以用在捕获模式下。

复用器250在控制单元100的控制下选择性地将缩放器220输出的观看图像和/或缓冲器240中缓冲的图像提供至缩放器。例如，复用器250在控制单元100的控制下在预览模式下选择性地传递图像缩放器220的输出。复用器250在控制单元100的控制下在相应的帧周期(用于处理捕获图像的帧周期)期间以时分的方式传递从缓冲器240输出的图像或者从图像缩放器220输出的观看图像。

预处理器210对从复用器250输出的图像进行预处理，后处理器230对从复用器250输出的图像进行后处理。预处理器210和后处理器230能够在控制单元100的控制下处理具有观看图像尺寸或捕获图像尺寸的图像。例如，预处理器210和后处理器230在预览模式下处理观看图像，在捕获模式下以时分的方式处理捕获图像或者输入的观看图像和捕获图像两者。

解复用器255在控制单元100的控制下对后处理器230的输出进行解复用。在预览模式下，解复用器255将从后处理器230输出的观看图像提供至显示单元140。在捕获模式下，解复用器255将从后处理器230输出的捕获图像提供至静止图像编解码器260。在捕获模式下，解复用器255能够对从后处理器230输出的观看图像和捕获图像执行时分解复用，以在控制单元100的控制下将观看图像提供至显示单元140并且将捕获图像提供至静止图像编解码器260。解复用器255可以由各种类型的解复用器中的任何一种来实现。

静止图像编解码器260对从解复用器255输出的捕获图像进行编码以将编码的图像存储在存储单元130中。在运动图像拍摄模式下，运动图像编解码器270对从解复用器255输出的观看图像进行编码以将编码的图像存储在存储单元130中。在如图2B所示构造的图像处理器120中，如果用户通过输入单元150输入了摄像机驱动命令，则控制单元100驱动摄像机110并将摄像机110获取的图像提供至图像缩放器220和缓冲器240。缓冲器240缓冲从摄像机输出的图像。

图像缩放器220将全分辨率图像缩放到适于在显示单元140上显示的尺寸。在预览模式下，在控制单元100的控制下，复用器250选择图像缩放器220的输出，解复用器255选择后处理器230的输出，以将图像提供至显示单元140。例如，在预览模式下，控制单元100控制复用器250和解复用器255建立预览图像处理路径而非捕获图像处理路径。在这种状态下，将从图像缩放器220输出的观看图像经由复用器250提供至预处理器210，使得预处理器210对观看图像进行预处理，后处理器230对预处理后的观看图像进行后处理。例如，在预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径，使得图像缩放器220、预处理器210和后处理器230处理摄像机110获取的每一个帧图像，在缓冲器240中缓冲处理后的帧图像。如果此后通过输入单元150输入了捕获请求，则控制单元100在缓冲器240缓冲的图像之中检索能够实现零快门滞后的帧图像作为捕获图像。控制单元100以时分的方式控制复用器250和解复用器255建立观看图像处理路径和捕获图像处理路径。例如，控制单元100控制复用器250和解复用器255先建立观看图像(或捕获图像)处理路径然后建立捕获图像(或观看图像)处理路径。

首先，控制单元100控制复用器250和解复用器255建立观看图像处理路径。在这种情况下，预处理器210和后处理器230顺序地处理从图像缩放器220输出的观看图像，以按照YUV图像的形式输出至显示单元140以用于显示。此后，控制单元100控制复用器和解复用器建立捕获图像处理路径并从缓冲器240检索经过快门滞后补偿的帧图像(例如，在快门按压时刻拍摄的零快门滞后图像)。预处理器210和后处理器230对检索的捕获图像(例如，摄像机110获取的图像)进行预处理和后处理，以按照YUV图像的形式经由解复用器255输出至静止图像编解码器260。静止图像编解码器260对捕获图像进行编码，捕获图像存储在存储单元130中。

当检测到捕获请求时，控制单元100控制复用器250和解复用器255在一个帧周期期间以时分的方式建立观看图像处理路径和捕获图像处理路径。在这种情况下，将观看图像处理周期设置为比捕获图像处理周期短。预处理器210和后处理器230可以被配置为在控制单元100的控制下处理不同尺寸的观看图像和捕获图像。

如图2B所示构造的图像处理器120将摄像机110获取的图像同时提供至图像缩放器220和缓冲器240，在复用器250和后处理器230之间插入了预处理器210。构成图像处理器120的组件(预处理器、后处理器、图像缩放器、缓冲器、复用器和解复用器)的操作与图2A的相同，区别在于图2A的预处理器210预处理摄像机获取的图像，而图2B的预处理器210预处理观看图像尺寸的图像和捕获图像尺寸的图像两者。

图2C是示出了图像处理器120的另一示例配置的框图。图2C的图像处理器120被配置为缓冲从摄像机110输出的图像，缩放缓冲的图像，并复用缩放的图像或缓冲的图像以用于预处理和后处理。

参考图2C，在控制单元100的控制下，缓冲器240缓冲在每一个帧周期从摄像机110输出的图像，并输出预先指定的摄像机图像以用在捕获模式下。此时，在缓冲器240中可以缓冲预定数目的帧图像。图像缩放器220将缓冲器240中缓冲的摄像机全分辨率图像缩放到适于在显示单元140上显示的尺寸。

复用器250接收缓冲器240和图像缩放器220的输出作为输入，并选择性地输出由图像缩放器220输出的观看图像和/或缓冲器240中缓冲的摄像机输出图像。预处理器210对从复用器250输出的图像进行预处理。后处理器230对从预处理器210输出的图像进行后处理。解复用器255在控制单元100的控制下对后处理器230的输出进行解复用。解复用器255在预览模式下将后处理器230输出的观看图像提供至显示单元140，在捕获模式下将后处理器230输出的捕获图像提供至静止图像编解码器260。静止图像编解码器260对解复用器255输出的捕获图像进行压缩编码。可以将压缩的图像存储在存储单元130中。

如图2C所示构造的图像处理器120进行操作，使得缓冲器240缓冲摄像机110输出的图像，图像缩放器220缩放缓冲器240中缓冲的摄像机输出图像。接下来的配置和操作与图2B的图像处理器的配置和操作相同。此时，图像缩放器220能够将摄像机110拍摄的并缓冲在缓冲器240中的图像中当前帧的图像(例如，摄像机110最近拍摄的帧图像)缩放为观看图像。

图2D示出了图像处理器120的另一示例配置。图2D的图像处理器120缓冲摄像机输出图像，对缓冲的图像进行预处理和缩放，并对缩放后的图像或缓冲的图像进行复用以用于后处理。

根据图2D所示的本发明的示例实施例，缓冲器240缓冲摄像机输出图像。预处理器210对缓冲器240输出的摄像机输出图像进行预处理。图像缩放器对从预处理器210输出的摄像机输出图像进行缩放。在控制单元100的控制下，复用器250在预览模式下将图像缩放器220的输出提供至后处理器230，在捕获模式下将预处理器210预处理后的摄像机输出图像的输出提供至后处理器230。在控制单元100的控制下，后处理器230在预览模式下对预处理后的观看图像进行后处理，在捕获模式下对预处理后的捕获图像进行后处理。解复用器255在预览模式下将观看图像作为后处理器230的输出提供至显示单元140。解复用器255在控制单元100的控制下在捕获模式下将观看图像作为后处理器230的输出提供至静止图像编解码器260。在运动图像拍摄模式下，运动图像编解码器270对从解复用器255输出的观看图像进行编码以将编码的图像存储在存储单元130中。图2D的图像处理器的配置与图2C的图像处理器相同，区别在于图2C的图像处理器被配置为在控制单元100的控制下，使得预处理器210连接到缓冲器240的输出端，图像缩放器220将预处理后的图像缩放到观看图像尺寸，复用器250对预处理后的观看图像和/或捕获图像进行复用。

图4A至4C是示出了根据本发明第二示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图。

参考图4A至4C，图像处理器120的特征在于可以通过调节操作时钟来改变图像处理速率。

图5是示出了根据本发明示例实施例的依赖于所选操作时钟的图像处理器(例如，如图4A至4C中任一附图所示而构造的图像处理器)的图像处理定时的图。

参考图4A至4C和图5，预处理器210对摄像机输出图像进行预处理。将预处理的图像提供至图像缩放器220以缩放至观看图像的尺寸和/或像素数目。此时，图像缩放器220可以配置有重新定尺寸器和/或求和平均部件。在缓冲器240中缓冲从预处理器输出的摄像机输出图像。

图像处理器120能够以30fps或更高的帧速率来处理图像。假定图像处理器120以30fps的帧速率操作，以每秒30个帧图像来拍摄观看图像。尽管如上所述缩放观看图像，然而以摄像机全分辨率图像的格式来处理捕获图像。在这种情况下，图像处理器可以被配置为在预览模式下以低图像处理速率来操作，而在捕获模式下以高图像处理速率来操作以处理观看图像和捕获图像两者。当然，图像处理器可以被配置为在预览模式下以高图像处理速率来操作以处理观看图像，在捕获模式下也以高图像处理速率来操作以按照时分的方式来处理观看图像和捕获图像。

时钟产生单元400包括：高时钟产生器410，用于产生高时钟；低时钟产生器420，用于产生频率比高时钟低的低时钟；以及选择器430，在控制单元100的控制下选择提供高时钟和低时钟之一作为处理捕获图像时的操作时钟。缓冲器240缓冲摄像机输出图像。首先，摄像机110以如图5的参考数字511所示的垂直同步信号Vsync为单位产生并输出帧图像。例如，垂直同步信号Vsync以一个帧的周期出现。可以将预览模式下处理观看图像的操作时钟设置为低时钟或高时钟。如果选择了高时钟，则选择器430将高时钟产生器410的输出提供至缓冲器240和后处理器230作为操作时钟。在预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径，并且此时并不访问缓冲器240。复用器250选择图像缩放器220的输出，解复用器255将后处理器230的输出提供至显示单元140以建立观看图像处理路径。摄像机输出图像由预处理器210预处理，由图像缩放器220缩放至观看图像尺寸，然后按照图5中参考数字511表示的周期经由复用器250被传递至后处理器230。后处理器230以图5的参考数字513所示的高时钟速率来处理观看图像，并将经过后处理的观看图像输出至解复用器255，解复用器255将经过后处理的观看图像传递至显示单元140以用于显示。

如果在上述状态下输入了捕获请求，则控制单元100在帧周期(例如，图5的帧周期521)的起始部分处控制复用器250和解复用器255建立如参考数字511表示的观看图像处理路径，然后控制时钟产生单元400提供高时钟作为缓冲器240和后处理器230的操作时钟。复用器250和解复用器255操作以建立观看图像处理路径，以将所选的并且经过处理的观看图像输出至显示单元140。预处理器210预处理后的图像由图像缩放器220缩放至观看图像尺寸，然后由后处理器230后处理以显示在显示单元140上。

在处理观看图像之后，控制单元100在帧周期(例如，图5的帧周期521)的结尾部分处控制复用器250和解复用器255建立如参考数字553表示的捕获图像处理路径，然后控制时钟产生单元400提供高时钟作为缓冲器和后处理器230的操作时钟。控制单元100检索缓冲器240中缓冲的摄像机输出图像中预先指定的摄像机输出图像。此时，检索的图像可以是经过快门滞后补偿的图像(例如，零快门滞后图像)。将从缓冲器240检索的图像经由复用器250提供至后处理器230以在图5的时间段553后处理并然后经由解复用器255输出至静止图像编解码器260。静止图像编解码器260对后处理的图像进行编码，存储单元130存储从静止图像编解码器260输出的图像。

因此，如果输入了图像捕获请求，则图像处理器120首先在帧周期的起始部分处建立观看图像处理路径以处理观看图像，然后在帧周期的其余部分期间建立捕获图像处理路径以处理捕获图像。

其次，如果选择了低时钟，则选择器430提供低时钟产生器420的输出作为后处理器230的操作时钟。在用于处理观看图像的预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径，并且此时并不访问缓冲器240。摄像机110以如图5的参考数字511表示的周期输出的帧图像由预处理器210预处理，并由图像缩放器220缩放为观看图像，观看图像经由复用器250被提供至后处理器230。后处理器230以图5的参考数字515所示的低时钟速率来后处理观看图像，并将后处理的观看图像提供至解复用器255，解复用器255将后处理的观看图像提供至显示单元140以用于显示。例如，当后处理器230以低时钟速率操作时，用户102建立观看图像处理路径并以如图5的参考数字515表示的低时钟速率来处理相应帧的观看图像。通过以低时钟速率处理观看图像，可以降低功耗。

如果输入了图像捕获请求，则控制单元100控制选择器430选择高时钟产生器410使得将高时钟产生器410的高时钟速率提供至缓冲器240和后处理器230。例如，控制单元100控制选择器430在图5的帧周期521将高时钟速率提供至图像处理器120。控制单元100控制复用器250和解复用器255在相应帧521的起始部分551处建立观看图像处理路径，并以高时钟速率处理观看图像。控制单元100控制复用器250和解复用器255在帧周期521的其余部分553处建立捕获图像处理路径并从缓冲器240检索能够实现零快门滞后的帧图像。将从缓冲器240检索的零快门滞后帧图像经由复用器250提供至后处理器230以后处理，然后经由解复用器255输出至静止图像编解码器260。静止图像编解码器260将后处理的图像编码成存储在存储单元130中的捕获图像。因此，当检测到捕获请求时，图像处理器200的操作时钟从低时钟速率切换为高时钟速率，使得在帧周期的起始部分处建立观看图像处理路径以按照高时钟速率处理观看图像，然后在帧周期的其余部分处建立捕获图像处理路径以按照高时钟速率处理捕获图像。

在运动图像拍摄模式下，运动图像编解码器270将来自解复用器255的后处理图像编码成捕获图像，并将编码的图像存储在存储单元130中。

参考图4B和图5，将摄像机输出图像输入至图像缩放器220和缓冲器240两者。缓冲器240缓冲摄像机输出图像，而图像缩放器220将摄像机输出图像缩放到观看图像尺寸。如上所述，缩放器可以具有重新定尺寸器和/或求和平均部件。时钟单元400能够向缓冲器240、预处理器210和后处理器230产生低时钟或高时钟作为它们的操作时钟。时钟产生单元400可以包括高时钟产生器410、低时钟产生器420和选择器430。

在用于处理观看图像的预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径。一旦建立了观看图像处理路径，复用器250将图像缩放器220输出的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。此时，如果将高时钟速率提供至预处理器210和后处理器230作为操作时钟速率，则预处理器210和后处理器230分别在如图5的参考数字513表示的帧持续时间的对应部分处执行预处理和后处理，使得由显示单元140来显示处理后的观看图像。如果将低时钟速率提供至预处理器210和后处理器230作为操作时钟速率，则预处理器210和后处理器230分别在如图5的参考数字515表示的帧持续时间的对应部分处执行预处理和后处理，使得由显示单元140来显示处理后的观看图像。

如果在图5的帧持续时间521输入了图像捕获请求，则控制单元控制时钟产生单元400向缓冲器240、预处理器210和后处理器230提供高时钟速率作为操作时钟速率。控制单元100控制复用器250和解复用器255在帧持续时间521的起始部分处建立观看图像处理路径。在这种情况下，复用器250将图像缩放器220处理的当前帧的观看图像提供至预处理器210，预处理器210和后处理器230在图5的部分551处理观看图像，处理后的观看图像经由复用器250被提供至显示单元140以用于显示。此后，控制单元100控制在帧521的其余部分553处建立捕获图像处理路径并从缓冲器240检索预先指定的摄像机输出图像(例如，零快门滞后图像)。在这种情况下，复用器250将缓冲器240的输出提供至预处理器210，通过解复用器255将预处理器210和后处理器230处理后的捕获图像提供至静止图像编解码器260。静止图像编解码器对捕获图像进行压缩编码以存储在存储单元130中。如上所述，图像处理器120在帧持续时间以时分的方式处理当前帧的观看图像和预先指定的帧图像(例如，具有零快门滞后的摄像机输出图像)。响应于图像捕获请求，图像处理器120向显示单元140产生当前帧的观看图像以显示该观看图像，并对预先指定的摄像机输出图像进行压缩编码以用于实现零快门滞后或由用户选择，压缩后的图像存储在存储单元130中。

在运动图像拍摄模式下，运动图像编解码器270将来自解复用器255的后处理的图像编码成捕获图像，并将编码的图像存储在存储单元130中。

参考图4C，时钟产生单元400包括高时钟产生器410、低时钟产生器420和选择器430。时钟产生单元400在控制单元100的控制下向缓冲器240、预处理器210和后处理器230提供高时钟速率或低时钟速率作为操作时钟。缓冲器240缓冲摄像机输出图像。图像缩放器220将来自缓冲器240的当前帧的摄像机输出图像缩放为观看图像。复用器250在预览模式下将观看图像提供至图像缩放器220，在捕获模式下在一个帧周期期间以时分的方式将从图像缩放器220输出的观看图像和从缓冲器240输出的捕获图像顺序地提供至复用器250。预处理器210在控制单元100的控制下以时分的方式对从复用器250输出的观看图像和捕获图像进行预处理。后处理器230在控制单元100对预处理的观看图像和捕获图像进行后处理。解复用器255在预览模式下将从后处理器230输出的观看图像提供至显示单元，在捕获模式下将从后处理器230输出的观看图像和捕获图像分别提供至显示单元140和静止图像编解码器260。在运动图像拍摄模式下，解复用器255将捕获图像提供至运动图像编解码器270，运动图像编解码器270对捕获图像进行编码并将编码的图像存储在存储单元130中。

在预览模式下，图像处理器120在预览模式下以低时钟速率处理观看图像，在捕获模式下以高时钟速率处理观看图像和捕获图像。图像处理器120还能够在预览模式和捕获模式下均以高时钟速率处理摄像机输出图像。

在处理观看图像的预览模式下，在控制单元100的控制下，缓冲器240缓冲摄像机输出图像，图像缩放器220将当前帧的摄像机输出图像缩放为观看图像。控制单元100控制复用器250和解复用器255建立观看图像处理路径。一旦建立了观看图像处理路径，缓冲器240将图像缩放器220产生的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。此时，如果将高时钟速率提供至预处理器210和后处理器230作为操作时钟，则预处理器210和后处理器230在如图5的参考数字513表示的相应帧持续时间的部分时间段处对图像缩放器产生的观看图像分别进行预处理和后处理，处理后的观看图像被提供至显示单元140。如果将低时钟速率提供至预处理器210和后处理器230作为操作时钟，则预处理器210和后处理器230在如图5的参考数字515表示的相应帧持续时间中对图像缩放器220产生的观看图像分别进行预处理和后处理，处理后的观看图像被提供至显示单元140。

如果在图5的帧持续时间521输入了图像捕获请求，则控制单元100控制时钟产生单元400向缓冲器240、预处理器210和后处理器230提供高时钟速率作为操作时钟。控制单元100控制复用器250和解复用器255在帧持续时间521的起始部分处建立观看图像处理路径。在这种情况下，复用器250将图像缩放器220处理的当前帧的观看图像提供至预处理器210，预处理器210和后处理器230在图5的帧持续时间的部分551处理观看图像，观看图像经由复用器250被提供至显示单元140以用于显示。此后，控制单元100控制在帧521的其余部分553处建立捕获图像处理路径并从缓冲器240检索摄像机输出图像帧处的摄像机输出图像(例如，零快门滞后图像)。复用器250将缓冲器240的输出提供至预处理器210，通过解复用器255将预处理器210和后处理器230处理后的捕获图像提供至静止图像编解码器260。静止图像编解码器对捕获图像进行压缩编码，使得将压缩的图像存储在存储单元130中。

尽管未示出，然而图像处理器120可以被配置为使得缓冲器240的输出端连接至预处理器210，预处理器210和缓冲器240的输出端连接至复用器250，复用器250的输出端连接至图像缩放器220，并且图像缩放器220的输出端连接至后处理器230。

图6A至6C是示出了根据本发明另一示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图。

参考图6A至6C，所示的图像处理器120的配置针对图像处理器120将帧图像分为多个图像块、处理图像块并将处理后的图像块组合成捕获图像的情况。

图7A至7C是示出了在图像处理器(例如，图6A至6C的图像处理器)中在图像块状态下处理帧图像的原理的图。

参考图6A以及图7A至7C，预处理器210对摄像机输出图像进行预处理。将预处理的图像传送至图像缩放器220以缩放至观看图像的尺寸和/或像素数目。此时，图像缩放器220能够包括重新定尺寸器和/或求和平均部件。在缓冲器240中缓冲从预处理器输出的摄像机输出图像。在处理观看图像的预览模式下，控制单元控制复用器250和解复用器255建立观看图像路径以将图像缩放器220的输出传送至显示单元140。复用器250将从图像缩放器220输出的观看图像提供至后处理器230。后处理器230对图像缩放器220缩放到观看图像的尺寸(或像素数目)的图像执行颜色内插、IPC处理和图像转换。解复用器255将后处理的观看图像传送至显示单元140，显示单元140显示观看图像。在工作在预览模式的状态下，在缓冲器240中缓冲从预处理器210输出的摄像机输出图像。由于控制单元100在预览模式下并不对缓冲器240中缓冲的图像执行图像处理，所以在预览模式下可以省电。

如果在上述状态下输入了捕获请求，则控制单元100以时分的方式控制复用器250和解复用器255在捕获图像帧持续时间处理观看图像和捕获图像。在这种情况下，复用器250和解复用器255在控制单元100的控制下，以时分的方式，在帧的起始部分处选择观看图像，然后在帧的其余部分处选择捕获图像。可以将捕获图像处理持续时间设置为比观看图像处理持续时间长。在观看图像处理持续时间，将观看图像经由图像缩放器220、复用器250、后处理器230和解复用器255传送至显示单元140。在捕获图像处理持续时间，将捕获图像经由缓冲器240、复用器250、后处理器230和解复用器255传送至组合器600。

对捕获图像帧的图像处理操作做出了描述。控制单元100控制图像处理器120以时分的方式处理观看图像和捕获图像。控制单元100首先建立观看图像处理路径，使得预处理器210预处理的摄像机输出图像被缓冲在缓冲器240中并同时由图像缩放器220缩放为观看图像。经由复用器250将观看图像提供至后处理器230以由后处理器230处理并然后经由解复用器255提供至显示单元140，由显示单元140显示观看图像。如上所述，按照与预览图像处理过程相同的方式执行观看图像处理过程。此后，控制单元100处理捕获图像帧的其余部分的捕获图像。

在捕获图像处理期间，控制单元从缓冲器240检索预先指定帧处的摄像机输出图像作为捕获图像。捕获图像可以是缓冲器240缓冲的帧图像中能够补偿快门滞后的摄像机输出图像，所述能够补偿快门滞后的摄像机输出图像是通过留意快门延迟而被选择的。此时，所选的摄像机输出图像可以如图7A所示构造。图7A示出了在假定m＝2n并且y＝2x的前提下尺寸为m*y的示例帧图像。在处理捕获图像时，控制单元以预定尺寸的块为单位从缓冲器240读取捕获图像，通过复用器250将块图像(平铺图像(tile image))提供至后处理器230。后处理器230对平铺图像进行后处理，解复用器255将后处理的平铺图像提供至组合器600。组合器600将平铺图像组合成一个帧图像。以划分的平铺图像的形式来后处理摄像机输出图像是为了减少复用器250的门的数目，从而简化硬件配置并降低功耗。此外，以划分的平铺图像的形式来处理摄像机输出图像是为了便于处理以下这样的摄像机输出图像(例如，高像素图像)：该摄像机输出图像过大，以至于无法在一个帧持续时间同时处理观看图像和摄像机输出图像。

首先对分为两个平铺图像的摄像机输出图像(帧图像)的后处理操作进行描述。在摄像机输出图像分为尺寸相等的两个平铺图像的情况下，两个平铺图像中的每一个具有尺寸n*y。此时，可以将帧图像水平分为由列(1)-(n)组成的平铺图像和由列(n+1)-(m)组成的平铺图像。然后，在后处理帧图像时，对相邻像素执行颜色内插和IPC处理，使得将帧图像分为包括列(1)-(n+a)的第一平铺图像和包括列(n-a+1)-(m)的第二平铺图像，其中“a”根据后处理器的处理类型而变化。例如，“a”表示重叠的行的数目，在本发明的示例实施例中，假定a＝1。控制单元100读取图7B的第一平铺图像710，并将第一平铺图像710提供至后处理器230，后处理器230如上所述对第一平铺图像710进行后处理并经由解复用器255将后处理的第一平铺图像提供至组合器600。此后，控制单元100读取图7B的第二平铺图像720并将第二平铺图像720提供至后处理器230，后处理器230对第二平铺图像720进行后处理并将后处理的第二平铺图像经由解复用器255提供至组合器600。通过以划分为图7B的第一平铺图像710和第二平铺图像720的形式来传送图7A的摄像机输出图像，可以在一个帧持续时间内或者在与平铺图像数目相同的帧内传送平铺图像。在后一种情况下，在两个帧持续时间内处理两个平铺图像。组合器600将在这两个帧持续时间接收到的两个平铺图像组合成一个帧图像。

此时，由于经由解复用器255传送的图像还包括相邻像素以在后处理中使用相邻像素的信息(在图7B的平铺图像710的情况下，是列(line)n+1上的像素；在图7B的平铺图像720的情况下是列n上的像素)，所以在组合平铺文件之前应当去除相应列的像素。在输入了如图7B的参考数字710和720表示的经过后处理的平铺图像之后，组合器600去除第一平铺图像的列n+1上的像素以及第二平铺图像的列n上的像素，然后将平铺图像组合成帧图像。此后，将组合器600输出的帧图像提供至静止图像编解码器260，静止图像编解码器260对帧图像进列压缩编码，压缩后的图像存储在存储单元130中。

其次，描述了对分成四个平铺图像的帧图像的后处理操作。如图7C所示，在帧图像分为四个平铺图像的情况下，每个平铺图像的尺寸为n*x，可以平铺图像表示为集合{(1)-(n)，(1)-(x)；{(n+1)-(m)，(1)-(x)；(1)-(n)，(x+1)-(y)；{(n+1)-(m)，(x+1)-(y)}。

然而，在后处理帧图像时，对相邻像素执行颜色内插和IPC处理使得将帧图像分为如参考数字750、760、770和780表示的四个帧图像，即，{(1)-(n+1)，(1)-(x+1)；{(n)-(m)，(1)-(x+1)；(1)-(n+1)，(x)-(y)；{(n)-(m)，(x)-(y)}。此后，控制单元100读取图7C的第一平铺图像750并将第一平铺图像750提供至后处理器230，后处理器230如上所述对第一平铺图像750进行后处理并将后处理的第一平铺图像经由解复用器255提供至组合器600。同样，控制单元100读取平铺图像760、770和780，将平铺图像顺序地提供至后处理器230，后处理器230对平铺图像进行后处理并将后处理的平铺图像经由解复用器255顺序地输出至组合器600。在处理分为图7C的第一至第四平铺图像750到780的图7A的帧图像的情况下，在四个帧持续时间处理平铺图像。组合器600将在四个帧持续时间接收到的四个平铺图像组合成一个帧图像。

此时，由于平铺图像还包括相邻像素以在后处理中使用相邻像素的信息(在图7C的平铺图像750的情况下，是列n+1和行x+1上的像素；在图7C的平铺图像760的情况下，是列n和行x+1上的像素；在图7C的平铺图像770的情况下，是列n和行x+1上的像素；在图7C的平铺图像780的情况下是列n和行x上的像素)，在组合平铺图像之前应当去除相邻列的像素。在输入了如图7C的参考数字750至780表示的后处理的平铺图像的情况下，组合器600去除平铺图像的相邻行列的像素，然后将平铺图像组合成帧图像。此后，将组合器600输出的帧图像提供至静止图像编解码器260，静止图像编解码器260对帧图像进行压缩编码，压缩后的图像存储在存储单元130中。

如上所述，后处理器230在处理如图7B所示分为两个平铺图像的帧图像的情况下，以帧尺寸的1/2为单位处理摄像机输出图像；在处理如图7C所示分为四个平铺图像的帧图像的情况下，以帧尺寸的1/4为单位处理摄像机输出图像。由于以划分为预定数目的平铺图像的形式来处理摄像机输出图像，所以可以显著减少后处理器230的逻辑门的数目，从而降低功耗。

在运动图像拍摄模式下，运动图像编解码器270对从解复用器255输出的观看图像进行编码，以将编码的图像存储在存储单元130中。

图6B示出了捕获图像的示例过程，其中，将摄像机输出图像分为多个平铺图像，对平铺图像进行预处理和后处理，并将经过处理的平铺图像组合成捕获图像。

描述了如图6B所示构造的图像处理器120的配置和操作。首先，将摄像机输出图像同时输入至图像缩放器220和缓冲器240。缓冲器240缓冲摄像机输出图像，图像缩放器220将摄像机输出图像缩放到观看图像尺寸。如上所述，图像缩放器220可以具有重新定尺寸器和/或求和平均部件。

在处理观看图像的预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径。一旦建立了观看图像处理路径，复用器250将图像缩放器220产生的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。预处理器210和后处理器230分别处理观看图像使得由显示单元140来显示处理后的观看图像。

如果在上述状态下输入了捕获请求，则控制单元100以时分的方式控制复用器250和解复用器255在捕获图像帧持续时间内处理观看图像和捕获图像。在这种情况下，复用器250和解复用器255在控制单元100的控制下，以时分的方式，首先在帧的起始部分处采用观看图像，然后在帧的其余部分处采用捕获图像。可以将捕获图像处理持续时间设置为比观看图像处理持续时间长。经由复用器250、预处理器210、后处理器230和解复用器255将在观看图像处理期间从图像缩放器220输出的观看图像提供至显示单元140。经由复用器250、预处理器210、后处理器230和解复用器255将在捕获图像处理期间从缓冲器240输出的平铺图像提供至组合器600。如参考图6B描述的，在处理捕获图像时，将如图7A所示的摄像机输出图像以分成如图7B或7C所示的平铺图像的形式从缓冲器240输出，并由预处理器210和后处理器230顺序地处理以提供至组合器600。组合器600将处理后的平铺图像组合成帧图像，静止图像编解码器260对组合的摄像机输出图像进行压缩编码，压缩的摄像机输出图像存储在存储单元130中。可以如参考图6A描述的来执行图像处理器120的摄像机输出图像划分和组合过程。

在运动图像拍摄模式下，运动图像编解码器270对从解复用器255输出的观看图像进行编码，以将编码的图像存储在存储单元130中。

参考图6C，缓冲器240缓冲摄像机输出图像。控制单元100进行控制使得以预定尺寸的平铺图像的形式来读出从缓冲器240中选择的帧的摄像机输出图像。图像缩放器220将从缓冲器240输出的当前帧图像缩放为观看图像。复用器250在处理观看图像的预览模式下采用图像缩放器220的输出，在捕获摄像机输出图像的捕获模式下在一个帧持续时间以时分的方式顺序地采用从图像缩放器220输出的观看图像和从缓冲器240输出的摄像机输出图像的平铺图像。预处理器210在控制单元100的控制下以时分的方式对从复用器250输出的观看图像和平铺图像进行预处理。后处理器230在控制单元100的控制下以时分的方式对预处理的观看图像和平铺图像进行后处理。解复用器255在控制单元100的控制下在预览模式下将从后处理器230输出的观看图像提供至显示单元140，以时分的方式将从后处理器230输出的观看图像和平铺图像分别提供至显示单元140和组合器600。组合器600将平铺图像组合成一帧的摄像机输出图像，静止图像编解码器260对组合器600提供的摄像机输出图像进行压缩编码，压缩的图像存储在存储单元130中。

在运动图像拍摄模式下，运动图像编解码器270对从解复用器255输出的观看图像进行编码以将编码的图像存储在存储单元130中。

根据本发明的示例实施例，如图6C所示，在处理观看图像的预览模式下，在控制单元100的控制下缓冲器在预览模式下缓冲摄像机输出图像，图像缩放器220将当前帧的摄像机输出图像缩放为观看图像。控制单元100还控制复用器250和解复用器255建立观看图像处理路径。一旦建立了观看图像处理路径，复用器250将图像缩放器220产生的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。

如果输入了摄像机输出图像捕获请求，则控制单元100控制复用器250和解复用器255建立观看图像处理路径。复用器250将缓冲器240处理过的观看图像提供至预处理器210，预处理器210和后处理器230处理观看图像，解复用器255将处理过的观看图像提供至显示单元140以用于显示。此后，控制单元100控制复用器250和解复用器255建立捕获图像处理路径，并控制缓冲器240输出预先指定帧的捕获图像的平铺图像(例如，具有零快门滞后的图像)。复用器250将从缓冲器240输出的平铺图像提供至预处理器，预处理器210和后处理器230处理平铺图像，经由解复用器255将处理后的平铺图像提供至组合器600。将捕获图像处理操作重复与构成摄像机输出图像的帧的图像数目相等的次数，组合器600将处理后的平铺图像组合成一帧的摄像机输出图像，组合的摄像机输出图像被提供至静止图像编解码器260。静止图像编解码器260对组合的摄像机输出图像进行压缩编码，压缩的图像被存储在存储单元130中作为捕获图像。如参考图6A以及图7A至7C描述的来执行划分和组合摄像机输出图像的操作。尽管未示出，然而图像处理器120可以被配置为使得缓冲器240的输出端连接至预处理器210，预处理器210和缓冲器240的输出端连接至复用器250，复用器250的输出端连接至图像缩放器220，图像缩放器220的输出端连接至后处理器230。

如图6A至6C中任一附图所示构造的图像处理器120响应于捕获请求来处理分为预定数目平铺图像的摄像机输出图像。这简化了图像处理器120的硬件配置(例如，减少了预处理器210和/或后处理器230的门的数目)，并且降低了图像处理器120的功耗。以划分的平铺图像的形式来处理摄像机输出图像是为了便于处理以下这样的摄像机输出图像：该摄像机输出图像过大(例如，高像素图像)，以至于无法在一个帧持续时间同时处理观看图像和摄像机输出图像。通过在捕获模式下处理划分为平铺图像的摄像机输出图像，可以稳定地捕获大型高像素(high volume and high pixel)的图像。

图8A至8C是示出了根据本发明示例实施例的图像处理器(例如，图1的图像处理器)的示例配置的框图。

参考图8A至8C，根据本发明的示例实施例，图像处理器120使用多个操作时钟，处理分为平铺图像的帧图像以获取捕获图像，并将处理后的平铺图像组合成捕获图像。

图9是示出了根据本发明示例实施例的图像处理器(例如，如图8A至8C中任一附图所示而构造的图像处理器)的图像处理定时的图。

如图7A至7C所示，在捕获模式下将一帧的摄像机输出图像分为具有预定尺寸的多个平铺图像，独立地处理平铺图像并然后处理成捕获图像。

参考图7A至7C、图8A以及图9，预处理器210对摄像机输出图像进行预处理。图像缩放器220将预处理的图像缩放到观看图像的尺寸和/或像素数目。此时，可以利用重新定尺寸器和/或求和平均部件来实现图像缩放器220。在预览模式下，在缓冲器240中缓冲预处理器210输出的图像。此时，后处理器230和静止图像编解码器260被禁用以在预览模式下省电。

时钟产生单元400包括：高时钟产生器410，用于产生高时钟；低时钟产生器420，用于产生频率比高时钟低的低时钟；以及选择器430，在控制单元100的控制下选择提供高时钟和低时钟之一作为处理捕获图像时的操作时钟。首先，摄像机110以如图9的参考数字911所示的垂直同步信号Vsync为单位产生并输出帧图像。例如，垂直同步信号Vsync以一个帧的周期出现。可以将预览模式下处理观看图像的操作时钟设置为低时钟或高时钟。如果选择了高时钟，则选择器430将高时钟产生器410的输出提供至缓冲器240和后处理器230作为操作时钟。在预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径，而并不访问缓冲器240。由预处理器210和图像缩放器220来处理在如图9的参考数字911表示的时间段由摄像机110产生的帧图像以产生观看图像，经由复用器250将所述观看图像传递至后处理器230。后处理器230以参考数字913所示的高时钟速率来处理观看图像，解复用器255将经过后处理的观看图像传递至显示单元140以用于显示。其次，如果选择了低时钟，则选择器430提供低时钟产生器420的输出作为后处理器230的操作时钟。后处理器230以图9的参考数字915所示的低时钟速率来处理观看图像，解复用器255将后处理的观看图像提供至显示单元140以用于显示。

如果在上述状态下输入了捕获请求，则控制单元100控制复用器250和解复用器255在捕获帧持续时间建立观看图像处理路径，在捕获帧持续时间以高时钟速率处理观看图像，如参考数字951和961所示。此后，控制单元100控制复用器250和解复用器255在如参考数字953和963表示的捕获帧持续时间(图9的帧持续时间921和923)建立捕获图像处理路径，并从缓冲器240检索预先指定帧(例如，具有零快门滞后的帧)的摄像机输出图像。此时，控制单元100在具有预定尺寸的划分的平铺图像中读出一帧的摄像机输出图像，如参考图7A至7C描述的。例如，如果输入了捕获请求，则控制单元100按照块尺寸(例如，平铺图像)经由复用器250从缓冲器240读出帧图像至后处理器230。后处理器230对平铺图像进行后处理，并经由解复用器255将后处理的平铺图像输出至组合器600。组合器600将处理的平铺图像组合成摄像机输出图像的帧。

在以尺寸为1/2帧图像的平铺图像的形式读出摄像机输出图像的情况下，控制单元100读取如图7B的参考数字710和720表示的第一平铺图像和第二平铺图像。将在帧持续时间921从缓冲器240读出的第一平铺图像710经由复用器250传送至后处理器230，以对其进行后处理并然后经由解复用器255提供至组合器600。此后，如图9的参考数字963表示的，将在下一帧持续时间(图9的帧持续时间923)从缓冲器240读出的图7B的第二平铺图像720经由复用器250传送至后处理器230，然后经由解复用器255提供至组合器600。

此时，由于经由解复用器255传送的图像还包括相邻像素以便在后处理中使用相邻像素的信息(在图7B的平铺图像710的情况下，是列n+1上的像素；在图7B的平铺图像720的情况下，是列n上的像素)，因此在组合平铺图像之前应当去除对应列的像素。在输入了如图7B的参考数字710和720表示的经过后处理的平铺图像的情况下，组合器600去除第一平铺图像的列n+1的像素和第二平铺图像的列n的像素，然后将平铺图像组合成帧图像。此后，将组合器600输出的帧图像提供至静止图像编解码器260，静止图像编解码器260对帧图像进行压缩编码，压缩的图像存储在存储单元130中。按照这种方式，图像处理器120在预览模式下以所选的始终速率处理观看图像，如参考数字913和915所示。在捕获模式下，如果选择了高时钟，则控制单元控制复用器250和解复用器255在一个帧持续时间内处理观看图像和捕获图像。控制单元100进行控制使得将摄像机输出图像分为多个平铺图像，在与平铺图像的数目相等的帧持续时间上以高时钟速率来处理平铺图像。如果平铺图像的数目为3，则在三个帧持续时间上处理平铺图像；如果平铺图像的数目是4(如图7C所示)，则在四个帧持续时间上处理平铺图像。

参考图8B，将摄像机输出图像同时输入至图像缩放器220和缓冲器240。缓冲器240缓冲摄像机输出图像，图像缩放器220将摄像机输出图像缩放到观看图像尺寸。如上所述，图像缩放器220可以包括重新定尺寸器和/或求和平均部件。时钟产生单元400提供所选的时钟(低时钟或高时钟)作为图像处理器120的操作时钟。

在处理观看图像的预览模式下，控制单元100控制复用器250和解复用器255建立观看图像处理路径。控制单元100控制时钟产生单元400提供高时钟或低时钟作为图像处理器120的操作时钟。一旦建立了观看图像处理路径，复用器250将图像缩放器220产生的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。预处理器210和后处理器230分别对观看图像执行预处理和后处理，使得由显示单元140来显示处理后的观看图像。如果提供低时钟作为操作时钟，则图像处理器120如图9的参考数字915所示处理观看图像；如果提供高时钟作为操作时钟，则图像处理器如图9的参考数字913所示处理观看图像。

如果在上述状态下输入了捕获请求，则控制单元100以时分的方式控制复用器250和解复用器255在捕获图像帧持续时间处理观看图像和捕获图像。控制单元100控制时钟产生单元400提供高时钟作为图像处理器120的操作时钟。在这种情况下，复用器250和解复用器255在控制单元100的控制下，以时分的方式，在帧的起始部分处采用观看图像，然后在帧的其余部分处采用捕获图像。在处理分成两个平铺图像的摄像机输出图像的情况下，将如参考数字951和961表示的观看图像处理持续时间内由图像缩放器220输出的观看图像经由复用器250、预处理器210、后处理器230和解复用器255传送至显示单元140。此后，将如图9的参考数字953和963表示的捕获图像处理持续时间内从缓冲器240输出的平铺图像经由复用器250、预处理器210、后处理器230和解复用器255提供至组合器600。如参考图8A描述的，如图7A所示的摄像机输出图像以如图7B或7C所示的划分的平铺图像的形式从缓冲器240输出，并由预处理器210和后处理器230顺序地处理以提供至组合器600。组合器600将处理后的平铺图像组合成帧图像，静止图像编解码器260对组合的摄像机输出图像进行压缩编码，压缩的摄像机输出图像存储在存储单元130中。可以如参考图6A和8A描述的来执行图像处理器120的摄像机输出图像划分和组合操作。

参考图8C，缓冲器240缓冲摄像机输出图像。控制单元100进行控制使得以具有预定尺寸的平铺图像的形式读出从缓冲器240中选择的帧的摄像机输出图像。图像缩放器220将从缓冲器240输出的当前帧的摄像机输出图像缩放为观看图像。在控制单元100的控制下，时钟产生单元400选择高时钟速率和低时钟速率之一并提供所选的时钟速率作为图像处理器120的操作时钟速率。复用器250在处理观看图像的预览模式下采用图像缩放器220的输出，在捕获摄像机输出图像的捕获模式下在一个帧持续时间内以时分的方式顺序地采用从图像缩放器220输出的观看图像和从缓冲器240输出的摄像机输出图像的平铺图像。预处理器210在控制单元100的控制下以时分的方式对从复用器250输出的观看图像和/或平铺图像进行预处理。后处理器230在控制单元100的控制下对预处理的观看图像和/或平铺图像进行后处理。解复用器255在预览模式下将从后处理器230输出的观看图像传送至显示单元140，在控制单元100的控制下以时分的方式将从后处理器230输出的观看图像和平铺图像分别传送至显示单元140和组合器600。组合器600将平铺图像组合成摄像机输出图像的帧，静止图像编解码器260对从组合器600输出的摄像机输出图像进行压缩编码，压缩的图像存储在存储单元130中。

在处理观看图像的预览模式下，在控制单元100的控制下，缓冲器240缓冲摄像机输出图像，图像缩放器220将缓冲器240的当前帧的摄像机输出图像缩放为观看图像。控制单元100控制复用器250和解复用器255建立观看图像处理路径，并控制时钟产生单元400提供高时钟速率和低时钟速率之一作为图像处理器120的操作时钟。一旦建立了观看图像处理路径，复用器250将图像缩放器220产生的观看图像提供至预处理器210，解复用器255将后处理器230的输出提供至显示单元140。如果提供低时钟速率作为操作时钟，则图像处理器120如图9的参考数字915所示处理观看图像；如果提供高时钟作为操作时钟，则图像处理器如图9的参考数字913所示处理观看图像。

如果输入了摄像机输出图像捕获请求，则控制单元100控制复用器250和解复用器255建立观看图像处理路径，并控制时钟产生单元400向图像处理器250提供高时钟速率作为操作时钟速率。复用器250将图像缩放器220处理的观看图像提供至预处理器210，预处理器210和后处理器230在图9的时间段951和961处理观看图像，经由解复用器255将观看图像提供至存储单元130以用于显示。此后，控制单元100控制复用器250和解复用器255建立捕获图像处理路径，并控制缓冲器240输出预先指定帧的捕获图像的平铺图像(例如，具有零快门滞后的图像)。复用器250将从缓冲器240输出的平铺图像提供至预处理器，预处理器210和后处理器230在图9的时间段963和963处理平铺图像，解复用器255将处理后的平铺图像提供至组合器600。将捕获图像处理操作重复与构成摄像机输出图像的帧的图像数目相等的次数，组合器600将处理后的平铺图像组合成一帧的摄像机输出图像，组合的摄像机输出图像被提供至静止图像编解码器260。静止图像编解码器260对组合的摄像机输出图像进行压缩编码，压缩的图像被存储在存储单元130中作为捕获图像。如参考图6A以及图7A至7C描述的来执行划分和组合摄像机输出图像的操作。

尽管未示出，然而图8C中的图像处理器120可以被配置为使得缓冲器240的输出端连接至预处理器210，预处理器210和缓冲器240的输出端连接至复用器250，复用器250的输出端连接至图像缩放器220，并且图像缩放器220的输出端连接至后处理器230。

如图8A至8C中任一附图所示构造的图像处理器120响应于捕获请求来处理划分为预定数目的平铺图像的摄像机输出图像。这简化了图像处理器120的硬件配置(例如，减少了预处理器210和/或后处理器230的逻辑门的数目)，并且降低了图像处理器120的功耗。通过处理(预处理和/或后处理)分为平铺图像的输出图像，可以以时分的方式同时处理大型的高像素的观看图像和捕获图像。

配备有如图2A至2D、图4A至4C、图6A至6C以及图8A至8C中任一附图所示构造的图像处理器120的摄像机设备能够同时处理运动图像和捕获图像。也就是说，观看图像是能够记录为运动图像的图像。因此，在运动图像记录模式下，上述构造的图像处理器120在每一个帧周期同时向显示单元140和运动图像编解码器270产生观看图像。在运动图像记录模式下，图像处理器120在显示单元140的屏幕上显示观看图像，并同时通过运动图像编解码器对观看图像进行编码以将编码的图像记录在存储单元130中。如果在该状态下输入了捕获请求命令，则图像处理器120将具有零快门滞后的帧图像与观看图像一起编码。在显示单元140的屏幕上显示观看图像的同时，图像处理器120通过运动图像编解码器270对观看图像进行编码，存储编码后的图像。

图10A和10B是示出了例如根据本发明示例实施例的图像处理器的详细配置的框图。

参考图10A，示出了图像处理器(例如，图8A的图像处理器120)的详细配置。除了图8A的配置之外，图10A的图像处理器还包括：缓冲器240，构造为能够缓冲5幅摄像机输出图像的5元素环形缓冲器；环形缓冲器910，用于缓冲从预处理器210输出的观看图像；缩放器920，用于将组合器600的输出缩放为要存储的数据的尺寸；以及缩放器930，用于将观看图像缩放为适合显示单元140的显示尺寸。尽管图10A针对的是包括时钟产生单元400和组合器600的图像处理器120，然而可以不包括时钟产生单元400和/或组合器600。例如，还可以如图2A、4A和6A中任一附图所示来构造图10A的图像处理器。

参考图10A，控制单元100在预览模式下控制复用器250将环形缓冲器910的输出提供至预处理器210，并控制解复用器255将后处理器230的输出提供至缩放器930。在这种情况下，摄像机输出图像由预处理器210来预处理，由图像缩放器220缩放至显示单元140的显示尺寸，并然后缓冲在环形缓冲器910中。环形缓冲器910缓冲观看图像，并且具有能够缓冲2至3帧的观看图像的尺寸。使用环形缓冲器910是为了补偿在处理捕获图像时可能出现的帧延迟。捕获图像是摄像机输出图像，在处理捕获图像时可能存在帧延迟。在这种情况下，在环形缓冲器910中缓冲观看图像以在处理捕获图像之后再处理观看图像。按照这种方式，可以避免处理捕获图像时观看图像的时间滞后。将从环形缓冲器910读出的观看图像经由复用器250提供至后处理器230，然后经由解复用器255提供至缩放器930。缩放器930将经过后处理的观看图像缩放为显示单元140的显示尺寸，使得显示单元140显示从缩放器930输出的观看图像。在预览模式下，在缓冲器240中缓冲由预处理器210预处理的摄像机输出图像。在图10A中，缓冲器240被构造为能够缓冲5幅摄像机输出图像的环形缓冲器。根据本发明的示例实施例，优选地环形缓冲器具有大到足以补偿摄像机快门滞后的尺寸。在预览模式下，控制单元100控制缓冲器240缓冲由摄像机110获得的图像，但并不访问缓冲器240中缓冲的图像。

根据本发明的示例实施例，假定图像处理器120在预览模式下以低时钟速率操作，在捕获图像处理模式下以高时钟速率工作，并且以划分成两个平铺图像的形式来处理摄像机输出图像的帧。假定能够补偿捕获请求定时处的快门滞后的帧图像是Raw data4。如果输入了捕获请求，则控制单元100控制复用器250和解复用器255如图9的参考数字921和923表示的以时分的方式在一个帧持续时间内建立用于处理观看图像和捕获图像的图像处理路径。控制单元100控制选择器430选择高时钟速率。

在图9的帧921的起始部分951处，图像处理器120在控制单元100的控制下建立上述用于处理观看图像的观看图像处理路径。此后控制单元100在图9的帧921的部分953处从缓冲器240读出Raw data4作为尺寸为帧图像1/2的平铺图像(图7B的平铺图像710)，使得在图9的帧921的部分953处对平铺图像进行后处理并然后提供至组合器600。此后，图像处理器120在图9的下一帧923的部分961处再次建立观看图像处理路径以处理下一帧的观看图像。控制单元在图9的帧923的部分963处从缓冲器240读出Raw data4作为尺寸为帧图像1/2的平铺图像(图7B的平铺图像720)，使得在图9的帧923的部分963处对平铺图像进行后处理并然后提供至组合器600。

组合器600将两个平铺图像组合成摄像机输出图像的帧，缩放器920将摄像机输出图像缩放为捕获图像尺寸，静止图像编解码器260对缩放后的捕获图像进行编码，编码的捕获图像存储在存储单元130中。此时，显示单元140能够显示捕获图像。也就是说，控制单元100能够显示捕获图像，并且在这种情况下，可以在预定的时间段显示捕获图像或者显示捕获图像直到用户将操作模式切换到预览模式(例如，在完成具有平铺的图像的存储之前)，而不显示观看图像。

根据本发明的示例实施例，后处理器230可以包括颜色内插器231、IPC233和YUV图像处理器235。

根据本发明的示例实施例，时钟产生单元400可以包括：高时钟产生器410，用于产生高时钟；低时钟产生器420，用于产生频率比高时钟低的低时钟；以及选择器430，在控制单元100的控制下选择提供高时钟和低时钟之一作为处理捕获图像时的操作时钟。

图10B是示出了图8B的图像处理器120的详细配置的图。除了图8B的配置以外，图10B的图像处理器还包括：缓冲器240，构造为能够缓冲5幅摄像机输出图像的5元素环形缓冲器；环形缓冲器910，用于缓冲从图像缩放器220输出的观看图像；缩放器920，用于将组合器600的输出缩放为要存储的数据的尺寸；以及缩放器930，用于将观看图像缩放为适合显示单元140的显示尺寸。图10B针对的是包括时钟产生单元400和组合器600的图像处理器120，然而可以不包括时钟产生单元400和/或组合器600。

参考图10B，控制单元100在预览模式下控制复用器250将环形缓冲器910的输出提供至预处理器210，并控制解复用器255将后处理器230的输出提供至缩放器930。在这种情况下，摄像机输出图像由图像缩放器220缩放至显示单元140的显示尺寸，然后被提供至环形缓冲器910。环形缓冲器910缓冲观看图像，并且具有能够缓冲2至3帧的观看图像的尺寸。使用环形缓冲器910是为了补偿在处理捕获图像时可能出现的帧延迟。捕获图像是摄像机输出图像，在处理捕获图像时可能存在帧延迟。在这种情况下，在环形缓冲器910中缓冲观看图像以在处理捕获图像之后再处理观看图像。因此，可以避免处理捕获图像时观看图像的时间滞后。将从环形缓冲器910读出的观看图像经由复用器250提供至后处理器230，然后经由解复用器255提供至缩放器930。缩放器930将经过后处理的观看图像缩放为显示单元140的显示尺寸，使得显示单元140显示从缩放器930输出的观看图像。在预览模式下，在缓冲器240中缓冲由预处理器210预处理的摄像机输出图像。

在图10A中，缓冲器240被构造为能够缓冲5幅摄像机输出图像的环形缓冲器。根据本发明的示例实施例，优选地环形缓冲器具有大到足以补偿摄像机快门滞后的尺寸。

如果在上述状态下输入了捕获请求，则控制单元100控制复用器250和解复用器255在一个帧持续时间(例如，图9的帧持续时间921和923)以时分的方式建立用于处理观看图像和捕获图像的图像处理路径。控制单元100控制选择器430选择高时钟速率。在图9的帧921的起始部分951处，图像处理器120在控制单元100的控制下建设上述用于处理观看图像的观看图像处理路径。此后，在图9的帧921的部分953处，控制单元100从缓冲器240读出摄像机输出图像(例如，Raw data4)，使得对平铺图像进行后处理并然后提供至组合器600。此后，图像处理器120在图9的下一帧923的部分961处再次建立观看图像处理路径以处理下一帧的观看图像。接下来，控制单元100在图9的帧923的部分963处从缓冲器240读出摄像机输出图像的下一个平铺图像，对平铺图像进行预处理和后处理并然后提供至组合器600。组合器600将两个平铺图像组合成摄像机输出图像的帧，缩放器920将帧图像缩放到要存储的图像的尺寸，静止图像编解码器260将缩放后的图像编码成编码图像，捕获图像存储在存储单元130中。

图11是示出了根据本发明示例实施例的摄像机设备或配备有摄像机的终端的图像处理方法的流程图。

参考图11，在步骤1111，如果通过输入单元150输入了摄像机驱动命令，则控制单元100驱动摄像机110。例如，在步骤1111，摄像机设备确定是否输入了用于驱动摄像机110的命令。如果没有输入用于驱动摄像机110的命令，则摄像机设备可以继续轮询该命令的接收。如果输入了用于驱动摄像机110的命令，则摄像机设备进行至步骤1113，在步骤1113摄像机设备执行预览模式以处理观看图像。在预览模式下，控制单元通过如图12A至12D所示的过程来处理观看图像。如果在处理观看图像时输入了捕获请求，则控制单元在步骤1115检测捕获请求并在步骤1117处理捕获图像。在处理捕获图像时，控制单元100进行控制以通过图14至17的过程以时分的方式处理观看图像和捕获图像。预览模式或捕获模式继续进行直至摄像机停止操作，如果用户通过输入单元150输入了终止请求，则控制单元100在步骤1119检测这一情况并在步骤1121终止摄像机110的操作。

如果在步骤1115控制单元并未检测到捕获请求，则控制单元进行至步骤1119，在步骤1119控制单元确定是否接收到终止请求。如果在步骤1119控制单元确定没有接收到终止请求，则控制单元进行至步骤1113。反之，如果在步骤1119控制单元确定接收到了终止请求，则控制单元进行至步骤1121。

图12A至12D是示出了根据本发明示例实施例的在摄像机设备或配备有摄像机的终端中处理观看图像的过程的流程图。图13是示出了根据本发明示例实施例进行缩放以产生观看图像(例如，图12A至12D中的观看图像)以及后处理和显示观看图像的过程的流程图。

参考图12A，在步骤1211，控制单元100控制图像处理器120的复用器250和解复用器255在预览模式下建立观看图像处理路径。接下来，在步骤1213，控制单元100对来自摄像机110的摄像机输出图像进行预处理。例如，在预处理过程中，图像处理器120从摄像机输出图像提取3A，并对摄像机输出图像执行镜头抖动校正、坏点校正和拐点校正。

接下来，在步骤1215，控制单元100将预处理的摄像机输出图像缓冲在缓冲器240中，并将摄像机输出图像缩放到显示单元140的显示尺寸以产生观看图像。接下来，控制单元100在步骤1217对复用的观看图像进行后处理，然后在步骤1219在显示单元140的屏幕上显示观看图像。

参考图13，可以通过重新定尺寸操作和求平均操作来执行根据本发明示例实施例的图像缩放。在利用重新定尺寸器来实现图像缩放器220的情况下，控制单元100在步骤1311确定图像缩放器220是否是利用重新定尺寸器来实现的。如果在步骤1311控制单元100确定要对图像重新定尺寸，则在步骤1313控制单元通过重新定尺寸操作将摄像机输出图像重新定尺寸为观看图像。此时，摄像机110能够通过对摄像机输出图像执行抽取、内插和剪裁操作中的至少一个来产生观看图像。反之，如果控制单元确定图像缩放器220不是利用重新定尺寸器来实现的，则控制单元进行至步骤1315，在步骤1315利用求和平均部件来实现图像缩放器，并且在步骤1315控制单元100对相邻像素进行求和平均以减少摄像机输出图像的像素数目。此时，可以如参考图3A至3B描述的来执行求和平均操作。

在缩放了图像之后，控制单元100对观看图像进行预处理和/或后处理。通过步骤1317至1321来执行后处理操作。如上所述，在步骤1325，可以通过颜色内插、IPC处理和图像转换操作中的至少一个来执行后处理，从而在显示单元140的屏幕上显示YUV观看图像。

在预览模式下，控制单元100通过图13的过程将摄像机输出图像缩放到观看图像尺寸，在每一个帧周期缓冲全分辨率图像的同时对观看图像进行后处理以在显示单元140的屏幕上显示观看图像。

图13示出了对缩放后的图像执行的示例后处理操作。然而，控制单元100能够在步骤1313之后预处理观看图像并通过步骤1317至1321对经过预处理的观看图像进行后处理。例如，在步骤1317，控制单元对观看图像进行预处理。在步骤1319，控制单元执行颜色内插。在步骤1321，控制单元执行IPC。在步骤1323，控制单元执行图像转换。在步骤1325，控制单元显示图像。

参考图12B，在步骤1231，控制单元100控制图像处理器120的复用器250和解复用器255在预览模式下建立观看图像处理路径。接下来，在步骤1233，控制单元100将从摄像机110输出的摄像机输出图像缩放为观看图像并在缓冲器240中缓冲摄像机输出图像。接下来，控制单元100在步骤1235对观看图像进行预处理，在步骤1237对预处理的观看图像进行后处理，并在步骤1239在显示单元140的屏幕上显示后处理的观看图像。

参考图12C，在步骤1251，信息处理单元10控制图像处理器120的复用器250和解复用器255在预览模式下建立观看图像处理路径。接下来，控制单元100在步骤1253缓冲从摄像机110输出的摄像机输出图像，并在步骤1255将缓冲的摄像机输出图像之中当前帧的摄像机输出图像缩放为观看图像。接下来，控制单元100在步骤1257对观看图像进行预处理，在步骤1259对预处理的观看图像进行后处理，并在步骤1261在显示单元140的屏幕上显示后处理的观看图像。

参考图12D，在步骤1271，控制单元100控制图像处理器120的复用器250和解复用器255在预览模式下建立观看图像处理路径。接下来，控制单元在步骤1273缓冲从摄像机110输出的摄像机输出图像，并在步骤1275对缓冲的摄像机输出图像之中当前帧的摄像机输出图像进行预处理。接下来，控制单元100在步骤1277将预处理的摄像机输出图像缩放为观看图像，在步骤1279对观看图像进行后处理，并在步骤1281在显示单元140的屏幕上显示后处理的观看图像。

在处理观看图像的过程中，用户能够请求图像捕获。如果检测到捕获请求，则控制单元100以时分的方式在一个帧持续时间内建立观看图像处理路径和捕获图像处理路径，并在缓冲的摄像机输出图像之中选择预先指定帧的摄像机输出图像(例如，具有零快门滞后的摄像机输出图像)以记录捕获图像。

图14至17是示出了根据本发明示例实施例的在摄像机设备或配备有摄像机的终端中处理捕获图像的过程的流程图。

参考图14，如果检测到捕获请求，则在步骤1411控制单元100控制复用器250和解复用器255建立观看图像处理路径。接下来，在步骤1413，控制单元100将控制单元100获得的图像缩放为观看图像，并通过观看图像处理路径对观看图像进行预处理和后处理以在显示单元140的屏幕上显示观看图像。可以例如通过图12A至12D的过程之一来执行步骤1413的观看图像处理过程。接下来，控制单元100在步骤1415建立捕获图像处理路径，在步骤1417从缓冲器240缓冲的图像中检索预先指定帧的摄像机输出图像(例如，具有零快门滞后的帧图像)，并在步骤1419对检索的摄像机输出图像进行预处理和后处理。接下来，控制单元100在步骤1421对后处理的图像进行编码，并在步骤1423将编码的图像存储在存储单元130中。此时，可以按照与观看图像处理过程相同的方式来执行捕获图像处理过程。

参考图15，控制单元100提供高时钟速率作为在处理捕获图像时图像处理器120的操作时钟速率。在这种情况下，图像处理器120在控制单元100的控制下，以时分的方式在一个帧持续时间内建立观看图像处理路径和捕获图像处理路径，并以高时钟速率来处理观看图像和捕获图像。如果输入了捕获请求，则控制单元100在步骤1511提供高时钟速率作为图像处理器120的操作时钟速率，并在步骤1513控制图像处理器120的复用器250和解复用器255建立观看图像处理路径。接下来，在步骤1515，控制单元100将摄像机110获得的图像缩放为观看图像，并通过观看图像处理路径以高时钟速率对观看图像进行预处理和后处理以在显示单元140的屏幕上显示观看图像。可以通过例如图12A至12D的过程中的任何一个来执行步骤1515的观看图像处理。接下来，控制单元100在步骤1517建立捕获图像处理路径，在步骤1519从缓冲器240缓冲的图像中检索预先指定帧的摄像机输出图像(例如，具有零快门滞后的帧图像)，并在步骤1521以高时钟速率对检索的摄像机输出图像进行预处理和后处理。接下来，控制单元100在步骤1523对后处理的摄像机输出图像进行编码，并在步骤1525将编码的图像存储在存储单元130中。此时，可以按照与观看图像处理过程相同的方式来执行捕获图像处理过程。

可以按照划分为多个平铺图像的形式来处理捕获图像。这有利于处理作为需要预处理器210和/或后处理器230具有复杂的配置并且需要大量功耗的高像素摄像机输出图像的捕获图像。通过将摄像机输出图像分为具有预定尺寸的多个平铺图像，将预处理器210和/或后处理器230配置为在尺寸上足以处理平铺图像，并在处理之后组合平铺图像，可以高效地处理高像素图像。

参考图16，示出了流程图，该流程图示出了在图像处理器120中将摄像机输出图像分为多个平铺图像、独立处理平铺图像并将处理后的平铺图像组合成捕获图像的过程。

如果检测到捕获请求，则控制单元100在步骤1611建立观看图像处理路径以将摄像机110获得的图像处理成观看图像。接下来，控制单元100在步骤1613将摄像机输出图像缩放为观看图像，并在步骤1613对观看图像进行预处理和后处理以显示观看图像。可以按照与图12A至12D的过程之一相同的方式来执行观看图像处理。

接下来，在步骤1615，控制单元100在相应帧时间的其余部分建立捕获图像处理路径以缓存摄像机获得的图像。接下来，在步骤1617，控制单元100从缓存的图像中检索预先指定帧的摄像机输出图像(例如，零快门滞后图像)并独立地读出摄像机输出图像的平铺图像。控制单元能够如参考图7A至7C描述的来读出平铺图像。接下来，在步骤1619，可以按照与观看图像处理过程相同的方式来执行平铺图像预处理和/或后处理。在处理平铺图像之后，控制单元100在步骤1621确定是否完全处理了摄像机输出图像的帧的所有平铺图像。在步骤1621，控制单元100确定是否已处理所有的平铺图像(例如，是否还存在要处理的平铺图像)。如果仍然存在要处理的平铺图像，则控制单元100进行至步骤1623，在步骤1623控制单元100将经过后处理的平铺图像与先前(即，在先前的帧持续时间中)处理的相结合。此后，控制单元100进行至步骤1625，在步骤1625控制单元100配置要下一个访问的平铺图像。此后，控制单元100将过程返回至步骤1611。

如果控制单元100确定已经处理了所有平铺图像并且因此产生了一个帧图像，则控制单元100进行至步骤1627，在步骤1627，控制单元100组合经过后处理的平铺图像。此后，在步骤1629，控制单元100对帧的摄像机输出图像进行编码。此后，在步骤1631控制单元将编码的图像存储在存储单元130中。

图16是作为通过在捕获模式下访问摄像机输出图像的平铺图像来进行处理的方法，如图9所示在一个帧持续时间处理平铺图像的示例过程。然而，在可以在一个帧持续时间内处理平铺图像的情况下，过程从步骤1625跳至步骤1617使得控制单元100访问下一个平铺图像。在这种情况下，图像处理器120以时分的方式建立观看图像处理路径和捕获图像处理路径，以在建立捕获图像处理路径期间处理观看图像，然后顺序地处理多个平铺图像(例如，摄像机输出图像的帧的平铺图像)。

在处理捕获图像时，控制单元100将图像处理器120的操作时钟速率设置为高时钟速率，以处理划分为具有预定尺寸的平铺图像的摄像机输出图像。

参考图17，示出了流程图，该流程图示出了在图像处理器120中以高时钟速率处理划分为多个平铺图像的摄像机输出图像的过程。

在步骤1711，如果输入了捕获请求，则控制单元100将图像处理器120的操作时钟速率设置为高。这意味着图像处理器120能够以高时钟速率来处理观看图像和捕获图像。接下来，在步骤1713，控制单元100建立观看图像处理路径以处理从摄像机110输出的图像作为观看图像。接下来，在步骤1715，控制单元100将摄像机输出图像缩放为观看图像，并以高时钟速率对摄像机输出图像进行预处理和/或后处理。可以例如通过图12A至12D的过程中的任何一个来执行观看图像处理。

此后，在步骤1717，信息处理单元10在相应持续时间的其余部分建立捕获图像处理路径以存储摄像机输出图像作为捕获图像。在步骤1719，控制单元100选择预先指定帧(例如，快门按压定时处的帧或者零快门滞后图像)，并以平铺图像为单位输出所选帧的摄像机输出图像。控制单元100能够如参考图7A至7C描述的来读出平铺图像。接下来，在步骤1721，控制单元100以高时钟速率对平铺图像进行预处理和/或后处理。可以按照与观看图像处理过程相同的方式来执行平铺图像预处理和/或后处理过程。在处理平铺图像之后，控制单元100确定是否完全处理了一个帧的摄像机输出图像(即，是否还存在要处理的平铺图像)。如果在步骤1723控制单元100确定没有完全处理一个帧的摄像机输出图像，则控制单元100进行至步骤1725，在步骤1725控制单元100将经过后处理的平铺图像与在先前状态下(例如，在先前的帧持续时间中)处理的平铺图像相组合。此后，控制单元进行至步骤1727，在步骤1727控制单元配置要下一个访问的平铺图像。此后，控制单元100返回步骤1711。通过如上所述重复处理平铺图像，产生一个帧图像。

如果在步骤1723控制单元100确定完成了一个帧的平铺图像的处理，则控制单元100进行至步骤1729，在步骤1729控制单元100组合经过后处理的平铺图像。此后，在步骤1731，控制单元100对一个帧的摄像机输出图像进行编码。此后，在步骤1733，控制单元100将编码的图像存储在存储单元130中。

图17示出了在捕获模式下以平铺图像为单位读出摄像机输出图像的方法中，如图9所示在每个帧持续时间处理一个平铺图像的示例过程。然而，在可以在一个帧持续时间内处理平铺图像的情况下，控制单元100可以从步骤1727跳至步骤1719以读出并处理下一个平铺图像。在这种情况下，图像处理器120以时分的方式在一个帧持续时间内交替地建立观看图像处理路径和捕获图像处理路径，以在建立捕获图像路径期间处理多个平铺图像(例如，构成一个帧的摄像机输出图像的平铺图像)。

在利用图14至17的过程之一来处理捕获图像时，控制单元100在一个帧持续时间内以时分的方式控制图像处理器120，使得图像处理器120在一个帧的时间段内顺序地处理观看图像和捕获图像。此时，显示单元140显示观看图像，而存储单元130存储捕获图像。在处理捕获图像时，控制单元能够控制存储单元130显示捕获图像。在这种情况下，在预定时间段内显示捕获图像或者显示捕获图像直至用户将摄像机操作状态切换到预览模式(例如，在完成具有照片平铺的图像的存储之前)，一并显示观看图像或不显示观看图像。

如上所述，由于根据本发明示例实施例的摄像机设备或配备有摄像机的终端能够以时分的方式处理预览/运动图像和捕获图像，所以可以以紧凑的设计来实现图像处理器。

图18是示出了根据本发明示例实施例的配备有摄像机的便携式终端的配置的框图。

根据本发明的示例性实施例，便携式终端可以是配备有摄像机的移动电话、智能电话、平板计算机、膝上型计算机、音乐播放器等。

参考图18，便携式终端包括摄像机110、图像处理器120、存储单元130、显示单元140、输入单元150、应用处理器1810、控制单元1820、通信单元1830和音频处理单元1840。

摄像机110具有图像传感器以在摄像机操作模式下获取摄像机输出图像。

图像处理器120将摄像机输出图像处理成要在显示单元140的屏幕上显示的观看图像和要响应于捕获请求而记录的捕获图像。观看图像可以是YUV图像，捕获图像可以是JPEG图像。

应用处理器1810执行终端的各种应用功能。根据本发明的示例实施例，应用处理器1810在摄像机操作模式下处理预处理器210产生的观看图像和/或捕获图像。应用处理器1810控制显示单元140在预览模式下显示观看图像，并控制图像处理器120响应于用户的捕获请求命令对缓冲的摄像机输出图像之中预先指定帧的摄像机输出图像进行处理。应用处理器1810包括摄像机的控制器的功能。

通信单元1830负责与另一终端、基站等通信。通信单元1830可以包括：发射机，包括用于将传输信号的频率上变频至射频(RF)频带的上变频器；以及接收机，包括用于对接收到的信号进行低噪放大的低噪放大器和用于将接收到的RF信号下变频为基带信号的下变频器。通信单元1830还可以包括：调制器，用于调制传输信号并将调制信号传送至发射机；以及解调器，用于对接收机输出的信号进行解调。调制器/解调器可以支持宽带码分多址(WCDMA)、全球移动通信系统(GSM)、长期演进(LTE)、Wi-Fi、WiBRO等。

控制单元1820控制终端的总体操作以及语音和数据通信功能。控制单元1820可以包括通信单元1830的调制器/解调器，在这种情况下，通信单元1830仅包括RF通信部件。在这种情况下，控制单元1820能够对信号执行调制/解调以及编码/解码。音频处理单元1840连接到终端的麦克风和扬声器，并在控制单元1820的控制下在语音呼叫模式下处理语音信号。

输入单元150向控制单元1820和应用处理器1810产生各种命令和数据输入信号。具体地，在本发明的示例实施例中，输入单元150能够向应用处理器1810产生摄像机驱动命令和捕获命令。显示单元140在控制单元1820和应用处理器1810的控制下显示终端的通信和应用执行屏幕。根据本发明的示例实施例，显示单元140还在预览模式下显示图像处理器120处理的观看图像。可以利用能够检测用户触摸手势的触摸面板来实现输入单元150，显示单元140可以是液晶显示器(LCD)、有机发光二极管(OLED)面板或者能够显示在程序执行过程中提供的数据和图像的其他装置。输入单元150还可以包括设置在终端外表面上的物理按钮。

存储单元130可以包括：程序存储器，用于存储终端的操作系统(OS)和与根据本发明示例实施例的功能相关联的应用程序；以及数据存储器，用于存储执行程序所需的或由程序产生的数据。可以利用以下装置中的至少一个来实现存储单元130：诸如闪存之类的非易失性存储器，以及诸如随机存取存储器(RAM)之类的易失性存储器。具体地，存储单元130存储压缩编码的摄像机输出图像或图像处理器120输出的缩放后的图像，作为捕获图像。存储单元可以包括非暂时性计算机可读介质。

在如图18所示构造的终端的情况下，应用处理器1810执行图像处理器120的控制器的功能。图像处理器120可以是如图2D、图4A至4C、图6A至6C以及图8A至8C中任一附图所示的结构，并且还包括：第二复用器，用于对从解复用器255输出的观看图像和静止图像编解码器260的输出进行复用。应用处理器1810包括用于对图像处理器120的第二复用器复用的观看图像和捕获图像进行解复用的第二解复用器，应用处理器1810显示解复用的观看图像并将解复用的捕获图像存储在存储单元130中。图像处理器120的运动图像编解码器270可以包含在应用处理器1810中。

根据本发明的示例实施例，终端能够处理呼入(inbound)/呼出(outbound)呼叫和数据通信服务以及在摄像机拍摄模式下由摄像机110获得的图像。

应用处理器1810处理根据本发明示例实施例的摄像机输出图像处理应用以及终端的各种其他应用。

在发起(place)呼出呼叫时，用户可以通过输入单元150输入电话号码和呼叫发起请求，当检测到请求时，控制单元1820控制通信单元1830建立通信路径以利用基站来执行呼出呼叫处理。如果接收到呼入呼叫，则控制单元1820通过通信单元1830检测这一情况，利用音频处理单元1840输出警报声音，并利用显示单元140显示呼入呼叫信息。如果用户利用输入单元150接受了呼叫，则控制单元1820控制通信单元1830建立通信路径以接收通信服务。在数据通信的情况下，按照与语音呼叫类似的方式来建立通信路径。

终端还能够执行各种应用。如果用户利用输入单元150请求执行特定的应用，则应用处理器1810执行相应的应用并在显示单元140的屏幕上显示执行结果。如果用户输入了摄像机驱动命令，则应用处理器1810检测这一情况并经由图像处理器120驱动摄像机110。图像处理器120在应用处理器1810的控制下，在预览模式下建立观看图像处理路径，在捕获模式下以时分的方式在一个帧持续时间内交替地建立观看图像处理路径和捕获图像处理路径。

此时，用于处理观看图像的图像处理器120在将摄像机输出图像转换成观看图像的同时在缓冲器240中缓冲摄像机输出图像，处理观看图像，并将处理后的观看图像传送至应用处理器1810。应用处理器1810控制显示单元140显示观看图像。此时，图像处理器120按照以下方式来执行观看图像处理：对摄像机输出图像进行预处理，将预处理的摄像机输出图像缩放为观看图像，并对观看图像进行后处理。图像处理器120还能够将摄像机输出图像缩放为观看图像并对观看图像进行预处理和后处理。图像处理器120还能够缓冲摄像机输出图像，将缓冲的摄像机输出图像缩放为观看图像，并对观看图像进行预处理和后处理。图像处理器120还能够缓冲摄像机输出图像，对缓冲的图像进行预处理，将预处理的图像缩放为观看图像，并将观看图像输出至应用处理器1810，使得应用处理器1810在显示单元140的屏幕上显示观看图像。

在图像捕获中，图像处理器120在应用处理器1810的控制下在帧持续时间内以时分的方式顺序地建立观看图像处理路径和捕获图像处理路径。可以如上所述执行观看图像处理。在处理捕获图像时，图像处理器120在应用处理器1810的控制下，在缓冲的摄像机输出图像之中选择预先指定帧的摄像机输出图像，对所选的摄像机输出图像进行预处理和后处理，并将处理过的图像转换成捕获图像。此时，可以以高时钟速率，特别是以平铺图像为单位，来执行捕获图像处理过程。对图像处理器120以时分的方式顺序地输出的观看图像和捕获图像进行复用，然后提供至应用处理器1810，使得应用处理器1810对复用的观看图像和捕获图像进行解复用以在显示单元140的屏幕上显示观看图像并将捕获图像存储在存储单元中。

终端的图像处理器120包括图2A至2D、图4A至4C、图6A至6C以及图8A至8C中任意附图中的预处理器210、图像缩放器220、后处理器230、缓冲器240。可以将解复用器255和静止图像编解码器260(当以平铺图像为单位来处理捕获图像时，包括组合器600)集成到应用处理器1810中。在如上所述构造图像处理器120的情况下，图像处理器120将从后处理器230输出的图像(观看图像；或者观看图像和捕获图像)输出至应用处理器1810，使得应用处理器对经过后处理的图像(观看图像；或者观看图像和捕获图像)进行解复用，以在显示单元的屏幕上显示观看图像并利用静止图像编解码器对捕获图像进行编码，将编码的捕获图像存储在存储单元130中。在图像处理器120处以平铺图像为单位来处理摄像机输出图像的情况下，应用处理器1810包括用于将从图像处理器输出的平铺图像组合成一个帧的摄像机输出图像的组合器，所述一个帧的摄像机输出图像被编码并然后以压缩的形式被存储。

如上所述，根据本发明示例实施例的摄像机设备或配备有摄像机的终端能够在每一帧处理摄像机传感器获取的图像以产生预览图像和捕获图像，并且捕获在能够实现零快门滞后的时刻获得的图像，从而记录零快门滞后图像。此外，根据本发明示例实施例的摄像机设备或配备有摄像机的终端能够以简化的图像处理硬件配置以时分的方式来产生捕获图像和预览图像，从而降低摄像机设备或配备有摄像机的终端的功耗。

尽管以上用特定的术语详细描述了本发明的示例实施例，然而这仅仅是为了描述本发明的具体示例实施例，而不旨在限制本发明。尽管示出并描述了本发明的具体示例实施例，本领域技术人员将清楚，在不脱离本发明的精神和范围的前提下可以做出其他变型和修改。

尽管参考本发明的特定示例实施例示出和描述了本发明，然而本领域技术人员将理解，在不脱离由所附权利要求及其等价物限定的本发明的精神和范围的前提下，可以对本发明进行各种形式和细节上的改变。