用于发送相机的帧图像的设备和方法与流程

文档序号:12005647阅读:170来源:国知局
用于发送相机的帧图像的设备和方法与流程
本发明涉及一种用于处理数据的设备和方法,更具体地讲,涉及一种能够根据系统带宽而可变地发送相机装置的帧图像的设备及其方法。

背景技术:
相机装置或具有相机功能的便携式终端可提供高质量图像以及各种方便的功能。在现有技术中,相机装置的图像传感器(也被称为“相机传感器”)被采用以感测具有全高清(HD)分辨率的图像,这允许相机装置将在预览模式期间从相机传感器感测的图像显示为预览图像。在操作中,如果用户按压快门按钮,则相机装置存储通过相机传感器获取的图像。当用户按压快门按钮时,存在感测将成为全尺寸图像的图像(与预览图像相对)的时间和捕获全尺寸图像的时间之间的快门延迟或快门时滞。即,存在快门激活到由相机传感器拍摄对象的时间的时间差。由于对象的拍摄环境和图像信号处理器的处理时间,可存在时间差。因此,存在由于快门延迟(快门时滞)而用户无法在期望的时间点获取图像的问题。相机装置或配备有相机的终端可包括:图像信号处理器,用于处理图像;应用处理器,用于处理包括相机应用的装置的各种应用。图像信号处理器串联连接到应用处理器,从而图像信号处理器可将通过相机获取的图像转换为串行数据,然后将串行数据发送到应用处理器。这里,通过相机获取的图像可包括:具有HD分辨率或更高分辨率(超高清分辨率(UHD))的图像。术语“UHD”表示具有4K×2K像素或更多像素的分辨率的图像。然而,具有图像信号处理器和应用处理器的相机装置或具有相机功能的终端难以在拍摄全HD分辨率的运动图像的同时捕获具有UHD分辨率的图像。这是因为在现有技术中相机装置的图像信号处理器无法在期望的时间将连续的具有UHD分辨率的图像数据发送到应用处理器。

技术实现要素:
鉴于上述问题已做出本发明,并通过提供以下设备和方法来提供附加的优点,所述设备和方法用于在期望的时间点捕获通过相机装置或具有相机功能的终端拍摄的具有UHD分辨率的图像,并用于从拍摄的具有UHD分辨率的图像选择并存储期望的图像。为此,根据本发明的示例性实施例的相机装置或具有相机功能的终端处理从相机传感器获取的图像,以产生每帧的多个图像,并使用混合方案在设置的数据传输模式下发送产生的图像,以将产生的图像用作预览图像和捕获图像。本发明还提供能够在相机装置或具有相机能力的终端中拍摄具有全HD分辨率的运动图像的同时捕获具有UHD分辨率的图像的设备和方法。为此,本发明的示例性实施例提供这样的设备和方法,其能够针对每帧通过图像信号处理器产生从相机获取的具有UHD分辨率的图像,作为具有全HD分辨率的图像和具有UHD分辨率的压缩图像,在数据发送模式下有效地发送所述图像,并通过应用处理器将所述图像存储并捕获为运动图像。根据本发明的一方面,一种发送相机的帧图像的方法,包括:当相机操作时获取每帧的图像;产生包括显示图像和压缩图像的获取的图像;发送每帧的显示图像并以预设帧间隔发送压缩图像;显示获取的显示图像并对压缩图像进行缓冲。根据本发明的另一方面,一种相机装置包括:相机;图像信号处理器,用于在相机操作时从相机获取每帧的帧图像,产生包括显示图像和压缩图像的获取的图像,发送每帧的显示图像,并以预设帧间隔发送压缩图像;应用处理器,用于显示获取的显示图像,并对压缩图像进行缓冲;显示单元,用于显示从应用处理器输出的显示图像。根据本发明的另一方面,一种便携式终端设备包括:通信单元,用于与外部装置执行无线通信;终端控制器,用于通过通信单元控制控制便携式终端设备的通话和通信;相机,用于在相机操作时从相机传感器获取每帧的帧图像;图像信号处理器,用于在相机操作时从相机获取每帧的帧图像,产生包括显示图像和压缩图像的获取的图像,发送每帧的显示图像,并以预设帧间隔发送压缩图像;应用处理器,用于显示获取的显示图像,并对所述压缩图像进行缓冲;显示单元,用于显示从应用处理器输出的显示图像。附图说明从下面结合附图的详细描述,本发明的上述特点和其它优点将会变得更加清楚,其中:图1是示出根据本发明的示例性实施例的相机装置的配置的框图;图2是示出根据本发明的示例性实施例的相机装置的配置的框图;图3是示出根据本发明的示例性实施例的图像信号处理器和应用处理器的配置的框图;图4是根据本发明的示例性实施例的图像数据的结构的示图;图5a至图5f是示出根据本发明的示例性实施例的数据传送格式的示图;图6是示出根据本发明的示例性实施例的通过相机装置产生并处理每帧的显示图像和压缩图像的方法的流程图;图7是示出产生图6中所示的压缩图像的方法的流程图;图8是示出根据本发明的示例性实施例的通过相机装置产生并处理每帧的显示图像、压缩图像和拍摄信息的方法的流程图;图9是示出根据本发明的示例性实施例的包括相机装置的便携式终端设备的配置的框图。具体实施方式参照附图详细描述本发明的示例性实施例。然而,本发明可以以多个不同的形式被实现,并且不应解释为受限于在此阐述的示例性实施例。另外,可根据本发明的用户和操作者的意图和实践,不同地实现考虑到本发明的功能而定义的在此描述的术语。因此,应基于贯穿说明书的公开来理解术语。在不脱离本发明的范围的情况下,可在不同的多个实施例中使用本发明的原理和特征。贯穿附图,相同的标号被用于指示相同或类似的部件。另外,尽管附图表示本发明的示例性实施例,但是附图不必进行缩放,并且为了更清楚地示出和解释本发明,可夸大或省略特定特征。以下描述示出了特定的信息(例如,图像的像素数量或数据的大小)。因此,为了清楚和简明起见,可省略这里引入的公知功能和结构的详细描述,以避免模糊本发明的主题内容。简要地,本发明涉及相机装置或具有相机功能的便携式终端,并可处理通过相机的图像传感器获取的图像,以产生多个图像,并产生通过相机和/或传感器获取的信息作为拍摄信息。所述图像可包括在操作相机时用于预览(或预览并记录运动图像)的图像和捕获图像。所述拍摄信息可包括在从相机获取图像期间当拍摄相应帧中的图像时来自相机传感器和/或各个传感器的信息,所述信息可与元数据和嵌入的数据合并。显示图像可以是记录为预览图像和运动图像的YUV图像,并可通过裁剪和/或缩放被控制并且/或者修改为适当的尺寸,使得显示图像可被显示在显示单元上。作为从相机传感器获取的图像(例如,具有全HD分辨率的图像或具有大于全HD分辨率的分辨率的图像),捕获图像可以是压缩编码的图像,将在本发明的示例性实施例中作为JPEG图像来被描述。显示图像可以是具有全HD分辨率的YUV图像,压缩图像是通过对具有UHD分辨率的图像进行压缩编码而获取的JPEG图像。另外,压缩图像指示用于存储静止图像的压缩图像,因此,捕获图像和压缩图像指示相同的图像。本发明的示例性实施例提供一种设备及其方法,所述设备在相机操作时通过图像信号处理器(ISP)产生每帧的显示图像和压缩图像,并以交错数据模式发送产生的显示图像和压缩图像,以实现零快门时滞,接收显示图像和压缩图像,通过应用处理器(AP)将显示图像和压缩图像记录为显示和运动图像,在对压缩图像进行缓冲的同时捕获与捕获请求的时间点的帧相应的压缩图像,以实现零快门时滞。所述拍摄信息包括当相机操作时针对从相机传感器获取的每帧图像的相机传感器信息和从相机装置的其他传感器产生的信息。通常,相机装置包括:用于设置相机传感器的信息,这样的信息可以是可交换图像文件格式(exif)数据。然而,用于设置相机传感器的信息可仅用于exif数据的量是有限的获取的图像。另外,本发明的示例性实施例提供这样的设备和方法:存储从装置(例如,相机)的相机传感器和/或其他传感器获取的每帧的拍摄信息,并使用存储的拍摄信息有效地使用传感器数据。交错数据模式指示对每帧的显示图像和压缩图像进行复用,以将复用的图像作为一个帧发送的模式,是对显示图像、压缩图像和拍摄信息进行复用并发送的模式。即,本发明的示例性实施例可根据需要,仅对显示图像和压缩图像进行复用,以将复用的图像作为一个帧发送;对显示图像、压缩图像和拍摄信息进行复用,以将第一复用的结果作为一个帧发送;仅对显示图像和拍摄信息进行复用,以发送第二复用的结果。即,在交错数据模式下,帧信息可仅由显示图像和压缩图像来被配置,或仅由压缩图像和拍摄信息来被配置。本发明的示例性实施例可通过示例的方式具有由显示图像、压缩图像和拍摄信息来配置的帧信息。混合交错数据模式是每帧发送显示图像而以两帧的间隔或更大的间隔为单位发送压缩图像的模式。可由图像信号处理器和应用处理器的总线带宽来确定混合交错数据模式。在下文中,将参照附图详细描述本发明,但应注意到本发明的教导可应用于具有相机功能的任何终端。现在将通过示例的方式描述相机装置。图1是示出根据本发明的示例性实施例的相机装置的配置的框图。参照图1,当激活相机110时,相机110和传感器120执行通过传感器120获取图像的功能。传感器120可包括安装在相机110的至少一个传感器,所述至少一个传感器包括全球定位系统(GPS)接收器、陀螺仪传感器、加速度传感器、高度传感器和方向传感器中的至少一个。图像信号处理器130处理从相机110获取的图像,以产生显示单元160上的显示图像和响应于捕获请求将被存储的压缩图像。显示图像可包括YUV图像。图像信号处理器130对从相机110获取的图像进行颜色转换,例如通过缩放和/或裁剪将图像的尺寸控制为适用于在显示单元160上显示的尺寸。即,图像信号处理器130产生YUV图像,并可根据显示单元160的显示能力适当地设置YUV图像。这里,YUV图像可包括显示在显示单元160上的图像和记录为运动图像的图像。可按如下方式实现本发明的示例性实施例,即,使得显示图像是具有全HD分辨率的图像。因此,图像信号处理器130以静止图像编码方案(例如,JPEG方案)压缩从相机110输出的图像。压缩图像可以是当用户请求捕获这样的图像时将被存储的具有全HD分辨率的图像。可按如下方式实现本发明的示例性实施例,即,使得压缩图像是通过对具有UHD分辨率的YUV图像进行压缩而获取的JPEG图像。图像信号处理器130从相机110和传感器120获取图像的拍摄信息。拍摄信息可包括额外获取的各种信息以及当相机110拍摄图像时获取的exif信息。图像信号处理器130可在每个帧时间段产生显示图像和压缩图像,并且产生显示图像、压缩图像和拍摄信息。图像信号处理器130可产生具有每秒30帧或每秒60帧的帧率或任何预设的以每秒帧数(fps)方式的速率的显示图像或压缩图像,和/或产生显示图像、压缩图像和拍摄信息。图像信号处理器130在交错数据模式下对产生的显示图像和压缩图像(或显示图像、压缩图像和拍摄信息)进行复用为一个帧,以进行发送。在示例性实施例中,图像信号处理器130根据复用的总线宽带,以交错数据模式或混合数据模式发送帧信息(如后面更详细地解释)。应用处理器140对显示图像和压缩图像或者对显示图像、压缩图像和拍摄图像进行缓冲。应用处理器140控制显示单元160在相机110操作时显示显示图像。在运动图像拍摄模式中,应用处理器140压缩运动图像并在存储单元150中存储压缩的运动图像。在示例性实施例中,如果从用户接收到捕获请求命令,则应用处理器140在发生捕获请求时在存储单元150中存储压缩图像,以实现具有零快门时滞的图像捕获(如后面更详细地解释)。输入单元170对用户选择和输入作出响应,产生相机操作命令、捕获命令和/或运动图像拍摄命令,并将所述相机操作命令、捕获命令和/或运动图像拍摄命令提供给应用处理器140。输入单元170可以是用于检测用户的触摸输入的触摸板。输入单元170可包括布置在相机110的外部或者在相机110的外部易接近的至少一个按钮或多个按钮。显示单元160在相机110操作时显示从应用处理器140输出的显示图像。显示单元160可显示拍摄信息和/或缩略图像。显示单元160可以是用于显示在程序的执行期间产生的数据和图像的LCD或OLED。输入单元170和显示单元160可被实现为整体的触摸屏。在从用户接收到捕获请求时存储单元150存储来自应用处理器140的缓冲的压缩图像。图2是示出根据本发明的示例性实施例的相机110的配置的框图。参照图1和图2,如果出现相机操作命令,则给相机110提供操作电源。图像信号处理器130驱动或操作电机240,致动器250根据电机240的操作控制光学单元210的操作。光学单元210可通过致动器250来执行诸如变焦或聚焦的操作。光学单元210使周边图像成像,图像传感器220检测通过光学单元220成像的图像,产生检测信号和/或将检测信号转换为电信号。图像传感器220可以是具有大于全HD分辨率的分辨率的图像传感器。通过图像传感器220检测的图像通过A/D转换器230被转换为数字图像,所述数字图像被传送到图像信号处理器130。另外,可通过图像信号处理器130来对闪光260(例如,闪光灯或其他发光装置)进行操作。图3是示出根据本发明的示例性实施例的图1中所示的图像信号处理器130和应用处理器140的配置的框图。参照图3,图像信号处理器130的图像处理部分320将从相机110输出的图像换转为YUV图像。图像处理部分320可包括预处理部分和后处理部分。在此情况下,预处理部分对从相机110获取的图像进行预处理。后处理操作包括3A(自动白平衡(AWB)、自动曝光(AE)、自动聚焦(AF))的提取和处理、镜头阴影校正(lensshadingcorrection)、坏点校正(deadpixelcorrection)、拐点校正(kneecorrection)等。后处理部分对预处理的图像执行颜色插值、噪声消除、颜色补偿和颜色变换中的至少一个,并产生YUV数据。从相机110输出的图像是原始(raw)图像,并具有比通过图像传感器220检测的全HD分辨率更多数量的像素。图像信号处理器130包括用于响应于捕获请求压缩数据并存储静止图像的静止图像压缩器340(例如,静止图像编码器)。静止图像压缩器340可使用各种已知的静止图像编码方法(例如,JPEG和TIFF)。可实现本发明的示例性实施例,使得静止图像压缩器340是JPEG编码器340(如图3中所示)。JPEG编码器340将从图像处理部分320输出的图像压缩为JPEG图像。缩放器330将从图像处理部分320输出的图像缩放为将被显示在显示单元160上的适当尺寸的图像。缩放器330可包括用于对图像数据进行缩放、裁剪和/或重新调整大小的缩放器330的元件或部分。当图像处理部分320不执行颜色转换功能时,可由显示图像产生器来配置缩放器340,其中,可由用于将原始图像转换为YUV图像和缩放的图像的颜色转换器来配置显示图像产生器。图像处理控制器310在应用处理控制器360的控制下控制相机110的操作,并以相机操作模式控制图像信号处理器130的整体操作。在相机110操作时,图像处理控制器310可产生通过相机110拍摄的图像的拍摄信息。当传感器120连接到图像信号处理器130时,图像处理器控制器310可输入设置信息,并可将相机110的输出以及从传感器120产生的信息传送到其他部件(例如,复用器350),以产生拍摄信息。图像处理控制器310可包括内部存储器。当以交错方案发送显示图像和压缩图像或者发送显示图像、压缩图像和拍摄信息时,可根据总线带宽在每帧中包括压缩图像。可选择地,可按预设帧间隔包括压缩图像,或仅按预设帧间隔来发送压缩图像。针对每帧产生了压缩图像、显示图像和/或拍摄信息,所述帧可被配置为具有每秒30或60帧的帧率,或任何其他预设帧率。复用器350将压缩图像、显示图像和/或拍摄信息复用为一个帧,并根据交错方案将复用的图像发送到应用处理器140。在此情况下,复用器350可在图像处理控制器310的控制下,执行发送每个预设帧的压缩图像的混合交错数据模式(如后面更详细地解释)。尽管在图2中未示出,但是图像信号处理器130还可包括用于将显示图像转换为缩略图像的缩略图像产生器。为此,图像信号处理器130可基于显示图像而产生缩略图像,JPEG编码器340可对图像处理部分310的输出图像进行压缩,然后产生由头部、缩略图像和压缩的JPEG图像配置的输出。下面是应用处理器140的示例性实施例的配置。应用处理控制器360根据来自输入单元170的命令来控制图像信号处理器130的操作,对从图像信号处理器130输出的图像进行缓冲,以通过显示单元160显示缓冲的图像,并在存储单元150中存储缓冲的压缩图像。解复用器355在应用处理控制器360的控制下对来自图像信号处理器130的显示图像、压缩图像和/或拍摄信息进行解复用和输出。解析器370对通过解复用器355解复用的图像和信息进行解析并分离为显示图像、压缩图像和拍摄信息。在可选择的示例性实施例中,应用处理控制器360控制解复用器355将图像信号处理器130的输出软解析为显示图像、压缩图像和/或拍摄信息,因此,在可选择的示例性实施例中,可省略解析器370。缓冲器380可包括显示图像缓冲器383、压缩图像缓冲器385和/或拍摄信息缓冲器387。缓冲器380在应用处理控制器380的控制下对解析的显示图像、压缩图像和拍摄信息进行缓冲。缓冲器380具有能够对N个帧的显示图像、压缩图像和拍摄信息进行缓冲的大小。缓冲器380的结构可具有环形缓冲结构。配置具有环形缓冲结构的缓冲器380的原因在于将接收的每帧的图像和信息维持特定数量的帧。应用处理器140可包括用于当请求运动图像的存储时将显示图像压缩为运动图像的运动图像压缩器390(例如,运动图像编码器),可由本领域中已知的各种运动图像编码器(例如,H.264或MPEG)来配置运动图像压缩器390。在本发明的示例性实施例中,运动图像压缩器390可包括图3中所示的MPEG编码器390。如果由用户请求运动图像的存储,则应用处理控制器360对MPEG编码器390进行操作,MPEG编码器390对通过缓冲器380的显示图像缓冲器383缓冲的显示图像进行压缩,并在存储单元150中存储压缩的显示图像。应用处理器140还包括缩略图像产生器395,缩略图像产生器395重新调整显示图像的大小以产生缩略图像。缩略图像产生器395可重新调整从显示图像缓冲器383输出的显示图像的大小以产生缩略图像,从而缩略图像可被包括为JPEG图像,所述JPEG图像可在应用处理控制器360的控制下被显示在显示单元160上。应用处理器140可在预览模式期间或在运动图像拍摄模式期间捕获静止图像。在相机操作时(不管应用处理器140的操作模式),图像信号处理器130以交替的数据模式连续产生并发送显示图像和压缩图像(或者显示图像、捕获的图像、拍摄信息)。因此,应用处理器140可连续接收压缩图像和显示图像。图3示出编码器,作为用于对包括在图像信号处理器130和应用处理器140中的静止图像和运动图像进行压缩的组成元件。然而,对图像进行压缩并解除所述压缩的配置可被集成为单个芯片(可以是编码器和解码器(编解码器))。因此,静止图像编码器340(例如,JPEG编码器340)可以是静止图像编解码器(JPEG编解码器)。应用处理器140的运动图像编码器390(例如,MPEG编码器390)可以是运动图像编解码器(MPEG编解码器)。在下文中,将基于显示并压缩存储由相机110拍摄的图像的操作来描述本发明的示例性实施例。如果执行了图像的压缩存储,则需要执行图像解码和/或从存储器的数据检索或释放、压缩图像的解压缩以及显示存储在存储单元150中的静止图像(例如,JPEG图像)。为此,尽管在附图中未示出,但是应用处理器140还可包括静止图像编码器(或静止图像编解码器)。因此,如果用户通过输入单元170请求存储在存储单元150中的压缩图像的回放,则应用处理器140可通过静止图像解码器(静止图像编解码器)(未示出)对压缩的图像进行解码(压缩解除),并在显示单元160上显示解码的图像。在操作中,图像信号处理器130可接收从相机110输出的图像以产生用于预览的显示图像和用于捕获的压缩图像,并产生显示图像、压缩图像和拍摄信息。当用户通过输入单元170输入和/或产生相机操作命令时,应用处理控制器360向图像信号处理器130通知该相机操作命令,图像处理控制器310对相机110进行操作。从相机110输出的图像被输入到图像处理部分320。相机操作命令可在执行预览模式、运动图像拍摄模式、静止图像捕获模式和/或运动图像拍摄模式的同时,启动对捕获模式的执行。图像信号处理器130在每个帧时间段产生显示图像、压缩图像和拍摄信息。可以以30fps的帧率或更大的(例如,60fps)的帧率实现通过图像信号处理器130的帧图像的产生。在此情况下,在每个帧时间段,图像处理部分320对从相机110接收的原始图像进行3A处理,执行颜色插值和/或执行原始图像到YUV图像的转换。所述图像可以是具有全HD分辨率或具有更大的分辨率的图像。JPEG编码器340以JPEG方案对从图像处理部分320输出的图像进行压缩编码,来产生在捕获请求时被存储的压缩图像。在此情况下,可使用另一方案(例如,JPEG)的压缩编码器来产生压缩数据。如上所述,可以如下方式实现本发明的示例性实施例,即,使得以JPEG方案产生压缩图像。缩放器330将从图像处理部分320输出的图像减小到预设数据大小,来产生在显示单元160上将被显示的用于预览的显示图像。减小图像的方法可包括:典型的缩放方法、裁剪方法和调整大小方法。可通过上述方法中的一个或至少两个的组合,或任何其他已知图像缩放方法来产生显示图像。显示图像可包括将被显示在显示单元160上的图像和/或在捕获运动图像时将被存储的图像。在此情况下,图像信号处理器130的缩放器330可将用于预览模式的显示图像和用于存储运动图像的显示图像的数据大小控制为不同的大小。如上所述,当图像处理部分320不执行颜色转换功能时,可由显示图像产生器来配置缩放器340。在此情况下,显示图像产生器可具有包括颜色转换功能(将原始图像转换为YUV图像的功能)和缩放功能的配置。当在每帧时间段由相机110拍摄显示图像并且在产生压缩图像时在每帧时间段由相机110拍摄图像时,图像信号处理器130获取各种传感器信息,以产生各种传感器信息作为拍摄信息。拍摄信息包括相机110和传感器120的输出。在此情况下,当传感器120被连接到图像信号处理器130时,图像信号处理器130可使用通过相机110和传感器120获取的拍摄时间点的信息来产生拍摄信息。然而,如图1和图2中所示,当传感器120被连接到应用处理器140时,图像信号处理器130可使用通过相机110获取的信息来产生第一拍摄信息,应用处理器140使用通过传感器120获取的信息来产生第二拍摄信息,并结合第二拍摄信息与第一拍摄信息来产生拍摄信息。接收从相机110产生的每帧的图像的图像信号处理器130和/或应用处理器140产生用于显示的YUV图像和用于捕获的压缩图像,并产生相应帧图像的拍摄信息(由图像数据和嵌入的数据来配置)。嵌入的数据可包括作为元数据的数据和信息(如以下表1中所示)。表1用户可使用上述的拍摄信息(元数据)来设置各种功能以拍摄照片。用户可使用频繁拍摄的对象信息和相机菜单信息来搜索满足情况的预设值。在此情况下,如果在预览时检测到人脸,则在拍摄相应的人时频繁使用的菜单访问个人数据库(DB),或在使用时提供良好的结果的菜单被自动设置。例如,相机用户拍摄其他人(例如,他们的家人、亲戚、爱人和诸如艺术家和电影明星的人才)。当在拍摄个人DB中的相应的人时搜索适合的信息或如果不存在适合的信息时,用户可设置在拍摄期间有助于设置拍摄参数的菜单(例如,微笑拍摄、美颜拍摄、人像场景模式、AF模式、目标跟踪、ISO、效果、白平衡、曝光、测光、变焦、闪光等)。当用户从预览信息无法搜索个人信息时,用户可针对相机110是否拍摄风景照片,确认至少一些设置(例如,室外可见、闪光、ISO、效果、白平衡、曝光、测光、景观风景模式、扇对焦(fanfocus)模式等)以适合于风景照片。可基于针对用户简档的经历来存储拍摄的图像(例如,在浪漫的照片的情况下,图像可以以拍摄为浪漫相册的方式同时被存储,或可被反映、复制、发送和/或保存到指定的社交网络服务(SNS)或基于云的存储和分布系统)。当连续捕获图像的连续拍摄期间内拍摄的图像的相似性被确定,并在相册或在后捕获查看照片期间显示给用户时,拍摄的图像可容易地被确认。复用器350以交错数据模式对显示图像、压缩图像和拍摄信息进行多复用,以按一帧输出到应用处理器140。图4是示出在本发明的示例性实施例中的图像数据的结构的示图,使用包括分别形成YUV图像、JPEG图像和拍摄信息的YUV数据、JPEG数据和嵌入的数据的相机数据来构成根据本发明的示例性实施例的一个帧。图5A至图5f是示出根据本发明的示例性实施例的数据传送格式的示图。更具体地讲,图5a示出交错数据模式的传送格式。图5b至图5f是示出混合交错数据模式的传送格式的示图。参照图4至图5f,图像信号处理器130产生YUV图像的YUV数据、JPEG图像的JPEG数据和作为用于附加相机功能的拍摄信息的嵌入的数据和/或元数据。复用器350以图4的格式对产生的YUV图像、JPEG图像和拍摄信息进行复用,并将复用的数据发送到应用处理器140。如图4中所示,表示压缩图像的JPEG数据传送从相机110获取的具有UHD分辨率的原始图像,其中,该原始图像是根据捕获请求将被存储为静止图像的数据。JPEG数据的大小可由相机110的图像传感器220来确定,可具有例如等于或大于8M字节的大小。YUV图像表示通过输出到显示单元160来预览的图像和/或用于记录图像的图像,被缩放到小于JPEG数据的大小的大小。YUV数据可被用作用于将被存储为运动图像而不是预览图像的数据。即,存储在显示单元缓冲器383的显示图像在被显示在显示单元160上的同时被MPEG编码器390压缩,压缩的显示图像可被存储在存储单元150中。可由当相机110获取图像时的各种设置和位于相机110的内部或外部的传感器120检测的传感器信息来配置拍摄信息。因此,拍摄信息并不包括在压缩图像中,而是被单独地存储。即,图像信号处理器130使用从相机110和传感器120检测的信息来产生拍摄信息。与每帧的显示图像和压缩图像相应地存储拍摄信息。在此情况下,如上所示,能够从传感器120获取的信息通过应用处理器140来产生,并且可在应用处理器140对拍摄信息进行缓冲时被合并。此后,用户可使用拍摄信息有效地存储并处理图像。具有图4所示的示例结构的根据本发明的示例性实施例的相机帧数据是由图像信号处理器130产生的,产生的相机帧数据帧以图5a至图5f所示的传送格式发送到应用处理器140。在此情况下,图像信号处理器130按单个帧对显示图像、压缩图像和拍摄信息进行复用,并将单个帧发送到应用处理器140。换句话讲,图像信号处理器130将帧图像和信息转换为并行数据,将帧图像和信息转换为串行数据,并将串行数据发送到应用处理器140。在此情况下,YUV数据可以是2MB((全HD):1920×1080×2(YUV422格式是每像素2字节))。JPEG数据可表示通过对UHD图像进行压缩编码获得的图像。作为拍摄信息的元数据可以以4K字节被存储。在此情况下,当图像信号处理器130将图4中所示的每帧的图像和信息以图5a中所示的数据传送格式发送到应用处理器140时所需的总线带宽可以是(1920×1080×2+8×1024×1024+4×1024)×30fps×8比特=3,009,576,960bps=2.87Gbps。然而,当图像信号处理器130或应用处理器140的最大带宽不支持这样的数据率时(例如,在QUALCOMM8960芯片组的情况下,由于最大带宽是2.56Gbps,并且需要15%裕度,所以实际传输带宽可以是2.716Gbps),因此不可使用如图5a中所示的交错数据发送模式。当图像信号处理器130和/或应用处理器140在超负荷状态下(即,对总线带宽的分配具有限制的状态)不完全支持交错数据时,不可使用如图5a中所示的交错数据发送模式。在本发明的示例性实施例中,压缩图像是在捕获静止图像时用于实现零快门时滞的图像,显示图像是显示在显示单元160上并且在运动图像拍摄模式下被MPEG编码并存储在存储单元150中的图像。在此情况下,当以混合方案发送显示图像时,在现有技术中当需要用户确认拍摄的图像或在屏幕上预览的图像时,存在不便。具体地讲,在运动图像拍摄模式中改变记录的图像的帧率。因此,可不适用于在混合交错数据模式下控制显示图像。然而,压缩图像是当捕获静止图像时实现零快门时滞的本发明中使用的图像,并在应用处理器140中被缓冲。如果用户产生捕获命令,则缓冲的压缩图像之中与捕获命令的产生时间点相应的帧的压缩图像被访问,并被存储为静止图像。因此,如果以交错方案适当地发送压缩图像,则可以以零快门时滞获取静止图像,以满足图像信号处理器130和应用处理器140之间所需的总线带宽。因此,本发明的示例性实施例设置图像信号处理器130以混合交错方案发送压缩图像的总线带宽。图5b至图5f示出根据本发明的示例性实施例的混合数据模式的实现示例。图5b示出发送每帧的YUV图像和拍摄信息,并以两帧的间隔在第一帧(或第二帧)发送压缩图像的方法。因此,当一个压缩图像以两帧为单位被发送并且帧率是30fps时,压缩图像具有以15fps的帧率被发送的结构。如果YUV图像是2MB(全HD):1920×1080×2(在YUV422格式的情况下,每像素2字节)),则压缩图像具有平均4MB(JPEG:最大8MB+0MB,平均4MB),拍摄信息是4K(元:4K)、以混合方案按30fps的帧率发送图像所需的带宽是1.717Gbps((1920×1080×2+4×1024×1024+4×1024)×30fps×8比特=2002944000bps=1.717Gbps)。当所述图像具有30fps的帧率时,带宽成为交错数据模式的60%(如图5a中所示)。图5c示出混合交错数据模式的示例,其中,该示例发送每帧的YUV图像和拍摄信息,以两帧的间隔发送第一帧(或第二帧)中的压缩图像和另一帧中的缩略图像。因此,当以两帧为单位发送一个压缩图像,并且帧率是30fps时,压缩图像具有以15fps的帧率发送图像的结构。当YUV图像具有2MB((全HD):1920×1080×2(在YUV422格式的情况下,每像素2字节))时,压缩图像和缩略图像具有平均值4.15MB((JPEG:最大8MB+300KB(最大缩略图大小):平均4.15MB)),拍摄信息是4K(元:4K),以混合方案按30fps的帧率发送图像所需的带宽成为1.946Gbps((1920×1080×2+4.2×1024×1024+4×1024)×30fps×8比特=2040,692,736bps=1.946Gbps)。当图像具有30fps的帧率时,带宽成为如图5a中所示的交错数据模式的68%。图5d示出发送每帧的YUV图像和拍摄信息,并使压缩图像具有相同大小并发送所述压缩图像的数据划分发送方法的示例。如上所述,压缩图像可以是通过对具有UHD分辨率的YUV图像进行压缩获取的图像。在此情况下,压缩图像可根据通过相机110拍摄的图像,具有可变的数据大小。即,在每帧中产生的压缩图像的数据大小根据图像而具有不同的大小。因此,可通过对于每个帧使压缩图像具有相同大小来发送压缩图像。在此情况下,图像信号处理器130包括存储器和适当的软件或指令,以将数据划分为具有大致或完全相同的大小。图像信号处理器130的图像处理控制器310可在存储器中如图5e中所示划分压缩图像的容器(container)部分(例如,JPEG容器),算出MIPI限制的平均值,并发送数据。在此情况下,如果当划分数据时,带宽足够并且JPEG数据小(图5e的JPEG1、JPEG4),则多个JPEG图像被同时发送为一个帧。当JPEG图像大时(例如,图5e的标记为JPEG5_2的图像数据块),JPEG图像被划分为多个帧,所述帧被发送,从而可解决MIPI传输限制的问题。在此情况下,存储器可被设置为每帧的将被发送的压缩图像的大小。图像处理控制器310将包括头部信息的压缩图像进行划分,其中,所述头部信息是具有每帧的压缩图像的边界的指示相应压缩图像的开始和结束的信息。图5f示出当由用户设置的捕获的图像的分辨率小于显示图像的分辨率的示例。在此情况下,不需要发送压缩图像,因此,如图5f中所示,图像信号处理器130仅发送显示图像和拍摄信息。当在应用处理器140中请求图像的捕获时,图像信号处理器130将显示图像产生为压缩图像。在此情况下,由于显示图像被缓冲,因此图像信号处理器130在图像捕获时可实现零快门时滞。在此情况下,带宽是0.950Gbps((1920×1080×2+4×1024)×30fps×8比特=0.950Gbps))。当带宽具有30fps的帧率时,带宽成为如图5a中所示的交错数据模式的33%。当执行混合交错数据模式时,发送压缩图像的帧间隔可被设置为两个帧或大于两个帧。如果帧间隔大,则可减小发送带宽,但是会不精确地执行零快门时滞。因此,优选地是,按必要适当地设置发送压缩图像的间隔。返回参照图3,通过应用处理器140的解复用器355对复用并发送的显示图像、压缩图像和拍摄信息进行解复用。解复用的图像和信息通过解析器370被解析,并通过环形缓冲器380的显示图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387被缓冲。缓冲器380具有环形缓冲器的结构。如果具有已设置的数量的帧的数据被缓冲,则这些数据被盖写。缓冲器383、385和387具有能够分别存储N帧的相应数据的N个环形缓冲器结构,并在应用处理器控制器360的控制下对相应的数据进行缓冲。在此情况下,数据在N个缓冲器中被缓冲,应用处理控制器360盖写这些数据,从而可从开始再次对这些数据进行缓冲。在此情况下,在压缩图像缓冲器385中,能够存储N帧的JPEG图像通过环形缓冲器结构彼此链接,JPEG图像可根据如图5a至图5F中所示的发送数据模式被存储在相应的缓冲器中。显示图像缓冲器383、压缩图像缓冲器385和拍摄信息缓冲器387的帧根据帧计数值彼此同步。因此,应用处理控制器360可确认帧计数值,以处理同一帧的显示图像、压缩图像和拍摄信息。应用处理控制器360对显示图像缓冲器383中的显示图像进行缓冲,并将将被显示的显示图像输出为预览图像。在运动图像拍摄模式下,在显示图像缓冲器383中缓冲的显示图像被传送到MPEG编码器390,MPEG编码器390对接收的显示图像进行编码,并将编码的显示图像存储在存储单元150中。在如上所述的状态下,如果用户产生捕获请求命令,则应用处理控制器360检测所述捕获请求命令,并将在压缩图像缓冲器385中缓冲的压缩图像之中设置或选择的压缩图像存储在存储单元150中。在此情况下,如图5b和图5c中所示,当以混合交错数据模式发送数据时,应用处理控制器360可通过选择并存储最接近或实质上相邻于或跟随当产生捕获命令时的另一帧的帧的缓冲压缩图像,来实现零快门时滞。当以混合交错数据模式发送数据时(如图5d中所示),应用处理控制器360确认当请求捕获时的帧,确认通过划分数据而被存储的JPEG图像的帧计数信息,并访问确认的帧的缓冲的压缩图像,并在存储单元150中存储所述确认的帧的缓冲的图像。在此情况下,当JPEG图像被划分时(例如,图5d中的JPEG图像3及图5e中的JPEG图像5_2和JPEG图像5_3),应用处理控制器360结合划分的压缩图像,并存储结合的压缩图像。存储的压缩图像可以是JPEG图像。在此情况下,存储的压缩图像可包括JPEG头部、缩略图像和JPEG图像。图6是示出根据本发明的示例性实施例的由相机110产生并处理每帧的显示图像和压缩图像的方法的流程图。参照图6,如果从输入单元170输入相机操作请求,则应用处理器140检测所述相机操作请求,并向图像信号处理器130通知所述相机操作请求,图像信号处理器130对相机110进行操作。在此情况下,图像信号处理器130根据相机110的预设信息(例如,聚焦、变焦、白平衡),对相机进行操作。如果相机110被操作,则相机110执行预览模式。如上所述,用户可在执行预览模式的状态下请求运动图像拍摄。在此情况下,如果在步骤611用户请求运动图像拍摄,则应用处理器140检测所述请求。如果没有请求运动图像拍摄模式,则所述方法循环返回至步骤611。然而,如果在步骤611请求了运动图像拍摄模式,则所述方法在后续步骤中执行运动图像拍摄模式。然而,如果相机110被操作,则图像信号处理器130不管预览模式、捕获模式和运动图像模式而执行相同的操作。因此,如果相机110被操作,则在步骤613,图像信号处理器130从相机110获取图像。在此情况下,相机110拍摄具有全HD分辨率的图像或具有更大的分辨率的图像(可以是具有UHD分辨率的图像),在步骤613,图像信号处理器130获取帧图像。在此情况下,图像信号处理器130以预设帧率获取图像,所述帧率可以是30fps。在获取帧图像之后,图像信号处理器130在步骤615在相应的帧产生显示图像,并在步骤617产生压缩图像。在此情况下,如上所示,根据图像信号处理器130和应用处理器140的总线带宽来确定压缩图像,并根据所述确定的带宽来使用交错数据模式。在此情况下,交错数据模式可以是如图5a至图5f中所示的发送方法之一。图7是示出在图6的步骤617中产生压缩图像的方法的流程图。结合图5a至图5f参照图7,在步骤711,图像信号处理器130确认传输模式。在此情况下,如果带宽足够,则在步骤713,图像信号处理器130检测交错数据模式。如果没有检测到交错数据模式,则所述方法进行到步骤719。否则,如果在步骤713检测到交错数据模式,则所述方法在步骤715产生如图5a中所示的每帧的压缩图像,并在步骤717,将压缩图像与显示图像进行复用,并发送复用的图像,并返回以在图7中完成步骤617。返回参照步骤719,当系统带宽不足时,在步骤719,图像信号处理器130检测不足的带宽的状况,确定当前模式是否是以预定帧间隔发送压缩图像的混合交错数据模式。当当前模式是混合交错数据模式时,在步骤721,图像信号处理器130以如图5b和图5c中所示的设置的帧间隔产生压缩图像,所述方法进行到步骤717。否则,在步骤719,当当前模式不是混合交错数据模式时,所述方法进行到步骤723,以在步骤723检测当前模式是否是划分数据的混合数据模式。如果图像信号处理器130在步骤723检测到混合数据模式,则所述方法进行到步骤724并在步骤723产生每帧的压缩图像。在步骤727,图像信号处理器130根据存储器中压缩图像的大小,对产生的帧的压缩图像进行整合或划分,并进行到步骤717。即,如图5e中所示,如果压缩图像的大小小(即,小于预定阈值大小),则图像信号处理器130将多个帧的压缩图像整合到一个帧中,以做出帧压缩图像。如果压缩图像的大小大,则图像信号处理器130划分相应帧的压缩图像,使得所述压缩图像被单独地发送到帧。返回参照步骤723,如果没有检测到混合数据模式(例如,如果由用户设置的捕获图像的分辨率小于显示图像的分辨率),则在步骤725,图像信号处理器130不产生压缩图像,所述方法进行到步骤717。接下来,图像信号处理器130对产生的压缩图像和显示图像进行复用,以发送一个帧。在此情况下,复用的显示图像可具有如图5a至图5d中所示的发送格式之一。不发送按元数据形式的拍摄信息。即,图6是由显示图像和压缩图像来配置一个帧时的操作的过程的示图,在此情况下不发送拍摄信息。如上所述,从图像信号处理器130发送的帧图像的帧率可具有30fps的帧率或更大的帧率。因此,图像信号处理器130可产生每秒30帧的显示图像和根据交错数据模式确定的帧的数量的压缩图像。复用器350对产生的显示图像和压缩图像进行复用,复用的图像被传送到应用处理器140。返回参照图6,在步骤617之后,在步骤619,应用处理器140分别对显示图像和压缩图像进行缓冲。在步骤621,显示图像接着通过显示单元160被显示为预览图像,并通过MPEG编码器390被编码,编码的图像被存储在存储单元150中。如上所述,在相机110执行运动图像拍摄模式的状态下(除了在预览模式下存储运动图像的操作以外,被相同地执行),如果用户产生捕获请求命令,则在步骤623,应用处理器140检测所述捕获请求命令。如果在步骤623没有检测到捕获请求命令,则所述方法进行到步骤627。然而,当在步骤623检测到捕获请求命令时,在步骤625,压缩图像缓冲器385从缓冲的压缩图像选择预设压缩图像并在存储单元150中存储选择的压缩图像,并循环返回至步骤615。在此情况下,可使用各种方案执行设置压缩图像的方法。第一,当设置零快门时滞时,压缩图像缓冲器385选择与产生捕获请求命令时的帧相应的压缩图像,并在存储单元150中存储选择的压缩图像。例如,在快门延迟(快门时滞)被设置为两个帧的情况下,如果产生捕获请求命令,则压缩图像缓冲器385在存储单元150中存储两个缓冲的帧的先前帧的压缩图像,以实现零快门时滞。在此情况下,不存在相应帧的压缩图像(当如图5b或图5c中所示发送压缩图像时),压缩图像缓冲器385选择最接近或实质上相邻于或跟随实现零快门时滞的另一帧的帧的缓冲的压缩图像。第二,压缩图像缓冲器385在显示缩略图像或显示图像的同时设置选择期望的压缩图像的功能。通过步骤615至625重复地执行上述操作,直到运动图像拍摄操作终止。返回参照步骤623,如果在步骤623,没有检测到捕获请求命令,并且因此运动图像拍摄可能已终止,则在步骤627,图像信号处理器130和应用处理器140检测终止的运动图像拍摄。如果在步骤627没有检测到运动图像拍摄的终止,则所述方法循环返回至步骤615。否则,如果在步骤627检测到运动图像拍摄,则所述方法终止运动图像拍摄模式,并且所述方法结束。在此情况下,如果用户不停止相机的操作,则图像信号处理器130和应用处理器140执行预览模式。通过图6的相同的过程来执行除了通过应用处理器140存储运动图像的操作之外的任何附加或其余的操作。即,可在预览模式下或运动图像拍摄模式下相同地执行图像信号处理器130的操作。图8是示出根据本发明的示例性实施例的由相机110产生并处理每帧的显示图像、压缩图像和拍摄信息的方法的流程图。除了图像信号处理器130产生并发送拍摄信息、应用处理器140对发送的显示图像、压缩图像和拍摄信息进行缓冲、在缓冲期间将传感器120的输出添加到从图像信号处理器130发送的拍摄信息中以产生并缓冲拍摄信息之外,图8执行与图6的操作和步骤大致相同的操作和步骤。参照图8,如果相机110被操作,则相机110执行预览模式。如上所述,在执行预览模式的状态下,用户可请求运动图像拍摄。在此情况下,如果在步骤811用户请求运动图像拍摄,则应用处理器140检测运动图像拍摄的请求。如果没有请求运动图像拍摄模式,则所述方法循环返回到步骤811。然而,如果在步骤811请求运动图像拍摄模式,则所述方法在后续步骤中执行运动图像拍摄模式。然而,如果相机110被操作,则图像信号处理器130不管预览模式、捕获模式和运动图像拍摄模式而执行相同的操作。因此,如果相机110被操作,则在步骤813,图像信号处理器130从相机110获取图像和拍摄信息。在此情况下,相机110拍摄具有全HD分辨率或具有更高分辨率的图像(可以是具有UHD分辨率的图像),图像信号处理器130在步骤813获取帧图像。在此情况下,图像信号处理器130以预设帧率获取图像,所述帧率可以是30fps。在获取帧图像之后,图像信号处理器130在步骤815在相应的帧产生显示图像和拍摄信息,并在817产生压缩图像。在此情况下,如上所示,根据图像信号处理器310和应用处理器140的总线带宽来确定压缩图像,并根据确定的带宽来使用交错数据模式。在此情况下,交错数据模式是如图5a至图5f所示的本发明使用的可行的发送方法之一。在此情况下,以上述图7的操作的过程相同的方式执行在步骤817中产生压缩图像的过程,传送格式成为图5a至图5e中所示的格式之一。如上所述,从图像信号处理器130发送的帧图像的帧率可以是30fps或更大(例如,60fps)。因此,图像信号处理器130可产生每秒30帧的显示图像和具有根据交错数据模式确定的帧的数量的压缩图像。以上产生的显示图像、压缩图像和拍摄的图像通过复用器350被进行复用,并被传送到应用处理器140。返回参照图8,在步骤817之后,在步骤819,应用处理器140分别对显示图像、压缩图像和拍摄信息进行缓冲。然后显示图像在步骤821通过显示单元160被显示为预览图像,并通过MPEG编码器390被编码,在步骤821,编码的显示图像被存储在存储单元150中。如上所述,在相机110执行运动图像拍摄模式的状态下(除了在预览模式下存储运动图像的操作以外,被相同地执行),如果用户产生捕获请求命令,则在步骤823应用处理器140检测捕获请求命令的产生。如果在步骤823没有检测到捕获请求命令,则所述方法进行到步骤827。然而,当在步骤823检测到捕获请求命令时,在步骤825,压缩图像缓冲器385从缓冲的压缩图像选择预设压缩图像并在存储单元150中存储选择的预设压缩图像,并且循环返回至步骤813。在此情况下,可以以各种方案执行设置压缩图像的方法。第一,当零快门时滞被设置时,压缩图像缓冲器385选择与当产生捕获请求命令时的帧相应的压缩图像,并在存储单元150中存储选择的压缩图像。例如,在快门延迟(快门时滞)被设置为两个帧的情况下,如果产生捕获请求命令,则压缩图像缓冲器385在存储单元150中存储两个缓冲的帧的先前帧的压缩数据,以实现零快门时滞。在此情况下,不存在相应的帧的压缩图像(当如图5b或图5c中所示发送压缩图像时),压缩图像缓冲器385选择最接近或实质上邻近或跟随实现零快门时滞的另一帧的帧的缓冲的压缩图像。第二,压缩图像缓冲器385可设置在显示缩略图像或显示图像的同时选择期望的压缩图像的功能。通过步骤813至825重复地执行上述操作,直到运动图像拍摄操作终止。返回参照步骤823,如果在步骤823没有检测到捕获请求命令,并因此运动图像拍摄可能已终止,则在步骤827,图像信号处理器130和应用处理器140检测运动图像拍摄是否终止。如果在步骤827没有检测到运动图像拍摄终止,则所述方法循环返回至步骤813。然而,如果在步骤827检测运动图像拍摄,则所述方法终止运动图像拍摄模式,并且所述方法结束。在此情况下,如果用户没有停止相机的操作,则图像信号处理器130和应用处理器140执行预览模式。通过与图8的相同的过程来执行除了通过应用处理器140存储运动图像的操作之外的任何附加或其余的操作。即,可在预览模式或运动图像拍摄模式下相同地执行图像信号处理器130的操作。图9是示出根据本发明的示例性实施例的包括相机110的便携式终端设备的配置的框图。参照图9,便携式终端设备包括如图1的示例性实施例中描述的相机110和传感器120,以当激活相机110时通过传感器120执行获取图像的功能。传感器120可包括安装在相机110中的至少一个传感器,所述至少一个传感器包括GPS接收器、陀螺仪传感器、加速度传感器、高度传感器和方向传感器中的至少一个。图像信号处理器130对从相机110获取的图像进行处理,以产生在显示单元160上的显示图像和响应于捕获请求将被存储的压缩图像。显示图像可包括YUV图像。压缩图像可包括JPEG图像。当产生压缩图像时,图像信号处理器130根据总线带宽确定产生和发送压缩图像的方法。在此情况下,压缩图像的传送格式可以是图5a至图5f中所示的格式之一。因此,应用处理器140执行便携式终端设备的各种应用功能。应用处理器140可接收传感器120的输出作为输入,并根据用户的请求处理各种传感器应用。例如,应用处理器140可接收GPS接收的输出作为输入,以根据相机110和/或便携式终端设备的设备的位置来处理导航功能和检测区域信息的应用。应用处理器140可执行应用,其中,所述应用根据便携式终端设备的移动执行当前执行的应用中的预设功能。具体地讲,根据本发明的示例性实施例,应用处理器140在操作相机110期间对从图像信号处理器130发送的显示图像、压缩图像和拍摄信息进行缓冲,并控制显示单元160输出并显示显示图像。在此情况下,如果当前模式是运动图像拍摄模式,则应用处理器140操作MPEG编码器390,以通过帧中的数据的配置确定的顺序对所述显示图像进行压缩编码,并将压缩编码的显示图像存储为运动图像。如果在预览模式或运动图像拍摄模式下产生用户的静止图像的捕获请求命令,则应用处理器140从缓冲的压缩图像选择与产生捕获命令时的帧相应的压缩图像,并将选择的压缩图像存储在存储单元150中,以实现零快门时滞功能。在此情况下,如图5b和图5c所示,当压缩图像被发送时,应用处理器140可选择并存储最接近或实质上邻近或跟随产生捕获命令时的另一帧的帧的缓冲压缩图像,以实现零快门时滞。当压缩图像被发送时(如图5d中所示),应用处理器140确认请求捕获时的帧,确认通过划分数据存储的JPEG图像的帧计数信息,并在存储单元150中访问并存储确认的帧的缓冲的压缩图像。在此情况下,当JPEG图像被划分时(例如,分别在图5d和图5e中的JPEG3图像和JPEG5_2图像),应用处理器140结合划分的压缩图像,并存储结合的压缩图像。通信单元920与外部装置或基站执行通信功能。通信单元920可包括:发送器,具有用于将发送的信号上转换为RF带的升频转换器和功率放大器;低噪声放大器,用于低噪声放大RF接收的信号;降频转换器,用于将RF信号下转换为基带。通信单元920可包括:调制器,用于对发送的信号进行调制并将调制的信号传送到发送器;解调器,用于对从接收器输出的信号进行解调。调制器和解调器可包括WCDMA、GSM、LTE、WIFI或WIBRO方案的调制器和解调器。终端控制器910控制携带式终端设备的整体操作,并执行语音通话功能和数据通信功能。终端控制器910可包括通信单元920的调制器和解调器。在可选择的示例性实施例中,通信单元920可仅包括RF通信单元。在此情况下,终端控制器910可执行对通信信号进行调制/解调和编码/解码的功能。音频处理器930可被连接到便携式终端设备的听筒,并在终端控制器910的控制下处理语音通信期间的通话语音。存储器940可以是加载终端控制器910和应用处理器140的程序的工作存储器。在此情况下,存储器940可被配置为至少包括RAM。输入单元170产生便携式终端设备的各种操作命令和数据输入信号,并向终端控制器910和应用处理器140提供所述各种操作命令和数据输入信号。具体地讲,输入单元170可响应于用户选择和输入来产生相机操作命令和捕获命令,并向应用处理器140提供相机操作命令和捕获命令。输入单元170可在捕获图像时根据用户请求产生请求显示拍摄信息和/或缩略图像的命令。显示单元160在终端控制器910和应用处理器140的控制下显示便携式终端设备的操作和应用执行状态。具体地讲,根据本发明的示例性实施例,显示单元160在预览模式下显示从应用处理器140输出的显示图像。显示单元160可显示从应用处理器140输出的拍摄信息和/或缩略图像。输入单元170可包括用于检测用户的触摸输入的触摸板。显示单元160可包括用于显示在执行程序期间产生的数据和图像的LCD或OLED面板。输入单元170和显示单元160可以是集成的触摸屏。输入单元170可包括位于相机110的外部或者在相机110的外部易接近的至少一个按钮或多个按钮。存储单元150可包括存储便携式终端设备的操作程序和根据本发明的示例性实施例的程序的程序存储器、存储用于执行程序的数据和在执行所述程序期间产生的数据的数据存储器。在此情况下,可由非易失性存储器(例如,闪存)来配置存储单元150。具体地讲,根据本发明的示例性实施例,在请求捕获时,存储单元150在应用处理器140中存储缓冲的压缩图像。具有如图9中所示的配置的便携式终端设备可执行呼入/呼出通话和通信服务,并在根据本发明的示例性实施例的相机拍摄模式下处理通过相机110拍摄的图像。当根据便携式终端的开启电源过程启动便携式终端时,终端控制器910将存储单元150中的通话和通信应用以及便携式终端设备的操作程序加载到存储器940。当请求执行选择的应用时,应用处理器140将存储在存储单元150中的用于操作相应应用的程序加载到存储器940。因此,当启动便携式终端设备的系统时,存储器940执行加载了便携式终端设备的操作程序和应用程序的工作存储器功能。应用处理器140可与终端控制器910共享存储器940,并且可单独配置和使用存储器940。应用处理器140处理相机110的图像处理应用和便携式终端设备的各种应用。为了处理上述各种应用,应用处理器140可接收传感器120的输出作为输入。应用处理器140可使用传感器120的输出执行应用或根据传感器120的输出控制应用的处理操作。终端控制器910可接收传感器120的输出作为输入,并执行通话或通信服务或者根据传感器120的输出来控制通话或通信服务。当启动呼出通话时,用户可输入、选择和/或产生呼出电话号码和呼叫请求信号。已检测到呼出电话号码和呼叫请求信号的终端控制器910控制通信单元920,以形成通话路径,并通过基站执行呼出通话功能。如果检测和/或接收到呼入通话,则终端控制器910检测所述呼入通话,并通过音频处理器930产生呼入通知和/或警报,并通过显示单元160显示呼入信息。在此情况下,如果用户通过输入单元170对接受做出响应并执行呼入通话,则终端控制器910通过通信单元920形成呼入通话路径,以执行通话服务。便携式终端设备通过以与用于执行呼入或呼出通话的操作类似的操作形成通信路径,来执行数据通信。当以图像信号处理器130的带宽无法针对每帧发送显示图像和压缩图像(或显示图像、压缩图像和拍摄信息)时,或当应用处理器140由于另一应用的执行而具有总线带宽的处理限制时,如上所述,可以以混合发送方法发送压缩图像。根据本发明的示例性实施例的相机110和包括这样的相机110的便携式终端设备包括:图像信号处理器130,用于从相机110获取图像,以产生显示图像和压缩图像,并对显示图像和压缩图像进行复用,并发送复用的帧图像;应用处理器140,用于对复用的帧图像进行缓冲,并使用缓冲的帧图像存储预览图像。在此情况下,在现有技术中,根据图像信号处理器130和应用处理器140之间的总线带宽,难以同时存储具有全HD分辨率的图像和具有UHD分辨率的静止图像。为了解决现有技术中的此问题,当将显示图像和压缩图像作为一个帧发送时,本发明的示例性实施例可通过根据总线带宽以混合方案按预设帧间隔来发送压缩图像,来同时存储全HD分辨率的图像和UHD分辨率的静止图像。根据本发明的上述设备和方法可以以硬件、固件被实施或被实施为可被存储在非易失性记录介质(诸如CDROM、RAM、ROM、软盘、DVD、硬盘、或磁性存储介质、光学记录介质或磁光盘)中存储的软件或计算机代码,或被实施为通过网络下载的计算机代码(其中,所述计算机代码最初存储在远程记录介质、计算机可读记录介质或非暂时性机器可读介质上并将被存储在本地记录介质上),从而描述于此的所述方法可使用通用计算机、数字计算机或专用处理器以存储在记录介质上的软件被实施,或者以可编程硬件或专用硬件(诸如ASIC或FPGA)被实施。如本领域中所理解:计算机、处理器、微处理器控制器或可编程硬件包括存储器组件(例如,RAM、ROM、闪存等),其中,所述存储器组件可存储或接收软件或计算机代码,其中,所述软件或计算机代码在被计算机、处理器或硬件访问并执行时实施描述于此的处理方法。此外,将认识到:当通用计算机访问用于实施于此示出的所述处理的代码时,所述代码的执行将通用计算机转变为用于执行于此示出的所述处理的专用计算机。此外,可通过任何介质(例如,通过有线/无线连接发送的通信信号及其等同物)来电传送程序。虽然已在上文详细描述了根据本发明的示例性实施例,但是,应清楚理解:这里教导的可对于本领域的技术人员来说明显的基本发明构思的许多变化和修改将仍然落入在权利要求书中限定的本发明的精神和范围之内。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1