专利名称：在便携式终端中获取图像的设备和方法
技术领域：
本发明涉及一种在便携式终端中获取图像的设备和方法。更具体地说，本发明涉及一种便携式终端执行便携式终端中的用于图像获取的相机功能和其它应用功能的设备和方法。
背景技术：
近年来，随着便携式终端的快速发展，便携式终端的普及和使用变得广泛并被认为是现代生活的必需品。便携式终端已被用作使得无线语音呼叫和信息交换能够进行的媒体。最初，便携式终端被认为是一种用于进行电话呼叫的方便且便携的方式。然而，随着无线通信的技术和便携式终端本身的发展，人们认识到除了语音通信之外还期望将许多其它功能包括到便携式终端中，并且服务提供商和便携式终端制造商竞相参与开发将其产品和服务区别于其它企业的产品(或服务)。例如，便携式终端已发展成为用于提供电子电话号码簿、游戏、短消息服务(SMS)、 电子邮件(E-mail)服务、定时叫醒(morning call)和/或闹铃功能、MPEG-I音频层3 (MP3) 播放器、日程管理功能、数码相机和无线因特网服务以及上面未提及的多种服务的多媒体设备。更具体地，由于能够在不需要携带单独的相机或在没有携带单独的相机所需的空间的情况下获取图像的优点，作为最流行和被用户广泛使用的功能之一，数码相机功能正成为便携式终端的基本功能。然而，数码相机功能使用便携式终端的大量资源，并且不能与其它应用功能同时被执行。在传统的便携式终端中，应用处理器和用于图像获取的相机处理器互相连接，并且应用处理器本身处理通过相机处理器的相机传感器获取的图像。由于应用处理器进行图像处理的资源使用，因此这项操作使得难以在执行数码相机功能的过程中执行其它应用 (例如，电话呼叫、播放背景音乐(BGM)、消息、web浏览等)。由于在图像处理期间便携式终端的资源有限，因此应用处理器进行图像处理的大量资源使用的结果是便携式终端不能同时执行两个或更多个应用。因此，需要一种用于控制在便携式终端的应用处理器中使用的资源以使便携式终端可同时执行多个应用的设备和方法。
发明内容
本发明的示例性方面在于提供一种用于在便携式终端中同时执行用于图像获取的相机功能和其它应用功能的设备和方法。本发明的另一示例性方面在于提供一种用于在便携式终端中独立地构造用于图像获取的相机处理器和用于应用处理的应用处理器的设备和方法。
本发明的另一示例性方面在于提供一种用于将获取的图像存储在相机处理器本身中的设备和方法。本发明的另一示例性方面在于提供一种用于将在图像获取时存储在相机处理器中的图像加载到应用处理器中的设备和方法。根据本发明的示例性方面，提供了一种便携式终端的图像处理设备。所述设备优选地包括能够分别处理单独的应用的相机处理器和应用处理器。相机处理器优选地包括相机传感器和存储通过相机传感器获取的图像的图像存储单元，并且独立于应用处理器被驱动。应用处理器独立于相机处理器被驱动，并且在相机处理器进行操作的同时驱动特定应用。根据本发明的另一示例性方面，便携式终端的图像处理方法优选地包括提供相机处理器102、相机传感器104和存储通过相机传感器获取的图像的图像存储单元108 ；通过互相独立地驱动相机处理器和应用处理器，在相机处理器进行操作的同时，通过应用处理器驱动除图像处理应用以外的特定应用。通过结合附图公开本发明的示例性实施例的以下详细描述，本发明的其它示例性方面、优点和显著特征将对本领域技术人员变得清楚。
通过结合附图的以下详细描述，本发明的以上和其它示例性方面、特征和优点将对本领域普通技术人员变得更加清楚，其中图1是示出根据本发明的用于同时执行图像获取功能和其它应用功能的便携式终端的示例性构造的框图；图2是示出根据本发明的示例性实施例的在便携式终端的相机处理器中获取图像的处理的流程图；图3是示出根据本发明的示例性实施例的在便携式终端的应用处理器中获取图像的处理的流程图；图4是示出根据本发明的示例性实施例的在便携式终端中同时执行相机功能和其它应用功能的处理的流程图；图5A是示出在传统的便携式终端中执行相机功能的处理的示图；图5B是示出在根据本发明的示例性实施例的便携式终端中执行相机功能的处理的示图。在整个附图中，相同的标号将被理解为指示相同的部分、组件和结构。
具体实施例方式提供参照附图的以下描述以帮助本领域普通技术人员对针对说明性目的而在此提供的本发明的特定示例性实施例的全面理解。该描述包括各种特定细节以帮助本领域普通技术人员理解请求保护的发明，但这些细节仅被视为是示例性的。因此，本领域普通技术人员将认识到，在不脱离本发明的精神和权利要求的范围的情况下，可对描述于此的说明性示例进行各种改变和修改。此外，为了清楚和简洁的目的，可省略对公知的功能和构造的描述，这是因为公知的功能和构造的描述的包含会使本领域普通技术人员对请求保护的发明的主题的理解不清楚。在权利要求和以下描述中使用的术语和词语不限于字面意思，而是仅被发明者使用以使对本发明能够有清晰和一致的理解。因此，本领域技术人员应该清楚，提供本发明的示例性实施例的以下描述仅仅是为了说明性的目的，而不将被解释为限制由权利要求及其等同物限定的本发明。将理解，除非上下文明确指出，否则单数形式包括复数形式。因此，例如，涉及到 “组件表面”包括涉及一个或多个这样的表面。术语“基本上”通常表示所列举的特性、参数或值不需要被精确达到，而是可能以不妨碍特性预期提供的效果的量出现偏差或变化(包括但不限于(例如)本领域普通技术人员公知的公差、测量误差、测量精确度限制及其它因素)。本发明的示例性实施例提供一种用于在根据本发明的便携式终端中通过独立地构造图像获取装置和应用处理装置来同时执行图像获取功能和另外的应用功能的设备和方法。此外，根据本发明的便携式终端构造独立于应用处理器的相机处理器，从而减少应用处理器的负担。也就是说，不同于通过数据线和命令线与应用处理器连接并将获取的图像存储在应用处理器中的传统的相机处理器，根据本发明的相机处理器包括单独的图像存储单元以将其自己获取的图像存储在所述图像存储单元中。因此，根据本发明的相机处理器存储其自己获取的图像，并且当需要时，应用处理器读出存储在相机处理器中的图像， 从而能够减少应用处理器的负担。这个结构使得在相机处理器进行处理的同时应用处理器也处理其它应用。图1是示出根据本发明的用于同时执行图像获取功能和至少一个其它应用功能的便携式终端的示例性构造的框图。现在参照图1，便携式终端可优选地包括应用处理器100、相机处理器102、存储器单元110、输入单元112、显示单元114和通信单元116。相机处理器102可包括相机传感器104、图像处理器106和图像存储单元108。便携式终端可包括为了清楚而未在此示出的另外的单元。类似地，除了应用处理器和相机处理器的功能，两个或更多个上述单元的功能可被集成在单个组件中。应用处理器100控制便携式终端的一般操作。例如，应用处理器100对语音呼叫和数据通信执行处理和控制。除了一般功能以外，根据本发明，应用处理器100进行处理以加载并输出在图像获取时在相机处理器102中存储的图像，或存储在相机处理器102中获取的图像。不同于传统的应用处理器，根据本发明的应用处理器100可独立于相机处理器 102进行操作，并节省取决于图像获取的资源使用。根据本发明，相机处理器102独立于应用处理器100进行操作，并进行处理以将通过相机传感器104获取的图像存储在其自己的存储器(即，图像存储单元108)中。这时， 相机处理器102可对获取的图像执行图像信号处理(ISP)，并随后存储经过处理的图像。相机处理器102的相机传感器104优选地包括拍摄对象的图像传感器。图像处理器106对通过相机传感器104获取的图像执行ISP(例如AE(自动曝光)、AWB(自动白平衡)和AF(自动对焦)校正等)。继续参照图1，相机处理器102的图像存储单元108包括用于存储由图像处理器106处理的图像的存储器，并且通过数据线与应用处理器100连接。应用处理器100可通过数据线加载存储在相机处理器102的图像存储单元108中的图像，以通过无线传输或(例如)通过通用串行总线(USB)端口进行图像的显示或通信，或用于将图像永久存储在存储器单元或(例如)存储到微型CD卡中。存储器单元110包括永久性机器可读介质，例如只读存储器(ROM)、随机存取存储器(RAM)、闪存ROM或其它类似的存储装置。ROM存储用于处理和控制应用处理器100和相机处理器102的程序的微码以及各种参考数据。作为应用处理器100的工作存储器的RAM优选地存储在各种程序的执行中产生的临时数据。闪存ROM优选地存储多种可更新的保存数据(cbpository data)，例如电话号码簿、发送的消息和收到的消息。输入单元112优选地包括数字键按钮“0”到“9”、菜单按钮、取消按钮、OK按钮、通话按钮、结束按钮、因特网按钮、导航键按钮和多个功能键(例如字符输入键)。输入单元 112将与由用户按下的键相应的键输入数据提供给应用处理器100。本领域普通技术人员应知道并理解，在请求保护的发明中，所述键可以是虚拟的，并且输入单元和显示单元可包括单个触摸屏。显示单元114显示在便携式终端的操作期间产生的状态信息、字符、运动图像和静止图像等。显示单元114可以是彩色液晶显示器(LCD)、主动模式有机发光二极管 (AMOLED)显示器以及其它类型的薄膜技术屏幕显示设备。在显示单元114包括触摸输入装置并被应用于触摸输入方案的便携式终端的情况下，显示单元114可被用作便携式终端的输入装置。通信单元116执行发送/接收和处理通过天线(未示出)输入/输出的数据的无线信号的功能。例如，在发送模式中，通信单元116执行这样的功能通过(例如)信道编码和扩频(例如CDMA)或其它无线协议(TDMA、GSM等)(仅列举一些可能的无线协议)对原始数据进行处理，将经过处理的原始数据转换为射频(RF)信号，并发送RF信号。在接收模式中，通信单元116执行这样的功能将接收的RF信号转换为基带信号，通过解扩和信道解码对基带信号进行处理，并将所述信号恢复为原始信号。通信单元116还可包括用于有线传输的通信端口(例如USB)，并还可按短程协议(例如蓝牙等)进行通信。图2是示出根据本发明的在便携式终端的相机处理器中获取图像的示例性处理的流程图。现在参照图2，根据如上述的本发明，相机处理器独立于应用处理器被构造，并减少应用处理器的使用的资源，以允许同时执行相机功能和另外的应用功能(例如，呼叫功能、MP3播放功能、游戏功能等)。例如，相机处理器可包括相机传感器、作为用于ISP的图像信号处理器的图像处理器、以及用于存储通过相机传感器获取的图像的图像存储单元。 这样的可能的构造的示例在图1中示出，并且先前已在上面讨论。首先，在步骤201，相机处理器(例如图1中示出的相机处理器102)操作相机传感器，并获取通过相机传感器输入的图像。接下来在步骤203，相机处理器确定是否已从应用处理器接收到图像控制命令。这里，图像控制命令指的是请求通过相机传感器获取的预览图像和捕捉预览图像的图像的命令。
7
如果在步骤203确定没有从应用处理器接收到图像控制命令，则相机处理器再次执行步骤201的过程。相反，当在步骤203确定已从应用处理器接收到图像控制命令时，相机处理器进行到步骤205，并获取与图像控制命令相应的图像。随后，相机处理器进行到步骤207，并对获取的图像执行图像信号处理(ISP)。继续参照图2，在步骤209，相机处理器进行将步骤207的经过ISP处理的图像存储在其自己的存储器，即，图像存储单元(其示例在图1中示出)中的处理。这时，在将图像存储在其自己的存储器或除应用处理器正在使用的存储器之外的存储器中之后，相机处理器将通知图像已被存储的信息提供给应用处理器，以允许应用处理器认知图像存储。根据本发明，相机处理器独立于应用处理器被构造。相机处理器可包括相机传感器；图像处理器，对通过相机传感器获取的图像执行ISP操作；存储器(S卩，图像存储单元)，能够存储图像。相机处理器将获取的图像存储在存储单元中，从而当需要时，应用处理器从相机处理器加载存储的图像。由另一处理器(相机处理器)进行图像处理的安排使得传统便携式终端中的应用处理器的负担减少，并且所述安排减少了所使用的如传统装置中的与应用处理器关联的存储器单元的存储空间。在此之后，根据本发明，便携式终端结束该算法。图3是示出根据本发明的在便携式终端的应用处理器中获取图像的示例性操作处理的流程图。现在参照图3，如上所述，应用处理器加载存储在相机处理器的图像存储单元中的图像，而不是从相机处理器接收图像并将接收到的图像存储在应用处理器中。因此，应用处理器可减少由其本身处理由相机传感器获取的图像的而造成的负担。首先，在步骤301，应用处理器确定是否已检测到对图像获取的用户请求。这里，对图像获取的用户请求指的是这样的用户请求请求试图用作预览图像的图像和捕捉预览图像的图像。如果在步骤301应用处理器确定没有检测到对图像获取的用户请求，则应用处理器再次执行步骤301的过程。此时，如果是在便携式终端操作特定应用的情况下，则应用处理器可在确定是否检测到用户请求的同时控制先前操作的应用。相反，如果在步骤301应用处理器确定已检测到对图像获取的用户请求，则在步骤303，应用处理器将图像控制命令提供给相机处理器。接下来，在步骤305，应用处理器确定是否存在来自用户的图像输出请求。图像输出请求是对将预览图像或捕捉图像输出到显示单元的用户请求。响应于图像输出请求，应用处理器可加载由相机处理器存储的图像，并将加载的图像输出到显示单元。预览请求也可能会包括可重配置的默认设定。如果在步骤305应用处理器确定不存在图像输出请求，则应用处理器再次执行步骤305的过程。相反，如果在步骤305应用处理器确定存在来自用户的图像输出请求，则随后在步骤307，应用处理器获取存储在相机处理器中的图像。随后，在步骤309，应用处理器将获取的图像输出到(例如)显示单元，或输出到通信单元以进行发送。
然后，根据本发明，应用处理器结束该算法。图4是示出根据本发明的优选示例性实施例的在便携式终端中同时执行相机功能和至少一个其它应用功能的示例性处理的流程图。在图4中，示例性处理器被描述用于便携式终端同时执行(例如)相机功能和呼叫功能，但作为两个可能的示例，本发明可同时执行相机功能和MP3播放功能，或相机功能和运动图片播放功能。首先，在步骤401，便携式终端进入呼叫模式以执行呼叫功能。随后，在步骤403， 便携式终端确定是否检测到对在执行呼叫功能的过程中操作相机的用户请求。如果在步骤403便携式终端确定没有检测到对在进行呼叫功能的同时操作相机的用户请求，则所述方法返回到步骤401并执行呼叫功能。相反，如果在步骤403便携式终端确定检测到对在进行呼叫功能的同时操作相机的用户请求，则随后在步骤405便携式终端的相机处理器操作相机传感器。随后，在步骤 407，便携式终端使用相机传感器获取图像。在此之后，所述方法进行到步骤409，在步骤409，便携式终端的相机处理器进行将获取的图像存储在相机处理器的图像存储单元中的处理(例如如图2的安排所示)。根据本发明的便携式终端由相机处理器本身而不通过应用处理器来处理由相机传感器获取的图像，从而减少应用处理器的负担。在此之后，所述方法进行到步骤411，在步骤411，便携式终端确定是否检测到来自用户的捕捉图像获取请求。如果在步骤411确定没有检测到来自用户的捕捉图像获取请求，则随后在步骤 417，便携式终端确定是否检测到来自用户的图像输出请求。相反，如果在步骤411确定已检测到来自用户的捕捉图像获取请求，则随后在步骤413，便携式终端将获取的图像压缩为(例如)“jpg”图像。随后，在步骤415，便携式终端进行将压缩的图像存储在相机处理器的图像存储单元中的处理。此时，如果图像被存储，则相机处理器可提供向应用处理器通知图像已被存储的信息，从而应用处理器认知图像存储，并确定可进行图像输出的时间。随后，在步骤417，便携式终端确定是否已检测到来自用户的图像输出请求。如果在步骤417确定没有检测到来自用户的图像输出请求，则在步骤405，便携式终端处理相机处理器以获取图像。相反，如果在步骤417便携式终端确定检测到来自用户的图像输出请求，则随后在步骤419，便携式终端加载存储在相机处理器的图像存储单元中的图像，从而获取存储的图像。随后，在步骤421，便携式终端进行处理以输出获取的图像。图5是示出与传统的便携式终端的操作处理相比，根据本发明的优选示例性实施例的便携式终端的操作处理的优点的示图。图5A是示出在传统的便携式终端中执行相机功能的处理的示图。在图5A中，传统的便携式终端由标号500指示的相机传感器、应用处理器和存储器组成。作为获取图像的传感器的相机传感器通过用于发送获取的图像的数据线和用于发送控制图像的命令的命令(CMD)线与应用处理器连接。详细地，在应用处理器通过命令线将图像控制命令提供给相机传感器的常规情况下，如标号510所示，由相机传感器获取的图像通过数据线被提供给应用处理器，然后由应用处理器进行图像处理，并随后被存储在存储器中。此时，应用处理器将从相机传感器接收的图像存储在存储器中，并对接收的图像执行编码/解码过程，并使用许多资源。结果，应用处理器不能在执行图像获取过程的同时执行另外的应用功能。图5B是示出在根据本发明的优选示例性实施例的在便携式终端中执行相机功能的处理的示图。在图5B中，便携式终端优选地包括由标号520指示的相机处理器(522)、应用处理器和存储器。相机处理器522可包括相机传感器和图像存储单元108。相机处理器(522) 对通过相机传感器获取的图像执行ISP，例如AE(自动曝光)、AWB(自动白平衡)和AF(自动对焦)校正等。此外，根据本发明的相机处理器包括对通过相机传感器获取的图像执行ISP(例如AE (自动曝光)、AWB (自动白平衡)和AF (自动对焦)校正等)的图像处理器(未示出)。相机传感器是获取图像的传感器。不同于相机传感器通过用于发送获取的图像的数据线和用于发送控制图像的命令的命令线来与应用处理器连接的传统结构，应用处理器与图像存储单元连接。更详细地，在应用处理器通过命令(CMD)线将图像控制命令提供给相机传感器的情况下，如标号530所示，由相机传感器获取的图像通过数据线被存储在图像存储单元中。存储在图像存储单元中的图像是(由相机处理器或图像处理器)进行过ISP处理的图像，并且应用处理器可减少由与图像处理有关的操作造成的资源使用。由于这样的安排，在本发明中，便携式终端的应用处理器可同时执行使用相机的图像获取功能和单独的应用功能。例如，作为相机处理器的构成元件的相机传感器和图像存储单元独立于应用处理器被驱动，并且相机处理器处理获取的图像并将获取的图像存储在相机处理器中或存储在与相机处理器进行通信的图像存储单元中。之后，在应用处理器意图在执行图像获取的同时执行单独的操作的情况下，应用处理器可进行处理以加载并输出存储在图像存储单元中的图像或者将图像存储在存储器中。例如，在预览图像为以宽视频图形阵列(WVGA) (800X480)的30帧每秒(fps)的情况下，每秒的数据大小为800 X 480 X 2字节X 30 ( Ξ 23兆字节(Mbytes))。在1千兆字节((ibyte)的图像存储单元的情况下，图像存储单元以166兆赫兹(MHz)进行操作，并具有16个数据端口，因而图像存储单元可以以332Mbytes每秒来发送数据。因此，即使在以 WVGA(800X480)的30fps的情况下，应用处理器也足以输出存储在图像存储单元中的图像。根据本发明的上述方法可在硬件、固件中实现，或者可被实现为可存储在记录介质(例如⑶ROM、RAM、软盘、硬盘或磁光盘)中或者可通过网络下载并存储在永久性机器可读介质上的软件或计算机代码，从而可使用通用计算机或专用处理器在这样的软件中实施在此描述的方法，或者可在可编程的或专用硬件(例如ASIC或FPGA)中实施在此描述的方法。如本领域所理解的，计算机、处理器、微处理器、控制器或可编程硬件包括可存储或接收软件或计算机代码的存储器组件(例如，RAM、ROM、闪存等)，其中，当计算机、处理器或硬件访问并执行所述软件或计算机代码时，所述软件或计算机代码实现在此描述的处理方法。另外，应该认识到，当通用计算机访问用于实现在此示出的处理的代码时，所述代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。如上所述，本发明涉及一种用于在便携式终端中同时执行图像获取功能和其它应用功能的设备和方法。本发明独立地构造图像获取装置和应用处理装置，以同时执行图像获取功能和其它应用功能。虽然已参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。
权利要求
1.一种便携式终端的图像处理设备，所述设备包括应用处理器100，驱动至少一个特定应用；相机处理器102，包括相机传感器104、图像处理器106和存储通过相机传感器获取并由图像处理器106处理的图像的图像存储单元108，所述相机处理器独立于应用处理器100 被驱动；在相机处理器在将获取的图像存储在图像存储单元中之前对获取的图像执行图像信号处理(ISP)的同时，应用处理器100驱动所述至少一个特定应用。
2.如权利要求1所述的设备，其特征在于，相机处理器将通过相机传感器获取的图像存储在图像存储单元中，从而当需要获取的图像时，应用处理器加载由图像处理器106处理并被存储在图像存储单元中的图像。
3.如权利要求2所述的设备，其特征在于，相机处理器的图像处理器106对通过相机传感器获取的图像进行ISP处理，并将经过ISP处理的图像存储在图像存储单元中。
4.如权利要求1所述的设备，其特征在于，相机处理器通过数据线将图像存储单元与应用处理器进行通信连接。
5.如权利要求4所述的设备，其特征在于，相机处理器经由用于连接图像存储单元和应用处理器的数据线将先前存储的图像提供给应用处理器。
6.如权利要求1所述的设备，其特征在于，相机处理器执行ISP处理操作以减少应用处理器的资源使用。
7.如权利要求1所述的设备，其特征在于，同时执行相机处理器的图像获取功能和应用处理器的另外的应用功能。
8.如权利要求1所述的设备，其特征在于，应用处理器加载存储在相机处理器的图像处理单元中的图像。
9.一种便携式终端的图像处理方法，所述方法包括提供相机处理器102、相机传感器104和存储通过相机传感器获取的图像的图像存储单元108 ；通过互相独立地驱动相机处理器和应用处理器，在相机处理器进行操作的同时，通过应用处理器驱动除图像处理应用以外的特定应用。
10.如权利要求9所述的方法，其特征在于，独立地驱动相机处理器102和应用处理器 100的步骤包括将通过相机传感器获取的图像存储在相机处理器的图像存储单元108中；通过应用处理器经由数据线加载存储在图像存储单元中的图像来得到获取的图像。
11.如权利要求10所述的方法，其特征在于，将通过相机传感器获取的图像存储在图像存储单元中的步骤包括由相机处理器102的图像处理器106对通过相机传感器获取的图像进行ISP处理；并存储经过ISP处理的图像。
12.如权利要求9所述的方法，其特征在于，独立地驱动相机处理器和应用处理器的步骤包括通过数据线连接图像存储单元和应用处理器。
13.如权利要求12所述的方法，其特征在于，应用处理器加载存储在图像存储单元中的图像的步骤包括经由用于连接图像存储单元和应用处理器的数据线将先前存储的图像加载到应用处理器。
14.如权利要求9所述的方法，其特征在于，独立地驱动相机处理器和应用处理器以减少应用处理器的资源使用。
15.如权利要求9所述的方法，其特征在于，独立地驱动相机处理器和应用处理器的步骤包括在独立于相机处理器被驱动的应用处理器中执行应用；当在所述应用执行的过程中需要进行图像获取时，将用于图像获取的控制命令发送到相机处理器；当从相机处理器被告知存在存储的图像时，加载存储在相机处理器的图像存储单元中的图像。
全文摘要
一种在便携式终端中获取图像的设备和方法，所述设备包括相机处理器和应用处理器。相机处理器包括相机传感器和存储通过相机传感器获取的图像的图像存储单元，并且独立于应用处理器被驱动。应用处理器独立于相机处理器被驱动，并且在相机处理器进行操作的同时驱动特定应用，以允许同时处理图像和便携式终端的另一功能或另外的多个功能。
文档编号H04N5/232GK102289781SQ20111015846
公开日2011年12月21日 申请日期2011年6月7日 优先权日2010年6月7日
发明者朴庆根, 河洞殖 申请人:三星电子株式会社