图像处理设备和方法与流程

技术领域

本发明构思涉及一种图像处理设备，更具体地，涉及一种根据操作模式动态确定数据输入/输出模式的图像处理设备及图像处理方法。

背景技术：

图像传感器是检测和传达构成图像的信息的传感器。图像传感器通过随着波的传播或从物体的反射将波的可变衰减转换成信号来实现所述检测和传达。波可以是光或其它电磁辐射。图像传感器在模拟和数字两种类型的电子图像装置中使用。图像传感器将光图像转换成电信号，并且图像处理装置处理从图像传感器获得的图像数据。

图像传感器和图像处理设备被应用于便携式电子装置，诸如智能电话和数码相机。然而，由于这些装置是便携式的，因此它们具有有限的操作它们的图像传感器的电力。

技术实现要素：

根据本发明构思的示例性实施例，提供一种图像处理设备，所述图像处理设备包括：存储器；第一图像处理器，被配置为对图像数据执行第一图像处理操作以生成第一数据；第二图像处理器，被配置为对第一数据执行第二图像处理操作以生成第二数据。当操作模式被设置为第一操作模式时，图像处理设备将第一数据从第一图像处理器直接传送到第二图像处理器。当操作模式被设置为第二操作模式时，图像处理设备经由存储器将第一数据从第一图像处理器传送到第二图像处理器。

根据本发明构思的示例性实施例，提供一种应用处理器，所述应用处理器包括：第一图像处理器，被配置为对图像数据执行第一图像处理操作以生成第一数据；第二图像处理器，被配置为对第一数据执行第二图像处理操作以生成第二数据。当操作模式被设置为第一操作模式时，应用处理器将第一数据从第一图像处理器直接传送到第二图像处理器。当操作模式被设置为第二操作模式时，应用处理器经由存储器将第一数据从第一图像处理器传送到第二图像处理器。

根据本发明构思的示例性实施例，提供一种图像处理设备执行的图像处理方法，所述图像处理方法包括：由第一图像处理器对图像数据执行第一图像处理操作以生成第一数据；由第一图像处理器根据第一数据的输入/输出(I/O)模式将第一数据输出到第二图像处理器和存储器之一；由第二图像处理器根据第一数据的I/O模式从第一图像处理器和存储器之一接收第一数据；由第二图像处理器对第一数据执行第二图像处理操作以生成第二数据。

根据本发明构思的示例性实施例，一种图像处理设备包括：存储器控制器；第一图像处理器，被配置为对图像数据执行第一图像处理操作以生成第一数据；第二图像处理器，被配置为对第一数据执行第二图像处理操作以生成第二数据。当操作模式被设置为第一操作模式时，图像处理设备将第一数据从第一图像处理器直接传送到第二图像处理器。当操作模式被设置为第二操作模式时，图像处理设备经由存储器控制器将第一数据从第一图像处理器传送到第二图像处理器。

附图说明

通过下面结合附图的详细描述，本发明构思的实施例将变得更加容易理解，在附图中：

图1是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图2A示出当图像处理设备的操作模式是正常模式时由第一图像处理单元和第二图像处理单元通过处理获得的图像；

图2B示出当图像处理设备的操作模式是缩放模式时由第一图像处理单元和第二图像处理单元通过处理获得的图像；

图3示出根据本发明构思的示例性实施例的图像处理设备的基于操作模式的数据输入/输出模式；

图4A是示出根据本发明构思的示例性实施例的第一输入/输出模式的框图；

图4B是示出根据本发明构思的示例性实施例的在第一输入/输出模式下第一图像处理单元和第二图像处理单元的操作的时序图；

图5A是示出根据本发明构思的示例性实施例的第二输入/输出模式的框图；

图5B是示出根据本发明构思的示例性实施例的在第二输入/输出模式下第一图像处理单元和第二图像处理单元的操作的时序图；

图6是示出当图像处理设备的操作模式是缩放模式时在第一输入/输出模式下发送数据的情况下第一图像处理单元和第二图像处理单元的操作的示例的时序图；

图7是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图8是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图9示出输入到图8的图像处理设备的图像数据；

图10是示出根据本发明构思的示例性实施例的图像处理设备中的第一图像处理单元和第二图像处理单元的操作的示例的时序图；

图11是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图12是更加详细地示出图11的第一存储器控制器和第二存储器控制器的框图；

图13是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图14是示出根据本发明构思的示例性实施例的图像处理方法的流程图；

图15示出根据本发明构思的示例性实施例的图像处理设备中的模式改变控制逻辑的示例；

图16是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图17是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图18是示出根据本发明构思的示例性实施例的图像处理方法的流程图；

图19示出根据本发明构思的示例性实施例的图像处理设备中的模式改变控制逻辑的示例；

图20是示出根据本发明构思的示例性实施例的图像处理设备的框图；

图21是示出根据本发明构思的示例性实施例的根据图20的时钟模块的控制的第一图像处理单元和第二图像处理单元的操作的时序图；

图22是示出根据本发明构思的示例性实施例的图像处理设备中的第一图像处理单元和第二图像处理单元的操作的时序图；

图23是示出根据本发明构思的示例性实施例的图像处理方法的流程图；

图24是示出根据本发明构思的示例性实施例的图像处理方法的流程图；

图25是示出根据本发明构思的示例性实施例的应用处理器的框图；

图26是示出根据本发明构思的示例性实施例的电子装置的框图；

图27是示出根据本发明构思的示例性实施例的电子系统和接口的框图。

具体实施方式

在下文中，将参照附图详细描述本发明构思的示例性实施例。提供本发明构思的实施例使得本公开将是彻底和完整的，并且将本发明构思的构思充分地传达给本领域普通技术人员。然而，应当理解，本发明构思涵盖本发明构思的技术范围内的所有修改、等同物和替代物。相同的参考标号表示相同的元件。除非相反指出，否则单数形式的术语可以包括复数形式。

图1是示出根据本发明构思的示例性实施例的图像处理设备10的框图。

参照图1，图像处理设备10包括图像信号处理器100和存储器MEM。图像信号处理器100可以包括第一图像处理单元110(例如，图像处理器，诸如图形处理器或图形处理单元(GPU))、第二图像处理单元120(例如，图像处理器)和数据输入/输出(I/O)控制单元130(例如，I/O控制器)。根据实施例的图像处理设备10是数码相机或配有数码相机的电子装置。例如，图像处理设备10可以是移动电话、智能电话或平板个人计算机(PC)。在实施例中，图像信号处理器100位于电子装置的应用处理器内。

在示例性实施例中，存储器MEM包括易失性存储器。例如，易失性存储器可以是动态随机存取存储器(DRAM)，但不限于此。在实施例中，存储器MEM包括非易失性存储装置。例如，非易失性存储装置可以是NAND闪存存储器、NOR闪存存储器、磁阻随机存取存储器(MRAM)、相变随机存取存储器(PRAM)或电阻式随机存取存储器(ReRAM)，但并不限于此。在实施例中，存储器MEM是硬盘驱动器或磁存储装置。

在实施例中，第一图像处理单元110和第二图像处理单元120以及数据I/O控制单元130均被实现为芯片上系统(SoC)。在此，SoC可以使用具有各种功能的系统实现，并且SoC可以被集成到单个半导体芯片中，多个知识产权(IP)被集成到SoC。每个IP可以在SoC中被提供，并且可以执行特定功能。在此，每个IP可以表示电路、逻辑(例如，软件)或它们的组合，每个IP可以被集成到SoC。在本实施例中，第一图像处理单元110可以被称为第一IP IP1，第二图像处理单元120可以被称为第二IP IP2。此外，在示例性实施例中，第一图像处理单元110和第二图像处理单元120、数据I/O控制单元130和存储器MEM被实现为SoC。

第一图像处理单元110接收图像数据ID并对接收的图像数据ID执行第一图像处理操作以生成第一数据D1。第一图像处理单元110可以被称为预处理单元、预IP或预链。在一个实施例中，从图像传感器(诸如CMOS图像传感器)接收图像数据ID。在一个实施例中，从包括在图像信号处理器100中的另一图像处理单元或IP接收图像数据ID。

第二图像处理单元120接收第一数据D1并对接收的第一数据D1执行第二图像处理操作以生成第二数据D2。第二图像处理单元120可以被称为后处理单元、后IP或后链。在一个实施例中，从第一图像处理单元110接收第一数据D1。在一个实施例中，从存储器MEM接收第一数据D1。

例如，第一图像处理单元110和第二图像处理单元120可以分别对应于对图像数据执行信号处理操作(诸如颜色插值、颜色校正、自动白平衡、伽马校正、颜色饱和度校正、格式校正、坏像素校正、色度校正、自动曝光、自动对焦、相位检测自动对焦(PDAF)、旋转、缩放和去马赛克)的多个逻辑块。在实施例中，去马赛克是对图像数据执行的从由覆盖有颜色滤波器阵列的图像传感器输出的不完全颜色样本重建全色图像的功能。例如，第一图像处理单元110可以是执行自动曝光、自动对焦、自动白平衡或旋转的IP，但不限于此。例如，第二图像处理单元120可以是执行缩放或去马赛克的IP，但不限于此。缩放操作可以包括缩小或放大图像的大小。

在实施例中，I/O控制单元130被配置为基于图像处理设备10的操作模式将数据I/O模式动态确定为第一I/O模式MD1或第二I/O模式MD2。根据实施例，当操作模式被改变时，数据I/O控制单元130将第一I/O模式MD1改变为第二I/O模式MD2或将第二I/O模式MD2改变为第一I/O模式MD1。

此外，数据I/O控制单元130可以将确定的I/O模式提供到第一图像处理单元110和第二图像处理单元120作为模式信号MD。这里，图像处理设备10的操作模式可以是正常模式或缩放模式。在示例性实施例中，在缩放模式期间，由图像处理设备10对图像执行操作以放大图像，使得可以向用户呈现图像的放大视图。在示例性实施例中，在缩放模式期间，由图像处理装置10对图像执行操作以缩小图像，使得可以向用户呈现图像的缩小视图。然而，本实施例不限于此，并且图像处理设备10的操作模式可以根据实施例进行各种修改。数据I/O控制单元130可以基于图像处理设备10的各种操作模式动态地确定数据I/O模式为第一I/O模式MD1或第二I/O模式MD2。

图像处理设备10可以基于通过触摸、按钮、鼠标或遥控器接收的用户输入确定操作模式为缩放模式。在实施例中，数据I/O控制单元130从外部源接收指示操作模式的操作模式信号。例如，当操作模式信号指示正常模式时，操作模式信号可以具有第一逻辑电平，当操作模式信号指示缩放模式，操作模式信号可以具有第二逻辑电平。在实施例中，当接收到缩放开始命令时，数据I/O控制单元130将图像处理设备10的操作模式确定为缩放模式，当接收到缩放结束命令时，数据I/O控制单元130将图像处理设备10的操作模式确定为正常模式。

在本实施例中，数据I/O控制单元130位于第一图像处理单元110和第二图像处理单元120外部。然而，本发明构思的实施例不限于此。在其它实施例中，数据I/O控制单元130位于第一图像处理单元110和第二图像处理单元120中的至少一个的内部。

图2A示出当图像处理设备的操作模式10是正常模式时由第一图像处理单元110和第二图像处理单元120通过处理获得的图像。

参照图1和图2A，除非接收到用于指示改变操作模式的用户输入，否则图像处理设备10在正常模式下操作，因此正常模式可被称为默认模式。这里，正常模式可以是对从图像传感器获得的整个图像执行图像处理以输出对应于整个图像的图像处理结果的操作模式，并且可以被称为1:1模式。

第一图像处理单元110可以接收对应于第一图像IMG1a的图像数据ID，以输出对应于第一图像IMG1a的第一数据D1。这里，第一图像IMG1a在大小方面具有第一宽度W和第一高度H。

第二图像处理单元120可以接收对应于第一图像IMG1a的第一数据D1，以输出对应于第二图像IMG2a的第二数据D2。在此，第二图像IMG2a在大小方面具有第一宽度W和第一高度H。当图像处理设备10在正常模式下操作时，输入到第一图像处理单元110和第二图像处理单元120的图像大小与从第一图像处理单元110和第二图像处理单元120输出的图像大小是1:1。

图2B示出当图像处理设备10的操作模式是缩放模式时由第一图像处理单元110和第二图像处理单元120通过处理获得的图像IMG1b和IMG2b。

参照图1和图2B，当接收到用于指示缩放操作的用户输入时，图像处理设备10在缩放模式下操作。这里，缩放模式可以是放大从图像传感器获得的整个图像的一部分以输出对应于部分图像的图像处理结果的操作模式。例如，放大图像可以被称作放大。在图像被放大之后，缩放模式可以用于缩小，使得之前放大的图像大小减小，但是不必减小到整个图像的原始大小。然而，在此示例中缩小的图像将仍然被认为是相对于原始图像放大的。例如，图像处理设备10可以接收用于指示四倍缩放操作的用户输入。以下，将描述图像处理设备10执行四倍缩放操作的情况。

例如，第一图像处理单元110可以执行裁切操作，并且详细地，第一图像处理单元110可以接收对应于第一图像IMG1b的图像数据ID以输出对应于缩放区域IMGz的第一数据D1。这里，第一图像IMG1b在大小方面具有第一宽度W和第一高度H，缩放区域IMGz在大小方面具有第二宽度W/4和第二高度H/4。

例如，第二图像处理单元120可以执行放大操作。例如，第二图像处理单元120可以接收对应于缩放区域IMGz的第一图像数据ID1以输出对应于第二图像IMG2b的第二数据D2。这里，缩放区域IMGz在大小方面具有第二宽度W/4和第二高度H/4，第二图像IMG2b在大小方面具有第一宽度W和第一高度H。当图像处理设备10在缩放模式下操作时，输入到第一图像处理单元110和第二图像处理单元120的图像大小与从第一图像处理单元110和第二图像处理单元120输出的图像大小可以不同。

图3示出根据本发明构思的示例性实施例的图像处理设备10的基于操作模式的数据I/O模式。

参照图3，在第一操作模式下，数据I/O控制单元130将数据I/O模式确定为第一I/O模式MD1，在第二操作模式下，数据I/O控制单元130将数据I/O模式确定为第二个I/O模式MD2。在实施例中，第一I/O模式MD1是直接模式，第二I/O模式MD2是直接存储器访问(DMA)模式。在本实施例中，直接模式是默认模式，DMA模式是仅在缩放操作下执行的模式。此后，将描述第一I/O模式MD1是直接模式和第二I/O模式MD2是DMA模式的情况。然而，本发明构思的实施例不限于此。

图4A是示出根据示例性实施例的第一I/O模式MD1的框图。图4B是示出根据示例性实施例的在第一I/O模式MD1下第一图像处理单元110和第二图像处理单元120的操作的时序图。以下，将参照图1、图4A和图4B详细描述根据示例性实施例的第一I/O模式MD1。

参照图4A和图4B，在第一I/O模式MD1下，由第一图像处理单元110生成的第一数据D1被直接传送到第二处理单元120。换句话说，在第一I/O模式MD1下，第一处理单元110将第一数据D1输出到第二处理单元120，并且第二处理单元120从第一处理单元110接收第一数据D1。在实施例中，在第一I/O模式MD1下，信号线将第一处理单元110直接连接到第二处理单元120，沿信号线发送第一数据D1。

在第一I/O模式MD1期间，第一数据D1直接从第一图像处理单元110传送到第二图像处理单元120，并且因此，在第一图像处理单元110和第二图像处理单元120的操作中几乎不发生延迟。在示例性实施例中，在第一I/O模式MD1期间，不执行访问存储器MEM的操作，从而降低功耗。图4B示出当延迟基本为0时，从而由第二图像处理单元120处理的帧针对由第一图像处理单元110处理的帧没有延迟。

图5A是示出根据示例性实施例的第二I/O模式MD2的框图。图5B是示出根据示例性实施例的在第二I/O模式MD2下第一图像处理单元110和第二图像处理单元120的操作的时序图。以下，将参照图1、图5A和图5B详细描述根据示例性实施例的第二I/O模式MD2。

参照图5A和图5B，在第二I/O模式MD2下，由第一图像处理单元110生成的第一数据D1经由存储器MEM传送到第二处理单元120。换句话说，在第一I/O模式MD1下，第一处理单元110将第一数据D1输出到存储器MEM，第二处理单元120从存储器MEM接收第一数据D1。

在第二I/O模式MD2期间，第一数据D1经由存储器MEM从第一图像处理单元110传送到第二图像处理单元120，并且因为这个原因，在第一图像处理单元110和第二图像处理单元120的操作中发生延迟。例如，在第一图像处理单元110对第二帧执行第一图像处理操作时，第二图像处理单元120对第一帧执行第二图像处理操作。图5B示出延迟是图像处理单元在接收的图像数据的单帧上操作花费的时间量的示例。因此，图5B示出由第二图像处理单元120处理的帧针对由第一图像处理单元110处理的帧延迟单帧周期。

图6是示出当图像处理设备10的操作模式是缩放模式时在第一I/O模式MD1下发送数据的情况下第一图像处理单元110和第二图像处理单元120的操作的示例的时序图。

参照图1和6，在第一图像处理单元110对第四帧执行第一图像处理操作时，图像处理设备10接收缩放开始命令ZS。因此，图像处理设备10的操作模式从正常模式改变为缩放模式。在缩放模式下，当使用第一I/O模式MD1(即，直接模式)时，第一图像处理单元110在对应于缩放区域(例如，图2B的IMG1b)的裁切时间段CR期间将第一数据D1输出到第二图像处理单元120，第二图像处理单元120在裁切时间段CR期间接收第一数据D1，以生成对应于第二图像(例如，图2B的IMG2b)的第二数据D2。

在其期间第二图像处理单元120能够执行第二图像处理操作的时间被限制到裁切时间段CR。因此，第二图像处理单元120是在总的可处理时间的大部分处于空闲状态，并且在总的可处理时间的裁切时间段CR期间执行对应于一帧的第二图像处理操作。在示例性实施例中，第二图像处理单元120在有限时间执行第二图像处理操作，以提高第二图像处理单元120的性能。

例如，第二图像处理单元120的时钟频率可被提高，或第二图像处理单元120的内部缓冲器的容量可被提高。然而，这些提高可能增加图像处理设备10的面积和功耗。图像处理设备10可能在大部分时间在正常模式下操作，并且可能在特定时间在缩放模式下操作。因此，在很大程度上改善用于在缩放模式下支持第二图像处理单元120的第二图像处理操作的第二图像处理单元120的硬件性能的情况在效率上变差。

然而，如上面参照图1至5B的描述，在正常模式下，根据本发明构思的实施例的图像处理设备10将数据I/O模式确定为第一I/O模式MD1(即，直接模式)，并且在缩放模式下，图像处理设备10将数据的I/O模式确定为第二I/O模式MD2(即，DMA模式)。因此，在缩放模式下，第一图像处理单元110经由存储器MEM将第一数据D1传送到第二图像处理单元120。因此，没有必要改善用于在缩放模式下支持第二图像处理单元120的第二图像处理操作的第二图像处理单元120的硬件性能，并且图像处理设备10可以在不增加图像处理设备10的面积和功耗的情况下有效地操作。

图7是示出根据本发明构思的示例性实施例的图像处理设备20的框图。

参照图7，图像处理设备20包括图像信号处理器200和存储器MEM。图像信号处理器200包括第一图像处理单元210和第二图像处理单元220。在本实施例中，第一图像处理单元210包括数据输出控制单元(D_OUT CU)211(例如，第一数据输出控制器)，第二图像处理单元220包括数据输入控制单元(D_IN CU)221(例如，第二数据输出控制器)。可以参照图1的以上描述实现存储器MEM。以下，将主要描述本实施例和图1的实施例之间的差异以避免重复。

第一图像处理单元210接收图像数据ID，并且对接收的图像数据ID执行第一图像处理操作以生成第一数据D1。第二图像处理单元220接收第一数据D1，并且对接收的第一数据D1执行第二图像处理操作以生成第二数据D2。

数据输出控制单元211控制第一数据D1的输出，以在第一输出模式下将第一数据D1提供到第二图像处理单元220，或者在第二输出模式下将第一数据D1提供到存储器MEM。这里，第一输出模式可以是第一图像处理单元210将第一数据D1输出到第二图像处理单元220的直接模式，并且可以对应于上述第一I/O模式。此外，第二输出模式可以是第一图像处理单元210将第一数据D1输出到存储器MEM的DMA模式，并且可以对应于上述第二I/O模式。

在实施例中，数据输出控制单元211基于图像处理设备20的操作模式将第一数据D1的输出模式确定为第一输出模式和第二输出模式中的一个，并且基于确定的输出模式控制第一数据D1的输出。在实施例中，数据输出控制单元211从外部源接收指示第一数据D1的输出模式的第一模式信号，并且根据接收的第一模式信号控制第一数据D1的输出。例如，数据输出控制单元211可以是在它的数据输入接收第一数据D1、在它的选择输入接收第一模式信号并且具有连接到第二图像处理单元220的第一输出和连接到存储器MEM的第二输出的解复用器。

数据输入控制单元221控制第一数据D1的输入，以在第一输入模式下从第一图像处理单元210接收第一数据D1且在第二输入模式下从存储器MEM接收第一数据D1。这里，第一输入模式可以是从第一图像处理单元210接收第一数据D1的直接模式，并且可以对应于上述第一I/O模式。此外，第二输入模式可以是从第一存储器MEM接收第一数据D1的DMA模式，并且可以对应于上述第二I/O模式。

在实施例中，数据输入控制单元221基于图像处理设备20的操作模式将第一数据D1的输入模式确定为第一输入模式和第二输入模式中的一个，并且基于确定的输入模式控制第一数据D1的输出。在实施例中，数据输入控制单元221从外部源接收指示第一数据D1的输入模式的第二模式信号，并且根据接收的模式信号控制第一数据D1的输入。例如，数据输入控制单元221可以是具有连接到第一图像处理单元210的第一数据输入、连接到存储器MEM的第二数据输入和接收第二模式信号的选择输入的复用器。

图8是示出根据本发明构思的示例性实施例的图像处理设备30的框图。

参照图8，图像处理设备30包括图像信号处理器300和存储器MEM。图像信号处理器300包括第一图像处理单元310、第二图像处理单元320、数据I/O控制单元330(例如，数据I/O控制器)和存储器控制器340。可以参照图1的以上描述实现存储器MEM。以下，将主要描述图8的实施例和图1的实施例之间的差异以避免重复。

在实施例中，第一图像处理单元310和第二图像处理单元320、数据I/O控制单元330和存储器控制器340均被实现为SoC。在实施例中，第一图像处理单元310和第二图像处理单元320、数据I/O控制单元330和存储器控制器340位于应用处理器内。

在实施例中，第一图像处理单元310和第二图像处理单元320以及数据I/O控制单元330均被实现为SoC。在实施例中，第一图像处理单元310和第二图像处理单元320以及数据I/O控制单元330位于应用处理器内。

第一图像处理单元310接收图像数据ID，并且对接收的图像数据ID执行第一图像处理操作以生成第一数据D1。在本实施例中，图像数据ID包括第一子图像数据SID1和第二子图像数据SID2。在实施例中，第一子图像数据SID1包括图像数据ID的第一像素组数据，第二子图像数据SID2包括图像数据ID的第二像素组数据。例如，第一像素组数据可以包括显示器的一行或多行像素的图像数据，第二像素组数据可以包括显示器的其他一行或多行像素的图像数据，其中，行是连续的。

图9示出输入到图8的图像处理设备30的图像数据ID。

参照图9，图像数据ID包括多个像素组数据PG1至PG10。在图9中，为了便于描述，对应于一帧的图像数据ID被示出为对应于10×10像素。然而，这仅是示例，并且本实施例不限于此。以下，将参照图8和图9详细描述图像数据ID。

在实施例中，第一子图像数据SID1包括排列在图像数据ID的第一行的像素组数据PG1，第二子图像数据SID2包括排列在位于第一行下面的第二行的像素组数据PG2。在实施例中，第一子图像数据SID1包括分别排列在图像数据ID的第一行和第二行的像素组数据PG1和PG2，并且第二子图像数据SID2包括分别布置在第一行和第二行下面的第三和第四行的像素组数据PG3和PG4。

在一些实施例中，第一子图像数据SID1可以包括分别排列在图像数据ID的第一行至第五行的像素组数据PG1至PG5，第二子图像数据SID2可以包括分别排列在第一行至第五行下面的第六行至第十行的像素组数据PG6至PG10。在本实施例中，第一子图像数据SID1和第二子图像数据SID2中的每一个是构成图像数据ID的子图像数据，并且可以根据实施例对从图像数据ID区分第一子图像数据SID1与第二子图像数据SID2的方法进行各种修改。

参照回图8，数据I/O控制单元330在第一操作模式下将数据I/O模式确定为第一I/O模式，并且在第二操作模式下将数据I/O模式确定为第二I/O模式。此外，数据I/O控制单元330将确定的I/O模式提供到第一图像处理单元310和第二图像处理单元320作为模式信号MD。在实施例中，第一操作模式可以是正常模式，第二操作模式可以是缩放模式。在实施例中，第一I/O模式是直接模式，第二I/O模式是DMA模式。上面参照图2A至图5B描述的细节可以应用于本实施例，因此不提供重复描述。

第一图像处理单元310对包括第一子图像数据SID1和第二子图像数据SID2的图像数据ID执行第一图像处理操作以生成包括第一子数据SD1和第二子数据SD2的第一数据D1。在实施例中，第一图像处理单元310首先对第一子图像数据SID1执行第一图像处理操作，然后对第二子图像数据SID2执行第一图像处理操作。第一图像处理单元310在第一I/O模式下将包括第一子数据SD1和的第二子数据SD2的第一数据D1输出到第二图像处理单元320，并且第一图像处理单元310在第二I/O模式下将包括第一子数据SD1和第二子数据SD2的第一数据D1输出到存储器MEM。

第二图像处理单元320对包括第一子数据SD1和第二子数据SD2的第一数据D1执行第二图像处理操作以生成第二数据D2。在实施例中，第二图像处理单元320首先对第一子数据SD1执行第二图像处理操作，然后对第二子数据SD2执行第二图像处理操作。第二图像处理单元320在第一I/O模式下从第一图像处理单元310接收包括第一子数据SD1和第二子数据SD2的第一数据D1，并且第二图像处理单元320在第二I/O模式下从存储器MEM接收包括在第一子数据SD1和第二子数据SD2的第一数据D1。

在实施例中，当第一数据D1的I/O模式是第二I/O模式时存储器控制器340被激活，并且当第一数据D1的I/O模式是第一I/O模式时存储器控制器340被去激活。以下，将描述当第一数据D1的I/O模式是第二I/O模式时存储器控制器340的操作。

在实施例中，存储器控制器340控制存储器MEM，以使第二图像处理单元320能够在第一子数据SD1被写入存储器MEM之后在第二子数据SD2被写入存储器MEM之前从存储器MEM读取第一子数据SD1。在实施例中，存储器控制器340通过存储器总线控制存储器MEM。在实施例中，存储器控制器340将写入命令WCMD提供到存储器总线，以将第一数据D1写入存储器MEM，并且存储器控制器340将读取命令RCMD提供到存储器总线，以将存储在存储器MEM中的第一数据D1提供到第二图像处理单元320。

将描述当图像处理设备30是缩放模式且第一数据D1的I/O模式是第二I/O模式时存储器控制器340的操作。首先，当第一图像处理单元310完成对第一子图像数据SID1的第一图像处理操作时，存储器控制器340向存储器总线提供用于将第一图像处理的第一子图像数据(即，第一子数据SD1)写入存储器MEM的写入命令WCMD。随后，当从存储器MEM接收到指示第一子数据SD1已写入的响应时，存储器控制器340将读取命令RCMD提供到存储器总线，以将第一子数据SD1提供到第二图像处理单元320。随后，当从存储器MEM接收第一子数据SD1时，存储器控制器340将第一子数据SD1提供到第二图像处理单元320。因此，第二图像处理单元320可以对第一子数据SD1执行第二图像处理操作。

随后，当第一图像处理单元310完成对第二子图像数据SID2的第一图像处理操作时，存储器控制器340向存储器总线提供用于将第一图像处理的第二子图像数据(即，第二子数据SD2)写入存储器MEM的写入命令WCMD。随后，当从存储器MEM接收到指示第二子数据SD2已写入的响应时，存储器控制器340将读取命令RCMD提供到存储器总线，以将第二子数据SD2提供到第二图像处理单元320。随后，当从存储器MEM接收到第二子数据SD2时，存储器控制器340将第二子数据SD2提供到第二图像处理单元320。因此，第二图像处理单元320对第二子数据SD2执行第二图像处理操作。

如上所述，根据本实施例，存储器控制器340在提供用于写入第二子数据SD2的写入命令WCMD之前向存储器总线提供用于从存储器MEM读取第一子数据SD1的读取命令RCMD。因此，在第一图像处理单元310对第二子图像数据SID2执行第一图像处理操作时，第二图像处理单元320对第一子数据SD1执行第二图像处理操作。因此，尽管第一数据D1在第二I/O模式下被传送，但是可以减小第一图像处理单元310和第二图像处理单元320之间的延迟，并且可以以与传送第一数据D1的速度类似的速度向第二图像处理单元320传送第一数据D1。

在实施例中，第一图像处理单元310和第二图像处理单元320、数据I/O控制单元330和存储器控制器340被集成到单芯片中。在实施例中，存储器控制器340被集成到与第一图像处理单元310和第二图像处理单元320以及数据I/O控制单元330被集成到的芯片不同的单个芯片中。在实施例中，存储器控制器320位于存储器MEM内部。

图10是示出根据本发明构思的示例性实施例的图像处理设备30中的第一图像处理单元310和第二图像处理单元320的操作的示例的时序图。

参照图10，在第一图像处理单元310正在处理第二帧时，图像处理设备30接收缩放开始命令ZS。因此，图像处理设备30的操作模式从正常模式改变为缩放模式。根据本实施例，在缩放模式下，数据I/O控制单元330将第一数据D1的I/O模式确定为第二I/O模式，即，DMA模式。因此，第一图像处理单元310将第一数据D1输出到存储器MEM，第二图像处理单元320从存储器MEM接收第一数据D1。

IP2a是本实施例的比较示例，当图像处理设备30不包括存储器控制器340时，IP2a表示第二图像处理单元320的操作。在这种情况下，第一图像处理单元310完成对图像数据ID的第一图像处理操作，然后，第二图像处理单元320执行对第一数据D1的第二图像处理操作。例如，当第一图像处理单元310对第四帧执行第一图像处理操作时，第二图像处理单元320对第三帧执行第二图像处理操作。因此，在第一图像处理单元310和第二图像处理单元320之间发生帧延迟。

IP2b是本实施例，当图像处理设备30包括存储器控制器340时，IP2b表示第二图像处理单元320的操作。在这种情况下，存储器控制器340控制存储器MEM，以使第二图像处理单元320能够在第一子数据SD1被写入存储器MEM之后在第二子数据SD2被写入存储器MEM之前从存储器MEM读取第一子数据SD1。因此，在第一图像处理单元310和第二图像处理单元320之间几乎不发生延迟。如上所述，根据本实施例，即使当在缩放模式下使用第二I/O模式MD2(即，DMA模式)时，也类似于第一I/O模式MD1(即，直接模式)，在第一图像处理单元310和第二图像处理单元320之间几乎不发生延迟。

图11是示出根据本发明构思的示例性实施例的图像处理设备40的框图。

参照图11，图像处理设备40包括图像信号处理器400和存储器MEM。图像信号处理器400包括第一图像处理单元410、第二图像处理单元420和数据I/O控制单元430。可以参照图1的以上描述实现存储器MEM。可以通过修改图8的图像处理设备30来实现根据本实施例的图像处理设备40。以下，将主要描述图11的实施例和图8的实施例之间的差异以避免重复。

在本实施例中，第一图像处理单元410包括第一存储器控制器(MC1)411，第二图像处理单元420包括第二存储器控制器(MC2)421。在实施例中，在第一数据D1的第二I/O模式下(即，DMA模式)第一存储器控制器411和第二存储器控制器421被激活，并在第一数据D1的第一I/O模式下(即，直接模式)第一存储器控制器411和第二存储器控制器421被去激活。以下，将描述当第一数据D1的I/O模式是第二I/O模式时第一存储器控制器411和第二存储器控制器421的操作。

第一图像处理单元410顺序对第一子图像数据SID1和第二子图像数据SID2执行第一图像处理操作以生成第一子数据SD1和第二子数据SD2。当生成第一子数据SD1时，第一存储器控制器411将写入命令和第一子数据SD1提供到存储器MEM，以控制施加到第一子数据SD1的写入操作。随后，当生成第二子数据SD2时，第一存储器控制器411将写入命令和第二子数据SD2提供到存储器MEM，以控制施加到第二子数据SD2的写入操作。

第二图像处理单元420顺序对第一子数据SD1和第二子数据SD2执行第二图像处理操作，以生成第二数据D2。当第一子数据SD1被写入到存储器MEM时，第二存储器控制器421将读取命令提供到存储器MEM以读取第一子数据SD1。随后，当第二子数据SD2被写入到存储器MEM时，第二存储器控制器421将读取命令提供到存储器MEM以读取第二子数据SD2。

根据本实施例，第一存储器控制器411和第二存储器控制器421中的每一个控制存储器MEM，以使第二图像处理单元420能够在第一子数据SD1被写入存储器MEM之后在第二子数据SD2被写入存储器MEM之前从存储器MEM读取第一子数据SD1并且对第一子数据SD1执行第二图像处理操作。因此，根据本实施例，可以类似于图10的IP2b实现第二图像处理单元420的操作。

图12是更加详细地示出根据本发明构思的示例性实施例的图11的第一存储器控制器411和第二存储器控制器421的框图。

参照图12，第一存储器控制器411包括第一控制器4111和第一计数器4113，第二存储器控制器421包括第二控制器4211、第二计数器4213和比较器4215。以下，将参照图11和图12描述第一存储器控制器411和第二存储器控制器421的操作。

当生成第一子数据SD1时，第一控制器4111将写入命令WCMD提供到存储器MEM。此外，在第一控制器4111将写入命令WCMD提供到存储器MEM之后，第一控制器4111增加第一计数器4113的计数值。第二计数器4213连接到第一计数器4113。在实施例中，在第一计数器4113的计数值增加的同时第二计数器4213的计数值增加。比较器4215将预定值与第二计数器4213的计数值进行比较，并且当预定值与第二计数器4213的计数值匹配时，比较器4215将预定输出信号提供到第二控制器4211。第二控制器4211可以从比较器4215接收输出信号，以将读取命令RCMD提供到存储器MEM。在实施例中，预定值是第二计数器4213的之前值，并且每当比较器4215确定计数器4213的当前值比之前值大一时，第二控制器4211将读取命令RCMD提供到存储器MEM以检索存储的子数据。

在本实施例中，第一计数器4113执行记录第一子数据SD1被写入存储器MEM时的时间的记录单元的功能，第二计数器4213和比较器均都执行感测第一子数据SD1被写入存储器MEM时的时间的感测单元的功能。然而，本实施例不限于此，并且可以根据实施例对记录单元与感测单元的每一个的配置进行各种修改。

在本实施例中，第一存储器控制器411和第二存储器控制器421分别包括在第一图像处理单元410和第二图像处理单元420中，但是本实施例不限于此。在示例性实施例中，第一存储器控制器411和第二存储器控制器421位于第一图像处理单元410和第二图像处理单元420外部。在示例性实施例中，第一存储器控制器411和第二存储器控制器421被实现为位于第一图像处理单元410或第二图像处理单元420中的单个控制器。

图13是示出根据本发明构思的示例性实施例的图像处理设备50的框图。

参照图13，图像处理设备50包括图像信号处理器500和存储器MEM。图像信号处理器500包括第一图像处理单元510、第二图像处理单元520、数据I/O控制单元530和存储器控制器540。可以参照图1的以上描述实现存储器MEM。可以通过修改图8的图像处理设备30来实现根据本实施例的图像处理设备50。以下，将主要描述图13的实施例和图8的实施例之间的差异以避免重复。

当施加缩放结束命令时，数据I/O控制单元530将图像处理设备50的操作模式确定为正常模式，并且将第一数据D1的I/O模式确定为第一I/O模式(例如，图3的MD1)。此外，数据I/O控制单元530输出第一I/O模式作为模式信号MD。然而，在施加缩放结束命令之前的缩放模式下，根据第二I/O模式(例如，图2的MD2)经由存储器MEM将第一数据D1输入到第二图像处理单元520，由于这个原因，在第一图像处理单元510和第二图像处理单元520之间发生延时。因此，第二图像处理单元的操作可以比第一图像处理单元510的操作慢。然而，当第一数据的D1的I/O模式根据模式信号MD立即改变为第一I/O模式时，发生尚未由第二图像处理部520处理的帧的丢失。

根据本实施例，数据I/O控制单元530包括模式改变控制器(MC_CU)531(例如，控制器电路)。当施加缩放结束命令时，模式改变控制器531检查第二图像处理单元520的处理状态，并且基于检查结果改变第一数据D1的I/O模式。然而，本实施例不限于此。例如，模式改变控制器531可以位于数据I/O控制单元530外部。在实施例中，模式改变控制器531位于第一图像处理单元510和第二图像处理单元520中的至少一个的内部。

模式改变控制器531可以从存储器控制器540接收写入指针WP和读取指针RP。在此，写入指针WP可以指示已经由第一图像处理单元510完成的写入操作的存储器MEM的位置。写入指针WP可以指示存储器MEM中已经完成写入操作的区域的地址。此外，读取指针RP可以指示已经由第二图像处理单元520完成的读取操作的存储器MEM的位置。读取指针RP可以指示存储器MEM中已经完成读取操作的区域的地址。

当施加缩放结束命令时，模式改变控制器531将写入指针WP与读取指针RP进行比较，并且当写入指针WP与读取指针RP匹配时，模式改变控制器531将第一数据D1的I/O模式从第二I/O模式改变为第一I/O模式。在本实施例中，模式改变控制器531在空闲时间段(例如，图6的Vblank)执行将写入指针WP与读取指针RP进行比较的比较操作以及I/O模式改变操作。例如，初始将写入指针WP和读取指针RP设置在存储器MEM内的相同位置，然后当第一数据D1的最后部分(例如，子数据SD2)被写入到存储器MEM时，写入指针WP前进到下一个位置。如果随后施加缩放结束命令，则在将I/O模式设置到第一I/O模式之前，模式改变控制器531可以等待直到读取指针RP也前进到下一个位置为止。

图14是示出根据本发明构思的示例性实施例的图像处理方法的流程图。

参照图14，根据实施例的图像处理方法可以是由图像处理设备在时间上连续执行的方法，例如，根据实施例的图像处理方法可以包括由图13的图像处理设备50按时间顺序执行的操作。详细地，根据实施例的图像处理方法可以包括由图13的模式改变控制器531按时间顺序执行的操作。以下，将参照图13和图14描述对应于模式改变控制器531的操作的图像处理方法。

在操作S110，模式改变控制器531接收指示第一I/O模式的模式信号。这里，第一I/O模式可以是直接模式。例如，数据I/O控制单元530生成模式信号MD并将生成的模式信号MD提供到模式改变控制器531。然而，本实施例不限于此，模式改变控制器531可以接收缩放结束命令以执行下面将描述的操作。

在操作S130，模式改变控制器531将写入指针WP与读取指针RP进行比较。模式改变控制器531可以在空闲周期将写入指针WP与读取指针RP进行比较。在操作S150，模式改变控制器531确定写入指针WP与读取指针RP是否匹配。当确定写入指针WP与读取指针RP匹配时，执行操作S170，并且当确定写入指针WP与读取指针RP不匹配时，执行操作S190。

在操作S170，模式改变控制器531将数据I/O式改变为第一I/O模式。当确定写入指针WP与读取指针RP匹配时，模式改变控制器531确定第二图像处理单元520已经读取由第一图像处理单元510写入存储器MEM的相应帧的所有第一数据D1。换句话说，模式改变控制器531确定第二图像处理单元520已经完成了读取第一数据D1的读取操作。因此，模式改变控制器531允许第一数据D1根据第一I/O模式在第一图像处理单元510和第二图像处理单元520之间传送。

在操作S190，模式改变控制器531维持第二I/O模式。当确定写入指针WP与读取指针RP不匹配时，模式改变控制器531确定第二图像处理单元520尚未读取由第一图像处理单元510写入存储器MEM的相应帧的所有第一数据D1。换句话说，模式改变控制器531确定第二图像处理单元520尚未完成读取第一数据D1的读取操作。因此，模式改变控制器531允许第一数据D1继续根据第二I/O模式在第一图像处理单元510和第二图像处理单元520之间传送，从而防止帧丢失。

图15示出根据本发明构思的示例性实施例的图像处理设备50中的模式改变控制逻辑CL1的示例。

图像处理设备50包括配备有图15的模式改变控制逻辑CL1的任意硬件块。例如，图13的模式改变控制器531可以是配备有模式改变控制逻辑CL1的硬件块。在当前时间段是垂直空闲时间段且I/O模式被设置为直接模式的情况下，当写入指针与读取指针匹配时，根据本实施例的模式改变控制逻辑CL1将I/O模式确定为直接模式，当写入指针与读取指针不匹配时，模式改变控制逻辑CL1将I/O模式确定为DMA模式。

图16是示出根据本发明构思的示例性实施例的图像处理设备60的框图。

参照图16，图像处理设备60包括图像信号处理器600和存储器MEM。图像信号处理器600包括第一图像处理单元610、第二图像处理单元620和数据I/O控制单元630。可以参照图1的以上描述实现存储器MEM。可以通过修改图11的图像处理设备40来实现根据本实施例的图像处理设备60。以下，将主要描述图16的实施例和图11的实施例之间的差异以避免重复。

在本实施例中，第一图像处理单元610包括第一存储器控制器(MC1)611和第一模式改变控制器(MC_CU1)613，第二图像处理单元620包括第二存储器控制器(MC2)621和第二模式改变控制器(MC_CU2)623。第一存储器控制器611和第二存储器控制器621可以分别以基本上类似于图11的第一存储器控制器411和第二存储器控制器421的方式被实现。

第一模式改变控制器613从第一存储器控制器611接收写入指针WP。此外，第一模式改变控制器613从第二存储器控制器621或第二模式改变控制器623接收读取指针RP。当施加缩放结束命令时，第一模式改变控制器613将接收的写入指针WP与接收的读取指针RP进行比较，并且当写入指针WP与读取指针RP匹配时，第一模式改变控制器613将第一数据D1的I/O模式从第二I/O模式(例如，图3的MD2)改变为第一I/O模式(例如，图3的MD1)。在本实施例中，第一模式改变控制器613在空闲时间段(例如，图6的Vblank)执行将写入指针WP与读取指针RP进行比较的比较操作以及I/O模式改变操作。

第二模式改变控制器623从第二存储器控制器621接收读取指针RP。此外，第二模式改变控制器623从第一存储器控制器611或第一模式改变控制器613接收写入指针WP。当施加缩放结束命令时，第二模式改变控制器623将接收的写入指针WP与接收的读取指针RP进行比较，并且当写入指针WP与读取指针RP匹配时，第二模式改变控制器623将第一数据D1的I/O模式从第二I/O模式改变为第一I/O模式。在本实施例中，第二模式改变控制器623在空闲时间段(例如，图6的Vblank)执行将写入指针WP与读取指针RP进行比较的比较操作以及I/O模式改变操作。

如上所述，根据本实施例，可以在第一模式改变控制器613和第二模式改变控制器623中的每一个中设置图15所示的模式改变控制逻辑CL1。然而，本实施例不限于此。在其他实施例中，可以在第一模式改变控制器613或第二模式改变控制器623中设置图15所示的模式改变控制逻辑CL1。

图17是示出根据本发明构思的示例性实施例的图像处理设备70的框图。

参照图17，图像处理装置70包括图像信号处理器700和存储器MEM。图像信号处理器700包括第一图像处理单元710、第二图像处理单元720和数据I/O控制单元730。可以参照图1的以上描述实现存储器MEM。可以通过修改图11的图像处理设备40来实现根据本实施例的图像处理设备70。以下，将主要描述图17的实施例和图11的实施例之间的差异以避免重复。

在本实施例中，第一图像处理单元710包括第一存储器控制器(MC1)711，第二图像处理单元720包括第二存储器控制器(MC2)721、模式改变控制器(MC_CU)723和内部缓冲器(I_BUF)725。内部缓冲器725可以任意地存储从存储器MEM读取的第一数据D1。第一存储器控制器711和第二存储器控制器721可以分别以基本上类似于图11的第一存储器控制器411和第二存储器控制器421的方式被实现。

模式改变控制器723从第二存储器控制器721接收读取指针RP。这里，读取指针RP可以指示已经由第二图像处理单元720完成的读取操作的存储器MEM的位置。读取指针RP可以指示存储器MEM中已经完成读取操作的区域的地址。因此，模式改变控制器723可以检查针对存储在存储器MEM中的第一数据D1执行第二图像处理单元720的读取操作的范围。详细地，模式改变控制器723可以检查读取指针RP，以确定第二图像处理单元720是否已经读取对应于预定图像大小(例如，缩放区)的所有第一数据D1。

此外，模式改变控制器723从内部缓冲器725接收缓冲器指针BP。这里，缓冲器指针BP可以指示已经由第二图像处理单元720完成对存储在内部缓冲器725中的第一数据D1的第二图像处理操作的位置。缓冲器指针BP可以指示内部缓冲器725中已经完成第二图像处理操作的区域的地址。因此，模式改变控制器723可以确定内部缓冲器725是否为空，并且因此可以确定针对从存储器MEM读取的第一数据D1是否已经完成第二图像处理操作。

当施加缩放结束命令时，模式改变控制器723基于读取指针RP和缓冲器指针BP将第一数据D1的I/O模式从第二I/O模式改变为第一I/O模式。在实施例中，模式改变控制器723基于读取指针RP确定针对第一数据D1是否已经完成读取操作，并且基于缓冲器指针BP确定针对读取的第一数据D1是否已经完成第二图像处理操作。当确定针对第一数据D1已经完成读取操作和第二图像处理操作时，模式改变控制器723将第一数据D1的I/O模式从第二I/O模式改变为第一I/O模式。

图18是示出根据本发明构思的示例性实施例的图像处理方法的流程图。

参照图18，根据实施例的图像处理方法可以是由图像处理设备按时间顺序执行的方法，例如，可以包括由图17的图像处理设备70按时间顺序执行的操作。详细地，根据实施例的图像处理方法可以包括由图17的模式改变控制器723按时间顺序执行的操作。以下，将参照图17和图18描述对应于模式改变控制器723的操作的图像处理方法。

在操作S210，模式改变控制器723接收指示第一I/O模式的模式信号。这里，第一I/O模式可以是直接模式。例如，数据I/O控制单元730生成模式信号MD，并且将生成的模式信号MD提供给模式改变控制器723。然而，本实施例不限于此，并且模式改变控制器723可以代替接收缩放结束命令以执行下面将要描述的操作。

在操作S220，模式改变控制器723检查内部缓冲器725的缓冲器指针BP。在操作S230，模式改变控制器723基于缓冲器指针确定内部缓冲器725是否为空。当确定内部缓冲器725为空时，执行操作S260，并且当确定内部缓冲器725不为空时，执行操作S270。

在操作S240，模式改变控制器723检查读取指针RP。在操作S250，模式改变控制器723基于读取指针RP确定第一数据D1是否已经被读取。当确定第一数据D1已经被读取时，执行操作S260，并且当确定第一数据D1尚未被完全读取时，执行操作S270。

在操作S260，模式改变控制器723将第一数据D1的I/O模式从第二I/O模式改变为第一I/O模式。当内部缓冲器725为空且第一数据D1已经被读取时，第一图像处理单元710确定第二图像处理单元720已经读取由第一图像处理单元710写入存储器MEM的相应帧的所有第一数据D1，并且还确定第二图像处理单元720已经完成对第一数据D1的第二图像处理操作。因此，模式改变控制器723允许第一数据D1根据第一I/O模式在第一图像处理单元710和第二图像处理单元720之间传送。

在操作S270，模式改变控制器723维持第一数据D1的I/O模式为第二I/O模式。当内部缓冲器725不为空时，模式改变控制器723确定第二图像处理单元720尚未完成对第一数据D1的第二图像处理操作。因此，模式改变控制器723允许第一数据D1继续根据第二I/O模式在第一图像处理单元710和第二图像处理单元720之间传送，从而防止帧丢失。

图19示出根据本发明构思的示例性实施例的图17的图像处理设备70中的模式改变控制逻辑CL2的示例。

图像处理设备70包括配备有图19的模式改变控制逻辑CL2的任意硬件块。例如，图18的模式改变控制器723可以是配备有模式改变控制逻辑CL2的硬件块。在当前时间段是垂直空闲时间段且I/O模式被设置为直接模式的情况下，当第二图像处理单元720的内部缓冲器725为空且第二图像处理单元720已经读取对应于预定图像区的所有第一数据D1时，根据本实施例的模式改变控制逻辑CL2将I/O模式确定为直接模式，否则，模式改变控制逻辑CL2将I/O模式确定为DMA模式。

图20是示出根据本发明构思的示例性实施例的图像处理设备80的框图。

参照图20，图像处理设备80包括图像信号处理器800和存储器MEM。图像信号处理器800包括第一图像处理单元810、第二图像处理单元820、数据I/O控制单元830和时钟模块840。可以参照图1的以上描述实现存储器MEM。可以通过修改图1的图像处理设备10来实现根据本实施例的图像处理设备80。以下，将主要描述图12的实施例和图1的实施例之间的差异以避免重复。

在实施例中，第一图像处理单元810和第二图像处理单元820、数据I/O控制单元830和时钟模块840均被实现为SoC。在实施例中，第一图像处理单元810和第二图像处理单元820、数据I/O控制单元830和时钟模块840位于应用处理器内。在实施例中，时钟模块840位于图像信号处理器800外部。

时钟模块840(例如，时钟电路)将时钟信号提供到包括在在图像信号处理器800中的多个IP。在实施例中，时钟模块840提高提供到第二图像处理单元820的时钟信号的频率。在实施例中，当施加缩放结束命令时，时钟模块840提高提供到第二图像处理单元820的时钟信号的频率。

图21是示出根据本发明构思的示例性实施例的根据图20的时钟模块840的控制第一图像处理单元810和第二图像处理单元820的操作的时序图。

参照图20和图21，在第一图像处理单元810对第四帧执行第一图像处理操作时，图像处理设备80接收缩放结束命令ZE。例如，当在对应于缩放模式的第二I/O模式(即，在DMA模式)下的第二图像处理单元820的操作尚未完成的状态下，在第五帧和第五帧之后的帧中第一数据D1的I/O模式被改变为第一I/O模式(即直接模式)时，第二图像处理单元820不能对与已经由第一图像处理单元810执行第一图像处理操作的第四帧和第五帧对应的第一数据D1执行第二图像处理操作。由于这个原因，在第四帧和第五帧中发生帧丢失。

IP2c表示当施加缩放结束命令ZE时在时钟模块840将具有第一时钟频率的时钟信号提供到第二图像处理单元820的情况下第二图像处理单元820的操作。在这种情况下，第四帧到第六帧之间的空闲时间段被缩短，并且第二处理单元820的操作速度可提高。根据实施例，在第六帧和第七帧之间的空闲时间段检查到第二图像处理单元820已经对第六帧执行了第二图像处理操作。因此，在第七帧和第七帧之后的帧中，第一数据D1在第一I/O模式下(即，直接模式)在第一图像处理单元810和第二图像处理单元820之间传送。

IP2d表示当施加缩放结束命令ZE时在时钟模块840将具有高于第一时钟频率的第二时钟频率的时钟信号提供到第二图像处理单元820的情况下第二图像处理单元820的操作。在这种情况下，第四帧和第五帧之间的空闲时间段被缩短，并且第二处理单元820的操作速度可能会进一步提高。根据实施例，在第五帧和第六帧之间的空闲时间段检查到第二图像处理单元820已经对第五帧执行了第二图像处理操作。因此，在第六帧和第六帧之后的帧中，第一数据D1在第一I/O模式下(即，直接模式)在第一图像处理单元810和第二图像处理单元820之间传送。

根据上述实施例，由于时钟模块840提高提供到第二图像处理单元820的时钟频率，因此在施加缩放结束命令ZE之后第一数据D1的I/O模式被改变为第一I/O模式的时间变得更早。因此，总体考虑图像处理设备80的操作状态，时钟模块840可以确定提供到第二图像处理单元820的时钟频率，并且可以将具有确定的时钟频率的时钟信号提供到第二图像处理单元820。

图22是示出根据本发明构思的实施例的图像处理设备中的第一和第二图像处理单元的操作的时序图。

参照图22，根据实施例的图像处理设备(例如，10至80)可以包括第一图像处理单元IP1和第二图像处理单元IP2，并且由第一图像处理单元IP1生成的第一数据可以根据像处理设备的操作模式(例如，直接模式或DMA模式)被传送到第二图像处理单元IP2。

在正常模式下，第一图像处理单元IP1根据直接模式将第一数据直接传送到第二图像处理单元IP2。因此，可以减小第一图像处理单元IP1和第二图像处理单元IP2之间的延迟和功耗。

在缩放模式下，第一图像处理单元IP1根据DMA模式经由存储器将第一数据传送到第二图像处理单元IP2。第一图像处理单元IP1可以顺序生成第一子数据和第二子数据。图像处理设备可以控制存储器，以使第二图像处理单元IP2在第一子数据写入到存储器之后且在第二子数据写入到存储器之前读取存储在存储器中的第一子数据。因此，类似于直接模式，在DMA模式下第一数据减小延迟，从而防止在正常模式改变为缩放模式的操作中帧被延迟。

例如，图像处理设备可以包括配备有图15或图19的模式改变控制逻辑的硬件，因此可以防止当缩放模式改变为正常模式时发生的帧丢失。此外，图像处理设备可以提高提供到第二图像处理单元IP2的时钟信号的频率，从而在施加缩放结束命令之后提前第一数据的I/O模式从DMA模式改变为直接模式的时间。

如上所述，根据本实施例，由于基于图像处理设备的操作模式动态确定包括在图像处理设备中的IP之间的数据I/O模式，因此可以减少功耗，可以减少使用的存储器的容量，并且可以减少延迟。此外，可以防止I/O模式从直接模式改变为DMA模式时的帧延迟，并且可以防止当I/O模式从DMA模式改变为直接模式时发生的帧丢失。

图23是示出根据本发明构思的示例性实施例的图像处理方法的流程图。

参照图23，可以由根据上述实施例之一的图像处理设备按时间顺序执行根据实施例的图像处理方法。因此，以上参照图1至图22描述的细节可以应用到本实施例。

在操作S310，通过对图像数据执行第一图像处理操作生成第一数据。在操作S330，基于第一数据的I/O模式，将第一数据输出到第二图像处理单元或存储器。在操作S350，基于第一数据的I/O模式，从第一图像处理单元或存储器接收第一数据。在操作S370，通过对第一数据执行第二图像处理操作生成第二数据。

图24是示出根据本发明构思的示例性实施例的图像处理方法的流程图。

参照图24，可以由根据上述实施例之一的图像处理设备按时间顺序执行根据实施例的图像处理方法。因此，参照图1至图22描述的细节可以应用到本实施例。

在操作S410，基于图像处理设备的操作模式确定第一数据的I/O模式。在操作S430，通过对图像数据执行第一图像处理操作生成第一数据，并且基于I/O模式输出第一数据。在操作S450，基于I/O模式接收第一数据，并且通过对第一数据执行第二图像处理操作生成第二数据。

图25是示出根据本发明构思的示例性实施例的应用处理器900的框图。

参照图25，应用处理器900包括多级互连总线910、连接到多级互连总线910的中央处理器(CPU)920、多媒体单元930、存储器装置(DRAM)940和外围电路950。应用处理器900可以由各种类型的处理器实现，并且例如，可以被实现为SoC。

可以使用应用基于总线标准的协议的总线实现多级互连总线910。例如，总线标准可以使用ARM的先进微控制器总线架构(AMBA)协议。AMBA协议的总线类型可以包括先进高性能总线(AHB)、先进外围总线(APB)、先进可扩展接口(AXI)、AX14或AXI一致性扩展(ACE)。上述总线类型中的AXI是IP之间的接口协议，并且提供多个突出(outstanding)地址功能和数据交叉功能。此外，其它类型的协议也可以应用到多层互连总线910，诸如SONICs Inc.的nNetwork、IBM的CoreConnect和/或OCP-IP的开放核心协议。

图25示出的多个IP中的每一个IP可以被实现为执行唯一操作的功能块。例如，CPU 920可以对应于主IP，并且可以控制应用处理器900的整体操作。此外，多媒体单元930可以包括根据上述实施例之一的图像信号处理器(例如，100、200、300、400、500、600、700或800)。此外，多媒体单元930可以根据上述实施例之一执行图像处理方法。存储器装置940可以是用于临时存储关于应用处理器900的操作的各种信息的存储器，例如，存储器装置940可以包括DRAM。此外，外围电路950可以包括用于与外部源接口的各种接口，并且还可以包括用于实现应用处理器900的其他功能的各种外围装置。例如，外围电路950可以包括除了DRAM之外的其他存储器，或者可以包括用于访问外部存储装置的元件。

图26是示出根据本发明构思的示例性实施例的电子装置1000的框图。

参照图26，电子装置1000包括图像传感器1100、应用处理器1200、存储器1300和显示器1400。可以使用独立的半导体芯片实现图像传感器1100，并且还可以使用与应用处理器1200组合的一个半导体芯片实现图像传感器1100。图像传感器1100可以是将光学像转换成电信号的半导体装置，例如，可以是CMOS图像传感器。

应用处理器1200包括CPU 1210、图像信号处理器(ISP)1220和显示控制器1230。ISP 1220可以是上述图像信号处理器100、200、300、400、500、600、700和800中的一个。应用处理器1200可以包括在根据上述实施例之一的图像信号处理器中(例如，100、200、300、400、500、600、700或800)。

显示器1400可以根据显示控制器1230的控制显示图像。可以使用液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、有源矩阵OLED(AMOLED)显示器等实现显示器1400。

图27是示出根据本发明构思的示例性实施例的电子系统2000和接口的框图。

参照图27，可以使用能够使用或支持移动行业处理器接口(MIPI)的数据处理装置(例如，移动电话、个人数字助理(PDA)、便携式多媒体播放器(PMP)或智能电话)实现电子系统2000。电子系统2000包括应用处理器2010、图像传感器2040和显示器2050。可以根据参照图1至图26描述的实施例实现应用处理器2010。

应用处理器2010的相机串行接口(CSI)主机2012通过CSI与图像传感器2040的CSI装置2041执行串行通信。在这种情况下，CSI主机2012可以包括解串器，CSI装置2041可以包括光学串行器。光学串行器可以包括多个光学调制器。例如，每个光学调制器可以被配置为接收图像数据的比特并且示出表示相应比特的值的光脉冲。

应用处理器2010的显示器串行接口(DSI)主机2011可以通过DSI与显示器2050的DSI装置2051执行串行通信。在这种情况下，DSI主机2011可以包括光学串行器，DSI装置2051可以包括光学解串器。

电子系统2000还可以包括用于与应用处理器2010执行通信的射频(RF)芯片2060。电子系统2000的物理(PHY)2013和RF芯片2060的PHY 2061可以根据MIPI DigRF在其间发送或接收数据。电子系统2000还可以包括全球定位系统(GPS)2020、存储装置2070、麦克风2080、动态随机存取存储器(DRAM)2085和扬声器2090。此外，电子系统2000可以通过使用用于微波接入(WiMAX)2030、无线局域网络(WLAN)2100和超宽带(UWB)2110的全球互通执行通信。

可以使用各种类型的封装实现根据上述实施例的应用处理器或图像处理设备。例如，可以通过使用封装(诸如叠层封装(PoP)、球栅阵列(BGA)、芯片级封装(CSP)、塑料有引线芯片载体(PLCC)、塑料双列直插式封装(PDIP)、以叠片包装裸片(die)、以晶圆形成裸片、板上芯片(COB)、陶瓷双列直插式封装(CERDIP)、塑料度量四方扁平封装(MQFP)、薄型四方扁平封装(TQFP)、小外形(SOIC)、紧缩小型封装(SSOP)、薄型小外形(TSOP)、系统级封装(SIP)、多芯片封装(MCP)、晶圆级制造的封装(WFP)和/或晶圆级处理的堆叠封装(WSP))安装应用处理器或图像处理设备中的至少一些元件。

尽管已经参照本发明构思的实施例具体示出和描述了本发明构思，但是将理解，在不脱离本发明构思的实施例的情况下，可以对其进行形式和细节的各种改变。