图像信号处理器和包括图像信号处理器的装置的制造方法

图像信号处理器和包括图像信号处理器的装置的制造方法
【专利摘要】提供一种图像信号处理器和包括图像信号处理器的装置。可提供一种图像信号处理器，包括：第一数据处理电路；第二数据处理电路；复用控制电路，被配置为在时分复用模式下将包括在第一帧数据中的第一行数据和包括在第二帧数据中的第二行数据发送到第一数据处理电路。复用控制电路还可被配置为将切换控制信号发送到第一数据处理电路，其中，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据。
【专利说明】图像信号处理器和包括图像信号处理器的装置
[0001 ] 本申请要求于2015年2月23日提交到韩国知识产权局的第10-2015-0025390号韩国专利申请的优先权，该申请的公开通过引用全部包含于此。
技术领域
[0002]示例实施例涉及图像信号处理器，更具体地讲，示例实施例涉及以行数据为单位对图像执行时分复用的图像信号处理器和/或包括所述图像信号处理器的装置。
【背景技术】
[0003]根据传统技术，单个图像信号处理器可通过使用外部帧存储器执行时分复用来处理多个输入图像。当图像信号处理器在时分复用模式下使用外部帧存储器对输入图像执行图像信号处理时，图像信号处理器可以以帧数据为单位执行复用。因此，图像信号处理器以帧数据为单位将输入图像存储在外部帧存储器中。此时，输入图像中的帧数据单位中的每个通过总线被写入外部帧存储器或从外部帧存储器被读取，这因总线事务导致包括该图像信号处理器的系统的功耗的增加。

【发明内容】

[0004]根据本发明构思的示例实施例，一种图像信号处理器包括:第一数据处理电路;第二数据处理电路;复用控制电路，被配置为在时分复用模式下将包括在第一帧数据中的第一行数据和包括在第二帧数据中的第二行数据发送到第一数据处理电路。复用控制电路还可被配置为将切换控制信号发送到第一数据处理电路，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据。
[0005]第一帧数据可以是由具有第一分辨率的第一成像装置捕捉的数据，第二帧数据可以是由具有第二分辨率的第二成像装置捕捉的数据。
[0006]所述图像信号处理器还可包括:第一缓冲器和第二缓冲器。此时，第一数据处理电路可包括:存储器控制器，被配置为将第一行数据和第二行数据分别存储在第一缓冲器和第二缓冲器中。
[0007]当切换控制信号指示当前行数据是第一行数据时，第一数据处理电路可将元件配置为处理第一行数据，并且当切换控制信号指示当前行数据是第二行数据时，第一数据处理电路可将元件配置为处理第二行数据。
[0008]第一数据处理电路可以是第一图像信号处理器核，第二数据处理电路可以是第二图像信号处理器核。第一数据处理电路可以是第一缩放器，第二数据处理电路可以是第二缩放器。
[0009]复用控制电路可被配置为基于与第一帧数据相关的第一同步信号的相位和与第二帧数据相关的第二同步信号的相位，首先将第一行数据和第二行数据中的一个发送到第一数据处理电路。复用控制电路可包括:行存储器，被配置为存储第一行数据和第二行数据中的另一个。
[0010]复用控制电路可被配置为以单个流将第一行数据和第二行数据发送到第一数据处理电路。
[0011]根据本发明构思的示例实施例，一种应用处理器包括:总线；图像信号处理器，连接到总线；中央处理器(CPU)，连接到总线并被配置为控制所述图像信号处理器。所述图像信号处理器可包括:第一数据处理电路;第二数据处理电路;复用控制电路，被配置为在时分复用模式下将包括在第一帧数据中的第一行数据和包括在第二帧数据中的第二行数据发送到第一数据处理电路。第一帧数据和第二帧数据可分别具有第一分辨率和第二分辨率。复用控制电路还可被配置为将切换控制信号发送到第一数据处理电路，切换控制信号是指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据的信号。
[0012]根据本发明构思的示例实施例，一种移动计算装置包括:具有第一分辨率的第一成像装置;具有第二分辨率的第二成像装置;应用处理器，连接到第一成像装置和第二成像装置。所述应用处理器可包括:总线；图像信号处理器，连接到总线;CPU，连接到总线并被配置为控制所述图像信号处理器。所述图像信号处理器可包括:第一数据处理电路;第二数据处理电路;复用控制电路，被配置为在时分复用模式下将第一行数据和第二行数据发送到第一数据处理电路。第一行数据可包括在从第一成像装置输出的第一帧数据中，第二行数据可包括在从第二成像装置输出的第二帧数据中。复用控制电路还可被配置为将切换控制信号发送到第一数据处理电路，其中，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据。
[0013]当切换控制信号指示当前行数据是第一行数据时，第一数据处理电路可将元件配置为处理第一行数据，并且当切换控制信号指示当前行数据是第二行数据时，第一数据处理电路可将元件配置为处理第二行数据。
[0014]复用控制电路可被配置为基于与第一帧数据相关的第一同步信号的相位和与第二帧数据相关的第二同步信号的相位，将第一行数据和第二行数据中的一个发送到第一数据处理电路，并且复用控制电路可包括:行存储器，被配置为存储第一行数据和第二行数据中的另一个。
[0015]根据本发明构思的示例实施例，一种图像信号处理器包括:第一数据处理电路;第二数据处理电路;复用控制电路，包括切换确定电路、第一行存储器和第一选择电路。切换确定电路可被配置为产生第一选择信号。第一选择电路可被配置为基于第一选择信号，在第一时间通过传输线发送从第一行数据和第二行数据之中选择的一个行数据，在第二时间发送存储在第一行存储器中的第一行数据和第二行数据中的未被选择的一个行数据，其中，第二时间可晚于第一时间。
【附图说明】
[0016]通过参照附图详细描述一些示例实施例，本发明构思的以上以及其它特征和优点将变得更加清楚，在附图中:
[0017]图1是根据本发明构思的示例实施例的数据处理系统的框图；
[0018]图2是示出图1中示出的图像信号处理器(ISP)的示例的框图；
[0019]图3是示出图1中示出的ISP的另一示例的框图；
[0020]图4是根据本发明构思的示例实施例的从成像装置输出的图像的示图；
[0021]图5是根据本发明构思的示例实施例的成像装置的操作模式的示图；
[0022]图6是示出图2或图3中示出的复用控制电路的示例的框图；
[0023]图7是示出根据本发明构思的示例实施例的由图6中示出的复用控制电路执行的行数据的时分复用的时序图；
[0024]图8是示出根据本发明构思的另一示例实施例的由图6中示出的复用控制电路执行的行数据的时分复用的时序图；
[0025]图9是示出图2或图3中示出的复用控制电路的另一示例的框图；
[0026]图10是根据本发明构思的示例实施例的图2或图3中示出的第一ISP核的详细框图；
[0027]图11是示出图1中示出的ISP的另一示例的框图；
[0028]图12是示出图11中示出的复用控制电路的示例的框图；
[0029]图13A至图13C是示出根据本发明构思的示例实施例的由图12中示出的复用控制电路执行的行数据的时分复用的时序图；
[0030]图14是示出图11中示出的复用控制电路的另一示例的框图；
[0031]图15是示出图1中示出的ISP的另一示例的框图；
[0032]图16是根据本发明构思的示例实施例的操作图1中示出的ISP的方法的流程图。
【具体实施方式】
[0033]现在，将在下文中参照附图更充分地描述本发明构思的各种示例实施例，附图中示出了本发明构思的示例实施例。然而，本发明构思可以以许多不同形式体现，并且不应被解释为受限于在此阐述的示例实施例。而是，提供这些示例实施例使得本公开将是彻底的和完整的，并将把本发明构思的范围充分传达给本领域技术人员。在附图中，为了清楚起见，可夸大层和区域的尺寸和相对尺寸。相同的标号始终表示相同的元件。
[0034]将理解的是，当元件被称为“连接到”或“结合到”另一元件时，该元件可直接连接到或结合到该另一元件，或者可存在中间元件。相反，当元件被称为“直接连接到”或“直接结合到”另一元件时，不存在中间元件。如在这里使用的，术语“和/或”包括相关列出项中的一个或更多个的任意和全部组合，并且可被缩写为7”。
[0035]将理解的是，虽然在这里可使用术语“第一”、“第二”等来描述各种元件，但是这些元件不应该被这些术语限制。这些术语仅用于将一个元件与另一个元件区分开。例如，在不脱离本公开的教导的情况下，第一信号可被称为第二信号，类似地，第二信号可被称为第一信号。
[0036]为了方便描述，在这里可使用空间相关术语(诸如“在……以下”、“在……下方”、“下面”、“在……之上”、“上面”等)来描述如附图中所示出的一个元件或特征与其它元件或特征的关系。将理解，除了附图中描绘的方位之外，空间相关术语意图包含装置在使用或操作中的不同方位。例如，如果附图中的装置被翻转，则被描述为在其它元件或特征“下方”或“以下”的元件将随后被定位于在所述其它元件或特征“之上”。因此，示例术语“下方”可包含上面和下面的方位两者。装置可以被另外定位(旋转90度或在其它方位)，并且这里使用的空间相关描述符被相应地解释。
[0037]这里使用的术语仅是为了描述特定示例实施例的目的，而不意图限制本发明构思。如这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。还将理解，当在本说明书中被使用时，术语“包括”和/或“包含”指定存在所陈述的特征、区域、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或更多个其它特征、区域、整体、步骤、操作、元件、组件和/或它们的组。
[0038]同时，当可以以任何其它方式实现任何实施例时，可与流程图中指定的流程不同地执行特定框中指定的功能或操作。例如，两个连续的框可事实上同时执行功能或操作，并且根据相关操作或功能，两个框可相反地执行功能或操作。
[0039]除非另行定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本发明构思所属技术领域的普通技术人员所通常理解的意思相同的意思。还将理解的是，诸如在常用辞典中定义的术语应被解释为具有与它们在相关领域和/或本申请的语境中的意思一致的意思，并且将不以理想化或过于形式化的含义来解释它们，除非这里明确地如此定义。
[0040]同时，当可以以任何其它方式实现任何实施例时，可与流程图中指定的流程不同地执行特定框中指定的功能或操作。例如，两个连续的框可事实上同时执行功能或操作，并且根据相关操作或功能，两个框可相反地执行功能或操作。
[0041]本发明构思的示例实施例可被实施为硬件、软件或者硬件和软件的组合。本发明构思的示例实施例还可被实施为计算机可读介质上的计算机可读代码。计算机可读记录介质是可将数据存储为可由计算机系统之后读取的程序的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(R0M)、随机存取存储器(RAM)、CD-R0M、磁带、软盘和光学数据存储装置。计算机可读记录介质还可被分布在与计算机系统结合的网络上，从而以分布式的方式存储和执行计算机可读代码。此外，根据本发明构思的示例实施例的功能程序、代码和代码段可被本发明构思的示例实施例所属领域的普通程序员解释。
[0042]这里公开的一些示例实施例可包括程序代码，程序代码包含由一个或更多个物理硬件装置实现的程序指令、软件组件、软件模块、数据文件、数据结构等。程序代码的示例包括由编译器产生的机器代码和使用解释器执行的高级程序代码。硬件装置包括一个或更多个处理器。所述一个或更多个处理器是被配置为通过执行算术、逻辑和输入/输出运算来执行程序代码的计算机处理装置。一旦程序代码被加载到所述一个或更多个处理器，所述一个或更多个处理器可被编程为执行程序代码，从而将所述一个或更多个处理器转变为专用处理器。
[0043]在下文中，将参照附图更详细地解释一些示例实施例。
[0044]图1是根据本发明构思的示例实施例的数据处理系统100的框图。数据处理系统100可包括处理器200、多个成像装置310和320、外部存储器330和显示器340。数据处理系统100可被实现为例如个人计算机(PC)或移动计算装置。移动计算装置可以是例如膝上型计算机、蜂窝电话、智能电话、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静态相机、数字视频相机、便携式多媒体播放器(PMP)、个人导航装置或便携式导航装置(PND)、手持游戏机、移动网络装置(MID)、可穿戴计算机、物联网(1T)装置、万物联网(1E)装置或电子书。
[0045]处理器200可被实现为集成电路(IC)、主板、片上系统(SoC)、应用处理器(AP)或移动AP。处理器200可包括总线架构(或总线)201、中央处理器(CPU)210、多个接口 220-1和220-2、图像信号处理器(ISP)230、存储器控制器250和显示器控制器270 XPU 210、ISP230、存储器控制器250和显示器控制器270可通过总线架构201相互传送命令和/或数据。总线架构201可被实现为例如使用高级微控制器总线架构(AMBA)协议的总线、使用先进高性能总线(AHB)协议的总线、使用先进外围总线(APB)协议的总线、使用AMBA扩展互连(AXI)协议的总线或它们的组合。
[0046]CPU 210可控制处理器200的总体操作。例如，CPU 210可控制接口220-1和220-2、ISP 230、存储器控制器250以及显示器控制器270XPU 210可包括至少一个核。
[0047]第一接口220-1可例如从第一成像装置310接收第一图像和第一控制信号，并将第一图像和第一控制信号发送到ISP 230。第二接口 220-2可例如从第二成像装置320接收第二图像和第二控制信号，并将第二图像和第二控制信号发送到ISP 230。第一图像可指例如第一图片、第一图像数据、第一数据流或第一帧数据。第二图像可指例如第二图片、第二图像数据、第二数据流或第二帧数据。
[0048]第一成像装置310可被实现为例如互补金属氧化物半导体(CMOS)图像传感器芯片或相机模块。第一成像装置310可使用例如移动工业处理器接口(MIPI)相机串行接口(CSI)将第一图像和第一控制信号发送到第一接口 220-1。第二成像装置320也可被实现为CMOS图像传感器芯片或相机模块。第二成像装置320可使用例如MIPI CSI将第二图像和第二控制信号发送到第二接口 220-2。第一图像的分辨率可与第二图像的分辨率不同。
[0049]ISP 230可对第一图像和/或第二图像执行时分复用(TDM) JDM可不以帧数据为单位被执行。而是，TDM可在不使用外部存储器330的情况下以行数据为单位被执行。ISP 230可包括多个核以并行或实时动态地(on the fly)在TDM模式下以行数据为单位同时处理从成像装置310和320输出的图像。因此，ISP 230可被实现为多核ISP。
[0050]每个ISP核可执行以下项中的至少一项:自动暗电平补偿、坏像素替换、降噪、镜头阴影补偿、颜色校正、RGB伽马校正、边缘增强、色调控制和颜色抑制。稍后将参照图10描述的块500-1、500-3和500-4中的每个可执行例如前述操作中的至少一个操作。
[0051]例如，为了并行或实时动态地在TDM模式下以行数据为单位同时处理从成像装置310和320输出的图像，图11中示出的ISP 230B可包括多个ISP核601和603以及多个缩放器609和61I。
[0052]存储器控制器250可根据CPU 210的控制将在TDM模式下已由ISP 230处理的行数据存储在外部存储器330中。显示器控制器270可根据CPU 210的控制将数据(例如，帧数据)从外部存储器330发送到显示器340。例如，显示器控制器270可使用例如MIPI显示器串行接口(DSI)或嵌入式显示器端口(eDP)将数据(例如，帧数据)从外部存储器330发送到显示器340。
[0053]图2是示出图1中示出的ISP230的示例的框图。虽然在图2中示出的示例实施例中存在两个成像装置310和320以及两个ISP核233-1和233-2，但是本发明构思不限于成像装置和ISP核的所述数量。当数据处理系统100包括双相机(包括成像装置310和320)时，第一成像装置310可以是后置相机，第二成像装置320可以是前置相机。
[0054]ISP 230A-1可包括复用控制电路231、ISP核233-1和233-2、缩放/格式化电路235、第一直接存储器存取(DMA)控制器237、多媒体处理电路239和第二 DMA控制器241。多媒体处理电路239可被实现为例如联合图像专家组(JPEG)电路或运动图像专家组(MPEG)电路。
[0055]第一接口220-1可将来自第一成像装置310的第一图像DATAl和第一控制信号SYNCl发送到复用控制电路231。第二接口 220-2可将来自第二成像装置320的第二图像DATA2和第二控制信号SYNC2发送到复用控制电路231。
[0056]图4是根据本发明构思的示例实施例的从成像装置输出的图像的示图。参照图4，第一图像DATAl可包括多个行数据LAl至LAn。第二图像DATA2可包括多个行数据LBl至LBm。这里，“n”和“m”是至少为4的自然数。当第一图像DATAl的分辨率高于第二图像DATA2的分辨率时，“η”可大于“m”。
[0057]第一控制信号SYNCl涉及第一图像DATAl的处理，并可包括第一垂直同步信号、第一水平同步信号、第一时钟信号和第一数据使能信号。第二控制信号SYNC2涉及第二图像DATA2的处理，并可包括第二垂直同步信号、第二水平同步信号、第二时钟信号和第二数据使能信号。在下文中，第一控制信号SYNCl可被称为第一同步信号SYNCl，第二控制信号SYNC2可被称为第二同步信号SYNC2。
[0058]复用控制电路231可基于第一模式控制信号SCS1、第一同步信号SYNCl和第二同步信号SYNC2将包括在第一图像DATAl中的行数据LAl至LAn中的每个发送到第一 ISP核233-1或第二 ISP核233-2。复用控制电路231还可基于第一模式控制信号SCS1、第一同步信号SYNCl和第二同步信号SYNC2将包括在第二图像DATA2中的行数据LBI至LBm中的每个发送到第一 ISP 核 233-1 或第二 ISP 核 233-2。
[0059]复用控制电路231可根据第一模式控制信号SCSI将第一输出数据LDl输出到第一ISP核233-1。根据成像装置310和320中的每个的操作模式，第一输出数据LDl可包括例如第一图像DATAl的行数据LAl至LAn、第二图像DATA2的行数据LBl至LBm、或者第一图像DATAl的行数据LAl至LAn中的至少一个行数据和第二图像DATA2的行数据LBl至LBm中的至少一个行数据。
[0060]当第一ISP核233-1处理捕捉的图像时，根据成像装置310和320的操作模式，第一成像装置310可执行第一操作(例如，图像捕捉操作)，第二成像装置320可执行第二操作(例如，预览操作)。随后，复用控制电路231可将第一输出数据LDl发送到第一 ISP核233-1，并可将第二输出数据LD2发送到第二 ISP核233-2，其中，第一输出数据LDl是从第一成像装置310输出的第一图像DATAl，第二输出数据LD2是从第二成像装置320输出的第二图像DATA2。第二操作可以是除了图像捕捉操作之外的诸如记录操作或预览操作的操作。此时，复用控制电路231可将第三同步信号SYNCf连同第一输出数据LDl (=DATAl)发送到第一ISP核233-1，并还可将第一切换控制信号CSFl发送到第一ISP核233-1，其中，第一切换控制信号CSFl指示第一输出数据LDl ( =DATAl)中的每个行数据在第一图像DATAl中被涉及到。可基于第一同步信号SYNCl产生第三同步信号SYNCf。此外，复用控制电路231可将第四同步信号SYNC2r连同第二输出数据LD2(=DATA2)发送到第二ISP核233-2，并还可将第二切换控制信号CSF2发送到第二ISP核233-2，其中，第二切换控制信号CSF2指示第二输出数据LD2( =DATA2)中的每个行数据在第二图像DATA2中被涉及到。可基于第二同步信号SYNC2产生第四同步信号SYM^。
[0061]第一ISP核233-1可根据第一切换控制信号CSFl将元件或组件(例如，图10中的500-1至500-4)配置为处理包括在第一输出数据LDl ( =DATAl)中的每个行数据。第二 ISP核233-2可根据第二切换控制信号CSF2将其元件或组件(或硬件组件)配置为处理包括在第二输出数据LD2 ( = DATA2)中的每个行数据。
[0062]当第一ISP核233-1处理捕捉的图像时，根据成像装置310和320的操作模式，第一成像装置310可执行第二操作(例如，预览操作)，第二成像装置320可执行第一操作(例如，图像捕捉操作)。随后，复用控制电路231可将从第二成像装置320输出的第二图像DATA2作为第一输出数据LDl发送到第一 ISP核233-1，并可将从第一成像装置310输出的第一图像DATAl作为第二输出数据LD2发送到第二 ISP核233-2。此时，复用控制电路231可将第三同步信号SYNCV连同第一输出数据LD1(=DATA2)发送到第一ISP核233-1，并还可将第一切换控制信号CSFl发送到第一ISP核233-1，其中，第一切换控制信号CSFl指示第一输出数据LDl(=DATA2)中的每个行数据在第二图像DATA2中被涉及到。可基于第二同步信号SYNC2产生第三同步信号SYNCV。此外，复用控制电路231可将第四同步信号SYNC2,连同第二输出数据LD2( =DATAl)发送到第二 ISP核233-2，并还可将第二切换控制信号CSF2发送到第二 ISP核233-2，其中，第二切换控制信号CSF2指示第二输出数据LD2( =DATAl)中的每个行数据在第一图像DATAl中被涉及到。可基于第一同步信号SYNCl产生第四同步信号SYM^。
[0063]第一ISP核233-1可根据第一切换控制信号CSFl将其元件(或组件)配置为处理包括在第一输出数据LD1(=DATA2)中的每个行数据。第二 ISP核233-2可根据第二切换控制信号CSF2将其元件配置为处理包括在第二输出数据LD2( =DATAl)中的每个行数据。
[0064]当第一ISP核233-1处理捕捉的图像时，根据成像装置310和320的操作模式，第一成像装置310和第二成像装置320两者可执行第一操作(例如，图像捕捉操作)。随后，复用控制电路231可将从第一成像装置310输出的第一图像DATAl作为第一输出数据LDl发送到第一 ISP核233-1，并可将从第二成像装置320输出的第二图像DATA2作为第一输出数据LDl发送到第一 ISP核233-1。例如，如图7或图8或者图13A至图13C所示，复用控制电路231可使用时分(时间划分)来对行数据进行交错。
[0065]此时，复用控制电路231可将第三同步信号SYNCf连同第一输出数据LDI发送到第一 ISP核233-1，并还可将指示第一输出数据LDl中的每个行数据在第一图像DATAl或第二图像DATA2中被涉及到的第一切换控制信号CSFl发送到第一 ISP核233-1。可基于第一同步信号SYNCl和第二同步信号SYNC2产生第三同步信号SYNCV。
[0066]第一输出数据LDl可包括第一图像DATAl的行数据LAl至LAn中的至少一个行数据以及第二图像DATA2的行数据LBl至LBm中的至少一个行数据。换言之，复用控制电路231可使用数据交错方法将时分的行数据发送到第一 ISP核233-1。第一 ISP核233-1可根据指示第一输出数据LDl中的每个行数据是包括在第一图像DATAl中还是第二图像DATA2中的第一切换控制信号CSFl而改变其元件的配置。
[0067]缩放/格式化电路235可对从第一ISP核233-1和/或第二 ISP核233-2输出的数据执行缩放操作，并可改变缩放数据的格式以产生改变格式的数据。此时，缩放操作可包括放大操作或缩小操作。
[0068]第一DMA控制器237可通过总线架构201将从缩放/格式化电路235输出的处理的图像DATAf和DATA2'存储在外部存储器330中。第一处理的图像DATAf可被存储在外部存储器330的第一存储区域331中，第二处理的图像DATA2'可被存储在外部存储器330的第二存储区域333中。外部存储器330可包括例如随机存取存储器(RAM)或动态RAM(DRAM)。
[0069]缩放/格式化电路235可将处理的数据发送到多媒体处理电路239。多媒体处理电路239可使用第二DMA控制器241从外部存储器330读取或获得第一处理的图像DATAV，可处理第一处理的图像DATAf，并可使用第二DMA控制器241将处理的图像写入外部存储器330。此外，多媒体处理电路239可使用第二 DMA控制器241从外部存储器330读取或获得第二处理的图像DATA2'，可处理第二处理的图像DATA2'，并可使用第二DMA控制器241将处理的图像写入外部存储器330。
[0070]图3是示出图1中示出的ISP 230的另一示例的框图。参照图2和图3，ISP 230A-2不包括第一DMA控制器237。图3中示出的ISP 230A-2的结构和操作与图2中示出的ISP 230A-1的结构和操作基本上相同或类似。因此，将省略ISP 230A-2的结构和操作的详细描述。
[0071]在图3中示出的示例实施例中，缩放/格式化电路235可将处理的数据发送到多媒体处理电路239。多媒体处理电路239可处理从缩放/格式化电路235输出的数据并使用第二DMA控制器241通过总线架构201将处理的图像DATAV和DATA2'存储在外部存储器330中。第一处理的图像DATAf可被存储在外部存储器330的第一存储区域331中，第二处理的图像DATA27可被存储在外部存储器330的第二存储区域333中。
[0072]图3中示出的多媒体处理电路239可支持行数据交错。如图2和图3中所示，ISP230A-1或230A-2直到图像被ISP核233-1和233-3处理才访问外部帧存储器。
[0073]图5是根据本发明构思的示例实施例的成像装置310和320的操作模式的示图。参照图2和图5，在第一情况CASEl下，成像装置310和320两者在捕捉模式下操作。在第二情况CASE2下，第一成像装置310在捕捉模式下操作，第二成像装置320在预览模式下操作。成像装置310和320可在捕捉模式下执行图像捕捉操作或第一操作。
[0074]第一模式控制信号SCSI可与关于成像装置310和320中的每个的操作模式的信息(或数据)相关。第一模式控制信号SCSI可被编程或存储在例如寄存器(例如，特殊功能寄存器(SFR))中。CPU 210可将第一模式控制信号SCSI编程或设置在寄存器中。第一模式控制信号SCSI可以是数字信号或数字代码。
[0075]在第一情况CASEl下，复用控制电路231可使用行数据交错来处理行数据。在第二情况CASE2下，第一图像DATAl被第一 ISP核233-1处理，第二图像DATA2被第二 ISP核233-2处理。在第一成像装置310在预览模式下操作且第二成像装置320在捕捉模式下操作的第三情况CASE3下，第一图像DATAl被第二ISP核233-2处理，第二图像DATA2被第一ISP核233-1处理。
[0076]图6是示出图2或图3中示出的复用控制电路231的示例的框图。图7是示出根据本发明构思的示例实施例的由图6中示出的复用控制电路231A执行的行数据的时分复用的时序图。
[0077]假设成像装置310和320两者在捕捉模式下操作，并且第一ISP核233-1专门处理由各个成像装置310和320捕捉的图像DATAl和DATA2。此时，第一模式控制信号SCSI可以是指示成像装置310和320两者在捕捉模式下操作的信号。换言之，第一模式控制信号SCSI可指示图像DATAl和DATA2将被第一 ISP核233-1处理。
[0078]参照图6，复用控制电路231A可包括切换确定电路410、第一选择电路412、行存储器414、第二选择电路416和同步信号发生器418。行存储器414可被实现为先入先出(FIFO)存储器。行存储器414可以是I行数据存储器。
[0079]切换确定电路410可基于第一模式控制信号SCS1、第一同步信号SYNCl和第二同步信号SYNC2产生第一选择信号SELl和第二选择信号SEL2，并还可产生第一切换控制信号CSFl和第二切换控制信号CSF2。第一选择信号SELl可以是用于控制第一选择电路412的选择操作的信号。当第一选择信号SELl处于第一电平(例如，低电平或逻辑O)时，第一选择电路412可将包括在第一图像DATAl中的行数据发送到行存储器414。当第一选择信号SELl处于第二电平(例如，高电平或逻辑I)时，第一选择电路412可将包括在第二图像DATA2中的行数据发送到行存储器414。换言之，第一选择电路412可将包括在第一图像DATAl中的行数据或包括在第二图像DATA2中的行数据作为输出行数据SOUT输出到行存储器414。
[0080]第二选择信号SEL2可以是用于控制第二选择电路416的选择操作的信号。第二选择电路416可响应于第二选择信号SEL2，通过第一输出端子OUTl或第二输出端子0UT2输出通过第一传输线TLl接收的行数据、从行存储器414输出的行数据L0UT、或通过第二传输线TL2接收的行数据。第二选择电路416可响应于第二选择信号SEL2，通过第一输出端子OUTl输出通过第一传输线TLl接收的行数据，并通过第二输出端子0UT2输出通过第二传输线TL2接收的行数据。第二选择电路416还可响应于第二选择信号SEL2，通过第二输出端子0UT2输出通过第一传输线TLl接收的行数据，并通过第一输出端子OUTl输出通过第二传输线TL2接收的行数据。
[0081]第一切换控制信号CSFl和第二切换控制信号CSF2中的每个可指示当前发送的行数据是包括在第一图像DATAl中的行数据还是包括在第二图像DATA2中的行数据。
[0082]同步信号发生器418可产生在第一输出数据LDl的处理中涉及到的第三同步信号SYNCV和在第二输出数据LD2的处理中涉及到的第四同步信号SYNC2,。可基于第一同步信号SYNCl和第二同步信号SYNC2两者或者第一同步信号SYNCl和第二同步信号SYNC2中的任意一个产生第三同步信号SYNC1/。也可基于第一同步信号SYNC1和第二同步信号SyNC2两者或者第一同步信号SYNCl和第二同步信号SYNC2中的任意一个产生第四同步信号SYM^。
[0083]假设成像装置310和320两者在捕捉模式下操作，并且仅第一ISP核233-1处理由各个成像装置310和320捕捉的图像DATAl和DATA2。
[0084]如图7中所示，当在第一时间点Tll输入的第一同步信号SYNCl的相位超前于在第二时间点T12输入的第二同步信号SYNC2的相位时，切换确定电路410可产生用于将通过第一传输线TLl发送的第一图像DATAl的第一行数据LAl输出到第一 ISP核233-1的第二选择信号SEL2。此时，切换确定电路410可产生处于第二电平的第一选择信号SELl。
[0085]第二选择电路416可将通过第一传输线TLl接收的第一图像DATAl的第一行数据LAl作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LDU = LAl)的发送(或处理)中涉及到的第三同步信号SYNCV发送到第一ISP核233-1。可基于第一同步信号SYNCl产生第三同步信号SYNCV。
[0086]当在第一图像DATAl的第一行数据LAl正被发送到第一ISP核233-1的同时第二图像DATA2的第一行数据LBl被输入到复用控制电路231A时，切换确定电路410可产生处于第二电平的第一选择信号SEL1，使得第二图像DATA2的第一行数据LBl被发送到行存储器414。因此，第一选择电路412的输出行数据SOUT (例如，第二图像DATA2的第一行数据LBl)可被存储在行存储器414中。
[0087]当第一图像DATAl的第一行数据LAl被完全发送到第一ISP核233-1时，切换确定电路410可产生用于将存储在行存储器414中的第二图像DATA2的第一行数据LBl输出到第一ISP核233-1的第二选择信号SEL2。第二选择电路416可将行存储器414的输出行数据LOUT(例如，第二图像DATA2的第一行数据LBl)作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LD1(=LB1)的发送(或处理)中涉及到的第三同步信号SYNCf发送到第一ISP核233-1。可基于第二同步信号SYNC2产生第三同步信号SYNCl7 ο
[0088]当第一同步信号SYNCl的相位超前于第二同步信号SYNC2的相位时，切换确定电路410可产生用于将第一图像DATAl的第二行数据LA2输出到第一 ISP核233-1的第二选择信号SEL2。第二选择电路416可将通过第一传输线TLl接收的第一图像DATAl的第二行数据LA2作为第一输出数据LDl发送到第一ISP核233-1。此时，同步信号发生器418可将在第一输出数据LD1(=LA2)的发送(或处理)中涉及到的第三同步信号SYNCf发送到第一ISP核233-1。可基于第一同步信号SYNCl产生第三同步信号SYNCf。
[0089]当在第一图像DATAl的第二行数据LA2正被发送到第一ISP核233-1的同时第二图像DATA2的第二行数据LB2被输入到复用控制电路231A时，切换确定电路410可产生处于第二电平的第一选择信号SEL1，使得第二图像DATA2的第二行数据LB2被发送到行存储器414。因此，第二图像DATA2的第二行数据LB2可通过第一选择电路412被发送到行存储器414。
[0090]当第一图像DATAl的第二行数据LA2被完全发送到第一ISP核233-1时，切换确定电路410可产生用于将第二图像DATA2的第二行数据L0UT(=LB2)从行存储器414输出到第一ISP核233-1的第二选择信号SEL2。第二选择电路416可将从行存储器414接收的第二图像DATA2的第二行数据LOUT(例如，第二行数据LB2)作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LD1(=LB2)的发送(或处理)中涉及到的第三同步信号SYNCV发送到第一ISP核233-1。可基于第二同步信号SYNC2产生第三同步信号SYNCf。
[0091]第一图像DATAl的第三行数据LA3和第二图像DATA2的第三行数据LB3也可在TDM模式下被顺序地发送到第一 ISP核233-1。换言之，第一图像DATAl的行数据LAl至LAn和第二图像DATA2的行数据LBl至LBm可根据行数据交错而经受TDM。
[0092]如图7中所示，从不同成像装置310和320输出的行数据1^1、1^1、1^2、1^2、1^3和LB3可以以单个流或单个比特流被发送到第一 ISP核233-1。可选择地，如图8中所示，从不同成像装置310和320输出的行数据1^1、1^1、1^2、1^2、1^3和1^3可以以单个流或单个比特流被发送到第一 ISP核233-1。仅提供图7和图8中示出的实施例来解释本发明构思，包括在单个流中的行数据的顺序和数量可被不同地修改。
[0093]图10是根据本发明构思的示例实施例的图2或图3中示出的第一ISP核233-1的详细框图。第一ISP核233-1的结构与第二ISP核233-2的结构基本上相同或类似。因此，将参照图10仅描述第一 ISP核233-1的结构和操作。
[0094]参照图10，第一 ISP核233-1可包括串联连接的元件500-1至500-4。元件500-1至500-4可形成链或管线。元件500-1、500-2和500-4可以是处理行数据的处理电路。例如，元件500-1、500-2和500-4可执行以下项中的至少一项:自动暗电平补偿、坏像素替换、降噪、镜头阴影补偿、颜色校正、RGB伽马校正、边缘增强、色调控制和颜色抑制。
[0095]第一切换控制信号CSFl可控制元件500-1至500-4的操作。第一块500-1可接收第一切换控制信号CSFl、第一输出数据LDl和第三同步信号SYNCV，并可基于第一切换控制信号CSFl和第三同步信号SYNCV处理第一输出数据LDl。
[0096]存储器控制器500-2可响应于第一切换控制信号CSFl将从前一元件输出的行数据存储在第一缓冲器510或第二缓冲器520中。第一缓冲器510可用于存储包括在第一图像DATAl中的行数据LAl至LAn，第二缓冲器520可用于存储包括在第二图像DATA2中的行数据LBI 至 LBm ο
[0097]第i块500-3可包括第一寄存器REGl和第二寄存器REG2。第一寄存器REGl可存储用于处理包括在第一图像DATAl中的行数据LAl至LAn的第一参数。第二寄存器REG2可存储用于处理包括在第二图像DATA2中的行数据LBl至LBm的第二参数。第一切换控制信号CSFl可用于将第一参数编程或设置在第一寄存器REGl中，并将第二参数编程或设置在第二寄存器REG2中。元件500-1、500-2和500-4中的至少一个可使用第一参数处理包括在第一图像DATAl中的行数据LAl至LAn，并可使用第二参数处理包括在第二图像DATA2中的行数据LBl至 LBm ο
[0098]第k块500-4可基于第一切换控制信号CSFl处理从前一元件输出的数据，并可将处理的数据输出到缩放/格式化电路235。
[0099]例如，如图7中所示，当第一图像DATAl的第一行数据LAl首先被输入到第一ISP核233-1时，第一 ISP核233-1可响应于指示处理第一行数据LAl的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第一行数据LAl。当第二图像DATA2的第一行数据LBl接下来被输入到第一ISP核233-1时，第一ISP核233-1可响应于指示处理第一行数据LBl的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第一行数据LBl。当第一图像DATAl的第二行数据LA2再接下来被输入到第一 ISP核233-1时，第一 ISP核233-1可响应于指示处理第二行数据LA2的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第二行数据LA2。
[0100]换言之，第一ISP核233-1可响应于指示当前行数据是包括在第一图像DATAl中的行数据还是包括在第二图像DATA2中的行数据的第一切换控制信号CSFl，将元件500-1至500-4的配置改变为处理当前行数据。例如，当当前行数据是包括在第一图像DATAl中的行数据时，第一 ISP核233-1的元件500-1至500-4可被设置为具有第一配置。当当前行数据是包括在第二图像DATA2中的行数据时，第一 ISP核233-1的元件500-1至500-4可被设置为具有第二配置。
[0101]假设成像装置310和320两者在捕捉模式下操作且第一ISP核233-1专门处理由各个成像装置310和320捕捉的图像DATAl和DATA2。如图8中所示，当在第四时间点T22输入的第一同步信号SYNCl的相位滞后于在第三时间点T21输入的第二同步信号SYNC2的相位时，复用控制电路231A可在发送第一图像DATAl的第一行数据LAl之前，将第二图像DATA2的第一行数据LBl发送到第一 ISP核233-1。
[0102]切换确定电路410可产生用于将第二图像DATA2的第一行数据LBl输出到第一ISP核233-1的第二选择信号SEL2。此时，切换确定电路410可产生处于第一电平的第一选择信号SELl。
[0103]第二选择电路416可将通过第二传输线TL2接收的第二图像DATA2的第一行数据LBl作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LDI (例如，LBI)的处理中涉及到的第三同步信号SYNCI’发送到第一ISP核233-1。可基于第二同步信号SYNC2产生第三同步信号SYNCf。
[0104]当在第二图像DATA2的第一行数据LBl正被发送到第一ISP核233-1的同时第一图像DATAl的第一行数据LAl被输入到复用控制电路231A时，切换确定电路410可产生处于第一电平的第一选择信号SEL1，使得第一图像DATAl的第一行数据LAl被发送到行存储器414。第一选择电路412可响应于处于第一电平的第一选择信号SELl将第一图像DATAl的第一行数据LAl发送到行存储器414。因此，行存储器414可存储第一图像DATAl的第一行数据LA1。
[0105]当第二图像DATA2的第一行数据LBl被完全发送到第一ISP核233-1时，切换确定电路410可产生用于将存储在行存储器414中的第一图像DATAl的第一行数据LAl输出到第一ISP核233-1的第二选择信号SEL2。第二选择电路416可将第一图像DATAl的第一行数据LOUT(例如，LAl)作为第一输出数据LDl从行存储器414发送到第一ISP核233-1。此时，同步信号发生器418可将在第一输出数据LD1(例如，LAl)的处理中涉及到的第三同步信号SYNCV发送到第一ISP核233-1。可基于第一同步信号SYNCl产生第三同步信号SYNCV。
[0106]当第一同步信号SYNCl的相位滞后于第二同步信号SYNC2的相位时，切换确定电路410可产生用于将第二图像DATA2的第二行数据LB2输出到第一 ISP核233-1的第二选择信号SEL2。此时，切换确定电路410可产生处于第一电平的第一选择信号SELl。
[0107]第二选择电路416可将通过第二传输线TL2接收的第二图像DATA2的第二行数据LB2作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LD1( = LB2)的处理中涉及到的第三同步信号SYNCf发送到第一ISP核233-1。可基于第二同步信号SYNC2产生第三同步信号SYNCf。
[0108]当在第二图像DATA2的第二行数据LB2正被发送到第一ISP核233-1的同时第一图像DATAl的第二行数据LA2被输入到复用控制电路231A时，切换确定电路410可产生处于第一电平的第一选择信号SEL1，使得第一图像DATAl的第二行数据LA2被发送到行存储器414。此时，第一选择电路412可响应于处于第一电平的第一选择信号SELl将第一图像DATAl的第二行数据LA2发送到行存储器414。因此，行存储器414可存储第一图像DATAl的第二行数据LA2o
[0109]当第二图像DATA2的第二行数据LB2被完全发送到第一ISP核233-1时，切换确定电路410可产生用于将第一图像DATAl的第二行数据LA2输出到第一 ISP核233-1的第二选择信号SEL2 ο第二选择电路416可将从行存储器414接收的第一图像DATAl的第二行数据LOUT (例如，LA2)作为第一输出数据LDl发送到第一 ISP核233-1。此时，同步信号发生器418可将在第一输出数据LDl (例如，LA2)的处理中涉及到的第三同步信号SYNCV发送到第一ISP核233-
1。可基于第一同步信号SYNCl产生第三同步信号SYNCV。
[0110]第二图像DATA2的第三行数据LB3和第一图像DATAl的第三行数据LA3也可在TDM模式下被顺序地发送到第一 ISP核233-1。换言之，第二图像DATA2的行数据LBl至LBm和第一图像DATAl的行数据LAl至LAn可根据行数据交错而经受TDM。
[0111]存储器控制器500-2可响应于第一切换控制信号CSFl将从前一元件输出的数据存储在第一缓冲器510或第二缓冲器520中。例如，如图8中所示，当第二图像DATA2的第一行数据LBl首先被输入到第一 ISP核233-1时，第一 ISP核233-1可响应于指示处理第一行数据LBl的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第一行数据LB1。
[0112]当第一图像DATAl的第一行数据LAl接下来被输入到第一ISP核233-1时，第一ISP核233-1可响应于指示处理第一行数据LAl的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第一行数据LAl。当第二图像DATA2的第二行数据LB2再接下来被输入到第一 ISP核233-1时，第一 ISP核233-1可响应于指示处理第二行数据LB2的第一切换控制信号CSFl将元件500-1至500-4的配置改变为处理第二行数据LB2。
[0113]换言之，第一ISP核233-1可响应于指示当前行数据是包括在第一图像DATAl中的行数据还是包括在第二图像DATA2中的行数据的第一切换控制信号CSFl，针对每个行数据将元件500-1至500-4的配置改变为处理当前行数据。
[0114]图9是示出图2或图3中示出的复用控制电路231的另一示例的框图。参照图9，复用控制电路231B可包括切换确定电路410A、第一行存储器420-1、第二行存储器420-2、选择电路422和同步信号发生器424。
[0115]第一行存储器420-1可存储包括在第一图像DATAl中的行数据并可将存储的行数据LOUTl发送到选择电路422。第二行存储器420-2可存储包括在第二图像DATA2中的行数据并可将存储的行数据L0UT2发送到选择电路422。第一行存储器420-1和第二行存储器420-2中的每个可被实现为例如FIFO存储器。
[0116]同步信号发生器424可基于第一同步信号SYNCl产生第三同步信号SYNCf并可基于第二同步信号SYNC2产生第四同步信号SYM^。根据一些示例实施例，同步信号发生器424可基于第一同步信号SYNCl和第二同步信号SYNC2两者产生第三同步信号SYNCV。
[0117]切换确定电路410A可基于第一模式控制信号SCS1、第一同步信号SYNCl和第二同步信号SYNC2产生选择信号SEL，并还可产生第一切换控制信号CSFl和第二切换控制信号CSF2o
[0118]如图7中所示，当第一同步信号SYNCl的相位超前于第二同步信号SYNC2的相位时，包括在第一图像DATAl中的每个行数据可作为第一输出数据LDl通过第三传输线TL3和选择电路422的第一输出端子OUTl被发送到第一 ISP核233-1，包括在第二图像DATA2中的每个行数据可作为第一输出数据LDl通过第二行存储器420-2和选择电路422的第一输出端子OUTl被发送到第一 ISP核233-1。
[0119]因此，复用控制电路2318可在了01模式下顺序地将行数据1^1、1^1、1^2、1^2、1^3和LB3发送到第一ISP核233-1。此外，复用控制电路231B还可将第三同步信号SYNCV连同行数据1^1、1^1、1^2、1^2、1^3和1^3中的每个发送到第一13?核233-1。可基于第一同步信号SYNCl和第二同步信号SYNC2产生第三同步信号SYNCV。
[0120]如图8中所示，当第一同步信号SYNCl的相位滞后于第二同步信号SYNC2的相位时，包括在第二图像DATA2中的每个行数据可作为第一输出数据LDl通过第四传输线TL4和选择电路422的第一输出端子OUTl被发送到第一 ISP核233-1，包括在第一图像DATAl中的每个行数据可作为第一输出数据LDl通过第一行存储器420-1和选择电路422的第一输出端子OUTl被发送到第一 ISP核233-1。
[0121]因此，复用控制电路2318可在了01模式下顺序地将行数据1^1、1^1、1^2、1^2、1^3和LA3发送到第一ISP核233-1。此外，复用控制电路231B还可将第三同步信号SYNCV连同行数据1^1、1^1、1^2、1^2、1^3和1^3中的每个发送到第一13?核233-1。可基于第一同步信号SYNCl和第二同步信号SYNC2产生第三同步信号SYNCV。
[0122]图11是示出图1中示出的ISP230的另一示例的框图。参照图11，ISP230B可包括第一 ISP核601、第二 ISP核603和缩放/格式化电路605。
[0123]第一ISP核601可从第一成像装置310接收第一同步信号SYNCl和第一图像DATAl，处理第一图像DATAl，并产生第三图像PDATAl和第一同步信号SYNCl。虽然在图11中示出被输入到第一 ISP核601的第一同步信号SYNCl与从第一 ISP核601输出的第一同步信号SYNCl相同，但是被输入到第一ISP核601的第一同步信号SYNCl可与从第一ISP核601输出的第一同步信号SYNCl不同。
[0124]第二 ISP核602可从第二成像装置320接收第二同步信号SYNC2和第二图像DATA2，处理第二图像DATA2，并产生第四图像PDATA2和第二同步信号SYNC2。虽然在图11中示出被输入到第二 ISP核603的第二同步信号SYNC2与从第二 ISP核603输出的第二同步信号SYNC2相同，但是被输入到第二ISP核603的第二同步信号SYNC2可与从第二ISP核603输出的第二同步信号SYNC2不同。
[0125]缩放/格式化电路605可包括复用控制电路607、第一缩放器609、第二缩放器611和格式化电路613。第一缩放器609的第一缩放比率可与第二缩放器611的第二缩放比率相同或不同。第一缩放比率和第二缩放比率可被改变。
[0126]复用控制电路607可基于第二模式控制信号SCS2以及第一同步信号SYNCl和第二同步信号SYNC2将包括在第三图像PDATAl中的每个行数据发送到第一缩放器609或第二缩放器611。复用控制电路607还可基于第二模式控制信号SCS2以及第一同步信号SYNCl和第二同步信号SYNC2将包括在第四图像PDATA2中的每个行数据发送到第一缩放器609或第二缩放器611。
[0127]复用控制电路607可根据第二模式控制信号SCS2将第一输出数据SDATAl输出到第一缩放器609。根据成像装置310和320的操作模式，第一输出数据SDATAl可包括包含在第四图像PDATA2中的每个行数据，或可包括包含在第三图像PDATAl中的多个行数据之中的至少一个行数据和包含在第四图像PDATA2中的多个行数据之中的至少一个行数据。
[0128]当第一缩放器609专门处理捕捉的图像时，根据成像装置310和320的操作模式，第一成像装置310可执行第一操作(例如，图像捕捉操作)，第二成像装置320可执行第二操作(例如，预览操作)。复用控制电路607可将从第一 ISP核601接收的第三图像PDATAl作为第一输出数据SDATAl发送到第一缩放器609，并可将从第二 ISP核603接收的第四图像PDATA2作为第二输出数据SDATA2发送到第二缩放器611。此时，复用控制电路607可将同步信号连同第一输出数据SDATAl发送到第一缩放器609，并还可将第一缩放器控制信号CTRLl发送到第一缩放器609，其中，第一缩放器控制信号CTRLl指示包括在第一输出数据SDATAl中的行数据是来自第三图像TOATA1。此时，可基于第一同步信号SYNCl产生同步信号。此外，复用控制电路607可将同步信号连同第二输出数据SDATA2发送到第二缩放器611，并还可将第二缩放器控制信号CTRL2发送到第二缩放器611，其中，第二缩放器控制信号CTRL2指示包括在第二输出数据SDATA2中的行数据是来自第四图像PDATA2。此时，可基于第二同步信号SYNC2产生同步信号。
[0129]第一缩放器609可根据第一缩放器控制信号CTRLl将其元件设置为处理包括在第一输出数据SDATAl中的每个行数据。第二缩放器611可根据第二缩放器控制信号CTRL2将其元件设置为处理包括在第二输出数据SDATA2中的每个行数据。
[0130]当第一缩放器609专门处理捕捉的图像时，根据成像装置310和320的操作模式，第一成像装置310可执行第二操作(例如，预览操作)，第二成像装置320可执行第一操作(例如，图像捕捉操作)。复用控制电路607可将从第二ISP核603接收的第四图像TOATA2作为第一输出数据SDATAl发送到第一缩放器609，并可将从第一 ISP核601接收的第三图像PDATAl作为第二输出数据SDATA2发送到第二缩放器611。此时，复用控制电路607可将同步信号连同第一输出数据SDATA1(例如，PDATA2)发送到第一缩放器609，并还可将指示包括在第一输出数据SDATAl (例如，PDATA2)中的行数据是来自第四图像PDATA2的第一缩放器控制信号CTRLl发送到第一缩放器609。此时，可基于第二同步信号SYNC2产生同步信号。此外，复用控制电路607可将同步信号连同第二输出数据SDATA2 (例如，PDATAl)发送到第二缩放器611，并还可将指示包括在第二输出数据SDATA2( =PDATAl)中的行数据是来自第三图像PDATAl的第二缩放器控制信号CTRL2发送到第二缩放器611。此时，可基于第一同步信号SYNCl产生同步信号。
[0131]第一缩放器609可根据第一缩放器控制信号CTRLl将其元件设置为处理包括在第一输出数据SDATAU例如，PDATA2)中的每个行数据。第二缩放器611可根据第二缩放器控制信号CTRL2将其元件设置为处理包括在第二输出数据SDATA2(例如，PDATAl)中的每个行数据。
[0132]当第一缩放器609专门处理捕捉的图像并且根据成像装置310和320的操作模式，第一成像装置310和第二成像装置320两者执行第一操作(例如，图像捕捉操作)时，复用控制电路607可将从第一 ISP核601接收的第三图像PDATAl作为第一输出数据SDATAU例如，PDATA1)发送到第一缩放器609，并还可将从第二 ISP核603接收的第四图像PDATA2作为第一输出数据SDATAl (=PDATA2)发送到第一缩放器609。此时，复用控制电路607可将同步信号连同第一输出数据SDATAl发送到第一缩放器609，并还可将第一缩放器控制信号CTRLl发送到第一缩放器609，其中，第一缩放器控制信号CTRLl指示包括在第一输出数据SDATAl中的行数据是来自第三图像PDATAl或第四图像TOATA2。此时，可基于第一同步信号SYNCl和第二同步信号SYNC2两者产生同步信号。
[0133]此时，第一输出数据SDATAl可包括包含在第三图像PDATAl中的行数据之中的至少一个行数据和包含在第四图像PDATA2中的行数据之中的至少一个行数据。换言之，复用控制电路607可使用行数据交错将时分的行数据发送到第一缩放器609。
[0134]第一缩放器609可根据第一缩放器控制信号CTRLl对第一输出数据SDATAl执行缩放操作，并输出第一缩放图像SDATA3 ο第二缩放器611可根据第二缩放器控制信号CTRL2对第二输出数据SDATA2执行缩放操作，并输出第二缩放图像SDATA4。由缩放器609和611中的每个执行的缩放操作可以是放大操作或缩小操作。放大操作可表示放大或上采样，缩小操作可表示缩小或下采样。
[0135]缩放器609和611中的每个可将第一输出数据SDATAl和/或第二输出数据SDATA2存储在缓冲器620中。第一输出数据SDATAl可被存储在缓冲器620的第一存储区域621中，第二输出数据SDATA2可被存储在缓冲器620的第二存储区域622中。
[0136]缩放器609和611中的每个可使用在存储在缓冲器620中的第一输出数据SDATAl中包括的多个行数据LAl、LA2、……和/或在存储在缓冲器620中的第二输出数据SDATA2中包括的多个行数据LB1、LB2、……来执行缩放。格式化电路613可决定分别从缩放器609和611输出的缩放图像SDATA3和SDATA4的格式。
[0137]图12是示出图11中示出的复用控制电路607的示例的框图。参照图12，复用控制电路607A可包括切换确定电路630、第一选择电路632、行存储器634和第二选择电路636。
[0138]第二模式控制信号SCS2可以是指示缩放器609和611中的每个的操作的指示符信号。假设第一缩放器609是被配置为对捕捉的图像进行缩放的缩放器，并且第一成像装置310和第二成像装置320正在捕捉模式下操作。
[0139]当在CASE4中第一同步信号SYNCl的相位超前于第二同步信号SYNC2的相位时，复用控制电路607A以与图7的时序图中示出的时序基本上相同或相似的时序处理包括在第三图像PDATAl中的行数据和包括在第四图像PDATA2中的行数据。包括在与第一同步信号SYNCl相关的第三图像TOATAl中的每个行数据可作为第一输出数据SDATAl通过第五传输线TL5和第二选择电路636被发送到第一缩放器609。包括在与第二同步信号SYNC2相关的第四图像TOATA2中的每个行数据可作为第一输出数据SDATAl通过第一选择电路632、行存储器634和第二选择电路636被发送到第一缩放器609。
[0140]切换确定电路630可输出处于第二电平的第一选择信号SEL1。第一选择电路632可响应于处于第二电平的第一选择信号SELl输出包括在第四图像TOATA2中的行数据作为输出信号M0UT。行存储器634可将从第一选择电路632接收的行数据MOUT作为输出数据MOUT输出到第二选择电路636。第二选择电路636可输出包括在通过第五传输线TL5接收的第三图像TOATAl中的行数据或包括在从行存储器634接收的第四图像TOATA2中的行数据作为第一输出数据SDATAl。
[0141]当在CASE5中第一同步信号SYNCl的相位滞后于第二同步信号SYNC2的相位时，复用控制电路607A可以以与图8的时序图中示出的时序基本上相同或相似的时序处理包括在第四图像TOATA2中的行数据和包括在第三图像TOATAl中的行数据。包括在与第二同步信号SYNC2相关的第四图像TOATA2中的每个行数据可作为第一输出数据SDATAl通过第六传输线TL6和第二选择电路636被发送到第一缩放器609。包括在与第一同步信号SYNCl相关的第三图像TOATAl中的每个行数据可作为第一输出数据SDATAl通过第一选择电路632、行存储器634和第二选择电路636被发送到第一缩放器609。
[0142]切换确定电路630可输出处于第一电平的第一选择信号SEL1。第一选择电路632可响应于处于第一电平的第一选择信号SELl输出包括在第三图像TOATAl中的行数据作为输出信号M0UT。行存储器634可将从第一选择电路632接收的行数据MOUT作为输出数据MOUT输出到第二选择电路636。第二选择电路636可输出包括在通过第六传输线TL6接收的第四图像TOATA2中的行数据或包括在从行存储器634接收的第三图像TOATAl中的行数据作为第一输出数据SDATAl。
[0143]图13A至图13C是示出根据本发明构思的示例实施例的由图12中示出的复用控制电路607A执行的行数据的TDM的时序图。参照图13A，复用控制电路607A可将包括在第三图像TOATAl中的第一行数据LAl、包括在第四图像TOATA2中的第一行数据LBl、包括在第三图像TOATAl中的第二行数据LA2和包括在第四图像PDATA2中的第二行数据LB2作为第一输出数据SDATAl输出到第一缩放器609。如图13A中所示，交替地从成像装置310和320输出的行数据LAl、LBl、LA2、LB2、……可以以单个流或单个比特流被发送到第一缩放器609。
[0144]参照图13B，复用控制电路607A可将包括在第三图像TOATAl中的两个行数据LAl和LA2以及包括在第四图像TOATA2中的一个行数据LBl作为第一输出数据SDATAl发送到第一缩放器609。如图138中所示，从成像装置310和320输出的行数据1^1、1^2、1^1、1^3、……可以以在从第一成像装置310输出的两个行数据被发送之后从第二成像装置320输出的一个行数据被发送的方式，以单个流或单个比特流被发送到第一缩放器609。
[0145]参照图13C，复用控制电路607A可将包括在第三图像PDATAl中的三个行数据LAl、LA2和LA3以及包括在第四图像PDATA2中的一个行数据LBl作为第一输出数据SDATAl发送到第一缩放器609。如图13C中所示，从成像装置310和320输出的行数据LAl、LA2、LA3、LB1、……可以以在从第一成像装置310输出的三个行数据被发送之后从第二成像装置320输出的一个行数据被发送的方式，以单个流或单个比特流被发送到第一缩放器609。包括在单个流或单个比特流中的行数据的数量和顺序可被不同地改变。
[0146]图14是示出图11中示出的复用控制电路607的另一示例的框图。参照图14，复用控制电路607B可包括切换确定电路640、第一行存储器642、第二行存储器644和选择电路646。
[0147]第二模式控制信号SCS2可以是指示缩放器609和611中的每个的操作的指示符信号。假设第一缩放器609是被配置为对捕捉的图像进行缩放的缩放器，并且第一成像装置310和第二成像装置320正在捕捉模式下操作。
[0148]当在CASE4中第一同步信号SYNCl的相位超前于第二同步信号SYNC2的相位时，复用控制电路607B以与图7的时序图中示出的时序基本上相同或相似的时序处理包括在第三图像PDATAl中的行数据和包括在第四图像PDATA2中的行数据。包括在与第一同步信号SYNCl相关的第三图像TOATAl中的每个行数据可作为第一输出数据SDATAl通过第七传输线TL7和选择电路646被发送到第一缩放器609。包括在与第二同步信号SYNC2相关的第四图像PDATA2中的每个行数据可作为第一输出数据SDATAl通过第二行存储器644和选择电路646被发送到第一缩放器609。
[0149]选择电路646可输出包括在通过第七传输线TL7接收的第三图像PDATAl中的行数据或包括在从第二行存储器644接收的第四图像TOATA2中的行数据M0UT2作为第一输出数据SDATAl。
[0150]当在CASE5中第一同步信号SYNCl的相位滞后于第二同步信号SYNC2的相位时，复用控制电路607B可以以与图8的时序图中示出的时序基本上相同或相似的时序处理包括在第四图像TOATA2中的行数据和包括在第三图像TOATAl中的行数据。包括在与第二同步信号SYNC2相关的第四图像TOATA2中的每个行数据可作为第一输出数据SDATAl通过第八传输线TL8和选择电路646被发送到第一缩放器609。包括在与第一同步信号SYNCl相关的第三图像PDATAl中的每个行数据可作为第一输出数据SDATAl通过第一行存储器642和选择电路646被发送到第一缩放器609。
[0151]选择电路646可输出包括在通过第八传输线TL8接收的第四图像PDATA2中的行数据或与第三图像PDATAl相关的从第一行存储器642接收的行数据MOUTl作为第一输出数据SDATAl。选择电路646可根据图13A、图13B或图13C中示出的行数据交错，将包括在图像PDATAl或PDATA2中的行数据作为第一输出数据SDATAl发送到第一缩放器609。
[0152]图15是示出图1中示出的ISP230的另一示例的框图。参照图15，ISP230C可包括第一 ISP核701、第二 ISP核702、缩放/格式化电路705和DMA控制器707。
[0153]第一ISP核701可通过第一接口 220-1从第一成像装置310接收第一图像，处理第一图像，并将处理的第一图像发送到缩放/格式化电路705。第二 ISP核702可通过第二接口220-2从第二成像装置320接收第二图像，处理第二图像，并将处理的第二图像发送到缩放/格式化电路705。
[0154]假设第一图像是捕捉的图像，并且第二图像用于预览。此时，缩放/格式化电路705可将第一图像转换为第一格式，以产生第一格式的第一图像CAPTURE1，并可将第二图像转换为第二格式，以产生第二格式的第二图像CAPTURE2。缩放/格式化电路705可使用DMA控制器707将第一格式的第一图像CAPTURE1和第二格式的第二图像CAPTURE2发送到总线架构201。
[0155]图16是根据本发明构思的示例实施例的操作图1中示出的ISP230的方法的流程图。在操作SllO中，ISP 230可以以行数据为单位对分别从成像装置310和320输出的多个帧数据DATAl和DATA2执行TDM。
[0156]在操作S120中，ISP 230可将时分复用的行数据中的每个发送到多个数据处理电路中的一个数据处理电路。数据处理电路可以是ISP核或缩放器。
[0157]在操作S130中，ISP 230可使用一个数据处理电路处理时分复用的行数据中的每个。在操作S140中，ISP 230可使用DMA控制器以帧数据为单位将由数据处理电路处理的每个行数据存储在外部存储器330中。
[0158]如上所述，根据本发明构思的一些示例实施例，包括行存储器的ISP使由ISP访问的存储资源(例如，外部帧存储器或诸如DRAM的系统存储器)的使用最小化。ISP可在不使用外部帧存储器或系统存储器的情况下，使用行存储器在时分模式下处理从每个数据处理电路输出的帧数据中的每个行。ISP可使用内部行存储器来代替外部帧存储器。因此，可减少因存储占用而导致的外部帧存储器的使用和/或系统存储器的过度使用。此外，包括行存储器的ISP解决了因访问外部帧存储器和/或系统存储器的总线事务而导致的系统资源(例如，总线、外部帧存储器和/或系统存储器)的过度使用的问题。此外，ISP可减少执行前述总线事务而消耗的电力。此外，ISP的时分性能可不受外部帧存储器和/或系统存储器的带宽限制。
[0159]虽然已参照本发明构思的一些示例实施例具体示出并描述了本发明构思，但是本领域普通技术人员将理解，在不脱离由权利要求限定的本发明构思的精神和范围的情况下，可在形式和细节上做出各种改变。
【主权项】
1.一种图像信号处理器，包括: 第一数据处理电路；以及 复用控制电路，被配置为在时分复用模式下将包括在第一帧数据中的第一行数据和包括在第二帧数据中的第二行数据发送到第一数据处理电路，复用控制电路还被配置为将切换控制信号发送到第一数据处理电路，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据。2.如权利要求1所述的图像信号处理器，其中，第一帧数据是由具有第一分辨率的第一成像装置捕捉的数据，第二帧数据是由具有第二分辨率的第二成像装置捕捉的数据。3.如权利要求1所述的图像信号处理器，还包括: 第一缓冲器； 第二缓冲器， 其中，第一数据处理电路包括:存储器控制器，被配置为将第一行数据和第二行数据分别存储在第一缓冲器和第二缓冲器中。4.如权利要求1所述的图像信号处理器，其中， 当切换控制信号指示当前行数据是第一行数据时，第一数据处理电路被配置为处理第一行数据， 当切换控制信号指示当前行数据是第二行数据时，第一数据处理电路被配置为处理第二行数据。5.如权利要求1所述的图像信号处理器，还包括:第二数据处理电路， 其中，第一数据处理电路是第一图像信号处理器核，第二数据处理电路是第二图像信号处理器核。6.如权利要求1所述的图像信号处理器，还包括:第二数据处理电路， 其中，第一数据处理电路是第一缩放器，第二数据处理电路是第二缩放器。7.如权利要求1所述的图像信号处理器，其中，复用控制电路被配置为基于与第一帧数据相关的第一同步信号的相位和与第二帧数据相关的第二同步信号的相位，首先将第一行数据和第二行数据中的一个发送到第一数据处理电路。8.如权利要求7所述的图像信号处理器，其中，复用控制电路包括:行存储器，被配置为存储第一行数据和第二行数据中的另一个。9.如权利要求1所述的图像信号处理器，其中，复用控制电路被配置为以单个流将第一行数据和第二行数据发送到第一数据处理电路。10.—种应用处理器，包括: 总线； 图像信号处理器，连接到总线，所述图像信号处理器包括: 第一数据处理电路，和 复用控制电路，被配置为在时分复用模式下将包括在第一帧数据中的第一行数据和包括在第二帧数据中的第二行数据发送到第一数据处理电路，第一帧数据和第二帧数据分别具有第一分辨率和第二分辨率，复用控制电路还被配置为将切换控制信号发送到第一数据处理电路，切换控制信号是指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据的信号；以及 中央处理器(CRJ)，连接到总线并被配置为控制所述图像信号处理器。11.如权利要求10所述的应用处理器，其中，复用控制电路被配置为以单个流将第一行数据和第二行数据发送到第一数据处理电路。12.如权利要求10所述的应用处理器，其中，所述图像信号处理器还包括:第一缓冲器和第二缓冲器，其中，第一数据处理电路包括:存储器控制器，被配置为将第一行数据和第二行数据分别存储在第一缓冲器和第二缓冲器中。13.如权利要求10所述的应用处理器，其中，当切换控制信号指示当前行数据是第一行数据时，第一数据处理电路被配置为处理第一行数据，并且当切换控制信号指示当前行数据是第二行数据时，第一数据处理电路被配置为处理第二行数据。14.如权利要求10所述的应用处理器，其中，所述图像信号处理器还包括第二数据处理电路， 其中，第一数据处理电路是第一图像信号处理器核，第二数据处理电路是第二图像信号处理器核。15.如权利要求10所述的应用处理器，其中，所述图像信号处理器还包括第二数据处理电路， 其中，第一数据处理电路是第一缩放器，第二数据处理电路是第二缩放器。16.如权利要求10所述的应用处理器，其中，复用控制电路被配置为基于与第一帧数据相关的第一同步信号的相位和与第二帧数据相关的第二同步信号的相位，首先将第一行数据和第二行数据中的一个发送到第一数据处理电路。17.如权利要求16所述的应用处理器，其中，复用控制电路包括:行存储器，被配置为存储第一行数据和第二行数据中的将不被发送的行数据。18.—种移动计算装置，包括: 具有第一分辨率的第一成像装置； 具有第二分辨率的第二成像装置；以及 应用处理器，连接到第一成像装置和第二成像装置，所述应用处理器包括: 总线， 图像信号处理器，连接到总线，所述图像信号处理器包括: 第一数据处理电路，和 复用控制电路，被配置为在时分复用模式下将第一行数据和第二行数据发送到第一数据处理电路，第一行数据包括在从第一成像装置输出的第一帧数据中，第二行数据包括在从第二成像装置输出的第二帧数据中，复用控制电路还被配置为将切换控制信号发送到第一数据处理电路，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据，以及 中央处理器(CRJ)，连接到总线并被配置为控制所述图像信号处理器。19.如权利要求18所述的移动计算装置，其中，当切换控制信号指示当前行数据是第一行数据时，第一数据处理电路被配置为处理第一行数据，并且当切换控制信号指示当前行数据是第二行数据时，第一数据处理电路被配置为处理第二行数据。20.如权利要求18所述的移动计算装置，其中，复用控制电路被配置为基于与第一帧数据相关的第一同步信号的相位和与第二帧数据相关的第二同步信号的相位，将第一行数据和第二行数据中的一个发送到第一数据处理电路，并且复用控制电路包括:行存储器，被配置为存储第一行数据和第二行数据中的另一个。21.—种图像信号处理器，包括: 第一数据处理电路；以及 复用控制电路，包括切换确定电路、第一行存储器和第一选择电路，切换确定电路被配置为产生第一选择信号，第一选择电路被配置为基于第一选择信号，在第一时间通过传输线发送从第一行数据和第二行数据之中选择的一个行数据，在第二时间发送存储在第一行存储器中的第一行数据和第二行数据中的未被选择的一个行数据，第二时间晚于第一时间。22.如权利要求21所述的图像信号处理器，其中，切换确定电路还被配置为将切换控制信号发送到第一数据处理电路，切换控制信号指示将被发送到第一数据处理电路的当前行数据是第一行数据还是第二行数据。23.如权利要求21所述的图像信号处理器，其中， 切换确定电路还被配置为产生第二选择信号， 复用控制电路还包括第二选择电路，第二选择电路被配置为基于第二选择信号发送第一行数据和第二行数据之中的将被存储在行存储器中的一个行数据。24.如权利要求21所述的图像信号处理器，还包括:第二数据处理电路， 其中，第一数据处理电路是第一图像信号处理器核，第二数据处理电路是第二图像信号处理器核。25.如权利要求21所述的图像信号处理器，还包括:第二数据处理电路， 其中，第一数据处理电路是第一缩放器，第二数据处理电路是第二缩放器。
【文档编号】H04N5/268GK105915780SQ201610098417
【公开日】2016年8月31日
【申请日】2016年2月23日
【发明人】白秉俊, 林卿钟
【申请人】三星电子株式会社