移动电话的制作方法

原申请主张在2017年6月2号提出申请的韩国专利申请第10-2017-0069040号的优先权，所述韩国专利申请的主题并入本申请供参考。

本发明概念涉及处理器、包括处理器的图像处理装置以及利用图像处理装置处理图像的方法。

背景技术：

某些图像处理装置可包括多个照相机模块相应图像，统称为多个图像。因此，此类图像处理装置可处理多个图像以产生单个图像。

为了获取相对高质量的图像，给定的照相机模块可包括双传感器。包括双传感器的照相机模块可包括例如广角透镜及摄远透镜，其中可在例如在相对高照度环境中执行的变焦操作(zoomoperation)期间有利地使用广角透镜与摄远透镜的组合能力。然而，此不适用于在相对低照度环境中的情形，在所述相对低照度环境中光照等级(lightlevel)不足以实现摄远透镜的有利效果。

技术实现要素：

本发明概念的方面提供一种能够在照度高时提高变焦操作的性能的处理器、包括所述处理器的图像处理装置以及处理图像的方法。

本发明概念的另一个方面提供一种即使在照度低时仍能够提高图像质量的处理器、包括所述处理器的图像处理装置以及处理图像的方法。

本发明概念的又一方面提供一种能够减小由每一透镜获得的图像的校正误差(rectificationerror)的处理器、包括所述处理器的图像处理装置以及处理图像的方法。

本发明概念的方面并非仅限于以上提到的这些方面，且所属领域中的技术人员通过以下说明可清楚地理解未被提到的另一技术问题。

根据本发明概念的一些实施例，提供一种图像处理装置，所述图像处理装置包括：第一透镜；第二透镜，设置在所述第一透镜的一侧；第三透镜，设置在所述第一透镜的另一侧的；第一图像传感器，接收从所述第一透镜获得的第一图像的输入以产生第一图像信号；第二图像传感器，接收从所述第二透镜获得的第二图像的输入以产生第二图像信号；第三图像传感器，接收从所述第三透镜获得的第三图像的输入以产生第三图像信号；选择器，接收所述第二图像信号及所述第三图像信号的输入，在第一条件下输出所述第二图像信号，并在与所述第一条件不同的第二条件下输出所述第三图像信号；以及图像处理器，利用所述第一图像信号及所述选择器的输出信号执行图像处理。

根据本发明概念的一些实施例，提供一种处理器，所述处理器包括：图像处理器，从第一照相机模块接收第一图像信号的提供；以及第一选择器，从第二照相机模块接收第二图像信号的提供及从第三照相机模块接收第三图像信号的提供，在第一条件下输出所述第二图像信号，并在与所述第一条件不同的第二条件下输出所述第三图像信号，其中所述图像处理器利用所述第一图像信号及所述第一选择器的输出信号来执行图像处理。

根据本发明概念的一些实施例，提供一种图像处理方法，所述图像处理方法包括：由第一信号处理器从第一照相机模块接收第一图像信号，以执行第一图像信号处理；由选择器从第二照相机模块接收第二图像信号及从第三照相机模块接收第三图像信号，以在第一条件下输出所述第二图像信号以及在与所述第一条件不同的第二条件下输出所述第三图像信号；以及由图像处理器利用所述第一信号处理器的输出信号及所述选择器的输出信号产生输出图像。

附图说明

在参照附图考虑本发明概念的某些示例性实施例时，本发明概念的上述及其他方面及特征将变得更加显而易见，在附图中：

图1是根据本发明概念的一些实施例说明图像处理装置10的方块图。

图2a及图2b分别是说明图1所示的第一透镜、第二透镜及第三透镜的示例性配置的图式。

图3是在一个实施例中进一步说明图1所示的第一信号处理器310的方块图。

图4是在一个实施例中进一步说明图1所示的第二信号处理器320的方块图。

图5是在一个实施例中进一步说明图1所示的第一图像产生器400的方块图。

图6是在一个实施例中进一步说明图5所示的深度信息产生器410的方块图。

图7是在一个实施例中进一步说明图5所示的第一输出图像产生器420的方块图。

图8是在一个实施例中进一步说明图5所示的第二输出图像产生单元430的方块图。

图9是根据本发明概念的一些实施例说明图像处理装置的另一方块图。

图10是在一个实施例中进一步说明图9所示的第三信号处理器330的方块图。

图11及图12分别是根据本发明概念的再一些其他实施例的图像处理装置的方块图。

图13是进一步说明图12所示的第二图像产生器500的方块图。

图14是根据本发明概念的一些实施例概述可由各种选择器元件执行的方法步骤的流程图。

图15是根据本发明概念的一些实施例可被配置成包括处理装置的图像系统的概括方块图。

图16是根据本发明概念的一些实施例说明包括图像处理装置的图像系统的一部分的概括方块图。

[符号的说明]

110：第一接口；

120：第二接口；

130：第三接口；

210：第一选择器；

220：第二选择器；

230：第三选择器；

240：第四选择器；

250：第五选择器；

260：第六选择器；

270：第七选择器；

280：第八选择器；

290：第九选择器；

299：第十选择器；

310：第一信号处理器；

310_ss：选择信号产生器；

311：第一格式转换器；

313：第一噪声移除单元；

315：第一图像增强器；

317：第二格式转换器；

320：第二信号处理器；

321：第三格式转换器；

323：第二噪声移除单元；

325：第二图像增强器；

327：第四格式转换器；

330：第三信号处理器；

340：第四信号处理器；

350：第五信号处理器；

400：第一图像产生器；

410：深度信息产生单元/深度信息产生器；

411：调整单元；

413：视差信息产生器；

415：深度信息产生器；

420：第一输出图像产生器/第一输出图像产生单元；

421：离焦单元；

430：第二输出图像产生单元；

431：像素映射单元；

433：混合单元；

440：第三输出图像产生单元；

441：变焦选择器；

500：第二图像产生器；

1000：电子装置；

1010：第一图像信号输出单元；

1011：第一图像传感器；

1012：第一存储装置；

1013：第一模数转换器；

1020：第二图像信号输出单元；

1021：第二图像传感器；

1022：第二存储装置；

1023：第二模数转换器；

1030：第三图像信号输出单元；

1031：第三图像传感器；

1032：第三存储装置；

1033：第三模数转换器；

1100：板/衬底；

1110、1110_1：照相机模块；

1111：第一照相机模块；

1112：第二照相机模块；

1113：第三照相机模块；

1120：处理器；

1121：图像处理器；

1130：存储装置；

1140：接口；

1150：总线；

c1：第一条件；

c2：第二条件；

c3：第三条件；

c4：第四条件；

d1：第一距离；

d2：第二距离；

id1：第一图像/第一图像信号；

id2：第二图像/第二图像信号；

id3：第三图像/第三图像信号；

io：输出图像；

io1：第一输出图像；

io2：第二输出图像；

io3：第三输出图像；

is1：第一图像信号；

is2：第二图像信号；

is3：第三图像信号；

is1a：第一输出信号/图像信号/第一输出图像信号；

is2a：输出信号；

is3a：输出信号；

isa：第一图像输出信号；

isb：第二图像输出信号/图像信号；

is_410a：深度信息；

is_410b：视差信息；

l1：第一透镜；

l2：第二透镜；

l3：第三透镜；

s100、s200、s300、s400：步骤；

ss：选择信号；

ss_zoom：变焦选择信号。

具体实施方式

现在将参照图1到图8以一些额外的细节来阐述根据本发明概念的实施例的某些图像处理装置。

图1是根据本发明概念的一些实施例说明图像处理装置的方块图，其中所述图像处理装置一般包括照相机模块1110及处理器1120。

将由照相机模块1110分别产生的图像信号(例如，is1、is2及is3)提供到处理器1120，使得处理器1120可以产生输出图像io的方式处理图像信号(例如，is1、is2及is3)中的一者或多者。在所说明的实施例中，可在照相机模块1110与处理器1120之间视情况包括各种传统上理解的元件。举例来说，由照相机模块1110产生的各图像信号(例如，is1、is2及is3)可通过某些构成元件及/或设置在照相机模块1110与处理器1120之间的接口而被提供到处理器1120。

在图1所示的实施例中，照相机模块1110包括第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113，其中第一照相机模块1111包括第一透镜l1及第一图像信号输出单元1010；第二照相机模块1112包括第二透镜l2及第二图像信号输出单元1020；且第三照相机模块1113包括第三透镜l3及第三图像信号输出单元1030。

此处，第一透镜l1及第三透镜l3中的至少一者可为与第二透镜l2相比不同类型的透镜。举例来说，第一透镜l1及第三透镜l3可为广角透镜，而第二透镜l2可为摄远透镜。

图2a及图2b分别是说明图1所示的第一透镜l1、第二透镜l2及第三透镜l3的示例性配置的图式。

参照图2a，第一透镜l1、第二透镜l2以及第三透镜l3在电子装置1000(例如，移动电话)的主体的一个侧表面(例如，前侧或后侧)上水平设置。在某些配置中，第二透镜l2设置在第一透镜l1的一侧，而第三透镜l3设置在第一透镜l1的相对(或另一)侧。在图2a中，第二透镜l2与第三透镜l3关于第一透镜l1对称设置。也就是说，假设第二透镜l2在一侧与第一透镜l1间隔开第一距离d1且第三透镜l3在另一侧与第一透镜l1间隔开第二距离d2，图2a所示的实施例假设第一距离d1与第二距离d2实质上相同。然而，在本发明概念的其他实施例中未必总是此种情形。

在图2a所示的实施例中，第一透镜l1、第二透镜l2以及第三透镜l3的中心沿水平线线性设置，出于本说明的目的将对用语“水平”的任意定义假设为指跨越电子装置1000的宽度的方向。利用此假设的定义，图2b所示的实施例沿实质上相同的垂直线垂直设置第一透镜l1、第二透镜l2以及第三透镜l3的中心。

参照图2a及图2b，在将物件设置成面对第一透镜l1时，所述对象与第一透镜l1被排列成彼此对准，且第一距离d1与第二距离d2彼此不同，自所述对象反射的光入射到第一透镜l1、第二透镜l2以及第三透镜l3中的每一者的角度将彼此不同。

因此，在准确地表示所述对象时，在从第一透镜l1、第二透镜l2以及第三透镜l3中的每一者获得的图像(例如，id1、id2及id3)中可存在未补偿(或未校正)的畸变。也就是说，由于第一距离d1与第二距离d2彼此不同，因此在所述图像(例如，id1、id2及id3)之间的某一程度的畸变可变得严重。

为了纠正上述图像畸变，可对从第一透镜l1、第二透镜l2以及第三透镜l3中的每一者获得的图像(例如，id1、id2及id3)中的每一者执行校正操作。此时，由于所述图像(例如，id1、id2及id3)之间的畸变程度可能是严重的，因此校正操作的误差可相应地为大的。如果所得校正操作误差是大的，那么输出图像(例如，io)的噪声(伪像)可变大。

在图像处理装置(如图1所示的图像处理装置)中，第二透镜l2及第三透镜l3可分别与第一透镜l1间隔开实质上相同的间距(例如，第一距离d1＝第二距离d2)。与其中第一距离d1与第二距离d2实质上不同的配置相比，其中第一距离d1与第二距离d2实质上相同时所述图像(例如，id1、id2及id3)之间的畸变程度可显著减小。因此，相对于随后对各图像(例如，id1、id2及id3)执行的校正操作，可减小校正误差。

返回参照图1，第一图像信号输出单元1010可包括例如第一图像传感器1011、第一存储装置1012以及第一模数转换器1013；第二图像信号输出单元1020可包括例如第二图像传感器1021、第二存储装置1022以及第二模数转换器1023；且第三图像信号输出单元1030可包括例如第三图像传感器1031、第三存储装置1032以及第三模数转换器1033。

第一图像id1、第二图像id2以及第三图像id3中的每一者分别是从第一透镜l1、第二透镜l2以及第三透镜l3获得。第一图像id1、第二图像id2以及第三图像id3然后可分别被提供到第一图像信号输出单元1010、第二图像信号输出单元1020以及第三图像信号输出单元1030。第一图像传感器1011、第二图像传感器1021以及第三图像传感器1031中的每一者可用以分别感测第一图像id1、第二图像id2以及第三图像id3。

因此，第一图像传感器1011(例如，彩色图像传感器)接收第一图像id1以产生第一图像信号is1；第二图像传感器1021(例如，彩色传感器)接收第二图像id2以产生第二图像信号is2；且第三图像传感器1031(例如，单色图像传感器)接收第三图像id3以产生第三图像信号is3。

第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113中的每一者的校准数据可分别存储在第一存储装置1012、第二存储装置1022以及第三存储装置1032中，其中用语“校准数据”可包括例如与对应照相机模块的旋转程度、焦距及/或光轴相关联的信息。

第一模数转换器1013、第二模数转换器1023、以及第三模数转换器1033中的每一者可用以分别转换第一图像信号id1、第二图像信号id2以及第三图像信号id3的格式。举例来说，可将具有模拟格式的第一图像信号id1、第二图像信号id2以及第三图像信号id3分别转换成对应的数字信号(即，第一图像信号is1、第二图像信号is2及第三图像信号is3)。

分别由第一照相机模块1111、第二照相机模块1112及第三照相机模块1113提供的第一图像信号is1、第二图像信号is2及第三图像信号is3可被输入到处理器1120。在图1所示的实施例中，处理器1120包括第一接口110、第二接口120、第三接口130、第一选择器210、第一信号处理器310、第二信号处理器320以及第一图像产生器400。然而，此仅是可用于实施本发明概念的各种实施例中的处理器的元件及/或功能的许多特定排列中的一者。

然而，在图1所示的实施例中，第一接口110、第二接口120及第三接口130可分别用以将可与第一图像传感器1011、第二图像传感器1021以及第三图像传感器1031兼容的一个或多个信号格式改变为与处理器1120更兼容的格式。此处，第一接口110、第二接口120及第三接口130可为例如照相机串行接口(cameraserialinterface，csi)。

在图1中，第一图像信号is1通过第一接口110被提供到第一信号处理器310；第二图像信号is2通过第二接口120被提供到第一选择器210；且第三图像信号is3通过第三接口130被提供到第一选择器210。第一选择器210接收第二图像信号is2及第三图像信号is3作为输入，且响应于选择信号ss，第一选择器210输出第二图像信号is2及第三图像信号is3中被选择的一者作为被提供到图像处理器1121的第一图像输出信号isa。在一些实施例中，第一选择器210可被设置成与图像处理器1121的第二信号处理器320分离。

利用上述实施例作为工作实例，选择信号ss可被配置成与第一条件c1(例如，逻辑值为‘0’)-选择第二图像信号is2或第二条件c2(例如，逻辑值为‘1’)-选择第三图像信号is3中的一者相关。就此来说，第一条件c1与第二条件c2可为不同的条件。举例来说，第一条件c1可指示高照度环境(即，照度大于预定值)且第二条件c2可指示低照度环境(即，照度小于预定值)。在此上下文中，使用用语“照度”来指示与(例如)从第一照相机模块1111的第一透镜l1获得的成像对象相关联的位置的亮度。

在一些实施例中，第一信号处理器310可用于感测照度并将对应的照度信息传送到选择信号产生器310_ss，其中选择信号产生器310_ss用于响应于照度信息来产生选择信号ss。在图1所示的实施例中，选择信号产生器310_ss被示出为设置在处理器1120中，但在本发明概念的其他实施例中未必总是此种情形。举例来说，选择信号产生器310_ss可为设置在处理器1120之外的硬件组件、或提供选择信号产生功能的软件组件。

在图1中，处理器1120的图像处理器1121接收第一图像信号is1以及第一选择器210的输出信号isa与选择信号ss的组合，以便产生输出图像io。此处，图像处理器1121包括第一信号处理器310、第二信号处理器320以及第一图像产生器400。

第一信号处理器310接收第一图像信号is1作为输入并执行第一图像信号处理以向第一图像产生器400提供第一输出图像信号is1a。在此种配置中，例如，由第一信号处理器310提供的第一输出图像信号is1a可为经执行由第一信号处理器310处理的第一图像信号处理的第一输出信号is1。

图3是在一个实施例中进一步说明图1所示的第一信号处理器310的方块图。

参照图3，第一信号处理器310可包括第一格式转换器311、第一噪声移除单元313、第一图像增强器315以及第二格式转换器317。由第一信号处理器310执行的第一图像处理可包括：使第一图像信号is1依序穿过第一格式转换器311、第一噪声移除单元313、第一图像增强器315以及第二格式转换器317，以产生具有适当的信号格式的第一输出信号is1a。

也就是说，第一格式转换器311可接收第一图像信号is1，改变第一图像信号is1的格式，并将格式经改变的第一图像信号提供到第一噪声移除单元313。就此来说，第一图像信号is1可具有根据第一照相机模块1111使用的滤色器排列的具体形式界定的格式。举例来说，在其中例如第一照相机模块1111的第一图像传感器1011包括拜耳(bayer)颜色排列的情况下，第一格式转换器311可将第一图像信号is1的格式转换成传统上理解的rgb格式。在此种情形中，第一格式转换器311可将第一图像信号is1的格式转换成rgb格式。第一格式转换器311可例如执行去马赛克(demosaic)操作。在其他实施例中，可根据第一照相机模块1111的第一图像传感器1011的滤色器的类型而省略第一格式转换器311的操作。

第一噪声移除单元313可用以从第一格式转换器311提供的输出信号移除一个或多个噪声分量，并将所得的噪声滤除输出信号提供到第一图像增强器315。

继而，从第一噪声移除单元313接收噪声滤除输出信号的第一图像增强器315，执行提高所得信号的质量的信号处理，并将质量经提高的输出信号提供到第二格式转换器317。举例来说，第一图像增强器315可用以从第一噪声移除单元313提供的噪声滤除输出信号移除假彩色分量(falsecolorcomponent)，或可用以执行锐化操作等。

第二格式转换器317接收由第一图像增强器315提供的质量经提高的信号，并可用以将此信号的格式转换成与第一图像产生器400兼容的格式。举例来说，由第一图像增强器315提供的质量经提高的信号可具有rgb格式，所述rgb格式利用第二格式转换器317被转换成包括光亮度信息及彩色信息的(例如)yuv格式。

再次返回参照图1，第二信号处理器320从第一选择器210接收第一图像输出信号isa，并执行第二图像信号处理，以便产生与第一图像产生器400格式兼容的第二图像输出信号isb。

图4是在一个实施例中进一步说明图1所示的第二信号处理器320的方块图。

参照图4，第二信号处理器320可包括第二选择器220、第三格式转换器321、第三选择器230、第二噪声移除单元323、第二图像增强器325、第四选择器240、第四格式转换器327以及第五选择器250。由第二信号处理器320执行的第二图像信号处理可包括：相对于从第一选择器210接收的第一图像输出信号isa产生具有所需格式的第二图像输出信号isb。被提供到第一选择器210的选择信号ss也可被输入到第二选择器220、第三选择器230、第四选择器240以及第五选择器250。

当选择信号ss包括对应于第一条件c1的信息时，第一选择器210的第一图像输出信号isa可为第二图像信号is2。在此种情形中，第二选择器220可基于选择信号ss向第三格式转换器321提供第二图像信号is2。

第三格式转换器321可接收第二图像信号is2的输入并转换第二图像信号is2的格式，以将第二图像信号提供到第三选择器230。第三格式转换器321可与第一信号处理器310的第一格式转换器311(参见图3)实质上相同。

在第一条件c1下，第三选择器230可基于选择信号ss将第三格式转换器321的输出信号提供到第二噪声移除单元323。

第二噪声移除单元323可接收第三选择器230的输出信号的输入，并移除第三选择器230的输出信号的噪声，以将输出信号提供到第二图像增强器325。第二噪声移除单元323可与第一信号处理器310的第一噪声移除单元313(参见图3)实质上相同。

第二图像增强器325可接收第二噪声移除单元323的输出信号的输入，并执行用于提高第二图像信号is2的质量的工作，以将输出信号输出到第四选择器240。第二图像增强器325可与第一信号处理器310的第一图像增强器315(参见图3)实质上相同。

在第一条件c1下，第四选择器240可基于选择信号ss将第二图像增强器325的输出信号提供到第四格式转换器327。

第四格式转换器327可转换第二图像增强器325的输出信号的格式，以将输出信号提供到第一图像产生器400。第四格式转换器327可与第一信号处理器310的第二格式转换器317(图3)实质上相同。

当选择信号ss包括对应于第二条件c2的信息时，第一选择器210的输出信号isa可为第三图像信号is3。在此种情形中，第二选择器220及第三选择器230可基于选择信号ss将第三图像信号is3提供到第二噪声移除单元323。第三照相机模块1113的第三图像传感器1031可为黑白图像传感器。因此，对于第三图像信号is3来说，利用第三格式转换器321的格式转换工作可能是没有必要的。

第二噪声移除单元323可接收第三图像信号is3的输入并移除第三图像信号is3的噪声，以将第三图像信号提供到第二图像增强器325。第二图像增强器325可接收第二噪声移除单元323的输出信号并执行用于提高第二噪声移除单元323的输出信号的质量的工作，以将输出信号提供到第四选择器240。

在第二条件c2下，第四选择器240可基于选择信号ss将第二图像增强器325的输出信号提供到第五选择器250。在第二条件c2下，第五选择器250可基于选择信号ss输出第二图像增强器325的输出信号作为输出信号isb。也就是说，对于第三图像信号is3来说，利用第四格式转换器327的格式转换工作可能是没有必要的。

再次参照图1，第一图像产生器400可利用第一信号处理器310的输出信号is1a以及第二信号处理器320的输出信号isb来执行图像处理并产生输出图像io。

图5是在一个实施例中进一步说明图1所示的第一图像产生器400的方块图。

参照图5，第一图像产生器400包括深度信息产生单元410、第一输出图像产生单元420、第二输出图像产生单元430以及第三输出图像产生单元440。在一些实施例中，由第一图像产生器400执行的图像处理可包括：利用深度信息产生单元410、第一输出图像产生单元420、第二输出图像产生单元430以及第三输出图像产生单元440来产生两个图像信号isb及is1a作为单个图像(例如，io1或io2)。

深度信息产生单元410可接收两个图像信号isb及is1a的输入，并输出深度信息is_410a以及对应的视差(disparity)信息is_410b。

图6是在一个实施例中进一步说明图5所示的第一图像产生器400的深度信息产生单元410的方块图。

参照图6，深度信息产生单元410可包括调整单元411、对应的视差信息产生器413以及深度信息产生器415。

两个图像信号isb及is1a中的每一者可被输入到调整单元411。两个调整单元411可被设置成对应于两个图像信号isb及is1a。调整单元411可执行用于纠正两个图像信号isb及is1a中的每一者的畸变的校正工作。也就是说，调整单元411可对两个图像信号isb及is1a进行校正以使所述两个图像信号行对准(row-aligned)。在校正工作的进程中，调整单元411可使用例如存储在第一照相机模块1111、第二照相机模块1112以及第三照相机模块1113的第一存储装置1012、第二存储装置1022以及第三存储装置1032中的校准数据等。

可将调整单元411的相应输出输入到对应的视差信息产生器413。对应的视差信息产生器413可搜寻调整单元411的输出信号中的每一者中的对应的点，且可计算其中对两个图像信号isb及is1a进行校正的调整单元411的输出信号的对应视差。对应的视差信息产生器413可输出对应的视差信息is_410b。对应的视差信息is_410b可为例如对应的视差图(disparitymap)。

对应的视差信息is_410b可被提供到深度信息产生器415。深度信息产生器415可通过视差转换对应的视差信息is_410b，以产生深度信息is_410a。深度信息is_410a可为例如深度图。

再次参照图5，第一输出图像产生单元420可接收第一信号处理器310的输出信号is1a以及深度信息is_410a的输入，以产生第一输出图像io1。

图7是在一个实施例中说明图5所示的第一图像产生器400的第一输出图像产生单元420的方块图。

参照图7，第一输出图像产生单元420可包括离焦单元(out-focusunit)421。离焦单元421可利用深度信息is_410a将第一信号处理器310的输出信号is1a转换成第一输出图像io1。离焦单元421例如可向第一信号处理器310的输出信号is1a提供离焦效果。

再次参照图5，第二输出图像产生单元430可接收两个图像信号isb及is1a以及对应的视差信息is_410b的输入，以产生第二输出图像io2。

图8是在一个实施例中进一步说明图5所示的第一图像产生器400的第二输出图像产生单元430的方块图。

参照图8，第二输出图像产生单元430可包括像素映射单元431及混合单元433。像素映射单元431可利用对应的视差信息is_410b产生两个图像信号isb及is1a的像素图。混合单元433可接收两个图像信号isb及is1a的输入，并利用像素映射单元431的输出来使所述两个图像信号isb及is1a混合，以产生单个第二输出图像io2。

再次参照图5，当选择信号ss包括对应于第一条件c1的信息时，第三输出图像产生单元440可对第一信号处理器310的输出信号is1a及第二信号处理器320的输出信号isb中的一者进行比例缩放以产生第三输出图像io3。举例来说，当处理器(图1所示的1120)是内建在手机中的应用处理器ap且选择信号(图1所示的ss)包括对应于第一条件(图1所示的c1)的信息时，可为用户支持变焦模式(zoommode)。

当缩放比(scaleratio)低(即，在第三条件c3中)时，第一信号处理器310的输出信号is1a可由变焦选择器441提供到输出图像产生单元440。第三输出图像产生单元440可对第一信号处理器310的输出信号is1a进行比例缩放以产生第三输出图像io3。也就是说，当变焦选择信号ss_zoom包括对应于第三条件c3的信息时，变焦选择器441可将第一信号处理器310的输出信号is1a提供到第三输出图像产生单元440。此处，第三条件c3可为例如其中与第三输出图像产生单元440产生的第三输出图像io3相关联的视角小于与第二图像(图1所示的id2)相关联的视角的情形。

当缩放比增大且与第三输出图像产生单元440产生的第三输出图像io3相关联的视角大于或等于与第二图像(图1所示的id2)相关联的视角时(即，在第四条件c4中)，变焦选择器441可将第二信号处理器320的输出信号isb输出到第三输出图像产生单元440。第三输出图像产生单元440可对第二信号处理器320的输出信号isb进行比例缩放以产生第三输出图像io3。也就是说，当变焦选择信号ss_zoom包括对应于第四条件c4的信息时，变焦选择器441可将第二信号处理器320的输出信号isb输出到第三输出图像产生单元440。此时，第四条件c4可为例如其中由第三输出图像产生单元440产生的第三输出图像io3的视角等于或大于第二图像(图1所示的id2)的视角的情形。

例如当处理器(图1所示的1120)是内建在移动电话中的应用处理器ap时，变焦选择信号ss_zoom可由选择缩放比的用户确定。举例来说，变焦选择信号ss_zoom可由变焦选择信号产生器产生。变焦选择信号产生器可利用用户选择的缩放比信息来产生变焦选择信号ss_zoom。在一些实施例中，变焦选择信号产生器可被提供为软件。

再次参照图1，作为第一图像产生器400的输出的输出图像io可为第一输出图像io1及第二输出图像io2中的一者。举例来说，根据预定图像系统的模式，第一输出图像io1、第二输出图像io2以及第三输出图像io3中的一者可被输出作为输出图像io。举例来说，当处理器1120是内建在手机中的应用处理器ap时，第一输出图像io1、第二输出图像io2以及第三输出图像io3中的一者可被输出到移动电话的液晶屏幕。

以下，将参照图9及图10阐述根据本发明概念的一些实施例的图像处理装置。

图9是根据本发明概念的一些实施例说明图像处理装置的方块图，且图10是在一个实施例中进一步说明图9所示的第三信号处理器330的方块图。

参照图9及图10，第三信号处理器330可包括输出第二图像信号is2或第三图像信号is3中的一者的第六选择器260。第三信号处理器330还可包括第三格式转换器321、第二噪声移除单元323、第二图像增强器325、第七选择器270、第四格式转换器327、以及第八选择器280。输入到第六选择器260、第七选择器270以及第八选择器280的选择信号ss可被输入到第三信号处理器330。

第三信号处理器330可接收第二图像信号is2及第三图像信号is3的输入。第二图像信号is2可通过第三格式转换器321被输入到第六选择器260。第三图像信号is3可被输入到第六选择器260。

第六选择器260可在第一条件c1下基于选择信号ss输出第三格式转换器321的输出信号。此外，第六选择器260可在第二条件c2下基于选择信号ss输出第三图像信号is3。换句话说，第六选择器260可执行与参照图1所述的第一选择器(图1所示的210)相同的功能。

第六选择器260的输出信号isa可通过第二噪声移除单元323及第二图像增强器325而被输入到第七选择器270。

第七选择器270可在第一条件c1下基于选择信号ss来连接第四格式转换器327的输入端子与第二图像增强器325的输出端子。同时，第七选择器270可在第二条件c2下基于选择信号ss来输出第二图像增强器325的输出信号作为第三信号处理器330的输出信号isb。

图11是根据本发明概念的一些实施例的图像处理装置的方块图。

参照图11，照相机模块1110_1可包括第九选择器290。第九选择器290可选择第二图像信号is2或第三图像信号is3，并输出图像信号作为输出信号isa。第九选择器290可执行与参照图1所述的第一选择器(图1所示的210)实质上相同的功能。

照相机模块1110_1可将第一图像信号is1及第九选择器290的输出信号isa提供到处理器1120。处理器1120可包括第一接口110、第二接口120以及图像处理器1121。图像处理器1121可包括第一信号处理器310、第二信号处理器320以及第一图像产生器400。

图12是说明根据本发明概念的一些实施例的图像处理装置的方块图，且图13是在一个实施例中进一步说明图12所示的第二图像产生器500的方块图。

参照图12及图13，图像处理器1121可接收第一图像信号is1到第三图像信号is3的输入。图像处理器1121可包括第一信号处理器310、第四信号处理器340、第五信号处理器350以及第二图像产生器500。第二图像产生器500可包括第十选择器299，第十选择器299接收第四信号处理器340的输出信号is2a以及第五信号处理器350的输出信号is3a，以基于选择信号ss输出第四信号处理器340的输出信号is2a及第五信号处理器350的输出信号is3a中的一者。

第四信号处理器340可接收穿过第二接口120的第二图像信号is2，并执行第一图像信号处理以输出输出信号is2a。第五信号处理器350可接收穿过第三接口130的第三图像信号is3，并执行第一图像信号处理以输出输出信号is3a。第四信号处理器340及第五信号处理器350可与参照图1及图3所述的第一信号处理器(图1所示的310)实质上相同。

第一信号处理器310的输出信号is1a、第四信号处理器340的输出信号is2a以及第五信号处理器350的输出信号is3a可被提供到第二图像产生器500。

第二图像产生器500中所包括的第十选择器299可执行与参照图1所述的第一选择器210实质上相同的功能。因此，输出信号isa在第一条件c1下可为第四信号处理器340的输出信号is2a，且输出信号isa在第二条件c2下可为第五信号处理器350的输出信号is3a。

深度信息产生单元410可接收第十选择器299的输出信号isa以及第一信号处理器310的输出信号is1a的输入，以产生深度信息is_410a以及对应的视差信息is_410b。第一输出图像产生单元420可接收第一信号处理器310的输出信号is1a以及深度信息is_410a的输入以产生第一输出图像io1。第二输出图像产生单元430可接收第一信号处理器310的输出信号is1a、第十选择器299的输出信号isa、以及对应的视差信息is_410b的输入以产生第二输出图像io2。第三输出图像产生单元440可利用变焦选择器441的输出信号来产生第三输出图像io3。

以下，将参照图14来阐述根据本发明概念的一些实施例的图像处理方法。为阐释清晰起见，对上述说明便不再予以赘述。

图14是根据本发明概念的一些实施例中概述可由第一选择器(图1所示的210)、第六选择器(图10所示的260)、第九选择器(图11所示的290)、以及第十选择器(图13所示的299)中的任一者执行的某些方法步骤的流程图。

参照图14，可提供第二图像信号及第三图像信号(s100)。

具体来说，例如，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可接收从第二照相机模块(图1、图9、图11及图12中的1112)产生的第二图像信号is2、以及从第三照相机模块(图1、图9、图11及图12中的1113)产生的第三图像信号is3的提供。

在照度与预定值之间进行比较(s200)。当照度大于或等于预定值(即，第一条件c1)时，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可输出第二图像信号is2。当照度小于预定值(即，第二条件c2)时，在步骤s400中，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可输出第三图像信号is3。

图像处理器1121可包括利用第一图像信号is1及选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)的输出信号来产生输出图像io。

根据本发明概念的实施例的图像处理装置可包括选择器(图1中的210、图10中的260、图11中的290以及图13中的299)，所述选择器选择并输出第二图像信号is2及第三图像信号is3中的一者。

在第一条件c1的情形中，选择器(图1中的210、图10中的260、图11中的290以及图13中的299)可选择并输出第二图像信号is2(或第四信号处理器(图12中的340)的输出信号is2a)。图像处理器1121可利用从第一照相机模块(图1、图9、图11及图12中的1111)产生的第一图像信号is1以及从第二照相机模块(图1、图9、图11及图12中的1112)产生的第二图像信号is2来产生输出图像io。第一照相机模块(图1、图9、图11及图12中的1111)的第一透镜l1是广角透镜，而第二照相机模块(图1、图9、图11及图12中的1112)的第二透镜l2可为摄远透镜。因此，当照度相对高时，可提高图像处理装置的变焦操作性能。

在第二条件c2的情形中，选择器(图1中的210、图10中的260、图11中的290、以及图13中的299)可选择并输出第三图像信号is3的输出信号(或第五处理器(图12中的350)的输出信号is3a)。处理器1120可利用从第一照相机模块(图1、图9、图11及图12中的1111)产生的第一图像信号is1以及从第三照相机模块(图1、图9、图11及图12中的1113)产生的第三图像信号is3来产生输出图像io。第一照相机模块(图1、图9、图11及图12中的1111)的第一图像传感器1011可为彩色图像传感器，且第三照相机模块(图1、图9、图11及图12中的1113)的第三图像传感器可为黑白图像传感器。当照度相对低时，黑白图像传感器可具有比彩色图像传感器更高的图像灵敏度。因此，当照度相对低时，可改善图像处理装置的输出图像io的质量。

图15是根据本发明概念的一些实施例包括图像处理装置的图像系统的概括方块图。图16是根据本发明概念的一些实施例说明包括图像处理装置的图像系统的一部分的概括方块图。

参照图15，图像系统可包括照相机模块1110、处理器1120、存储装置1130、接口1140以及总线1150。照相机模块1110、处理器1120、存储装置1130及/或接口1140可通过总线1150互连。总线1150可对应于数据在照相机模块1110、处理器1120、存储装置1130及/或接口1140之间传递的通过路径。

存储装置1130可存储数据及/或命令等。接口1140可执行将数据传递到通信网络或从通信网络接收数据的功能。接口1140可为有线形式或无线形式。举例来说，接口1140可包括天线或有线/无线收发器等。

尽管图中未示出，但图像系统还可包括高速dram及/或sram作为操作存储器，用于改善照相机模块1110及处理器1120的操作。

所述图像系统可应用到个人数字助理(personaldigitalassistant，pda)、便携式计算机、网络平板电脑、无线电话、移动电话或可在无线情况下传送及/或接收信息的所有电子产品。

在一些实施例中，图像系统可应用到移动电话。举例来说，参照图16，处理器1120及接口1140可设置在板1100上并设置成单个板的形式。照相机模块1110可通过接口1140与处理器1120通信。衬底1100可例如为移动电话的衬底。处理器1120可为例如内建在移动电话中的应用处理器ap。

尽管已参照本发明概念的示例性实施例具体说明并阐述了本发明概念，但所属领域中的普通技术人员将理解，在不背离由以上权利要求书所界定的本发明概念的精神及范围的条件下，可作出各种形式及细节上的变化。所述示例性实施例应仅以阐述性意义来考虑而不用于限制目的。