特性将第二个图像群中的多个图像，合成单一图像放大输出，以产生对应左眼的位移图像LI。
[0045]上述的单一图像放大输出是将多个较小的图像合成一个较大的图像，例如将两个五百万像素(Pixel)的图像合成一个一千万像素的图像。感应器阵列120的多个图像感应器可在同一时间(即同步)拍摄多个图像，然后图像前置处理单元125可使用单一图像放大输出技术和上述多个图像产生具有更高分辨率的位移图像Rl和LI。
[0046]此外，图像前置处理单元125还可以支持高动态范围(HDR:high dynamic range)技术。传统的高动态范围技术是对同一场景，在不同时间，使用不同曝光值拍摄多个图像，然后合成一个图像，其目的是在单一图像中呈现更广的明暗范围。感应器阵列120的多个图像感应器可在同一时间各使用不同曝光值撷取多个图像，然后图像前置处理单元125可使用高动态范围技术，根据上述多个图像产生明暗范围更广的位移图像Rl和LI。上述的多个图像是在同一时间拍摄，不仅效率更高，效果也更佳，例如可将使用者的手震的影响最小化。
[0047]图像处理管线130如图2所示。于此实施例中，图像处理装置100可包括至少两个图像处理管线130，其中一图像处理管线130可由图像前置处理单元125接收位移图像R1，而另一图像处理管线130可由图像前置处理单元125接收位移图像LI。每一个图像处理管线130包括呈串行耦接的多个图像处理单元，可依序对其所接收的位移图像Rl (或LI)进行多阶段图像处理，并输出对应于位移图像Rl (或LI)的位移图像R2(或L2)。进一步而言，每一个图像处理管线130中的第一个图像处理单元接收位移图像Rl (或LI)作为输入，其余每一个图像处理单元接收上一个图像处理单元的输出作为输入。这些图像处理单元对位移图像Rl (和LI)进行一连串图像处理。在以下说明中，两个图像处理管线130个别接收的两个位移图像以Rl和LI表示，两个图像处理管线130个别输出的两个位移图像则以R2和L2表示。上述两个图像处理管线130输出位移图像R2和L2至图像分析器140、聚焦单元160、以及深度产生器180。
[0048]举例而言，每一个图像处理管线130可以如图3所示，其中的图像处理单元可包括呈串行I禹接的镜头扭曲修正单元(lens distort1n correct1n unit) 310、同步处理单兀(synchronizat1n processing unit) 320、去噪声单兀(de-noise unit) 330、视差校正单兀(parallax calibrat1n unit) 340、以及图像校正单兀(image rectificat1nunit)350。以下说明以图2上方的图像处理管线130为范例。对于图2下方的图像处理管线130的说明，只需将位移图像Rl与R2分别置换为位移图像LI与L2。
[0049]镜头扭曲修正单元310修正位移图像Rl中的鱼眼现象，也就是直线经过拍摄后会略微弯曲的现象。
[0050]同步处理单元320修正并缩减位移图像Rl和LI之间的差异，上述差异可包括感应器阵列120其中的图像感应器的拍摄时间、曝光(exposure)、色彩、白平衡(whitebalance)、以及对焦平面其中的一项或多项差异。
[0051]去噪声单元330可滤除位移图像Rl中的噪声，包括亮度噪声与色彩噪声。
[0052]对应于位移图像Rl的视差校正单元340会在位移图像Rl中决定一个裁切方框(cropping frame)及其位置,并在位移图像Rl上裁去裁切方框以外的部分及保留裁切方框以内的部分。同样地，对应于位移图像LI的视差校正单元340会在位移图像LI中决定另一个裁切方框(cropping frame)及其位置，并在位移图像LI上裁去裁切方框以外的部分及保留裁切方框以内的部分。为了营造两个位移图像LI与Rl间所需的视差(parallax)效果，视差校正单元340会将裁切方框安排在位移图像Rl与位移图像LI中的不同位置，使每个位移图像的视界(view)有少许差别。
[0053]例如图4所示，在此范例中，两个图像处理管线130其中的两个视差校正单元340分别在位移图像LI与Rl上决定裁切方框415与425以及这两个裁切方框的位置。两个裁切方框415、425的位置不同，如果放在同一个图像中，两个裁切方框415、425之间会有一小段距离，这个间距是根据感应器阵列120的多个图像感应器的多个镜头之间的距离而决定。因此，每一个视差校正单元340会根据上述的多个镜头之间的距离，在位移图像中决定其裁切方框及裁切方框的位置，以营造视差效果。
[0054]感应器阵列120的多个图像感应器的多个镜头应该安装在同一个平面上，而且上述多个镜头的安装角度应该一致。例如每个镜头的视界中的上方必须指向同一方向，不应有旋转角度上的偏差。但是在制造过程中，每个镜头的安装位置不一定在同一平面上，安装角度的偏差也在所难免。图像校正单元350可校正上述的安装位置和/或安装角度的偏差对于位移图像Rl所造成的扭曲(distort1n)。例如可使用仿射转换(affine transform)以校正上述扭曲。
[0055]图5绘示深度产生器180的进一步细节。深度产生器180包括色彩空间转换器510、背景模型单元(background modeling unit) 520、对象轮廓单元530、偏移估算器540、后处理器550、以及偏移深度转换器560。色彩空间转换器510耦接每一个图像处理管线130，背景模型单元520和偏移估算器540各自耦接色彩空间转换器510，对象轮廓单元530耦接背景模型单元520，后处理器550耦接对象轮廓单元530和偏移估算器540，偏移深度转换器560耦接于后处理器550和聚焦单元160之间。
[0056]深度产生器180根据位移图像R2和L2产生深度信息(例如d印th map)。此深度信息包括相关于感应器阵列120所拍摄的每一个对象的距离信息。例如，上述距离信息可以是对应的对象和图像感应器的镜头之间的距离，此距离也可称为深度或深度值。
[0057]图6A与图6B是依照本发明一实施例的深度信息的示意图。图6A是感应器阵列120所拍摄的场景，其中有多个对象(例如多个玩偶)，深度产生器180对应此场景产生的深度信息如图6B所示。深度信息可以是由深度值构成的二维矩阵，其中每一个深度值是位移图像R2和L2之中同一位置的对象的深度值。图6B的深度值已转换为对应的灰阶以方便显示。图6A的对象可分为五个层次，分别对应图6B的五个区域610?650，其中灰色越深的区域表示距离越远。
[0058]以下说明深度产生器180的每一单元。色彩空间转换器510可将位移图像R2和L2自第一色彩空间转换至第二色彩空间。上述的第一色彩空间不包括亮度分量，例如RGB或CMYK ;而第二色彩空间包括亮度分量和至少一个色彩分量，例如YUV或YCbCr。本实施例的感应器阵列120使用RGB色彩空间拍摄图像，如果感应器阵列120可用YUV之类的包含亮度分量的色彩空间拍摄图像，则可省略色彩空间转换器510。
[0059]偏移估算器540可根据位移图像R2和L2的亮度分量(例如YUV色彩空间的Y分量)产生偏移信息(例如disparity map)，此偏移信息包括每一个对象在位移图像R2和L2之间的偏移量。所谓偏移量是指同一个对象的同一点在不同图像中的不同位置之间的差距。越靠近镜头的对象会有越大的偏移量，因此用偏移量加上图像感应器的镜头的间距，可以推导出深度信息。偏移估算器540可检测并估算上述对象的偏移量，以产生偏移信息。偏移信息可以是类似图6B的二维矩阵，只是其中的深度值换成偏移量。
[0060]背景模型单元520可根据位移图像R2或L2的至少一个色彩分量(例如YUV色彩空间的U分量与V分量)，区分该位移图像的前景与背景。上述前景是指使用者比较可能感兴趣的部分，而背景是比较不重要的部分。因为感应器阵列120的每一个图像感应器的视界相差不大，所以背景模型单元520可以只将位移图像R2和L2其中之一图像的前景或背景的信息取出即可。
[0061]在图5的实施例中，背景模型单元520亦耦接偏移估算器54