图像处理装置的制造方法
【技术领域】
[0001]本发明是有关于一种图像处理装置，且特别是有关于可产生图像的深度信息，而且可根据深度信息产生大尺寸二维(2D)图像与适合人眼观看的立体三维图像(stereoscopic3D video)的一种图像处理装置。
【背景技术】
[0002]传统摄影机使用单一镜头与单一图像感应器,并使用音圈马达(VCM:voice coilmotor)驱动镜头前后移动，以实现自动对焦和取得深度信息(depth informat1n),以为二维(2D)图像与三维(3D)图像的产生做准备。但是音圈马达动作缓慢、耗电、而且会发出噪音。这些缺陷使得产生深度信息的功能需要更多时间与电力来完成。而使用多个相机或图像矩阵的图像输入则无法克服同时取得大尺寸二维图像、如何处理多张复杂的图像输入、与如何实时产生适合人眼观看的立体三维图像的问题。
[0003]相机使用者多希望可以拍摄大尺寸二维图像，例如一千万像素(lOmegapixels)的图像。来自多个相机或图像矩阵的图像虽然可以让深度信息的取得更容易，但是多个相机或图像矩阵的图像输出尺寸通常多是小尺寸，例如每一张都只有一百万像素，并且这些多张小尺寸图像需具有相同对焦平面。如何产生清楚的大尺寸二维图像将是一大挑战。
[0004]当多张输入图像有不同的成像平面并结合光学变焦(optical zoom)功能时,如何实时产生适合人眼观看的立体三维图像的问题会引发更多复杂挑战，尤其是当使用者感兴趣的对象四处移动时，将使多个相机或图像矩阵的图像输入摄影机更不易使用。
【发明内容】
[0005]本发明提供一种图像处理装置，搭配多个图像感应器或图像矩阵输入不同对焦平面的图像，并使用数字图像处理技术实现同时且实时产生大尺寸二维图像与产生适合人眼观看的立体三维图像，具有快速与省电的功效。上述的图像处理装置也包括多种深度信息的应用功能。
[0006]本发明的图像处理装置包括图像感应阵列、图像前置处理单元、深度产生器以及聚焦单元。图像感应阵列包括多个图像感应器，用以针对第一对象与第二对象撷取多个图像。图像前置处理单元耦接图像感应阵列，用以接收上述多个图像，并对上述多个图像进行处理，以产生相关于第一对象与第二对象的第一位移图像与第二位移图像。深度产生器耦接图像前置处理单元，用以根据第一位移图像与第二位移图像产生深度信息。深度信息包括相关于第一对象的第一距离信息。聚焦单元耦接图像前置处理单元与深度产生器，用以根据深度信息、第一位移图像与第二位移图像产生第一对对焦图像，其中第一对对焦图像对焦于第一对象。
[0007]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
【附图说明】
[0008]图1是依照本发明一实施例的一种图像处理装置的示意图。
[0009]图2与图3是依照本发明一实施例的一种图像处理管线的示意图。
[0010]图4是依照本发明一实施例的视差校正的示意图。
[0011]图5是依照本发明一实施例的一种深度产生器的示意图。
[0012]图6A与图6B是依照本发明一实施例的深度信息的示意图。
[0013]图7是依照本发明另一实施例的一种深度产生器的示意图。
[0014]图8是依照本发明一实施例的红外线反射光点的示意图。
[0015]图9A至图9D是依照本发明一实施例的对焦图像的示意图。
[0016]图10是依照本发明另一实施例的一种图像处理装置的示意图。
[0017]图11是依照本发明一实施例的遮蔽点的示意图。
[0018]图12是依照本发明另一实施例的一种图像处理装置的示意图。
[0019][标号说明]
[0020]100:图像处理装置 105:图像感应阵列
[0021]110:镜头阵列120:感应器阵列
[0022]125:图像前置处理单元130:图像处理管线
[0023]140:图像分析器150: 二维图像合成器
[0024]160:聚焦单元170:储存单元
[0025]180:深度产生器310:镜头扭曲修正单元
[0026]320:同步处理单元330:去噪声单元
[0027]340:视差校正单元350:图像校正单元
[0028]415,425:裁切方框510:色彩空间转换器
[0029]520:背景模型单元530:对象轮廓单元
[0030]540:偏移估算器550:后处理器
[0031]560:偏移深度转换器570:红外线收发器
[0032]610?650:深度信息区域810:图像背景
[0033]815、825:红外线反射光点820:图像前景
[0034]910?930:对象1000:图像处理装置
[0035]1020:三维图像合成器1030:遮蔽点检测器
[0036]1040:显示单元1130、1140:对象
[0037]1135、1137、1145、1147:遮蔽点 1200:图像处理装置
[0038]M1、M2:遮蔽点位置信息R1、L1、R2、L2:位移图像
[0039]R3、L3:对焦图像
【具体实施方式】
[0040]图1是依照本发明一实施例的一种图像处理装置100的示意图。图像处理装置100可以是数字相机、数字摄影机、或具有相机和/或摄影机功能的电子装置，如个人数字助理(PDA)、智能型手机或平板计算机。图像处理装置100包括图像感应阵列105、图像前置处理单元125、多个图像处理管线130、图像分析器140、聚焦单元160、深度产生器180、二维(2D)图像合成器150、以及储存单元170。其中图像感应阵列105包括镜头阵列110与感应器阵列120。感应器阵列120耦接镜头阵列110，图像前置处理单元125耦接感应器阵列120，图像处理管线130耦接前置处理单元125，图像分析器140、聚焦单元160和深度产生器180各自耦接图像处理管线130，二维图像合成器150耦接聚焦单元160，储存单元170耦接二维图像合成器150。
[0041]感应器阵列120可包括多个图像感应器(例如多个摄影机)，用以针对同一场景中的一个或多个对象撷取多个图像，并将该多个图像输出至图像前置处理单元125。在感应器阵列120之中，每一个图像感应器的焦点距离(focal length)可以是固定不变的或是可变的，而且每一个图像感应器可使用固定镜头(fixed lens)、液态镜头(liquid lens)、晶体镜头(crystal lens)、或微镜头阵列(micro-lens array)。感应器阵列120之中的图像感应器的焦点距离可以相同也可以不同。换句话说，感应器阵列120所撷取的上述多个图像可具有同一对焦平面(focal plane)。或者，感应器阵列120所撷取的上述多个图像可具有多个不同的对焦平面。
[0042]镜头阵列110可包括多个光学变焦镜头(optical zoom lens)，这些光学变焦镜头和感应器阵列120的多个图像感应器一一对应。每一个光学变焦镜头配置于对应的感应器的前方。这些光学变焦镜头可在上述图像中拉近远方的对象，提高远方对象的层次感。
[0043]图像前置处理单元125可接收感应器阵列120撷取的多个图像，并对上述多个图像进行处理，以产生相关于上述一个或多个对象的两个位移图像Rl与LI。位移图像Rl与LI可假设为分别对应使用者的右眼与左眼所看到的图像。
[0044]更详细地说，图像前置处理单元125可矫正感应器阵列120所撷取的上述多个图像的图像几何平面，并根据上述多个图像的实体相对位置与对焦平面将上述多个图像分类为对应右眼与左眼的两个图像群。然后图像前置处理单元125可根据第一个图像群中每一图像的光学特性将第一个图像群中的多个图像合成单一图像放大输出(mult1-framesuper resolut1n),以产生对应右眼的位移图像Rl。同理，图像前置处理单元125可根据第二个图像群中每一图像的光学