影像编辑方法以及影像处理装置制造方法
【专利摘要】本发明揭示一种影像编辑方法及影像处理装置，可用以编辑一原始影像。该原始影像至少包括一清晰图案与一模糊图案，分别对应被摄影的一对焦物件以及一失焦物件。该影像编辑方法包括下列步骤：取得该失焦物件与一镜头之间的一失焦物件距离；依据该失焦物件距离以及一光学参数，对该模糊图案进行一反模糊处理以得到一处理后图案；以及，依据该处理后图案以及该清晰图案形成一处理后影像。
【专利说明】影像编辑方法以及影像处理装置
【技术领域】
[0001] 本发明相关于影像处理方法与装置，尤指对一数位相机拍摄所产生的原始影像的 处理方法与装置。
【背景技术】
[0002] 由于影像撷取技术的快速发展，数位相机已经成为日常生活中不可获缺的电子装 置。为了能够轻易的操作数位相机，一般常用的消费型相机（傻瓜相机或者手机所配备的 相机）具备较深的景深（field of depth),因此可以轻易的拍摄出清晰的影像。
[0003] 专业相机（例如单眼相机）具备大光圈以及浅景深的特性，需要有高度拍摄技巧 的使用者来操作。而单眼相机所拍摄的影像具有较高的层次感，消费型相机则无法拍摄出 类似专业相机的拍摄效果。
[0004] 然而如同使用者所知，操作专业相机时，有许多参数需要选取，譬如说对焦、镜头 滤镜、镜头焦距、光圈值、曝光时间等等。一旦选取不当，可能会使得本来希望清晰的图案， 因为被摄影的物件没有落入目标景深中，而变得模糊。
[0005] 而如何将原始影像中一模糊的图案，处理成一个清晰的图案，或是处理另一个不 一样的模糊图案，即为本发明所欲解决的目的。
【发明内容】
[0006] 本发明的一实施例提供一种影像编辑方法，用以编辑一原始影像。该原始影像至 少包括一清晰图案与一模糊图案，分别对应被摄影的一对焦物件以及一失焦物件。该影像 编辑方法包括下列步骤：取得该失焦物件与一镜头之间的一失焦物件距离；依据该失焦物 件距离以及一光学参数，对该模糊图案进行一反模糊处理以得到一处理后图案；以及，依据 该处理后图案以及该清晰图案形成一处理后影像。
[0007] 本发明的另一实施例提供一种影像编辑方法，用以编辑一原始影像。该原始影像 包括一模糊图案以及一原始图案。该模糊图案对应一被摄影物件。该影像编辑方法包括下 列步骤：取得该被摄影物件与一镜头之间的一物件距离；取得一相机偏移量；根据该物件 距离、该相机偏移量以及一光学参数，对该模糊图案进行一反模糊处理，以形成一处理后图 案；以及，使用该处理后图案以及该原始图案，来形成一处理后影像。
[0008] 本发明的一实施例提供一种影像处理装置，用以处理透过一镜头摄影产生的一原 始影像。该影像处理装置包含有一处理器以及一距离检测单元。该处理器从该原始影像中 辨识出一清晰图案以及一模糊图案，分别对应被摄影的一对焦物件以及一失焦物件。该距 离检测单元取得该失焦物件与该镜头之间的一失焦物件距离。该处理器依据该失焦物件距 离以及该镜头的一光学参数，对该模糊图案进行一反模糊处理以得到一处理后图案。该处 理器依据该处理后图案以及该清晰图案形成一处理后影像。
[0009] 为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合附图，作 详细说明如下：
【专利附图】
【附图说明】
[0010] 图1A，其所绘示为一对焦物件的成像以及一未聚焦点光源所产生的散景。 [0011] 图1B显示一点光源位于拍摄镜头第一侧的2倍焦距（2f)到1倍焦距之内。
[0012] 图1C显不一较大的光圈所产生的散景。
[0013] 图2显示本发明的一实施例中的一影像编辑方法。
[0014] 图3A显不一相机拍摄一脸孔、一树以及一远山。
[0015] 图3B显示相机所产生的一原始影像。
[0016] 图3C显示在原始影像中的树图案以及模拟产生的模拟树图案彼此的关系。
[0017] 图3D显示脸孔图案、模拟树图案、模拟远山图案组合后的模拟影像。
[0018] 图4显不以两台相机拍摄一脸孔、一树以及一远山。
[0019] 图5分别显示两相机中所产生的原始影像。
[0020] 图6显示本发明的实施例中的一些应用。
[0021] 图7显示依据本发明所实施的一数位相机。
[0022] 图8图显示图7中的数位相机的功能方块图。
[0023] 符号说明
[0024] 20 对焦物件
[0025] 22 实像 24 点光源 25 拍摄镜头 26 位置 28 模糊_案的范围 29 模糊_案的范网 30 点光源 32 成像位置 34 模糊图案的范围 36 光_ 37 影像编辑方法 38 光圈 39、 39l、39r 相机 40、 40丨,、40r 原始影像 42 脸孔 42d 平移量 42f 脸孔图案 42SIM2 模拟脸孔图案 44 树 44d 平移量 44f 树图案 44sim 模拟树图案 46 远山 46d 平移量 46f 远山图案 46Sim 模拟远山图案 46sim2 模拟远山图案 48、49 模拟影像 50 模糊处理 52 反模糊处理
[0026] 80 数位相机 82 镜头 84 相机机身 86 距离检测单元 88 感光元件 90 光学参数提供器 92 处理器 94 存储器 96 水平与垂直位移感测器 98 屏蒂 S10、S12、S14 S121、S122 步骤 S42、S44、S46 距离
【具体实施方式】
[0027] 以下先利用简单的几何光学来介绍相机的成像原理以及对对焦与失焦物件的影 响。
[0028] 请参照图1A，其所绘示为对焦物件20的成像以及一失焦点光源所产生的散景 (bokeh)，所谓散景即是影像中位于准焦之外的部份。
[0029] 拍摄镜头25的焦距为f，对焦物件20在拍摄镜头25第一侧的2倍焦距（2f)上。 可以从简单的光学理论推知，在拍摄镜头25的第二侧二倍焦距（2f)上的位置会产生一样 大小的实像22。换句话说，将相机的感光元件（optical sensor)移动至拍摄镜头的第二侧 实像22的位置即可获得该对焦物件20的清晰图案。
[0030] 假设拍摄镜头25的焦距为f，对焦物件20与拍摄镜头25之间的距离为Dn，实像22 与拍摄镜头25之间的距离为In,则上述关系需符合造镜者公式（Lensmaker's equation), 亦即：（l/Dn) + (l/In) = (l/f)。
[0031] 根据上述的原理，相机进行对焦时，判断对焦物件20与拍摄镜头25的距离后，即 可根据拍摄镜头25的焦距来推算出实像22的正确成像位置In。因此，移动相机中的感光 元件至In位置后，即可获得该对焦物件20的实像22。
[0032] 图1A中的点光源24位于拍摄镜头25第一侧的2倍焦距之外。依据造镜者公式， 其成像位置26,将会位于第二侧的一倍到二倍焦距之间。然而，为了获得对焦物件20的清 晰影像，相机中的感光元件是坐落于第二侧二倍焦距（2f)上。因此，点光源24所发出的部 分光线，通过光圈36后，聚焦在成像位置26,然后在感光元件上，扩散成一个具有一定范围 的模糊图案，形成散景。这模糊图案的范围于图1A中标示为28。
[0033] 从图1A可以推知，点光源24越远离对焦物件20与拍摄镜头25,点光源24的成像 位置26就越靠近拍摄镜头25的第二侧一倍焦距f，模糊图案就越大，其亮度、清晰度、对比 度会越差。
[0034] 图1B显示对焦物件20在拍摄镜头25第一侧的2倍焦距（2f)上，点光源30位于 拍摄镜头25第一侧的2倍焦距（2f)到1倍焦距之内。依据造镜者公式，其点光源30的成 像位置32,将会位于第二侧的二倍焦距之外。类似图1A的结果，点光源30也会在相机中的 感光元件产生模糊图案，其范围标示为34。点光源30越远离对焦物件20而接近拍摄镜头 25,成像位置32就越远离拍摄镜头25,模糊图案就越大。
[0035] 图1C类似图1A，两者差异仅仅于光圈值的不同。图1A中的光圈36比图1C中的 光圈38大，图1C中模糊图案的范围标示为29。从图1A与图1C中的比较可知，光圈越小， 散景就越小。两者比较也可以得知，散景之模糊图案的形状，会受到光圈的形状所影响。譬 如说，如果光圈有六个叶片，叶片所形成的光通道形状可能为六角形，在感光元件上的模糊 图案就可能有六芒星的图案。
[0036] 由图1A、1B与1C可以推知，散景的结果，跟拍摄镜头25的光学参数、点光源的位 置、以及对焦物件的位置有关。拍摄镜头25的光学参数包含有焦距f、光圈大小形状、透光 率等等。对焦物件的位置等同于相机中的感光元件的坐落位置，两者的关系须符合造镜者 公式。
[0037] 图2显示本发明的一实施例中的一影像编辑方法37。在一实施例中，影像编辑方 法37实施于一摄影装置（例如相机），或是一电脑系统中，作为一影像后制软件。此影像后 制软件可由一相机镜头制造厂所提供，专门对于相机拍摄后所产生的原始影像进行处理。
[0038] 首先，步骤S10先找出原始影像中的一些原始图案以及每个原始图案所对应的物 件到拍摄镜头之间的个别物件距离。譬如说，这些原始图案有些是清晰的，有些是模糊的。 原始清晰图案所对应的被拍摄物件称之为对焦物件、原始模糊图案所对应的被拍摄物件称 之失焦物件。接着，步骤S12将一些原始模糊图案进行反模糊处理，而产生后制模拟图案。 这些后制模拟图案理论上可以比原始模糊图案清晰。步骤S14以原始清晰图案以及后制模 拟图案结合组成一模拟影像。
[0039] 在一实施例中，步骤S12包含有步骤S121与S122。步骤S121根据拍摄镜头的许多 光学参数，以及物件距离，可以得到一模糊处理。举例来说，假定拍摄镜头的光圈虚拟地变 得无穷小（类似针孔照相机），此时散景可以完全忽略，感光元件上可以产生一虚拟影像， 其都由虚拟清晰图案所构成，不论被摄影的物件是对焦还是失焦。每个失焦物件可以视为 数个点光源的组合。原始影像中的原始模糊图案，可以说是失焦物件所对应的虚拟清晰图 案经过模糊处理后的结果。这个模糊处理，类似先前的散景形成原因所解释的，将会跟拍摄 镜头的光学参数、失焦物件的位置、以及对焦物件的位置有关。举例来说，模糊处理可以用 查表或是理论推导而获得。
[0040] 步骤S122根据模糊处理，对原始模糊图案进行反模糊处理，而产生后制模拟图 案。因为模糊处理以及原始模糊图案都为已知，所以可以利用解联立方程式、反推或是追朔 等的数学分析方法，得知是怎么样的一个后制模拟图案，经过模糊处理后，可以产生原始模 糊图案。理论上，这个后制模拟图案可以近似或是等于一失焦物件所对应的虚拟清晰图案。
[0041] 图3A显不一相机39拍摄一脸孔42、一树44、以及一远山46。图3B显不相机39, 在一特定光学参数的条件下，像是一定的焦距、光圈、透光率等，所产生的原始影像40,其中 大致可以找到一脸孔图案42 f、一树图案44f、一远山图案46f。如同原始影像40中所显示， 在这里假定脸孔42是对焦物件，树44与远山46是失焦物件。图2中的步骤S10可以找出 图3A图中脸孔42、树44、以及远山46到相机39之间的个别距离：S42、S44、S 46，如图3A所 /_J、1 ο
[0042] 图3C显示树图案44f以及模拟树图案44SIM_的关系，其中，模拟树图案44 SIM经过 模糊处理50处理后，可以得到树图案44f，而树图案44f经过反模糊处理52处理后，可以得 到模拟树图案44 SIM。从距离S42以及S44，以及一些相机39中的光学参数，可以得知图3C中 的模糊处理50。模拟处理50的反函数为反模糊处理52。所以，依据距离S 42以及S44、相机 39中的光学参数以及树图案44f，图2中的步骤S12可以推知模拟树图案44 SIM。类似的，模 拟远山图案46SIM也可以被推知。
[0043] 图3D显示，依据图2中的步骤S14,脸孔图案42f、模拟树图案44SIM、模拟远山图案 46 SIM组合后的模拟影像48。如同图3D所示，模拟树图案44SIM以及模拟远山图案46SIM分别 取代了图3B中的树图案44 f以及远山图案46f。
[0044] 决定物件距离
[0045] 在一实施例中，物件与拍摄镜头间的各距离可以利用一距离检测单元（例如红外 线距离检测单元）来取得。譬如说红外线距离检测单元发射红外线至所有的摄影的物件并 据以获得各物件与检测单元之间的距离。此距离检测单元可安置于一相机上供作利用。或 者，利用同一镜头以调整焦点的方式快速拍摄多张连续影像，而根据聚焦位置以及图案的 清晰度可以获得各物件与拍摄镜头之间的距离。或者根据不同颜色光波长经过透镜的折射 差异，例如RGB三色其过透镜焦点的微小差异，根据RGB图案清晰程度来判断距离的方法。 或者，根据经验法则，例如较近的物件其图案较大较远的物件其图案较小，或者互相覆盖的 图案来得知所有物件的前后关系，并估算出所有物件与拍摄镜头之间的距离。
[0046] 在本发明的一实施例中，物件与拍摄镜头之间的距离，可利用两张原始影像来确 认。图4显示以两台相机3?与39 κ取代图3A的相机39。两台相机水平与39κ彼此相 距一定距离。图5分别显示相机与39 κ中所产生的原始影像4(\与40κ。
[0047] 因为相机与39κ之间有一定的距离，所以原始影像4(\与40κ虽然近似，但会有 些许的不同。相对于原始影像40^中的脸孔图案42 f，原始影像40κ中脸孔图案42f往左有 一平移量42d。类似的，原始影像叫与40 κ中的树图案44f的位置之间有平移量44d，小于 平移量42 d。远山图案44f在原始影像4(^与40κ中的位置则几乎没有改变，两者之间的平 移量46 d近乎0。从图5可知，平移量42d>平移量44d>平移量46 d。
[0048] 如同图4所示，距离S46>距离S44>距离S 42。换言之，一个图案在图5中两个原始 影像4(\与40κ中的平移量，跟相对应物件到相机与39 κ之间的距离，有一定的关系。只 要知道一原始图案在两个原始影像4(^与40κ中的平移量，就可以决定相对应物件距离一相 机的距离。等效来说，平移量就是一种三维深度（3D Depth)，其代表了对应物件跟一相机的 距离。当然以上仅仅介绍一种三维深度的取得，并不是用于限制本发明。
[0049] 原始影像4(\与40κ不一定需要两个相机来产生。举例来说，利用一具有二个拍摄 镜头的相机，可以同时拍摄同一场景。两个原始影像的像素量或是解析度不必要相等。譬 如说，其中之一的解析度比较高，做为之后要影像处理产生模拟影像用；另一个的解析度比 较低，纯粹用来跟比较高解析度的原始影像作比较，找出物件到相机之间的距离。
[0050] 当然，也可以利用单一拍摄镜头快速左右移动来拍摄相同场景取得两个影像，即 可推知该原始影像中原始图案因为镜头左右移动所导致的平移量，供作所有物件与欲模拟 镜头之间的距离的参考。
[0051] 反模糊处理
[0052] 假定一失焦点光源，在没有散景的虚拟条件下，在感光元件上产生了一图案，其以 5x5像素阵列P0INT shakp表示如下：
[0053]
【权利要求】
1. 一种影像编辑方法，用以编辑一原始影像，其至少包括一清晰图案以及一模糊图案， 分别对应被摄影的一对焦物件以及一失焦物件，该影像编辑方法包括下列步骤： 取得该失焦物件与一镜头之间的一失焦物件距离； 依据该失焦物件距离以及一光学参数，对该模糊图案进行一反模糊处理以得到一处理 后图案；以及 依据该处理后图案以及该清晰图案形成一处理后影像。
2. 如权利要求1所述的影像编辑方法，其特征在于，对该模糊图案进行该反模糊处理 以得到一处理后图案的步骤，包含有： 依据该失焦物件距离以及该光学参数，得到一模糊函数； 依据该模糊函数，推算出一反模糊函数；以及 依据该反模糊函数处理该模糊图案，以得到该处理后图案。
3. 如权利要求2所述的影像编辑方法，其特征在于，得到该模糊函数的步骤，包含有： 提供多个参考模糊函数；以及 依据该失焦物件距离以及该光学参数，从这些参考模糊函数中，选择一参考模糊函数， 并据以决定该模糊函数。
4. 如权利要求1所述的影像编辑方法，其特征在于，对该模糊图案进行该反模糊处理 以得到一处理后图案的步骤，包含有： 根据该失焦物件距离以及该光学参数，决定一模糊函数； 提供一初始图案； 以该模糊函数对该初始图案进行一模糊处理，以得到一结果图案； 调整该初始图案，以使该结果图案逼近该模糊图案；以及 以该初始图案作为该处理后图案。
5. 如权利要求4所述的影像编辑方法，其特征在于，该模糊处理为该反模糊处理的一 反函数。
6. 如权利要求1所述的影像编辑方法，其特征在于，该原始影像为一第一原始影像，取 得该失焦物件距离的该步骤包含有： 取得一第二原始影像；以及 依据该第一与该第二原始影像，以取得该失焦物件距离。
7. 如权利要求1所述的影像编辑方法，其特征在于，取得该失焦物件距离的该步骤包 含有： 以一距离检测单元发射电磁波至该失焦物件，以检测该失焦物件距离。
8. 如权利要求1所述的影像编辑方法，其特征在于，该处理后影像为一第一处理后影 像，该影像编辑方法另包含有： 取得该对焦物件与该镜头之间的一对焦物件距离；以及 依据该对焦物件距离以及另一光学参数，对该处理后影像的至少一部分进行一模糊处 理后，以得到一第二处理后影像。
9. 一种影像编辑方法，用以编辑一原始影像，其至少包括一模糊图案以及一原始图案， 该模糊图案对应一被摄影物件，该影像编辑方法包括下列步骤： 取得该被摄影物件与一镜头之间的一物件距离； 取得一相机偏移量； 根据该物件距离、该相机偏移量、以及一光学参数，对该模糊图案进行一反模糊处理， 以得到一处理后图案；以及 使用该处理后图案以及该原始图案，来形成一处理后影像。
10. 如权利要求9所述的影像编辑方法，其特征在于，另包含有： 以一位移感测器，来决定该相机偏移量。
11. 一种影像处理装置，用以处理透过一镜头摄影产生的一原始影像，包含有： 一处理器，从该原始影像中辨识出一清晰图案以及一模糊图案，分别对应被摄影的一 对焦物件以及一失焦物件；以及 一距离检测单元，取得该失焦物件与该镜头之间的一失焦物件距离； 其中，该处理器依据该失焦物件距离以及该镜头的一光学参数，对该模糊图案进行一 反模糊处理以得到一处理后图案；以及 依据该处理后图案以及该清晰图案形成一处理后影像。
12. 如权利要求11所述的影像处理装置，其特征在于，该影像处理装置另包含有一存 储器，储存有多参考模糊函数，该处理器依据该失焦物件距离以及该光学参数，从这些参考 模糊函数中选择一参考模糊函数，并据以决定一模糊函数。
13. 如权利要求12所述的影像处理装置，其特征在于，该处理器依据该模糊函数，推算 出一反模糊函数，以及依据该反模糊函数对该模糊图案进行该反模糊处理，以得到该处理 后图案。
14. 如权利要求12所述的影像处理装置，其特改正在于，该处理器提供并调整一初始 图案，以使该初始图案利用该模糊函数进行一模糊处理所得到的一结果图案逼近该模糊图 案，以及以该初始图案作为该模拟图案。
15. 如权利要求11所述的影像处理装置，其特征在于，该影像处理装置另包含有一存 储器，其记录了多参考反模糊函数，且该处理器依据这些参考反模糊函数的其中之一、该光 学参数、以及该失焦物件距离对该模糊图案进行该反模糊处理，以得到该处理后图案。
16. 如权利要求11所述的影像处理装置，其特征在于，该距离检测单元使该处理器取 得另一原始影像，且该处理器依据该二原始影像，以取得该失焦物件距离。
17. 如权利要求11所述的影像处理装置，其特征在于，另包含有一位移感测器，提供该 原始影像供应器于产生该原始影像时的一偏移量。
18. 如权利要求17所述的影像处理装置，其特征在于，该处理器根据该失焦物件距离、 该光学参数、以及该偏移量，对该模糊图案进行该反模糊处理，以得到该处理后图案。
【文档编号】H04N5/232GK104125385SQ201310145159
【公开日】2014年10月29日 申请日期:2013年4月24日 优先权日:2013年4月24日
【发明者】郑昆楠, 沈毓铨 申请人:晨星半导体股份有限公司