影像还原方法
【专利摘要】本发明公开一种影像还原方法，用来去除一环境介质的影响，包括有接收受该环境介质影响的一捕捉影像；针对该捕捉影像中各个像素，定义各像素为一中心的一个别的区域性范围；以及在以该捕捉影像中各像素为一中心的一区域性范围中所有像素的原始颜色相同的假设下，对各区域性范围进行最小化估算，以得到该捕捉影像中各像素相对应的一光线传播率。
【专利说明】影像还原方法
【技术领域】
[0001] 本发明涉及一种影像还原方法，尤指一种可针对各像素进行估算，以得到各像素 相对应的一光线传播率，进而以精确的光线传播率图进行还原的影像还原方法。
【背景技术】
[0002] -般来说，在充满雾气的环境中，影像捕捉装置所得到的捕捉影像会受到雾气影 响，距离愈远的物体可视的程度愈低，因此需要进行去雾（dehazing)以得到未受雾气影响 的真实影像。
[0003] 在公知技术中，进行去雾的方法可以分成三大类：第一类方法需要多张在不同特 定的环境下拍摄的捕捉影像(如在浓雾、淡雾以及无雾的环境下)，进而推测出无雾的真实 影像。此方法在捕捉影像取得上较为繁复与困难；第二类方法需要仪器或者是使用者介入 得到影像深度信息(如标的各物体的距离远近)，再进行去雾过程，此方法在实作上同样不 易进行；第三类方法利用单张影像，对在物体的原始颜色（radiance)、距离远近或空气光 (airlight)成分等变量进行假设并求出最佳解。
[0004] 然而，公知第三种方法仅对符合假设的区域计算，然后推导出区域性最佳解 (local optimal solution),对在未符合假设的区域所求得的光线传播率（transmission) 会较为粗略，因此去雾效果并不精细（如图1所示，公知以区域性最佳解所得的一光线传 播率相当模糊）；此外，公知红、绿、蓝三个不同的色彩通道（color channel)的衰变系数 (attenuation coefficients)视为同一常数，但实际上雾气对红、绿、蓝三个不同的色彩通 道的衰变系数并不相同，因此去雾后不符合真实物体的颜色。有鉴于此，公知技术实有改进 的必要。
【发明内容】
[0005] 因此，本发明的主要目的即在于提供一种可针对各像素进行估算，以得到各像素 相对应的一光线传播率，进而以精确的光线传播率图进行还原的影像还原方法。
[0006] 本发明的一方面公开一种影像还原方法，用来去除一环境介质的影响，包括有接 收受该环境介质影响的一捕捉影像；针对该捕捉影像中各个像素，定义各像素为一中心的 一个别的区域性范围；以及在以该捕捉影像中各像素为一中心的一区域性范围中所有像素 的原始颜色相同的假设下，对各区域性范围进行最小化估算，以得到该捕捉影像中各像素 相对应的一光线传播率。
[0007] 本发明的另一方面公开一种影像还原方法，用来去除一环境介质的影响，包括有 接收受该环境介质影响的一捕捉影像；获得该捕捉影像的一光线传播率趋势；依据根据该 捕捉影像、该环境介质的颜色，在该光线传播趋势的限制下，计算出该捕捉影像中各像素相 对应的一光线传播率；以及根据该捕捉影像及各像素相对应的该光线传播率，求得在该环 境介质的影响被去除下的各像素的原始颜色。
[0008] 本发明的更另一方面公开一种影像还原方法，用来去除一环境介质的影响，包括 有接收受该环境介质影响的一捕捉影像；依据根据该捕捉影像、该环境介质的颜色，在不同 的色彩通道的光线传播率具有不同的衰变系数的限制下，计算出该捕捉影像中各像素相对 应的一光线传播率（transmission);以及根据该捕捉影像及各像素相对应的该光线传播 率，求得在该环境介质的影响被去除下的各像素的原始颜色。
[0009] 在此配合下列图示、实施例的详细说明及权利要求书，将上述及本发明的其它目 的与优点详述于后。
【专利附图】
【附图说明】
[0010] 图1为公知以区域性最佳解所得的一光线传播率的示意图。
[0011] 图2为本发明实施例一影像还原流程的示意图。
[0012] 图3A至图3C分别为一捕捉影像及以一成本函数求出的一光线传播率以及一原始 颜色的示意图。
[0013] 图4A至图4C分别为另一捕捉影像及以一成本函数求出的一光线传播率以及一原 始颜色的示意图。
[0014] 图5为图4A所示的捕捉影像及其光线传播率趋势的示意图。
[0015] 图6A至图6B分别为以一成本函数所求出图4A所示的捕捉影像的一光线传播率 以及一原始颜色的示意图。
[0016] 图7A为对另一捕捉影像设定不同的色彩通道具有相同的衰变系数所得一原始颜 色的不意图。
[0017] 图7B为对该另一捕捉影像设定不同的色彩通道具有不同的衰变系数所得一原始 颜色的示意图。
[0018] 其中，附图标记说明如下：
[0019] 20 流程
[0020] 200 ?208 步骤
[0021] E1 (X，y)?E2(x，y)捕捉影像
[0022] α (χ, y) 光线传播率
[0023] R(x, y) 原始颜色
【具体实施方式】
[0024] 请参考图2,图2为本发明实施例一影像还原流程20的示意图。如图2所示，影像 还原流程20可用于一影像处理装置中去除一环境介质的影响（如用于相机或手机进行实 时处理，或用于计算机中进行后制处理，以去除如雾气、烟雾等环境介质的影响)，影像还原 流程20包括有以下步骤：
[0025] 步骤200:开始。
[0026] 步骤202 :接收受该环境介质影响的一捕捉影像。
[0027] 步骤204 :针对该捕捉影像中各个像素，定义各像素为一中心的一个别的区域性 范围。
[0028] 步骤206 :在以该捕捉影像中各像素为一中心的一区域性范围（local window) 中所有像素的原始颜色（radiance)相同的假设下，对各区域性范围进行最小化 (minimizing)估算，以得到该捕捉影像中各像素相对应的一光线传播率（transmission)。
[0029] 步骤208:结束。
[0030] 根据影像还原流程20，影像处理装置先接收受该环境介质影响的一捕捉影像(如 一像机或手机在雾气或烟雾所拍摄的影像)，再针对该捕捉影像中各个像素，定义各像素为 一中心的一个别的区域性范围（如以各像素为中心的3*3像素范围)，然后在以该捕捉影像 中各像素为一中心的一区域性范围中所有像素的原始颜色相同的假设下（即区域性范围中 所有像素所对应的物体应为相同颜色)，对各区域性范围进行最小化估算，以得到该捕捉影 像中各像素相对应的一光线传播率。接着，影像处理装置可根据该捕捉影像及各像素相对 应的该光线传播率，求得在该环境介质的影响被去除下的各像素的原始颜色。如此一来，本 实施例假设各像素的区域性范围中所有像素的原始颜色相同求得各像素的各光线传播率， 而可将光线传播率图（transmission map)推导出全域的最佳解，因此可利用精确的光线传 播率图进行影像还原。
[0031] 详细来说，受该环境介质影响的捕捉影像可用以下的数学模型表示：
[0032] E (x, y) =R (x, y) d(x'y)+L ^ (1-e^d(x'y)) (1)
[0033] =R (X，y) α (x, y) +L " (1_ a (x, y))
[0034] 其中，E(x，y)代表所接收观察(或拍摄）的捕捉影像，β为大气中的衰变系数 (atmospheric attenuation coefficient),L则为环境介质的颜色(环境介质为雾气的情 况下可假设为白色)，d(x, y)是场景中各物体到镜头之间的距离，R(x, y)则是该环境介质 的影响被去除下的各像素的原始颜色，α (X，y)定义为e-0dfcy)并称作光线传播率。
[0035] 换言之，由第（1)式可知，捕捉影像E(x, y)包括一直接衰变（direct attenuation)成份以及一空气光（airlight)成分，其中该直接衰变成份代表成功传送到 相机上的光线，由该环境介质的影响被去除下的各像素的原始颜色R(x，y)以及光线传播 率α (X，y)决定；而该空气光成分代表环境介质的颜色反射太阳光到镜头上，由该环境介 质的颜色以及光线传播率α (X，y)决定。值得注意的是，在其它实施例中，可使用不同 的数学模型，而不限于第（1)式。
[0036] 在此情况下，由于一般环境介质的颜色可以由实验获得，因此需解出光线传播 率a (X，y)以及该环境介质的影响被去除下的各像素的原始颜色R(x，y)。因此，可将第（1) 式改写如下以求解：
[0037] a(x, y) = -~1---[啡，V) -Lj R(x,y)-Lm (2)
[0038] 二 r(x, V) - ]
[0039] 其中，y (X，y)在此称为一捕捉函数，由原始颜色R(x，y)与环境介质的颜色L决 定。可假设在一个小的区域性范围w内，物体原始颜色R(x，y)为定值(即区域性范围中所 有像素所对应的物体应为相同颜色)，因此捕捉函数、(x, y)也为定值、：
[0040] α, = γ[Ε7 -ij, Vie w (3)
[0041] 接着，由假设该捕捉影像E(x，y)中各像素为中心的区域性范围中所有像素的原 始颜色相同所得的第（3)式及Matting模型取前后背景分离，可根据捕捉影像E(x，y)、环 境介质的颜色，在该环境介质的影响被去除下的各像素的原始颜色R(x，y)以及该光线 传播率α (χ，y)，而定义一成本函数（cost function) J(a, γ)，再计算出可使成本函数 J( a，Υ )最小化的光线传播率a (X，y)以及原始颜色R(x，y)，如下：
【权利要求】
1. 一种影像还原方法，用来去除一环境介质的影响，其特征在于，包括有： 接收受该环境介质影响的一捕捉影像； 针对该捕捉影像中各个像素，定义各像素为一中心的一个别的区域性范围；以及 在以该捕捉影像中各像素为一中心的一区域性范围中所有像素的原始颜色相同的假 设下，对各区域性范围进行最小化估算，以得到该捕捉影像中各像素相对应的一光线传播 率。
2. 如权利要求1所述的影像还原方法，其特征在于，还包括： 根据该捕捉影像及各像素相对应的该光线传播率，求得在该环境介质的影响被去除下 的各像素的原始颜色。
3. 如权利要求1所述的影像还原方法，其特征在于，对各区域性范围进行最小化估算 的步骤包括有： 获得该捕捉影像与该环境介质的颜色，在该环境介质的影响被去除下的各像素的原始 颜色以及该光线传播率的一数学模型； 借由将该捕捉影像中各像素为一中心的一区域性范围中所有像素的原始颜色相同的 该假设套用至该数学模型中，而定义一成本函数；以及 计算出可使该成本函数最小化的该光线传播率与该原始颜色。
4. 如权利要求3所述的影像还原方法，其特征在于，在该数学模型中，该捕捉影像包括 一直接衰变成份以及一空气光成分，其中该直接衰变成份由该环境介质的影响被去除下的 各像素的原始颜色以及该光线传播率决定，以及该空气光成分由该环境介质的颜色以及该 光线传播率决定。
5. 如权利要求3所述的影像还原方法，其特征在于，获得该成本函数的步骤其还包括： 加入一一般化参数在该成本函数中，以避免一捕捉函数Y等于零，其中该捕捉函数Y由该 原始颜色与该环境介质的颜色来决定。
6. 如权利要求3所述的影像还原方法，其特征在于，获得该成本函数的步骤其还包括： 区域性平滑化该光线传播率。
7. 如权利要求6所述的影像还原方法，其特征在于，区域性平滑化该光线传播率的步 骤包括有： 依据一平滑参数与光线传播率该来定义一平滑函数，其中该平滑参数定义该光线传播 率的区域平滑程度；以及 加入该平滑函数在该成本函数中。
8. 如权利要求3所述的影像还原方法，其特征在于，还包括： 获得该捕捉影像的一光线传播率趋势，以在计算出可使该成本函数最小化的该光线传 播率与该原始颜色的步骤中，利用该光线传播率趋势进行该光线传播率的限制。
9. 如权利要求8所述的影像还原方法，其特征在于，利用该光线传播率趋势进行该光 线传播率趋势的限制的步骤包括有： 从对各区域性范围进行最小化的一估算结果及各相对应像素在该光线传播率趋势中 的一光线传播率值，取出较大的光线传播率，做为该捕捉影像中各相对应像素的该光线传 播率。
10. 如权利要求8所述的影像还原方法，其特征在于，获得该捕捉影像的该光线传播率 趋势的步骤包括有： 获得该捕捉影像中一地平线；以及 根据该地平线，设定该捕捉影像中非地面部分的光线传播率值为一第一固定值，以及 设定该捕捉影像中地面部分的光线传播率值由远至近为该第一固定值至一第二固定值。
11. 如权利要求8所述的影像还原方法，其特征在于，该光线传播率的限制包括有：设 定该捕捉影像的光线传播率值由远至近成对数递增。
12. 如权利要求8所述的影像还原方法，其特征在于，该光线传播率的限制包括有：设 定该捕捉影像中同一物体的光线传播率值与该物体的一最低点的光线传播率值相同。
13. 如权利要求3所述的影像还原方法，其特征在于，计算出可使该成本函数最小化的 该光线传播率与该原始颜色的步骤在该原始颜色不为负值的限制下实施。
14. 如权利要求1所述的影像还原方法，其特征在于，还包括： 获得该捕捉影像的一光线传播率趋势，以在对各区域性范围进行最小化估算的步骤， 利用该光线传播率趋势进行该光线传播率的限制。
15. 如权利要求14所述的影像还原方法，其特征在于，获得该捕捉影像的该光线传播 率趋势的步骤包括有： 获得该捕捉影像中一地平线；以及 根据该地平线，设定该捕捉影像中非地面部分的光线传播率值为一第一固定值，以及 设定该捕捉影像中地面部分的光线传播率值由远至近为该第一固定值至一第二固定值。
16. 如权利要求1所述的影像还原方法，其特征在于，还包括：针对不同的色彩通道的 光线传播率，设定不同的衰变系数。
17. 如权利要求16所述的影像还原方法，其特征在于，针对不同的色彩通道的光线传 播率，设定不同的衰变系数的步骤包括有： 分别设定红色色彩信道、绿色色彩信道以及蓝色色彩信道的衰变系数大致等于〇. 83、 0. 93 以及 0. 95。
18. -种影像还原方法，用来去除一环境介质的影响，其特征在于，包括有：接收受该 环境介质影响的一捕捉影像； 获得该捕捉影像的一光线传播率趋势 依据根据该捕捉影像、该环境介质的颜色，在该光线传播趋势的限制下，计算出该捕捉 影像中各像素相对应的一光线传播率；以及 根据该捕捉影像及各像素相对应的该光线传播率，求得在该环境介质的影响被去除下 的各像素的原始颜色。
19. 如权利要求18述的影像还原方法，其特征在于，计算出该捕捉影像中各像素相对 应的步骤更在于不同的色彩通道的光线传播率具有不同的衰变系数的限制下实施。
20. -种影像还原方法，用来去除一环境介质的影响，其特征在于，包括有： 接收受该环境介质影响的一捕捉影像； 依据根据该捕捉影像、该环境介质的颜色，在不同的色彩通道的光线传播率具有不同 的衰变系数的限制下，计算出该捕捉影像中各像素相对应的一光线传播率；以及 根据该捕捉影像及各像素相对应的该光线传播率，求得在该环境介质的影响被去除下 的各像素的原始颜色。
【文档编号】G06T5/00GK104050630SQ201310080078
【公开日】2014年9月17日 申请日期:2013年3月13日 优先权日:2013年3月13日
【发明者】赖乙瑄, 陈以雷, 许秋婷 申请人:联咏科技股份有限公司, 清华大学