基于数据的软性阴影去除方法
【技术领域】
[0001] 本发明涉及计算机图像处理技术领域，是基于数据的软性阴影去除方法。
【背景技术】
[0002] 因为目前非专业人员对图片预处理的要求越来越多，智能化的图像编辑算法愈加 被需要。纵观各种商业软件和图像处理团体开发的研究原型中的各种可行技术，柔性阴影 操作是其中被研究最多并且十分重要的问题。由于阴影是获取形状、曲率、高度的重要线 索，无数的网上教程试图教它们的使用者如何用单调遮蔽和阈值化处理方法将阴影层分离 出来。这种手动技术得到了应用，部分是因为很多真实场景有柔性阴影，而迄今为止大多数 阴影检测和去除算法都是被开发了解决硬性阴影的。因为柔性阴影已经被表现出与人类判 断一幅图片的真假有关系，所以需要更简单的方法去提取柔性阴影。图像抠除提供了另一 种类型的解构方式，并且可以通过这种方式来分离前景和后景物体。原则上，这种构想也可 以用于分离软性阴影去抠出一块小的半影区域。一种直观笔刷界面结合一种快速算法去交 互地抠出模糊物体，将这项技术应用到明显的软性阴影上的难点在于具体到优化正确类似 的函数。一种有效的方法做阴影抠取和组合，但现有技术需要更多的输入而且没有处理宽 半影的问题。图像修复是一种填补图像空白区域的技术。这项技术由于今年来在商业工具 上的到了实施，因而变得成熟了很多。尽管在很多情况下非常游泳，但是它并不是一种处理 阴影去除问题的好的解决方案，因为它完全忽略了潜在的有价值信息。图像修复方法需要 一个能够填补缺失部分的数据源。基于数据的来源现有技术可以被视为两类，a)自举式算 法即使用图像的剩余部分修复b)基于现有数据库的方法。前者的算法更吸引人因为不必担 心需要创建扩展的训练数据组。然而，实际上，要使它衡量一般情景往往很困难。在两个例 子中，现有技术的工作重心都放到了将图片结构正确的扩展到缺失部分中去。阴影去除提 出了一种检测阴影的方法，通过用熵最小化恢复一个一维光照不变图像。鉴于此，现有技术 可以区别原图像中的阴影和非阴影边缘，随后应用梯度域操作以去阴影。这一过程要求图 像在阴影边缘微分到〇,这在处理硬性阴影时很有用，但是当应用到宽半影时就会产生宽而 明显的纹理带缺失。使用图像基于锥体化处理。现有技术通过补偿遮光板阻塞环境光来处 理非微本影。但是现有技术的方法不能狗处理复杂密集的表面例如树叶或者没有任何本影 的阴影。对于非统一的内部阴影表面评价只是在很粗糙的基础层面，所以值将大规模的变 化纳入考虑范围。更进一步的说，在复杂阴影中它并不能清楚地计算用于参数评价的"条 纹"。此外，现有技术的方法还不能够完整地处理半影，并且在修复阴影边缘时始终避免不 了人工操作。一种修改软性阴影的去除方法将半影模型化，通过将分段二元模型匹配到图 像中被用户密集标记过的区域，因此而将纹理变化从光照变化中分离出来。这使得现有技 术能够处理梯度域并在将由阴影造成的梯度识别并去除后重组图像。这个系统首先问用户 输入阴影的大概轮廓这是有阴影边缘的控制点确定的。此外，用户还被要求初始化半影的 宽度以及对分别各个色彩通道的阴影振幅。这一算法随后通过匹配上述的尖削模型到或垂 直或水平的穿过半影的密集薄片进行迭代优化，更新参数并再次优化。这一程序是重复对 每一个阴影边缘片段施加的（边缘片段的数量也是有用户规定的）而边缘点之间的值是由 线性差值得到的。这种方法产生了可信的结果，但是太消耗人力和时间而且需要大量的计 算时间。
[0003] 在半影参数被优化之后，用户已经可以控制哪些梯度要从图像中移除了。由于梯 度域操作的特性，这一方法经常将整幅图像都做了明显的修改，而不是仅移除阴影。最后， 这一技术要在两个假定下操作，这两个假定并不总是成立:一半影可以用S形的曲线精确的 模块化，二一个本影区域一直存在。一种针对自然阴影去除的扣除方法。然而与标准去除方 法不同的是，现有技术将阴影扣除视为一个无阴影图像像素分段结合的产物。尽管现有技 术的方法在很多阴影上都作用良好，但它需要的用户输入明显多：一个四元映射即"确定在 阴影内"、"半影"、"确定在阴影外"、以及"不在内"区域。此外，现有技术的扣除方法需要一 个距离函数来优化。尽管现有技术表示这一方法对很多自然阴影都有用，问题还是在一些 模拟情景(例如放大噪声）中发生了，因为扣除代价函数并没有为此而调整。
[0004] 如前面所提到的，基于抠除的方法对阴影来说是有问题的，因为其能量最小化核 心用了一个类似启发函数。另一个问题，是上述的方法并不适合用户输入，因为它很难确定 哪块阴影是应该被去除的。在较宽半影的例子中，抠除经常会遗漏细小的梯度而且根本不 能去除阴影，甚至在有用户输入阴影遮罩的情况下都不行。尽管这个问题可以由用改变阴 影遮罩是如何用于修改限制来解决。
【发明内容】
[0005] 本发明提供一种更可能成功去除软性阴影的方法，与现有方法的处理结果共同展 示时，本发明的处理结果是看起来最自然的图片的。
[0006] 本发明创建的回归模型是通过监督学习训练来处理问题的：给定一个有阴影的 RGB图片IS，本发明的目的是找出一个对应的阴影部分頂和没有阴影的图片IU，并满足IS = IU*頂(*是元素智能乘法）。类似的解构在固有图像领域也被研究过，但是本发明计算頂时 同时忽略了反射率和着色，只关注投射阴影。同样的，本发明并没有追求物理准确性，本发 明的实际目的是生成一个主观观测时看上去可信的IU。
[0007] 一种基于数据的软性阴影去除方法，包括：
[0008] 步骤(1)、采用多个阴影图片构成训练集，对训练集中每一个阴影图片提取列特征 向量，利用所述的列特征向量训练得到回归因子；
[0009] 本发明建立了一个大规模的真实软性阴影测试图片数据库除此之外还有一个可 供生成无数同时有软硬性阴影场景的训练样本，步骤（1)中的多个阴影图片即来自这些训 练样本。
[0010] 步骤⑵、将待处理的阴影图片分割成行列排布(例如16X16)的若干网格，对每一 个网格计算出其描述性的特征向量；
[0011] 步骤(3)、使用所述的回归因子将每一个网格的特征向量映射到该网格的阴影遮 罩分布，所有网格的阴影遮罩分布构成了阴影网格；
[0012] 步骤(4)、对所述阴影网格采用马尔可夫随机域正则化以生成红色通道、绿色通 道、蓝色通道的最大后验阴影图片，即获得无阴影图像；
[0013] 步骤(5)、在所述无阴影图像的每一个位置使用TRW-S消息传体算法来正则化整个 无阴影图像以选择出最佳的面片，该最佳的面片作为待处理的阴影图片的软性阴影去除结 果。
[0014] 步骤(1)中，对训练集中每一个阴影图片提取列特征向量时，首先对训练集的每幅 阴影图片子样本化，以提取多个训练对(例如500000对），然后对整个训练集进行偏压采样， 针对偏压采样得到的阴影图片提取列特征向量。
[0015] 很多面片虽然看似跟原始形态不同，但在用适当的欧几里德变换调整后最终会表 现的非常相似。这是的本发明对旋转不变数据施加了推理，利用了目前展示在标签中的结 构。虽然通过增加使用训练数据的数量可以得到相似的结果，本发明在没有明显提高训练 时间的同时得到了同等的结果。
[0016] 步骤(1)中，所述列特征向量包括：
[0017] 用户选择区域中距边缘的正则化距离，其值位于[0.0,1.0]内；
[0018] 阴影图片基于初始猜想的预测遮罩；
[0019] 阴影图片的垂直和水平梯度；
[0020] 阴影图片的像素亮度值，其值在[0.0，1.0]的范围内。
[0021] 其中面片亮度值是正则化的，因为其没有直接与遮罩相关(给出一个阴影亮度面 片，是不可能确定他是在明亮背景上的阴影或者是在暗背景下的明亮阴影）。所以本发明给 出推理算法处理那些可能支持结论的特征(例如暗指阴影的斜率），但是没有在绝对亮度上 没有混乱差异。尽管根据梯度这些信息理论上是多余的，但它在不损害其性能的前提下给 随机森林提供了更多的选择用以区别。
[0022] 步骤(1)中，训练所述的列特征向量时，采用改进的随机森林。
[0023] 本发明选择使用随机森林作为推理机制一方面是由于它的通用性另一方面是由 于它被广泛使用。下面是本发明对传统随机森林算法的介绍和改进方法以及改进现有技术 的原因：
[0024