技术特征：
1.一种基于两阶段图像上下文识别网络，其特征在于：包括基于上下文特征迁移的阴影去除网络和结果精化网络两阶段，其中，阴影去除网络包括特征提取器、“双头”上下文信息匹配模块、上下文特征迁移模块和上采样阴影去除结果生成模块；所述结果精化网络用于对阴影去除网络输出的结果进行进一步精化处理；所述特征提取器用于提取不同尺度的图像特征；所述“双头”上下文信息匹配模块首先对图像块的特征表示进行建模并根据该特征来捕获需要的图像中存在的上下文信息匹配对集合；所述上下文特征迁移模块包括一个高斯采样层和一个采样结果聚合层，通过高斯采样进行上下文特征信息的迁移；所述上采样阴影去除结果生成模块将提取的特征图还原成输入图像的原始大小并分别预测l,a,b通道上的阴影去除结果。2.根据权利要求1所述的基于两阶段图像上下文识别网络，其特征在于：所述“双头”上下文信息匹配模块包括一个用于提取图像块特征表示的特征提取器，一个用于区分匹配对类型的分类器和一个用于预测图像块匹配程度的预测器；其中，所述特征提取器由卷积层和残差块组成；所述预测器由全连接层和softmax层组成。3.根据权利要求1所述的基于两阶段图像上下文识别网络，其特征在于：所述上采样阴影去除结果生成模块包括四个反卷积层、四个残差层和三个卷积层。4.根据权利要求1所述的基于两阶段图像上下文识别网络，其特征在于：匹配对类型分为“0、1、
‑
1”三类：“0”表示图像块的匹配对来自相同区域，即均为阴影块或均为非阴影块；“1”表示前一个图像块为阴影块，后一个图像块为非阴影块；
“‑
1”则与1相反；预测的匹配程度为一个0～1的浮点数，表示匹配对的匹配程度，“0”表示最不匹配，“1”表示最匹配。5.一种利用权利要求1所述网络的单图像阴影去除方法，其特征在于，包括以下步骤：步骤s1：利用srd数据集制作单图像阴影去除数据集；步骤s2：使用步骤s1的单图像阴影去除数据集，训练“双头”上下文信息匹配模块；步骤s3：使用步骤s1中涉及的除数据集和步骤s2中训练好的“双头”上下文信息匹配模块，根据权利要求1所述的网络进行有监督地训练；步骤s4：利用步骤s3中训练好的网络进行单图像阴影去除。6.根据权利要求5所述的基于两阶段图像上下文识别网络的单图像阴影去除方法，其特征在于：所述步骤s1中单图像阴影去除数据集包括两种，其一为现有数据集，即成对的阴影图像和对应的无阴影图像,还包括该阴影图像的阴影遮罩；其二为制作数据集，即随机从现有数据集图像的阴影区域和非阴影区域各选择一个图像块，计算它们的余弦相似度，选择其中余弦相似度高于0.95的图像块对作为匹配对，小于0.5的图像块对作为非匹配对；此外，从图像中随机选择两个图像块，并根据图像块所属区域给予其对应的匹配对类型标签。7.根据权利要求6所述的基于两阶段图像上下文识别网络的单图像阴影去除方法，其特征在于：步骤s2使用步骤s1中的现有数据集和制作数据集，训练两阶段图像上下文识别网络中“双头”上下文信息匹配模块，具体过程如下：s21首先对现有数据集中的阴影图片进行均值滤波来使得阴影图像的光照强度均值
化，从而获得shadow
‑
unaware图像，具体计算公式如下：其中i
i,j
表示阴影图像在坐标(i,j)处的亮度值，p表示以(i,j)为中心的一个3*3的图像块，n表示p图像块中的像素点的个数，，i
avg
表示图像的全局平均亮度值；s22将s21中输入的阴影图片和得到的shadow
‑
unaware图像按照步骤s1中制作的训练集中的图像块的划分方法，划分为相同像素大小32*32的图像块，将相同位置的两个图像块进行级联并将级联后的结果送入“双头”上下文信息匹配模块中的特征提取器，对图像块的特征表示进行建模；s23将s22中计算得到的特征表示送入“双头”上下文信息匹配模块中的匹配对类型分类器和图像块匹配程度预测器分别预测图像块对的匹配对类型和匹配程度；s24分别用交叉熵损失l
cls
和l2损失l
reg
计算预测的匹配对类型和匹配程度与步骤s1的制作数据集中ground
‑
truth值的误差，以训练该模块，计算公式如下：truth值的误差，以训练该模块，计算公式如下：其中为真实的匹配对类型，为真实的匹配程度，y
i
为预测的匹配对类型，s为预测的匹配程度，||
·
||2为l2距离。8.根据权利要求7所述的基于两阶段图像上下文识别网络的单图像阴影去除方法，其特征在于：步骤s3使用步骤s1中涉及的现有数据集和步骤s2中训练好的“双头”上下文信息匹配模块，对将使用的两阶段图像上下文识别网络进行有监督地训练，具体过程如下：s31将阴影图片输入训练好的“双头”上下文信息匹配模块中进行前向推理，具体过程见上述步骤s2，预测图像块的匹配对类型和匹配程度，并根据这些结果选出能有效帮助阴影去除任务的匹配对，即预测的匹配对类型为“1”的匹配对中分类中匹配程度最高的k对匹配对；s32将输入的阴影图片输入两阶段图像上下文识别网络中的特征提取器中，提取输入阴影图像的不同尺度的特征图：feature1，feature2，feature3，feature4；s33将s31中计算得到的图像块匹配对集合和s32中提取的特征图输入上下文信息特征迁移模块进行上下文信息特征迁移，得到对应的迁移特征t_feature1，t_feature2，t_feature3，t_feature4，迁移时使用的高斯采样具体公式定义如下：其中f
‘
x,y
和f
x,y
分别为采样后特征图t_feature和采样前特征图feature在(x,y)处的值，为在位置(x+δx,y+δy)的高斯权重且其公式如下：
其中σ为高斯分布的方差；s34将s33中迁移后的特征输入两阶段图像上下文识别网络中的上采样阴影去除模块使特征图恢复到与输入图片一致的原始图像的大小并分别预测图像l通道、a通道和b通道上的阴影去除结果；s35将s34中得到l通道、a通道和b通道的阴影去除结果，和输入的阴影图像一同送入第二阶段精化网络中，最终得到精化处理后的阴影去除结果；s36使用像素级的阴影去除损失l
rem
，感知损失l
per
和梯度损失l
grad
计算阴影去除结果和ground
‑
truth值的误差，训练两阶段图像上下文识别网络canet，具体计算公式如下：truth值的误差，训练两阶段图像上下文识别网络canet，具体计算公式如下：truth值的误差，训练两阶段图像上下文识别网络canet，具体计算公式如下：其中，为阴影去除结果的真实值，o为预测的阴影去除结果，vgg(
·
)为vgg16网络中的特征提取器，为图像在像素级别上的梯度。9.根据权利要求5所述的基于两阶段图像上下文识别网络的单图像阴影去除方法，其特征在于：图片在输入网络中之前需要对输入图片进行图像尺寸变换，将通过双线性插值其缩小或放大至400*400的图像大小；相对的，需要将网络输出的结果重新调整至原图像大小。10.根据权利要求5所述的基于两阶段图像上下文识别网络的单图像阴影去除方法，其特征在于：图片在输入网络中之前需要对输入图片进行归一化操作，具体计算公式如下：其中image
i,j
表示输入图像在(i,j)位置处的像素值；相对的，网络输出的结果需要进行反归一化操作：image
i,j
＝image
i,j
*255.0。
技术总结
本发明涉及图像光照编辑领域，提供了一种基于两阶段图像上下文识别网络及单图像阴影去除方法。该方法显式地捕获阴影图像中隐式存在的阴影与非阴影图像对关系并根据该匹配对关系来进行图像的上下文信息特征迁移从而将有用的非阴影区域的信息迁移至非阴影区域，有效地消除图像中的阴影。解决了当前阴影去除结果不准确，存在一些如处理结果颜色扭曲，泛化能力较差的问题，同时实现了对单幅图像进行的高质量的阴影去除。高质量的阴影去除。高质量的阴影去除。
技术研发人员：肖春霞 陈子沛 罗飞
受保护的技术使用者：武汉大学
技术研发日：2021.06.18
技术公布日：2021/9/9