本发明涉及图像数据处理,尤其涉及一种图像阴影消除方法、装置、设备及存储介质。
背景技术:
1、自然场景下,植物叶片会因为相互遮挡而产生阴影,对于计算机的视觉系统而言,阴影区域的光线不足,可能会造成特征缺失,对识别模型的准确率产生影响,因此对自然场景下的病害图像进行阴影消除具有重要意义。
2、然而当前大部分阴影消除的方法基于有监督的思想,需要使用成对的阴影图像和无阴影图像进行训练,这就要求在收集数据集图像时,先拍摄带阴影的图像,然后移除产生阴影的物体来拍摄没有阴影的图像。这种拍摄过程非常繁琐,需要人工固定摄像机、添加遮罩并移除,同时对拍摄场景有一定的限制,很难拍摄由树木、建筑物等大型物体投射的阴影和无阴影图像。因此,需要采用无监督的方法实现自然场景下的阴影消除。虽然目前有采用无监督的方法实现自然场景下的阴影消除,但是在自然场景下的植物病害图像中,一些病斑和背景中的树木枝干在视觉上呈现与阴影区域接近的灰黑色,这些区域往往会被误认为是阴影区域而被去除,继而因为损失明显特征被误识别为健康叶片或其他种类的病害叶片。
技术实现思路
1、本发明的主要目的在于提供了一种图像阴影消除方法、装置、设备及存储介质,旨在解决如何更加准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域的技术问题。
2、为实现上述目的,本发明提供了一种图像阴影消除方法,所述方法包括以下步骤:
3、获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
4、将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在mask-shadowgan网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
5、判断所述目标图像是否为有阴影图像;
6、若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
7、可选地,所述获取自然场景下植物叶片的目标图像的步骤之前,还包括:
8、将所述mask-shadowgan网络模型的生成器模型中的残差块替换为方向感知的空间上下文模块,获得第一训练网络模型;
9、通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型。
10、可选地,所述预设目标网络模型的生成器模型中至少包括卷积层、relu函数和九个堆叠的方向感知的空间上下文模块。
11、可选地,所述方向感知的空间上下文模块的结构为1x1conv+空间rnn+concat函数+1x1conv+空间rnn+concat函数结构;
12、其中,1x1conv为1x1卷积,空间rnn为循环神经网络,concat函数用于将不同方向上的上下文特征进行组合。
13、可选地,所述通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型的步骤,具体包括:
14、获取公开的植物训练数据集;
15、对训练数据集中的有阴影图和无阴影图分别进行有阴影图像训练和无阴影图像训练;
16、根据有阴影图像训练和无阴影图像训练的训练结果,通过循环一致性损失对所述第一网络模型进行优化,获得预设目标网络模型。
17、可选地,所述植物训练数据集可以是无监督数据集usr、fgvc8植物病理识别挑战赛的数据集。
18、可选地,所述若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像的步骤,包括:
19、若是,则通过预设目标网络模型从不同方向上分析所述目标图像,确定所述目标图像的阴影区域及其边缘;
20、根据所述阴影区域及其边缘,去除所述阴影区域,获得所述目标图像对应的无阴影图像。
21、此外,为实现上述目的,本发明还提出一种图像阴影消除装置,所述装置包括:
22、获取模块,用于获取自然场景下植物叶片的目标图像,所述目标图像包括有阴影图像和无阴影图像;
23、输入模块,用于将所述目标图像输入至预设目标网络模型,所述预设目标网络模型在mask-shadowgan网络模型的基础上进行改进,所述预设目标网络模型中包括生成器模型,所述生成器模型中包括方向感知的空间上下文模块;
24、判断模块,用于判断所述目标图像是否为有阴影图像;
25、阴影消除模块,用于去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。
26、此外,为实现上述目的,本发明还提出一种图像阴影消除设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序,所述图像阴影消除程序配置为实现如上文所述的图像阴影消除方法的步骤。
27、此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有图像阴影消除程序,所述图像阴影消除程序被处理器执行时实现如上文所述的图像阴影消除方法的步骤。
28、本发明通过获取自然场景下植物叶片的目标图像,其中,目标图像包括有阴影图像和无阴影图像;然后将目标图像输入至预设目标网络模型,其中,预设目标网络模型中包括生成器模型,其中,生成器模型中包括方向感知的空间上下文模块;再判断所述目标图像是否为有阴影图像;若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像。由于本发明是通过将自然场景下植物叶片的目标图像,然后将目标图像输入至预设目标网络模型中去除目标图像中的阴影,其中,预设目标网络模型的生成器模型中包括方向感知的空间上下文模块。相比于现有技术,本发明预设目标网络模型的生成器模型中包括方向感知的空间上下文模块,可以更准确地对自然条件下植物叶片的阴影区域进行消除,同时也保留病斑区域。
1.一种图像阴影消除方法,其特征在于,所述方法包括以下步骤:
2.如权利要求1所述的方法,其特征在于,所述获取自然场景下植物叶片的目标图像的步骤之前,还包括:
3.如权利要求2所述的方法,其特征在于,所述预设目标网络模型的生成器模型中至少包括卷积层、relu函数和九个堆叠的方向感知的空间上下文模块。
4.如权利要求3所述的方法,其特征在于,所述方向感知的空间上下文模块的结构为1x1conv+空间rnn+concat函数+1x1conv+空间rnn+concat函数结构;
5.如权利要求2所述的方法,其特征在于,所述通过有阴影图像训练和无阴影图像训练,对所述第一网络模型进行优化,获得预设目标网络模型的步骤,具体包括:
6.如权利要求5所述的方法,其特征在于,所述植物训练数据集可以是无监督数据集usr、fgvc8植物病理识别挑战赛的数据集。
7.如权利要求1所述的方法,其特征在于,所述若是,则去除所述目标图像中的阴影,获得所述目标图像对应的无阴影图像的步骤,包括:
8.一种图像阴影消除装置,其特征在于,所述装置包括:
9.一种图像阴影消除设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像阴影消除程序,所述图像阴影消除程序配置为实现如权利要求1至7中任一项所述的图像阴影消除方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有图像阴影消除程序,所述图像阴影消除程序被处理器执行时实现如权利要求1至7任一项所述的图像阴影消除方法的步骤。