一种图像去噪方法、装置、计算机及可读存储介质与流程

文档序号:23160923发布日期:2020-12-04 13:55阅读:120来源:国知局
一种图像去噪方法、装置、计算机及可读存储介质与流程

本申请涉及计算机技术领域,尤其涉及一种图像去噪方法、装置、计算机及可读存储介质。



背景技术:

当图像中存在噪声信息时,会影响用户对该图像的查看效果,在一些特殊场合(如交通工具或监控等)中,还可能会影响正常工作。其中,当手机、数码相机或交通工具上的摄像头等进行图像或视频拍摄时,常常会因为天气原因(如雨天、雾天或下雪天等),可能会拍摄到带有噪声信息(如雨水、雾气或雪花等)的图像,此时,对图像的去噪处理就格外重要。目前,一般是通过深度学习网络对单目图像(带有噪声信息的图像)进行去噪处理,得到该单目图像去噪之后的图像,在该方式下,对该单目图像中噪声信息所覆盖的地方进行预测时,会造成较多的信息损失,使得图像的修复效果较差。



技术实现要素:

本申请实施例提供了一种图像去噪方法、装置、计算机及可读存储介质,可以减少对双目图像进行去噪处理时的信息损失,提升了对双目图形进行去噪处理的效果。

本申请实施例一方面提供了一种图像去噪方法,该方法包括:

获取双目图像;

对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图;

将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征;

基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图,包括:

将单目图像ki输入图像编码器,基于图像编码器提取单目图像ki的单目图像特征;

将单目图像ki的单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式,基于去噪处理模式对单目图像ki的单目图像特征进行去噪处理,生成单目图像ki的初始去噪特征图;

将图像处理模型从去噪处理模式切换为语义提取模式,基于语义提取模式对单目图像ki的单目图像特征进行语义分割,生成单目图像ki的语义信息特征图。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征,包括:

基于第一图像融合模型,提取单目图像ki的初始去噪特征图的去噪图像特征,提取单目图像ki的语义信息特征图的语义图像特征;

将单目图像ki的去噪图像特征及语义图像特征进行特征拼接,得到单目图像ki的单目拼接特征,基于第一图像融合模型的卷积层对单目图像ki的单目拼接特征进行迭代,生成单目图像ki的融合特征。

其中,双目图像包括第一单目图像及第二单目图像,各个单目图像的融合特征包括第一单目图像的第一融合特征及第二单目图像的第二融合特征;

基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像,包括:

将第二融合特征向第一融合特征进行特征传递,根据传递后的第一融合特征生成第一单目图像的第一去噪图像,将第一融合特征向第二融合特征进行特征传递,根据传递后的第二融合特征生成第二单目图像的第二去噪图像。

其中,将第二融合特征向第一融合特征进行特征传递,根据传递后的第一融合特征生成第一单目图像的第一去噪图像,将第一融合特征向第二融合特征进行特征传递,根据传递后的第二融合特征生成第二单目图像的第二去噪图像,包括:

将第一融合特征及第二融合特征进行特征拼接,得到双目拼接特征;

将双目拼接特征输入第二图像融合模型,基于第二图像融合模型的卷积层,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征;

基于第二图像融合模型将第三融合特征划分为第一颜色通道特征及第二颜色通道特征,根据第一颜色通道特征生成第一单目图像的第一去噪图像,根据第二颜色通道特征生成第二单目图像的第二去噪图像;第一颜色通道特征为传递后的第一融合特征,第二颜色通道特征为传递后的第二融合特征。

其中,基于第二图像融合模型的卷积层,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征,包括:

获取第一单目图像与第二单目图像之间的图像视觉差,根据图像视觉差确定第一单目图像与第二单目图像的位置关联关系;位置关联关系用于表征同一地理位置,在第一单目图像中对应的像素点与在第二单目图像中对应的像素点之间的关联关系;

基于位置关联关系及第二图像融合模型的卷积层,建立双目拼接特征中的第一融合特征及第二融合特征之间的特征元素关联关系;

根据特征元素关联关系,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征。

其中,基于第二图像融合模型将第三融合特征划分为第一颜色通道特征及第二颜色通道特征,根据第一颜色通道特征生成第一单目图像的第一去噪图像,根据第二颜色通道特征生成第二单目图像的第二去噪图像,包括:

基于第二图像融合模型将第三融合特征划分为第一颜色通道特征和第二颜色通道特征;

对第一颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第一单目图像的第一去噪图像;

对第二颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第二单目图像的第二去噪图像。

其中,该方法还包括:

获取噪声图像样本及噪声图像样本的去噪图像样本;噪声图像样本为在去噪图像样本中添加噪声信息后所得到的图像;

将噪声图像样本输入处于去噪处理模式的初始图像处理模型,获取初始图像处理模型输出的预测去噪图像,基于预测去噪图像及去噪图像样本之间的第一损失函数,对处于去噪处理模式的初始图像处理模型进行调整,得到可执行去噪处理模式的图像处理模型。

其中,该方法还包括:

获取噪声图像样本及噪声图像样本的语义图像样本;语义图像样本是对噪声图像样本对应的去噪图像样本进行语义分割后得到的图像;

将噪声图像样本输入处于语义提取模式的初始图像处理模型,获取初始图像处理模型输出的预测语义图像,基于预测语义图像及语义图像样本之间的第二损失函数,对处于语义提取模式的初始图像处理模型进行调整,得到可执行语义提取模式的图像处理模型。

其中,该方法还包括:

获取双目图像样本中的第一去噪图像样本及第二去噪图像样本,对第一去噪图像样本添加噪声信息,生成第一去噪图像样本的第一噪声图像样本,对第二去噪图像样本添加噪声信息,生成第二去噪图像样本的第二噪声图像样本;

获取第一噪声图像样本的第一初始去噪样本图及第一初始语义样本图,获取第二噪声图像样本的第二初始去噪样本图及第二初始语义样本图;

基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型;第一初始图像融合模型的输出为第二初始图像融合模型的输入。

其中,基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型,包括:

将第一初始去噪样本图及第一初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第一融合样本特征;

将第二初始去噪样本图及第二初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第二融合样本特征;

将第一融合样本特征及第二融合样本特征输入第二初始图像融合模型,得到第一预测去噪图像及第二预测去噪图像;

获取第一预测去噪图像与第一去噪图像样本之间的第三损失函数,获取第二预测去噪图像与第二去噪图像样本之间的第四损失函数;

基于第三损失函数与第四损失函数对应的综合损失函数,对第一初始图像融合模型及第二初始图像融合模型进行调整,得到第一图像融合模型及第二图像融合模型。

本申请实施例一方面提供了一种图像去噪装置,该装置包括:

图像获取模块,用于获取双目图像;

图像处理模块,用于对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图;

图像融合模块,用于将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征;

图像去噪模块,用于基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

该图像处理模块,包括:

第一特征提取单元,用于将单目图像ki输入图像编码器,基于图像编码器提取单目图像ki的单目图像特征;

图像去噪单元,用于将单目图像ki的单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式,基于去噪处理模式对单目图像ki的单目图像特征进行去噪处理,生成单目图像ki的初始去噪特征图;

语义提取单元,用于将图像处理模型从去噪处理模式切换为语义提取模式,基于语义提取模式对单目图像ki的单目图像特征进行语义分割,生成单目图像ki的语义信息特征图。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

该图像融合模块,包括:

第二特征提取单元,用于基于第一图像融合模型,提取单目图像ki的初始去噪特征图的去噪图像特征,提取单目图像ki的语义信息特征图的语义图像特征;

特征处理单元,用于将单目图像ki的去噪图像特征及语义图像特征进行特征拼接,得到单目图像ki的单目拼接特征,基于第一图像融合模型的卷积层对单目图像ki的单目拼接特征进行迭代,生成单目图像ki的融合特征。

其中,双目图像包括第一单目图像及第二单目图像,各个单目图像的融合特征包括第一单目图像的第一融合特征及第二单目图像的第二融合特征;

该图像去噪模块具体用于:

将第二融合特征向第一融合特征进行特征传递,根据传递后的第一融合特征生成第一单目图像的第一去噪图像,将第一融合特征向第二融合特征进行特征传递,根据传递后的第二融合特征生成第二单目图像的第二去噪图像。

该图像去噪模块,包括:

特征拼接单元,用于将第一融合特征及第二融合特征进行特征拼接,得到双目拼接特征;

特征传递单元,用于将双目拼接特征输入第二图像融合模型,基于第二图像融合模型的卷积层,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征;

图像生成单元,用于基于第二图像融合模型将第三融合特征划分为第一颜色通道特征及第二颜色通道特征,根据第一颜色通道特征生成第一单目图像的第一去噪图像,根据第二颜色通道特征生成第二单目图像的第二去噪图像;第一颜色通道特征为传递后的第一融合特征,第二颜色通道特征为传递后的第二融合特征。

其中,该特征传递单元,包括:

关联确定子单元,用于获取第一单目图像与第二单目图像之间的图像视觉差,根据图像视觉差确定第一单目图像与第二单目图像的位置关联关系;位置关联关系用于表征同一地理位置,在第一单目图像中对应的像素点与在第二单目图像中对应的像素点之间的关联关系;

关系建立子单元,用于基于位置关联关系及第二图像融合模型的卷积层,建立双目拼接特征中的第一融合特征及第二融合特征之间的特征元素关联关系;

特征生成子单元,用于根据特征元素关联关系,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征。

其中,该图像生成单元,包括:

特征划分子单元,用于基于第二图像融合模型将第三融合特征划分为第一颜色通道特征和第二颜色通道特征;

特征叠加子单元,用于对第一颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第一单目图像的第一去噪图像;

该特征叠加子单元,还用于对第二颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第二单目图像的第二去噪图像。

其中,该装置还包括:

第一样本获取模块,用于获取噪声图像样本及噪声图像样本的去噪图像样本;噪声图像样本为在去噪图像样本中添加噪声信息后所得到的图像;

第一模型训练模块,用于将噪声图像样本输入处于去噪处理模式的初始图像处理模型,获取初始图像处理模型输出的预测去噪图像,基于预测去噪图像及去噪图像样本之间的第一损失函数,对处于去噪处理模式的初始图像处理模型进行调整,得到可执行去噪处理模式的图像处理模型。

其中,该装置还包括:

第二样本获取模块,用于获取噪声图像样本及噪声图像样本的语义图像样本;语义图像样本是对噪声图像样本对应的去噪图像样本进行语义分割后得到的图像;

第二模型训练模块,用于将噪声图像样本输入处于语义提取模式的初始图像处理模型,获取初始图像处理模型输出的预测语义图像,基于预测语义图像及语义图像样本之间的第二损失函数,对处于语义提取模式的初始图像处理模型进行调整,得到可执行语义提取模式的图像处理模型。

其中,该装置还包括:

第三样本获取模块,用于获取双目图像样本中的第一去噪图像样本及第二去噪图像样本,对第一去噪图像样本添加噪声信息,生成第一去噪图像样本的第一噪声图像样本,对第二去噪图像样本添加噪声信息,生成第二去噪图像样本的第二噪声图像样本;

样本转换模块,用于获取第一噪声图像样本的第一初始去噪样本图及第一初始语义样本图,获取第二噪声图像样本的第二初始去噪样本图及第二初始语义样本图;

第三模型训练模块,用于基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型;第一初始图像融合模型的输出为第二初始图像融合模型的输入。

其中,该第三模型训练模块,包括:

第一特征获取单元,用于将第一初始去噪样本图及第一初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第一融合样本特征;

第二特征获取单元,用于将第二初始去噪样本图及第二初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第二融合样本特征;

模型预测单元,用于将第一融合样本特征及第二融合样本特征输入第二初始图像融合模型,得到第一预测去噪图像及第二预测去噪图像;

损失获取单元,用于获取第一预测去噪图像与第一去噪图像样本之间的第三损失函数,获取第二预测去噪图像与第二去噪图像样本之间的第四损失函数;

模型调整单元,用于基于第三损失函数与第四损失函数对应的综合损失函数,对第一初始图像融合模型及第二初始图像融合模型进行调整,得到第一图像融合模型及第二图像融合模型。

本申请实施例一方面提供了一种计算机设备,包括处理器、存储器、输入输出接口;

处理器分别与存储器和输入输出接口相连,其中,输入输出接口用于接收数据及输出数据,存储器用于存储计算机程序,处理器用于调用计算机程序,以执行本申请实施例一方面中的图像去噪方法。

本申请实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时,执行本申请实施例一方面中的图像去噪方法。

本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。

实施本申请实施例,将具有如下有益效果:

本申请实施例通过获取双目图像;对该双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图;将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征;基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。通过以上过程,在对单目图像进行初步去噪后,还会提取该单目图像的语义信息,会将初步去噪的结果(即初始去噪特征图)与语义信息(即语义信息特征图)进行融合,减少了对双目图像中的单张图像进行去噪时所产生的信息损失;进一步地,会对双目图像中的两张图像进行特征融合,即会基于该双目图像中的两张图像中的信息,对双目图像进行初步去噪后的结果进行补全(即对各个单目图像的再次去噪),进一步减少了对双目图像进行去噪处理时的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像去噪的网络架构图;

图2是本申请实施例提供的一种双目图像去噪的简易场景示意图;

图3是本申请实施例提供的一种双目图像架构示意图;

图4是本申请实施例提供的一种图像去噪的方法流程图;

图5是本申请实施例提供了一种融合特征之间进行特征传递的网络结构示意图;

图6是本申请实施例提供的一种针对双目图像的去噪方法流程图;

图7是本申请实施例提供的一种图像初步去噪及语义提取网络结构图;

图8a是本申请实施例提供的一种融合特征生成网络架构图;

图8b是本申请实施例提供的一种特征迭代示意图;

图9是本申请实施例提供的一种去噪图像生成场景示意图;

图10是本申请实施例提供的一种图像去噪装置示意图;

图11是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

其中,在本申请实施例中,可以基于人工智能领域中的计算机视觉及深度学习等技术,对双目图像进行去噪处理,以提高在对双目图像进行去噪的场景中的去噪结果的准确性。

其中,人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

其中,人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。而本申请中主要涉及的是计算机视觉技术(如对双目图像中所包括的图像进行识别等)及机器学习/深度学习(如对双目图像中所包括的第一单目图像及第二单目图像,进行特征提取或特征融合等)等方向。

其中,计算机视觉技术(computervision,cv)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。如,用计算机设备代替人眼,获取双目图像,并对双目图像进行处理。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统,在本申请中主要是基于计算机视觉技术建立能够对双目图像进行去噪处理的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。

而深度学习(deeplearning,dl)是机器学习(machinelearning,ml)领域中一个新的研究方向。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。其中,深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术,深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值,例如,本申请中的图像去噪领域。

其中,本申请实施例提供的方案涉及人工智能领域中的计算机视觉及深度学习等技术,具体通过如下实施例进行说明:

具体的,请参见图1,图1是本申请实施例提供的一种图像去噪的网络架构图,本申请实施例可以由计算机设备实现,其中,该计算机设备可以是由服务器及终端设备组成;该计算机设备还可以是服务器或终端设备,在此不做限定。其中,本申请实施例可以应用于任意一个可以生成或获取双目图像的设备,如手机、数码相机或摄像头等。

可以理解的是,本申请实施例中所提及的计算机设备或用户设备包括但不限于终端设备或服务器。换句话说,计算机设备或用户设备可以是服务器或终端设备,也可以是服务器和终端设备组成的系统。其中,以上所提及的终端设备可以是一种电子设备,包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、增强现实/虚拟现实(augmentedreality/virtualreality,ar/vr)设备、头盔显示器、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备(mobileinternetdevice,mid)等。其中,以上所提及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdeliverynetwork,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。

在本申请实施例中,如图1所示,计算机设备101可以与终端设备之间存在网络连接,计算机设备101可以获取终端设备所发送的双目图像,对该双目图像进行去噪处理,得到该双目图像对应的去噪图像,将该去噪图像发送至该双目图像对应的终端设备中。其中,该终端设备可以包括终端设备102a、终端设备102b及终端设备102c。可选的,本申请中所实现的对双目图像进行去噪处理的过程可以集成于终端设备中,此时,该终端设备在生成或获取到双目图像后,可以调用本申请实施例所实现的对双目图像进行去噪处理的过程,对双目图像进行去噪处理。其中,本申请实施例中所提及的双目图像包括第一单目图像及第二单目图像,第一单目图像及第二单目图像均为存在噪声信息的图像。其中,第一单目图像可以是左视觉对应的图像,第二单目图像可以是右视觉对应的图像。

可选的,可以将本申请实施例所实现的对双目图像进行去噪处理的过程,记作双目图像处理人工智能。以终端设备102a为例,假定该终端设备102a为手机,在一种可能的使用本申请实施例的应用场景中,终端设备102a通过相机这一应用程序拍摄了照片(即双目图像),由于环境原因,该照片存在噪声信息,终端设备102a将该照片发送至计算机设备101,计算机设备101获取该照片中的第一单目图像及第二单目图像,基于本申请实施例中所实现的双目图像处理人工智能,对第一单目图像及第二单目图像进行去噪处理,得到第一单目图像的第一去噪图像及第二单目图像的第二去噪图像。或者,终端设备102a通过相机这一应用程序拍摄了照片(即双目图像),由于环境原因,该照片存在噪声信息,终端设备102a调用相机中集成的双目图像处理人工智能,对该照片进行去噪处理,得到第一去噪图像及第二去噪图像。其中,该双目图像处理人工智能可以集成于终端设备中,也可以部署在后台服务器(即计算机设备101)中,在此不做限制。

进一步地,请参见图2,图2是本申请实施例提供的一种双目图像去噪的简易场景示意图。如图2所示,获取双目图像中的第一单目图像201及第二单目图像202,该第一单目图像201及第二单目图像是针对同一拍摄场景的图像,两者之间存在图像视觉差。其中,同一拍摄场景是指地理位置相同的场景。对第一单目图像201进行初步去噪处理及语义分割,生成该第一单目图像201的初始去噪特征图及语义信息特征图,将第一单目图像201的初始去噪特征图及语义信息特征图进行融合,得到第一单目图像201的融合特征,记作第一融合特征;对第二单目图像202进行初步去噪处理及语义分割,生成该第二单目图像202的初始去噪特征图及语义信息特征图,将第二单目图像202的初始去噪特征图及语义信息特征图进行融合,得到第二单目图像202的融合特征,记作第二融合特征。通过对第一单目图像或第二单目图像的初步去噪结果(即初始去噪特征图)和语义信息(即语义信息特征图)进行融合,可以修复该第一单目图像或第二单目图像的初步去噪结果中损失的部分图像信息。基于第一融合特征及第二融合特征对各个单目图像进行再次去噪,即,将第二融合特征向第一融合特征进行特征传递,将第一融合特征向第二融合特征进行特征传递,以根据传递后的第一融合特征生成第一单目图像201的第一去噪图像2011,根据传递后的第二融合特征生成第二单目图像202的第二去噪图像2021。通过对第一融合特征及第二融合特征之间进行特征传递,以通过第一单目图像的特征对第二单目图像进行修复,通过第二单目图像的特征对第一单目图像进行修复,可以进一步减少对双目图像进行去噪时所产生的图像信息损失,从而提高对双目图像进行去噪处理的去噪结果准确性,提升双目图像去噪效果。

其中,可以参见图3,图3是本申请实施例提供的一种双目图像架构示意图。如图3所示,以物体301为参考,假定通过数码相机拍摄该物体301所在的拍摄场景,其中,该数码相机包括左视觉对应的拍摄角度及右视觉对应的拍摄角度,可以将该左视觉对应的拍摄角度记作左摄像头302,将该右视觉对应的拍摄角度记作右摄像头303。其中,该物体301与该数码相机之间的距离为l,左摄像头302与右摄像头303之间的距离为间距d,此时,该左摄像头302与物体301之间存在左视角α,该右摄像头303与物体301之间存在右视角β,其中,该左视角α是指左摄像头302和物体301组成的边与左摄像头302与右摄像头303组成的边之间的夹角,该右视角β是指右摄像头303和物体301组成的边与左摄像头302与右摄像头303组成的边之间的夹角。通过数码相机拍摄该物体301所在的拍摄场景时,基于左摄像头302采集该拍摄场景,得到第一单目图像3021,该物体301在第一单目图像3021中的第一图像位置信息为(x1,y1);基于右摄像头303采集该拍摄场景,得到第二单目图像3031,该物体301在第二单目图像3031中的第二图像位置信息为(x2,y2),可以得知,第一单目图像与第二单目图像所显示的是针对同一拍摄场景,在不同视觉下拍摄出的图像,同一地理位置的同一物体,在第一单目图像中对应的像素位置与在第二单目图像中的像素位置不同。其中,该第一单目图像3021及第二单目图像3031组成双目图像。

进一步地,请参见图4,图4是本申请实施例提供的一种图像去噪的方法流程图。如图4所示,该图像去噪过程包括如下步骤:

步骤s401,获取双目图像。

在本申请实施例中,计算机设备获取双目图像,其中,该双目图像包括单目图像ki,i为正整数,i小于或等于该双目图像包括的单目图像的数量,例如,该双目图像包括2个单目图像,则i小于或等于2,即i为1或2,其中,将单目图像k1记作第一单目图像,将单目图像k2记作第二单目图像。计算机设备在获取到双目图像后,获取该双目图像中的第一单目图像及第二单目图像,其中,第一单目图像及第二单目图像均为存在噪声信息的图像。其中,该噪声信息可以是由于环境原因生成的,将生成该噪声信息的环境原因对应的环境信息记作噪声环境信息,该噪声环境信息可以包括一种或至少两种环境类型,如天气环境或周边环境(如灯光等),可选的,当该天气环境为雨天、雾天或下雪天等时,拍摄出的双目图像中可能会存在噪声信息,即,雨天、雾天或下雪天等均属于噪声环境信息,例如,雨天对应的噪声信息为雨水,雾天对应的噪声信息为雾气,下雪天的噪声信息为雪花等。

可选的,计算机设备获取双目图像后,可以获取该双目图像的拍摄环境信息,当该拍摄环境信息属于噪声环境信息时,获取该双目图像中的第一单目图像及第二单目图像;当该拍摄环境信息不属于噪声环境信息时,则不触发本步骤,可以直接保存该双目图像。或者,还可以通过模型检测该双目图像中是否存在噪声信息,如,将双目图像输入噪声检测模型中进行识别,得到噪声标签和噪声概率值,以及无噪标签和无噪概率值,若噪声概率值大于无噪概率值,则确定双目图像中存在噪声信息,获取该双目图像中的第一单目图像及第二单目图像;若噪声概率值小于无噪概率值,则确定双目图像中不存在噪声信息,不触发本步骤;若噪声概率值等于无噪概率值,则可以根据需求设置是否触发本步骤,如,若要尽可能对所有存在噪声信息的双目图像进行去噪处理,则在噪声概率值等于无噪概率值时,可以确定双目图像中存在噪声信息,若要避免对双目图像误去噪的情况,则在噪声概率值等于无噪概率值时,可以确定双目图像中不存在噪声信息;可选的,还可以基于噪声阈值检测双目图像中是否存在噪声信息,在此不做限制。

步骤s402,对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图。

在本申请实施例中,对单目图像ki进行去噪处理,得到单目图像ki的初始去噪特征图,对单目图像ki进行语义分割,得到单目图像ki的语义信息特征图。其中,i为1或2,单目图像k1为第一单目图像,单目图像k2为第二单目图像。其中,可以将第一单目图像的初始去噪特征图记作第一初始去噪特征图,该第一初始去噪特征图用于表征对该第一单目图像进行初步去噪处理后得到的第一初步去噪结果;将第一单目图像的语义信息特征图记作第一语义信息特征图,该第一语义信息特征图用于表征该第一单目图像的第一语义信息。其中,可以将第二单目图像的初始去噪特征图记作第二初始去噪特征图,该第二初始去噪特征图用于表征对第二单目图像进行初步去噪处理后得到的第二初始去噪结果;将第二单目图像的语义信息特征图记作第二语义信息特征图,该第二语义信息特征图用于表征该第二单目图像的第二语义信息。

具体的,将单目图像ki输入图像编码器,基于图像编码器提取单目图像ki的单目图像特征。将单目图像ki的单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式,基于去噪处理模式对单目图像ki的单目图像特征进行去噪处理,生成单目图像ki的的初始去噪特征图。将图像处理模型从去噪处理模式切换为语义提取模式,基于语义提取模式对单目图像ki的单目图像特征进行语义分割,生成单目图像ki的的语义信息特征图。通过该过程,得到第一单目图像(即单目图像k1)的第一初始去噪特征图及第一语义信息特征图,得到第二单目图像(即单目图像k2)的第二初始去噪特征图及第二语义信息特征图。

步骤s403,将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征。

在本申请实施例中,基于第一图像融合模型,提取单目图像ki的初始去噪特征图的去噪图像特征,提取单目图像ki的语义信息特征图的语义图像特征。将单目图像ki的去噪图像特征及语义图像特征进行特征拼接,得到单目图像ki的单目拼接特征,基于第一图像融合模型的卷积层对单目图像ki的单目拼接特征进行迭代,生成单目图像ki的融合特征。其中,可以将第一单目图像(即单目图像k1)的单目拼接特征记作第一单目拼接特征,将第一单目图像的融合特征记作第一融合特征;将第二单目图像(即单目图像k2)的单目拼接特征记作第二单目拼接特征,将第二单目图像的融合特征记作第二融合特征。通过对各个单目图像的初始去噪特征图和语义信息特征图进行融合,可以实现基于单目图像ki的语义信息对单目图像ki的初始去噪结果进行信息补充,以减少在对单目图像ki进行初步去噪处理时所产生的信息损失,尽可能地还原单目图像ki的图像信息,各个单目图像所损失的信息的减少,可以在一定程度上提升对双目图像的图像去噪处理效果。

步骤s404,基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。

在本申请实施例中,将第一单目图像的第一融合特征与第二单目图像的第二融合特征进行多次特征传递,即将第二融合特征向第一融合特征进行特征传递,将第一融合特征向第二融合特征进行特征传递,其中,每次特征传递都是第一融合特征与第二融合特征之间的相互传递,以得到传递后的第一融合特征及传递后的第二融合特征,根据传递后的第一融合特征生成第一单目图像的第一去噪图像,根据传递后的第二融合特征生成第二单目图像的第二去噪图像。例如,请参见图5,图5是本申请实施例提供的一种融合特征之间进行特征传递的网络结构示意图。如图5所示,假定第一融合特征与第二融合特征之间存在n次特征传递,n为正整数,n可以是经验值,也可以是工作人员设置的,在此不做限定。具体的,获取到第一融合特征501及第二融合特征502,将第二融合特征502向第一融合特征501进行第一次特征传递,得到第一次传递的第一融合特征5011,将第一融合特征501向第二融合特征502进行第一次特征传递,得到第一次传递的第二融合特征5021;…;将第(n-1)次传递的第二融合特征502(n-1)向第(n-1)次传递的第一融合特征501(n-1)进行第n次特征传递,得到第n次传递的第一融合特征501n,即传递后的第一融合特征,将第(n-1)次传递的第一融合特征501(n-1)向第(n-1)次传递的第二融合特征502(n-1)进行第n次特征传递,得到第n次传递的第二融合特征502n,即传递后的第二融合特征。其中,可以根据传递后的第一融合特征501n生成第一单目图像的第一去噪图像,根据传递后的第二融合特征502n生成第二单目图像的第二去噪图像。

可选的,获取双目图像的第一单目图像及第二单目图像的触发方式包括但不限于以下几种情况:

1、用户预先设置图像去噪配置信息,该图像去噪配置信息包括图像去噪开启状态及原始图像保留信息等,其中,该图像去噪开启状态包括运行状态及空闲状态。当计算机设备获取到双目图像后,获取该计算机设备的图像去噪配置信息,若该图像去噪配置信息中的图像去噪开启状态为运行状态,则触发步骤s401至步骤s404,对双目图像进行去噪处理。可选的,在计算机设备获取到双目图像后,可以在双目图像中存在噪声信息,且图像去噪配置信息中的图像去噪开启状态为运行状态时,触发步骤s401至步骤s404,对该双目图像进行去噪处理。

其中,检测该双目图像中是否存在噪声信息的过程,与检测图像去噪配置信息中的图像去噪开启状态的过程之间的先后执行顺序不做限定,例如,这两个过程可以并行,或者,先检测该双目图像中是否存在噪声信息,再检测图像去噪配置信息中的图像去噪开启状态,或者,也可以先检测图像去噪配置信息中的图像去噪开启状态,再检测该双目图像中是否存在噪声信息。通过获取预先配置,使得在获取到双目图像时,不需要每次都手动触发对双目图像的去噪处理,可以提高对双目图像的处理效率,而且先对双目图像进行检测,以确定是否需要对双目图像进行去噪处理,可以减少产生的无效工作量,在一定程度上节省资源。

可选的,该原始图像保留信息可以是保留处理信息或删除处理信息。计算机设备在通过执行步骤s401至步骤s404,对双目图像进行去噪处理后,获取该图像去噪配置信息中的原始图像保留信息,若该原始图像保留信息为保留处理信息,则计算机设备保存该双目图像中的第一单目图像及第二单目图像,此时,该计算机设备中存在第一单目图像、第二单目图像、第一去噪图像及第二去噪图像;若该原始图像保留信息为删除处理信息,则计算机设备删除该双目图像中的第一单目图像及第二单目图像,此时,该计算机设备中存在第一去噪图像及第二去噪图像。

可选的,该图像去噪配置信息未被用户设置时,可以将该图像去噪配置信息中的图像去噪开启状态及原始图像保留信息等置为默认值,如,将图像去噪开启状态设置为默认状态,将原始图像保留信息设置为默认处理信息,其中,默认状态可以为运行状态或空闲状态中的任意一个状态,默认处理信息可以为保留处理信息或删除处理信息中的任意一个处理信息,其中,该默认值可以是开发人员设置的。

2、计算机设备获取双目图像,检测该双目图像中是否存在噪声信息,若该双目图像中存在噪声信息,则显示去噪提示消息,当计算机设备获取到针对该去噪提示消息的确认操作时,响应该确认操作,针对双目图像,执行步骤s401至步骤s404;当计算机设备获取到针对该去噪提示消息的取消操作时,则结束本次过程,不对双目图像进行处理。通过针对具体的双目图像确定是否触发图4中的各个步骤,可以提高对双目图像进行去噪处理的触发准确性,以减少误去噪的情况出现。例如,用户专门拍摄了雨中景色,通过该方式,可以避免拍摄的该雨中景色的图像被误去噪。

3、计算机设备在获取到双目图像后,可以直接保存该双目图像。当计算机设备获取到针对某个双目图像的去噪处理请求时,计算机设备再获取该去噪处理请求所请求的双目图像,针对该双目图像执行步骤s401及步骤s404,以对双目图像进行去噪处理。

以上为几种可选的对图4中各个步骤的触发方式,其他可以触发执行图4中各个步骤的方式也可以应用于本申请中,在此不做限制。

可选的,在获取到双目图像对应的第一去噪图像及第二去噪图像后,可以获取第一单目图像的第一单目名称及第二单目图像的第二单目名称,根据第一单目名称确定第一去噪图像的第一去噪名称,根据第二单目名称确定第二去噪图像的第二去噪名称。例如,当对双目图像进行去噪处理后,删除了双目图像中的第一单目图像及第二单目图像,则可以将第一单目名称确定为第一去噪名称,将第二单目名称确定为第二去噪名称。可选的,还可以对第一单目名称进行调整,以生成第一去噪名称,对第二单目名称进行调整,以生成第二去噪名称,如,第一单目名称为“泰山日出图”,得到第一去噪名称为“泰山日出去噪图”,该调整方式在此不做限制。可选的,该第一去噪名称及第二去噪名称也可以是根据计算机设备的图像名称生成方式得到,本申请中并不限制其他的名称生成方式的使用。

在本申请实施例中,获取双目图像;对该双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图及语义信息特征图,将各个单目图像的初始去噪特征图及语义信息特征图进行融合,生成各个单目图像的融合特征;基于该融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。通过以上过程,进行了两方面的改进,第一方面,在单目图像(如第一单目图像及第二单目图像)的初步去噪结果(即初始去噪特征图)中融合该单目图像中的语义信息(即语义信息特征图),第二方面,双目图像中的两张图像之间互相补全图像中的信息,使得对存在噪声信息的双目图像进行去噪处理后,得到的去噪图像可以保留更多的图像信息,即减少了对双目图像进行去噪处理时所造成的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。

进一步地,请参见图6,图6是本申请实施例提供的一种针对双目图像的去噪方法流程图。如图6所示,该双目图像包括第一单目图像及第二单目图像,该对双目图像进行去噪处理的过程可以包括如下步骤:

步骤s601,获取双目图像中的第一单目图像及第二单目图像。

在本申请实施例中,计算机设备获取双目图像,若该双目图像中存在噪声信息,则获取该双目图像中的第一单目图像及第二单目图像。其中,该第一单目图像与第二单目图像是在不同视觉下,对同一拍摄场景进行拍摄所得到的两张图像,即第一单目图像与第二单目图像之间存在图像视觉差。具体可以参见图4中步骤s401中所示的具体描述,在此不再进行赘述。

步骤s602,对第一单目图像进行去噪处理及语义分割。

在本申请实施例中,对第一单目图像进行去噪处理,得到第一单目图像的第一初始去噪特征图,对第一单目图像进行语义分割,得到第一单目图像的第一语义信息特征图。具体的,将第一单目图像输入图像编码器,基于图像编码器提取第一单目图像的第一单目图像特征;将第一单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式,基于去噪处理模式对第一单目图像特征进行去噪处理,生成第一单目图像的第一初始去噪特征图;将图像处理模型从去噪处理模式切换为语义提取模式,基于语义提取模式对第一单目图像特征进行语义分割,生成第一单目图像的第一语义信息特征图。

具体的,可以参见图7,图7是本申请实施例提供的一种图像初步去噪及语义提取网络结构图。如图7所示,计算机设备将第一单目图像701输入图像编码器702,以提取该第一单目图像701的第一单目图像特征,该图像编码器702可以是一个卷积神经网络(convolutionalneuralnetworks,cnn),也可以是由至少两个cnn组成的网络,该图像编码器702可以用于提取图像的特征,该单目图像特征可以是一个特征图(featuremap)。例如,该图像编码器702可以为一个包括7层cnn,使用3*3卷积核,步长为1的模型。

计算机设备将第一单目图像特征输入图像处理模型703,获取第一执行条件7031,基于该第一执行条件7031启动图像处理模型703中的去噪处理模式,基于该去噪处理模式对第一单目图像特征进行去噪处理,得到第一单目图像701的第一初步去噪结果(即图7中的704为第一初步去噪结果),将该第一初步去噪结果转换为第一初始去噪特征图7051。计算机设备获取第二执行条件7032,基于该第二执行条件7032将图像处理模型703从去噪处理模式切换为语义提取模式,基于语义提取模式对第一单目图像特征进行语义分割,得到第一单目图像701的第一语义信息(即图7中的704为第一语义信息),将第一语义信息转换为第一语义信息特征图7052。可选的,可以基于条件启动位获取执行条件,具体的,如将该第一执行条件7031置为0,将第二执行条件7032置为1,该图像处理模型703中存在一个条件启动位,将该条件启动位配置为第一执行条件7031的值0,以启动图像处理模型703的去噪处理模式;将该条件启动位配置为第二执行条件7032的值1,以启动图像处理模型703的语义提取模式。可选的,也可以基于第一执行条件或第二执行条件直接触发该图像处理模型703,无需更新该图像处理模型703。

其中,该第一执行条件7031及第二执行条件7032可以认为是图像处理模型703的一个开关,当该开关指向第一执行条件7031时,启动图像处理模型703中的去噪处理模式,当该开关指向第二执行条件7032时,启动图像处理模型703中的语义提取模式。其中,对第一初始去噪特征图的生成过程与第一语义信息特征图的生成过程的先后执行顺序不做限制。以上的示例为先生成第一初始去噪特征图,再生成第一语义信息特征图;当先生成第一语义信息特征图,再生成第一初始去噪特征图时,在生成第一语义信息特征图后,将图像处理模型703从语义提取模式切换为去噪处理模式。

步骤s603,对第一单目图像的第一初步去噪结果及第一语义信息进行特征融合,生成第一单目图像的第一融合特征。

在本申请实施例中,对第一初始去噪特征图及第一语义信息特征图进行特征融合,生成第一融合特征。具体的,基于第一图像融合模型提取第一初始去噪特征图的去噪图像特征,记作第一去噪图像特征,提取第一语义信息特征图的语义图像特征,记作第一语义图像特征;将第一去噪图像特征及第一语义图像特征进行特征拼接,得到第一单目图像的单目拼接特征,将该第一单目图像的单目拼接特征记作第一单目拼接特征,基于第一图像融合模型的卷积层对第一单目拼接特征进行迭代,生成第一融合特征。其中,该特征拼接可以是将第一去噪图像特征与第一语义图像特征进行直接拼接,如,第一去噪图像特征为(0,1,4,0,5),第一语义图像特征为(1,3,0,1,2),对第一去噪图像特征及第一语义图像特征进行特征拼接,得到第一单目拼接特征(0,1,4,0,5,1,3,0,1,2)。在基于第一图像融合模型的卷积层对第一单目拼接特征进行迭代,生成第一融合特征时,可以是基于第一图像融合模型的卷积层,对第一单目拼接特征进行卷积迭代,相当于是对第一单目拼接特征进行卷积,得到第一次卷积特征,对第一次卷积特征进行卷积,得到第二次卷积特征,…直至得到第一融合特征。

举例来说,请参见图8a,图8a是本申请实施例提供的一种融合特征生成网络架构图。如图8a所示,将图7中得到的第一初始去噪特征图7051及第一语义信息特征图7052输入第一图像融合模型802,基于第一图像融合模型802提取第一初始去噪特征图7051的第一去噪图像特征8011,提取第一语义信息特征图7052的第一语义图像特征8012,对第一去噪图像特征8011及第一语义图像特征8012进行特征拼接,得到第一单目拼接特征8021。基于第一图像融合模型802的卷积层对第一单目拼接特征8021进行迭代,生成第一融合特征803。其中,图8a中的⊕用于表示特征拼接(concatenate)。

例如,请参见图8b,图8b是本申请实施例提供的一种特征迭代示意图。如图8b所示,以一个特征点为例,对该特征点8041进行特征扩展,以生成特征图8042;再进一步对特征图8042进行特征扩展,以生成特征图8043;对特征图8043进行特征扩展,以生成特征图8044;对特征图8044进行特征扩展,以生成特征图8045等。具体的,基于第一图像融合模型的卷积层对第一单目拼接特征8021进行卷积,对该第一单目拼接特征8021进行特征扩展,生成特征图8022,对特征图8022进行特征扩展,生成特征图8023,…,直至生成第一融合特征803。其中,该特征扩展主要是基于对对应的特征图进行特征预测及特征组合等所实现的,在此不再进行过多说明。

步骤s604,对第二单目图像进行去噪处理及语义分割。

在本申请实施例中,对第二单目图像进行去噪处理,得到第二单目图像的第二初始去噪特征图,对第二单目图像进行语义分割,得到第二单目图像的第二语义信息特征图。具体的,将第二单目图像输入图像编码器,基于图像编码器提取第二单目图像的第二单目图像特征;将第二单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式(基于第一执行条件启动),基于去噪处理模式对第二单目图像特征进行去噪处理,生成第二单目图像的第二初始去噪特征图;将图像处理模型从去噪处理模式切换为语义提取模式(语义提取模式是基于第二执行条件启动),基于语义提取模式对第二单目图像特征进行语义分割,生成第二单目图像的第二语义信息特征图。具体的,该第二初始去噪特征图的生成过程可以参见步骤s602中第一初始去噪特征图的生成过程,该第二语义信息特征图的生成过程可以参见步骤s602中第一语义信息特征图的生成过程,在此不再进行赘述。

步骤s605,对第二单目图像的第二初步去噪结果及第二语义信息进行特征融合,生成第二单目图像的第二融合特征。

在本申请实施例中,基于第一图像融合模型提取第二初始去噪特征图的去噪图像特征,记作第二去噪图像特征,提取第二语义信息特征图的语义图像特征,记作第二语义图像特征;将第二去噪图像特征及第二语义图像特征进行特征拼接,得到第二单目图像的单目拼接特征,将第二单目图像的单目拼接特征记作第二单目拼接特征,基于第一图像融合模型的卷积层对第二单目拼接特征进行迭代,生成第二单目图像的第二融合特征。其中,该特征拼接可以是将第二去噪图像特征与第二语义图像特征进行直接拼接。在基于第一图像融合模型的卷积层对第二单目拼接特征进行迭代,生成第二融合特征时,可以是基于第一图像融合模型的卷积层,对第二单目拼接特征进行卷积迭代,相当于是对第二单目拼接特征进行卷积,得到第二单目拼接特征的第一次卷积特征,对第二单目拼接特征的第一次卷积特征进行卷积,得到第二单目拼接特征的第二次卷积特征,…直至得到第二融合特征。

更进一步,该第二融合特征的生成过程还可以参见步骤s603中第一融合特征的生成过程,在此不再进行赘述。

步骤s606,根据第一融合特征及第二融合特征,生成第一单目图像的第一去噪图像及第二单目图像的第二去噪图像。

在本申请实施例中,将第一融合特征及第二融合特征进行特征拼接,得到双目拼接特征,可选的,该特征拼接可以是对第一融合特征及第二融合特征进行直接拼接。将双目拼接特征输入第二图像融合模型,基于第二图像融合模型的卷积层,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征。其中,该第三融合特征的生成过程可以参见图4中的步骤s404所示的具体描述,该第三融合特征的生成网络结构可以参见图5,在此不再进行过多说明。

进一步地,基于第二图像融合模型将第三融合特征划分为第一颜色通道特征及第二颜色通道特征,根据第一颜色通道特征生成第一单目图像的第一去噪图像,根据第二颜色通道特征生成第二单目图像的第二去噪图像;其中,第一颜色通道特征为传递后的第一融合特征,第二颜色通道特征为传递后的第二融合特征。

具体的,基于特征传递生成第三融合特征的过程具体如下:

获取第一单目图像与第二单目图像之间的图像视觉差,根据图像视觉差确定第一单目图像与第二单目图像的位置关联关系,其中,该位置关联关系用于表征同一地理位置,在第一单目图像中对应的像素点与在第二单目图像中对应的像素点之间的关联关系。例如,如图3所示,可以基于该数码相机的左摄像头302与右摄像头303之间的间距d、物体301与数码相机之间的距离l、左视角α及右视角β等,确定第一单目图像3021与第二单目图像3031之间的图像视觉差,根据图像视觉差确定第一单目图像3021与第二单目图像3031的位置关联关系,如第一图像位置信息(x1,y1)与第二图像位置信息(x2,y2)之间的关联关系。换句话说,在第一单目图像中的第一像素点与第二单目图像中的第二像素点之间存在关联关系时,第一像素点与第二像素点指示同一个地理位置。进一步地,基于位置关联关系及第二图像融合模型的卷积层,建立双目拼接特征中的第一融合特征及第二融合特征之间的特征元素关联关系。根据特征元素关联关系,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征,可选的,双目拼接特征中的第一融合特征和第二融合特征之间可以进行的多次特征传递。例如,双目拼接特征为(0,1,4,0,5,4,1,5,1,2),其中,(0,1,4,0,5)为第一融合特征,(4,1,5,1,2)为第二融合特征,其中,第一融合特征中的第三位与第二融合特征中的第一位、第一融合特征中的第四位与第二融合特征中的第二位,以及第一融合特征中的第五位与第二融合特征中的第三位之间存在特征元素关联关系,进行特征传递后,生成第三融合特征(0,1,4,0.5,5,4,0.5,5,1,2)。

其中,在根据第三融合特征生成第一去噪图像及第二去噪图像时,可以通过如下过程进行实现:

基于第二图像融合模型将第三融合特征划分为第一颜色通道特征和第二颜色通道特征。对第一颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第一单目图像的第一去噪图像;对第二颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第二单目图像的第二去噪图像。例如,以第三融合特征用于表示三通道彩色图像为例,该三通道分别为红色通道(r通道)、绿色通道(g通道)及蓝色通道(b通道),该第三融合特征为六通道的特征,即包括六个单色通道特征,分别为第一红色通道特征、第一绿色通道特征、第一蓝色通道特征、第二红色通道特征、第二绿色通道特征及第二蓝色通道特征。将第一红色通道特征、第一绿色通道特征及第一蓝色通道特征进行叠加,生成第一单目图像的第一去噪图像;将第二红色通道特征、第二绿色通道特征及第二蓝色通道特征进行叠加,生成第二单目图像的第二去噪图像。

举例来说,参见图9,图9是本申请实施例提供的一种去噪图像生成场景示意图。如图9所示,根据第一初始去噪特征图7051及第一语义信息特征图7052,生成第一融合特征803,根据第二初始去噪特征图9011及第二语义信息特征图9012,生成第二融合特征902。将第一融合特征803及第二融合特征902进行特征拼接,生成双目拼接特征,将该双目拼接特征输入第二图像融合模型903,基于第二图像融合模型903的卷积层,对第一融合特征803及第二融合特征902之间进行特征传递,得到第三融合特征,根据第三融合特征中的第一颜色通道特征生成第一单目图像的第一去噪图像9041,根据第三融合特征中的第二颜色通道特征生成第二单目图像的第二去噪图像9042。

其中,在本申请中,对第一单目图像的处理过程(即步骤s602及步骤s603)与对第二单目图像的处理过程(即步骤s604及步骤s605)的执行先后顺序并不做限制,换句话说,也可以先执行步骤s604及步骤s605,对第二单目图像进行处理,再执行步骤s602及步骤s603,对第一单目图像进行处理,两者的先后顺序不影响本申请中方案的实现。

其中,本申请实施例可以应用于任意一个可以获取到双目图像的设备中。例如,在无人驾驶的交通工具中集成本申请实施例所实现的双目图像处理人工智能,当该交通工具在交通道路中行驶时,可以获取当前的天气环境,若当前的天气环境属于噪声天气环境,则该交通工具基于摄像头采集周边环境信息时,获取到采集的双目图像,基于该双目图像处理人工智能对双目图像进行去噪处理,得到各个单目图像的去噪图像,基于各个单目图像的去噪图像显示当前的路况,该交通工具可以基于该去噪图像对行驶路线进行规划,可以提高在雨天等噪声天气环境下,无人驾驶的交通工具的路线规划准确性。或者,本申请实施例所实现的双目图像处理人工智能集成于导航系统等,导航系统得到该去噪图像后,直接基于去噪图像显示当前的路况,以使该交通工具的司机可以查看到清晰的路况,提高安全性等。

本申请实施例是对图4的进一步说明,在本申请实施例中,获取双目图像;对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图及语义信息特征图,将各个单目图像的初始去噪特征图及语义信息特征图进行融合,得到各个单目图像的融合特征;基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。通过以上过程,进行了两方面的改进,第一方面,在单目图像(如第一单目图像及第二单目图像)的初步去噪结果中融合该单目图像中的语义信息,第二方面,双目图像中的两张图像之间互相补全图像中的信息,使得对存在噪声信息的双目图像进行去噪处理后,得到的去噪图像可以保留更多的图像信息,即减少了对双目图像进行去噪处理时所造成的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。其中,在本申请中的各个过程中引入深度学习网络(即各个模型),便于对各部分功能进行封装,而且深度学习网络可以不断进行学习调整,以优化深度学习网络的效果,因此,可以进一步提高对双目图像的去噪效果。

其中,本申请中所使用的模型架构主要包括两部分,一部分用于对第一单目图像及第二单目图像进行初步去噪处理及语义分割,包括图像编码器及图像处理模型,将图像编码器记作e,将图像处理模型记作g,将该图像处理模型g的执行条件记作t,即第一执行条件可以记为tde,第二执行条件可以记为tseg;一部分用于对图像处理模型输出的结果进行特征融合,以及对第一单目图像的第一融合特征与第二单目图像的第二融合特征进行特征融合,包括第一图像融合模型及第二图像融合模型。其中,以下将图像处理模型及初始图像处理模型均用g表示,主要是因为图像处理模型是对初始图像处理模型进行调整得到的,而非完全不一致的模型。

其中,对处于去噪处理模式的图像处理模型的训练过程如下:

获取噪声图像样本及噪声图像样本的去噪图像样本,该噪声图像样本为在去噪图像样本中添加噪声信息后所得到的图像,此时,该去噪图像样本为对噪声图像样本进行去噪后得到的理想图像。将噪声图像样本输入处于去噪处理模式的初始图像处理模型,获取初始图像处理模型输出的预测去噪图像,基于预测去噪图像及去噪图像样本之间的第一损失函数,对处于去噪处理模式的初始图像处理模型进行调整,得到可执行去噪处理模式的图像处理模型。其中,可以是将噪声图像样本输入图像编码器e,将图像编码器e的输出结果输入处于去噪处理模式的初始图像处理模型,对该初始图像处理模型进行训练。可选的,可以获取初始图像编码器,基于噪声图像样本及去噪图像样本,同时对初始图像编码器及处于去噪处理模式的初始图像处理模型进行训练,得到图像编码器e及可执行去噪处理模式的图像处理模型g。其中,该第一损失函数可以通过公式①进行表示:

l1=||ic-σde(g(e(inoise),tde))||2

其中,ic为去噪图像样本,inoise为噪声图像样本,tde用于表示去噪处理模式对应的第一执行条件;e(inoise)用于表示将噪声图像样本输入图像编码器e后得到的输出结果;g(e(inoise),tde)用于表示将图像编码器e的输出结果,输入处于去噪处理模式的初始图像处理模型后所得到的输出结果。其中,σde用于表示基于像素的重建函数及归一化(softmax)功能函数等。

其中,可以将图像处理模型的输出结果记作p,则p=g(e(i),t),i为噪声图像样本,t为图像处理模型的执行条件,其中,该公式是对两种模式下的图像处理模型的数据传输的一个统一描述。

其中,对处于语义提取模式的图像处理模型的训练过程如下:

获取噪声图像样本及噪声图像样本的语义图像样本,该语义图像样本是对噪声图像样本对应的去噪图像样本进行语义分割后得到的图像,该语义图像样本也可以是人工进行标注得到的。将噪声图像样本输入处于语义提取模式的初始图像处理模型,获取初始图像处理模型输出的预测语义图像,基于预测语义图像及语义图像样本之间的第二损失函数,对处于语义提取模式的初始图像处理模型进行调整,得到可执行语义提取模式的图像处理模型。其中,该第二损失函数可以通过公式②进行表示:

其中,为语义图像样本,iseg用于表示预测语义图像,σh可以是softmax功能函数等。

其中,对第一图像融合模型及第二图像融合模型进行训练的过程如下:

获取双目图像样本中的第一去噪图像样本及第二去噪图像样本,对第一去噪图像样本添加噪声信息,生成第一去噪图像样本的第一噪声图像样本,对第二去噪图像样本添加噪声信息,生成第二去噪图像样本的第二噪声图像样本。获取第一噪声图像样本的第一初始去噪样本图及第一初始语义样本图,获取第二噪声图像样本的第二初始去噪样本图及第二初始语义样本图。基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型;第一初始图像融合模型的输出为第二初始图像融合模型的输入。

进一步地,在基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型时,该过程具体如下:

将第一初始去噪样本图及第一初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第一融合样本特征;将第二初始去噪样本图及第二初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第二融合样本特征。将第一融合样本特征及第二融合样本特征输入第二初始图像融合模型,得到第一预测去噪图像及第二预测去噪图像。获取第一预测去噪图像与第一去噪图像样本之间的第三损失函数,获取第二预测去噪图像与第二去噪图像样本之间的第四损失函数。基于第三损失函数与第四损失函数对应的综合损失函数,对第一初始图像融合模型及第二初始图像融合模型进行调整,得到第一图像融合模型及第二图像融合模型。

其中,该第三损失函数可以通过公式③进行表示:

其中,用于表示第一预测去噪图像,用于表示第一去噪图像样本。

其中,该第四损失函数可以通过公式④进行表示:

其中,用于表示第二预测去噪图像,用于表示第二去噪图像样本。

其中,根据第三损失函数及第四损失函数,得到综合损失函数,该综合损失函数可以通过公式⑤进行表示:

l=λ1l3+λ2l4⑤

其中,λ1为第一权重,用于表示第一单目图像在双目图像中的重要度;λ2为第二权重,用于表示第二单目图像在双目图像中的重要度。其中,该综合损失函数进一步可以如公式⑥所示:

可选的,第一单目图像与第二单目图像在双目图像中的重要度相同,则第一权重λ1与第二权重λ2可以相同。可选的,第一权重λ1与第二权重λ2的大小关系也可以根据需要进行调整。

进一步地,请参见图10,图10是本申请实施例提供的一种图像去噪装置示意图。该图像去噪装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像去噪装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图10所示,该图像去噪装置1000可以用于图4所对应实施例中的计算机设备,具体的,该装置可以包括:图像获取模块11、第一图像处理模块12、第二图像处理模块13及图像去噪模块14。

图像获取模块11,用于获取双目图像;

图像处理模块12,用于对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图;

图像融合模块13,用于将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征;

图像去噪模块14,用于基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

该图像处理模块12,包括:

第一特征提取单元121,用于将单目图像ki输入图像编码器,基于图像编码器提取单目图像ki的单目图像特征;

图像去噪单元122,用于将单目图像ki的单目图像特征输入图像处理模型,启动图像处理模型中的去噪处理模式,基于去噪处理模式对单目图像ki的单目图像特征进行去噪处理,生成单目图像ki的初始去噪特征图;

语义提取单元123,用于将图像处理模型从去噪处理模式切换为语义提取模式,基于语义提取模式对单目图像ki的单目图像特征进行语义分割,生成单目图像ki的语义信息特征图。

其中,双目图像包括单目图像ki,i为正整数,i小于或等于双目图像包括的单目图像的数量;

该图像融合模块13,包括:

第二特征提取单元131,用于基于第一图像融合模型,提取单目图像ki的初始去噪特征图的去噪图像特征,提取单目图像ki的语义信息特征图的语义图像特征;

特征处理单元132,用于将单目图像ki的去噪图像特征及语义图像特征进行特征拼接,得到单目图像ki的单目拼接特征,基于第一图像融合模型的卷积层对单目图像ki的单目拼接特征进行迭代,生成单目图像ki的融合特征。

其中,双目图像包括第一单目图像及第二单目图像,各个单目图像的融合特征包括第一单目图像的第一融合特征及第二单目图像的第二融合特征;

该图像去噪模块14,具体用于:

将第二融合特征向第一融合特征进行特征传递,根据传递后的第一融合特征生成第一单目图像的第一去噪图像,将第一融合特征向第二融合特征进行特征传递,根据传递后的第二融合特征生成第二单目图像的第二去噪图像。

该图像去噪模块14,包括:

特征拼接单元141,用于将第一融合特征及第二融合特征进行特征拼接,得到双目拼接特征;

特征传递单元142,用于将双目拼接特征输入第二图像融合模型,基于第二图像融合模型的卷积层,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征;

图像生成单元143,用于基于第二图像融合模型将第三融合特征划分为第一颜色通道特征及第二颜色通道特征,根据第一颜色通道特征生成第一单目图像的第一去噪图像,根据第二颜色通道特征生成第二单目图像的第二去噪图像;第一颜色通道特征为传递后的第一融合特征,第二颜色通道特征为传递后的第二融合特征。

其中,该特征传递单元142,包括:

关联确定子单元1421,用于获取第一单目图像与第二单目图像之间的图像视觉差,根据图像视觉差确定第一单目图像与第二单目图像的位置关联关系;位置关联关系用于表征同一地理位置,在第一单目图像中对应的像素点与在第二单目图像中对应的像素点之间的关联关系;

关系建立子单元1422,用于基于位置关联关系及第二图像融合模型的卷积层,建立双目拼接特征中的第一融合特征及第二融合特征之间的特征元素关联关系;

特征生成子单元1423,用于根据特征元素关联关系,采用第二融合特征向双目拼接特征中的第一融合特征进行特征传递,采用第一融合特征向双目拼接特征中的第二融合特征进行特征传递,生成第三融合特征。

其中,该图像生成单元143,包括:

特征划分子单元1431,用于基于第二图像融合模型将第三融合特征划分为第一颜色通道特征和第二颜色通道特征;

特征叠加子单元1432,用于对第一颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第一单目图像的第一去噪图像;

该特征叠加子单元1432,还用于对第二颜色通道特征中的至少两个单色通道特征进行特征叠加,生成第二单目图像的第二去噪图像。

其中,该装置1000还包括:

第一样本获取模块15,用于获取噪声图像样本及噪声图像样本的去噪图像样本;噪声图像样本为在去噪图像样本中添加噪声信息后所得到的图像;

第一模型训练模块16,用于将噪声图像样本输入处于去噪处理模式的初始图像处理模型,获取初始图像处理模型输出的预测去噪图像,基于预测去噪图像及去噪图像样本之间的第一损失函数,对处于去噪处理模式的初始图像处理模型进行调整,得到可执行去噪处理模式的图像处理模型。

其中,该装置1000还包括:

第二样本获取模块17,用于获取噪声图像样本及噪声图像样本的语义图像样本;语义图像样本是对噪声图像样本对应的去噪图像样本进行语义分割后得到的图像;

第二模型训练模块18,用于将噪声图像样本输入处于语义提取模式的初始图像处理模型,获取初始图像处理模型输出的预测语义图像,基于预测语义图像及语义图像样本之间的第二损失函数,对处于语义提取模式的初始图像处理模型进行调整,得到可执行语义提取模式的图像处理模型。

其中,该装置1000还包括:

第三样本获取模块19,用于获取双目图像样本中的第一去噪图像样本及第二去噪图像样本,对第一去噪图像样本添加噪声信息,生成第一去噪图像样本的第一噪声图像样本,对第二去噪图像样本添加噪声信息,生成第二去噪图像样本的第二噪声图像样本;

样本转换模块20,用于获取第一噪声图像样本的第一初始去噪样本图及第一初始语义样本图,获取第二噪声图像样本的第二初始去噪样本图及第二初始语义样本图;

第三模型训练模块21,用于基于第一初始去噪样本图、第一初始语义样本图、第二初始去噪样本图及第二初始语义样本图,对第一初始图像融合模型及第二初始图像融合模型进行训练,得到第一图像融合模型及第二图像融合模型;第一初始图像融合模型的输出为第二初始图像融合模型的输入。

其中,该第三模型训练模块21,包括:

第一特征获取单元211,用于将第一初始去噪样本图及第一初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第一融合样本特征;

第二特征获取单元212,用于将第二初始去噪样本图及第二初始语义样本图输入第一初始图像融合模型,得到第一噪声图像样本的第二融合样本特征;

模型预测单元213,用于将第一融合样本特征及第二融合样本特征输入第二初始图像融合模型,得到第一预测去噪图像及第二预测去噪图像;

损失获取单元214,用于获取第一预测去噪图像与第一去噪图像样本之间的第三损失函数,获取第二预测去噪图像与第二去噪图像样本之间的第四损失函数;

模型调整单元215,用于基于第三损失函数与第四损失函数对应的综合损失函数,对第一初始图像融合模型及第二初始图像融合模型进行调整,得到第一图像融合模型及第二图像融合模型。

其中,单目图像ki为组成双目图像的图像,其中,该双目图像中的单目图像k1为第一单目图像,该双目图像中的单目图像k2为第二单目图像。

本申请实施例提供了一种图像去噪装置,该装置通过获取双目图像;对该双目图像中的各个单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图及语义信息特征图;将各个单目图像的初始去噪特征图及语义信息特征图进行融合,得到各个单目图像的融合特征;基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。通过以上过程,在对单目图像进行初步去噪后,还会提取该单目图像的语义信息,会将初步去噪的结果与语义信息进行融合,减少了对双目图像中的单张图像进行去噪时的信息损失;进一步地,会对双目图像中的两张图像进行特征融合,即会基于该双目图像中的两张图像中的信息,对双目图像进行初步去噪后的结果进行补全,进一步减少了对双目图像进行去噪处理时的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。进一步地,在本申请中的各个过程中引入深度学习网络(即各个模型),便于对各部分功能进行封装,而且深度学习网络可以不断进行学习调整,因此,可以进一步提高对双目图像的去噪效果。

参见图11,图11是本申请实施例提供的一种计算机设备的结构示意图。如图11所示,本申请实施例中的计算机设备可以包括:一个或多个处理器1101、存储器1102和输入输出接口1103。该处理器1101、存储器1102和输入输出接口1103通过总线1104连接。存储器1102用于存储计算机程序,该计算机程序包括程序指令,输入输出接口1103用于接收数据及输出数据,如用于各个模型之间进行数据交互;处理器1101用于执行存储器1102存储的程序指令,执行如下操作:

获取双目图像;

对双目图像中的单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图和语义信息特征图;

将各个单目图像的初始去噪特征图和语义信息特征图进行融合,得到各个单目图像的融合特征;

基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。

在一些可行的实施方式中,该处理器1101可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

该存储器1102可以包括只读存储器和随机存取存储器,并向处理器1101和输入输出接口1103提供指令和数据。存储器1102的一部分还可以包括非易失性随机存取存储器。例如,存储器1102还可以存储设备类型的信息。

具体实现中,该计算机设备可通过其内置的各个功能模块执行如该图4中各个步骤所提供的实现方式,具体可参见该图4中各个步骤所提供的实现方式,在此不再赘述。

本申请实施例通过提供一种计算机设备,包括:处理器、输入输出接口、存储器,通过处理器获取存储器中的计算机指令,执行该图4中所示方法的各个步骤,进行图像去噪操作。本申请实施例实现了获取双目图像;对该双目图像中的各个单目图像进行去噪处理及语义分割,生成各个单目图像的初始去噪特征图及语义信息特征图;将各个单目图像的初始去噪特征图及语义信息特征图进行融合,得到各个单目图像的融合特征;基于融合特征分别对各个单目图像进行再次去噪,得到各个单目图像的去噪图像。通过以上过程,在对各个单目图像进行初步去噪后,还会提取各个单目图像的语义信息,会将初步去噪的结果与语义信息进行融合,减少了对双目图像中的单目图像进行去噪时的信息损失;进一步地,由于双目图像中所包括的各个单目图像存在一定的图像信息重合,因此,可以对双目图像中的两张图像进行特征融合,即可以基于该双目图像中的两张图像中的信息,对双目图像进行初步去噪后的结果进行信息补充,进一步减少了对双目图像进行去噪处理时的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。进一步地,在本申请中的各个过程中引入深度学习网络(即各个模型),便于对各部分功能进行封装,而且深度学习网络可以不断进行学习调整,因此,可以进一步提高对双目图像的去噪效果。

本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,当该程序指令被该处理器执行时,可以实现图4或图6中各个步骤所提供的图像去噪方法,具体可参见该图4或图6中各个步骤所提供的实现方式,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。作为示例,程序指令可被部署为在一个计算机设备上执行,或者在位于一个地点的多个计算机设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算机设备上执行。

该计算机可读存储介质可以是前述任一实施例提供的图像去噪装置或者该计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图4或图6中的各种可选方式中所提供的方法,实现对双目图像的去噪处理,减少了对双目图像进行去噪处理时的信息损失,完善了对双目图像的去噪处理结果,提升了双目图像的去噪处理效果。

本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。

以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1