用GAN减少图像的畸变的学习方法及装置、测试方法及装置与流程

文档序号:21732528发布日期:2020-08-05 01:27阅读:299来源:国知局
用GAN减少图像的畸变的学习方法及装置、测试方法及装置与流程

本发明涉及用于自动行驶车辆的学习方法及学习装置、以及利用其的测试方法及测试装置,更具体来讲涉及用于利用gan(generativeadversarialnetwork,生成对抗网络)减少变形的(warped)图像上发生的畸变的学习方法及学习装置、以及利用其的测试方法及测试装置。



背景技术:

cnn还广泛用于车辆的自动行驶领域,其主要执行分析通过附着于车辆的摄像头获取的影像以检测障碍物,检测自由空间(freespace)等功能使得车辆能够安全行驶。

然而,这种利用cnn使车辆自动行驶的方法在特定状况下可能难以执行。即,cnn须使用通过摄像头得到的图像,但由于摄像头晃动等问题导致影像严重晃动的情况下,发生视频的各帧的图像大幅改变的抖动(jittering)现象。发生这种抖动现象的情况下,cnn难以追踪影像上的客体的运动。尤其,这种抖动现象在常常越野行驶的军用车辆自动行驶的状况下经常发生,防止这种现象的方法非常重要。

用于去除这种抖动的现有技术有测定摄像头的运动并物理纠正发生抖动的图像的方法,但该情况下摄像头模块的重量增大、需要大量费用,由于使用多种装置,因此引起故障的危险性增大。有作为替代方案的软件技术,该方法是将图像分成网格,算出表示摄像头的晃动引起的各所述网格的各活动的各向量后,参照各所述向量对各网格进行变形(warping)去除抖动的方法。

然而这种软件技术只考虑图像的客体的光流(opticalflow),调整发生抖动的图像的过程中导致图像发生很大畸变,因此具有无法识别到本应从图像上识别到的客体或过度非现实地改变相应图像的问题。



技术实现要素:

技术问题

本发明的目的是解决上述问题。

本发明的目的是提供利用gan(generativeadversarialnetwork)减少在稳定发生抖动(jittering)的图像的过程中生成的变形的(warped)图像上发生的畸变的方法。

技术方案

根据本发明的一个方面的利用包括生成网络(generatingnetwork)与辨别网络(discriminatingnetwork)的gan(generativeadversarialnetwork)减少稳定发生抖动(jittering)的图像的过程中生成的变形的(warped)图像上发生的畸变(distortion)的学习方法,其特征在于,包括:(a)获取到至少一个初始图像(initialimage)时,学习装置使调整层(adjustinglayer)调整与包含于所述初始图像的像素对应的至少一部分的初始特征值(initialfeaturevalue)以将所述初始图像变换成至少一个调整图像(adjustedimage)的步骤;以及(b)所述学习装置获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(naturalityscore)、(ii)表示包含于所述初始图像的至少一个初始客体(initialobject)是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分(maintenancescore)及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分(similarityscore)的至少一部分时,使包含于所述生成网络的损失层(losslayer)参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失(generatingnetworkloss),反向传播所述生成网络损失使得学习所述生成网络的参数的步骤。

根据一个实施例,其特征在于在所述(b)步骤中,所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实(real)图像或虚假(fake)图像的至少一个所述概率,并基于此生成所述自然度评分。

根据一个实施例,其特征在于所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像(realimage)及与其对应的gt生成辨别网络损失并将其反向传播学习辨别网络的参数,使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。

根据一个实施例,其特征在于在所述(b)步骤中,所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体(adjustedobject)的至少一个roi的至少一个类别评分(classscore),参照所述类别评分生成所述特性保持评分。

根据一个实施例,其特征在于在所述(b)步骤中,包含于所述生成网络的比较层(comparinglayer)参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值(adjustedfeaturevalue)之间的差的信息生成所述类似度评分。

根据一个实施例,其特征在于还参照所述初始特征值生成所述类似度评分。

根据一个实施例,其特征在于在所述(b)步骤中,所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分(integratedscore)增大。

根据一个实施例,其特征在于参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和(weightedsum)生成所述综合评分。

根据本发明的另一方面的利用包括生成网络(generatingnetwork)与辨别网络(discriminatingnetwork)的gan(generativeadversarialnetwork)减少稳定发生抖动(jittering)的图像的过程中生成的变形的(warped)图像上发生的畸变(distortion)的测试方法,其特征在于,包括:在(1)学习装置使调整层(adjustinglayer)调整与包含于至少一个学习用初始图像(initialimage)的像素对应的至少一部分的学习用初始特征值(initialfeaturevalue)以将所述学习用初始图像变换成至少一个学习用调整图像(adjustedimage),(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(naturalityscore)、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体(initialobject)是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分(maintenancescore)及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分(similarityscore)的至少一部分,使包含于所述生成网络的损失层(losslayer)生成了生成网络损失(generatingnetworkloss)的状态下,测试装置使包含于所述生成网络的所述调整层(adjustinglayer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(initialfeaturevalue)以将所述测试用初始图像变换成至少一个测试用调整图像的步骤。

根据本发明的又一方面的利用包括生成网络(generatingnetwork)与辨别网络(discriminatingnetwork)的gan(generativeadversarialnetwork)减少稳定发生抖动(jittering)的图像的过程中生成的变形的(warped)图像上发生的畸变(distortion)的学习装置,其特征在于,包括:至少一个存储器,其存储指令;以及至少一个处理器,其构成为运行用于执行(i)获取到至少一个初始图像(initialimage)时,使调整层(adjustinglayer)调整与包含于所述初始图像的像素对应的至少一部分的初始特征值(initialfeaturevalue)以将所述初始图像变换成至少一个调整图像(adjustedimage)的过程;以及(ii)获取到(i)表示所述调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(naturalityscore)、(ii)表示包含于所述初始图像的至少一个初始客体(initialobject)是否以保持固有特性的状态包含于所述调整图像的至少一个特性保持评分(maintenancescore)及(iii)表示所述初始图像及所述调整图像之间的类似程度的至少一个类似度评分(similarityscore)的至少一部分时,使包含于所述生成网络的损失层(losslayer)参照所述自然度评分、所述特性保持评分及所述类似度评分生成生成网络损失(generatingnetworkloss),反向传播所述生成网络损失使得学习所述生成网络的参数的过程的所述指令。

根据一个实施例,其特征在于在所述(ii)过程中,所述辨别网络参照对应于所述调整图像的特征图判断关于所述调整图像相当于真实(real)图像或虚假(fake)图像的至少一个所述概率,并基于此生成所述自然度评分。

根据一个实施例,其特征在于所述辨别网络参照所述调整图像、附加获取的至少一个学习用实际图像(realimage)及与其对应的gt生成辨别网络损失并将其反向传播学习辨别网络的参数,使得判断包括所述调整图像的至少一个输入的图像相当于真实图像或虚假图像的概率。

根据一个实施例,其特征在于在所述(ii)过程中,所述客体检测网络生成关于相当于包含在所述调整图像的至少一个调整客体(adjustedobject)的至少一个roi的至少一个类别评分(classscore),参照所述类别评分生成所述特性保持评分。

根据一个实施例,其特征在于在所述(ii)过程中,包含于所述生成网络的比较层(comparinglayer)参照关于所述初始特征值和与其对应的包含于所述调整图像的调整特征值(adjustedfeaturevalue)之间的差的信息生成所述类似度评分。

根据一个实施例,其特征在于还参照所述初始特征值生成所述类似度评分。

根据一个实施例,其特征在于在所述(ii)过程中,所述生成网络损失使得包含于所述生成网络的参数学习成参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分算出的综合评分(integratedscore)增大。

根据一个实施例,其特征在于参照所述自然度评分、所述特性保持评分及所述类似度评分的至少一部分的加权和(weightedsum)生成所述综合评分。

根据本发明的又一方面的利用包括生成网络(generatingnetwork)与辨别网络(discriminatingnetwork)的gan(generativeadversarialnetwork)减少稳定发生抖动(jittering)的图像的过程中生成的变形的(warped)图像上发生的畸变(distortion)的测试装置,其特征在于,包括:至少一个存储器,其存储指令;以及至少一个处理器,其构成为在(1)学习装置使调整层(adjustinglayer)调整与包含于至少一个学习用初始图像(initialimage)的像素对应的至少一部分的学习用初始特征值(initialfeaturevalue)以将所述学习用初始图像变换成至少一个学习用调整图像(adjustedimage),(2)所述学习装置参照(i)表示所述学习用调整图像被所述辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(naturalityscore)、(ii)表示包含于所述学习用初始图像的至少一个学习用初始客体(initialobject)是否以保持固有特性的状态包含于所述学习用调整图像的至少一个特性保持评分(maintenancescore)及(iii)表示所述学习用初始图像及所述学习用调整图像之间的类似程度的至少一个类似度评分(similarityscore)的至少一部分,使包含于所述生成网络的损失层(losslayer)生成生成网络损失(generatingnetworkloss)的状态下,运行用于执行使包含于所述生成网络的所述调整层(adjustinglayer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(initialfeaturevalue)以将所述测试用初始图像变换成至少一个测试用调整图像的过程的所述指令。

技术效果

本发明具有利用循环gan(generativeadversarialnetwork)将rgb格式的训练图像的组转换成非rgb格式以缓解非rgb格式的训练图像组中发生的问题的效果。

附图说明

为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分而已,本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。

图1是简要示出用于执行本发明的一个实施例的利用gan(generativeadversarialnetwork)减少在稳定发生抖动(jittering)的图像的过程中变形的(warped)图像上发生的畸变的方法的学习装置的构成的示意图;

图2是简要示出本发明的一个实施例的利用gan减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的示意图;

图3是简要示出本发明的一个实施例的利用gan减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的效果的示意图。

具体实施方式

以下参见例示能够实施本发明的特定实施例的附图对本发明进行详细说明。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。应理解虽然本发明的多种实施例彼此互异,但不必相互排他。例如,此处记载的特定形状、结构及特性在关于一个实施例不超出本发明的精神及范围的前提下可以以其他实施例实现。并且,应理解在不超出本发明的精神及范围的前提下公开的各实施例内的个别构成要素的位置或配置是可以变更的。因此以下具体说明并非以限定为目的,确切来讲,本发明的范围仅限于权利要求所记载的范围及与之等同的所有范围。在附图中类似的附图标记在各方面表示相同或类似的功能。

并且,在本发明的具体说明及权利要求中,“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。普通技术人员能够从本说明书获知本发明的其他目的、优点及特性中的一部分,并且一部分可从本发明的实施获知。以下例示及附图作为实例提供,目的并非限定本发明。

本发明所述的各种图像可包括铺装或非铺装道路相关图像,该情况下可想到道路环境中可能出现的物体(例如,汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物),但并不局限于此,本发明所述的各种图像还可以是与道路无关的图像(例如,非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像),该情况下,可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如,汽车、人、动物、植物、物件、建筑物、飞机或无人机之类的飞行器、其他障碍物),但并不局限于此。

以下,为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明,参见附图对本发明的优选实施例进行具体说明。

图1是简要示出用于执行本发明的一个实施例的利用gan(generativeadversarialnetwork)减少在稳定发生抖动(jittering)的图像的过程中变形的(warped)图像上发生的畸变的方法的学习装置的构成的示意图。

参见图1,学习装置100可以包括作为后续要具体说明的构成要素的生成网络130、辨别网络140及客体检测网络150。生成网络130、辨别网络140及客体检测网络150的输入输出及运算过程可分别通过通信部110及处理器120进行。但图1省略了通信部110及处理器120的具体连接关系。在此,存储器115可以是存储有下述多种指令的状态,处理器120能够运行存储于存储器115的指令,可通过执行以下要说明的过程执行本发明。尽管如上说明了学习装置100,但并不排除学习装置100具有包括用于实施本发明的处理器、存储器、介质或其他学习装置的所有组合的集成处理器(integratedprocessor)的情况。

以上说明了执行用于利用gan减少在稳定发生抖动的图像的过程中生成的变形的图像内发生的畸变的学习方法的学习装置100的构成。以下参见图2对所述学习方法进行说明。

图2是简要示出本发明的一个实施例的学习利用gan减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的方法的过程的示意图。

参见图2,至少一个初始图像输入到生成网络130时,能够通过包含于生成网络130的调整层131生成至少一个调整图像(adjustedimage)。之后,包含于生成网络130的损失层133可以(i)获取由包含于生成网络130的比较层132、辨别网络140及客体检测网络150生成的关于调整图像的评分,(ii)参照所述评分生成生成网络损失后,(iii)将其反向传播以学习生成网络130的参数。

具体来讲,学习装置100可获取初始图像。初始图像可以是通过从发生抖动的图像去除抖动的过程生成的稳定化的图像之一。在此,所述抖动去除过程可包括将发生抖动的图分成多个网格的过程、算出表示由于摄像头晃动而发生的网格的运动的抖动向量的过程及向各抖动向量的各反方向移动各网格的变形抖动图像的过程。问题是变形过程能够导致向不同方向移动网格而稳定化的图像上发生部分畸变现象。因此经过这种过程生成的初始图像可能是其内部的客体的模样部分畸变的状态。

获取到至少一个初始图像时,学习装置100可以使生成网络130将初始图像变换成至少一个调整图像。具体来讲,学习装置100可以使包含于生成网络130的调整层131调整与包含于初始图像的像素对应的初始特征值的至少一部分以将初始图像变换成调整图像。

调整层131可对初始特征值适用至少一次卷积运算及去卷积运算将初始图像变换成调整图像。在此,初始图像以rgb格式表示的情况下,初始特征值可包括颜色值。初始图像不是rgb格式的情况下可包括相应格式的值。并且,若初始图像包括多个通道的值,初始值还可以包括这些。

之后,调整图像传递到包含于生成网络130的比较层132、辨别网络140及客体检测网络150后用于生成用来生成生成网络损失的各评分。以下对生成各评分的过程进行说明,在此首先说明由辨别网络140执行的过程。

第一,辨别网络140可生成表示调整图像被判断为真实(real)图像的至少一个概率的至少一个自然度评分(naturalityscore)。具体来讲,辨别网络140对调整图像适用至少一次卷积运算生成对应于调整图像的特征图(featuremap),参照该特征图可通过判断表示调整图像为真实图像或虚假(fake)图像的至少一个概率生成自然度评分。为了生成自然度评分,辨别网络140可以与生成网络130并列学习。

具体来讲,获取生成网络130生成的调整图像期间,辨别网络140还可以获取表示输入到自身的图像为调整图像还是学习用实际图像的学习用实际图像及与其对应的gt。在此,各gt表示与各自对应的图像为真实图像还是虚假图像。之后,辨别网络140可参照对包括调整图像与学习用实际图像在内的输入到自身的各图像适用至少一次卷积运算生成的各特征图判断输入到自身的图像为真实图像还是虚假图像。辨别网络140能够参照判断结果及与其对应的gt生成辨别网络损失后将其反向传播以学习辨别网络的参数。

通过这种学习过程,辨别网络140可以与生成网络130并列地学习。

而作为另一实施例,辨别网络140可确定表示调整图像的子区域(sub-region)是真实图像或虚假图像的概率,可参照该概率生成自然度评分。在此,可通过叫做“滑动窗口(slidingwindow)”的方法选择子区域。具体来讲,第一子区域可选自调整图像内,可以一点点地移动着第一子区域等选择第二子区域。

第二,客体检测网络150可生成表示包含于初始图像的至少一个初始客体是否以保持固有特性的状态包含于调整图像的至少一个特性保持评分。具体来讲,客体检测网络150(i)可获取从rpn输入到自身的图像上的各roi,(ii)对各roi适用至少一次卷积运算生成各特征图后,(iii)对各特征图适用fc运算生成包括与包含于各roi的各客体的类别对应的概率的各类别评分。在此,对关于类别评分的特定信息举例来讲,将客体检测网络150检测的客体分类为包括行人类别、车辆类别、背景类别的三个类别的情况下,对应于特定客体的特定类别评分可包括三个构成要素,即,第一、包含于特定roi的特定客体为行人的概率、第二、特定客体为车辆的概率,以及第三、特定客体为背景的概率。类似地生成其余类别评分后,客体检测网络150可参照各类别评分生成特性保持评分。

作为一个例示,特性保持评分可以是算出的对应于各类别评分的各部分特性保持评分的和。在此,对应于所述特定客体的部分特性保持评分中特定部分特性保持评分可以通过相加(i)特定客体包含于客体类别而非背景类别的概率中最大值与(ii)特定客体包含于背景类别的概率与1之间的差算出。例如,特定类别评分为(0.7,0.2,0.1)的情况下,算出的特定部分特性保持评分将是0.7+(1–0.1)=1.6。

不同于所述辨别网络140,客体检测网络150并非与生成网络130并列地学习,可以在执行生成网络130的学习过程之前已经学习。

最后,比较层132可生成表示初始图像及调整图像之间的类似程度的类似度评分。具体来讲,比较层132可以生成关于初始特征值和与其对应的包含于调整图像的调整特征值之间的差的信息后,利用该信息生成类似度评分。

作为例示,比较层132可算出各初始特征值及与其对应的各调整特征值之间的各欧几里得距离(euclideandistance)以生成关于差的信息,可相加从构成要素均为0的原来地点到各初始特征值的各欧几里得距离生成和信息(suminformation)。之后,比较层132可以用所述和除以关于差的信息后用1减去以生成类似度评分。

以上对生成自然度评分、特性保持评分、类似度评分的方法进行了具体说明。以下说明损失层133的同时对如何使用这种评分进行具体说明。

学习装置100能够使损失层133参照自然度评分、特性保持评分、类似度评分生成生成网络损失。生成网络损失可使得包含于生成网络130的参数被学习成综合评分增大。在此,可参照至少一个自然度评分、特性保持评分及类似度评分算出综合评分。作为例示,可参照自然度评分、特性保持评分及类似度评分的至少一部分加权和(weightedsum)生成综合评分。损失层可根据以下数学式生成生成网络损失。

在所述数学式中e1(g)表示自然度评分,e2(g)表示特性保持评分,e3(g)可表示类似度评分。并且,α与β表示对应于各项(term)的加权值。

第一,e1(g)如以上所述,在基本实施例中利用叫做“滑动窗口”的方法的情况下,可以是

或者单纯地由d(g(i))给出,其表示辨别网络140将调整图像判断为真实图像的概率。使用叫做“滑动窗口”的方法的情况下,

项用于相加包含于调整图像的各子区域为真实图像或虚假图像的各概率并对作为其结果生成的值规范化(nomalizing)。kw表示所述子区域的宽度,kh表示所述子区域的高度,w表示调整图像的宽度,h表示调整图像的高度。sx表示所述子区域的左侧边与调整图像左侧边之间的距离,sy表示所述子区域的上端边与调整图像的上端边之间的距离。根据数学式,e1(g)可执行如以上说明的功能。

第二,在e2(g)中,项表示第i客体被判断为包含于客体类别而非背景类别的概率中最大值,项表示从1减去第i客体被判断为包含于背景类别的概率的值。在此,可表示包括第i客体的边界框(boundingbox)的位置。

第三,在e3(g)中,i表示对应于初始特征值的向量,g(i)表示对应于调整特征值的向量。

以下说明如上向综合评分增大的方向生成生成网络损失的理由。

第一,使自然度评分增大使得调整图像看起来更自然。包含于调整图像的客体畸变的情况下,调整图像看起来不自然。包含于调整图像的客体的畸变越少,辨别网络140评价调整图像为实际图像的概率越高,因此能够提高自然度评分。这样能够增大自然度评分,从而能够减少包含于调整图像的初始客体的畸变。

第二,通过使特性保持评分高,能够使得包含于调整图像的客体很好地保持自己的特性。能够增大特性保持评分使得客体检测网络150能够轻易检测包含于调整图像的客体。因此通过增大特性保持评分使得初始客体的特性在调整过程之后仍能很好地保存。

第三,通过使类似度评分增大,能够防止调整图像中生成不对应于初始客体的新的客体。这是因为只使用自然度评分与特性保持评分而不使用类似度评分的情况下,调整层131的参数并不止于调整畸变的初始客体,而是能够朝着在调整图像内生成新的客体的方向学习。因此通过使得类似度评分增大,能够防止调整图像上生成不希望的客体。

如上所述,可参照自然度评分、特性保持评分及类似度评分的至少一部分的加权和生成综合评分。在此,对应于各评分的各加权值可以由用户调整。例如,初始图像与调整图像过度类似的其余客体的畸变不减少的情况下,可减小关于类似度评分的加权值。

通过如上所述的方法生成生成网络损失后,学习装置100可以使损失层133反向传播生成网络损失使得学习生成网络130的参数。

作为参考,为了防止在以下说明中发生混淆,对与以上说明的学习过程相关的术语添加术语“学习用”,对与测试过程相关的术语添加术语“测试用”。

具体来讲,可以在(1)获取到至少一个学习用初始图像时,学习装置使包含于生成网络130的调整层131调整与包含于学习用初始图像(initialimage)的像素对应的至少一部分的学习用初始特征值(initialfeaturevalue)以将学习用初始图像变换成至少一个学习用调整图像(adjustedimage),(2)学习装置参照(i)表示学习用调整图像被辨别网络判断为真实图像的至少一个概率的至少一个自然度评分(naturalityscore)、(ii)表示包含于学习用初始图像的至少一个学习用初始客体(initialobject)是否以保持固有特性的状态包含于学习用调整图像的至少一个特性保持评分(maintenancescore)及(iii)表示学习用初始图像及学习用调整图像之间的类似程度的至少一个类似度评分(similarityscore)的至少一部分,使包含于生成网络的损失层(losslayer)生成了生成网络损失(generatingnetworkloss)的状态下,获取到至少一个测试用初始图像时,测试装置使包含于生成网络130的调整层(adjustinglayer)调整与包含于至少一个测试用初始图像的像素对应的至少一部分的测试用初始特征值(initialfeaturevalue)以将测试用初始图像变换成至少一个测试用调整图像。

在测试过程中,可以是上述学习装置100的构成中辨别网络140、客体检测网络150及包含于生成网络130的比较层132及损失层133除外的状态。

以下参照图3说明如上测试的情况下的效果。

图3是简要示出本发明的一个实施例的利用gan减少稳定发生抖动的图像的过程中变形的图像上发生的畸变的过程的效果的示意图。

参见图3,如上所述,可确认初始客体由于图像变形而畸变。在此,对初始图像适用本发明的一个实施例的方法的情况下,初始图像能够如图3变换成畸变大幅减少的调整图像。

本发明利用gan减少畸变,从而具有能够缓解稳定发生抖动的图像的过程中生成的变形的图像上发生的畸变问题的积极效果。

本发明的一个实施例的方法可用于在极限状况提高容错(faulttolerance)及波动鲁棒性(fluctuationrobustness),还可以用于行动预测、超精密客体检测或追踪。

本发明所属技术领域的普通技术人员能够理解,以上说明的图像、例如原始图像、原始标签及附加标签之类的图像数据的收发可通过学习装置及测试装置的通信部实现,用于与特征图执行运算的数据可通过学习装置及测试装置的处理器(及/或存储器)存储/维护,卷积运算、去卷积运算、损失值运算过程主要可以通过学习装置及测试装置的处理器执行,但本发明不限于此。

以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的,但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、cd-rom、dvd之类的光存储介质、软光盘(flopticaldisk)之类的磁-光介质(magneto-opticalmedia)及rom、ram、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且,程序命令不仅包括通过编译器得到的机器代码,还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作,反之相同。

以上通过具体构成要素等特定事项与限定的实施例及附图对本发明进行了说明,但是其目的只是用于帮助更全面的理解,本发明并不限定于上述实施例,本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。

因此本发明的思想不应局限于以上说明的实施例,应理解所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1