利用生成性对抗神经网络生成合成图像的方法及装置与流程

本发明涉及用于无人驾驶汽车的方法及装置，更详细地涉及利用生成性对抗神经网络(generativeadversarialnetwork，gan)生成无法判断合成与否的合成图像来更加准确地检测稀有事件的方法及装置，以及利用其的测试方法及测试装置。

背景技术：

深度卷积神经网络(deepconvolutionalneuralnetwork；deepcnn)是深度学习领域中带来飞跃性发展的关键。cnn已在90年代用于解决文字识别问题，但现在的广泛使用是通过最近的研究结果实现的。这种cnn在2012年的imagenet图像分类比赛中击败其他竞争对手并赢得了冠军。之后卷积神经网络成为了机器学习领域(machinelearning)中非常有用的工具。

这样，cnn还可用于银行和军事基地等安防至关重要的设施。即，cnn可以通过适当地处理cctv视频数据，实时检测稀有事件(例如，银行发生强盗入侵、军队发生敌军入侵等)，与以往对cctv视频数据一一进行人工监视的情况相比，更快更有效地操作和管理系统。

但是，这种监视系统难以实现的原因是缺少用于学习cnn的训练图像。cnn的学习需要万张单位以上的训练图像，与上述稀有事件相关的训练图像数量很少。因此，cnn的学习变得困难，并且这样的系统没有得到普及。

技术实现要素：

技术问题

本发明的目的在于，解决如上所述的问题。

本发明的目的在于，提供为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(gan)生成至少一个自然合成的图像的方法。

解决问题的手段

为了达成如上所述的本发明的目的，并带来后述的本发明的特征性效果，本发明的特征性结构如下：

根据本发明的一方面，提供一种方法，为了使监视系统(surveillancesystem)更加准确地检测至少一个稀有事件(rareevent)，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(generativeadversarialnetwork，gan)生成至少一个无法判断合成与否的合成图像，其特征在于，包括：步骤(a)，若计算装置获取上述无法判断合成与否的合成图像中用作上述稀有事件的背景的至少一个背景图像和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象图像的上述背景图像中的上述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器(discriminator)计算的与各个上述位置候选组相对应的各个候选组分数，则使得上述位置指定层，参照上述候选组分数选择上述稀有对象的上述位置候选组中的特定位置候选组作为上述稀有对象的最佳位置；步骤(b)，上述计算装置使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象图像插入上述最佳位置，生成至少一个初始合成图像；以及步骤(c)，上述计算装置使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。

一实施例中，本发明的特征在于，上述步骤(c)中，上述计算装置使得上述调整层，对与插入上述稀有对象图像的上述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成上述无法判断合成与否的合成图像。

一实施例中，本发明的特征在于，还包括：步骤(d)，若上述计算装置获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成图像上的上述稀有对象的至少一个存在分数中的至少一部分，则使得上述生成神经网络中包括的至少一个损失层，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分。

一实施例中，本发明的特征在于，上述第二鉴别器对其输入图像是上述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算上述自然性分数。

一实施例中，本发明的特征在于，上述对象检测网络判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算上述存在分数。

一实施例中，本发明的特征在于，上述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)上述无法判断合成与否的合成图像、(ii)上述非合成图像以及(iii)上述第二鉴别器的输入图像是上述无法判断合成与否的合成图像还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像相对应的至少一个gt，判断上述输入图像是非合成还是合成。

一实施例中，本发明的特征在于，上述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii)上述对象检测网络的输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个gt，计算上述输入图像中包括上述稀有对象的概率。

一实施例中，本发明的特征在于，上述步骤(a)中，上述位置指定层(i)生成包括上述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个上述位置候选组上的上述稀有对象相对应的各个稀有对象边框，从而在上述背景图像中生成各个合成布局，上述第一鉴别器参照上述合成布局中的至少一部分计算各个上述候选组分数。

一实施例中，本发明的特征在于，上述第一鉴别器计算各个上述合成布局判断为非合成或合成的概率，计算各个上述候选组分数。

一实施例中，本发明的特征在于，上述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个上述合成布局、(ii)各个非合成布局以及(iii)上述第一鉴别器的各个输入布局是上述非合成布局还是上述合成布局的与各个上述合成布局和各个非合成布局相对应的至少一个gt，判断上述输入布局是非合成还是合成。

一实施例中，本发明的特征在于，上述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，上述第一鉴别器参照(i)上述特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。

根据本发明的再一方面，提供一种测试方法，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(gan)生成至少一个无法判断合成与否的合成测试图像，其特征在于，包括：步骤(a)，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象训练图像插入上述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得上述生成神经网络中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若测试装置获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得上述生成神经网络中包括的上述位置指定层，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置；步骤(b)，上述测试装置使得上述生成神经网络中包括的上述合成层，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像；以及步骤(c)，上述测试装置使得上述生成神经网络中包括的上述调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。

根据本发明的又一方面，提供一种计算装置，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(gan)生成至少一个无法判断合成与否的合成图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(i)、步骤(ii)以及步骤(iii)，步骤(i)中，若获取上述无法判断合成与否的合成图像中用作上述稀有事件的背景的至少一个背景图像和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像，则使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象图像的上述背景图像中的上述稀有对象的一个以上位置候选组，若获取由至少一个第一鉴别器计算的与各个上述位置候选组相对应的各个候选组分数，则使得上述位置指定层，参照上述候选组分数选择上述稀有对象的上述位置候选组中的特定位置候选组作为上述稀有对象的最佳位置；步骤(ii)中，使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象图像插入上述最佳位置，生成至少一个初始合成图像；步骤(iii)中，使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成图像中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。

一实施例中，本发明的特征在于，上述步骤(iii)中，上述处理器使得上述调整层，对与插入上述稀有对象图像的上述初始合成图像的至少一部分相对应的至少一个特定区域进行至少一个卷积运算和至少一个反卷积运算，生成上述无法判断合成与否的合成图像。

一实施例中，本发明的特征在于，上述处理器还执行：步骤(iv)，若获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成图像的至少一个自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成图像上的上述稀有对象的至少一个存在分数中的至少一部分，则使得上述生成神经网络中包括的至少一个损失层，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分。

一实施例中，本发明的特征在于，上述第二鉴别器对其输入图像是上述无法判断合成与否的合成图像还是非合成图像进行区分，从而计算上述自然性分数。

一实施例中，本发明的特征在于，上述对象检测网络判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算上述存在分数。

一实施例中，本发明的特征在于，上述第二鉴别器以能够执行如下操作的方式学习，参照用于表示(i)上述无法判断合成与否的合成图像、(ii)上述非合成图像以及(iii)上述第二鉴别器的输入图像是上述无法判断合成与否的合成图像还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像相对应的至少一个gt，判断上述输入图像是非合成还是合成。

一实施例中，本发明的特征在于，上述对象检测网络以能够执行如下操作的方式学习，参照用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii)上述对象检测网络的输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个gt，计算上述输入图像中包括上述稀有对象的概率。

一实施例中，本发明的特征在于，上述步骤(i)中，上述位置指定层(i)生成包括上述背景图像上的背景对象的一个以上背景对象边框，(ii)还生成与各个上述位置候选组上的上述稀有对象相对应的各个稀有对象边框，从而在上述背景图像中生成各个合成布局，上述第一鉴别器参照上述合成布局中的至少一部分计算各个上述候选组分数。

一实施例中，本发明的特征在于，上述第一鉴别器计算各个上述合成布局判断为非合成或合成的概率，计算各个上述候选组分数。

一实施例中，本发明的特征在于，上述第一鉴别器以能够执行如下操作的方式学习，参照用于表示(i)各个上述合成布局、(ii)各个非合成布局以及(iii)上述第一鉴别器的各个输入布局是上述非合成布局还是上述合成布局的与各个上述合成布局和各个非合成布局相对应的至少一个gt，判断上述输入布局是非合成还是合成。

一实施例中，本发明的特征在于，上述合成布局的特定合成布局中包括的特定背景对象边框和特定稀有对象边框包括参照与特定背景对象和特定稀有对象相关的等级信息生成的特定识别信息，上述第一鉴别器参照(i)上述特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置相关的关系信息，计算特定候选组分数。

根据本发明的还有一方面，提供一种测试装置，为了使监视系统更加准确地检测至少一个稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(gan)生成至少一个无法判断合成与否的合成测试图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，执行上述指令来执行步骤(i)、步骤(ii)以及步骤(iii)，步骤(i)中，学习装置(1)获取无法判断合成与否的合成训练图像中用作稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络中包括的至少一个位置指定层，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由至少一个第一鉴别器计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络中包括的至少一个合成层，将上述稀有对象训练图像插入上述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得上述生成神经网络中包括的至少一个调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由至少一个第二鉴别器计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由对象检测网络计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的至少一个学习用存在分数中的至少一部分后，使得上述生成神经网络中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则使得上述生成神经网络中包括的上述位置指定层，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置；步骤(ii)中，使得上述生成神经网络中包括的上述合成层，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像；步骤(iii)中，使得上述生成神经网络中包括的上述调整层，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。

发明的效果

本发明提供为了使监视系统更加准确地识别周围情况并检测危险情况等稀有事件，而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(generativeadversarialnetwork，gan)，更准确是利用异类传感器融合(heterogeneoussensorfusion)，生成无法判断合成与否的合成图像的方法。

附图说明

为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下通过该附图得出其他附图。

图1简要示出为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络(gan)生成至少一个无法判断合成与否的合成图像的计算装置的结构。

图2简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像时使用的上述生成神经网络的结构。

图3简要示出简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像的方法。

具体实施方式

以下，本发明能够实施的特定实施例为例，参照附图对本发明进行详细说明，本发明的目的、技术手段及优点将更加明确。普通技术人员可以参照对这些实施例的详细说明充分实施这些实施例。

并且，本发明的详细说明及权利要求书中，术语“包括”及其变形不排除其他技术特征、附加物、结构要素或步骤等。对普通技术人员而言，本发明的其他目的、优点及特性的一部分可以从本说明书得知，一部分可以在实施本发明的过程中得知。以下例示及附图只是实例，本发明并不局限于此。

进而，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然不同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可体现为另一实施例。并且，所公开的各个实施例内的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不是限定的意思，只要能适当说明，本发明的范围应根据与权利要求书的范围等同的所有范围和所附的权利要求书而定。附图中类似的附图标记在多个方面指类似的功能。

本发明中提及的各种图像可以包括柏油马路或非柏油马路的相关图像，这种情况下可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。本发明中提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，这种情况下可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不局限于此。

以下，为了使本发明所属领域的普通技术人员容易实施本发明，参照附图对本发明的优选实施例进行详细说明。

图1简要示出为了使监视系统更加准确地检测至少一个稀有事件而利用包括生成神经网络和鉴别神经网络的生成性对抗神经网络生成至少一个无法判断合成与否的合成图像的计算装置的结构。

参照图1，上述计算装置100可以包括后面将详细说明的上述生成神经网络200、至少一个第一鉴别器300、至少一个第二鉴别器400以及至少一个对象检测网络500。包括上述生成神经网络200、上述第一鉴别器300以及上述第二鉴别器400的鉴别神经网络及上述对象检测网络500的输入、输入及运算过程分别可以由通信部110及处理器120实现。但是，图1中省略了上述通信部110以及上述处理器120之间的具体连接关系。此时，存储器115可以处于存储后述的多种指令的状态，上述处理器120可以设置成执行存储于上述存储器115的上述指令，可以通过执行后述的指令来执行本发明的步骤。即使以这种方式说明了上述计算装置100，也不排除上述计算装置100包括用于实施本发明的介质、处理器、存储器或其他计算用结构要素整合的形态的整合处理器的情况的

以上说明了上述计算装置100的整体结构，下面参照图2说明上述计算装置100的结构要素中执行关键作用的上述生成神经网络200的结构。

图2简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像时使用的上述生成神经网络的结构。

参照图2，上述生成神经网络200可以包括至少一个位置指定层210、至少一个合成层220、至少一个调整层230以及至少一个损失层240。参照图3详细说明各个上述层具体起到什么作用。上述计算装置100用作测试装置时上述损失层240可能被省略。

上述生成神经网络200的结构如上所述，将具体说明本发明的上述无法判断合成与否的合成图像的生成方法，同时还说明上述第一鉴别器300、上述第二鉴别器400以及上述对象检测网络500。为此，参照图3。

图3简要示出简要示出为了使上述监视系统更加准确地检测上述稀有事件而利用包括上述生成神经网络和上述鉴别神经网络的生上述成性对抗神经网络生成上述无法判断合成与否的合成图像的方法。

参照图3可知，本发明的上述无法判断合成与否的合成图像的生成方法可以通过上述生成神经网络200中包括的上述层与上述第一鉴别器300、上述第二鉴别器400以及上述对象检测网络500之间的交互作用执行。

首先，上述计算装置100为了生成用于上述监视系统的学习的上述无法判断合成与否的合成图像，而可以获取上述无法判断合成与否的合成图像中用作上述稀有事件发生的背景的至少一个背景图像201和与上述稀有事件相对应的至少一个稀有对象的至少一个稀有对象图像202。之后，上述计算装置100可以使得上述位置指定层210，生成要插入上述稀有对象图像202的上述背景图像201中的上述稀有对象的位置候选组。上述位置候选组可以在选择第一位置候选组的之后，使其以滑动窗口方式向周围重复移动特定距离来生成。之后，上述第一鉴别器300对与各个上述位置候选组相对应的一个以上候选组分数进行评价。

为了使上述第一鉴别器300有效生成上述候选组分数，而上述位置指定层210可以生成输入至上述第一鉴别器300的各个合成布局。具体地，上述位置指定层210可以识别上述背景图像201中包括的一个以上背景对象，并在上述背景图像201生成包括上述背景对象的一个以上背景对象边框。并且，与上述稀有对象相对应的一个以上稀有对象边框可以分别生成在各个上述位置候选组上。像这样，上述背景图像201上添加上述背景对象边框及各个上述稀有对象边框，从而生成各个上述合成布局。换句话说，各个上述合成布局可以包括与其相对应的各个上述稀有对象边框和上述背景对象边框。下面将会说明，上述背景对象边框和上述稀有对象边框可以包括参照与上述背景对象及上述稀有对象有关的等级信息生成的特定识别信息。图3所示的特定合成布局203可以视为上述合成布局中的一个示例。

生成上述合成布局后，上述第一鉴别器300计算各个上述合成布局是非合成还是合成的各个概率，从而计算各个上述候选组分数。以与上述特定合成布局203有关的特定候选组分数的计算过程为例，上述第一鉴别器300可以参照(i)与上述特定合成布局203中包括的特定背景对象边框和特定稀有对象有关的特定识别信息以及(ii)与上述特定背景对象边框和上述特定稀有对象边框的位置有关的关系信息，计算上述特定候选组分数。即，判断上述特定合成布局是否像实际(即，是否像非合成)，即，判断上述背景对象和上述稀有对象的位置关系是否自然。例如，上述特定背景对象边框的上述特定识别信息的分析结果，上述特定背景对象边框的位置判断为地面，上述特定稀有对象边框判断为位于与上述特定背景对象边框相同的高度，则图3所示的上述稀有对象图像202为持枪强盗，因此上述持枪强盗位于地面，而不是位于天棚是自然的，因此上述特定候选组分数可以设定为较高。上述第一鉴别器300与上述生成神经网络200进行并列学习，可以对上述特定候选组分数进行这种判断。

具体地，上述第一鉴别器300不仅可以获取由上述生成神经网络200生成的各个上述合成布局，还可以获取各个非合成布局(即，实际布局)，并可以获取用于表示上述第一鉴别器的各个输入布局是各个上述非合成布局还是各个上述合成布局的与各个上述非合成布局和各个上述合成布局相对应的至少一个gt。之后，参照获取的上述合成布局、获取的上述非合成布局以及与其相对应的gt，计算一个以上损失，上述第一鉴别器300通过利用上述损失的反向传播判断上述各个输入布局是非合成还是合成，以能够进行如上操作的方式学习。

上述第一鉴别器300可以针对上述合成布局中上述特定背景对象边框和上述特定稀有对象边框之间的位置关系与上述非合成布局的对应要素的位置关系判断为类似的合成布局，将候选组分数设定为较高。因此，候选组分数最高的特定位置候选组可以被确定为上述稀有对象的最佳位置。这么确定上述最佳位置的原因在于，与上述无法判断合成与否的合成图像相对应的合成布局的要素的位置关系与上述非合成布局的对应要素的位置关系类似时，上述无法判断合成与否的合成图像看起来自然。

作为例示，假设与上述特定合成布局203相对应的特定候选组分数最高时，与上述特定合成布局203相对应的上述特定位置候选组被选为上述最佳位置，上述稀有对象图像202插入上述最佳位置。

即，上述计算装置100可以使得上述生成神经网络200中包括的上述合成层220，将上述稀有对象图像202插入上述最佳位置，从而生成初始合成图像204。仅利用这么生成的上述初始合成图像204也可执行后续过程，但可能稍微不自然，因此需要追加调整过程。

因此，上述计算装置100使得上述生成神经网络200中包括的上述调整层230，调整与上述初始合成图像204中包括的各个像素中的至少一部分相对应的颜色值，生成上述无法判断合成与否的合成图像。调整上述颜色值的方式可能有多种，作为例示，可以采用进行卷积运算及反卷积运算来调整的方式。

具体地，上述计算装置100可以使得上述调整层230，对与插入上述稀有对象图像202的上述初始合成图像204的至少一部分相对应的至少一个特定区域进行至少一个卷积运算及至少一个反卷积运算，生成上述无法判断合成与否的合成图像205。通过进行上述卷积运算及上述反卷积运算，上述无法判断合成与否的合成图像205中的上述稀有对象图像202与周边更加自然融合。

为了更加自然合成上述无法判断合成与否的合成图像205，而需要利用上述第二鉴别器400及上述对象检测网络500的学习过程。以下，说明上述第二鉴别器400及上述对象检测网络500。

首先，上述第二鉴别器400对其输入图像是上述无法判断合成与否的合成图像205还是非合成图像进行区分，从而计算至少一个自然性分数。即，判断上述无法判断合成与否的合成图像205是否像上述非合成图像自然。为了执行这种功能，而上述第二鉴别器400可以与上述生成神经网络200进行并列学习。

具体地，上述第二鉴别器400不仅可以获取由上述生成神经网络200生成的上述无法判断合成与否的合成图像205，还可以获取上述非合成图像，并可以获取用于表示上述第二鉴别器400的上述输入图像是上述无法判断合成与否的合成图像205还是上述非合成图像的与上述非合成图像和上述无法判断合成与否的合成图像205相对应的至少一个gt。之后，参照获取的上述无法判断合成与否的合成图像、获取的上述非合成图像以及与其相对应的gt，计算一个以上损失，上述第二鉴别器400通过利用上述损失的反向传播判断上述输入图像是非合成还是合成，以能够进行如上操作的方式学习。此时，输入与用户所需的合成图像的用途相对应的上述非合成图像，可以在一定程度上判断上述无法判断合成与否的合成图像的类型。例如，用于探测敌军的军事用监视系统的情况下，需要检测出隐蔽在草堆中的敌军，因此上述无法判断合成与否的合成图像最好表示隐蔽在草堆的状态，而不是敌军站在显眼的地方。此时，将上述非合成图像定为隐蔽在草堆的动物时，如上所述，上述无法判断合成与否的合成图像可以表示上述隐蔽在草堆的敌军。这种情况下，所输入的上述非合成图像无需包括上述稀有对象。即，上述例中，表示上述隐蔽在草堆的敌军的非合成训练图像不是必须的，表示上述隐蔽在草堆的动物的非合成训练图像就充分。

之后，上述对象检测网络500判断上述无法判断合成与否的合成图像上存在上述稀有对象的概率，从而计算至少一个存在分数。下面将详细说明，这将用于上述学习过程，使得上述无法判断合成与否的合成图像205始终包括上述稀有对象图像202。为了执行这种功能，上述对象检测网络500可以在上述生成神经网络200执行上述学习过程之前已经学习。

具体地，上述对象检测网络500可以获取用于表示(i)包括上述稀有对象的第一组训练图像、(ii)不包括上述稀有对象的第二组训练图像以及(iii)上述输入图像是否包括上述稀有对象的与上述第一组和上述第二组相对应的至少一个gt。之后，参照获取的上述第一组、获取的上述第二组以及与其相对应的gt，计算一个以上损失，上述对象检测网络500通过利用上述损失的反向传播判断上述对象检测网络500的输入图像包括上述稀有对象的概率。

这种上述第二鉴别器400及上述对象检测网络500已提供的状态下，上述计算装置100可以获取(i)由上述第二鉴别器400计算的上述无法判断合成与否的合成图像205的上述自然性分数以及(ii)由上述对象检测网络500计算的上述无法判断合成与否的合成图像205中的上述稀有对象的上述存在分数中的至少一部分。之后，上述计算装置100可以使得上述生成神经网络200中包括的上述损失层240，参照上述自然性分数及上述存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络200的上述参数。此时，上述第一鉴别器300、上述第二鉴别器400及上述对象检测网络500或者上述鉴别神经网络内其他结构要素的参数可以根据情况由上述损失层240或其他损失层(未图示)学习。

上述损失执行调整上述生成神经网络200中包括的层的参数的作用，从而以使上述自然性分数和上述存在分数上升的方向生成上述无法判断合成与否的合成图像205。

若上述自然性分数上升，则上述无法判断合成与否的合成图像205的各种特性与上述非合成图像类似，上述无法判断合成与否的合成图像205看起来自然，若上述无法判断合成与否的合成图像205看起来自然，则输入至上述监视系统时的结果预计更好。

并且，若上述存在分数上升，则上述生成神经网络200以错误方向学习的可能性下降。仅利用上述第一鉴别器300及第二鉴别器400学习上述生成神经网络200的情况下，单纯追求上述无法判断合成与否的合成图像205的自然，而可能以不插入上述稀有对象图像202的方向学习。即，使上述无法判断合成与否的合成图像205以看起来自然的方式生成的最简单的方法是，上述无法判断合成与否的合成图像205不包括上述稀有对象图像202而仅具有上述背景图像201，因此可能发生这种情况，对此，同时使用上述对象检测网络500来防止这种情况。通过以使上述存在分数上升的方向学习，使上述无法判断合成与否的合成图像205能够始终包括上述稀有对象图像202。

上述生成神经网络200生成多个无法判断合成与否的合成图像，重复执行如上所述的过程，由此，上述生成神经网络200、上述第一鉴别器300及上述第二鉴别器400可以进行并列学习，像这样，采用上述要素进行并列性、竞争性学习的上述gan，从而生成优化的测试用无法判断合成与否的合成图像。以下，说明测试过程。

作为参考，为了防止混淆，在以下说明中关于上述学习过程的术语添加了“学习用”或“训练”等字样，关于上述测试过程的术语添加了“测试用”或“测试”等字样。

上述计算装置100(1)获取上述无法判断合成与否的合成训练图像中用作上述稀有事件的背景的至少一个背景训练图像和与上述稀有事件相对应的至少一个学习用稀有对象的至少一个稀有对象训练图像后，使得上述生成神经网络200中包括的上述位置指定层210，生成要插入上述稀有对象训练图像的上述背景训练图像中的上述学习用稀有对象的一个以上学习用位置候选组，获取由上述第一鉴别器300计算的与各个上述学习用位置候选组相对应的各个学习用候选组分数后，使得上述位置指定层210，参照上述学习用候选组分数选择上述学习用稀有对象的上述学习用位置候选组中的学习用特定位置候选组作为上述学习用稀有对象的学习用最佳位置，(2)使得上述生成神经网络200中包括的上述合成层220，将上述稀有对象训练图像插入述学习用最佳位置，生成至少一个初始合成训练图像，(3)使得上述生成神经网络200中包括的上述调整层230，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的学习用颜色值，生成上述无法判断合成与否的合成训练图像，(4)获取由上述第二鉴别器400计算的上述无法判断合成与否的合成训练图像的至少一个学习用自然性分数以及由上述对象检测网络500计算的上述无法判断合成与否的合成训练图像上的上述学习用稀有对象的上述学习用存在分数中的至少一部分后，使得上述生成神经网络200中包括的至少一个损失层，参照上述学习用自然性分数及上述学习用存在分数中的至少一部分计算一个以上损失，对上述损失进行反向传播，从而学习上述生成神经网络的一个以上参数中的至少一部分的状态下，若获取上述无法判断合成与否的合成测试图像中用作上述稀有事件的背景的至少一个背景测试图像和与上述稀有事件相对应的至少一个测试用稀有对象的至少一个稀有对象测试图像，则测试装置(未图示)使得上述生成神经网络200中包括的上述位置指定层210，生成要插入上述稀有对象测试图像的上述背景测试图像中的上述测试用稀有对象的一个以上测试用位置候选组，若获取由上述第一鉴别器300计算的与各个上述测试用位置候选组相对应的各个测试用候选组分数，则使得上述位置指定层210，参照上述测试用候选组分数选择上述测试用稀有对象的上述测试用位置候选组中的测试用特定位置候选组作为上述测试用稀有对象的测试用最佳位置。

并且，上述测试装置可以使得上述生成神经网络200中包括的上述合成层220，将上述稀有对象测试图像插入上述测试用最佳位置，生成至少一个初始合成测试图像。

之后，上述测试装置可以使得上述生成神经网络200中包括的上述调整层230，调整与上述初始合成训练图像中包括的各个像素中的至少一部分相对应的测试用颜色值，生成上述无法判断合成与否的合成测试图像。

如上所述，这种测试过程可以由图2所示的上述生成神经网络200中除了上述损失层240之外的上述测试装置执行。

本发明所属领域的普通技术人员可以理解，以上说明的图像，例如原图像、原标签以及追加标签等图像数据的收发可以由智能手机的通信部实现，与特征图进行运算的数据存储/维持在智能手机的处理器(和/或传感器)，卷积运算、反卷积运算、损失值运算过程主要由智能手机的处理器执行，但本发明并不局限于此。

并且，本发明还可以利用3d地图、gps、智能手机、v2x通信等，用于行人辅助系统和路径设定。

以上说明的本发明的实施例能够以通过各种计算机要素执行的程序命令的形态体现并存储在计算机可读存储介质。上述计算机可读存储介质可以包括程序命令、数据文件、数据结构等或它们的组合。上述计算机可读存储介质中存储的程序命令可以是为本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。计算机可读存储介质的例包括硬盘、软盘及磁带等磁介质、cd-rom、dvd等光存储介质、光磁软盘(flopticaldisk)等磁光介质(magneto-opticalmedia)、以及rom、ram、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。程序命令的例包括由编译器制成的机器语言代码以及利用解析器等可由计算机执行的高级语言代码。上述硬件装置能够以一个以上软件模块运行，以便执行本发明的处理，相反情况也一样。

以上，通过限定的实施例及附图对本发明的具体结构要素等特定事项进行了说明，但这仅仅用于提供对本发明的更全面的理解，本发明并不局限于上述实施例，本发明所属领域的普通技术人员可以在这些记载的基础上进行各种修改及变形。

因此，本发明的思想并不局限于所说明的上述实施例，权利要求书及其等同或等价变换的所有内容均属于本发明的思想范畴。