用于虚拟世界中学习的卷积神经网络的方法和装置与流程

本发明涉及用于与自动驾驶车辆一同使用的方法及装置，更具体地，涉及可使在虚拟世界中学习的卷积神经网络(cnn)用于真实世界的学习方法及学习装置、利用其的测试装置。

背景技术：

深度卷积神经网络(deepconvolutionalneuralnetworkordeepcnn)为深度学习领域中显著发展的核心。在90年代，卷积神经网络用于解决字符识别问题，近来，广泛应用于机器学习(machinelearning)领域。例如，2012年，卷积神经网络在图像识别挑战赛(imagenetlargescalevisualrecognitionchallenge)中战胜其他竞争对象夺得冠军。之后，卷积神经网络成为机器学习领域中非常有用的工具。

近来，卷积神经网络广泛应用于自动驾驶领域。卷积神经网络通过在自动驾驶领域处理自己输入的图像来执行客体检测、图像分割、空闲空间检测等。其中，卷积神经网络需要大量的训练集，来执行这些功能。

如上所述的方式具有在自动驾驶领域中通过使用卷积神经网络来制作如上所述的训练集所需的成本高的问题。并且，为了生成训练集，可自动获取学习图像，与之相对应的真值(gt)需通过人为生成，因此，成本较高。

用于解决这种问题的方案为虚拟行驶。利用所编程的计算机模拟虚拟世界，并可自动获取学习图像和与之相对应的真值，从而具有可降低成本的优点。

但是，在此方法中，在虚拟世界中获取的学习图像与真实世界的图像不同，因此，也具有对于在虚拟世界中学习的卷积神经网络的可靠性低的问题。

技术实现要素：

本发明的目的在于，解决如上所述的问题。

本发明的再一目的在于，提供通过使用照片风格转换来用于运行时间输入转换的学习方法，使得在虚拟世界中学习的卷积神经网络用于真实世界。

本发明的另一目的在于，提供作为从虚拟世界获取的虚拟图像和用于测试的图像将相同风格的实际图像用作学习图像的学习方法。

用于实现如上所述的本发明的目的并实现后述的本发明的特征性效果的本发明的特征性结构如下。

根据本发明的一实施方式，提供一种方法，用于学习主卷积神经网络(cnn，convolutionalneuralnetwork)，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：步骤(a)，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分；以及步骤(b)，上述学习装置执行第一学习流程(b1)及第二学习流程(b2)，上述第一学习流程(b1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值(gt，ground-truth)自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(b2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。

在一实施例中，上述步骤(b2)包括：步骤(b21)，上述学习装置使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；步骤(b22)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；步骤(b23)，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第k-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第k更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第k更新特征地图来生成至少一个第k更新损失，在上述步骤(ii-2)中，通过上述第k更新损失来更新上述第k-1图像，从而生成至少一个第k更新图像；以及步骤(b24)，将上述学习装置通过执行上述步骤(b22)及上述步骤(b23)而生成的第n更新图像作为特定第二学习图像来输出，其中，k为1至n的整数。

在一实施例中，在上述步骤(b22)中，上述学习装置使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。

在一实施例中，在上述步骤(b22)中，上述学习装置使上述支持损失层通过以梯度下降方式(gradient-descentscheme)使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性与上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性与上述特定第二基本图像的内容特性更相似。

在一实施例中，在上述步骤(b)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。

在一实施例中，在上述步骤(b)中，上述学习装置执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，上述学习装置执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像、与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像、与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。

在一实施例中，在上述步骤(b2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。

在一实施例中，在上述步骤(b1)中，上述学习装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向它的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。

根据本发明的再一实施方式，提供一种方法，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：步骤(a)，包括步骤(1)及步骤(2)，在上述步骤(1)中，学习装置获取与预设的虚拟世界中的与虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(2)中，上述学习装置执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像；以及步骤(b)，上述测试装置使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。

在一实施例中，本发明还包括步骤(c)，上述测试装置向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。

在一实施例中，上述步骤(a)包括：步骤(a1)，上述测试装置使包括于上述支持卷积神经网络的支持卷积层执行流程(i)及流程(ii)，在上述流程(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述流程(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；步骤(a2)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；步骤(a3)，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第k-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第k更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第k更新特征地图来生成至少一个测试用第k更新损失，在上述步骤(ii-2)中，通过上述测试用第k更新损失来更新上述测试用第k-1图像，从而生成至少一个测试用第k更新图像；以及步骤(a4)，上述测试装置将通过执行上述步骤(a2)及上述步骤(a3)而生成的测试用第n更新图像作为上述测试图像来输出，其中，k为1至n的整数。

在一实施例中，在上述步骤(b)之后还包括步骤(d)，当获取上述测试用第二基本图像时，若在第t时序之后的第t+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则上述测试装置使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。

在一实施例中，在上述步骤(b)中，上述测试装置执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在上述步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。

根据本发明的另一实施方式，提供一种装置，用于学习主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于运行上述指令，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(ii)中，执行第一学习流程(ii1)及第二学习流程(ii2)，上述第一学习流程(ii1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络额参数的至少一部分，上述第二学习流程(ii2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分。

在一实施例中，上述流程(ii2)包括：流程(ii21)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述步骤(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图；流程(ii22)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失，在上述步骤(ii-2)中，通过上述第一更新损失来更新上述噪声图像，从而生成至少一个第一更新图像；流程(ii23)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第k-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第k更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第k更新特征地图来生成至少一个第k更新损失，在上述步骤(ii-2)中，通过上述第k更新损失来更新上述第k-1图像，从而生成至少一个第k更新图像；以及流程(ii24)，将通过执行上述流程(ii22)及上述流程(ii23)而生成的第n更新图像作为特定第二学习图像来输出，其中，k为1至n的整数。

在一实施例中，在上述流程(ii22)中，上述处理器使上述支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失，从而生成包括上述第一风格损失及上述第一内容损失在内的上述第一更新损失。

在一实施例中，在上述流程(ii22)中，上述处理器使上述支持损失层以梯度下降方式使用上述第一更新损失来更新上述噪声图像，并执行步骤(i)及步骤(ii)，在上述步骤(i)中，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性比上述特定第一基本图像的风格特性更相似，在上述步骤(ii)中，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性比上述特定第二基本图像的内容特性更相似。

在一实施例中，在上述流程(ii)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。

在一实施例中，在上述流程(ii)中，上述处理器执行步骤(i)，使上述主卷积神经网络通过使用(i-1)以与被管理者预设的特定数有关的特定第一学习图像的数的比例为基础的上述第一学习图像中的一个以上的特定第一学习图像及(i-2)与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，之后，上述处理器执行步骤(ii)，使上述主卷积神经网络同时使用上述第一学习图像及与之相对应的上述第一真值自动驾驶源信息以及上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。

在一实施例中，在上述流程(ii2)中，上述第一基本图像为选自于上述第一学习图像中的图像，上述第二基本图像为通过搭载于上述实际车辆的至少一个摄像头拍摄与上述实际车辆相对应的实际行驶情状况的图像，在上述至少一个第一基本图像为一个的情况下，上述第二学习图像分别与各个上述第二基本图像相对应。

在一实施例中，在上述流程(ii1)中，上述处理器执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过使用自身参数来在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息，从而向上述第一学习图像适用上述主卷积神经网络运算。

根据本发明的还有一实施方式，提供一种装置，用于测试主卷积神经网络，上述主卷积神经网络通过使用至少一个虚拟图像及至少一个风格转换实际图像来执行自动驾驶，上述风格转换实际图像为将至少一个实际图像转换为预设的虚拟世界的图像风格的图像，其特征在于，包括：至少一个存储器，用于存储指令；以及至少一个处理器，用于运行上述指令，上述处理器执行流程(i)及流程(ii)，上述流程(i)执行步骤(1)及步骤(2)，在上述步骤(1)中，获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，上述步骤(2)执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，上述第二学习流程(2-2)包括步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆额实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络的参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像，在流程(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。

在一实施例中，上述处理器还执行流程(iii)，通过向自动驾驶应用程序模块传递上述测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。

在一实施例中，上述流程(i)包括：流程(i1)，使包括于上述支持卷积神经网络的支持卷积层执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过向上述测试用第一基本图像适用至少一个支持卷积神经网络运算来生成一个以上的测试用特定风格特征地图，在上述步骤(ii)中，通过向上述测试用第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的测试用特定内容特征地图；流程(i2)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用噪声图像适用上述支持卷积神经网络运算来生成一个以上的测试用第一更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第一更新特征地图来生成至少一个测试用第一更新损失，在上述步骤(ii-2)中，通过上述测试用第一更新损失来更新上述噪声图像，从而生成至少一个测试用第一更新图像；流程(i3)，包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向测试用第k-1更新图像适用上述支持卷积神经网络运算来生成一个以上的测试用第k更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述测试用特定风格特征地图、上述测试用特定内容特征地图以及上述测试用第k更新特征地图来生成至少一个测试用第k更新损失，在上述步骤(ii-2)中，通过上述测试用第k更新损失来更新上述测试用第k-1图像，从而生成至少一个测试用第k更新图像；以及流程(i4)，将通过执行上述流程(i2)及上述流程(i3)而获取的测试用第n更新图像作为上述测试图像来输出，其中，k为1至n的整数。

在一实施例中，在上述流程(ii)之后，上述处理器还执行流程(iv)，当获取上述测试用第二基本图像时，若在第t时序之后的第t+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。

在一实施例中，在上述流程(ii)中，上述处理器包括步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层的一个以上的主要卷积神经元反复执行流程来生成测试用自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所接收的至少一个值适用至少一个主卷积运算，在步骤(i-2)中，向自身的下一个自主驱动神经元传递，在上述步骤(ii)中，使上述主卷积神经网络的上述输出层通过向上述测试用自动驾驶特征地图适用至少一个输出运算来生成上述测试用预测自动驾驶源信息，从而向上述测试图像适用上述主卷积神经网络运算。

本发明提供通过使用照片风格转换来用于运行时间输入转换的学习方法，来具有可将在虚拟世界中学习的卷积神经网络用于实际自动驾驶的效果。

并且，本发明具有可提供作为从虚拟世界获取的虚拟图像和用于测试的图像将相同风格的实际图像用作学习图像的学习方法的效果。

并且，本发明具有能够以低成本有效地学习可在真实世界顺畅地执行自动驾驶的卷积神经网络的效果。

附图说明

为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获得其他附图。

图1为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的用于执行学习方法的学习装置的结构的图。

图2为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法的流程图。

图3为示出用于生成本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法所使用的第二学习图像的方式的图。

图4为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的测试方法的流程图。

具体实施方式

将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。

并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的过程中得知一部分。以下例示及附图仅作为实例来提供，而本发明并不限定于此。

本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。

以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。

图1为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的用于执行学习方法的学习装置的结构的图。

参照图1，学习装置100可包括用于之后详细说明的自动驾驶的主卷积神经网络130及支持卷积神经网络140。主卷积神经网络130及支持卷积神经网络140的输入输出及运算过程可分别通过至少一个通信部110及至少一个处理器120进行。但是，在图1中省略了通信部110及处理器120的具体连接关系。在此情况下，存储器115可处于存储后述的各种指令的状态，处理器120运行存储于存储器115的指令，处理器120可通过执行之后说明的流程来执行本发明。如上所述，即使记述学习装置100，并不排除学习装置100包括用于实施本发明的组合式处理器的情况，上述组合式处理器组合有媒介、处理器及存储器。

以上，对根据本发明的一实施例执行的学习装置100的结构进行了说明，以下，对执行学习装置100的学习方法进行说明。

图2为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络的学习方法的流程图。

参照图2，学习装置100可获取一个以上的第一学习图像中的至少一部分(步骤s01)。之后，学习装置100可并列执行两个流程。

首先，学习装置100可使主卷积神经网络130通过参照第一学习图像来生成第一预测自动驾驶源信息(步骤s02-1)。之后，学习装置100可使主卷积神经网络130通过参照第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成第一自动驾驶损失(步骤s02-2)。并且，学习装置100可使主卷积神经网络130执行用于学习主卷积神经网络参数的至少一部分的第一学习流程(步骤s02-3)。

其次，学习装置100可使支持卷积神经网络140通过参照至少一个第一基本图像及一个以上的第二基本图像来生成一个以上的第二学习图像(步骤s03-1)。并且，学习装置100可使支持卷积神经网络140通过参照第二学习图像来生成第二预测自动驾驶源信息(步骤s03-2)。之后，学习装置100可使支持卷积神经网络140通过参照第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成第二自动驾驶损失(步骤s03-3)。并且，学习装置100可使支持卷积神经网络140执行第二学习流程，上述第二学习流程可通过使用第二自动驾驶损失来学习主卷积神经网络130参数中的至少一部分(步骤s03-4)。

以下，更加详细地说明如上所述的第一学习流程及第二学习流程。

与第一学习流程相关地，学习装置100可使包括于主卷积神经网络130的主卷积层及输出层通过参照与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的第一学习图像来生成一个以上的第一预测自动驾驶源信息。其中，可在虚拟行驶中的虚拟车辆的观点拍摄被所编程的计算机模拟的虚拟世界来获取第一学习图像。因此，相比于上述实际图像，这种图像的色度高、对比度大、相对省略物体的细节，可以为具有光线的路径多少有些非现实的特性的图像。第一预测自动驾驶源信息为在之后所要说明的测试步骤中向自动驾驶应用程序模块传递的信息，可意味着成为自动驾驶的基本的参考信息。如一例，自动驾驶源信息可包括与第一学习图像有关的分段信息，如另一例，可包括与第一学习图像有关的客体检测信息。但是，本发明并不限定于此。

为了生成如上所述的第一预测自动驾驶源信息，学习装置100可使包括于主卷积神经网络130的卷积层的一个以上的自动驾驶卷积神经元执行流程来生成第一自动驾驶特征地图，上述流程包括步骤(i-1)及步骤(i-2)，在上述步骤(i-1)中，通过利用自身参数在所输入的值适用至少一个主卷积，在上述步骤(i-2)中，将其输出向自身的下一个自主驱动神经元传递。之后，学习装置100可使包括于上述主卷积神经网络的上述输出层通过向上述第一自动驾驶特征地图适用至少一个输出运算来生成上述第一预测自动驾驶源信息。其中，根据如上所述的一例，在第一预测自动驾驶源信息包括分段信息的情况下，输出层呈解卷积层的形态，输出运算可以为解卷积运算。根据如上所述的另一例，在第一预测自动驾驶源信息包括客体信息的情况下，输出层可包括池化层及全连接(fc，fully-connected)层，输出运算可以为池化运算及全连接运算。

以上，说明了第一学习流程，以下，说明第二学习流程。

第二学习流程与第二学习图像相关。并且，第二学习图像通过使用第一基本图像及第二基本图像来借助支持卷积神经网络140生成。其中，第一基本图像可以为与第一学习图像相对应的图像，即，可以为虚拟世界的图像，第二基本图像可与真实世界中的实际车辆在实际行驶中获取的图像相对应。如一例，第一基本图像可选自于第一学习图像中，第二基本图像可以为选自于与通过搭载于实际车辆的摄像头获取的实际行驶情状况有关的图像中的一个。其中，在仅选择一个第一基本图像的情况下，第二学习图像可分别与各个第二基本图像相对应。

在获取如上所述的第一基本图像及第二基本图像后，学习装置100使包括于支持卷积神经网络140的支持卷积层执行流程(i)及流程(ii)，在上述流程(i)中，通过向上述第一特定基本图像适用至少一个支持卷积神经网络运算来生成一个以上的特定风格特征地图，在上述流程(ii)中，通过向上述第二基本图像中的特定第二基本图像适用上述支持卷积神经网络运算来生成一个以上的特定内容特征地图。其中，两个流程是独立的，可并列执行。之后对特定风格特征地图及特定内容特征地图分别进行说明，可以为分别所要生成的第二特定学习图像的风格及成为与其内容有关的参考的特征地图。

之后，学习装置100可使包括于支持卷积神经网络140的支持卷积层通过向噪声图像适用上述支持卷积神经网络运算来生成一个以上的第一更新特征地图，之后，可使包括于上述支持卷积神经网络的支持损失层通过使用上述特定风格特征地图、上述特定内容特征地图以及上述第一更新特征地图来生成至少一个第一更新损失。其中，噪声图像可以为为了生成第二特定学习图像而使用的背景图像。简而言之，如画画时使用的画布的图像。

具体地，学习装置100可使支持损失层执行流程(i)及流程(ii)，在上述流程(i)中，通过使用上述第一更新特征地图和上述特定风格特征地图来生成一个以上的第一风格损失，在上述流程(ii)中，通过使用上述第一更新特征地图和上述特定内容特征地图来生成一个以上的第一内容损失。之后，学习装置100可合并上述第一风格损失及上述第一内容损失来生成上述第一更新损失。其中，为了生成第一风格损失，支持损失层可通过向第一更新特征地图适用风格运算来生成第一变形更新特征地图，之后，可算出第一变形更新特征地图与特定风格特征地图之间的差异。并且，为了生成第一内容损失，支持损失层可算出第一更新特征地图与特定内容特征地图之间的差异。

之后，学习装置100可使支持损失层通过使用第一更新损失来更新噪声图像，从而生成至少一个第一更新图像。具体地，可使支持损失层能够以梯度下降方式使用上述第一更新损失来更新上述噪声图像。通过执行更新流程，相比于上述噪声图像的风格特性，使上述第一更新图像的风格特性与上述特定第一基本图像的风格特性更相似。并且，相比于上述噪声图像的内容特性，使上述第一更新图像的内容特性与上述特定第二基本图像的内容特性更相似。

参照图3具体说明通过支持卷积神经网络执行的上述流程。

图3为示出用于生成本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界学习的自动驾驶用卷积神经网络的学习方法所使用的第二学习图像的方式的图。

参照图3，通过算出第一更新特征地图中的一个301与特定风格特征地图中的一个302之间的差异，可知生成第一风格损失中的一个，通过算出第一更新特征地图中的一个301与特定内容特征地图中的一个303之间的差异，可知生成第一内容损失中的一个。并且，可确认，通过利用第一更新损失来更新噪声图像。

可通过执行与上述过程相同的过程来更新第一更新图像并生成第二更新图像，可通过更新第二更新图像来生成第三更新图像，进而，可生成第n更新图像，并可将其作为第二特定学习图像来输出。其中，n为预设的整数。更具体地，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述支持卷积神经网络的上述支持卷积层通过向第k-1更新图像适用上述支持卷积神经网络运算来生成一个以上的第k更新特征地图，在上述步骤(ii)中，使包括于上述支持卷积神经网络的上述支持损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过使用上述特定风格特征地图、上述特定内容特征地图及上述第k更新特征地图来生成至少一个第k更新损失，在上述步骤(ii-2)中，通过上述第k更新损失来更新上述第k-1图像，从而生成至少一个第k更新图像。其中，k为1至n的整数。

如上所述的第二特定学习图像的生成方式与以将普通画转换为梵高画风格的实验结果而注明的gatysetal.的2016年论文“imagestyletransferusingconvolutionalneuralnetworks”相似，普通技术人员可通过该论文轻松理解如上所述的说明。

如上所述，若生成包括特定第二学习图像的第二学习图像，则与第一学习图像相同地，可用于学习主卷积神经网络130。简而言之，作为第二学习流程，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(ii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分。这种第二学习流程与第一学习流程相似，因此，将省略更详细的说明。

以上，说明了第一学习流程及第二学习流程，以下，对第一学习流程和第二学习流程以何种方式联动来被执行进行说明。

首先，根据一实施例，可同时执行第一学习流程及第二学习流程。即，若获取第一学习图像后生成第二学习图像，则这两种学习图像可用于学习主卷积神经网络130参数中的至少一部分。

根据再一实施例，首先执行第一学习流程来学习主卷积神经网络130参数中的至少一部分，之后，通过执行第二学习流程来对参数进行微细调整。即，学习装置100可执行步骤(i)及步骤(ii)，在上述步骤(i)中，可使上述主卷积神经网络通过使用上述第一学习图像的特定数量及与之相对应的上述第一真值自动驾驶源信息来学习上述参数，从而执行上述第一学习流程，在上述步骤(ii)中，可使上述主卷积神经网络通过使用上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来对上述参数进行微细调整，从而执行上述第二学习流程。

或者，根据另一实施例、第一学习流程可通过使用第一学习图像的一部分来在初期学习参数中的至少一部分，之后，第二学习流程通过使用第一学习图像及第二学习图像来重新学习参数中的至少一部分。即，学习装置100可使主卷积神经网络130通过使用上述第一学习图像中的一个以上的特定第一学习图像及与之相对应的上述第一真值自动驾驶源信息的一部分来在初期学习上述参数，从而执行上述第一学习流程，之后，使上述主卷积神经网络同时使用上述第一学习图像及与之相对应的上述第一真值自动驾驶源信息、上述第二学习图像及与之相对应的上述第二真值自动驾驶源信息来重新学习上述参数，从而执行上述第二学习流程。

以下，参照图4说明如何测试通过以上过程完成学习的主卷积神经网络130。

图4为示出本发明一实施例的通过使用照片风格转换来允许通过运行时间输入转换用于真实世界中的在虚拟世界中学习的自动驾驶用卷积神经网络测试方法的流程图。

参照图4，本发明的测试方法执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照与虚拟行驶相对应的至少一个测试用第一基本图像及实时获取的至少一个测试用第二基本图像来生成测试图像，在上述步骤(ii)中，向学习的主卷积神经网络130输入测试图像，来将其输出，即，测试用预测自动驾驶源信息向自动驾驶应用程序模块传递。以下，对此进行更详细的说明。

即，执行步骤(1)及步骤(2)，在上述步骤(1)中，学习装置获取与预设的虚拟世界中的虚拟车辆的虚拟行驶相对应的一个以上的第一学习图像的至少一部分，在上述步骤(2)中，上述学习装置执行第一学习流程(2-1)及第二学习流程(2-2)，上述第一学习流程(2-1)执行步骤(i)及步骤(ii)，在上述步骤(i)中，使包括于上述主卷积神经网络的主卷积层及输出层通过参照上述第一学习图像来生成一个以上的第一预测自动驾驶源信息，在上述步骤(ii)中，使包括于上述主卷积神经网络的主要损失层执行步骤(ii-1)及步骤(ii-2)，在上述步骤(ii-1)中，通过参照上述第一预测自动驾驶源信息及与之相对应的第一真值自动驾驶源信息来生成一个以上的第一主要损失，在上述步骤(ii-2)中，通过使用上述第一主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分，上述第二学习流程(2-2)执行步骤(i)、步骤(ii)及步骤(iii)，在上述步骤(i)中，使支持卷积神经网络通过参照与上述第一学习图像相对应的至少一个第一基本图像及与真实世界中的实际车辆的实际行驶相对应的一个以上的第二基本图像来生成一个以上的第二学习图像，在上述步骤(ii)中，使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述第二学习图像来生成一个以上的第二预测自动驾驶源信息，在上述步骤(iii)中，使包括于上述主卷积神经网络的上述主要损失层执行步骤(iii-1)及步骤(iii-2)，在上述步骤(iii-1)中，通过参照上述第二预测自动驾驶源信息及与之相对应的第二真值自动驾驶源信息来生成一个以上的第二主要损失，在上述步骤(iii-2)中，通过使用上述第二主要损失来执行反向传播，从而学习上述主卷积神经网络参数的至少一部分，在完成学习的状态下，测试装置使上述支持卷积神经网络通过参照(i)与测试用虚拟世界中的测试用虚拟车辆的测试用虚拟行驶相对应的至少一个测试用第一基本图像及(ii)搭载于与上述测试装置联动来进行工作的测试用实际车辆的至少一个测试用摄像头获取的至少一个测试用第二基本图像来生成测试图像。

之后，上述测试装置可使包括于上述主卷积神经网络的上述主卷积层及上述输出层通过参照上述测试图像来生成测试用预测自动驾驶源信息。

并且，测试装置可通过向自动驾驶应用程序模块传递测试用预测自动驾驶源信息来支持上述测试用实际车辆的自动驾驶。在此情况下，自动驾驶应用程序模块可以为通过使用与测试图像有关的图像分段信息或客体检测信息来使用自动驾驶的模块，这并不是本发明的主要范围，因此，将省略详细说明。

当执行测试方法时，与执行学习方法时不同地，其延迟(latency)非常重要。因此，可固定单数的测试用第一基本图像，当实时通过测试用摄像头获取图像时，可将其作为测试用第二基本图像来向支持卷积神经网络140输入。即，在测试装置中，当获取上述测试用第二基本图像时，若在第t时序之后的第t+1时序通过上述测试用摄像头获取测试用追加第二基本图像，则上述测试装置使上述支持卷积神经网络执行步骤(i)及步骤(ii)，在上述步骤(i)中，通过参照上述测试用第一基本图像及上述测试用追加第二基本图像来生成追加测试图像，在上述步骤(ii)中，通过使用上述追加测试图像来生成测试用追加预测自动驾驶源信息。

根据以上方法，本发明提供了降低标签费用并呈现高的自动驾驶性能的自动驾驶车辆。

以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。作为计算机可读记录介质的例，包括硬盘、软盘及磁带等磁介质、cd-rom、dvd等光记录介质、光磁软盘(flopticaldisk)等磁光介质(magneto-opticalmedia)、以及rom、ram、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。作为程序命令的例，不仅包括由编译器制作的机器语言代码，而且还包括利用解析器等能够由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。

以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。

因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。