利用周边汽车的图像自动标注基础汽车的图像的方法及装置与流程

本发明涉及自动标注图像的方法及装置，更详细而言，涉及一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的学习方法及学习装置以及利用其的测试方法及测试装置。

背景技术：

最近，有很多利用机器学习对执行物体识别及与之相同内容的方法进行的研究。作为这种机器学习方法之一，在输入层与输出层之间具有多个隐藏(hidden)层的神经网络的深度学习，具有高识别性能。

而且，利用这种深度学习的神经网络，一般通过利用了损失(loss)的反向传播进行学习。

为了执行深度学习网络的这种学习，需要借助于标注工具(labeler)而在个别数据点追加了标签的训练数据。准备这种训练数据(即，准确地分类数据)需利用大量的训练数据，在数据预先准备的质量不能一贯保持良好的情况下，是非常劳动密集型的工作，费用高且麻烦。以往的交互式标注在经济方面费用高昂，难以导出良好结果。

因此，最近普遍使用自动标注，利用基于深度学习的自动标注装置在训练图像中追加标签，即追加标注，检验者检验自动标注的训练图像并补正标签或标注。

但是，在这种以往方法中，与自动标注装置的处理量相比，检验者的处理量低，对全体训练图像生成准确的标注需要较长时间。为了提高整体处理量，需增加检验者数量，但在这种情况下，存在费用增加的问题。

另外，为了消化自动标注装置的处理量，需要相应地确保充分熟练的众多检验者，这方面也存在困难。

技术实现要素：

本发明的目的在于解决上述问题。

本发明另一目的在于实时自动标注基础汽车行驶中获得的至少一个基础图像。

本发明又一目的在于，在基础汽车和周边汽车行驶中，将从基础汽车获得的基础图像和从一个以上周边汽车获得的一个以上的子图像统合，从而对统合的图像进行自动标注。

本发明的目的是通过以下技术方案实现的：

根据本发明的一个方面，提供一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的方法，其特征在于，包括：(a)步骤，获得所述基础汽车的至少一个基础图像和一个以上周边汽车各自的第一子图像至第n子图像后，其中n为大于0的整数，学习装置执行流程，即将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各自的第一密集对应信息至第n密集对应信息，其中，当各个所述第一子图像的密集至所述第n子图像的密集移动到所述基础图像时，各个所述第一密集对应信息至所述第n密集对应信息表示所述第一子图像的密集至所述第n子图像的密集分别在所述基础图像上的各自的位置；(b)步骤，所述学习装置执行：(i)流程，将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器，对所述基础图像和各个所述第一子图像至所述第n子图像分别施加至少一个卷积运算，分别输出第一卷积特征图至第(n+1)卷积特征图，(ii)流程，将各个所述第一卷积特征图至所述第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器，对各个所述第一卷积特征图至所述第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出第一反卷积特征图至第(n+1)反卷积特征图，(iii)流程，参照第k密集对应信息，k为1至n的整数，使第(k+1)反卷积特征图的坐标移动到所述第一反卷积特征图的坐标，生成第k调整反卷积特征图，从而生成第一调整反卷积特征图至第n调整反卷积特征图，及(iv)流程，将所述第一反卷积特征图与所述第一调整反卷积特征图至所述第n调整反卷积特征图进行级联，生成至少一个级联特征图；及(c)步骤，所述学习装置执行流程：将所述级联特征图输入掩蔽层，从而使所述掩蔽层，对所述级联特征图施加至少一个掩蔽运算，生成至少一个语义分割图像；使第一损失层，参照所述语义分割图像和与之对应的至少一个分割地面真值gt，计算一个以上的第一损失，通过利用所述第一损失的反向传播更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化。

在一个实施例中，所述学习装置使各个所述第一至所述第n已学习密集对应网络执行：(i)流程，将所述基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器对所述基础图像施加所述卷积运算而分别生成各自的第一子卷积特征图；(ii)流程，将各个所述第一至所述第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器对各个所述第一至所述第n子图像分别施加所述卷积运算而分别生成各自的第二子卷积特征图；(iii)流程，将各个所述第一子卷积特征图与各个所述第二子卷积特征图进行级联，从而生成各个所述第一至所述第n子级联特征图；(iv)将各个所述第一至所述第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器，对各个所述第一至所述第n子级联特征图分别施加所述反卷积运算，分别生成各自的第一至第n子反卷积特征图；及(v)流程，将各个所述第一至所述第n子反卷积特征图，分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器对各个所述第一至所述第n密集对应信息分别施加至少一个回归运算，输出各个所述第一至所述第n密集对应信息。

在一个实施例中，各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述第一至所述第n密集对应信息，即，获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器，对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，从而使各个所述回归器分别输出各个学习用密集对应信息，所述学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在所述第一训练图像上的各自的位置；及(vi)流程，使第二损失层参照所述学习用密集对应信息和密集对应gt，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。

在一个实施例中，各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。

在一个实施例中，各个所述第一至所述第n密集对应信息包括表示各个所述第一至所述第n子图像的各个像素与所述基础图像的哪个像素对应的信息。

在一个实施例中，在各个所述第一至所述第n子图像的各个像素不与所述基础图像的任何像素对应时，各个所述第一至所述第n密集对应信息包括与所述基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。

在一个实施例中，所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。

根据本发明的另一个方面，提供一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行测试的方法，其特征在于，包括：(a)步骤，在学习装置执行了：(1)流程，获得所述学习用基础汽车的至少一个学习用基础图像和一个以上学习用周边汽车各自的学习用第一子图像至学习用第n子图像后，n为大于0的整数，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络分别生成各个学习用第一密集对应信息至学习用第n密集对应信息，所述各个学习用第一密集对应信息至学习用第n密集对应信息表示当各个所述学习用第一子图像的密集至所述学习用第n子图像的密集移动到所述学习用基础图像时，所述学习用第一子图像的密集至所述学习用第n子图像的密集分别在所述学习用基础图像上的各自的位置；(2)(i)流程，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别施加至少一个卷积运算，分别输出学习用第一卷积特征图至学习用第(n+1)卷积特征图，(ii)流程，将各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器对各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出学习用第一反卷积特征图至学习用第(n+1)反卷积特征图，(iii)流程，参照学习用第k密集对应信息，k为1至n的整数，使学习用第(k+1)反卷积特征图的坐标移动到所述学习用第一反卷积特征图的坐标，生成学习用第k调整反卷积特征图，从而生成学习用第一调整反卷积特征图至学习用第n调整反卷积特征图，及(iv)流程，将所述学习用第一反卷积特征图与所述学习用第一调整反卷积特征图至所述学习用第n调整反卷积特征图进行级联，生成至少一个学习用级联特征图；及(3)流程，将所述学习用级联特征图输入掩蔽层，从而使所述掩蔽层对所述学习用级联特征图施加至少一个掩蔽运算，输出至少一个学习用语义分割图像，使第一损失层，参照所述学习用语义分割图像和与之对应的至少一个分割gt，计算一个以上的第一损失，通过利用所述第一损失的反向传播更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化；的状态下，测试装置执行如下流程：获得所述测试用基础汽车的至少一个测试用基础图像和一个以上的测试用周边汽车各自的测试用第一子图像至测试用第n子图像后，n为大于0的整数，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个所述第一已学习密集对应网络至所述第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各个测试用第一密集对应信息至测试用第n密集对应信息，所述各个测试用第一密集对应信息至测试用第n密集对应信息表示各个所述测试用第一子图像的密集至所述测试用第n子图像的密集移动到所述测试用基础图像时，所述测试用第一子图像的密集至所述测试用第n子图像的密集分别在所述测试用基础图像上的各自位置；(b)步骤，所述测试装置执行：(i)流程，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别施加所述卷积运算，分别输出测试用第一卷积特征图至测试用第(n+1)卷积特征图，(ii)流程，将各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器，对各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图分别施加所述反卷积运算，分别输出测试用第一反卷积特征图至测试用第(n+1)反卷积特征图，(iii)流程，参照测试用第k密集对应信息，k为1至n的整数，使测试用第(k+1)反卷积特征图的坐标移动到所述测试用第一反卷积特征图的坐标，生成测试用第k调整反卷积特征图，从而生成测试用第一调整反卷积特征图至测试用第n调整反卷积特征图，及(iv)流程，将所述测试用第一反卷积特征图与所述测试用第一调整反卷积特征图至所述测试用第n调整反卷积特征图进行级联，生成至少一个测试用级联特征图；(c)步骤，所述测试装置执行将所述测试用级联特征图输入所述掩蔽层，从而使所述掩蔽层对所述测试用级联特征图施加所述掩蔽运算，输出至少一个测试用语义分割图像。

在一个实施例中，所述测试装置使各个所述第一至所述第n已学习密集对应网络，执行：(i)流程，将所述测试用基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器，对所述测试用基础图像施加所述卷积运算，分别生成各个测试用第一子卷积特征图；(ii)流程，将各个所述测试用第一至所述测试用第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器对各个所述测试用第一至所述测试用第n子图像分别施加所述卷积运算，分别生成各个测试用第二子卷积特征图；(iii)流程，将各个所述测试用第一子卷积特征图与各个所述测试用第二子卷积特征图进行级联，从而生成各个所述测试用第一至所述测试用第n子级联特征图；(iv)流程，将各个所述测试用第一至所述测试用第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器对各个所述测试用第一至所述测试用第n子级联特征图分别施加所述反卷积运算，分别生成各个测试用第一至测试用第n子反卷积特征图；及(v)流程，将各个所述测试用第一至所述测试用第n子反卷积特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器对各个所述测试用第一至所述测试用第n密集对应信息分别施加至少一个回归运算，输出各个所述测试用第一至所述测试用第n密集对应信息。

在一个实施例中，各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述测试用第一至所述测试用第n密集对应信息，即，获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，从而使各个所述回归器分别输出各个学习用密集对应信息，所述各个学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在各个所述第一训练图像上各自的位置；及(vi)流程，使第二损失层，参照所述学习用密集对应信息和密集对应gt，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。

在一个实施例中，各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。

在一个实施例中，各个所述测试用第一至所述测试用第n密集对应信息，包括表示各个所述测试用第一至所述测试用第n子图像的各个像素与所述测试用基础图像的哪个像素对应的信息。

在一个实施例中，在各个所述测试用第一至所述测试用第n子图像的各个像素不与所述测试用基础图像的任何像素对应时，各个所述测试用第一至所述测试用第n密集对应信息包括与所述测试用基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。

在一个实施例中，所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。

根据本发明的又另一个方面，提供一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行学习的学习装置，其特征在于，包括：存储指令的至少一个存储器；及至少一个处理器，所述至少一个处理器构成为运行所述指令，所述指令用于执行：(i)流程，获得所述基础汽车的至少一个基础图像和一个以上周边汽车各自的第一子图像至第n子图像后，n为大于0的整数，将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络分别生成各自的第一密集对应信息至第n密集对应信息，所述第一密集对应信息至第n密集对应信息表示当各个所述第一子图像的密集至所述第n子图像的密集移动到所述基础图像时，所述第一子图像的密集至所述第n子图像的密集分别在所述基础图像上的各自的位置；(ii)(i)流程，将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述基础图像和各个所述第一子图像至所述第n子图像分别施加至少一个卷积运算，分别输出第一卷积特征图至第(n+1)卷积特征图，(ii)流程，将各个所述第一卷积特征图至所述第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器对各个所述第一卷积特征图至所述第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出第一反卷积特征图至第(n+1)反卷积特征图，(iii)流程，参照第k密集对应信息，k为1至n的整数，使第(k+1)反卷积特征图的坐标移动到所述第一反卷积特征图的坐标，生成第k调整反卷积特征图，从而生成第一调整反卷积特征图至第n调整反卷积特征图，及(iv)流程，将所述第一反卷积特征图与所述第一调整反卷积特征图至所述第n调整反卷积特征图进行级联，生成至少一个级联特征图；及(iii)流程，将所述级联特征图输入掩蔽层，从而使所述掩蔽层对所述级联特征图施加至少一个掩蔽运算，输出至少一个语义分割图像，使第一损失层，参照所述语义分割图像和与之对应的至少一个分割gt计算一个以上的第一损失，通过利用所述第一损失的反向传播，更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化。

在一个实施例中，所述处理器使各个所述第一至所述第n已学习密集对应网络执行：(i)流程，将所述基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器对所述基础图像施加所述卷积运算而分别生成各自的第一子卷积特征图；(ii)流程，将各个所述第一至所述第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器对各个所述第一至所述第n子图像分别施加所述卷积运算而分别生成各自的第二子卷积特征图；(iii)流程，将各个所述第一子卷积特征图与各个所述第二子卷积特征图进行级联，从而生成各个所述第一至所述第n子级联特征图；(iv)将各个所述第一至所述第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器对各个所述第一至所述第n子级联特征图分别施加所述反卷积运算，分别生成各自的第一至第n子反卷积特征图；及(v)流程，将各个所述第一至所述第n子反卷积特征图，分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器，对各个所述第一至所述第n密集对应信息分别施加至少一个回归运算，输出各个所述第一至所述第n密集对应信息。

在一个实施例中，各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述第一至所述第n密集对应信息，即，获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器，对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，从而使各个所述回归器分别输出各个学习用密集对应信息，所述各个学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在各个所述第一训练图像上的各自的位置；及(vi)流程，使第二损失层参照所述学习用密集对应信息和密集对应gt，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。

在一个实施例中，各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。

在一个实施例中，各个所述第一至所述第n密集对应信息包括表示各个所述第一至所述第n子图像的各个像素与所述基础图像的哪个像素对应的信息。

在一个实施例中，在各个所述第一至所述第n子图像的各个像素不与所述基础图像的任何像素对应时，各个所述第一至所述第n密集对应信息包括与所述基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。

在一个实施例中，所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。

根据本发明又另一个方面，提供一种对利用周边汽车的图像来自动标注基础汽车的图像的自动标注装置进行测试的测试装置，其特征在于，包括：存储指令的至少一个存储器；及至少一个处理器，所述至少一个处理器构成为运行所述指令，所述指令用于执行：(i)流程，在学习装置执行了：(1)流程，获得所述学习用基础汽车的至少一个学习用基础图像和一个以上学习用周边汽车各自的学习用第一子图像至学习用第n子图像后，n为大于0的整数，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一已学习密集对应网络至第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络分别生成各个学习用第一密集对应信息至学习用第n密集对应信息，各个学习用第一密集对应信息至学习用第n密集对应信息表示当各个所述学习用述第一子图像的密集至所述学习用第n子图像的密集移动到所述学习用基础图像时，所述学习用第一子图像的密集至所述学习用第n子图像的密集分别在所述学习用基础图像上的各自的位置；(2)(i)流程，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器对所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别施加至少一个卷积运算，分别输出学习用第一卷积特征图至学习用第(n+1)卷积特征图，(ii)流程，将各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器，对各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出学习用第一反卷积特征图至学习用第(n+1)反卷积特征图，(iii)流程，参照学习用第k密集对应信息，k为1至n的整数，使学习用第(k+1)反卷积特征图的坐标移动到所述学习用第一反卷积特征图的坐标，生成学习用第k调整反卷积特征图，从而生成学习用第一调整反卷积特征图至学习用第n调整反卷积特征图，及(iv)流程，将所述学习用第一反卷积特征图与所述学习用第一调整反卷积特征图至所述学习用第n调整反卷积特征图进行级联，生成至少一个学习用级联特征图；及(3)流程，将所述学习用级联特征图输入掩蔽层，从而使所述掩蔽层对所述学习用级联特征图施加至少一个掩蔽运算，生成至少一个学习用语义分割图像，使第一损失层，参照所述学习用语义分割图像和与之对应的至少一个分割gt，计算一个以上的第一损失，通过利用所述第一损失的反向传播更新所述第一解码器至所述第(n+1)解码器的各个加权值及所述第一编码器至所述第(n+1)编码器的各个加权值，以使所述第一损失最小化；的状态下，所述指令执行：(i-1)流程，获得所述测试用基础汽车的至少一个测试用基础图像和一个以上的测试用周边汽车各自的测试用第一子图像至测试用第n子图像后，n为大于0的整数，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个所述第一已学习密集对应网络至所述第n已学习密集对应网络，从而使所述第一至所述第n已学习密集对应网络，分别生成各个测试用第一密集对应信息至测试用第n密集对应信息，所述各个测试用第一密集对应信息至测试用第n密集对应信息表示各个所述测试用第一子图像的密集至所述测试用第n子图像的密集移动到所述测试用基础图像时，所述测试用第一子图像的密集至所述测试用第n子图像的密集分别在所述测试用基础图像上的各自的位置；(ii)(ii-1)流程，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个第一编码器至第(n+1)编码器，从而使各个所述第一编码器至所述第(n+1)编码器，对所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别施加所述卷积运算，分别输出测试用第一卷积特征图至测试用第(n+1)卷积特征图，(ii-2)流程，将各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图输入各个第一解码器至第(n+1)解码器，从而使各个所述第一解码器至所述第(n+1)解码器对各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图分别施加所述反卷积运算，分别输出测试用第一反卷积特征图至测试用第(n+1)反卷积特征图，(ii-3)流程，参照测试用第k密集对应信息，k为1至n的整数，使测试用第(k+1)反卷积特征图的坐标移动到所述测试用第一反卷积特征图的坐标，生成测试用第k调整反卷积特征图，从而生成测试用第一调整反卷积特征图至测试用第n调整反卷积特征图，及(ii-4)流程，将所述测试用第一反卷积特征图与所述测试用第一调整反卷积特征图至所述测试用第n调整反卷积特征图进行级联，生成至少一个测试用级联特征图；及(iii)流程，将所述测试用级联特征图输入所述掩蔽层，从而使所述掩蔽层对所述测试用级联特征图施加所述掩蔽运算，输出至少一个测试用语义分割图像。

在一个实施例中，所述处理器使各个所述第一至所述第n已学习密集对应网络，执行：(i)流程，将所述测试用基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器，从而使各个所述第一子编码器，对所述测试用基础图像施加所述卷积运算，分别生成各个测试用第一子卷积特征图；(ii)流程，将各个所述测试用第一至所述测试用第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器，从而使各个所述第二子编码器，对各个所述测试用第一至所述测试用第n子图像分别施加所述卷积运算，分别生成各个测试用第二子卷积特征图；(iii)流程，将各个所述测试用第一子卷积特征图与各个所述测试用第二子卷积特征图进行级联，从而生成各个所述测试用第一至所述测试用第n子级联特征图；(iv)流程，将各个所述测试用第一至所述测试用第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器，从而使各个所述子解码器对各个所述测试用第一至所述测试用第n子级联特征图分别施加所述反卷积运算，分别生成各个测试用第一至测试用第n子反卷积特征图；及(v)流程，将各个所述测试用第一至所述测试用第n子反卷积特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个回归器，从而使各个所述回归器对各个所述测试用第一至所述测试用第n密集对应信息分别施加至少一个回归运算，输出各个所述测试用第一至所述测试用第n密集对应信息。

在一个实施例中，各个所述第一至所述第n已学习密集对应网络借助于子学习装置进行学习，以便分别输出各个所述测试用第一至所述测试用第n密集对应信息，即，获得至少一个第一训练图像及至少一个第二训练图像后，所述子学习装置执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器，从而使各个所述第一子编码器对所述第一训练图像分别施加所述卷积运算，分别生成各个学习用第一子卷积特征图；(ii)流程，将所述第二训练图像输入各个所述第二子编码器，从而使各个所述第二子编码器对所述第二训练图像施加所述卷积运算，分别生成各个学习用第二子卷积特征图；(iii)将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器，从而使各个所述子解码器对所述学习用子级联特征图分别施加所述反卷积运算，分别生成各个学习用子反卷积特征图；(v)流程，将各个所述学习用子反卷积特征图输入到各个所述回归器，使各个所述回归器分别输出各个学习用密集对应信息，所述各个学习用密集对应信息表示当所述第二训练图像的密集移动到所述第一训练图像时，所述第二训练图像的密集分别在各个所述第一训练图像上各自的位置；及(vi)流程，使第二损失层，参照所述学习用密集对应信息和密集对应gt，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器的子解码器加权值、各个所述第一子编码器及所述第二子编码器的子编码器加权值。

在一个实施例中，各个所述第一子编码器和各个所述第二子编码器共享子编码器加权值。

在一个实施例中，各个所述测试用第一至所述测试用第n密集对应信息，包括表示各个所述测试用第一至所述测试用第n子图像的各个像素与所述测试用基础图像的哪个像素对应的信息。

在一个实施例中，在各个所述测试用第一至所述测试用第n子图像的各个像素不与所述测试用基础图像的任何像素对应时，各个所述测试用第一至所述测试用第n密集对应信息包括与所述测试用基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。

在一个实施例中，所述第一编码器至所述第(n+1)编码器共享编码器加权值，所述第一解码器至所述第(n+1)解码器共享解码器加权值。

与现有技术相比，本发明的优点在于：

本发明具有可以在汽车行驶中实时执行自动标注的效果。

另外，本发明具有可以将来自行驶中的汽车的视频图像与来自周边汽车的视频图像统合并自动标注，执行优质的自动标注的效果。

另外，本发明具有的效果是，将来自行驶中的汽车的视频图像与来自周边汽车的视频图像统合并自动标注，无需利用另外的传感器，只利用照相机的视频图像便可以执行自动标注。

附图说明

为了用于说明本发明实施例而附带的下面的图，只是本发明实施例中的一部分，本发明所属技术领域的普通技术人员(以下称为“普通技术人员”)可以不进行发明性作业，基于这些图获得其他图。

图1是概略地示出根据本发明一个实施例利用一个以上周边汽车的一个以上子图像来自动标注(auto-labeling)各个基础汽车的各个基础图像的流程的图。

图2是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的自动标注装置进行学习的学习装置的图。

图3是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的自动标注装置进行学习的方法的图。

图4是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的自动标注装置进行学习的方法中对已学习密集对应(densecorrespondence)网络进行学习的流程的图。

图5是概略地示出根据本发明一个实施例对利用周边汽车的图像来自动标注基础汽车的基础图像的自动标注装置进行学习的方法中对已学习密集对应(densecorrespondence)网络进行学习的流程的图。

图6是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的所述自动标注装置进行测试的测试装置的图。

图7是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的自动标注装置进行测试的方法的图。

图8是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车的基础图像的自动标注装置进行测试的方法中已学习密集对应网络的流程的图。

具体实施方式

后述有关本发明的详细说明，为了使本发明的目的、技术方案及优点更分明，参照作为示例而图示本发明可实施的特定实施例的附图。对这些实施例进行了详细说明，以便普通技术人员足以能够实施本发明。

另外，在本发明的详细说明及权利要求中，“包括”字样的术语及其变形，并非要将其他技术特征、附加物、构成要素或步骤排除在外。对于普通技术人员而言，本发明的其他目的、优点及特性，一部分从本说明书，而一部分则从本发明的实施中显现出来。以下的示例及附图是作为实例而提供的，并非意图限定本发明。

进一步地，本发明涵盖本说明书中示出的实施例的所有可能组合。本发明的多样实施例虽然互不相同，但应理解为不需要相互排他。例如，在此记载的特定形状、结构及特性，可以与一个实施例相关联，在不超出本发明的精神及范围的前提下体现为其他实施例。另外，各个公开的实施例内的个别构成要素的位置及配置，应理解为可以在不超出本发明的精神及范围的前提下进行变更。因此，后述的详细说明并非出于限定之意，本发明的范围，如能适当说明，仅由与其权利要求所主张的内容等同的所有范围和所附权利要求所限定。在附图中，类似的附图标记指称在多个方面相同或类似的功能。

本发明中提及的各种图像可以包括铺装或非铺装道路相关图像，是可以假定此时会在道路环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此，本发明中提及的各种图像也可以是与道路无关的图像(例如与非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内相关的图像)，是可以推断此时会在非铺设道路、小胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中出现的物体(例如汽车、人、动物、植物、物品、建筑物、诸如飞机或无人机的飞行体、其他障碍物)的图像，但并非必须限定于此。

本申请说明书中提供的本发明的题目及摘要是为了便利，并非限定实施例的范围或解释实施例的意义。

作为参考，在以下说明中，为了避免混乱，在与所述学习流程相关的术语中追加了“学习用”或“训练”字样的词语，在与测试流程相关的术语中追加了“测试用”或“测试”字样的词语。

下面为了让本发明所属技术领域的普通技术人员能够容易地实施本发明，参照附图，就本发明优选实施例进行详细说明。

图1是概略地示出根据本发明一个实施例利用一个以上周边汽车的一个以上子图像来自动标注(auto-labeling)各个基础汽车的各个基础图像的流程的图。此时，所述基础图像的尺寸虽然与所述子图像的尺寸相同，但本发明的范围并不限定于此。

如图1所示，在道路上行驶中的汽车通过v2v(vehicletovehicle：车对车)通信，发送接收所述各个汽车上安装的一个以上的各个照相机所拍摄的关于行驶环境的一个以上的视频图像。

而且，从各个周边汽车接收所述视频图像的各个所述汽车上安装的各个自动标注装置，通过关于此的特征融合语义分割(fusionsemanticsegmentation)网络，利用各个周边汽车拍摄的所述视频图像，输出至少一个语义分割(所述语义分割与各个所述汽车拍摄的所述视频图像对应)，从而可以自动标注各个所述汽车拍摄的所述视频图像。

此时，在图1中虽然示例性图示了4台汽车，但本发明的范围并不限定于此。

另外，从各个周边汽车获得所述视频图像的各个所述汽车，即各个基础汽车，通过v2x通信，借助于传感器融合而共享周边汽车的位置传感器等，从而可以利用由具有与所述基础汽车的视点不同视点的周边汽车拍摄的所述视频图像。即，所述基础汽车可以获得或支持其他装置获得不同视点拍摄的特定位置的所述视频图像。

然后，各个所述汽车的各个所述自动标注装置，可以利用从各个所述特征融合语义分割网络输出的所述语义分割，自动标注自身汽车拍摄的所述视频图像。

图2是概略地示出根据本发明一个实施例对利用周边汽车的子图像来自动标注基础汽车拍摄的至少一个基础图像的自动标注装置进行学习的学习装置的图。如图2所示，所述学习装置1000包括：存储器1100，所述存储器1100存储命令，所述命令用于对利用周边汽车拍摄的子图像来自动标注基础汽车拍摄的基础图像的自动标注装置进行学习；处理器1200，所述处理器1200执行如下流程：根据存储器1100中存储的命令，对利用周边汽车拍摄的子图像来自动标注基础汽车拍摄的基础图像的自动标注装置进行学习。

具体而言，典型地，所述学习装置1000可以利用至少一个计算装置(例如，可以是包含计算机处理器、内存、存储器、输入装置、输出装置及其他现有计算构成要素的装置；诸如路由器、交换机等电子通信装置；诸如网络附属存储器(nas，networkattachedstorage)及存储区域网络(san，storageareanetwork)的电子信息存储系统)与至少一个计算机软件(即，使所述计算装置以特定方式执行功能的命令)的组合而达成希望的系统性能。

所述计算装置的处理器可以包括mpu(microprocessingunit：微处理器)或cpu(centralprocessingunit：中央处理器)、高速缓冲存储器(cachememory)、数据总线(databus)等硬件结构。另外，所述计算装置还可以包括操作系统及执行特定目的的应用程序的软件结构。

但是，并非排除所述计算装置包括由实施本发明所需的介质(medium)、处理器及存储器集成而成的形态的集成处理器的情形。

下面参照图3，说明利用如上所述构成的本发明一个实施例的学习装置1000，对利用周边汽车拍摄的子图像来自动标注基础汽车拍摄的基础图像的自动标注装置进行学习的方法。

首先，如果获得所述基础汽车的所述基础图像和所述周边汽车的第一子图像至第n子图像，则所述学习装置1000将所述基础图像和各个所述第一子图像至所述第n子图像，分别输入到各个第一已学习密集对应网络(densecorrespondencenetwork)100_1至第n已学习密集对应网络100_n，从而使所述第一至所述第n已学习密集对应网络，分别生成各自的第一密集对应(densecorrespondence)信息至第n密集对应信息。此时，n为大于0的整数。而且，当各个所述第一子图像的密集至所述第n子图像的密集移动(translate)到所述基础图像时，各个所述第一密集对应信息至所述第n密集对应信息表示所述第一子图像的密集至所述第n子图像的密集各自的、在所述基础图像上的各自位置。另外，各个所述第一子图像的密集至所述第n子图像的密集，表示在各个所述第一子图像至所述第n子图像上的像素中，推定为各个客体所在的像素的各群组(cluster)。

即，所述基础图像和所述第一子图像输入所述第一已学习密集对应网络100_1，从而使所述第一已学习密集对应网络100_1，生成所述第一密集对应信息，所述基础图像和所述第二子图像输入所述第二已学习密集对应网络100_2，从而使所述第二已学习密集对应网络100_2，生成所述第二密集对应信息，类似地，所述基础图像和所述第n子图像输入所述第n已学习密集对应网络100_n，从而可以使所述第n已学习密集对应网络100_n，生成所述第n密集对应信息。结果，各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n可以生成与此对应的各个所述第一密集对应信息至所述第n密集对应信息。

此时，所述第一至第n密集对应信息可以分别包括表示各个所述第一至所述第n子图像的各个像素与所述基础图像的各既定像素对应的信息，即关于各个所述第一至所述第n子图像的各个所述像素与所述基础图像的哪个像素对应的信息。另一方面，当各个所述第一至所述第n子图像的各个像素与所述基础图像的哪个像素都不对应时，各个所述第一至所述第n密集对应信息可以包括与所述基础图像的至少一个外侧拓展区域的至少一个位置对应的信息。即，所述第一至所述第n密集对应信息分别包括以所述基础图像为基准计算的各个所述第一至所述第n子图像内的所有像素(各个所述第一至所述第n子图像的各像素是将被移动的)的相对坐标(dx,dy)，当没有所述基础图像的对应的像素时，所述相对坐标可以用与在所述基础图像中追加的所述外侧拓展区域的所述位置对应的(图像宽度或图像高度)来表示。

接着，下面参照图4，更详细地说明各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n生成各个所述第一密集对应信息至所述第n密集对应信息的流程。

各个所述第一至所述第n已学习密集对应网络100可以执行：(i)流程，将所述基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第一子编码器110，从而使各个所述第一子编码器110，对所述基础图像施加至少一个卷积运算，分别生成各自的第一子卷积特征图；及(ii)流程，将各个所述第一至所述第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个第二子编码器120，从而使各个所述第二子编码器120，分别对各个所述第一至所述第n子图像施加至少一个卷积运算，分别生成各个第二子卷积特征图。此时，各个所述第一子编码器110及各个所述第二子编码器120可以包括至少一个卷积层，可以施加至少一个卷积运算，下采样(down-sampling)所述基础图像。另外，各个所述第一子编码器100及各个所述第二子编码器120可以共享子编码器加权值。

而且，各个所述第一至所述第n已学习密集对应网络将各个所述第一子卷积特征图与各个所述第二子卷积特征图级联，从而生成各自的第一至第n子级联特征图。

然后，可以执行如下流程：各个所述第一至所述第n已学习密集对应网络将各个所述第一至所述第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个子解码器130，从而使各个所述子解码器130，分别对各个所述第一至所述第n子级联特征图施加至少一个反卷积运算，分别生成各自的第一至第n子反卷积特征图。此时，各个所述子解码器130可以包括至少一个反卷积层，施加至少一个反卷积运算，对各个所述第一至所述第n子级联特征图进行上采样(up-sampling)。

然后，各个所述第一至所述第n已学习密集对应网络可以将所述第一至所述第n子反卷积特征图分别输入相应回归器(regressor)140，从而可以使各个所述回归器140，输出各个所述第一至所述第n密集对应信息。

另一方面，各个所述第一至所述第n已学习密集对应网络可以借助于子学习装置而进行学习，从而分别输出各个所述第一至所述第n密集对应信息。

作为一个示例，参照图5，如果获得至少一个第一训练图像及至少一个第二训练图像，则所述子学习装置1500可以执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器110，从而使各个所述第一子编码器110，对所述第一训练图像施加至少一个卷积运算，分别生成各个学习用第一子卷积特征图；及(ii)流程，将所述第二训练图像输入各个所述第二子编码器120，从而使各个所述第二子编码器120，对所述第二训练图像施加至少一个卷积运算，分别生成各个学习用第二子卷积特征图。

而且，所述子学习装置1500可以执行：(iii)流程，将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图级联，从而生成各个学习用子级联特征图；(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器130，从而使各个所述子解码器130对各个所述学习用子级联特征图分别施加至少一个反卷积运算，分别生成各个学习用子反卷积特征图；及(v)将各个所述学习用子反卷积特征图分别输入各个所述回归器140，从而使各个所述回归器140分别输出各个学习用密集对应信息。此时，当所述第二训练图像的密集移动到所述第一训练图像时，各个所述学习用密集对应信息表示所述第二训练图像的密集在所述第一训练图像上的各自位置。另外，所述第二训练图像的密集表示在所述第二训练图像上的像素中，推定为学习用客体所在的像素的群组。

然后，所述子学习装置1500可以执行：(vi)流程，使第二损失层1550，参照所述学习用密集对应信息与密集对应gt(地面真值，groundtruth)，计算一个以上的第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器130的各个子解码器加权值、各个所述第一子编码器110及所述第二子编码器120的各个子编码器加权值。

然后，再次参照图3，所述学习装置1000可以执行：(i)流程，将所述基础图像和各个所述第一子图像至所述第n子图像分别输入各个第一编码器200_1至第(n+1)编码器200_(n+1)，从而使各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)，对所述基础图像和各个所述第一子图像至所述第n子图像分别施加至少一个卷积运算，分别输出第一卷积特征图至第(n+1)卷积特征图；及(ii)流程，将各个所述第一卷积特征图至所述第(n+1)卷积特征图输入各个第一解码器300_1至第(n+1)解码器300_(n+1)，从而使各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)，对各个所述第一卷积特征图至所述第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出第一反卷积特征图至第(n+1)反卷积特征图。此时，各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)可以包括至少一个卷积层，可以施加至少一个卷积运算，对所述基础图像和各个所述第一至所述第(n+1)子图像进行下采样(down-sampling)。而且，各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)可以包括至少一个反卷积层，施加至少一个反卷积运算，对各个所述第一卷积特征图至所述第(n+1)卷积特征图进行上采样。另外，各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)可以共享编码器加权值，各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)可以共享解码器加权值。

而且，所述学习装置1000可以执行：(iii)流程，参照第k(k为1至n的整数)密集对应信息，使第(k+1)反卷积特征图的坐标移动到所述第一反卷积特征图的坐标，生成第k调整反卷积特征图，从而生成第一调整反卷积特征图至第n调整反卷积特征图；及(iv)流程，将所述第一反卷积特征图与所述第一调整反卷积特征图至所述第n调整反卷积特征图级联(concatenating)，生成至少一个级联特征图。

然后，所述学习装置1000可以执行流程：将所述级联特征图输入掩蔽(masking)层400，从而使所述掩蔽层400，对所述级联特征图施加至少一个掩蔽运算，输出至少一个语义(semantic)分割图像。此时，所述语义分割图像是在所述基础图像中追加关于所述第一子图像至所述第n子图像的信息，并对由此的输出进行分割而生成，这与所述自动标注的基础图像对应。

然后，所述学习装置1000执行流程：使第一损失层500，参照所述语义分割图像和与之对应的至少一个分割gt，计算一个以上的第一损失，通过利用所述第一损失的反向传播(backpropagation)，更新所述第一解码器300_1至所述第(n+1)解码器300_(n+1)的各个加权值及所述第一编码器200_1至所述第(n+1)编码器200_(n+1)的各个加权值，从而使得所述第一损失最小化。其结果，所述学习装置1000可以对利用所述周边汽车的所述子图像来自动标注所述基础车辆的所述基础图像的所述自动标注装置进行学习。

图6是概略地示出根据本发明一个实施例对利用所述周边汽车拍摄的所述子图像来自动标注所述基础汽车拍摄的所述基础图像的所述自动标注装置进行测试的测试装置。如图6所示，所述测试装置2000包括：存储器2100，所述存储器2100存储命令，所述命令用于测试利用所述周边汽车拍摄的所述子图像来自动标注所述基础汽车拍摄的所述基础图像的所述自动标注装置；处理器2200，所述处理器2200根据存储器2100中存储的命令执行用于测试利用所述周边汽车拍摄的所述子图像来自动标注所述基础汽车拍摄的所述基础图像的所述自动标注装置所需的流程。

具体而言，典型地，所述测试装置2000可以利用至少一个计算装置(例如，计算机处理器、内存、存储器、输入装置、输出装置及其他现有计算构成要素的装置；诸如路由器、交换机等电子通信装置；诸如网络附属存储器(nas)及存储区域网络(san)的电子信息存储系统)与至少一个计算机软件(即，使所述计算装置以特定方式执行功能的命令)的组合而达成希望的系统性能。

所述计算装置的处理器可以包括mpu(microprocessingunit：微处理器)或cpu(centralprocessingunit：中央处理器)、高速缓冲存储器(cachememory)、数据总线(databus)等硬件结构。另外，所述计算装置还可以包括操作系统(os)及执行特定目的的应用程序的软件结构成。

但是，并非排除所述计算装置包括由实施本发明所需的介质(medium)、处理器及存储器集成而成的形态的集成处理器的情形。

下面参照图7，说明根据本发明一个实施例利用测试装置2000对利用周边汽车所拍摄的子图像来自动标注基础汽车拍摄的基础图像所需的自动标注装置进行测试的方法。在以下说明中，对于可以从所述图3至图5的说明容易地理解的部分，省略详细说明。

首先，利用周边汽车的子图像来自动标注基础汽车拍摄的基础图像的自动标注装置，可以是根据参照图3至图5而说明的学习流程进行了学习的状态。

即，如果获得学习用基础汽车拍摄的至少一个学习用基础图像和一个以上的学习用周边汽车分别拍摄的学习用第一子图像至学习用第n子图像，则所述学习装置将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n，从而使所述第一至所述第n已学习密集对应网络，分别生成各个学习用第一密集对应信息至学习用第n密集对应信息。此时，当各个所述学习用第一子图像的密集至所述学习用第n子图像的密集移动到所述学习用基础图像时，各个所述学习用第一密集对应信息至所述学习用第n密集对应信息表示所述学习用第一子图像的密集至所述学习用第n子图像的密集分别在所述学习用基础图像上的各自位置。另外，各个所述学习用第一子图像的密集至所述学习用第n子图像的密集，表示在各个所述学习用第一子图像至所述学习用第n子图像上的像素中，推定为各个学习用客体所在的像素的各群组。而且，所述学习装置执行：(i)流程，将所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别输入所述第一编码器200_1至所述第(n+1)编码器200_(n+1)，从而使各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)，对所述学习用基础图像和各个所述学习用第一子图像至所述学习用第n子图像分别施加至少一个卷积运算，从而分别输出学习用第一卷积特征图至学习用第(n+1)卷积特征图；及(ii)流程，将各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图分别输入所述第一解码器300_1至所述第(n+1)解码器300_(n+1)，从而使各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)，对各个所述学习用第一卷积特征图至所述学习用第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出学习用第一反卷积特征图至学习用第(n+1)反卷积特征图。然后，所述学习装置可以执行：(iii)流程，参照学习用第k(k为1至n的整数)密集对应信息，使学习用第(k+1)反卷积特征图的坐标移动到所述学习用第一反卷积特征图的坐标，生成学习用第k调整反卷积特征图，从而生成学习用第一调整反卷积特征图至学习用第n调整反卷积特征图；及(iv)流程，将所述学习用第一反卷积特征图与所述学习用第一调整反卷积特征图至所述学习用第n调整反卷积特征图进行级联(concatenating)，生成至少一个学习用级联特征图。而且，所述学习装置执行流程：将所述学习用级联特征图输入所述掩蔽层400，从而使所述掩蔽层400，对所述学习用级联的特征图施加至少一个掩蔽运算，输出至少一个学习用语义(semantic)分割图像；使所述第一损失层，参照所述学习用语义分割图像和与之对应的至少一个分割gt，计算所述第一损失，通过利用所述第一损失的反向传播(backpropagation)，更新所述第一解码器300_1至所述第(n+1)解码器300_(n+1)的各个所述加权值及所述第一编码器200_1至所述第(n+1)编码器200_(n+1)的各个所述加权值，使所述第一损失最小化。

完成所述流程后，所述测试装置2000执行流程：获得测试用基础汽车拍摄的至少一个测试用基础图像和一个以上的测试用周边汽车分别拍摄的测试用第一子图像至测试用第n子图像后，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n，从而使所述第一至所述第n已学习密集对应网络，分别生成各个测试用第一密集对应信息至测试用第n密集对应信息。此时，当各个所述测试用第一子图像的密集至所述测试用第n子图像的密集移动到所述测试用基础图像时，各个所述测试用第一密集对应信息至所述测试用第n密集对应信息，表示所述测试用第一子图像的密集至所述测试用第n子图像的密集分别在所述测试用基础图像上的各自位置。另外，各个所述测试用第一子图像的密集至所述测试用第n子图像的密集，表示在各个所述测试用第一子图像至所述测试用第n子图像上的像素中推定为各个测试用客体所在的像素的各群组。

即，如图8所示，所述测试装置使各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n执行：(i)流程，将所述测试用基础图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个所述第一子编码器110，从而使各个所述第一子编码器110对所述测试用基础图像施加至少一个卷积运算，分别生成各个测试用第一子卷积特征图；及(ii)流程，将各个所述测试用第一至所述测试用第n子图像分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个所述第二子编码器120，从而使各个所述第二子编码器120对各个所述测试用第一至所述测试用第n子图像分别施加至少一个卷积运算，分别生成各个测试用第二子卷积特征图。而且，所述测试装置执行流程：使各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n，将各个所述测试用第一子卷积特征图与各个所述测试用第二子卷积特征图进行级联，从而生成各个所述测试用第一至所述测试用第n子级联特征图；及将各个所述测试用第一至所述测试用第n子级联特征图分别输入与各个所述第一至所述第n已学习密集对应网络对应的各个所述子解码器130，从而使各个所述子解码器130对各个所述测试用第一至所述测试用第n子级联特征图分别施加至少一个反卷积运算，分别生成各个测试用第一至测试用第n子反卷积特征图。然后，所述测试装置可以使各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n，将所述测试用第一至所述测试用第n子反卷积特征图分别输入所述对应的回归器140，从而使各个所述回归器140输出各个所述测试用第一至所述测试用第n密集对应信息。

另一方面，各个所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n借助于所述子学习装置进行学习，从而分别输出各个所述测试用第一至所述测试用第n密集对应信息。

即，获得所述第一训练图像及所述第二训练图像后，所述子学习装置可以执行：(i)流程，将所述第一训练图像输入各个所述第一子编码器110，从而使各个所述第一子编码器110对所述第一训练图像施加至少一个卷积运算，分别生成各个学习用第一子卷积特征图；及(ii)流程，将所述第二训练图像输入各个所述第二子编码器120，从而使各个所述第二子编码器120，对所述第二训练图像施加至少一个卷积运算，分别生成各个学习用第二子卷积特征图。而且，所述子学习装置可以执行：(iii)流程，将各个所述学习用第一子卷积特征图与各个所述学习用第二子卷积特征图进行级联，从而生成各个学习用子级联特征图；及(iv)流程，将各个所述学习用子级联特征图分别输入各个所述子解码器130，从而使各个所述子解码器130对所述学习用子级联特征图分别施加至少一个反卷积运算，分别生成各个学习用子反卷积特征图。然后，所述子学习装置可以执行：(v)流程，将各个所述学习用子反卷积特征图输入各个所述回归器140，从而使各个所述回归器140分别生成各个所述学习用密集对应信息；及(vi)流程，使所述第二损失层，参照所述学习用密集对应信息及密集对应gt(groundtruth)，计算所述第二损失，通过利用所述第二损失的反向传播，更新各个所述子解码器130的各个所述子解码器加权值、各个所述第一子编码器110及所述第二子编码器120的各个所述子编码器加权值。从而所述子学习装置可以对所述第一已学习密集对应网络100_1至所述第n已学习密集对应网络100_n进行学习。

然后，再次参照图7，所述测试装置2000执行：(i)流程，将所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别输入各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)，从而使各个所述第一编码器200_1至所述第(n+1)编码器200_(n+1)对所述测试用基础图像和各个所述测试用第一子图像至所述测试用第n子图像分别施加至少一个卷积运算，分别输出各个测试用第一卷积特征图至测试用第(n+1)卷积特征图；及(ii)流程，将各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图输入各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)，从而使各个所述第一解码器300_1至所述第(n+1)解码器300_(n+1)对各个所述测试用第一卷积特征图至所述测试用第(n+1)卷积特征图分别施加至少一个反卷积运算，分别输出各个测试用第一反卷积特征图至测试用第(n+1)反卷积特征图。

然后，所述测试装置2000可以执行：(iii)流程，参照测试用第k(k为1至n的整数)密集对应信息，使测试用第(k+1)反卷积特征图的坐标移动到所述测试用第一反卷积特征图的坐标，生成测试用第k调整反卷积特征图，从而生成测试用第一调整反卷积特征图至测试用第n调整反卷积特征图；及(iv)流程，将所述测试用第一反卷积特征图与所述测试用第一调整反卷积特征图至所述测试用第n调整反卷积特征图进行级联(concatenating)，生成至少一个测试用级联特征图。

然后，所述测试装置2000执行流程：将所述测试用级联特征图输入所述掩蔽层400，从而使所述掩蔽层400对所述测试用级联特征图施加至少一个掩蔽运算，输出至少一个测试用语义(semantic)分割图像，其结果，使得所述基础图像可以自动标注。

如上所述，本发明能够利用传感器融合，共享周边汽车的位置传感器等，通过v2x通信获得不同视点拍摄的视频图像，借助于v2x信息融合，融合不同视点拍摄的视频图像的特征，实时自动标注行驶中的汽车所拍摄的视频图像。

另外，以上说明的本发明的实施例可以体现为可通过多样计算机构成要素而执行的程序命令的形态，记录于计算机可读记录介质。所述计算机可读记录介质可以单独或组合包括程序命令、数据文件、数据结构等。所述计算机可读记录介质中记录的程序命令可以是为本发明而特别设计、构成的，或者也可以是计算机软件领域从业人员公知并可使用的。在计算机可读记录介质的示例中，包括诸如硬盘、软盘及磁带的磁介质，诸如cd-rom(只读光盘驱动器)、dvd(数字化视频光盘)的光记录介质，诸如软式光盘(flopticaldisk)的磁-光介质(magneto-opticalmedia)，及诸如只读存储器(rom)、随机存储器(ram)、快闪存储器等的为了存储及执行程序命令而特殊构成的硬件装置。在程序命令的示例中，不仅有借助于编译程序而制成的机器语言代码，还包括使用解释器等而能够借助于计算机运行的高级语言代码。所述硬件装置为了执行本发明的处理，可以构成为一个以上的软件模块而运转，反之亦然。

以上根据诸如具体构成要素等的特定事项和限定的实施例及附图，对本发明进行了说明，但这只是为了帮助更全面理解本发明而提供的，并非本发明限定于所述实施例，只要是本发明所属技术领域的技术人员，便可以从这种记载导出多样的修订及变形。

因此，本发明的思想不局限于所述说明的实施例确定，后述权利要求书以及与该权利要求书等同地或等效地变形的所有内容均属于本发明的思想范围。