图像拼接数据的采集装置及方法与流程

本公开涉及计算机视觉技术领域，尤其涉及一种图像拼接数据的采集装置及方法。

背景技术：

当前深度学习发展日新月异，从文字识别、语音识别、图像分类、物体检测到图像语义分割等。随着深度学习网络的提出和不断改进，深度学习被用于生成自然逼真的高清图像。但是目前的图像拼接算法无法拼接出满意的全景图作为深度学习网络的真值图像，同时存在视差的多幅图像拼接后会导致全景图模糊或有重影。因此，如何生成清晰且无重影的全景图是亟待解决的问题。

技术实现要素：

有鉴于此，本公开提出了一种图像拼接数据的采集装置及方法。

根据本公开的一方面，提供了一种图像采集装置。

在一种可能的实现方式中，所述装置包括：

反射组件，包括至少三个平面镜，所述至少三个平面镜接合成倒金字塔型；

采集组件，包括至少三个摄像头，所述至少三个摄像头与所述至少三个平面镜相对应地布置，所述采集组件用于采集水平场景经所述反射组件反射后的多个图像。

在一种可能的实现方式中，所述反射组件的每个平面镜与水平面的夹角保持为第一角度，且每个平面镜的形状为等腰三角形，

其中，所述第一角度大于0度且小于90度。

在一种可能的实现方式中，所述采集组件的每个摄像头位于相对应的平面镜下方的中间位置，且每个摄像头的高度以及与所述反射组件的中心轴线的距离相同。

在一种可能的实现方式中，在所述采集组件的至少三个摄像头处于共光心高度时，对所述多个图像拼接后的全景图为无缝且无重叠区域的真值图像，

其中，所述共光心高度为所述至少三个摄像头的虚拟光心重合时所述至少三个摄像头的高度，每个摄像头的虚拟光心为每个摄像头的光心在相对应的平面镜上的成像位置。

根据本公开的另一方面，提供了一种图像采集方法。

在一种可能的实现方式中，所述方法应用于上述的图像采集装置，所述图像采集装置包括反射组件及采集组件，所述方法包括：

调整所述采集组件的至少三个摄像头的位置及拍摄方向；

通过所述采集组件采集水平场景经所述反射组件反射后的多个图像。

在一种可能的实现方式中，调整所述采集组件的至少三个摄像头的位置及拍摄方向，包括：

调整所述采集组件的位置，以使所述采集组件的至少三个摄像头处于共光心高度，其中，所述共光心高度为所述至少三个摄像头的虚拟光心重合时所述至少三个摄像头的高度，每个摄像头的虚拟光心为每个摄像头的光心在相对应的平面镜上的成像位置，

其中，所述方法还包括：

对所述多个图像进行拼接处理，获得无缝且无重叠区域的真值图像。

在一种可能的实现方式中，调整所述采集组件的位置及拍摄方向，包括：

调整所述采集组件的位置，以使所述采集组件的至少三个摄像头高于共光心高度，

其中，所述方法还包括：将具有重叠区域的多个图像作为输入图像。

在一种可能的实现方式中，所述方法还包括：

根据所述真值图像以及多个输入图像，构建用于训练图像拼接网络的训练数据集。

在一种可能的实现方式中，所述方法还包括：

根据所述训练数据集中的真值图像以及多个输入图像，训练所述图像拼接网络。

在一种可能的实现方式中，所述图像拼接网络包括卷积神经网络、生成对抗网络中的至少一种。

本公开实施例所提供的图像采集装置及方法，图像采集装置包括反射组件和采集组件，反射组件包括接合成倒金字塔型的至少三个平面镜，采集组件包括与至少三个平面镜相对应地布置的至少三个摄像头，用于采集水平场景经反射组件反射后的多个图像。根据本公开的实施例，能够获取无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接数据的使用需求。

根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1示出根据本公开一实施例的图像采集装置的结构示意图；

图2a、图2b及图2c示出根据本公开一实施例的图像采集装置的平面镜与水平面的夹角的示意图；

图3示出根据本公开一实施例的图像采集方法的流程图；

图4a示出根据本公开一实施例的图像采集装置的采集场景的示意图；

图4b示出根据本公开一实施例的图像采集装置采集的真值图像的示意图；

图5a示出根据本公开一实施例的图像采集装置的采集场景的示意图；

图5b示出根据本公开一实施例的图像采集装置采集的输入图像的示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开一实施例的图像采集装置的结构示意图。图像采集装置包括反射组件1和采集组件2，反射组件1包括至少三个平面镜a1，至少三个平面镜接合成倒金字塔型；采集组件2，包括至少三个摄像头a2，至少三个摄像头a2与至少三个平面镜a1相对应地布置，采集组件1用于采集水平场景经反射组件2反射后的多个图像。

根据本公开的实施例，图像采集装置可获得无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接的数据需求。

在本实施例中，可以采用粘结的方法将至少三个平面镜a1接合成倒金字塔型，可将至少三个平面镜a1边缘打磨，使得相邻平面镜面a1能够无缝接合。至少三个平面镜a1镜面朝外，可反射不同方向的水平场景。每个摄像头a2与每个平面镜a1可一一相对应地布置，摄像头a2的数量与平面镜a1的数量可相同，以使采集组件2可采集到水平场景经反射组件1反射后的多个图像，可以根据实际采集图像的需要对摄像头a2与平面镜a1相对应布置的方式及摄像头a2与平面镜a1的数量进行设置，本公开对此不作限制。

在一种可能的实现方式中，反射组件的每个平面镜与水平面的夹角保持为第一角度，且每个平面镜的形状为等腰三角形，其中第一角度大于0度小于90度。

图2a、图2b及图2c示出根据本公开一实施例的图像采集装置的平面镜与水平面的夹角的示意图。

在该实现方式中，如图2a、图2b及图2c所示，反射组件的每个平面镜a1的镜面与水平面的夹角均保持为第一角度α，第一角度α大于0度且小于90度，以使反射组件可以反射到周围水平场景，若第一角度大于90度，反射组件则无法反射水平场景。其中，图2a为第一角度等于45度的图像采集装置的示意图，图2b为第一角度大于45度的图像采集装置的示意图，图2c为第一角度小于45度的图像采集装置的示意图。可根据实际图像采集的需求对第一角度α的大小进行设置，本公开对此不作限制。每个平面镜的形状可以是等腰三角形，还可以其他易于组合成倒金子塔型的三角形形状，本公开对此不作限制。

在一种可能的实现方式中，采集组件的每个摄像头位于相对应平面镜下方的中间位置，且每个摄像头的高度以及与反射组件的中心轴线的距离相同。

在该实现方式中，采集组件的每个摄像头位于相对应平面镜下方的中间位置，每个摄像头与反射组件中心轴线的距离相同，以使平面镜镜面能覆盖摄像头的大部分视野。每个摄像头的高度相同且高度可调，使得摄像头可获取不同视野大小的图像，进而可获得不同的输入图像和真值图像，可以根据实际图像采集的需要对摄像头的高度进行设置，本公开对此不作限制。摄像头朝向平面镜，具体朝向角度与反射组件的第一角度有关，可以根据反射组件的第一角度的大小以及实际采集图像的需要对摄像头朝向进行设置，本公开对此不作限制。

在一种可能的实现方式中，采集组件的至少三个摄像头处于共光心高度时，对多个图像拼接后的全景图为无缝且无重叠区域的真值图像。

在该实现方式中，每个摄像头的光心在相对应的平面镜成像位置为每个摄像头的虚拟光心，各摄像头的虚拟光心重合时各摄像头的高度为共光心高度。采集组件的至少三个摄像头处于共光心高度时，对多个图像拼接后的全景图为无缝无重叠区域的真值图像。

举例来说，采用由四面平面镜组成倒金字塔型(金字塔的底部顶点为a5)的反射组件，由四个摄像头组成采集组件的图像采集装置。其中，图像采集装置中每个平面镜的形状为等腰三角形，摄像头与平面镜一一相对应布置，摄像头位于相对应平面镜下方中间位置，且每个摄像头与反射组件中心轴线的距离相等，每个平面镜的镜面与水平面均保持的第一角度等于45度。如图2a所示，每个摄像头的光心a3在相对应平面镜a1的成像为a4，调节摄像头的高度，使得四个摄像头的虚拟光心a4重合在一个点上，实现四个摄像头的共光心，此时摄像头的高度为共光心高度。摄像头的高度等于共光心高度时，摄像头竖直向上拍摄，通过平面镜镜面的反射即可采集到水平场景。摄像头的视野没有重叠区域，并且四个摄像头之间没有视差，通过直接法可以将每个摄像头采集的图像拼接成一幅无缝且无重影的全景图，并将该全景图作为真值图像。

下面对图像采集的过程进行说明。

图3示出根据本公开一实施例的图像采集方法的流程图。该方法应用于上述图像采集装置，图像采集装置结构如图1所示，包括反射组件及采集组件，如图3所示，该方法可以包括步骤s11至步骤s12。

在步骤s11中，调整采集组件的至少三个摄像头的位置及拍摄方向；

在步骤s12中，通过采集组件采集水平场景经反射组件反射后的多个图像。

根据本公开的实施例，调整采集组件的至少三个摄像头的位置及拍摄方向；通过采集组件采集水平场景经反射组件反射后的多个图像。通过这种方法采集图像，可获得无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据缺乏，图像拼接真值图像获取困难等问题提供可行的解决方案，满足图像拼接数据的使用需求。

在一种可能的实现方式中，调整采集组件的至少三个摄像头的位置及拍摄方向。

在该实现方式中，可以根据反射组件中每个平面镜与水平面保持的第一角度对至少三个摄像头的拍摄方向进行设置，以使摄像头通过平面镜的反射即可采集到水平场景。可以调整采集组件的至少三个摄像头的位置，以使平镜面能覆盖摄像头的大部分视野。

在一种可能的实现方式中，以由四面平面镜组成反射组件，由四个摄像头组成采集组件的图像采集装置为例进行说明。其中，图像采集装置中每个平面镜的形状为等腰三角形(顶点为a5)，摄像头与平面镜一一相对应布置，摄像头位于相对应平面镜下方中间位置，且每个摄像头与反射组件中心轴线的距离相等。如图2a所示，当反射组件中每个平面镜a1与水平面均保持第一角度为45度时，采集组件中每个摄像头的光心a3在相对应的平面镜成像位置为每个摄像头的虚拟光心a4，摄像头光心a3与反射组件的顶点a5等高则可使摄像头的虚拟光心a4重合在一个点上，即实现摄像头共光心，此时摄像头的高度称为共光心高度。调整摄像头的高度，使得摄像头的高度为共光心高度时，摄像头竖直向上拍摄，通过平面镜a1的反射即可采集到水平场景的图像。调整每个摄像头到反射组件的中心轴线的距离，以使平面镜能覆盖摄像头的大部分视野。

如图2b所示，当反射组件中每个平面镜a1与水平面均保持第一角度为大于45度时，每个摄像头的光心a3在相对应的平面镜a1成像位置为每个摄像头的虚拟光心a4，摄像头光心a3高于反射组件的顶点a5，则可使摄像头的虚拟光心a4重合在一个点上，即实现摄像头共光心，此时摄像头的高度称为共光心高度。调整摄像头的高度，使得摄像头的高度为共光心高度时，摄像头的朝向需要靠近平面镜才能通过平面镜的反射采集到水平场景图像。调整每个摄像头到反射组件的中心轴线的距离，以使平面镜能覆盖摄像头的大部分视野。

如图2c所示，当每个平面镜与水平面均保持第一角度为小于45度时，每个摄像头的光心在相对应的平面镜成像位置为每个摄像头的虚拟光心，摄像头光心a3低于反射组件的顶点a5，则可使摄像头的虚拟光心a4重合在一个点上，即实现摄像头共光心，此时摄像头的高度称为共光心高度。调整摄像头的高度为共光心高度时，摄像头的朝向需要远离平面镜才能通过平面镜的反射采集到水平场景的图像。调整采集组件至少三个摄像头的位置，以使平面镜能覆盖摄像头的大部分视野。

在一种可能的实现方式中，在步骤s11中调整采集组件的至少三个摄像头的位置及拍摄方向，可包括：

调整采集组件的位置，以使采集组件的至少三个摄像头处于共光心高度，

其中，该方法还包括：

对多个图像进行拼接处理，获得无缝且无重叠区域的真值图像。

图4a示出根据本公开一实施例的图像采集装置的采集场景的示意图；

图4b示出根据本公开一实施例的图像采集装置采集的真值图像的示意图。

在该实现方式中，每个摄像头的光心在相对应的平面镜成像位置为每个摄像头的虚拟光心，至少三个摄像头的虚拟光心重合时至少三个摄像头的高度为共光心高度。采集组件的至少三个摄像头处于共光心高度时，对多个图像拼接后的全景图为无缝无重叠区域的真值图像。

在一种可能的实现方式中，以由四面平面镜组成反射组件，由四个摄像头组成采集组件的图像采集装置为例进行说明。其中，图像采集装置中每个平面镜的形状为等腰三角形，摄像头与平面镜一一相对应布置，摄像头位于相对应平面镜下方中间位置，且每个摄像头与反射组件中心轴线的距离相等。当每个平面镜的镜面与水平面均保持的第一角度等于45度时，如图4a所示，每个摄像头的光心a3在相对应平面镜a1成像为a4，调节摄像头的高度，使得至少三个摄像头的a4重合在一个点上，实现多个摄像头a3的共光心，此时摄像头a3的高度为共光心高度。摄像头a3的高度等于共光心高度时，摄像头a3竖直向上拍摄，通过平面镜镜面的反射即可采集到水平场景图像。摄像头a3的视野没有重叠区域，并且多个摄像头之间没有视差，通过直接拼接法可以将多幅图像拼接成一幅无缝且无重影的全景图，该全景图如图4b所示，可以作为真值图像。

应当理解，也可以根据实际需求采用其他的图像拼接算法，本公开对此不作限制。

在一种可能的实现方式中，在步骤s11中调整采集组件的至少三个摄像头的位置及拍摄方向，包括：

调整采集组件的位置，以使采集组件的至少三个摄像头高于共光心高度，

其中，该方法还包括：将具有重叠区域的多个图像作为输入图像。

图5a示出根据本公开一实施例的图像采集装置的采集场景的示意图；

图5b示出根据本公开一实施例的图像采集装置采集的输入图像的示意图。

在该实现方式中，采集装置的至少三个摄像头的位置高于共光心高度时，虚拟光心不再重合，相邻摄像头的成像视野具有一定的重叠区域，多个摄像头之间也存在一定的视差。此时，可将至少三个摄像头采集的多个图像直接作为输入图像。

以由四面平面镜组成反射组件，由四个摄像头组成采集组件的图像采集装置为例。其中，图像采集装置中每个平面镜的形状为等腰三角形，摄像头与平面镜一一相对应布置，摄像头位于相对应平面镜下方中间位置，且每个摄像头与反射组件中心轴线的距离相等。当每个平面镜的镜面与水平面均保持的第一角度等于45度时，如图5a所示，每个摄像头的光心a3在相对应平面镜a1成像为虚拟光心a4，调节摄像头的高度，当摄像头的高度高于共光心高度，使得至少三个摄像头的虚拟光心a4不重合，摄像头竖直向上拍摄，通过平面镜a1镜面的反射即可采集到水平场景图像。摄像头的成像视野具有一定的重叠区域，多个摄像头之间也存在一定的视差。此时，四个摄像头恰好呈现为普通全景摄像头的排列方式，可以将多幅图像(如图5b所示)直接作为输入图像。

重复上述步骤s11-s12，通过多次调整采集组件的位置并进行采集，获得无缝且无重叠区域的真值图像(如图4b所示)以及具有重叠区域的多个输入图像(如图5b所示)。

在一种可能的实现方式中，所述方法还可包括：根据真值图像以及多个输入图像，构建用于训练图像拼接网络的训练数据集。在该实现方式中，根据采集的真值图像以及多个输入图像，可构建用于训练图像拼接网络的数据集，也可以构建用于训练其它深度学习模型的数据集，本公开对此不作限制。

在一种可能的实现方式中，图像拼接网络包括卷积神经网络、生成对抗网络中的至少一种。

在该实现方式中，图像拼接网络包括卷积神经网络、生成对抗网络中的至少一种，还可以是其他的图像拼接网络，可以根据实际需要选择图像拼接网络，本公开对此不作限制。

在一种可能的实现方式中，所述方法还可包括：根据训练数据集中的真值图像以及多个输入图像，训练图像拼接网络。在该实现方式中，可以对训练数据集中的真值图像以及多个输入图像添加合理的预处理，选择合理的网络模型和损失函数来构建图像拼接网络，进而训练该图像拼接网络，从而得到符合要求的图像拼接网络，实现了基于深度学习的图像拼接算法。

本公开实施例所提供的图像采集装置及方法，图像采集装置包括反射组件和采集组件，反射组件包括接合成倒金字塔型的至少三个平面镜，采集组件包括与至少三个平面镜相对应地布置的至少三个摄像头，用于采集水平场景经反射组件反射后的多个图像。本公开实施例提供的图像采集装置，通过该装置能够获取无缝且无重影的真值图像以及存在视差的多幅输入图像，为图像拼接数据集缺乏、图像拼接真值图像获取困难等问题提供了可行的解决方案，从而满足图像拼接数据的使用需求。

需要说明的是，尽管以上述实施例作为示例介绍了图像采集装置及方法，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤，只要符合本公开的技术方案即可。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。