本申请涉及图像处理领域，尤其涉及一种三维图像融合方法和装置。
背景技术：
图像融合通常考虑如何将感兴趣的区域无缝自然地合成到目标图像中。当前，在二维图像的融合方面已经进行了大量的研究工作并取得了很多成果。这些工作专注于消除融合边界上的颜色差异，调整融合对象的颜色使之与目标场景匹配，从而得到自然的融合结果。
与传统的二维图像相比，三维图像和视频能够给人带来更加生动的视觉体验。因此，近年来，三维图像和视频的生成与编辑处理成为非常重要的研究课题，其中就包括对三维图像的图像融合方面的研究。但是，在现有技术中，当需要将二维平面图像融合至三维的例如球面图像时，往往在融合边缘存在不连续区域，无法获得令人满意的效果。
技术实现要素：
为解决上述技术问题，根据本发明的一个方面，提供了一种三维图像融合方法，包括：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的另一个方面，提供了一种三维图像融合装置，包括：图像获取单元，配置为获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；投影单元，配置为将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；坐标变换单元，配置为在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；融合单元，配置为将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的再一个方面，提供一种三维图像融合装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
根据本发明的上述三维图像融合方法和装置，首先将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明的三维图像融合方法和装置能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强。
附图说明
通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
图1示出利用全景相机获取的用于投影为三维球面图像的第一平面图像的示意图；
图2示出根据本发明一个实施例的三维图像融合方法的流程图；
图3示出本发明一个实施例中用于融合的二维融合图像；
图4示出经纬映射投影方法的坐标变换示意图；
图5示出本发明一个实施例中在球面坐标系中选择球缺底面的示意图；
图6示出本发明一个实施例中将二维融合图像线性等比例投影至球缺底面的内接矩形的示意图；
图7示出本发明一个实施例中将图3所示的二维融合图像映射到球面坐标系的示意图；
图8示出本发明一个实施例中将图7中获取的二维融合投影图像经过空间变换得到融合变换图像的过程示意图；
图9示出本发明一个实施例中将融合变换图像中除所述特征点之外的点映射到三维球面图像上的示意图；
图10示出本发明一个实施例中将融合后的三维球面图像进行经纬映射投影以获取融合后的等距柱状的第二平面图像的过程示意图；
图11示出根据本发明实施例的三维图像融合装置1100的框图；
图12示出根据本发明实施例的三维图像融合装置1200的框图。
具体实施方式
下面将参照附图来描述根据本发明实施例的三维图像融合方法和装置。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
图1是利用全景相机获取的用于投影为三维球面图像的第一平面图像的示意图。如图1所示，当利用例如鱼眼相机等的全景相机获取三维球面图像时，其对应的第一平面图像将由于全景相机的成像原理而产生畸变。此时，如果希望向图1中的第一平面图像中的某个区域植入预先选定的二维融合图像或者视频时，若采用传统的二维图像融合方法，将会因为第一平面图像的图像畸变而导致图像融合边缘过渡不自然，存在不连续的区域或缝隙，致使无法获得无缝自然的融合效果。
在此，参照图2描述根据本发明实施例的三维图像融合方法。图2示出该三维图像融合方法200的流程图。当然，图2中的三维图像融合方法也同样适用于二维视频与三维球面图像之间的融合。
如图2所示，在步骤s201中，获取三维球面图像和用于与所述三维球面图像融合的二维融合图像。
本步骤中，三维球面图像可以通过上述的全景相机获取。首先，利用全景相机采集例如图1所示的等距柱状的第一平面图像，然后，可以将第一平面图像进行经纬映射投影，以获取三维球面图像。在本实施例中，全景相机所采集的三维球面图像的视角可以为整个球面360度，也可以为半球面180度或其他角度，例如270度、320度等。
优选地，用于与三维球面图像融合的所述二维融合图像可以为任意多边形。更加优选地，所述二维融合图像可以为三角形、矩形、正方形或其余正多边形。
在步骤s202中，将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点。
具体地，本步骤可以包括：获取所述三维球面图像所在球面上的一个球面点；获取距离所述球面点预设高度的球缺底面；以及将所述二维融合图像投影至所述球缺底面上，获取二维融合投影图像，所述二维融合投影图像内接于所述球缺底面的圆。
在本发明实施例中，可以将二维融合图像按照图像本身的大小投影至某距球面点确定高度的球缺底面上(此高度取决于二维融合图像本身的尺寸大小)，以使二维融合投影图像内接于球缺底面；当然，也可以首先将二维融合图像进行放大或缩小，并线性等比例投影至距球面点任意预设高度的球缺底面上，以使二维融合投影图像内接于球缺底面。此时，二维融合投影图像的特征点可以为其与圆内接的交点，即二维融合投影图像的角点，这些角点均位于三维球面图像所在的球面上。在本发明另一个实施例中，二维融合投影图像也可以不内接于球缺底面的圆，此时还可以选取二维融合投影图像的部分边缘点、某个对称轴上的点或某些图案交界处的点作为特征点。
在步骤s203中，在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像。
本步骤中，与特征点对应的特征映射点可以预先指定，也可以根据预设规则进行选取。所选择的特征映射点的位置可以取决于用户希望二维融合图像投影在三维球面图像上的预设感兴趣区域的位置，如三维球面图像中显示屏的位置等。当确定特征映射点的位置后，可以根据所述特征点和与其对应的特征映射点的位置，构建透视变换的单一性矩阵，根据所述二维融合投影图像和所述矩阵获取所述融合变换图像。可选地，特征点可以和与其对应的特征映射点全部重合，也可以全部不重合，或部分重合部分不重合。
具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。
在步骤s204中，将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
如前所述，在步骤s203中，所获取的融合变换图像中的所有特征点均位于预先指定的其对应的特征映射点处，即融合变换图像中的所有特征点均位于三维球面图像所在的球面上。本步骤中，则是为了将融合变换图像中除特征点之外的其余点均映射到三维球面图像上。
具体地，首先获取所述三维球面图像所在球面的球心和所述融合变换图像上的某个点的连线与所述球面的一个交点，其中由于所述连线通常会与球面产生两个交点，因此可以根据需映射的区域或其他设置确定其中的一个交点作为用于映射的交点；然后将所述融合变换图像上的这个点映射到所述交点上，并替换掉所述三维球面图像上的点。当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
在本发明另一个实施例中，所述方法还包括：将融合后的所述三维球面图像进行经纬映射投影，获取融合后的等距柱状的第二平面图像。
另外，当用户在实际使用过程中，希望在上述融合基础上进一步变换二维融合图像的融合位置时，可以重新设置特征映射点的位置，将前述融合变换图像根据更新后的特征映射点的位置继续进行空间变换，并将变换后的融合变换图像以同样的方式映射到三维球面图像上。
根据本发明实施例的上述三维图像融合方法，能够将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明实施例的三维图像融合方法能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强，并且能够适用于不同用户视角和图像融合位置的要求。
以下参照图3至图10根据一个具体示例来说明本发明实施例中三维图像融合方法的具体实现方式。图3示出本发明一个实施例中用于融合的二维融合图像。在本示例中，将把图3示出的二维融合图像融合至图1示出的第一平面图像对应的三维球面图像中。
如前所述，在本示例中，首先将图1所示的第一平面图像进行经纬映射投影，以获取三维球面图像。图4示出经纬映射投影方法的坐标变换示意图，其中p(u,v)为第一平面图像的像素坐标，第一平面图像的宽和高分别为w和h，其所投影到球面坐标系
随后，如图5所示，在球面坐标系中，获取三维球面图像所在球面上的任一个球面点p(x,y,z)，并根据距球面点的预设高度h来获取半径为r的球缺底面，以使二维融合图像通过线性等比例投影至所述球缺底面的内接矩形上，其中心为p0(x0,y0,z0)，作为二维融合投影图像，如图6所示。这里，所投影的内接矩形的四个角点p1(x1,y1,z1)、p2、p3、p4即为二维融合投影图像的四个特征点。图7示出将图3所示的二维融合图像映射到球面坐标系的示意图及各特征点的位置。
具体地，以p1为例，
图8示出将图7中获取的具有特征点p1、p2、p3、p4的二维融合投影图像经过空间变换得到由p1’、p2’、p3’、p4’确定的融合变换图像的过程。如图8所示，首先可以根据需融合的位置可以确定分别与特征点p1、p2、p3、p4对应的特征映射点p1’、p2’、p3’、p4’，随后可以将二维融合投影图像上的四个特征点p1、p2、p3、p4分别拖拽至p1’、p2’、p3’、p4’的位置。在拖拽过程中，二维融合投影图像在空间上将产生形变，以得到变换后的融合变换图像。具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。可见，变换后的融合变换图像的空间形状和各点的位置取决于对p1、p2、p3、p4进行拖拽的综合作用的结果。
图9示出将融合变换图像中除所述特征点之外的点映射到三维球面图像上的示意图。其中，图8中所获取的融合变换图像中的所有特征点均位于三维球面图像所在的球面上，而根据图9所示，可以将融合变换图像中除上述特征点p1、p2、p3、p4之外的点映射到三维球面图像上。具体地，可以连接三维球面图像所在球面的球心和融合变换图像上的某个点q(xq，yq，zq)，然后获取上述连线和球面的一个交点q’(xq’，yq’，zq’)，将融合变换图像上的点q映射到交点q’上，并替换掉三维球面图像上原有的点。由于球心和q的连线与球面一般会有两个交点，因此可以根据预先确定的融合区域来选择映射的交点q’。
其中，
当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
最后，可以将融合后的所述三维球面图像进行如图4所示的经纬映射投影，以获取融合后的等距柱状的第二平面图像，如图10所示。
下面，参照图11来描述根据本发明实施例的三维图像融合装置。图11示出了根据本发明实施例的三维图像融合装置1100的框图。如图11所示，三维图像融合装置1100包括图像获取单元1110、投影单元1120、坐标变换单元1130和融合单元1140。除了这些单元以外，装置1100还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。此外，由于根据本发明实施例的三维图像融合装置1100执行的下述操作的具体细节与在上文中参照图2-10描述的细节相同，因此在这里为了避免重复而省略对相同细节的重复描述。
图11中的三维图像融合装置1100的图像获取单元1110配置为获取三维球面图像和用于与所述三维球面图像融合的二维融合图像。
三维球面图像可以通过全景相机获取。首先，利用全景相机采集例如图1所示的等距柱状的第一平面图像，然后，可以将第一平面图像进行经纬映射投影，以获取三维球面图像。在本实施例中，全景相机所采集的三维球面图像的视角可以为整个球面360度，也可以为半球面180度或其他角度，例如270度、320度等。
优选地，用于与三维球面图像融合的所述二维融合图像可以为任意多边形。更加优选地，所述二维融合图像可以为三角形、矩形、正方形或其余正多边形。
投影单元1120配置为将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点。
具体地，投影单元1120可以配置为：获取所述三维球面图像所在球面上的一个球面点；获取距离所述球面点预设高度的球缺底面；以及将所述二维融合图像投影至所述球缺底面上，获取二维融合投影图像，所述二维融合投影图像内接于所述球缺底面的圆。
在本发明实施例中，可以将二维融合图像按照图像本身的大小投影至某距球面点确定高度的球缺底面上(此高度取决于二维融合图像本身的尺寸大小)，以使二维融合投影图像内接于球缺底面；当然，也可以首先将二维融合图像进行放大或缩小，并线性等比例投影至距球面点任意预设高度的球缺底面上，以使二维融合投影图像内接于球缺底面。此时，二维融合投影图像的特征点可以为其与圆内接的交点，即二维融合投影图像的角点，这些角点均位于三维球面图像所在的球面上。在本发明另一个实施例中，二维融合投影图像也可以不内接于球缺底面的圆，此时还可以选取二维融合投影图像的部分边缘点、某个对称轴上的点或某些图案交界处的点作为特征点。
坐标变换单元1130配置为在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像。
与特征点对应的特征映射点可以预先指定，也可以根据预设规则进行选取。所选择的特征映射点的位置可以取决于用户希望二维融合图像投影在三维球面图像上的预设感兴趣区域的位置，如三维球面图像中显示屏的位置等。当确定特征映射点的位置后，可以根据所述特征点和与其对应的特征映射点的位置，构建透视变换的单一性矩阵，根据所述二维融合投影图像和所述矩阵获取所述融合变换图像。可选地，特征点可以和与其对应的特征映射点全部重合，也可以全部不重合，或部分重合部分不重合。
具体地，可以将二维融合投影图像上的特征点向其对应的特征映射点一一进行拖拽，以使每个特征点和与其对应的特征映射点重合。在此过程中，可以将二维融合投影图像进行三角面变换，随后构建每个三角面在被拖拽的前一个瞬时和后一个瞬时之间透视变换的单一性矩阵，从而获取所述二维融合投影图像和所述融合变换图像之间的映射矩阵，以生成变换后的融合变换图像。
融合单元1140配置为将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
如前所述，坐标变换单元1130所获取的融合变换图像中的所有特征点均位于预先指定的其对应的特征映射点处，即融合变换图像中的所有特征点均位于三维球面图像所在的球面上。融合单元1140则可以将融合变换图像中除特征点之外的其余点均映射到三维球面图像上。
具体地，首先获取所述三维球面图像所在球面的球心和所述融合变换图像上的某个点的连线与所述球面的一个交点，其中由于所述连线通常会与球面产生两个交点，因此可以根据需映射的区域或其他设置确定其中的一个交点作为用于映射的交点；然后将所述融合变换图像上的这个点映射到所述交点上，并替换掉所述三维球面图像上的点。当将融合变换图像上的所有点均映射并替换到三维球面图像上之后，即完成了二维融合图像和三维球面图像的融合。
在本发明另一个实施例中，所述装置还可以包括融合图像获取单元(未示出)，配置为将融合后的所述三维球面图像进行经纬映射投影，获取融合后的等距柱状的第二平面图像。
另外，当用户在实际使用过程中，希望在上述融合基础上进一步变换二维融合图像的融合位置时，可以利用坐标变换单元1130根据重新设置的特征映射点的位置将前述融合变换图像继续进行空间变换，并使融合单元1140将变换后的融合变换图像以同样的方式映射到三维球面图像上。
根据本发明实施例的上述三维图像融合装置，能够将二维融合图像进行投影，并根据球面上指定的特征映射点进行坐标变换，随后将变换后的融合变换图像根据预设映射关系映射到三维球面图像，以使二维融合图像和三维球面图像相融合。本发明实施例的三维图像融合装置能够将二维融合图像无缝自然地融合到三维球面图像上，消除了融合边缘的不连续区域，融合步骤简单，实用性强，并且能够适用于不同用户视角和图像融合位置的要求。
下面，参照图12来描述根据本发明实施例的三维图像融合装置。图12示出了根据本发明实施例的三维图像融合装置1200的框图。如图12所示，该装置1200可以是计算机或服务器。
如图12所示，三维图像融合装置1200包括一个或多个处理器1210以及存储器1220，当然，除此之外，三维图像融合装置1200还可能包括全景相机以及输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图12所示的三维图像融合装置1200的组件和结构只是示例性的，而非限制性的，根据需要，三维图像融合装置1200也可以具有其他组件和结构。
处理器1210可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1220中所存储的计算机程序指令以执行期望的功能，可以包括：获取三维球面图像和用于与所述三维球面图像融合的二维融合图像；将所述二维融合图像投影在所述三维球面图像所在球面坐标系中预定义的平面上，获取二维融合投影图像，其中，所投影的二维融合投影图像具有特定数量的位于三维球面图像所在球面上的特征点；在所述球面上指定与所述特征点一一对应的特征映射点，将所述二维融合投影图像上的特征点和与其对应的特征映射点重合，进行空间坐标变换，获取变换后的融合变换图像；将所述融合变换图像中除所述特征点之外的点根据预设映射关系映射到所述三维球面图像上，以使所述二维融合图像与所述三维球面图像融合。
存储器1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1210可以运行所述程序指令，以实现上文所述的本公开的实施例的三维图像融合装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的三维图像融合方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
因此，通过使用上述实施例详细解释了本发明；然而，本领域技术人员应清楚本发明不限于在理解释的实施例。本发明在不背离由权利要求限定的本发明的范围的情况下可以被实现为校正的、修改的模式。因此，说明书的描述仅意图解释示例，并且不对本发明施加任何限制含义。