图像配准方法和装置的制造方法
【专利摘要】本发明公开了图像配准方法和装置，该方法包括：根据平面相机阵列中的相机的光心的位置，确定目标平面；将平面相机阵列中的每个相机的光心正交投影到目标平面，得到每个相机的光心的投影点；根据平面相机阵列中的相机的光心的投影点，在目标平面上生成矩形网格；根据矩形网格得到每个相机的目标网格点；以每个相机的目标网格点为原点，确定每个相机的目标相机坐标系；根据平面相机阵列中的相机与目标相机坐标系的空间位置关系，配准平面相机阵列中的相机采集到的图像。本发明实施例中，通过重新确定相机的目标相机坐标系，很大程度上降低了后续图像配准的复杂度。
【专利说明】
图像配准方法和装置
技术领域
[0001]本发明涉及图像处理领域，并且更具体地，涉及一种图像配准方法和装置。
【背景技术】
[0002]虚拟视图渲染是将2D的平面图像转化成3D的立体图像的重要手段。虚拟视图渲染包括场景中图像的采集，图像的配准，深度图预测，以及虚拟视图生成等步骤。在进行虚拟视图渲染之前，需要对场景中的图像进行采集，而场景中图像采集的方式有多种，其中，通过相机阵列的方式采集场景中图像的方式被广泛使用。
[0003]现有技术中，大量相机阵列排布方式被提出，例如，高密度相机阵列，稀疏相机阵列，分布式光场相机，以及平面相机阵列等，其中，平面相机阵列是场景中图像采集的有效方式。
[0004]但是，实际中，由于相机摆放位置的误差，平面相机阵列往往很难准确对齐，使用未对齐的水平或垂直相邻相机采集图像后，采集到的图像之间的对应像素点不一定位于水平或垂直方向，需要扩大对应像素点的搜索范围，导致图像配准的算法复杂度高，不利于后续虚拟视点的实时渲染。
【发明内容】
[0005]本发明实施例提供了一种图像配准方法和装置，能够精确对齐平面相机阵列中的相机，从而降低图像配准的复杂度。
[0006]第一方面，提供一种图像配准方法，包括:根据平面相机阵列中的相机的光心的位置，确定目标平面；将所述平面相机阵列中的每个所述相机的光心正交投影到所述目标平面，得到每个所述相机的光心的投影点；根据所述平面相机阵列中的所述相机的光心的投影点，在所述目标平面上生成矩形网格，所述矩形网格的行数目与所述平面相机阵列的行数目相同，所述矩形网格的列数目与所述平面相机阵列的列数目相同；根据所述矩形网格得到每个所述相机的目标网格点，其中，每个所述相机的目标网格点为所述矩形网格的网格点中距离每个所述相机的光心的投影点最近的网格点；以每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系；根据所述平面相机阵列中的相机与所述目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像。
[0007]结合第一方面，在第一方面的一种实现方式中，所述目标平面为三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的平面。
[0008]结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据平面相机阵列中的相机的光心的位置，确定目标平面，包括:获得所述平面相机阵列中的相机的当前相机坐标系；根据所述相机的当前相机坐标系的z轴，确定目标z轴，其中，所述目标z轴的方向为所述平面相机阵列中的相机的当前相机坐标系的z轴的平均方向；以所述目标z轴的方向为所述目标平面的法线方向，确定三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的所述目标平面。
[0009]结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述矩形网格满足所述全部相机中的每个所述相机的光心的投影点和每个所述相机的目标网格点的距离的平方和最小。
[0010]结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，每个所述相机的目标相机坐标系的Z轴与所述目标平面的法线方向相同，每个所述相机的目标相机坐标系的X轴与所述矩形网格中的第一网格线的方向相同，每个所述相机的目标相机坐标系的y轴与所述矩形网格中的第二网格线的方向相同，所述第一网格线和所述第二网格线相互垂直。
[0011]结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述以每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系，包括:根据所述平面相机阵列中的全部所述相机的当前相机坐标系的X轴、y轴和Z轴，确定目标X轴、目标y轴和目标Z轴，其中，所述目标X轴的方向为所述全部相机的当前相机坐标系的X轴的平均方向，所述目标y轴的方向为所述全部相机的当前相机坐标系的I轴的平均方向，所述目标z轴的方向为所述全部相机的当前相机坐标系的z轴的平均方向；以所述矩形网格中的与每个所述相机的光心的投影点距离最近的网格点为原点，确定每个所述相机的目标相机坐标系，其中，每个所述相机的目标相机坐标系的Z轴为所述目标Z轴或所述全部相机的当前相机坐标系的Z轴中与所述目标z轴角度偏差最小的Z轴，每个所述相机的目标坐标系的X轴为所述目标X轴或所述全部相机的当前相机坐标系的X轴中与所述目标X轴角度偏差最小的X轴，每个所述相机的目标坐标系的I轴为所述目标I轴或所述全部相机的当前相机坐标系的I轴中与所述目标I轴角度偏差最小的I轴方向。
[0012]结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所述根据所述平面相机阵列中的相机的当前相机坐标系与目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像，包括:根据所述平面相机阵列中的每个所述相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个所述相机在所述当前相机坐标系采集到的图像进行坐标变换，得到每个所述相机在所述目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
[0013]第二方面，提供一种图像配准装置，包括:第一确定单元，用于根据平面相机阵列中的相机的光心的位置，确定目标平面；投影单元，用于将所述平面相机阵列中的每个所述相机的光心正交投影到所述第一确定单元确定的所述目标平面，得到每个所述相机的光心的投影点；生成单元，用于根据所述投影单元得到的所述平面相机阵列中的所述相机的光心的投影点，在所述目标平面上生成矩形网格，所述矩形网格的行数目与所述平面相机阵列的行数目相同，所述矩形网格的列数目与所述平面相机阵列的列数目相同；第二确定单元，用于根据所述生成单元生成的所述矩形网格得到每个所述相机的目标网格点，其中，每个所述相机的目标网格点为所述矩形网格的网格点中距离每个所述相机的光心的投影点最近的网格点；第三确定单元，用于以所述第二确定单元确定的每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系；配准单元，用于根据所述平面相机阵列中的相机与所述第三确定单元确定的所述目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像。
[0014]结合第二方面，在第二方面的一种实现方式中，所述目标平面为三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的平面。
[0015]结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述第一确定单元具体用于获得所述平面相机阵列中的相机的当前相机坐标系；根据所述相机的当前相机坐标系的z轴，确定目标z轴，其中，所述目标z轴的方向为所述平面相机阵列中的相机的当前相机坐标系的z轴的平均方向；以所述目标z轴的方向为所述目标平面的法线方向，确定三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的所述目标平面。
[0016]结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述矩形网格满足所述全部相机中的每个所述相机的光心的投影点和每个所述相机的目标网格点的距离的平方和最小。
[0017]结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，每个所述相机的目标相机坐标系的z轴与所述目标平面的法线方向相同，每个所述相机的目标相机坐标系的X轴与所述矩形网格中的第一网格线的方向相同，每个所述相机的目标相机坐标系的y轴与所述矩形网格中的第二网格线的方向相同，所述第一网格线和所述第二网格线相互垂直。
[0018]结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述第三确定单元具体用于根据所述平面相机阵列中的全部所述相机的当前相机坐标系的X轴、y轴和Z轴，确定目标X轴、目标y轴和目标Z轴，其中，所述目标X轴的方向为所述全部相机的当前相机坐标系的X轴的平均方向，所述目标I轴的方向为所述全部相机的当前相机坐标系的y轴的平均方向，所述目标Z轴的方向为所述全部相机的当前相机坐标系的Z轴的平均方向；以所述矩形网格中的与每个所述相机的光心的投影点距离最近的网格点为原点，确定每个所述相机的目标相机坐标系，其中，每个所述相机的目标相机坐标系的Z轴为所述目标Z轴或所述全部相机的当前相机坐标系的Z轴中与所述目标Z轴角度偏差最小的Z轴，每个所述相机的目标坐标系的X轴为所述目标X轴或所述全部相机的当前相机坐标系的X轴中与所述目标X轴角度偏差最小的X轴，每个所述相机的目标坐标系的I轴为所述目标I轴或所述全部相机的当前相机坐标系的I轴中与所述目标I轴角度偏差最小的y轴方向。
[0019]结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所述配准单元具体用于根据所述平面相机阵列中的每个所述相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个所述相机在所述当前相机坐标系采集到的图像进行坐标变换，得到每个所述相机在所述目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
[0020]本发明实施例中，首先确定目标平面和目标平面上的矩形网格，并以矩形网格的网格点为原点重新建立相机的目标相机坐标系，由于平面相机阵列中的相机的目标相机坐标系位于同一平面，相互之间准确对齐，准确对齐的相机坐标系能够很大程度降低后续图像配准的算法复杂度，实现虚拟视点的实时渲染。
【附图说明】
[0021]为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0022]图1是远程视频会议的场景不意图。
[0023]图2是本发明实施例的图像配准方法的示意性流程图。
[0024]图3是平面相机阵列的分布方式的示例图。
[0025]图4是平面相机阵列的分布方式的示例图。
[0026]图5是平面相机阵列的分布方式的示例图。
[0027]图6是矩形网格的示意图。
[0028]图7是平面相机阵列中的相机的光心坐标的示意图。
[0029]图8是目标平面的示意图。
[0030]图9是本发明实施例的图像配准装置的示意性框图。
[0031]图10是本发明实施例的图像配准装置的示意性框图。
【具体实施方式】
[0032]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0033]下面结合图1简单描述平面相机阵列的具体应用。
[0034]图1是虚拟视频会议的场景示意图。在图1中，平面相机阵列被集成到大的显示屏幕中，通过相机阵列对屏幕前的远程与会人员所在场景进行采集，利用图像采集的结果进行虚拟视图渲染，并将渲染的结果呈现在本地与会人员面前的屏幕中。由于虚拟视图渲染能够灵活选择虚拟视点所在位置，因此，能够根据本地与会人员眼睛的位置形成虚拟眼对眼效果。
[0035]如果平面相机阵列中的相机能够准确地对齐，即准确地位于同一平面，会大大简化后续的图像配准、深度图预测以及虚拟视图渲染的算法复杂度。具体地，假设平面相机阵列被准确地对齐，在图像配准时，相机阵列中水平相邻的相机采集到的图像中的对应点必然位于水平方向，垂直相邻的相机采集到的图像中的对应点必然位于垂直方向。这样，在图像配准时，仅需沿一维方向(水平或垂直)搜索即可快速找到对应点，很大程度上提高对应点的搜索效率。此外，基于对应点得到的视差、深度等信息也可以用简单的一元化表示，即一元等式d = χ-χ，= Bf/Z表示，其中，d表示视差，X和X’表示一对对应点，B表示相邻相机之间的基线宽度(固定值)，Z表示深度。基于一元化表示进行后续深度图预测和虚拟视图生成时，能够大大减低算法的复杂度。
[0036]下面结合图2，详细描述本发明实施例的图像配准方法。
[0037]图2是本发明实施例的图像配准方法的示意性流程图。图2的方法包括:
[0038]210、根据平面相机阵列中的相机的光心的位置，确定目标平面。
[0039]光心(optical center)是相机的重要参数，相机的光心位于相机的相机坐标系的原点。相机位置固定之后，相机的光心位置也就固定下来，可以通过获取相机的内参得到相机的光心的位置。
[0040]应理解，本发明实施例中的平面相机阵列可以是宽基线系统，也可以是窄基线系统，或者宽窄基线组合系统；此外，平面相机阵列中的每个相机可以是单个相机，也可以是三焦距(trifocal camera)相机，或者单个相机和三焦距相机的组合系统。例如，图3中，平面相机阵列中的相机均为独立相机，图3左侧为独立相机组成的窄基线系统，图3右侧为独立相机组成的宽基线系统。图4中，平面相机中的相机为三焦距相机，图4左侧为三焦距相机组成的窄基线系统，图4右侧为三焦距相机组成的宽基线系统。图5是包含独立相机和三焦距相机的宽窄基线的组合系统。
[0041]步骤210的实现方式有多种，例如，通过优化算法搜索到全部光心距离或平均距离最短的平面作为目标平面；或者，先规定平面的法线方向，再沿着法线方向搜索到全部光心距离或平均距离最短的平面作为目标平面；或者，从全部光心中找出3个光心，然后以该3个光心确定一个目标平面。应理解，目标平面的确定方式有多种，本发明实施例对此不作具体限定，后续会结合具体的实施例进行详细描述。
[0042]220、将平面相机阵列中的每个相机的光心正交投影到目标平面，得到每个相机的光心的投影点。
[0043]应理解，上述正交投影是指相机的光心到目标平面的投影线与目标平面垂直，该投影线与目标平面的交点为相机的投影点。
[0044]230、根据平面相机阵列中的相机的光心的投影点，在目标平面上生成矩形网格，矩形网格的行数目与平面相机阵列的行数目相同，矩形网格的列数目与平面相机阵列的列数目相同。
[0045]上述矩形网格由目标平面上相互垂直交叉的网格线形成。假设平面相机阵列包括M行N列，那么该矩形网格也包括M行N列。
[0046]步骤230的实现方式可以有多种，举例说明，矩形网格具有很多交叉的网格点，当矩形网格的位置确定时，一个相机的光心的投影点势必会与矩形网格的一个网格点距离最近，可以称该网格点为该相机的目标网格点。然后，通过优化模型求解该矩形网格。例如，可以将优化模型的优化目标可以设定为全部相机的光心的投影点与各自对应的目标网格点的距离的平方和最小，约束条件定义为矩形网格的行数与平面相机阵列的行数相同，矩形网格的列数和平面相机阵列的列数相同，然后采用牛顿最速下降法、梯度上升法等算法求解出上述矩形网格。具体地，假设平面相机阵列具有4个相机，该4个相机的光心的投影点和各自的目标网格点之间的距离分别为a，b，c和d，那么，优化目标可以定义为(a2+b2+c2+d2)最小。
[0047]再举一例，可以将优化模型定义为矩形网格穿过平面相机阵列中的相机的光心的投影点的数目最多，约束条件定义为矩形网格的行数与平面相机阵列的行数相同，矩形网格的列数和平面相机阵列的列数相同，然后采用牛顿最速下降法、梯度上升法等算法求解出上述矩形网格。应理解，矩形网格的确定方式有多种，本发明实施例对此不作具体限定，后续会结合具体的实施例对进行详细描述。
[0048]再举一例，假设平面相机阵列为3X3的阵列，该3X3的阵列的投影点在目标平面上的位置如图6中的“ + ”所示，在目标平面建立一个二维的坐标系(该二维坐标系尽量与图中的9个投影点组成的大致矩形的两边平行)，然后分别求行1、行2、行3投影点的y坐标的平均值，得到平行于X轴的3条线，同理分别求列1、列2、列3投影点的X坐标的平均值，得到平行于y轴的3条线，该平行于X轴的3条线和平行于y轴的3条线交叉组成图6中的矩形网格。
[0049]240、根据矩形网格得到每个相机的目标网格点，其中，每个相机的目标网格点为矩形网格的网格点中距离每个相机的光心的投影点最近的网格点。
[0050]250、以每个相机的目标网格点为原点，确定每个相机的目标相机坐标系。
[0051]应理解，矩形网格的网格点是指矩形网格的行列相交点。
[0052]具体地，通过步骤250得到矩形网格后，可以将每个相机对应的投影点与矩形网格的网格点求距离，找到距离最近的网格点；或者，可以先确定每个相机光心的投影点落入矩形网格的哪个网格中，然后仅与包含该投影点的网格的四个角点求距离，找到距离最近的网格点。
[0053]应理解，上述目标相机坐标系是相对相机的当前相机坐标系而言的，可以这样理解，现在平面阵列中的相机位于各自的当前相机坐标系，本发明实施例正是要通过计算目标平面、划分矩形网格等操作重新确定各相机的目标相机坐标系，从而实现相机的对齐。
[0054]还应理解，与每个相机光心的投影点距离最近的网格点为该相机的目标相机坐标系的原点。本发明实施例对该相机的目标相机坐标系的X轴、Y轴和z轴方向不作具体限定。举例说明，可以计算平面相机阵列中全部相机的X轴的平均方向、y轴的平均方向以及Z轴的平均方向，并将得到的X轴的平均方向作为目标相机坐标系的X轴的方向，I轴的平均方向作为目标相机坐标系的I轴的方向，Z轴的平均方向作为目标相机坐标系的z轴的方向。又如，可以将目标平面的法向作为每个相机的目标相机坐标系的Z轴，将相互交叉的网格线分别作为目标相机坐标系的X轴和I轴。应理解，目标相机坐标系的方向确定方式有多种，本发明实施例对此不作具体限定，后续会结合具体的实施例进行详细描述。
[0055]260、根据平面相机阵列中的相机与目标相机坐标系的空间位置关系，配准平面相机阵列中的相机采集到的图像。
[0056]具体地，步骤260可包括:根据平面相机阵列中的每个相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个相机在当前相机坐标系采集到的图像进行坐标变换，得到每个相机在目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
[0057]应理解，本发明实施例不去移动平面相机阵列中的相机，而是记录相机的当前相机坐标系和目标相机坐标系之间的单应性矩阵(该单应性矩阵用于指示当前相机坐标系和目标相机坐标系之间的空间位置关系)，当利用平面相机阵列中的相机采集图像时，通过每个相机对应的单应性矩阵对采集到的图像中的像素点进行变换，变换后的图像会与相机在目标相机坐标系采集到的图像一致，由于平面相机阵列中相机的目标相机坐标系完美对齐，水平或垂直相邻相机采集到的图像变换后，沿水平或垂直方向搜索就能找到它们的对应像素点，从而大大降低了图像配准的复杂度。
[0058]可选地，可以设置每个相机的当前位置和目标位置的容忍范围，例如，当前相机坐标系和目标相机坐标系之间原点的距离的阈值，或者坐标轴的偏转角度的阈值等，当相机的目标相机坐标系和当前相机坐标系的位置关系超过容忍范围，则手动去调节该相机的当前相机坐标系；当未超过容忍范围，则记录当前相机坐标系和目标相机坐标系的单应性矩阵，相当于将目标相机坐标系作为该相机的虚拟相机位置。
[0059]本发明实施例中，首先确定目标平面和目标平面上的矩形网格，并以矩形网格的网格点为原点重新建立相机的目标相机坐标系，由于平面相机阵列中的相机的目标相机坐标系位于同一平面，相互之间准确对齐，准确对齐的相机坐标系能够很大程度降低后续图像配准的算法复杂度，实现虚拟视点的实时渲染。
[0060]下面结合具体的实施例，详细描述步骤210中的目标平面的确定方式。
[0061]可选地，作为一个实施例，上述目标平面为三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的平面。
[0062]具体地，为了确定目标平面，可以预先建立一个三维坐标系，该三维坐标系的原点和坐标轴可以任意选取，例如，可以以平面相机阵列中某个相机的当前相机坐标系作为该三维坐标系。以3X3的平面相机阵列为例，可以建立如图7所示的坐标系，并确定该平面相机阵列中各相机的光心在该坐标系中的位置，得到图7所示的9个光心的坐标点。然后，计算目标平面，使得9个光心的坐标点到该目标平面的距离或距离的平均值最小，得到如图8所示的目标平面(需要说明的是图8中的平面上的交叉网格线并非本发明实施例中的矩形网格，仅是为了更好地显示目标平面而引入的辅助线)。从图7中点与平面的连线可以看出，有些点落在目标平面的上方，有些点落在目标平面的下方，有些点恰好落在目标平面上。目标平面的计算可以归纳成一个优化问题，以目标平面距离平面相机阵列中相机的光心的距离或平均距离最小为优化目标，以目标平面的参数(如Ax+By+Cz+D = O中的A、B、C、D)为优化变量，利用牛顿最速下降法、梯度上升法等优化算法求解该目标平面。
[0063]可选地，作为另一个实施例，步骤210可包括:获取平面相机阵列中的相机的当前相机坐标系，根据平面相机阵列中的相机的当前相机坐标系的z轴，确定目标z轴，其中，目标z轴的方向为平面相机阵列中的相机的当前相机坐标系的z轴的平均方向；以目标z轴的方向为目标平面的法线方向，确定三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的目标平面。
[0064]目标z轴的方向为平面相机阵列中的相机的当前坐标系的z轴的平均方向具体可指:目标z轴的方向向量的取值为平面相机阵列中的相机的当前坐标系的z轴的方向向量的平均值。
[0065]举例说明，平面相机阵列中的每个相机的当前相机坐标系的z轴方向可以用空间中的一个向量表示，假设平面相机阵列为3X3的相机阵列，每个相机的当前相机坐标系的z轴的方向用一个向量表示，得到9个向量，可以将这9个向量相加后平均，即可得到最终的目标z轴的方向。接下来可以采用优化的方式确定目标平面，使得目标平面到9个相机的光心的距离或距离的平均值最小。本实施例与上一实施例的不同之处在于本实施例先确定了目标平面的法线方向，再通过优化确定目标平面，而上一实施例中，目标平面的全部参数均是通过优化得到的。
[0066]下面结合具体的实施例，详细描述确定目标平面后，目标平面上矩形网格的获取方式。
[0067]可选地，作为一个实施例，上述矩形网格满足全部相机中的每个相机的光心的投影点和每个相机的目标网格点的距离的平方和最小。
[0068]举例说明，假设平面相机阵列包括9个相机，9个相机在目标平面上会有9个投影点，每个投影点会在矩形网格的网格点中找到一个与其距离最近的点，得到9个目标网格点，每个投影点和对应的目标网格点之间会有一段距离，共9个距离值，以该9个距离值的平方和最小为优化目标，计算矩形网格，即可得到上述矩形网格的具体划分形式。
[0069]下面结合具体的实施例，详细描述平面相机阵列中每个相机的目标坐标系的确定方式。
[0070]可选地，作为一个实施例，每个相机的目标相机坐标系的z轴与目标平面的法线方向相同，每个相机的目标相机坐标系的X轴与矩形网格中的第一网格线的方向相同，每个相机的目标相机坐标系的y轴与矩形网格中的第二网格线的方向相同，第一网格线和第二网格线为矩形网格中的相互垂直的网格线。
[0071]可选地，作为一个实施例，步骤240可包括:根据平面相机阵列中的全部相机的当前相机坐标系的X轴、y轴和z轴，确定目标X轴、目标y轴和目标z轴，其中，目标X轴的方向为全部相机的当前相机坐标系的X轴的平均方向，目标y轴的方向为全部相机的当前相机坐标系的I轴的平均方向，目标z轴的方向为全部相机的当前相机坐标系的z轴的平均方向；以矩形网格中的与每个相机对应的投影点距离最近的网格点为原点，确定每个相机的目标相机坐标系，其中，每个相机的目标相机坐标系的z轴为目标z轴或全部相机的当前相机坐标系的Z轴中与目标z轴角度偏差最小的z轴方向，每个相机的目标坐标系的X轴为目标X轴方向或全部相机的当前相机坐标系的X轴中与目标X轴角度偏差最小的X轴方向，每个相机的目标坐标系的I轴为目标I轴或全部相机的当前相机坐标系的I轴中与目标I轴角度偏差最小的I轴。
[0072]应理解，目标X轴的方向为全部相机的当前坐标系的X轴的平均方向具体可指:目标X轴的方向向量的取值为全部相机的当前坐标系的X轴的方向向量的平均值。目标y轴的方向和目标Z轴的方向同理。
[0073]上文结合图1至图8，详细描述了根据本发明实施例的图像配准方法，下文结合图9至图10，详细描述根据本发明实施例的图像配准装置。应理解，图9和图10描述的图像配准装置能够实现图2中的各个步骤，为避免重复，此处不再赘述。
[0074]图9是本发明实施例的图像配准装置的示意性框图。图9的图像配准装置900包括:
[0075]第一确定单元910，用于根据平面相机阵列中的相机的光心的位置，确定目标平面；
[0076]投影单元920，用于将平面相机阵列中的每个相机的光心正交投影到第一确定单元910确定的目标平面，得到每个相机的光心的投影点；
[0077]生成单元930，用于根据投影单元920得到的平面相机阵列中的相机的光心的投影点，在目标平面上生成矩形网格，矩形网格的行数目与平面相机阵列的行数目相同，矩形网格的列数目与平面相机阵列的列数目相同；
[0078]第二确定单元940，用于根据生成单元930生成的矩形网格得到每个相机的目标网格点，其中，每个相机的目标网格点为矩形网格的网格点中距离每个相机的光心的投影点最近的网格点；
[0079]第三确定单元950，用于以第二确定单元940确定的每个相机的目标网格点为原点，确定每个相机的目标相机坐标系；
[0080]配准单元960，用于根据平面相机阵列中的相机与第三确定单元950确定的目标相机坐标系的空间位置关系，配准平面相机阵列中的相机采集到的图像。
[0081]本发明实施例中，首先确定目标平面和目标平面上的矩形网格，并以矩形网格的网格点为原点重新建立相机的目标相机坐标系，由于平面相机阵列中的相机的目标相机坐标系位于同一平面，相互之间准确对齐，准确对齐的相机坐标系能够很大程度降低后续图像配准的算法复杂度，实现虚拟视点的实时渲染。
[0082]可选地，作为一个实施例，目标平面为三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的平面。
[0083]可选地，作为一个实施例，第一确定单元910具体用于获得平面相机阵列中的相机的当前相机坐标系；根据相机的当前相机坐标系的z轴，确定目标z轴，其中，目标z轴的方向为平面相机阵列中的相机的当前相机坐标系的z轴的平均方向；以目标z轴的方向为目标平面的法线方向，确定三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的目标平面。
[0084]可选地，作为一个实施例，矩形网格满足全部相机中的每个相机的光心的投影点和每个相机的目标网格点的距离的平方和最小。
[0085]可选地，作为一个实施例，每个相机的目标相机坐标系的z轴与目标平面的法线方向相同，每个相机的目标相机坐标系的X轴与矩形网格中的第一网格线的方向相同，每个相机的目标相机坐标系的y轴与矩形网格中的第二网格线的方向相同，第一网格线和第二网格线相互垂直。
[0086]可选地，作为一个实施例，第三确定单元950具体用于根据平面相机阵列中的全部相机的当前相机坐标系的X轴、y轴和z轴，确定目标X轴、目标y轴和目标z轴，其中，目标X轴的方向为全部相机的当前相机坐标系的X轴的平均方向，目标y轴的方向为全部相机的当前相机坐标系的I轴的平均方向，目标Z轴的方向为全部相机的当前相机坐标系的Z轴的平均方向；以矩形网格中的与每个相机的光心的投影点距离最近的网格点为原点，确定每个相机的目标相机坐标系，其中，每个相机的目标相机坐标系的Z轴为目标z轴或全部相机的当前相机坐标系的z轴中与目标z轴角度偏差最小的z轴，每个相机的目标坐标系的X轴为目标X轴或全部相机的当前相机坐标系的X轴中与目标X轴角度偏差最小的X轴，每个相机的目标坐标系的I轴为目标I轴或全部相机的当前相机坐标系的I轴中与目标I轴角度偏差最小的I轴方向。
[0087]可选地，作为一个实施例，配准单元960具体用于根据平面相机阵列中的每个相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个相机在当前相机坐标系采集到的图像进行坐标变换，得到每个相机在目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
[0088]图10是本发明实施例的图像配准装置的示意性框图。图10的图像配准装置1000包括:
[0089]存储器1010，用于存储程序；
[0090]处理器1020，用于执行程序，当程序执行时，处理器1020具体用于:根据平面相机阵列中的相机的光心的位置，确定目标平面；将平面相机阵列中的每个相机的光心正交投影到目标平面，得到每个相机的光心的投影点；根据平面相机阵列中的相机的光心的投影点，在目标平面上生成矩形网格，矩形网格的行数目与平面相机阵列的行数目相同，矩形网格的列数目与平面相机阵列的列数目相同；根据矩形网格得到每个相机的目标网格点，其中，每个相机的目标网格点为矩形网格的网格点中距离每个相机的光心的投影点最近的网格点；以每个相机的目标网格点为原点，确定每个相机的目标相机坐标系；根据平面相机阵列中的相机与目标相机坐标系的空间位置关系，配准平面相机阵列中的相机采集到的图像。
[0091]本发明实施例中，首先确定目标平面和目标平面上的矩形网格，并以矩形网格的网格点为原点重新建立相机的目标相机坐标系，由于平面相机阵列中的相机的目标相机坐标系位于同一平面，相互之间准确对齐，准确对齐的相机坐标系能够很大程度降低后续图像配准的算法复杂度，实现虚拟视点的实时渲染。
[0092]可选地，作为一个实施例，目标平面为三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的平面。
[0093]可选地，作为一个实施例，处理器1020具体用于获得平面相机阵列中的相机的当前相机坐标系；根据相机的当前相机坐标系的Z轴，确定目标Z轴，其中，目标Z轴的方向为平面相机阵列中的相机的当前相机坐标系的Z轴的平均方向；以目标Z轴的方向为目标平面的法线方向，确定三维空间中到平面相机阵列中的相机的光心的距离的平均值最小的目标平面。
[0094]可选地，作为一个实施例，矩形网格满足全部相机中的每个相机的光心的投影点和每个相机的目标网格点的距离的平方和最小。
[0095]可选地，作为一个实施例，每个相机的目标相机坐标系的z轴与目标平面的法线方向相同，每个相机的目标相机坐标系的X轴与矩形网格中的第一网格线的方向相同，每个相机的目标相机坐标系的y轴与矩形网格中的第二网格线的方向相同，第一网格线和第二网格线相互垂直。
[0096]可选地，作为一个实施例，处理器1020具体用于根据平面相机阵列中的全部相机的当前相机坐标系的X轴、y轴和Z轴，确定目标X轴、目标y轴和目标z轴，其中，目标X轴的方向为全部相机的当前相机坐标系的X轴的平均方向，目标y轴的方向为全部相机的当前相机坐标系的I轴的平均方向，目标Z轴的方向为全部相机的当前相机坐标系的z轴的平均方向；以矩形网格中的与每个相机的光心的投影点距离最近的网格点为原点，确定每个相机的目标相机坐标系，其中，每个相机的目标相机坐标系的Z轴为目标Z轴或全部相机的当前相机坐标系的z轴中与目标z轴角度偏差最小的Z轴，每个相机的目标坐标系的X轴为目标X轴或全部相机的当前相机坐标系的X轴中与目标X轴角度偏差最小的X轴，每个相机的目标坐标系的I轴为目标I轴或全部相机的当前相机坐标系的y轴中与目标y轴角度偏差最小的I轴方向。
[0097]可选地，作为一个实施例，处理器1020具体用于根据平面相机阵列中的每个相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个相机在当前相机坐标系采集到的图像进行坐标变换，得到每个相机在目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
[0098]应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示:单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0099]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0100]所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0101]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0102]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0103]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0104]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0105]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
【主权项】
1.一种图像配准方法，其特征在于，包括: 根据平面相机阵列中的相机的光心的位置，确定目标平面； 将所述平面相机阵列中的每个所述相机的光心正交投影到所述目标平面，得到每个所述相机的光心的投影点； 根据所述平面相机阵列中的所述相机的光心的投影点，在所述目标平面上生成矩形网格，所述矩形网格的行数目与所述平面相机阵列的行数目相同，所述矩形网格的列数目与所述平面相机阵列的列数目相同； 根据所述矩形网格得到每个所述相机的目标网格点，其中，每个所述相机的目标网格点为所述矩形网格的网格点中距离每个所述相机的光心的投影点最近的网格点； 以每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系； 根据所述平面相机阵列中的相机与所述目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像。2.如权利要求1所述的方法，其特征在于， 所述目标平面为三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的平面。3.如权利要求1所述的方法，其特征在于，所述根据平面相机阵列中的相机的光心的位置，确定目标平面，包括: 获得所述平面相机阵列中的相机的当前相机坐标系； 根据所述相机的当前相机坐标系的Z轴，确定目标Z轴，其中，所述目标Z轴的方向为所述平面相机阵列中的相机的当前相机坐标系的Z轴的平均方向； 以所述目标Z轴的方向为所述目标平面的法线方向，确定三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的所述目标平面。4.如权利要求1-3中任一项所述的方法，其特征在于，所述矩形网格满足所述全部相机中的每个所述相机的光心的投影点和每个所述相机的目标网格点的距离的平方和最小。5.如权利要求1-4中任一项所述的方法，其特征在于，每个所述相机的目标相机坐标系的z轴与所述目标平面的法线方向相同，每个所述相机的目标相机坐标系的X轴与所述矩形网格中的第一网格线的方向相同，每个所述相机的目标相机坐标系的y轴与所述矩形网格中的第二网格线的方向相同，所述第一网格线和所述第二网格线相互垂直。6.如权利要求1-4中任一项所述的方法，其特征在于，所述以每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系，包括: 根据所述平面相机阵列中的全部所述相机的当前相机坐标系的X轴、y轴和z轴，确定目标X轴、目标y轴和目标z轴，其中，所述目标X轴的方向为所述全部相机的当前相机坐标系的X轴的平均方向，所述目标y轴的方向为所述全部相机的当前相机坐标系的I轴的平均方向，所述目标z轴的方向为所述全部相机的当前相机坐标系的z轴的平均方向； 以所述矩形网格中的与每个所述相机的光心的投影点距离最近的网格点为原点，确定每个所述相机的目标相机坐标系，其中，每个所述相机的目标相机坐标系的z轴为所述目标z轴或所述全部相机的当前相机坐标系的z轴中与所述目标z轴角度偏差最小的z轴，每个所述相机的目标坐标系的X轴为所述目标X轴或所述全部相机的当前相机坐标系的X轴中与所述目标X轴角度偏差最小的X轴，每个所述相机的目标坐标系的I轴为所述目标y轴或所述全部相机的当前相机坐标系的I轴中与所述目标I轴角度偏差最小的I轴方向。7.如权利要求1-6中任一项所述的方法，其特征在于，所述根据所述平面相机阵列中的相机的当前相机坐标系与目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像，包括: 根据所述平面相机阵列中的每个所述相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个所述相机在所述当前相机坐标系采集到的图像进行坐标变换，得到每个所述相机在所述目标相机坐标系采集到的图像； 配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。8.一种图像配准装置，其特征在于，包括: 第一确定单元，用于根据平面相机阵列中的相机的光心的位置，确定目标平面； 投影单元，用于将所述平面相机阵列中的每个所述相机的光心正交投影到所述第一确定单元确定的所述目标平面，得到每个所述相机的光心的投影点； 生成单元，用于根据所述投影单元得到的所述平面相机阵列中的所述相机的光心的投影点，在所述目标平面上生成矩形网格，所述矩形网格的行数目与所述平面相机阵列的行数目相同，所述矩形网格的列数目与所述平面相机阵列的列数目相同； 第二确定单元，用于根据所述生成单元生成的所述矩形网格得到每个所述相机的目标网格点，其中，每个所述相机的目标网格点为所述矩形网格的网格点中距离每个所述相机的光心的投影点最近的网格点； 第三确定单元，用于以所述第二确定单元确定的每个所述相机的目标网格点为原点，确定每个所述相机的目标相机坐标系； 配准单元，用于根据所述平面相机阵列中的相机与所述第三确定单元确定的所述目标相机坐标系的空间位置关系，配准所述平面相机阵列中的相机采集到的图像。9.如权利要求8所述的装置，其特征在于，所述目标平面为三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的平面。10.如权利要求8所述的装置，其特征在于，所述第一确定单元具体用于获得所述平面相机阵列中的相机的当前相机坐标系；根据所述相机的当前相机坐标系的z轴，确定目标z轴，其中，所述目标Z轴的方向为所述平面相机阵列中的相机的当前相机坐标系的Z轴的平均方向；以所述目标Z轴的方向为所述目标平面的法线方向，确定三维空间中到所述平面相机阵列中的相机的光心的距离的平均值最小的所述目标平面。11.如权利要求8-10中任一项所述的装置，其特征在于，所述矩形网格满足所述全部相机中的每个所述相机的光心的投影点和每个所述相机的目标网格点的距离的平方和最小。12.如权利要求8-11中任一项所述的装置，其特征在于，每个所述相机的目标相机坐标系的z轴与所述目标平面的法线方向相同，每个所述相机的目标相机坐标系的X轴与所述矩形网格中的第一网格线的方向相同，每个所述相机的目标相机坐标系的y轴与所述矩形网格中的第二网格线的方向相同，所述第一网格线和所述第二网格线相互垂直。13.如权利要求8-11中任一项所述的装置，其特征在于，所述第三确定单元具体用于根据所述平面相机阵列中的全部所述相机的当前相机坐标系的X轴、y轴和z轴，确定目标X轴、目标y轴和目标z轴，其中，所述目标X轴的方向为所述全部相机的当前相机坐标系的X轴的平均方向，所述目标y轴的方向为所述全部相机的当前相机坐标系的I轴的平均方向，所述目标Z轴的方向为所述全部相机的当前相机坐标系的Z轴的平均方向；以所述矩形网格中的与每个所述相机的光心的投影点距离最近的网格点为原点，确定每个所述相机的目标相机坐标系，其中，每个所述相机的目标相机坐标系的Z轴为所述目标Z轴或所述全部相机的当前相机坐标系的Z轴中与所述目标Z轴角度偏差最小的Z轴，每个所述相机的目标坐标系的X轴为所述目标X轴或所述全部相机的当前相机坐标系的X轴中与所述目标X轴角度偏差最小的X轴，每个所述相机的目标坐标系的I轴为所述目标y轴或所述全部相机的当前相机坐标系的I轴中与所述目标I轴角度偏差最小的I轴方向。14.如权利要求8-13中任一项所述的装置，其特征在于，所述配准单元具体用于根据所述平面相机阵列中的每个所述相机的当前相机坐标系与目标相机坐标系的空间位置关系，对每个所述相机在所述当前相机坐标系采集到的图像进行坐标变换，得到每个所述相机在所述目标相机坐标系采集到的图像；配准平面相机阵列中的相邻相机在各自目标相机坐标系采集到的图像。
【文档编号】G06T7/00GK105825493SQ201510012012
【公开日】2016年8月3日
【申请日】2015年1月9日
【发明人】马库斯·穆勒, 克里斯琴·里歇特, 英戈·费尔德曼, 高山, 鲁亚东
【申请人】华为技术有限公司, 德国弗劳恩霍夫应用研究促进协会