一种图像配准方法及装置、存储介质与流程

1.本技术涉及计算机视觉领域，尤其涉及一种图像配准方法及装置、存储介质。


背景技术：

2.在计算机视觉中，三维（three dimensions，3d）相机产生的深度图像通常需要与三原色（red green blue，rgb）图像配准，以生成配准深度图像，实际上配准的目的就是让深度图和rgb图像重合在一起，即将rgb图像的图像坐标系转换到深度图像的图像坐标系下，给深度图像中的像素点上色。
3.配准的前提是需要知道rgb相机和深度图像相机的内部参数以及两者之间的相对位置，目前，现有技术中是通过依次对两个相机分别进行单目标定来获取两者的内部参数，然后再通过双目标定获取两者之间的相对位置，但是，在不同的分辨率模式下进行配准时，由于不同分辨率模式下的相机内参都不同，因此需要对两个相机重新进行标定，以基于重新标定后的内部参数来实现输出不同分辨率的配准图像，导致配准时的步骤繁琐，图像配准效率低。


技术实现要素：

4.本技术实施例提供一种图像配准方法及装置、存储介质，能够提高图像配准时的效率。
5.本技术的技术方案是这样实现的：第一方面，本技术实施例提供一种图像配准方法，应用于图像配准装置，所述图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；所述方法包括：利用所述rgb拍摄模块和所述tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；所述第一rgb图像为全分辨率模式或预设模式下的rgb图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取所述rgb拍摄模块和所述tof拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度rgbd图像。
6.在上述图像配准方法中，所述第一rgb图像为所述全分辨率模式下的rgb图像，所述第一深度图像为所述全分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像，包括：基于所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一rgbd图像；
基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一rgbd图像的分辨率进行转换，以将所述第一rgbd图像转换为所述预设分辨率模式下的rgbd图像。
7.在上述图像配准方法中，所述第一rgb图像为所述全分辨率模式下的rgb图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像，包括：基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；从所述第一rgb图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的rgbd图像。
8.在上述图像配准方法中，所述第一rgb图像为所述预设分辨率模式下的rgb图像，所述第一深度图像为所述预设分辨率模式下的深度图像，所述预设模式为所述预设分辨率模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像，包括：基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；基于所述第二配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
9.在上述图像配准方法中，所述第一rgb图像为所述预设镜像模式下的rgb图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像之前，所述方法还包括：对所述第一rgb图像进行逆镜像，得到第二rgb图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像，包括：基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二rgb图像和所述第二深度图像进行配准，得到所述预设模式下的rgbd图像；相应的，所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像之后，所述方法还包括：
对所述rgbd图像进行镜像，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
10.在上述图像配准方法中，所述第一rgb图像为所述预设镜像模式下的rgb图像，所述第一深度图像为所述预设分辨率与镜像模式下的深度图像，所述预设模式为所述预设分辨率与镜像模式；所述基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的rgbd图像，包括：按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
11.在上述图像配准方法中，所述第一配准参数包括所述rgb拍摄模块的内部参数、所述tof拍摄模块的内部参数和所述rgb拍摄模块与所述tof拍摄模块之间的相对位置参数。
12.第二方面，本技术实施例提供一种图像配准装置，所述图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；所述装置包括：采集模块，用于利用所述rgb拍摄模块和所述tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；所述第一rgb图像为全分辨率模式或预设模式下的rgb图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取模块，用于获取所述rgb拍摄模块和所述tof拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度rgbd图像。
13.第三方面，本技术实施例提供一种图像配准设备，其特征在于，所述设备包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的图像配准方法。
14.第四方面，本技术实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任一项所述的图像配准方法。
15.本技术实施例提供了一种图像配准方法及装置、存储介质，应用于图像配准装置，图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；该方法包括：利用rgb拍摄模块和tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；第一rgb图像为全分辨率模式或预设模式下的rgb图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取rgb拍摄模块和tof拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一rgb图像和第一深度图像进行配准，得到预设模式下的配准深度rgbd图像；采用上述实现方案，本技术通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对rgb图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
附图说明
16.图1为本技术实施例提供的一种图像配准方法流程图；图2为本技术实施例提供的一种示例性的图像配准方法流程图一；图3为本技术实施例提供的一种示例性的图像配准方法流程图二；图4为本技术实施例提供的一种示例性的图像配准方法流程图三；图5为本技术实施例提供的一种示例性的图像配准方法流程图四；图6为本技术实施例提供的一种示例性的图像配准方法流程图五；图7为本技术实施例提供的一种图像配准装置的组成结构示意图；图8为本技术实施例提供的一种图像配准设备的组成结构示意图。
具体实施方式
17.应当理解，此处描述的具体实施例仅仅用以解释本技术。并不用于限定本技术。
18.本技术实施例提供一种图像配准方法，应用于图像配准装置，图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；图1为本技术实施例提供的一种图像配准方法流程图，如图1所示，图像配准方法可以包括：s101、利用rgb拍摄模块和tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；第一rgb图像为全分辨率模式或预设模式下的rgb图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式。
19.在本技术实施例中，图像配准装置利用rgb拍摄模块和tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；第一rgb图像为全分辨率模式或预设模式下的rgb图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式。
20.本技术给出的一种图像配准方法适用于对rgb图像和深度图像进行配准的场景下。
21.在本技术实施例中，图像配准装置利用rgb拍摄模块采集目标对象的第一rgb图像，同时利用tof拍摄模块采集目标对象的第一深度图像；rgb拍摄模块在采集目标对象的rgb图像时，可以同时采集目标对象在任何模式下的rgb图像并输出；tof拍摄模块在采集目标对象的深度图像时，可以同时采集目标对象在任何模式下的深度图像并输出。
22.s102、获取rgb拍摄模块和tof拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一rgb图像和第一深度图像进行配准，得到预设模式下的配准深度rgbd图像。
23.在本技术实施例中，图像配准装置在抽取出第一rgb图像和第一深度图像之后，获取rgb拍摄模块和tof拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一rgb图像和第一深度图像进行配准，得到预设模式下的配准深度rgbd图像。
24.需要说明的是，rgb拍摄模块和tof拍摄模块在不同模式下的配准参数都存在差别，本技术中的第一配准参数为全分辨率模式对应的配准参数。
25.在本技术实施例中，第一配准参数包括rgb拍摄模块的内部参数、tof拍摄模块的
内部参数和rgb拍摄模块与tof拍摄模块之间的相对位置参数。
26.需要说明的是，在本技术实施例中，rgb拍摄模块的内部参数和tof拍摄模块的内部参数都为矩阵，并且相对位置参数包括一个拍摄模块相对另一个拍摄模块的旋转矩阵和平移矩阵。
27.需要说明的是，由于在实际使用配准功能时，由于tof拍摄模块存在binning、rr和roi等多种工作模式，可以通过选择不同的工作模式进行不同分辨率深度图像的拍摄，同时输出不同分辨率的配准深度图像。
28.在本技术一种可选的实施例中，第一rgb图像为全分辨率模式下的rgb图像，第一深度图像为全分辨率模式下的深度图像；预设模式为预设分辨率模式；图2为本技术实施例提供的一种示例性的图像配准方法流程图一，图像配准过程具体如下：s201、基于第一配准参数，对第一rgb图像和第一深度图像进行配准，得到全分辨率模式下的第一rgbd图像。
29.示例性的，图像配准的具体步骤如下：1、构造一个三维向量，其中是该点的像素坐标，为图像方向长度，为图像方向长度，是该像素的深度值。
30.2、用tof拍摄模块的内部参数矩阵的逆，乘以得到对应的空间点坐标。
31.3、由于是该点在tof拍摄模块坐标系下的坐标，需要将其转换到rgb拍摄模块坐标系下，即乘以一个旋转矩阵，再加上一个平移向量，得到。
32.4、用rgb拍摄模块的内部参数矩阵乘以得到，和一样共有3个分量，令，其中的值即为该点到rgb拍摄模块的距离（单位为毫米），则坐标即为该点在rgb图像中的像素坐标，为图像方向长度，为图像方向长度，取出该像素的颜色，作为深度图像中对应像素的颜色。
33.5、对深度图像中的每一个像素点都做上述操作，得到配准深度图像。
34.s202、基于全分辨率模式与预设分辨率模式之间的图像转换关系，对第一rgbd图像的分辨率进行转换，以将第一rgbd图像转换为预设分辨率模式下的rgbd图像。
35.需要说明的是，在本技术实施例中，图像配准装置在根据全分辨率模式对应的第一配准参数、全分辨率模式下的rgb图像和深度图像得到全分辨率模式下的第一rgbd图像之后，需要将该第一rgbd图像转换为预设分辨率模式下的配准深度图像。
36.本技术在一种实际场景中示例性的阐述上述实施例，图像配准装置中的rgb拍摄模块在全分辨率模式下采集全分辨率rgb图像，tof拍摄模块在binning、rr和roi等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：1、取出全分辨率模式下的全分辨率深度图像。
37.2、基于第一配准参数，将全分辨率深度图像与全分辨率rgb图像进行配准，得到全分辨率配准深度图像。
38.3、对全分辨率配准深度图像进行binning、rr和roi等多种工作模式中的其中一种工作模式的转换操作，得到对应分辨率下的配准深度图像。
39.在本技术另一种可选的实施例中，第一rgb图像为全分辨率模式下的rgb图像，第一深度图像为预设分辨率模式下的深度图像；预设模式为预设分辨率模式；图3为本技术实施例提供的一种示例性的图像配准方法流程图二，图像配准过程具体如下：s301、基于全分辨率模式与预设模式之间的图像转换关系，确定全分辨率模式和预设分辨率模式之间的图像映射关系。
40.需要说明的是，图像转换关系可以理解为预设分辨率模式下的图像中的像素点与全分辨率模式下的图像中像素点的位置关系。
41.需要说明的是，映射关系可以理解为预设分辨率模式下图像中的每个像素点能够映射到全分辨率模式下图像中的哪个像素点。
42.s302、根据图像映射关系，确定第一深度图像中的每个像素点在全分辨率模式下的深度图像中的坐标位置。
43.示例性的，假设第一深度图像中有一个坐标为第一坐标位置的像素点a，此时，从全分辨率模式下的深度图像中查找与该像素点a相同的像素点b，将与该像素点a相同的像素点b在全分辨率模式下的深度图像中的坐标位置确定为像素点a在全分辨率模式下的深度图像中的坐标位置。
44.s303、从第一rgb图像中，获取坐标位置对应的第一像素点；并基于第一配准参数，对第一像素点与第一深度图像中对应的像素点进行配准，得到预设分辨率模式下的rgbd图像。
45.需要说明的是，由于第一像素点为全分辨率模式下的图像中的像素点，因此，可以使用全分辨率模式对应的第一配准参数对两者进行配准，得到预设分辨率模式下的rgbd图像。
46.本技术在一种实际场景中示例性的阐述上述实施例，图像配准装置中的rgb拍摄模块在全分辨率模式下采集全分辨率rgb图像，tof拍摄模块在binning、rr和roi等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：1、取出全分辨率模式下的全分辨率深度图像，并找出全分辨率深度图像和预设分辨率深度图像之间的映射关系。
47.2、通过映射关系定位中像素点在中的坐标。
48.3、基于第一配准参数，对全分辨率rgb图像和预设分辨率深度图像中所有满足映射关系的像素点进行配准。
49.4、合并3中所有配准后的像素点，并按预设分辨率输出，即得到对应分辨率下的配准深度图像。
50.在本技术第三种可选的实施例中，第一rgb图像为预设分辨率模式下的rgb图像，第一深度图像为预设分辨率模式下的深度图像；预设模式为预设分辨率模式；图4为本技术实施例提供的一种示例性的图像配准方法流程图三，图像配准过程具体如下：s401、基于全分辨率模式与预设模式之间的图像转换关系，对第一配准参数进行处理，得到预设分辨率模式对应的第二配准参数。
51.需要说明的是，不同分辨率模式对应的配准参数都是不同的，通过全分辨率模式
与预设模式之间的图像转换关系，对全分辨率模式对应的第一配准参数进行处理，得到预设分辨率模式下的不同配准参数。
52.s402、基于第二配准参数，对第一rgb图像和第一深度图像进行配准，得到预设分辨率模式下的配准深度图像。
53.本技术在一种实际场景中示例性的阐述上述实施例，图像配准装置中的rgb拍摄模块在预设分辨率模式下采集预设分辨率rgb图像，tof拍摄模块在binning、rr和roi等多种工作模式中的其中一种工作模式下采集预设分辨率深度图像，图像配准具体步骤如下：1、通过双目标定已获得全分辨率模式下的第一配准参数。
54.2、根据不同分辨率模式的数学关系i，推算出不同分辨率模式对应的，这些配准参数是运用数学关系i根据推算获取，并非重新双目标定获取。
55.3、用不同分辨率模式下的配准参数直接进行图像配准，得到不同分辨率模式下的配准深度图像。
56.第一配准参数包含四个参数，分别为rgb拍摄模块的内参记为intri1a，tof拍摄模块的内参记为intri1b，tof拍摄模块相对于rgb拍摄模块的旋转矩阵记为，tof拍摄模块相对于rgb拍摄模块的平移矩阵记为。由于分辨率的改变没有导致两个相机的相对位置发生改变，所以只需对应变换rgb拍摄模块的内参或tof拍摄模块的内参，rgb图的分辨率发生改变则变换rgb拍摄模块的内参，深度图的分辨率改变则变换tof拍摄模块的内参。以深度图分辨率改变为例，rgb图分辨率改变时的变换规则同理，具体的：1、binning（包括模拟读出analog-binning和信号读出digital-binning）工作模式未选择工作模式之前tof拍摄模块的内参记为intri1b，选择了binning工作模式之后tof拍摄模块的内参记为intri2b，模拟读出analog-binning改变cy和fy，信号读出digital-binning改变了相机内参中的偏移量cx和焦距fx。
57.(a)模拟读出analog-binningintri2b（2，3）= intri1b（2，3）/2；intri2b（2，2）= intri1b（2，2）/2；其余位置参数相等。
58.(b)信号读出digital-binningintri2b（1，3）= intri1b（1，3）/2；intri2b（1，1）= intri1b（1，1）/2；其余位置参数相等。
59.2、降低分辨率（resolution reduction，rr）工作模式未选择工作模式之前tof拍摄模块的内参记为intri1b，选择了rr工作模式之后tof拍摄模块的内参记为intri3b，rr工作模式改变了相机内参中的偏移量cx和cy、以及焦距fx和fy，若rr工作模式的步数step为n，则：intri3b（2，3）= intri1b（2，3）/n；intri3b（2，2）= intri1b（2，2）/n；intri3b（1，3）= intri1b（1，3）/n；intri3b（1，1）= intri1b（1，1）/n；其余位置参数相等。
60.3、感兴趣区域（region of interest，roi）工作模式未选择工作模式之前tof拍摄模块的内参记为intri1b，选择了roi工作模式之后
tof拍摄模块的内参记为intri4b，roi改变了相机内参中的偏移量cx和cy，记roi的左上起始位置为（left，upside），则：intri4b（2，3）= intri1b（2，3）-upside；intri4b（1，3）= intri1b （1，3）-left；其余位置参数相等。
61.在本技术实施例中，图像配准装置上的rgb拍摄模块和tof拍摄模块都有镜像模式，可以通过镜像模式采集镜像rgb图像和镜像rgb深度图像，然后对其进行配准，得到镜像配准深度图像。
62.在本技术第四种可选的实施例中，第一rgb图像为预设镜像模式下的rgb图像，第一深度图像为预设分辨率与镜像模式下的深度图像，预设模式为预设分辨率与镜像模式；图5为本技术实施例提供的一种示例性的图像配准方法流程图四，图像配准过程具体如下：s501、对第一rgb图像进行逆镜像，得到第二rgb图像；并对第一深度图像进行逆镜像，得到第二深度图像。
63.需要说明的是，预设镜像模式可以包括上下镜像、左右镜像或者上下左右镜像等；具体的预设镜像模式可以根据实际情况确定，本技术实施例在此不做具体的限定。
64.需要说明的是，在实际应用中，也可以只使用rgb拍摄模块和tof拍摄模块其中一个拍摄模块的镜像模式，具体的拍摄方式可以根据实际情况确定，本技术实施例在此不做具体的限定。
65.需要说明的是，在对第一镜像rgb图像进行逆镜像时，需要根据rgb拍摄模块的镜像模式确定逆镜像的具体过程；在对第一镜像深度图像进行逆镜像时，需要根据tof拍摄模块的镜像模式确定逆镜像的具体过程。
66.s502、基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第二rgb图像和第二深度图像进行配准，得到预设模式下的rgbd图像。
67.需要说明的是，在得到第一rgb图像和第一深度图像之后，使用上述实施例中的图像配准方法，对第一rgb图像和第一深度图像进行配准，得到预设模式下的rgbd图像，此时的rgbd图像为非镜像的rgbd图像，需要根据镜像模式将该非镜像的rgbd图像中的每个像素点进行镜像，得到预设分辨率与镜像模式下的镜像rgbd图像。
68.s503、对rgbd图像进行镜像，得到预设分辨率与镜像模式下的镜像rgbd图像。
69.本技术在一种实际场景中示例性的阐述上述实施例，图像配准装置中的rgb拍摄模块在预设分辨率模式下采集预设分辨率rgb图像，tof拍摄模块在binning、rr和roi等多种工作模式中的其中一种工作模式和镜像模式下采集预设分辨率镜像深度图像，图像配准具体步骤如下：1、镜像深度图像为，在逐像素配准阶段，先将镜像深度图像的像素点坐标镜像，得到镜像前深度图像为，即。
70.2、将预设分辨率rgb图像与镜像前深度图像配准后，得到配准深度图像后再将配准深度图像中的像素点坐标镜像，得到镜像配准深度图像。
71.在本技术第四种可选的实施例中，图像配准装置上的rgb拍摄模块和tof拍摄模块通过镜像模式采集镜像rgb图像和镜像rgb深度图像；图6为本技术实施例提供的一种示例性的图像配准方法流程图五，图像配准过程具体如下：
s601、按照预设镜像模式对应的镜像规则，对第一配准参数进行镜像，得到第一镜像配准参数。
72.需要说明的是，预设镜像模式可以包括上下镜像、左右镜像或者上下左右镜像等；具体的预设镜像模式可以根据实际情况确定，本技术实施例在此不做具体的限定。
73.s602、基于全分辨率模式与预设模式之间的图像转换关系和第一镜像配准参数，对第一rgb图像和第一深度图像进行配准，得到预设分辨率与镜像模式下的镜像rgbd图像。
74.需要说明的是，第一配准参数为非镜像模式下的配准参数，因此，需要对该配准参数进行镜像处理，得到镜像模式下的配准参数，然后基于该镜像模式下的配准参数对第一rgb图像和第一深度图像进行配准，得到预设分辨率与镜像模式下的镜像rgbd图像。
75.本技术在一种实际场景中示例性的阐述上述实施例，假设图像配准装置中的rgb拍摄模块为左侧拍摄模块，将rgb拍摄模块设置为主相机，即右侧的tof拍摄模块为辅相机，本技术对第一配准参数进行镜像的具体步骤如下：1、原始配准参数（未镜像）rgb拍摄模块的内参记为intri1a，tof拍摄模块的内参记为intri1b，tof拍摄模块相对于rgb拍摄模块的旋转矩阵记为，tof拍摄模块相对于rgb拍摄模块的平移矩阵记为。
76.2、左右镜像模式的配准参数rgb拍摄模块的内参记为intri1a，tof拍摄模块的内参记为intri1b，tof拍摄模块相对于rgb拍摄模块的旋转矩阵记为，tof拍摄模块相对于rgb拍摄模块的平移矩阵记为。
77.intri2a与intri1a的关系为cx2a=wxa-cx1a，skew2a=-skew1a，其中wxa为rgb拍摄模块图像像素宽度；intri2b与intri1b的关系为cx2b=wxb-cx1b，skew2b=-skew1b，其中wxb为tof拍摄模块图像像素宽度；tof拍摄模块相对于rgb拍摄模块的旋转矩阵为3
×
3的矩阵，故与的关系为在矩阵的（12，13，21，31）四个位置处数值取反；tof拍摄模块相对于rgb拍摄模块的平移矩阵为3
×
1的矩阵，故与的关系为在矩阵的（11）一个位置处数值取反。
78.3、上下镜像模式的配准参数rgb拍摄模块的内参记为intri1a，tof拍摄模块的内参记为intri1b，tof拍摄模块相对于rgb拍摄模块的旋转矩阵记为，tof拍摄模块相对于rgb拍摄模块的平移矩阵记为。
79.intri3a与intri1a的关系为cy3a=hya-cy1a，skew3a=-skew1a，其中hya为rgb拍摄模块图像像素高度；intri3b与intri1b的关系为cy3b=hyb-cy1b，skew3b=-skew1b，其中hyb为tof拍摄模块图像像素高度；
tof拍摄模块相对于rgb拍摄模块的旋转矩阵为3
×
3的矩阵，故与的关系为在矩阵的（12，21，23，32）四个位置处数值取反；tof拍摄模块相对于rgb拍摄模块的平移矩阵为3
×
1的矩阵，故与的关系为在矩阵的（21）一个位置处数值取反。
80.4、左右+上下镜像模式的配准参数rgb拍摄模块的内参记为intri1a，tof拍摄模块的内参记为intri1b，tof拍摄模块相对于rgb拍摄模块的旋转矩阵记为，tof拍摄模块相对于rgb拍摄模块的平移矩阵记为。
81.intri4a与intri1a的关系为cx4a=wxa-cx1a，cy4a=hya-cy1a，其中wxa为rgb拍摄模块图像像素宽度，hya为rgb拍摄模块图像像素高度；intri4b与intri1b的关系为cx4b=wxb-cx1b，cy4b=hyb-cy1b，其中wxb为tof拍摄模块图像像素宽度，hyb为tof拍摄模块图像像素高度；tof拍摄模块相对于rgb拍摄模块的旋转矩阵为3
×
3的矩阵，故与的关系为在矩阵的（13，23，31，32）四个位置处数值取反；tof拍摄模块相对于rgb拍摄模块的平移矩阵为3
×
1的矩阵，故与的关系为在矩阵的（11，21）两个位置处数值取反。
82.可以发现，左右+上下镜像的参数变化就是左右镜像的参数变化叠加上下镜像的参数变化。
83.本技术实施例提供了一种图像配准方法，应用于图像配准装置，图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；该方法包括：利用rgb拍摄模块和tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；第一rgb图像为全分辨率模式或预设模式下的rgb图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取rgb拍摄模块和tof拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一rgb图像和第一深度图像进行配准，得到预设模式下的配准深度rgbd图像；采用上述实现方案，本技术通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对rgb图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
84.基于上述实施例，在本技术的另一实施例中，提供了一种图像配准装置1，图像配准装置包括rgb拍摄模块和飞行时间tof拍摄模块；图7为本技术提供的一种图像配准装置的组成结构示意图，如图7所示，该图像配准装置1包括：采集模块10，用于利用所述rgb拍摄模块和所述tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；所述第一rgb图像为全分辨率模式或预设模式下的rgb图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取模块11，用于获取所述rgb拍摄模块和所述tof拍摄模块在所述全分辨率模式
下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度rgbd图像。
85.可选的，图像配准装置1还包括：配准模块和模式转换模块；所述配准模块，用于基于所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一rgbd图像；所述模式转换模块，用于基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一rgbd图像的分辨率进行转换，以将所述第一rgbd图像转换为所述预设分辨率模式下的rgbd图像。
86.可选的，图像配准装置1还包括：确定模块；所述确定模块，用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；所述确定模块，还用于根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；所述配准模块，还用于从所述第一rgb图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到所述预设分辨率模式下的rgbd图像。
87.可选的，图像配准装置1还包括：数据处理模块；所述数据处理模块，用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；所述配准模块，还用于基于所述第二配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
88.可选的，图像配准装置1还包括：图像处理模块；所述图像处理模块，用于对所述第一rgb图像进行逆镜像，得到第二rgb图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；所述配准模块，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二rgb图像和所述第二深度图像进行配准，得到所述预设模式下的rgbd图像；所述图像处理模块，还用于对所述rgbd图像进行镜像，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
89.可选的，所述数据处理模块，还用于按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；所述配准模块，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
90.可选的，所述第一配准参数包括所述rgb拍摄模块的内部参数、所述tof拍摄模块的内部参数和所述rgb拍摄模块与所述tof拍摄模块之间的相对位置参数。
91.本技术实施例提供了一种图像配准装置，该装置包括：采集模块和获取模块，其中，采集模块，用于利用rgb拍摄模块和tof拍摄模块同时采集目标对象的第一rgb图像和第
一深度图像；第一rgb图像为全分辨率模式或预设模式下的rgb图像，第一深度图像为全分辨率模式或预设模式下的深度图像；预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取模块，用于获取rgb拍摄模块和tof拍摄模块在全分辨率模式下进行双目标定得到的第一配准参数；并基于全分辨率模式与预设模式之间的图像转换关系和第一配准参数，对第一rgb图像和第一深度图像进行配准，得到预设模式下的配准深度rgbd图像；采用上述实现方案，本技术通过在全分辨率模式下进行一次双目标定，获取到全分辨率模式下两个拍摄模块的配准参数，进而能够根据全分辨率模式与预设模式之间的图像转换关系和配准参数对rgb图像和深度图像进行配准，得到预设模式下的配准深度图像，简化了配准的步骤，提高了图像配准的效率。
92.图8为本技术实施例提供的一种图像配准设备的组成结构示意图，在实际应用中，基于上述实施例的同一公开构思下，如图8所示，本实施例的图像配准设备2包括：处理器20、存储器21及通信总线22。
93.在具体的实施例的过程中，上述采集模块10、获取模块11、配准模块、模式转换模块、确定模块、数据处理模块和图像处理模块可由位于图像配准设备2上的处理器20实现，上述处理器20可以为特定用途集成电路（asic，application specific integrated circuit）、数字信号处理器（dsp，digital signal processor）、数字信号处理图像处理装置（dspd，digital signal processing device）、可编程逻辑图像处理装置（pld，programmable logic device）、现场可编程门阵列（fpga，field programmable gate array）、cpu、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的图像配准设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
94.在本技术实施例中，上述通信总线22用于实现处理器20和存储器21之间的连接通信；上述处理器20执行存储器21中存储的运行程序时实现如下的图像配准方法：利用所述rgb拍摄模块和所述tof拍摄模块同时采集目标对象的第一rgb图像和第一深度图像；所述第一rgb图像为全分辨率模式或预设模式下的rgb图像，所述第一深度图像为所述全分辨率模式或所述预设模式下的深度图像；所述预设模式包括预设分辨率模式、预设镜像模式以及预设分辨率与镜像模式；获取所述rgb拍摄模块和所述tof拍摄模块在所述全分辨率模式下进行双目标定得到的第一配准参数；并基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设模式下的配准深度rgbd图像。
95.可选的，所述处理器20，还用于基于所述第一配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述全分辨率模式下的第一rgbd图像；基于所述全分辨率模式与所述预设分辨率模式之间的图像转换关系，对所述第一rgbd图像的分辨率进行转换，以将所述第一rgbd图像转换为所述预设分辨率模式下的rgbd图像。
96.可选的，所述处理器20，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，确定所述全分辨率模式和所述预设分辨率模式之间的图像映射关系；根据所述图像映射关系，确定所述第一深度图像中的每个像素点在所述全分辨率模式下的深度图像中的坐标位置；从所述第一rgb图像中，获取所述坐标位置对应的第一像素点；并基于所述第一配准参数，对所述第一像素点与所述第一深度图像中对应的像素点进行配准，得到
所述预设分辨率模式下的rgbd图像。
97.可选的，所述处理器20，还用于基于所述全分辨率模式与所述预设模式之间的图像转换关系，对所述第一配准参数进行处理，得到所述预设分辨率模式对应的第二配准参数；基于所述第二配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率模式下的配准深度图像。
98.可选的，所述处理器20，还用于对所述第一rgb图像进行逆镜像，得到第二rgb图像；并对所述第一深度图像进行逆镜像，得到第二深度图像；基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一配准参数，对所述第二rgb图像和所述第二深度图像进行配准，得到所述预设模式下的rgbd图像；对所述rgbd图像进行镜像，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
99.可选的，所述处理器20，还用于按照所述预设镜像模式对应的镜像规则，对所述第一配准参数进行镜像，得到第一镜像配准参数；基于所述全分辨率模式与所述预设模式之间的图像转换关系和所述第一镜像配准参数，对所述第一rgb图像和所述第一深度图像进行配准，得到所述预设分辨率与镜像模式下的镜像rgbd图像。
100.可选的，所述第一配准参数包括所述rgb拍摄模块的内部参数、所述tof拍摄模块的内部参数和所述rgb拍摄模块与所述tof拍摄模块之间的相对位置参数。
101.本技术实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于图像配准装置中，该计算机程序实现如上述的图像配准方法。
102.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
103.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台图像显示设备（可以是手机，计算机，服务器，空调器，或者网络设备等）执行本公开各个实施例所述的图像配准方法。
104.以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。