一种图像对齐精度的检测方法及装置、设备、存储介质与流程

本申请实施例涉及电子技术，涉及但不限于一种图像对齐精度的检测方法及装置、设备、存储介质。

背景技术：

一个rgbd(redgreenbluedepth，红色绿色蓝色深度)系统，包含深度相机与彩色rgb(redgreenblue，红色绿色蓝色)相机，深度相机负责提供z向距离信息，rgb相机则负责提供纹理及颜色信息。通常会在rgbd相机生产出来时对所述rgbd相机进行对齐标定，获取rgb相机与深度相机的相对位置关系，以便后期完成rgb图像与深度图像相融合的应用。但是，目前并没有一种简单、高效的图像对齐标定的精度检测方法，因此，如何保证后期应用中深度图像与rgb图像对齐的准确性，即在对齐标定完成后，如何对标定效果进行检测，以保证产品一致性及后期应用效果，成为本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本申请实施例提供一种图像对齐精度的检测方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种图像对齐精度的检测方法，所述方法包括：

获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir(infraredradiation，红外线)图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，包括：

确定所述ir图像中的特征点；

根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标。

本申请实施例中，所述根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度，包括：

确定所述rgb图像中与所述ir图像对应的特征点；

确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；

根据所述差值，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，包括：

利用所述深度图像，确定所述ir图像中的特征点对应的深度值；

根据获取的被检测设备的内部结构参数和所述深度值，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标。

本申请实施例中，所述根据获取的被检测设备的内部结构参数和所述深度值，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，包括：

根据获取的第一结构参数和所述深度值，确定所述ir图像中的特征点在ir相机坐标系中的三维坐标；其中，所述第一结构参数，用于表明ir像素坐标系与ir相机坐标系之间的投影关系；

根据获取的第二结构参数和所述ir图像中的特征点在ir相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标；所述第二结构参数，用于表明ir相机坐标系与rgb相机坐标系之间的投影关系；

根据获取的第三结构参数和所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；所述第三结构参数用于表明rgb像素坐标系与rgb相机坐标系之间的投影关系。

本申请实施例中，所述确定所述ir图像中的特征点之后，所述方法还包括：

利用获取的ir畸变参数，对所述ir图像中的特征点进行去畸变处理；其中，所述ir畸变参数为ir图像对应的相机畸变参数；

对应地，所述确定所述rgb图像中与所述ir图像对应的特征点之后，所述方法还包括：

利用获取的rgb畸变参数，对所述rgb图像中的特征点进行去畸变处理；其中，所述rgb畸变参数为rgb图像对应的相机畸变参数。

本申请实施例中，所述根据所述差值，确定所述被检测设备的图像对齐精度，包括：

根据所有特征点的差值，确定所有特征点的差值对应的标准差、平均值和最大值；

根据所述标准差、平均值和最大值，确定所述被检测设备的图像对齐精度。

第二方面，本申请实施例提供一种图像对齐精度的检测装置，所述装置包括：

获取单元，用于获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：ir图像、rgb图像和深度图像，所述测试图案上有预先设置的特征点；

第一确定单元，用于根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

第二确定单元，用于根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

第三方面，本申请实施例提供一种检测设备，所述检测设备包括：

测试组件，与背光板接触，且所述测试组件上设置有预先设计的测试图案，使得当被检测设备拍摄所述测试图案时，所述检测设备能够实现对所述被检测设备的图像对齐精度检测的功能；

背光板，用于发出可见光或红外光，使得所述被检测设备能够获取所述测试图案的ir图像、rgb图像和深度图像；

处理器，用于执行以下步骤：

获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：ir图像、rgb图像和深度图像，所述测试图案上有预先设置的特征点；

根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述测试组件上与所述背光板接触的第一面上设置有预先设计的测试图案，所述测试组件上与所述接触面相对的第二面具有漫反射特性。

第四方面，本申请实施例提供一种检测设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述图像对齐精度的检测方法中的步骤。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述图像对齐精度的检测方法中的步骤。

本申请实施例提供一种图像对齐精度的检测方法及装置、设备、存储介质，通过获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度，如此，能够提供一种适用性广泛、效率高的图像对齐精度检测方法，同时提供一种简单、有利于批量生产的图像对齐精度检测设备。

附图说明

图1a为结构光的工作流程示意图；

图1b为结构光的工作过程结果示意图；

图2a为本申请实施例图像对齐精度的检测方法的实现流程示意图一；

图2b为本申请实施例图像对齐精度的检测方法的实现流程示意图二；

图2c为本申请实施例图像对齐精度的检测方法的实现流程示意图三；

图3为本申请实施例图像对齐精度的检测方法的实现流程示意图四；

图4为本申请实施例图像对齐精度的检测装置的组成结构示意图；

图5为本申请实施例检测设备的组成结构示意图一；

图6为本申请实施例检测设备的组成结构示意图二；

图7为本申请实施例检测设备的一种硬件实体示意图。

具体实施方式

一般地，深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(即深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。

结构光投射特定的光信息到物体表面后，由摄像头采集，根据物体造成的光信号的变化来计算物体的位置和深度等信息，再复原整个三维空间。图1a为结构光的工作流程示意图，如图1a所示，结构光工作流程为：第一、激光投影模组投射红外散斑场11到3d(3dimensions，三维)物体12的表面。第二、红外感光模组采集黑白图案13，送入asic(applicationspecificintegratedcircuit，专用集成电路)芯片中进行深度计算。第三、芯片输出深度视频流信息14。图1b为结构光的工作过程结果示意图，如图1b所示，图像11为结构光接收模组采集的散斑图，即红外ir图像。图像12为所述散斑图经过计算得到的深度图。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请的具体技术方案做进一步详细描述。以下实施例仅用于说明本申请，不用于限制本申请的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本申请实施例提供一种图像对齐精度的检测方法，该方法应用于检测设备，该方法所实现的功能可以通过服务器中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该服务器至少包括处理器和存储介质。图2a为本申请实施例图像对齐精度的检测方法的实现流程示意图一，如图2a所示，所述方法包括：

步骤s201、获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

这里，所述被检测设备可以为rgbd设备，例如rgbd相机，其可以拍摄彩色rgb图像，也可以拍摄深度图像。目前rgbd相机根据工作原理可以分为三种：tof(timeofflight，飞行时间测距法)、rgb双目和结构光。其中，tof类型相机的测距方式为主动式，是根据光的飞行时间直接测量距离。rgb双目类型相机的测距方式为被动式，是根据rgb图像特征点匹配，三角测量间接计算距离。结构光类型相机的测距方式为主动式，是根据主动投射已知编码图案，提升特征匹配效果来计算距离。如此，当rgbd设备对测试图案进行拍摄后，就可以获取红外ir图像、彩色rgb图像和深度图像。

本申请实施例中，所述测试图案为预先设置在检测设备中的测试图案，其中，所述测试图案上有预先设置的特征点，即标记点。这样，当rgbd设备对测试图案进行拍摄后，得到的红外ir图像、彩色rgb图像和深度图像中，都会存在所述特征点，通过对三种不同类型的图像上的特征点的相关操作，就可以实现所述rgbd设备的图像对齐精度的检测。

步骤s202、根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

这里，当所述rgbd设备为结构光类型时，由于3d结构光是通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集，因此，所述ir图像为结构光工作过程中由红外摄像头采集的散斑图。

同样地，当所述rgbd设备为tof类型时，由于tof是通过红外发射器发射调制过的光脉冲，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离，因此，所述ir图像为tof工作过程中由tof相机获取的红外图像。

步骤s203、根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

这里，图像都是由像素组成的，像素坐标是像素在图像中的位置。常见的坐标系有图像坐标系、相机坐标系、世界坐标系等。其中，不同坐标系之间是可以相互转换的，同一个点在不同坐标系中的坐标位置是可以相互映射的。所述图像坐标系为以图像左上角为原点建立以像素为单位的直接坐标系u-v。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。相机坐标系以摄像机光心(即投影中心)为原点，相机坐标系中的xc轴和yc轴与成像平面坐标系的x轴和y轴平行，zc轴为摄像机的光轴，和图像平面垂直。

本申请实施例中，可以将ir图像中的特征点映射到rgb像素坐标系中，将映射后的三维坐标与rgb图像中的特征点的坐标进行比对，来确定所述被检测设备(例如rgbd相机)的图像对齐精度。

本申请实施例中，通过获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度，如此，提供一种适用性广泛、效率高的图像对齐精度检测方法。

基于前述的实施例，本申请实施例再提供一种图像对齐精度的检测方法，所述方法包括：

步骤s211、获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

步骤s212、确定所述ir图像中的特征点；

步骤s213、根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

这里，当所述被检测设备为rgbd相机时，所述被检测设备的内部结构参数可以为相机的内参、外参和畸变参数。所述内参、外参和畸变参数都是由相机本身决定的，不会因为外界环境而改变。所述内参，主要包括了相机的焦距、以及像元密度等。所述外参，主要包括了三个轴的旋转参数和三个轴的平移参数，是转换到标定坐标的关键。所述畸变参数，主要包括了径向畸变参数和切向畸变系数，其中，径向畸变发生在相机坐标系转像物理坐标系的过程中，切向畸变产生的原因是透镜不完全平行于图像。

步骤s214、根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

本申请实施例中，可以先确定ir图像中的特征点，再通过拍摄所述ir图像的设备的内部结构参数，以及拍摄的深度图像，确定出所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，这样，就可以将其与rgb图像中的特征点的坐标进行比对(所述rgb图像中的特征点的坐标即位于rgb像素坐标系)，从而确定所述rgbd设备的图像对齐精度。

基于前述的实施例，本申请实施例再提供一种图像对齐精度的检测方法，图2b为本申请实施例图像对齐精度的检测方法的实现流程示意图二，如图2b所示，所述方法包括：

步骤s221、获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

本申请实施例中，所述测试图案为预先设置在检测设备中的测试图案，其中，所述测试图案上有预先设置的特征点，即标记点。这样，当rgbd设备对测试图案进行拍摄后，得到的红外ir图像、彩色rgb图像和深度图像中，都会存在所述特征点，通过对三种不同类型的图像上的特征点的相关操作，就可以实现所述rgbd设备的图像对齐精度的检测。

步骤s222、确定所述ir图像中的特征点；

步骤s223、根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

步骤s224、确定所述rgb图像中与所述ir图像对应的特征点；

本申请实施例中，所述测试图案上有预先设置的n个特征点，n为大于等于1的自然数。当所述rgbd设备对测试图案进行拍摄后，得到的红外ir图像、彩色rgb图像和深度图像中，都会存在所述n个特征点。当将ir图像中的第i个(i为大于等于1，小于等于n的自然数)特征点映射到rgb像素坐标系中，得到其在rgb像素坐标系中的三维坐标时，就可以继续确定所述rgb图像中所述第i个特征点。也就是说，所述rgb图像中与所述ir图像对应的特征点，指的是测试图像中相同的一个特征点。

步骤s225、确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；

这里，当确定rgb图像中相同的一个特征点后，继续确定所述特征点的坐标，并将rgb图像中所述特征点的坐标与ir图像中映射后的特征点的坐标进行比对，计算所述坐标的差值，并根据所述差值，确定所述被检测设备的图像对齐精度。

步骤s226、根据所述差值，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述测试图案上有预先设置的n个特征点，因此，所述差值，包含了多个映射后的特征点的坐标的差值，进而可以通过所述多个特征点的坐标的差值，来确定所述被检测设备的图像对齐精度。

本申请实施例中，通过获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；确定所述ir图像中的特征点；根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；确定所述rgb图像中与所述ir图像对应的特征点；确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；根据所述差值，确定所述被检测设备的图像对齐精度，如此，提供一种适用性广泛、效率高的图像对齐精度检测方法。

基于前述的实施例，本申请实施例再提供一种图像对齐精度的检测方法，所述方法包括：

步骤s231、获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

步骤s232、确定所述ir图像中的特征点；

步骤s233、利用所述深度图像，确定所述ir图像中的特征点对应的深度值；

本申请实施例中，所述测试图案上有预先设置的n个特征点，n为大于等于1的自然数。当所述rgbd设备对测试图案进行拍摄后，得到的红外ir图像、彩色rgb图像和深度图像中，都会存在所述n个特征点。所述ir图像中的特征点对应的深度值，指的是如果确定的是所述ir图像中的第i个(i为大于等于1，小于等于n的自然数)特征点，则利用所述深度图像，确定所述第i个特征点在深度图像中的深度值，并将其作为所述ir图像中的第i个特征点的深度值。

步骤s234、根据获取的被检测设备的内部结构参数和所述深度值，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

这里，可以根据所述rgbd设备的内参、外参和畸变参数，和步骤s233得到的ir图像中的特征点的深度值，来确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标。

步骤s235、根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

基于前述的实施例，本申请实施例再提供一种图像对齐精度的检测方法，图2c为本申请实施例图像对齐精度的检测方法的实现流程示意图三，如图2c所示，所述方法包括：

步骤s241、获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；

步骤s242、确定所述ir图像中的特征点；

在一些实施例中，所述步骤s242、确定所述ir图像中的特征点之后，所述方法还包括：利用获取的ir畸变参数，对所述ir图像中的特征点进行去畸变处理；其中，所述ir畸变参数为ir图像对应的相机畸变参数。

步骤s243、利用所述深度图像，确定所述ir图像中的特征点对应的深度值；

步骤s244、根据获取的第一结构参数和所述深度值，确定所述ir图像中的特征点在ir相机坐标系中的三维坐标；其中，所述第一结构参数，用于表明ir像素坐标系与ir相机坐标系之间的投影关系；

这里，所述第一结构参数可以为rgbd相机的内参，用于确定ir像素坐标系与ir相机坐标系之间的投影关系。

步骤s245、根据获取的第二结构参数和所述ir图像中的特征点在ir相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标；所述第二结构参数，用于表明ir相机坐标系与rgb相机坐标系之间的投影关系；

这里，所述第二结构参数可以为rgbd相机的外参，用于确定ir相机坐标系与rgb相机坐标系之间的投影关系。

步骤s246、根据获取的第三结构参数和所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；所述第三结构参数用于表明rgb像素坐标系与rgb相机坐标系之间的投影关系；

这里，所述第三结构参数可以为rgbd相机的内参，用于确定rgb像素坐标系与rgb相机坐标系之间的投影关系。

步骤s247、确定所述rgb图像中与所述ir图像对应的特征点；

在一些实施例中，所述步骤s247、确定所述rgb图像中与所述ir图像对应的特征点之后，所述方法还包括：利用获取的rgb畸变参数，对所述rgb图像中的特征点进行去畸变处理；其中，所述rgb畸变参数为rgb图像对应的相机畸变参数。

步骤s248、确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；

步骤s249、根据所述差值，确定所述被检测设备的图像对齐精度。

在一些实施例中，所述步骤s249、根据所述差值，确定所述被检测设备的图像对齐精度，包括：

所述步骤s2491、根据所有特征点的差值，确定所有特征点的差值对应的标准差、平均值和最大值；

所述步骤s2492、根据所述标准差、平均值和最大值，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述测试图案上有预先设置的n个特征点，因此，所述差值，包含了多个映射后的特征点的坐标的差值，进而可以通过确定所述多个特征点的坐标的差值的标准差、平均值和最大值等，来确定所述被检测设备的图像对齐精度。例如，所述多个特征点的差值的平均值大于预设阈值，则可以认为所述rgbd设备的图像对齐精度低，反之，所述多个特征点的差值的平均值小于等于预设阈值，则可以认为所述rgbd设备的图像对齐精度高。当然，也可以直接根据所述标准差、平均值和最大值，定量地确定所述rgbd设备的图像对齐精度。

本申请实施例中，通过获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：红外ir图像、彩色rgb图像和深度图像，所述测试图案上有预先设置的特征点；确定所述ir图像中的特征点；利用所述深度图像，确定所述ir图像中的特征点对应的深度值；根据获取的第一结构参数和所述深度值，确定所述ir图像中的特征点在ir相机坐标系中的三维坐标；根据获取的第二结构参数和所述ir图像中的特征点在ir相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标；根据获取的第三结构参数和所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；确定所述rgb图像中与所述ir图像对应的特征点；确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；根据所述差值，确定所述被检测设备的图像对齐精度，如此，提供一种适用性广泛、效率高的图像对齐精度检测方法。

基于前述的实施例，本申请实施例再提供一种图像对齐精度的检测方法，所述方法包括：

步骤s301、较短的时间间隔内拍摄ir图像、rgb图像和深度图像；

步骤s302、ir图像特征点检测；

步骤s303、ir图像特征点坐标去畸变处理；

步骤s304、结合ir内参和对应坐标区域的深度值获取ir相机坐标系三维坐标；

步骤s305、结合ir-rgb外参获取ir特征点在rgb相机坐标系中的映射三维点；

步骤s306、结合rgb内参获取ir特征点在rgb像素坐标系中的映射点；

步骤s307、rgb图像特征点检测，并利用rgb畸变参数对特征点坐标做去畸变处理；

步骤s308、计算rgb无畸变特征点坐标与ir映射坐标同名点坐标差异，并计算该差值标准差、平均值和最大值进行门限管控。

图3为本申请实施例图像对齐精度的检测方法的实现流程示意图四，图3更加简单明了地显示了上述步骤s301至步骤s308所述的图像对齐精度检测方法。如图3所示，首先需要获取被检测设备的拍摄结果：深度图像、ir图像和rgb图像。然后，对所述图像进行如下操作：步骤s311、ir图像检测特征点；步骤s312、特征点坐标去畸变处理；步骤s313、结合深度图像，获取ir相机坐标系三维坐标；步骤s314、rgb相机坐标系三维坐标；步骤s315、ir特征点坐标在rgb像素坐标系映射坐标点；步骤s316、rgb图像特征点检测；步骤s317、特征点坐标去畸变处理；步骤s318、rgb图像无畸变像素坐标系坐标；步骤s319、获取映射点和实际点坐标距离，求标准差最大值和平均值。如此，先进行ir图像特征点检测，再利用深度图像，得到ir图像特征点坐标在rgb像素坐标系的映射坐标点。然后，将其与rgb图像无畸变像素坐标系中的坐标进行比对，得到映射点与实际点之间的坐标距离，再利用所述距离的标准差、最大值和平均值，就可以确定图像的对齐精度。

本申请实施例中提供的图像对齐精度检测方法，同样可以用于搭载tof相机的rgbd系统评价，在上述流程方法中，需要将其中的ir图像替换为tof相机获取的confidence图像(即tof相机获取的红外图像)。本方法主要用于评价测试结构光深度图和rgb图像的对齐精度。基于结构光的rgbd系统，在使用时需要将深度点云与rgb图像做对齐，也就是俗称的贴图，所以在基于结构光的rgbd设备生成过程中，做完深度+rgb的对齐标定之后，我们需要检测对齐标定的结构是否符合要求，本方法通过检测ir特征点，并利用深度获取深度点云，并借助对齐标定获取的内外参，将ir图像与rgb图像坐标点变换至同一坐标系，并计算其差别，以便我们可以客观量化对齐精度，方便批量生产时对模组对齐精度一致性的管控。

基于前述的实施例，本申请实施例提供一种图像对齐精度的检测装置，该装置包括所包括的各单元、以及各单元所包括的各模块、以及各模块所包括的各部件，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为cpu(centralprocessingunit，中央处理器)、mpu(microprocessorunit，微处理器)、dsp(digitalsignalprocessing，数字信号处理器)或fpga(fieldprogrammablegatearray，现场可编程门阵列)等。

图4为本申请实施例图像对齐精度的检测装置的组成结构示意图，如图4所示，所述装置400包括：

获取单元401，用于获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：ir图像、rgb图像和深度图像，所述测试图案上有预先设置的特征点；

第一确定单元402，用于根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

第二确定单元403，用于根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

在一些实施例中，所述第一确定单元402，包括：

第一确定模块，用于确定所述ir图像中的特征点；

所述第一确定模块，还用于根据获取的被检测设备的内部结构参数和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标。

在一些实施例中，所述第二确定单元403，包括：

第二确定模块，用于确定所述rgb图像中与所述ir图像对应的特征点；

所述第二确定模块，还用于确定所述对应的特征点的坐标与所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标的差值；

所述第二确定模块，还用于根据所述差值，确定所述被检测设备的图像对齐精度。

在一些实施例中，所述第一确定模块，包括：

第一确定部件，用于利用所述深度图像，确定所述ir图像中的特征点对应的深度值；

所述第一确定部件，还用于根据获取的被检测设备的内部结构参数和所述深度值，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标。

在一些实施例中，所述第一确定部件，包括：

第一确定子部件，用于根据获取的第一结构参数和所述深度值，确定所述ir图像中的特征点在ir相机坐标系中的三维坐标；其中，所述第一结构参数，用于表明ir像素坐标系与ir相机坐标系之间的投影关系；

所述第一确定子部件，还用于根据获取的第二结构参数和所述ir图像中的特征点在ir相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标；所述第二结构参数，用于表明ir相机坐标系与rgb相机坐标系之间的投影关系；

所述第一确定子部件，还用于根据获取的第三结构参数和所述ir图像中的特征点映射到rgb相机坐标系中的三维坐标，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；所述第三结构参数用于表明rgb像素坐标系与rgb相机坐标系之间的投影关系。

在一些实施例中，所述装置还包括：

第一去畸变单元，用于利用获取的ir畸变参数，对所述ir图像中的特征点进行去畸变处理；其中，所述ir畸变参数为ir图像对应的相机畸变参数；

第二去畸变单元，用于利用获取的rgb畸变参数，对所述rgb图像中的特征点进行去畸变处理；其中，所述rgb畸变参数为rgb图像对应的相机畸变参数。

在一些实施例中，所述第二确定模块，包括：

第二确定部件，用于根据所有特征点的差值，确定所有特征点的差值对应的标准差、平均值和最大值；

所述第二确定部件，还用于根据所述标准差、平均值和最大值，确定所述被检测设备的图像对齐精度。

基于前述的实施例，本申请实施例提供一种检测设备，图5为本申请实施例检测设备的组成结构示意图一，如图5所示，所述检测设备500包括：

测试组件501，与背光板502接触，且所述测试组件上设置有预先设计的测试图案，使得当被检测设备拍摄所述测试图案时，所述检测设备500能够实现对所述被检测设备的图像对齐精度检测的功能；

背光板502，用于发出可见光或红外光，使得所述被检测设备能够获取所述测试图案的ir图像、rgb图像和深度图像；

处理器503，用于执行以下步骤：

获取被检测设备对检测设备中的测试图案的拍摄结果，其中，所述拍摄结果包括：ir图像、rgb图像和深度图像，所述测试图案上有预先设置的特征点；

根据所述ir图像中的特征点和所述深度图像，确定所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标；

根据所述rgb图像中的特征点的坐标和所述ir图像中的特征点映射到rgb像素坐标系中的三维坐标，确定所述被检测设备的图像对齐精度。

本申请实施例中，所述测试组件上与所述背光板接触的第一面上设置有预先设计的测试图案，所述测试组件上与所述接触面相对的第二面具有漫反射特性。

图6为本申请实施例检测设备的组成结构示意图二，如图6所示，所述检测设备600包括：测试组件601和背光板602，其中：背光板602为双色光源，可以打可见光也可以打红外光。测试组件601为半反半透设计，靠近rgbd相机603的一面为漫反射无图案白纸，靠近背光板的一面打印我们预先设计的图案。

本申请实施例提供了一种适用性广泛、效率高的图像对齐精度检测设备，其中，检测设备涉及的评价方法效率高、适用性广泛，也可用于搭载tof相机的rgbd系统的评价，如此，有利于所述检测设备的批量生产，单个检测设备也简单易操作。

以上装置、设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置、设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像对齐精度的检测方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、rom(readonlymemory，只读存储器)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种检测设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中提供的图像对齐精度的检测方法中的步骤。

对应地，本申请实施例提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述图像对齐精度的检测方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，图7为本申请实施例检测设备的一种硬件实体示意图，如图7所示，该检测设备700的硬件实体包括：处理器701、通信接口702和存储器703，其中：

处理器701通常控制检测设备700的总体操作。

通信接口702可以使检测设备700通过网络与其他终端或服务器通信。

存储器703配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及检测设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过flash(闪存)或ram(randomaccessmemory，随机访问存储器)实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。