图像配准方法、装置、电子设备及介质与流程

1.本技术属于图像处理领域，具体涉及一种图像配准方法、装置、电子设备及介质。


背景技术：

2.从深度计算到rgbd配准的方案是先基于itof的相位图做深度计算得到若干亮区的深度，每个亮区占若干个像素，然后对每个亮区的所有深度做平均得到稀疏深度，每个深度占一个像素，最后将稀疏深度配准到rgb图像坐标系，利用深度信息辅助rgb图像形成3d信息。但是，现有的点阵itof深度计算和rgb-d配准方案，配准的准确度和配准后的深度准确度会有偏差。


技术实现要素：

3.本技术实施例的目的是提供一种图像配准方法、装置、电子设备及介质，能够解决配准的准确度和配准后的深度准确度低的问题。
4.第一方面，本技术实施例提供了一种图像配准方法，该方法包括：
5.获取第一深度图像和rgb图像；
6.对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素；
7.根据所述rgb图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。
8.第二方面，本技术实施例提供了一种图像配准的装置，包括：
9.图像采集模块，用于获取第一深度图像和rgb图像；
10.图像配准模块，用于根据所述第一深度图像和rgb图像，对所述第一深度图像进行图像配准，得到第二深度图像；
11.像素合并模块，用于根据所述rgb图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图。
12.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
14.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
15.第六方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
16.在本技术实施例中，在进行亮区像素合并前进行第一深度图像和rgb图像的配准，并根据配准后得到的第二深度图像和rgb图像进行亮区像素合并，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
17.在本技术实施例中，配准时rgb坐标系中的第一深度图像与rgb图像分辨率一致，待配准的第一深度图像中的深度数据为非稀疏深度数据，因此可以准确获得rgb图像中对应亮区的位置，提高了配准的准确度。
附图说明
18.图1是能够应用根据一个实施例的图像配准方法的实施环境和能够实施该方法的装置组成结构的示意图；
19.图2是根据一个实施例的图像配准方法的流程示意图；
20.图3是根据另一个实施例的配准深度图像和rgb图像的流程示意图；
21.图4是根据又一个实施例的合并有效深度像素的流程示意图；
22.图5是本发明实施例中电子设备示意图；
23.图6是本发明实施例中电子设备的硬件结构示意图。
具体实施方式
24.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
25.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
26.在本实施例中，点阵itof相位图能够提供深度信息，辅助rgb摄像头实现多种3d场景应用。点阵itof的发射端是采用doe，衍射光学元件(diffractive optical elements)简称doe，又称二元光学器件，主要用于激光束整形，比如均匀化、准直、聚焦、形成特定图案等。由发射端投射出若干个散点，并由接收端的cmos传感器接收，形成点阵itof相位图。点阵itof的深度计算是基于相位计算的间接飞行时间法实现的，深度计算的结果是第一深度图像，第一深度图像上仅含有与发射端散点对应的深度。再与rgb摄像头结合使用，进行rgb-d配准，最终得到rgb图像坐标系下的稀疏深度图。
27.当前的一种从深度计算到rgbd配准的方案是首先基于itof相位图做深度计算得到若干亮区的深度，其中每个亮区占若干个像素，然后对每个亮区的所有深度做平均得到稀疏深度，其中每个深度占一个像素，最后将稀疏深度配准到rgb图像坐标系。
28.首先，在深度计算过程中，对每个亮区深度的像素合并处理仅仅是加权平均，若亮区投射到物体边缘处，或是亮区内深度噪声很大时，此方法会导致平均深度的准确度出现偏差，也会导致配准的准确度出现偏差。
29.其次，在配准的过程中，由于待配准的深度数据是稀疏的深度像素，配准后得到的是浮点的rgb图像坐标，需要对坐标值做四舍五入取整。由于配准时会使用一个比rgb摄像头小很多倍的分辨率，若rgb图像分辨率很小或深度很小时，配准的准确度会受影响。
30.因此，上述方法的点阵itof深度计算和rgb-d配准方案，配准的准确度和配准后的深度准确度会有偏差。
31.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的图像配准方法、装置、电子设备及介质进行详细地说明。
32.请参见图2，本实施例的图像配准方法可以包括如下步骤101-103：
33.步骤101，获取第一深度图像和rgb图像。
34.步骤102，对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素。
35.步骤103，根据所述rgb图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。
36.本实施例中，参见图1所示，采用第一摄像头获取点阵itof相位图，采用第二摄像头获取rgb图像，采集第一摄像头的第一内参信息，采集第二摄像头的第二内参信息，以及所述第一摄像头和所述第二摄像头之间的外参信息，并对tof图进行深度计算，获得第一深度图像，其中，tof图像为itof相位图或dtof相位图。
37.本实施例中，点阵itof的深度计算原理是基于相位计算的间接飞行时间法。点阵itof的发射端是基于doe投射出若干个散点，接收端是cmo传感器，获得点阵itof相位图。对点阵itof相位图进行深度计算，其深度计算的结果是第一深度图像。由tof图提供点阵itof，由点阵itof提供深度信息，本实施例的深度计算方法用于辅助rgb摄像头实现多种3d场景应用。
38.本实施例仅对tof图的亮区做深度计算，对tof图的非亮区不做处理。其中，亮区为深度图像中深度值大于深度阈值的区域，非亮区为深度图像中深度值小于或等于深度阈值的区域。
39.本实施例中，深度阈值为预先设定，通过深度阈值进行深度图像的深度划分，将大于深度阈值的区域划分为亮区。深度图像中的深度是指存储每个像素所用的位数，也用于衡量图像的色彩分辨率。
40.在一个实施例中，提取亮区的方法可以是基于相位图的直方图信息提取亮区或是根据投射散斑的位置提取亮区。
41.本实施例中，rgb-d设备向目标区域投射点阵图案，接收经目标区域内物体反射回来的反射光信号，形成itof相位图。
42.rgb图是指用rgb色彩模式来显示的图像，rgb色彩模式是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
43.深度图像为存储三维深度特征信息的图像。深度图像(depth images)，也被称为距离影像(range images)，是指将图像采集模块采集到的场景中各点的深度值作为像素值
的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3d目标描述中的问题。
44.本实施例中，通过tof图和rgb模组、tof模组标定的内参和外参，得到含有至少一个亮区的第一深度图像，每个亮区包含至少一个有效深度像素。
45.本实施例中，采用rgb-d配准方式配准相同分辨率的第一深度图像和rgb图像。rgb-d配准原理是根据rgb模组和tof模组的镜头内参、外参，对第一深度图像的深度信息进行坐标系转换。这里仅对亮区的深度做配准，对非亮区并不进行处理。其中，rgb-d配准：将深度图像的图像坐标系转换到彩色图像的图像坐标系。
46.如图3所示，本实施例中，点阵itof相位图是由第一摄像头获取的，rgb图像是由第二摄像头获取的。
47.在一个实施例中，参照图3，对所述第一深度图像进行图像配准，得到第二深度图像包括：
48.步骤1021：采集第一摄像头的第一内参信息，采集第二摄像头的第二内参信息，以及所述第一摄像头和所述第二摄像头之间的外参信息。
49.步骤1022：根据第一内参信息、第二内参信息和目标外参信息，对所述第一深度图像进行坐标系转换，得到与所述rgb图像坐标系对齐的第二深度图像；
50.其中，所述第一内参信息为所述第一摄像头的内参信息，所述第二内参信息为所述第二摄像头的内参信息，所述目标外参信息为所述第一摄像头和所述第二摄像头之间的外参信息。
51.本实施例中，第一内参信息和第二内参信息分别包括：fx、fy、u0、v0，其中，
52.fx＝f/dx；
53.fy＝f/dy；
54.其中，f为焦距的长度，单位mm；dx和dy分别表示：x方向或y方向的一个像素占多少长度单位，即一个像素代表的实际物理值的大小，其是实现图像物理坐标系与像素坐标系转换的关键。u0，v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
55.本实施例中，所述目标外参信息为所述第一摄像头和所述第二摄像头之间的外参信息，所述第一摄像头和第二摄像头之间的外参信息包括6个外参数，分别为：三个轴的旋转参数分别为(ω、δ、θ),然后把每个轴的3*3旋转矩阵进行组合(即先矩阵之间相乘)，得到集合三个轴旋转信息的r，其大小还是3*3；t的三个轴的平移参数(tx、ty、tz)。
56.由于第一深度图像和rgb图像是基于第一内参信息、第二内参信息和目标外参信息生成的，因此第一深度图像和rgb图像的分辨率一致，通过将第一深度图像转换至rgb坐标系，使得同分辨率的第一深度图像和rgb图像在同一坐标系中配准。在此状况下，可以对应得到rgb图像中对应的第一区域的位置，即生成第二深度图像。
57.在一个实施例中，参照图4，该步骤103中，还可以包括如下步骤1031～1035:
58.步骤1031，对所述rgb图像中第一区域内的像素聚类，得到至少一个目标区域，所述第一区域为所述rgb图像中与所述第二深度图像中亮区对应的区域。
59.步骤1032，在所述至少一个目标区域为一个区域的情况下，将所述一个区域确定为第二区域。
60.步骤1033，在所述至少一个目标区域为至少两个区域的情况下，根据所述至少两个区域中每一区域的像素面积，确定第二区域，所述第二区域的像素面积大于所述至少两个区域中至少一个第三区域的像素面积，所述至少一个第三区域不包括所述第二区域。
61.步骤1034，根据所述rgb图像中第二区域的区域坐标，对所述第二深度图像中第二亮区进行亮区像素合并，得到稀疏深度图。
62.其中，所述第二亮区为所述第二深度图像中与所述rgb图像中第二区域对应的亮区。
63.在本实施例中，对rgb图像存在复杂结构的第一区域，即存在图像像素具有深度差的第一区域，则需要选取该第一区域的主要区域，替代原第一区域，确定为rgb图像的第二区域。
64.选取方法不限于：对第一区域内的像素进行k-means聚类，将其划分成颜色不同的若干子区域，选取出占像素面积最大且唯一的子区域作为该第一区域的主要区域，即成为rgb图像的第二区域。也就是说，对于rgb图像中的每一个第一区域，选取其像素面积最大且唯一的子区域作为第二区域，对第二区域对应的深度图像中的有效深度像素进行处理。
65.在一个实施例中，对rgb图像结构不复杂的第一区域，即与该第一区域对应的深度图像的亮区只覆盖一个平坦区域时，该亮区内的图像像素不具有深度差，此种状况不对第一区域内的像素进行聚类，直接输出第一区域作为rgb图像的第二区域。
66.在一个实施例中，该步骤1034中，还可以包括如下步骤10341～10342:
67.步骤10341，对所述第二亮区内至少一个有效深度像素的像素坐标进行均值计算，得到稀疏深度图中目标像素的像素坐标。
68.步骤10342，根据所述第二亮区内至少一个有效深度像素的深度值，计算所述稀疏深度图中目标像素的深度值。
69.本实施例通过对第二亮区内的有效深度像素的像素坐标进行均值计算，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
70.在一个实施例中，步骤10342，计算所述稀疏深度图中目标像素的深度值，包括：
71.计算所述第二亮区中有效深度像素的加权平均深度值，得到所述稀疏深度图中目标像素的深度值。
72.每一所述有效深度像素的权重与所述有效深度像素的像素坐标和所述目标像素的像素坐标具有关联关系。
73.在一个实施例中，计算所述第二深度图像中每一亮区对应稀疏深度图中像素的像素坐标和像素深度值，得到稀疏深度图。
74.即对与rgb图像的第二区域对应的所述第二深度图像中的有效深度像素坐标的横、纵坐标分别进行平均并取整，得到稀疏深度坐标的横、纵坐标。即对与rgb图像的第二区域对应的所述第二深度图像中的若干个有效深度像素坐标的横坐标进行平均并取整，得到稀疏深度坐标的横坐标，对与rgb图像的第二区域对应的所述第二深度图像中的若干个有效深度像素坐标的纵坐标进行平均并取整，得到稀疏深度坐标的纵坐标。
75.本实施例中，平均并取整的步骤包括：
76.77.其中，u1,u2,u3…
un表示深度图像的亮区内的像素横坐标或纵坐标，表示待输出的稀疏深度坐标的横坐标或纵坐标。采用上述公式分别求取得到稀疏深度坐标的横坐标和纵坐标。
78.floor函数，其功能是“向下取整”，或者说“向下舍入”、“向零取舍”，即取不大于x的最大整数，与“四舍五入”不同，下取整为取坐标轴上不大于预设要求值的最大的整数值。mean函数是一个求数组平均值的函数。
79.本实施例中，计算深度图像中每个亮区内有效深度像素的权重，所述权重与当前有效深度像素坐标和稀疏深度坐标之间的距离成负相关。计算公式如下所示：
[0080][0081]
其中，σ是权重参数，一般取1。下标i对应深度图像的亮区内第i个有效深度像素，ui表示深度图像的亮区内的第i个有效深度像素的横坐标或纵坐标，表示待输出的稀疏深度坐标的横坐标或纵坐标，wi代表深度图像的亮区内的第i个有效深度像素的权重，权重的大小取决于该有效深度像素的坐标与稀疏深度坐标的距离。
[0082]
基于亮区内有效深度像素的权重，计算稀疏深度坐标的深度值：
[0083][0084]
其中，为稀疏深度坐标的深度值，wi为深度图像的亮区内的第i个有效深度像素的权重，di代表深度图像的亮区内的第i个有效深度像素的深度值。
[0085]
根据稀疏深度坐标的深度值生成稀疏深度图。
[0086]
本实施例能够提升点阵itof深度计算准度及rgb-d配准效果，尤其是对于复杂场景，数据准度的提升会为后端的应用算法带来有效帮助。
[0087]
在本技术实施例中，在进行亮区像素合并前进行第一深度图像和rgb图像的配准，并根据配准后得到的第二深度图像和rgb图像进行亮区像素合并，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
[0088]
在本技术实施例中，配准时rgb坐标系中的第一深度图像与rgb图像分辨率一致，待配准的第一深度图像中的深度数据为非稀疏深度数据，因此可以准确获得rgb图像中对应亮区的位置，提高了配准的准确度。
[0089]
本技术实施例提供的图像配准方法，执行主体可以为图像配准装置。本技术实施例中以图像配准装置执行图像配准的方法为例，说明本技术实施例提供的图像配准的装置。
[0090]
如图1所示，图像配准装置包括：
[0091]
图像采集模块100，用于获取第一深度图像和rgb图像。
[0092]
图像配准模块200，用于根据所述第一深度图像和rgb图像，对所述第一深度图像进行图像配准，得到第二深度图像。
[0093]
图像合并模块300，用于根据所述rgb图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图。
[0094]
该装置可以应用于tof图提供深度信息，辅助rgb摄像头实现多种3d场景。
[0095]
在本发明一种实施方式中，所述图像采集模块100，还包括：用于采集点阵itof相位图；还用于采集rgb图像；以及用于对点阵itof相位图进行深度计算，得到第一深度图像。
[0096]
在一个实施例中，图像采集模块100采用rgb-d设备。
[0097]
在本发明一种实施方式中，所述图像配准模块200包括：
[0098]
坐标系转换模块，用于根据第一内参信息、第二内参信息和目标外参信息，对所述第一深度图像进行坐标系转换，得到与所述rgb图像坐标系对齐的第二深度图像。
[0099]
在本发明一种实施方式中，所述图像合并模块300包括：
[0100]
像素聚类模块，用于对所述rgb图像中第一区域内的像素聚类，得到至少一个目标区域，所述第一区域为所述rgb图像中与所述第二深度图像中亮区对应的区域。
[0101]
区域确定模块，用于在所述至少一个目标区域为一个区域的情况下，将所述一个区域确定为第二区域；
[0102]
或用于在所述至少一个目标区域为至少两个区域的情况下，根据所述至少两个区域中每一区域的像素面积，确定第二区域，所述第二区域的像素面积大于所述至少两个区域中至少一个第三区域的像素面积，所述至少一个第三区域不包括所述第二区域。
[0103]
像素合并模块，用于根据所述rgb图像中第二区域的区域坐标，对所述第二深度图像中第二亮区进行亮区像素合并，得到稀疏深度图，其中，所述第二亮区为所述第二深度图像中与所述rgb图像中第二区域对应的亮区。
[0104]
在本发明一种实施方式中，所述图像合并模块300还包括：
[0105]
像素坐标计算模块，用于对所述第二亮区内至少一个有效深度像素的像素坐标进行均值计算，得到稀疏深度图中目标像素的像素坐标。
[0106]
稀疏深度计算模块，用于根据所述第二亮区内至少一个有效深度像素的深度值，计算所述稀疏深度图中目标像素的深度值。
[0107]
在本发明一种实施方式中，所述稀疏深度计算模块包括：
[0108]
权重分配模块，用于根据每一所述有效深度像素的权重与所述有效深度像素的像素坐标和所述目标像素的像素坐标的关联关系，进行有效深度像素的权重分配。
[0109]
第二深度计算模块，用于计算所述第二亮区中有效深度像素的加权平均深度值，得到所述稀疏深度图中目标像素的深度值。
[0110]
在本发明一种实施方式中，所述像素合并模块还包括：
[0111]
稀疏深度图生成模块，用于计算所述第二深度图像中每一亮区对应稀疏深度图中像素的像素坐标和像素深度值，得到稀疏深度图。
[0112]
在本技术实施例中，图像配准模块在进行亮区像素合并前进行第一深度图像和rgb图像的配准，图像合并模块根据配准后得到的第二深度图像和rgb图像进行亮区像素合并，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
[0113]
在本技术实施例中，配准时rgb坐标系中的第一深度图像与rgb图像分辨率一致，待配准的第一深度图像中的深度数据为非稀疏深度数据，因此可以准确获得rgb图像中对应亮区的位置，提高了配准的准确度。
[0114]
本技术实施例中的图像配准装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性
的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
[0115]
本技术实施例中的图像配准装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
[0116]
本技术实施例提供的图像配准装置能够实现图2至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。
[0117]
可选地，如图5所示，本技术实施例还提供一种电子设备500，包括处理器501和存储器502，存储器502上存储有可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述内容分享方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0118]
图6为实现本技术实施例的一种电子设备的硬件结构示意图。
[0119]
该电子设备6000包括但不限于：射频单元6001、网络模块6002、音频输出单元6003、输入单元6004、传感器6005、显示单元6006、用户输入单元6007、接口单元6008、存储器6009、以及处理器6010等部件。
[0120]
本领域技术人员可以理解，电子设备6000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器6010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
[0121]
其中，处理器6010，用于获取第一深度图像和rgb图像；对所述第一深度图像进行图像配准，得到第二深度图像，所述第二深度图像包括至少一个亮区，所述亮区包括至少一个有效深度像素；根据所述rgb图像的图像信息，对所述第二深度图像进行亮区像素合并，得到稀疏深度图，所述亮区像素合并指的是将所述至少一个亮区中每一亮区的至少一个像素合并为一个像素。
[0122]
可选的，处理器6010，还用于对点阵itof相位图进行深度计算得到第一深度图像。
[0123]
可选的，处理器6010，还用于根据第一内参信息、第二内参信息和目标外参信息，对所述第一深度图像进行坐标系转换，得到与所述rgb图像坐标系对齐的第二深度图像；其中，所述第一内参信息为所述第一摄像头的内参信息，所述第二内参信息为所述第二摄像头的内参信息，所述目标外参信息为所述第一摄像头和所述第二摄像头之间的外参信息。
[0124]
可选的，处理器6010，还用于对所述rgb图像中第一区域内的像素聚类，得到至少一个目标区域，所述第一区域为所述rgb图像中与所述第二深度图像中亮区对应的区域；在所述至少一个目标区域为一个区域的情况下，将所述一个区域确定为第二区域；在所述至少一个目标区域为至少两个区域的情况下，根据所述至少两个区域中每一区域的像素面
积，确定第二区域，所述第二区域的像素面积大于所述至少两个区域中至少一个第三区域的像素面积，所述至少一个第三区域不包括所述第二区域；根据所述rgb图像中第二区域的区域坐标，对所述第二深度图像中第二亮区进行亮区像素合并，得到稀疏深度图。
[0125]
可选的，处理器6010，还用于对所述第二亮区内至少一个有效深度像素的像素坐标进行均值计算，得到稀疏深度图中目标像素的像素坐标；根据所述第二亮区内至少一个有效深度像素的深度值，计算所述稀疏深度图中目标像素的深度值。
[0126]
可选的，处理器6010，还用于计算所述第二亮区中有效深度像素的加权平均深度值，得到所述稀疏深度图中目标像素的深度值；每一所述有效深度像素的权重与所述有效深度像素的像素坐标和所述目标像素的像素坐标具有关联关系。
[0127]
可选的，处理器6010，还用于计算所述第二深度图像中每一亮区对应稀疏深度图中像素的像素坐标和像素深度值，得到稀疏深度图。
[0128]
在本技术实施例中，在进行亮区像素合并前进行第一深度图像和rgb图像的配准，并根据配准后得到的第二深度图像和rgb图像进行亮区像素合并，避免直接对存在复杂状况的亮区直接进行加权平均而产生的偏差，提高配准的准确度和配准后的深度准确度。
[0129]
在本技术实施例中，待配准的图像数据不是稀疏的深度数据，配准时rgb坐标系中的第一深度图像与rgb图像分辨率一致，因此可以准确获得rgb图像中对应亮区的位置，提高了配准的准确度和配准后的深度准确度。
[0130]
应理解的是，本技术实施例中，输入单元6004可以包括图形处理器(graphics processing unit，gpu)60041和麦克风60042，图形处理器60041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元6006可包括显示面板60061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板60061。用户输入单元6007包括触控面板60071以及其他输入设备60072中的至少一种。触控面板60071，也称为触摸屏。触控面板60071可包括触摸检测装置和触摸控制器两个部分。其他输入设备60072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
[0131]
存储器6009可用于存储软件程序以及各种数据。存储器6009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器6009可以包括易失性存储器或非易失性存储器，或者，存储器6009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器6009包括但不限于这些和任意其它适合类型的存储器。
[0132]
处理器6010可包括一个或多个处理单元；可选的，处理器6010集成应用处理器和
调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器6010中。
[0133]
本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0134]
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
[0135]
本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0136]
应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
[0137]
本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0138]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
[0139]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
[0140]
上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。