本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域，并且更具体地，涉及一种图像处理方法和设备。
背景技术：
随着计算机技术的发展，作为智能计算的重要领域，计算机视觉得到了极大的开发应用。计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉系统。
目前，可以通过双目摄像头系统通过两个摄像头在同一时刻拍摄的不同角度的两张照片，来得到对应的深度图。
实际在计算深度图的过程中，通常在一定的搜索范围内来计算深度图以降低计算量。然而，对于高分辨率图像来说，这种情况会造成近处的物体无法识别，若放宽搜索范围，则计算量巨大。而对于较低分辨率图像来说，限制搜索范围则会造成观测精度较低，尤其是远处的观测精度。
技术实现要素：
本申请实施例提供一种图像处理方法和设备，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
第一方面，提供了一种图像处理方法，包括：
获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；
获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；
利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
第二方面，提供了一种图像处理设备，包括图像获取单元、深度计算单元和深度融合单元；其中，
该图像获取单元用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是示出了深度计算方式的示意性图。
图2是根据本申请实施例的图像处理方法的示意性流程图。
图3是低分辨率图以及对应的深度图。
图4示出了高分辨率图以及对应的深度图。
图5示出了融合后的深度图。
图6是待处理区域在图像中的位置的示意性图。
图7是待处理区域在图像中的位置的示意性图。
图8是待处理区域在图像中的位置的示意性图。
图9是待处理区域在图像中的位置的示意性图。
图10是高分辨率图进行图像块切割的示意性图。
图11是高分辨率图进行图像块切割的示意性图。
图12是根据本申请实施例的图像处理设备的示意性框图。
图13是根据本申请实施例的图像处理设备的示意性框图。
图14是根据本申请实施例的飞行器的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。
计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段，其中，最常用的是摄像头，例如，可由双摄像头组成一个基础的视觉系统。
可以通过双目摄像头系统的两个摄像头在同一时刻拍摄的不同角度的照片，来得到对应的深度图。该双目摄像头系统可以是前视双目摄像头系统，后视双目摄像头系统，左视双目摄像头系统或右视双目摄像头系统等。
实际在计算深度图的过程中，可以根据两个摄像头同一时刻拍摄的两张图，来进行匹配计算，计算出每一个像素的深度信息。
可选地，可以通过以下公式1计算深度：
其中，d是深度，b是左右相机之间的距离，f是相机的焦距，dp是视差(disparity)。
从上式1可以看出，由于b和f是物理属性，一般保持不变，则d与dp成反比关系。对于近距离的物体而言，深度较小，那么视差较大，而对于远距离的物体而言，深度较大，对应的视差较小。
以下将结合图1举例说明如何计算深度。。
如图1所示，在右图中寻找与左图的一个像素点匹配的像素点，也即在右图中，在一条直线上搜索遍历，从而找出与左图的该像素点匹配的像素点，也即匹配分值(matchscorevalues)最高的像素点，并计算左图的像素点与右图的匹配的像素点之间的视差。
应理解，图1只是一个简单的匹配，实际过程中可以逐个像素进行搜索，并且图1只做了局部的匹配，后续还可以进一步优化调整，最终计算出像素点在左右图的视差(disparity)
例如，如图1所示，面具的鼻尖的一个像素点在左图的第20行，第100列，那么左右图经过预处理(rectify)后，理论上，鼻尖这个像素点在右图也是第20行，并且应该是<100列的。所以可以从右图的第20行，第100列这个像素点向左搜索，最终确定第20行，第80列的像素点和左图的鼻尖处的像素点最匹配，那么该像素点的视差(disparity)为|80-100|＝20。
由此可以看出，对于高分辨率的图像每行的每个像素都做匹配计算，所需的时间较长。所以，在实际计算中，可以限制搜索范围，比如限制在分辨率320*240的图像上最大搜索64个视差，即，左图的每个像素需要在右图搜索64次，因此，匹配计算时所限制的最大搜索范围将会降低计算耗时，以及减少利用的计算资源。
但对于更高分辨率的图像而言，例如，在分辨率640*480的图像上，同样限制最大搜索64个视差，会造成近处的物体无法识别，即死区大。若放宽搜索范围，则所需的计算量较大。
而对于较低分辨率的图像而言，例如，在分辨率320*240的图像上，限制最大搜索64个视差，则会造成远处物体的观测精度较低。这可以由公式1看出，对于较远距离的物体，即视差较小的物体，例如，视差仅为2，±0.5个视差误差就会使得计算得到的深度较大偏离于实际的深度，而对于较近距离的物体而言，例如，视差为30，则±0.5个视差误差不会使得计算得到的深度较大偏离于实际的深度。
从以上分析可知，对于近处的物体而言，如果针对分辨率320*240的图像，限制最大搜索64个视差，那么针对分辨率640*480的图像，则需要限制最大搜索128个视差，这将导致计算资源暴涨。而对于远处物体来说，如果针对分辨率640*480的图像，限制最大搜索2个视差，那么针对分辨率320*240的图像，则需要限制最大搜索1个视差，导致观测精度较低。
如果既要能够准确观测到近处物体，针对远处物体，又需要较高的观测精度，针对分辨率为640*480的图像，需要限制最大搜索128个视差，这需要较大的计算量，对于实时性要求较高的飞行器来说，这是比较难于实现。
飞行器在低空飞行时，需要近距离的避障，利用高分辨率图像计算的深度图，由于死区大的原因，可能没法采用；而飞行器在高速飞行时，对远距离的观测精度要求较高，这时候利用低分辨率图像计算的深度图不能满足该要求，有些情况下，可以使用低分辨图像计算的深度图，但是这要求飞行器限制飞行速度。
为此，本申请实施例提供一种图像处理的方案，通过将高低分辨图像得到的深度图进行融合，以得到更精确的深度信息，并且可以无需较大的计算量。
图2是根据本申请实施例图像处理方法100的示意性图。该方法100包括以下内容中的至少部分内容。
在110中，获取至少两个第一图像，其中，第一图像的分辨率为第一分辨率。
可选地，该至少两个第一图像可以源于双目摄像头，例如，可以是双目摄像头在同一时刻拍摄的图像，或者，也可以是由双目摄像头在同一时刻拍摄的图像进行降采样得到的图像。
应理解，该至少两个第一图像可以并不源于双目摄像头，例如，可以源于单目或多目(多于双目)摄像头。
在120中，获取至少两个第二图像，其中，第二图像的分辨率为第二分辨率，第二分辨率低于第一分辨率。
可选地，可以通过对至少两个第一图像分别进行降采样，得到至少两个第二图像。
可选地，该至少两个第一图像和至少两个第二图像可以是分别由更高的分辨率的图像降采样得到的。
在130中，利用至少两个第一图像，确定在第一视差阈值的限制下，至少两个第一图像对应的第一深度图。
具体地，可以以该第一视差阈值作为最大的搜索范围，在一个第一图像上，搜索与另一个第一图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
本申请实施例提到的深度或深度信息的取值可以是公式1中的深度d，也可以是视差，这是由于视差与深度d具有反比关系，视差直接反映了深度。
具体地，本申请实施例提到的深度图可以直接包括各个像素点的深度d或者包括各个像素点对应的视差。
在140中，利用至少两个第二图像，确定在第二视差阈值的限制下，至少两个第二图像对应的第二深度图，其中，第二视差阈值大于第一视差阈值。
具体地，可以以该第二视差阈值作为最大的搜索范围，在一个第二图像上，搜索与另一个第二图像的某一像素点匹配的像素点，从而找到该像素点对应的视差，从而可以得到该像素点的深度。
在150中，将第一深度图与第二深度图进行融合，以得到融合后的深度图。
可选地，第一深度图与第二深度图的融合可以采用以下方式：
利用第一深度图上的第一部分像素的深度，以及第二深度图上的第二部分像素的深度，得到融合后的深度图，其中，第一部分像素是第一深度图上与第三部分像素匹配的像素，其中，第三部分像素是第二深度图上除第二部分像素之外的像素。
具体地，在该种方案中，可以采用第二深度图的一部分像素在第二深度图上的深度信息，以及第二深度图的另一部分的像素在第一深度图上匹配的像素的深度信息，得到融合后的深度图。
应理解，本申请实施例的深度图的融合并不限于此，例如，可以将某一像素在第一深度图的深度信息，以及该像素匹配的像素在第二深度图的深度信息进行结合处理(也即综合两个深度信息，例如进行平均或加权处理等)，得到该像素的深度信息。
可选地，上述提到的第三部分像素的深度对应的视差小于或等于第三视差阈值。
具体地，由于较低的分辨率以及较大的视差阈值计算的第二深度图对于远处(即对应的视差较小)物或人计算的深度信息的精度较低，则可以将远处的深度信息由第一深度图上匹配的像素的深度信息来替换，从而可以解决远处的深度信息精确度不高的问题。
可选地，第三视差阈值等于第一视差阈值除以第一值所得到的值；其中，第一值是在第一方向上，第一分辨率与第二分辨率的像素比，其中，第一方向是获取第一深度图和第二深度图时的像素扫描方向。
可选地，获取深度图时是按行扫描，则该第一方向是行的方向，如果是按列扫描，则该第一方向是列的方向。当然，扫描方向也可以是其它方向,本申请实施例对此不作具体限定。
例如，第一图像的分辨率是640*480，第二图像的分辨率是320*240，且获取深度图时是按行扫描的，则该第一值可以是2。
可选地，在本申请实施例中，可以在第二深度图上，保持第二部分像素的深度；在第二深度图上，利用第一像素部分的深度对应的视差除以第一值得到的值对应的深度，对第三部分像素的深度进行替换。
应理解，除了第一视差阈值除以第一值所得到的值，第三视差阈值还可以是其它的值，例如小于第一视差阈值除以第一值所得到的值。
应理解，此处是在第二深度图的基础上，对第三部分像素的深度进行更改，但是本申请实施例也可以不在第二深度图的基础上对部分像素的深度信息进行更改，而是将第一部分像素的深度信息，以及第三部分像素的深度信息重新记录在一张新的深度图上。
为了更加清楚地理解本申请，以下将以第一图像为640*480分辨率的图像，第一视差阈值为8个视差，第二图像为320*240分辨率的图像，第二视差阈值是64为例，对本申请的计算深度图的方式进行说明。
步骤1：通过低分辨率的至少两个图像算一个深度图，即在分辨率为320*240的图像上，限制64个视差做深度图。
具体地，可以把分辨率为640*480的原图降采样成分辨率320*240的图像后，然后限制64个视差做深度图。
例如，图3左侧是分辨率为320*240的图像(至少两个图像中的一个)，图3右侧是申请人计算的深度图，从图3的深度图可以看出近处地面还较为光滑，但是到了远处地面就有明显的阶梯状，也即远处计算的深度信息精确度不高。
步骤2：通过高分辨率图，但是做更强的视差阈值限制，即在分辨率为640*480图像上做8个视差的深度图，这里目的在于计算远处的点。
例如，图4左侧是分辨率为640*480的图像(至少两张图像中的一张)，图4右侧是申请人计算的深度图，在高分辨率图上只做8个视差的搜索，从图4右侧所示的深度图可以看出，虽然近处的地面都算错了，但是远处地面更加平滑。
步骤3：将高分辨率图像得到的深度图与低分辨图像得到的深度图进行融合，也即，在低分辨率图像得到的深度图上，将小于4个视差的点的视差或深度替换为高分辨率图像得到的深度图上对应的点的视差或深度。
也即，在低分辨率图像得到的深度图上，将深度对应的视差大于4的点保留原有计算，将深度对应的视差小于或等于4的点的深度替换为高分辨率图对应的深度图匹配的像素的视差/2得到的深度。
例如，如图5所示，即为图3和图4中的深度图融合后得到的深图，该结果接近于申请人直接使用128个视差对高分辨率的图像进行深度计算的结果。
应理解，图3-5中灰色的颜色越深代表深度越大，但是由于仅用灰度图图示的原因，导致有些地方的颜色深浅度可能与深度没有较好的关联。
可选地,在本申请实施例中,在对图像进行处理时,针对有些原因(例如,系统的处理能力,处理效率),可以对图像进行分割或从图像中截取待处理区域等,并利用分割后的图像以及截取的区域,计算深度图。
为了便于理解，以下将结合两种实现方式进行详细说明，但应理解，本申请实施例的分割或获取待处理区域的实现方式并不限于此，以及，以下方式1和方式2的有些特征在不矛盾的情况下，可以结合使用。
方式1
对至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；将至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；确定在第一视差阈值的限制下，多个图像块组中每个图像块组的深度图；将多个图像块组的深度图进行拼接，以得到第一深度图。
可选地，可以根据系统的处理能力(例如，计算单元的最大计算能力)，对每个第一图像分别进行分割处理。
具体地，由于系统的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度图的计算，则可以对该高分辨的图像进行切割，切割的每个图像块可以符合计算单元的最大计算能力。
可选地，本申请实施例提到的对图像进行分割可以是对图像进行平均分割，当然，也可以不平均分割，例如，先按照最大的计算能力进行依次分割，直到剩余的最后一个图像块小于计算单元的最大计算能力。
可选地，多个计算单元可以对得到的多个图像块组进行并行处理，以得到各个图像块组对应的深度信息，从而可以提高图像处理的效率。
应理解，虽然上述实施例对第一图像进行分割为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可以对第二图像进行分割处理(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
方式2
在至少两个第一图像中的每个第一图像上，分别确定待处理区域；利用至少两个第一图像的待处理区域，确定在第一视差阈值的限制下的第一深度图。
可选地，根据系统的处理能力，确定待处理区域。
具体地，由于系统的计算单元的最大计算能力有限，如果图像的分辨率较高且图像的尺寸较大时，则会导致无法进行深度的计算，则可以根据系统的计算单元的最大计算能力，从每个图像上获取待处理区域。
可选地，预估可移动物体的移动位置；根据移动位置，在第一图像上，确定待处理区域。
可选地，该可移动物体可以为飞行器，无人驾驶的汽车等。
可选地，至少两个第一图像由可移动物体上的拍摄设备拍摄得到的；获取参照物在拍摄设备坐标系下的当前速度；利用该当前速度，预估移动位置。
可选地，利用可移动物体的当前移动速度，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以通过可移动物体上设置的惯性测量单元来获取可移动物体的当前移动速度，从而估计参照物在拍摄设备坐标系下的当前速度。
可选地，利用可移动物体的已移动轨迹，估计得到参照物在拍摄设备坐标系下的当前速度。
例如，可以先得到可移动物体的移动位置，再把移动位置中的点投影到相机坐标系中，再通过前后帧该点位置的变化，来进一步计算得出参照物在相机坐标系下的速度。
可选地，该参照物可以是相对地球静止的参照物，也可以是相对地球移动的参照物。可选地，该参照物可以是需要躲避的障碍物。
可选地，可以根据参照物在拍摄设备坐标系下a时刻的速度，估计出b时刻(b时刻在a时刻之后)，该参照物质心g在拍摄设备坐标系下的位置p，将点p投影在a时刻拍摄设备拍摄的图像中，记为p，并以p为中心，确定具有特定区域大小的待处理区域。
具体地，可以根据参照物在拍摄设备坐标系下的速度来预估接下来的在图像中的位置。我们已知
有了偏移[δu,δv]t，再根据标定参数给出的第一图像的光轴坐标(图像的原中心点)[u0,v0]t，就可以计算出待处理区域的中心[u0+δu,v0+δv]t，然后根据特定区域大小，在第一图像上，以[u0+δu,v0+δv]t为原点，截取具有该特定区域大小的图像，具体可以参见图6和图7所示。
在一种实现方式中，在与移动位置匹配的区域超出第一图像时，对与移动位置匹配的区域进行修正，以在第一图像上，得到具有特定区域大小的待处理区域。例如，如图8所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
在另一种实现方式中，在与可移动位置匹配的区域超出第一图像时，将与移动位置匹配的区域中未超出第一图像的区域，确定为待处理区域。例如，如图9所示的待处理区域，其中，黑色填充部分为待处理区域，大矩形框为第一图像的区域。
可选地，根据系统的处理能力，确定特定区域大小。例如，该特定区域大小等于计算单元的最大计算能力。
理解，虽然上述实施例以从第一图像选取待处理区域为例进行说明，但是本申请实施例并不限于此，虽然第二图像的分辨率低于第一图像的分辨率，也可从第二图像中选取待处理区域(例如，第二图像所需的计算能力仍然大于计算单元的最大计算能力)，并以此计算深度图，实现方式可以与第一图像一致。但是，则可以对第二图像进行分割。
可选地，在本申请实施例中，可以根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的图像组包括至少两个第一图像。
具体地，可移动物体可以具有多个拍摄系统，可以根据可移动物体的移动方向，选择需要执行深度信息融合的图像。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合。
可选地，本申请实施例的深度图可以用于避障。
可选地，本申请实施例的融合后的深度图可以结合其他非融合得到的深度图进行避障。
具体地，获取至少两个第三图像，第三图像具有第二分辨率；利用至少两个第三图像，确定在第二视差阈值的限制下，第三图像对应的第三深度图；利用第三深度图和融合后的深度图进行避障。
其中，该第三图像可以不是可移动物体的移动方向，例如，移动方向的反方向。
例如，假设可移动物体需要先前移动，则可以选择前视摄像头拍摄的一组图像，利用该组图像，获取高低分辨率对应的深度图，并进行深度信息的融合，以进行前面的避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障。
例如，假设可移动物体需要向左前方向移动，则可以选择前视摄像头拍摄的一组图像以及左视摄像头拍摄的一组图像，利用该两组图像，分别获取各自的高低分辨率对应的深度图，对该两组图像分别得到深度图，各自进行融合，以对移动方向进行避障。以及选择后视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行后面的避障，以及右视摄像头拍摄的一组图像，用低分辨的图像以及较大的视差阈值限制，得到深度图，进行右边的避障。
为了便于理解，以下将结合特定场景下的飞行器，以两个具体实施例进行说明书，但应理解，以下描述的两个具体实施例仅仅为了便于读者理解本申请，不应对本申请造成特别的限定。
实施例的背景：实际使用过程中传感器获取到的原图是高分辨率图片，即分辨率为1280*800(wxga，或者称为800p)，要保证深度信息能用做控制反馈，可以具有一定的深度图的计算频率(例如，10hz(即，每秒钟10帧，帧间隔100ms))，但受限于飞行器上的计算资源，计算单元最大支持640*480(vga)的图像，且100ms内，最多只能计算6组图片。
实施例1(前后避障)
步骤1：先将前后拍摄的两组高分辨率图像wxga降采样为vga，即得到2组低分辨率的图像；
步骤2：按照飞行方向，选取前视的图像组(向前飞行时)或者后视(向后飞行)的图像组，把图像组包括的每个wxga切分成四块，每块略小于vga，这里得到4张图，这里把wxga切分但并未降采样，这里实际上可以理解成是wxga拆成4次计算出深度图再拼接回来，所以这步相当于计算的是高分辨率图片的深度图，所以需要选取更加严格的视差阈值的限制。其中，切割后的图像中，相同位置的图像块可以组成图像块组，例如，如图10和图11所示，分别对wxga1和wxga2进行分割，将图像块1-1与图像块2-1组成图像块组，将图像块1-2以及图像块2-2组成图像块组，将图像块1-3与图像块2-3组成图像块组，将图像块1-4与图像块2-4组成图像块组。
步骤3：步骤1中的2个图像组，步骤2中的4个图像块组，刚好6个图像组以及图像块组，通过计算单元计算其各自的深度图，然后再把步骤1中的高分辨wxga降采样成vga计算的深度图作为基准图，与切分的4个小图像块组计算出来的深度图，做一个融合，从而可以得到更精准的深度图。
实施例2(前后左右全向避障)
步骤1：将前后左右拍摄的四组高分辨率wxga降采样为vga，即得到4组低分辨率的图。
步骤2：按照飞行方向，选取前视的图像(向前，左前或右前飞行时)或者后视(向后，向左后或右后飞行)的第一图像组，以及选取左视的图像(向左，左前或左后飞行时)或者右视(向右，向右前或右后飞行)的第二图像组，得到高分辨率wxga的两组图像，然后根据飞行速度预测其飞行轨迹，对第一图像组的每个图像分别选取vga，组成第一图像块组；对第二图像组的每个图像分别选取vga，组成第二图像块组。
步骤3、针对步骤1中选取的4个图像组，以及步骤2的2个图像块组，通过计算单元计算其各自的深度图，把两组高分辨图像wxga降采样成vga计算的两个深度图(图视的方向与步骤2的图视的方向一致)作为基准图，分别结合步骤2中的两个图像块组分别得到深度图，做一个融合(可以每个方向分别进行融合)，从而可以得到更精准的深度图
在本申请实施例中，针对高分辨率图像，采用较小的视差阈值进行深度图的计算，以及针对低分辨率图像，采用较大的视差阈值进行深度图的计算，并将基于高分辨率图像得到的深度图以及基于低分辨率图像得到的深度图进行融合，因此，为了节省计算量，而通过高的图像分辨率以及较小的视差阈值计算的深度图死区大的问题，可以由低的图像分辨率低以及较大的视差阈值计算的深度信息来解决，以及，通过低的图像分辨率以及较大的视差阈值计算的远处深度信息精确度低的问题，可以由高的图像分辨率以及较小的视差阈值计算的深度信息来解决，从而本申请实施例的图像处理方法，通过将高低分辨图像得到的深度图进行融合，从而得到更精确的深度信息，并且无需较大的计算量，以及可以避免飞行器为了避障(采用基于低分辨率图像得到的深度图)，限制飞行速度的问题。
图12是根据本申请实施例的图像处理设备的示意性框图。如图12所示，该设备包括图像获取单元310、深度计算单元320和深度融合单元330；其中，
该图像获取单元310用于：获取至少两个第一图像，其中，该第一图像的分辨率为第一分辨率；获取至少两个第二图像，其中，该第二图像的分辨率为第二分辨率，该第二分辨率低于该第一分辨率；
该深度计算单元320用于：利用该至少两个第一图像，确定在第一视差阈值的限制下，该至少两个第一图像对应的第一深度图；利用该至少两个第二图像，确定在第二视差阈值的限制下，该至少两个第二图像对应的第二深度图，其中，该第二视差阈值大于该第一视差阈值；
该深度融合单元330用于：将该第一深度图与该第二深度图进行融合，以得到融合后的深度图。
可选地，该深度融合单元330进一步用于：
利用该第一深度图上的第一部分像素的深度，以及该第二深度图上的第二部分像素的深度，得到该融合后的深度图，其中，该第一部分像素是该第一深度图上与第三部分像素匹配的像素，其中，该第三部分像素是该第二深度图上除该第二部分像素之外的像素。
可选地，该第三部分像素的深度对应的视差小于或等于第三视差阈值。
可选地，该第三视差阈值等于该第一视差阈值除以第一值所得到的值；
其中，该第一值是在第一方向上，该第一分辨率与该第二分辨率的像素比，
其中，该第一方向是获取该第一深度图和该第二深度图时的像素扫描方向。
可选地，该深度融合单元330进一步用于：
在该第二深度图上，保持该第二部分像素的深度；
在该第二深度图上，利用该第一像素部分的深度对应的视差除以该第一值得到的值对应的深度，对该第三部分像素的深度进行替换。
可选地，该深度计算单元320进一步用于：
对该至少两个第一图像的每个第一图像分别进行分割处理，以得到分割后的图像块；
将该至少两个第一图像上具有相同位置的图像块进行组合，以得到多个图像块组；
确定在该第一视差阈值的限制下，该多个图像块组中每个图像块组的深度图；
将该多个图像块组的深度图进行拼接，以得到该第一深度图。
可选地，该深度计算单元320进一步用于：
根据系统的处理能力，对该每个第一图像分别进行分割处理。
可选地，该深度计算单元320进一步用于：
在该至少两个第一图像中的每个第一图像上，分别确定待处理区域；
利用该至少两个第一图像的该待处理区域，确定在该第一视差阈值的限制下的该第一深度图。
可选地，该深度计算单元320进一步用于：
根据系统的处理能力，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
预估可移动物体的移动位置；
根据该移动位置，在该第一图像上，确定该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该移动位置匹配的区域；
在与该移动位置匹配的区域超出该第一图像时，对与该移动位置匹配的区域进行修正，以在该第一图像上，得到具有该特定区域大小的该待处理区域。
可选地，该深度计算单元320进一步用于：
以该移动位置为中心，按照特定区域大小，在该第一图像上，确定与该可移动位置匹配的区域；
在与该可移动位置匹配的区域超出该第一图像时，将与该移动位置匹配的区域中未超出该第一图像的区域，确定为该待处理区域。
可选地，该深度计算单元320进一步用于:
根据系统的处理能力，确定该特定区域大小。
可选地，该至少两个第一图像由该可移动物体上的拍摄设备拍摄得到的；
该深度计算单元320进一步用于：
获取参照物在拍摄设备坐标系下的当前速度；
利用该参照物物在该拍摄设备坐标系下的当前速度，预估该移动位置。
可选地，该深度计算单元320进一步用于：
利用该可移动物体的当前移动速度，估计得到该参照物在拍摄设备坐标系下的当前速度；或，
利用该可移动物体的已移动位置，估计得到该参照物在拍摄设备坐标系下的当前速度。
可选地，该系统的处理能力为系统的计算单元的最大计算能力。
可选地，该图像获取单元310进一步用于：获取至少两个第三图像，该第三图像具有该第二分辨率；
该深度计算单元320进一步用于：利用该至少两个第三图像，确定在该第二视差阈值的限制下，该第三图像对应的第三深度图；
如图12所示，该设备还包括避障单元340，用于：利用该第三深度图和该融合后的深度图进行避障。
可选地，该图像获取单元310进一步用于：
将该至少两个第一图像进行降采样，以得到该至少两个第二图像。
可选地，该图像获取单元310进一步用于：
根据可移动物体的移动方向，从多个图像组中选择图像组，其中，选择的该图像组包括该至少两个第一图像。
应理解，该图像处理设备300可以执行方法200中的方案，为了简洁，在此不再赘述。
图13是根据本申请实施例的图像处理设备400的示意性框图
可选地，该图像处理设备400可以包括多个不同的部件，这些部件可以作为集成电路(integratedcircuits，ics)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机系统的部件。
可选地，该图像处理设备可以包括处理器410和与处理器410耦合的存储介质420。
处理器410可以包括一个或多个通用处理器，诸如中央处理单元(centralprocessingunit，cpu)，或处理设备等。具体地，该处理器410可以是复杂指令集处理(complexinstructionsetcomputing，cisc)微处理器，超长指令字(verylonginstructionword，vliw)微处理器，实现多个指令集组合的微处理器。该处理器也可以是一个或多个专用处理器，诸如应用专用集成电路(applicationspecificintegratedcircuit，asic),现场可编程门阵列(fieldprogrammablegatearray，fpga),数字信号处理器(digitalsignalprocessor，dsp)。
处理器410可以与存储介质420通信。该存储介质420可以为磁盘、光盘、只读存储器(readonlymemory,rom)，闪存，相变存储器。该存储介质420可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息，例如，从外部存储设备读取的金字塔的图像分层的像素信息。
可选地，除了处理器420和存储介质420，图像处理设备可以包括显示控制器和/或显示设备单元430，收发器440，视频输入输出单元450，音频输入输出单元460，其他输入输出单元470。图像处理设备400包括的这些部件可以通过总线或内部连接互联。
可选地，该收发器440可以是有线收发器或无线收发器，诸如，wifi收发器，卫星收发器，蓝牙收发器，无线蜂窝电话收发器或其组合等。
可选地，视频输入输出单元450可以包括诸如摄像机的图像处理子系统，其包括光传感器，电荷耦合器件(chargedcoupleddevice，ccd)或互补金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)光传感器，以用于实现拍摄功能。
可选地，该音频输入输出单元460可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备470可以包括存储设备，universalserialbus(usb)端口，串行端口，并行端口，打印机，网络接口等。
可选地，该图像处理设备400可以执行方法100所示的操作，为了简洁，在此不再赘述。
可选地，图像处理设备400或400可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(unmannedaerialvehicle，简称为“uav”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
图14是根据本申请实施例的可移动设备500的示意性框图。如图14所示，可移动设备500包括载体510和负载520。图14中将可移动设备描述为无人机仅仅是为了描述方面。负载520可以不通过载体510连接到可移动设备上。可移动设备500还可以包括动力系统530、传感系统540和通信系统550和图像处理设备562和拍摄系统564。
动力系统530可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为uav的飞行提供动力，该动力使得uav能够实现一个或多个自由度的运动。在某些实施例中，uav可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感系统540用于测量uav的姿态信息，即uav在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统例如可以包括陀螺仪、电子罗盘、惯性测量单元(inertialmeasurementunit，简称为“imu”)、视觉传感器、全球定位系统(globalpositioningsystem，简称为“gps”)和气压计等传感器中的至少一种。飞行控制器用于控制uav的飞行，例如，可以根据传感系统测量的姿态信息控制uav的飞行。应理解，飞行控制器可以按照预先编好的程序指令对uav进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对uav进行控制。
通信系统550能够与一个具有通信系统570的终端设备580通过无线信号590进行通信。通信系统550和通信系统570可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是可移动设备500向终端设备580发送数据。或者无线通信可以是双向通信，数据即可以从可移动设备500发送给终端设备580，也可以由终端设备580发送给可移动设备500。
可选地，终端设备580能够提供针对于一个或多个可移动设备500、载体510和负载520的控制数据，并能接收可移动设备500、载体510和负载520发送的信息。终端设备580提供的控制数据能够用于控制一个或多个可移动设备500、载体510和负载520的状态。可选地，载体510和负载520中包括用于与终端设备580进行通信的通信模块。
可以理解的是，图14所示出的可移动设备包括的图像处理设备660能够执行方法100，为了简洁，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。