图像处理方法和设备与流程
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请实施例涉及图像处理领域，并且更具体地，涉及一种图像处理方法和设备。
背景技术
人类正在进入信息时代，计算机越来越广泛地进入几乎所有领域。作为智能计算的重要领域，计算机视觉得到了极大的开发应用。计算机视觉是依靠成像系统代替视觉器官作为输入敏感手段，最常用的是摄像头，由双摄像头即可组成一个基础的视觉系统。
双目摄像头系统可以通过两个摄像头，拍摄同一时刻，不同角度的两张照片，再通过两张照片的差异，以及双摄像头之间的位置、角度关系，利用三角关系，即可计算出场景与摄像头的距离关系，即可以得到深度图。归根结底，双目摄像头系统是通过同一时刻不同角度的两张照片的差异，来获取场景的深度信息。
但对于高动态场景，会有一些深度图无效的情况，即使有针对于前景的动态调节曝光策略，仍有一些情况下并不能很好的工作。
技术实现要素：
本申请实施例提供了一种图像处理方法和设备，可以实现在具有生命体的高动态场景下，充分考虑生命体的肢体或关节等特征，使得生命体的深度图计算的更加精准。
一方面，提供了一种图像处理方法，包括：确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整半全局匹配(semi-globalmatching，sgm)算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
另一方面，提供了一种图像处理设备，包括确定单元和计算单元；其中，所述确定单元用于：确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；所述计算单元用于：根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
另一方面，提供了一种图像处理设备，包括存储器和处理器，该存储器存储有代码，该处理器可以调用存储器中的代码执行以下方法：确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
另一方面，提供了一种计算机存储介质，该介质存储有代码，该代码可以用于确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
另一方面，提供了一种计算机程序产品，该计算机程序产品包括代码，该代码可以用于确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
因此，在本申请实施例中，确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差，可以实现在具有生命体的高动态场景下，充分考虑生命体的肢体或关节等特征来调整半全局匹配算法中的惩罚系数，避免采用固定的惩罚系数，使得生命体的深度图计算的更加精准。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是在高动态场景下，深度信息出现断连的示意性图。
图2是根据本申请实施例的图像处理方法的示意性图。
图3是根据本申请实施例的利用paf算法分割出生命体的示意性图。
图4是地面的示意性图。
图5是肢体向量场的示意性图。
图6是肢体向量场的示意性图。
图7是热成像的图像。
图8是根据本申请实施例的图像处理设备的示意性图。
图9是根据本申请实施例的图像处理设备的示意性图。
图10是根据本申请实施例的无人机的示意性图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中当一组件与另一组件“固定连接”或“连接”，或者，一组件“固定于”另一组件时，它可以直接在另一组件上，或者也可以存在居中的组件。
除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
对于生命体(例如，人)而言，由于处在一个高动态环境中，在获取深度信息时，则会出现一些深度图无效的情况，即使采用针对前景的动态调节曝光策略，仍存在一些情况出现深度图无效，例如，在场景切换的时候，动态曝光策略仍然需要收敛时间，则会造成深度图无效，例如，如图1针对人的手臂部分，有较多的无效深度信息，导致3d深度图上出现肢体断连的情况，其中，图1左侧是拍摄出的照片，右侧为深度信息。
对于无人机而语言，航线规划避障需要使用3d深度图，即深度图的质量直接影响了避障的成败与效果。
因此，本申请实施例提供了了以下的方案，可以得到更优的深度信息。
应理解，本申请实施例得到深度信息可以用于无人机进行避障，也可以用于其他场景，本申请实施例对此不作具体限定。
还应理解，本申请实施例可以采用双目摄像头拍摄的图像进行计算深度信息，也可以利用单目摄像头拍摄的图像计算深度信息，本申请实施例对此不作具体限定。
本申请实施例可以用于航拍飞行器或其他带有多摄像头的载具，例如无人驾驶的汽车、自动飞行的无人机、vr/ar眼镜、双摄像头的手机、有视觉系统的智能小车等设备。
图2是根据本申请实施例的图像处理方法100的示意性流程图。该方法100包括以下内容中的至少部分内容。
在110中，确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定该目标点与至少一个像素点的位置关系。
可选地，本申请实施例提到的各个肢体之间可以通过关节来分割，例如，本申请实施例提到的肢体可以包括头部、手部、上臂、下臂、大腿部和小腿部等。
可选地，本申请实施例提到的生命体可以是人，当然，也可以是其他生命体，例如，猫，狗，大象和鸟类等。
可选地，在本申请实施例中，可以事先从图像中分割出目标生命体。进而确定目标生命体上的目标点向至少一个关节处的指向向量，以及确定该目标点与至少一个像素点的位置关系。其中，该目标点是指目标像素点，该至少一个像素点可以是该目标像素点的相邻像素点。
具体地，在该图像上，可以确定生命体的肢体关节；根据生命体的肢体关节的向量场，确定生命体的肢体关节的连接关系；根据生命体的肢体关节的连接关系，从该图像中分割出该目标生命体。
具体地，可以采用肢体关联向量场(partaffinityfields，pafs)，分割出生命体。
具体地，可以将图3中的a，构造成如图3中的b所示的肢体关节置信图(partconfidencemaps)，以及进一步地构造成如图3中的c所示的肢体关联场(partaffinityfields，paf)，从而可以根据图3中的c所示的肢体关联场，对人体进行分割，具体可以如图3中的d所示。
在构造成如图3中的b所示的肢体关节置信图的过程中，可以通过卷积神经网络(convolutionalneuralnetwork，cnn)找到人体的关节部分，例如，腕关节，肘关节和肩关节等。其中，可以针对人体k得到肢体关节置信图
其中，xj,k是图像中人体k的肢体j的真实位置(groundtruthposition)，σ限定峰值的扩展，其中，峰值对应到每个人体的每个可视的肢体。
肢体关联场指的是肢体关节之间的指向关系，例如，肩关节指向肘关节，肘关节指向腕关节等。其中，如图4所示，xj1,k和xj2,k是连接人体k的肢体c的关节j1和j2的真实位置，点p的肢体关联向量场可以按照以下式2进行定义：
从以上式2可以看出，如果点p在肢体c上，则
肢体c上点的集合可以定义为线段内在距离阈值内的点，这些点p满足以下公式3和公式4：
其中，肢体宽度σl是像素距离，
因此，在按照上述介绍的方案或相似方案确定出生命体的肢体关节的向量场后，可以确定生命体的肢体关节的连接关系；根据生命体的肢体关节的连接关系，从该图像中分割出该目标生命体。
可选地，在本申请实施例中，可以根据该目标生命体的肢体关节的指向关系，确定该目标点向至少一个关节处的指向向量。
具体地，如图4所示，在确定出了从肘关节向腕指向关系之后，可以得到该下臂中的任意一点向关节处的指向向量。
可选地，在本申请实施例中，在根据该生命体的肢体关节的连接关系，从该图像中分割出该目标生命体之前，采用热成像的方式，从该图像中初始分割出该目标生命体。其中，图7所示为热成像的方式获取的人体图像。当然，在本申请实施例，也可以不采用热成像的方式，初始分割出目标生命体。
可选地，可以基于最小生成树(minimumspanningtree)图分割法，分割出生命体。具体可以包括以下操作。
步骤1：先把图像(image)转换为曲线图(graph)，得到graphg＝(v,e),针对graphg，具有n个顶点v和m条边缘e。
通过以下步骤得到的分割区域的集合s＝(c1,...,cr)，其中c1,...,cr为顶点组成的子集。
步骤2：将边缘e的权重w按照非递减排列，得到集合π＝(o1,...,om)。
步骤3：从分块区域s0开始,在集合s0中，每个顶点都是自成子集(每个像素都是单独的区域)。
步骤4：重复步骤4，对于sq,q＝1,...,m。
步骤5：如下所述，通过sq-1计算得到sq。这里用vi和vj表示第q条边缘连接的两个顶点，记作oq＝(vi,vj)。如果vi和vj在sq-1中是独立、尚未连接的两个顶点，且连线的边缘权重w(oq)小于一定的阈值
其中，
其中，int定义为内差，即为子集c1构成的最小小生成树mst中最大的权重，而权重定义为w(e)＝w(vi,vj)＝|i(pi)-i(pj)|。
步骤6：遍历完m条连接边缘线后，返回最终结果sm，即为s。
在120中，根据该指向向量，以及该位置关系，调整半全局匹配(semi-globalmatching，sgm)算法的全局能量函数的惩罚系数。
在130中，基于该至少一个像素点的视差，利用调整了该惩罚系数后的所全局能量函数，计算该目标点的视差。
应理解，在本申请实施例中，除了采用sgm算法计算目标点的视差外，也可以采用其他的算法，计算目标点的视差，本申请实施例以下将以sgm为例说明如何利用sgm计算目标点的视差。
为了便于更加清楚地理解本申请，以下将对sgm算法进行介绍。
可以通过选取每个像素点的视差，组成一个视差地图(disparitymap)，设置一个和视差地图(disparitymap)相关的全局能量函数，使这个能量函数最小化，以达到求解每个像素点最优视差的目的。其中，能量函数可以如下式6所示：
其中，d指视差地图，e(d)是该视差地图对应的能量函数；p，q代表图像中的某个像素点；np指像素p的相邻像素点；c(p，dp)指当前像素点视差为dp时，该像素点的代价；p1是一个惩罚系数，它适用于像素点p相邻像素中视差值与p的视差值相差1的那些像素点；p2是一个惩罚系数，它适用于像素点p相邻像素中视差值与p的视差值相差大于1的那些像素点。
利用上述函数式6在二维图像中寻找最优解耗时较大，因此该问题被近似分解为多个一维问题，即线性问题。而且每个一维问题都可以用动态规划来解决。因为1个像素点通常有8个相邻像素点(当然也可以有其他数量的相邻像素点)，因此一般分解为8个一维问题。
对于每一个一维的求解，可以采用以下式7：
其中，r指某个指向当前像素p的方向，在此可以理解为像素p在该方向的相邻像素点。
lr(p，d)表示沿着当前方向，当目前像素点p的视差取值为d时，其最小代价值。
其中，这个最小值可以从4种可能的候选值中选取的最小值：
第1种可能时当前像素点与前一个像素视差值相等时，其最小的代价值。
第2和3种可能是当前像素点与前一个像素视差值差1(多1或少1)时，其最小的代价值+惩罚系数p1。
第4种可能是当前像素点与前一个像素视差值的差大于1时，其最小的代价值+惩罚系数p2。
另外，当前像素点的代价值还可以减去前一个像素点取不同视差值时最小的代价值。这是因为lr(p，d)是会随着当前像素的右移不停增长的，为了防止数值溢出，可以让它维持在一个较小的数值。
其中，可以采用以下公式8和9计算c(p，d)：
c(p,d)＝min(d(p,p-d,il,ir),d(p-d,p,ir,il))式8
在分别计算了每个方向的代价值时，可以将该多个方向，例如8个方向的代价值累计值，选取累加代价值最小的视差值作为该像素的最终视差值，例如，可以通过以下公式10进行累加：
s(p,d)＝∑lr(p,d)式10
针对以上式7可以看出，如果期望目标像素点与相邻像素点采用相同的视差，则可以将惩罚系数p1和惩罚系数p2设置的较大，这样可以增大目标像素点与相邻像素点采用相同的视差的概率，如果期望目标像素点与相邻像素点的视差相差较大，则可以将惩罚系数p2设置的较小，将惩罚系数p1设置的较大，这样可以增大目标像素点与相邻像素点采用较大的视差的差值的概率，如果期望目标像素点与相邻像素点的视差相差较小，则可以将惩罚系数p1设置的较小，将惩罚系数p2设置的较大，这样可以增大目标像素点与相邻像素点采用较小的视差的差值的概率。
这里可以采用如图5所示的地面为例进行说明。对于地面而言，在2d图像中，地面是沿着上下的方向，深度依次变化的，而左右方向上，深度基本是一致的。
所以在图5中，对应着上下左右四个方向(path)的时候，由于左右方向上深度是一致的，所以在左右方向上惩罚参数p1和p2较大，算法会倾向于在左右方向上选择相同的视差；而上下方向上，就会给予较小的惩罚参数p1和p2，算法就会倾向于在上下方向上选择不同的视差。
可选地，根据该指向向量与该位置关系对应的向量的夹角，调整该惩罚系数。
在一种实现方式中，在该视差差值的绝对值大于或等于预定视差时，该夹角与90度的差值的模，与该惩罚系数正相关。
例如，如图6所示的图像，在手臂的延展方向上，即在从肘关节向腕关节的方向上，是一个斜面，离镜头的距离是逐渐变化的，深度是变化的，类比图5中地面部分的上下方向，给予较大的惩罚参数p1和p2，算法就会倾向于在肘关节向腕关节的方向上选择不同的视差。而垂直于手臂的方向，垂直于肘关节向腕关节的方向上，基本是在一个距离上，即深度是基本相同，类比图5中地面的左右方向，动态调大惩罚参数p1和p2，算法就会倾向于选择相近甚至相同的视差。
可选地，根据该目标生命体的肢体边缘，确定该至少一个像素点处于该目标生命体上。
具体地，在相邻像素点位于生命体上时，利用相邻像素点与目标点之间的位置关系，以及目标点向至少一个关节的指向向量确定惩罚系数，更有意义，因此可以根据目标生命体的肢体边缘，确定出相邻点处于目标生命体时，可以采用本申请实施例的方法100计算目标点的视差。
当然，如果目标点是肢体边缘的像素点，且用于计算深度信息的像素点是目标生命体之外的像素点时，则可以设置较小的惩罚p2，进一步地设置较大的惩罚系数p1，从而可以允许计算出的视差跳变。
可选地，在本申请实施例，可以仅仅参考本申请实施例的paf方式分割出的目标生命体，确定目标生命体的边缘的像素点，基于边缘的像素点与其相邻像素点的位置关系，调整惩罚系数，而不考虑目标点向至少一个关节处的指向向量。
可选地，在本申请实施例中，可以根据至少一个目标点的视差，计算该目标生命体的深度信息。
具体地，在计算了目标生命体的各个像素点的视差之后，可以计算该生命体的深度信息。其中，视差可以是深度成反比关系。
可选地，可以通过以下公式11计算深度：
其中，d是深度，b是左右相机之间的距离，f是相机的焦距，dp是视差(disparity)。
从上式1可以看出，由于b和f是物理属性，一般保持不变，则d与dp成反比关系。对于近距离的物体而言，深度较小，那么视差较大，而对于远距离的物体而言，深度较大，对应的视差较小。
可选地，在本申请实施例中，可以根据该目标生命体的深度，确定第一速度，该第一速度的方向为从该目标生命体向无人驾驶设备的方向；根据该第一速度和第二速度，确定对该无人驾驶设备进行控制的控制速度，该第二速度为控制器输入的速度；根据该控制速度，控制该无人驾驶设备的飞行。可选地，该第一速度的大小与深度成反比。其中，该无人驾驶设备可以是无人机或无人驾驶汽车等，以下将以无人机为例进行说明。
具体地，无人机飞到距离生命体比较近时，利用斥力场(repulsiveforcefield)“弹开”无人机，实现对障碍物的绕行。
这里可以参照以下万有引力公式12，构造斥力场，具体表现形式可以参考式13。
这里生命体质量mobstacle可以取一个较大的恒定值，其中，mdrone是无人机的质量，而g也是一个恒定值，因此可以定义常数k＝g·mobstacle，由此，可以得到下式14：
其中，dx是生命体的深度信息，可以对生命体的各个像素点的深度取平均。
然后，可以通过以下式15中的恒加速度公式，得出斥力场内规划的速度
斥力场对应的速度指向远离生命体的方向，而用户控制的无人机本身有一个速度，两速度通过矢量叠加后生成一个新的速度，作为最终规划的速度，当做控制系统的速度环指令，最终会实现对障碍物的绕行。
因此，在本申请实施例中，确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；根据所述指向向量，以及所述位置关系，调整sgm算法的全局能量函数的惩罚系数；基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差，可以实现在具有生命体的高动态场景下，充分考虑生命体的肢体或关节等特征来调整半全局匹配算法中的惩罚系数，避免采用固定的惩罚系数，使得生命体的深度图计算的更加精准。
并且，进一步地，在本申请实施例中，针对于低空飞行的无人机，提出了一套完全策略，针对于人体以及其他动物做检测，并用于优化深度图的计算，从而得到更加精准的障碍物观测，即能保证人的安全，也能更好的实现无人机避障航线规划绕行。
图8是根据本申请实施例的图像处理设备200的示意性框图。如图8所示，该设备200包括确定单元210和计算单元220；其中，
所述确定单元210用于：确定图像中的目标生命体上的目标点向至少一个关节处的指向向量，以及确定所述目标点与至少一个像素点的位置关系；
所述计算单元220用于：根据所述指向向量，以及所述位置关系，调整半全局匹配sgm算法的全局能量函数的惩罚系数；
基于所述至少一个像素点的视差，利用调整了所述惩罚系数后的所全局能量函数，计算所述目标点的视差。
可选地，所述计算单元220进一步用于：
根据所述指向向量与所述位置关系对应的向量的夹角，调整所述惩罚系数。
可选地，在所述视差差值的绝对值大于或等于预定视差时，所述夹角与90度的差值的模，与所述惩罚系数正相关。
可选地，如图8所示，该设备200还包括第一分割单元230，用于：
在所述图像上，确定生命体的肢体关节；
根据所述生命体的肢体关节的向量场，确定所述生命体的肢体关节的连接关系；
根据所述生命体的肢体关节的连接关系，从所述图像中分割出所述目标生命体。
可选地，所述确定单元210进一步用于：
根据所述目标生命体的肢体关节的指向关系，确定所述目标点向至少一个关节处的指向向量。
可选地，所述确定单元210进一步用于：
根据所述目标生命体的肢体边缘，确定所述至少一个像素点处于所述目标生命体上。
可选地，如图8所示，该设备200还包括第二分割单元240，用于：
采用热成像的方式，从所述图像中初始分割出所述目标生命体。
可选地，如图8所示，该设备200还包括控制单元250，用于：
根据至少一个所述目标点的视差，计算所述目标生命体的深度；
根据所述目标生命体的深度，确定第一速度，所述第一速度的方向为从所述目标生命体指向无人驾驶设备的方向；
根据所述第一速度和第二速度，确定对所述无人驾驶设备进行控制的控制速度，其中，所述第二速度为控制器输入的速度；
根据所述控制速度，控制所述无人驾驶设备。
可选地，所述第一速度的大小与所述深度成反比。
应理解，该图像处理设备可以实现方法100中的相应操作，为了简洁，在此不再赘述。
图9是根据本申请实施例的图像处理设备400的示意性框图
可选地，该图像处理设备400可以包括多个不同的部件，这些部件可以作为集成电路(integratedcircuits，ics)，或集成电路的部分，离散的电子设备，或其它适用于电路板(诸如主板，或附加板)的模块，也可以作为并入计算机系统的部件。
可选地，该图像处理设备可以包括处理器410和与处理器410耦合的存储介质420。
处理器410可以包括一个或多个通用处理器，诸如中央处理单元(centralprocessingunit，cpu)，或处理设备等。具体地，该处理器410可以是复杂指令集处理(complexinstructionsetcomputing，cisc)微处理器，超长指令字(verylonginstructionword，vliw)微处理器，实现多个指令集组合的微处理器。该处理器也可以是一个或多个专用处理器，诸如应用专用集成电路(applicationspecificintegratedcircuit，asic),现场可编程门阵列(fieldprogrammablegatearray，fpga),数字信号处理器(digitalsignalprocessor，dsp)。
处理器410可以与存储介质420通信。该存储介质420可以为磁盘、光盘、只读存储器(readonlymemory,rom)，闪存，相变存储器。该存储介质420可以存储有处理器存储的指令，和/或，可以缓存一些从外部存储设备存储的信息。
可选地，除了处理器420和存储介质420，图像处理设备可以包括显示控制器和/或显示设备单元430，收发器440，视频输入输出单元450，音频输入输出单元460，其他输入输出单元470。图像处理设备400包括的这些部件可以通过总线或内部连接互联。
可选地，该收发器440可以是有线收发器或无线收发器，诸如，wifi收发器，卫星收发器，蓝牙收发器，无线蜂窝电话收发器或其组合等。
可选地，视频输入输出单元450可以包括诸如摄像机的图像处理子系统，其包括光传感器，电荷耦合器件(chargedcoupleddevice，ccd)或互补金属氧化物半导体(complementarymetal-oxidesemiconductor，cmos)光传感器，以用于实现拍摄功能。
可选地，该音频输入输出单元460可以包括扬声器，话筒，听筒等。
可选地，其他输入输出设备470可以包括存储设备，universalserialbus(usb)端口，串行端口，并行端口，打印机，网络接口等。
可选地，该图像处理设备400可以执行方法100所示的操作，为了简洁，在此不再赘述。
可选地，图像处理设备400或400可以位于可移动设备中。可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以无人驾驶的汽车、自动飞行的无人机、vr/ar眼镜、双摄像头的手机、有视觉系统的智能小车等设备。
图10是根据本申请实施例的可移动设备500的示意性框图。如图10所示，可移动设备500包括载体510和负载520。图14中将可移动设备描述为无人机仅仅是为了描述方面。负载520可以不通过载体510连接到可移动设备上。可移动设备500还可以包括动力系统530、传感系统540和通信系统550和图像处理设备562和拍摄系统564。
动力系统530可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为uav的飞行提供动力，该动力使得uav能够实现一个或多个自由度的运动。在某些实施例中，uav可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感系统540用于测量uav的姿态信息，即uav在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统例如可以包括陀螺仪、电子罗盘、惯性测量单元(inertialmeasurementunit，简称为“imu”)、视觉传感器、全球定位系统(globalpositioningsystem，简称为“gps”)和气压计等传感器中的至少一种。飞行控制器用于控制uav的飞行，例如，可以根据传感系统测量的姿态信息控制uav的飞行。应理解，飞行控制器可以按照预先编好的程序指令对uav进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对uav进行控制。
通信系统550能够与一个具有通信系统570的终端设备580通过无线信号590进行通信。通信系统550和通信系统570可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是可移动设备500向终端设备580发送数据。或者无线通信可以是双向通信，数据即可以从可移动设备500发送给终端设备580，也可以由终端设备580发送给可移动设备500。
可选地，终端设备580能够提供针对于一个或多个可移动设备500、载体510和负载520的控制数据，并能接收可移动设备500、载体510和负载520发送的信息。终端设备580提供的控制数据能够用于控制一个或多个可移动设备500、载体510和负载520的状态。可选地，载体510和负载520中包括用于与终端设备580进行通信的通信模块。
可以理解的是，图10所示出的可移动设备包括的图像处理设备562能够执行方法100，为了简洁，在此不再赘述。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！