拍摄控制方法及控制器与流程

本公开涉及控制方法和设备，更具体地，涉及拍摄控制方法、控制器和包括该控制器的移动平台。

背景技术：

配备有照相机的手持式云台或带有照相机的智能手机在捕捉图像期间可以是移动的，并且因此可以拍摄静止物体和运动物体。手持式云台可以使照相机移动或旋转，使得可以将照相机放置在特定角度或位置。

在常规技术中，手持式云台不能根据来自目标的声音来拍摄目标的图像。手持式云台的麦克风相对容易受到诸如风噪声之类的外部环境的影响。

技术实现要素：

根据本公开，提供了一种拍摄控制方法。该拍摄控制方法包括：使用承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；根据使用多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。

根据本公开，还提供了一种控制器。该控制器包括处理器和存储指令的存储器。所述指令在由处理器执行时，使处理器：通过承载传感器的移动平台的多个声音检测器来检测来自目标的目标声音；根据通过多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。

根据本公开，还提供了一种移动平台。该移动平台包括：由移动平台的主体承载的传感器；由移动平台的主体承载的多个声音检测器；处理器；以及存储指令的存储器。所述指令在由处理器执行时，使处理器：通过多个声音检测器来检测来自目标的目标声音；根据通过多个声音检测器检测到的目标声音来确定目标的目标位置；以及至少部分地基于目标位置来控制移动平台。

附图说明

图1示出了显示根据本公开的各种所公开的实施例的图像处理的示例性应用场景的示意图。

图2示出了根据本公开的各种所公开的实施例的图1所示的移动平台的示意性电路图。

图3是根据本公开的各种所公开的实施例的示例性拍摄控制方法的流程图。

图4示出了根据本公开的各种所公开的实施例的使用四个声音检测器来检测目标位置的示意图。

图5是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。

图6示出了根据本公开的各种所公开的实施例的传感器的朝向和目标的方向的示例。

图7是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。

图8是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。

图9示出了根据本公开的各种所公开的实施例的示例性控制器的示例性硬件配置的框图。

具体实施方式

将参考附图描述本公开的技术方案。要了解的是，所描述的实施例是本公开的一些而不是全部实施例。由本领域技术人员在所描述的实施例的基础上无需创造性努力而设想的其他实施例应落入本公开的范围之内。

如本文中所使用的，当第一部件被称为“被固定到”第二部件时，是指第一部件可以被直接附接到第二部件或者可以经由另一部件被间接附接到第二部件。当第一部件被称为“连接”到第二部件时，是指第一部件可以被直接连接到第二部件，或者可以经由它们之间的第三部件被间接连接到第二部件。本文使用的术语“垂直”、“水平”、“左”、“右”和类似表达仅意在用于描述。

除非另外定义，否则本文使用的所有技术术语和科学术语具有与本领域普通技术人员通常所理解的含义相同或相似的含义。如本文所述，本公开的说明书中使用的术语旨在描述示例性实施例，而不是限制本公开。本文使用的术语“和/或”包括所列出的一个或多个有关项的任何合适的组合。

此外，在本公开中，所公开的实施例和所公开的实施例的特征可以在不矛盾的情况下组合。

图1示出了显示根据本公开的各种所公开的实施例的图像处理的示例性应用场景的示意图。图2示出了根据本公开的各种所公开的实施例的图1所示的移动平台的示意性电路图。如图1和图2所示，移动平台100包括控制器101、传感器104、多个声音检测器105和主体106。传感器104可以由移动平台100的主体106承载。声音检测器105可以由移动平台100的主体106承载。

移动平台100可以包括例如手持式平台或载具，例如，无人飞行器或基于地面的移动载具。在所示的实施例中，移动平台100可以是手持式平台。主体106可以包括平台主体102和云台103。传感器104由云台103承载。多个声音检测器105由平台主体102和/或云台103承载。云台103将传感器103联接到平台主体102。

控制器101可以包括拍摄控制器和/或云台控制器。控制器101可以包括处理器和存储指令的存储器。所述指令当由处理器执行时，使处理器执行与本公开一致的拍摄控制方法，例如，下文描述的示例方法中的一种。在一些实施例中，控制器可以被布置在平台主体中。在一些其他实施例中，控制器可以被布置在平台主体的外部。

传感器104可以包括例如照相机、包括照相机的智能电话或包括照相机的另一装置。

声音检测器105的数量可以是例如四个或更多个。在一些实施例中，声音检测器中的每两个声音检测器使这两个声音检测器之间的距离大于预设值。多个声音检测器105可以包括例如多个麦克风。

在一些实施例中，多个声音检测器105可以直接被布置在平台主体102处。在一些其他实施例中，多个声音检测器105可以通过云台103被联接到平台主体102。在一些实施例中，移动平台100可以包括具有多个支臂的多旋翼uav，每个支臂支撑驱动uav在空中飞行的uav的旋翼中的一个旋翼。在这些实施例中，多个声音检测器105中的每个声音检测器可以被布置在支臂中的一个支臂处，例如，被布置在支臂中的一个支臂的远端处，该远端远离uav的中心体。在一些实施例中，多个声音检测器105中的每个声音检测器可以被布置在对应的旋翼下方的支臂中的一个支臂处。

图3是根据本公开的各种所公开的实施例的示例性拍摄控制方法的流程图。下面参考图3来描述拍摄控制方法。

在202处，使用移动平台的多个声音检测器来检测来自目标的目标声音。

目标可以包括例如人脸或可以产生声音的物体。

在一些实施例中，可以通过声音检测器中的一个声音检测器来对感测声音进行检测，并且可以获得感测声音的强度。此外，可以确定强度是否大于强度阈值。响应于确定强度大于强度阈值，可以确定感测声音包括目标声音。

在一些实施例中，如果感测声音的强度不大于强度阈值，则可以对感测声音执行频率相关的强度分析，以获得信噪比。此外，可以确定信噪比是否大于信噪比阈值。如果信噪比大于信噪比阈值，则可以确定感测声音包括目标声音。另一方面，如果信噪比不大于信噪比阈值，则可以确定感测声音包括噪声。

在204处，根据目标声音来确定目标的目标位置。

例如，可以根据声音检测器的检测器位置和声音检测器分别检测到目标声音的检测时间点以及声速来确定目标位置。

在一些实施例中，可以选择四个声音检测器，并且可以根据四个声音检测器的检测器位置和四个声音检测器分别检测到目标声音的检测时间点来确定目标位置。

例如，使用四个声音检测器作为示例，可以根据距离-速度-时间方程式的集合来确定目标位置。例如，如图4所示，位置(x，y，z)处的人脸(作为目标的示例)产生声音。声音以声速v从目标传播，并到达由四个实心点表示的四个检测器。四个检测器，即第一检测器至第四检测器，分别位于(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)和(x4，y4，z4)处，并且，目标与四个检测器之间的距离分别为d1、d2、d3和d4。第一声音检测器检测到目标声音的第一检测时间点由t1表示，第二声音检测器检测到目标声音的第二检测时间点由t2表示，第三声音检测器检测到目标声音的第三检测时间点由t3表示，第四声音检测器检测到目标声音的第四检测时间点由t4表示。因为d1＝v·t1且所以可以获得以下方程式：

类似地，对于其他三个声音检测器：

将方程式(1)和方程式(2)组合得到：

类似地，将方程式(1)和方程式(3)组合得到：

将方程式(1)和方程式(4)组合得到：

方程式(5)、方程式(6)和方程式(7)是距离-速度-时间方程式的示例。根据方程式(5)、方程式(6)和方程式(7)，可以确定目标位置(x，y，z)。

在206处，至少部分地基于目标位置来控制移动平台。

在一些实施例中，至少部分地基于目标位置来控制移动平台，以使传感器大致指向目标，和/或进一步相对于目标微调传感器。

在一些实施例中，可以控制移动平台以执行诸如使传感器大致指向目标或进一步相对于目标来微调传感器之类的操作。即，只要移动平台检测到来自目标的目标声音，移动平台就执行该操作。在一些其他实施例中，移动平台可以对目标声音中包括的声音指令做出响应。例如，移动平台可以仅在目标声音包括声音指令时执行操作，而在目标声音不包括声音指令时不执行操作。声音指令可以被预先编程在移动平台中或者可以被用户预先记录。声音指令可以包括例如“你好，这个方向”或“这边”。

在一些实施例中，可以执行过程206，以使传感器大致指向目标并且基于目标相对于移动平台的欧拉角来对传感器进行微调，如图5所示。图5是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。

如图5所示，至少部分地基于目标位置来控制移动平台(206)包括：至少部分地基于目标位置来获得目标相对于移动平台的欧拉角(2062)；以及至少部分地基于目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使传感器大致指向目标(2064)。

在一些实施例中，可以使传感器以相对于目标的方向的公差大致指向目标。即，传感器不必精确地指向目标的方向。而是，传感器可以指向如下方向：该方向与目标的方向的角度小于公差。目标的方向是指从传感器指向目标的方向。传感器指向的方向也称为传感器的指向或传感器的朝向，其可以是传感器的中心测量轴的朝向。例如，传感器可以包括照相机，并且传感器的朝向可以是照相机镜头的光轴的朝向。

在一些实施例中，公差可以小于约20度、小于约15度、小于约10度或小于约5度。在一些实施例中，公差可以是约20度、约15度、约10度或约5度。

例如，如图6所示，传感器104位于位置o，目标位于位置t。带箭头的线ot表示从传感器到目标的方向，即目标的方向。可以使传感器例如沿方向os大致指向目标。作为如根据与本公开一致的方法所控制的移动平台、传感器或云台中的至少一者的旋转的结果，可以将os和ot之间的角度sot控制在公差范围之内，例如，约3度、约6度或约9度之内。

在一些实施例中，传感器可以被联接到电机，并且可以控制被联接到传感器的电机以旋转传感器。在一些实施例中，传感器可以由被联接到另一电机的云台承载，并且可以控制被联接到云台的电机以旋转云台。此外，承载传感器的移动平台可以包括推进系统，并且可以控制推进系统以旋转移动平台，从而旋转传感器。

在一些实施例中，目标的欧拉角可以包括目标相对于移动平台的俯仰角、侧倾角或偏航角中的至少一者，并且可以旋转移动平台、传感器或云台中的至少一者，根据目标的俯仰角、目标的侧倾角或目标的偏航角中的至少一者来旋转移动平台、传感器或云台中的至少一者。

在一些实施例中，云台可以包括俯仰轴、偏航轴或侧倾轴中的至少一者，并且可以通过根据目标的俯仰角、侧倾角或偏航角中的至少一项旋转云台的俯仰轴、偏航轴或侧倾轴中的至少一者，来至少部分地基于目标的欧拉角旋转移动平台、传感器或云台中的至少一者。

在一些实施例中，传感器可包括照相机，并且可以根据目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使照相机大致指向目标。与上述实施例类似，在一些实施例中，当移动平台接收到目标声音时，可以执行根据目标的欧拉角对移动平台、传感器或云台中的至少一者的旋转。而在其他一些实施例中，可以响应于目标声音中包括的声音指令，来执行根据目标的欧拉角对移动平台、传感器或云台中的至少一者的旋转。

在一些实施例中，如图5所示，至少部分地基于目标位置来控制移动平台(206)还包括：微调移动平台、传感器或云台中的至少一者，以减小传感器的朝向的欧拉角和目标的欧拉角之间的差。

可以通过传感器来获得关于目标的测量数据，可以根据测量数据和传感器的朝向来获得微调参数，并且可以根据微调参数来微调移动平台、传感器或云台中的至少一者。

在一些实施例中，传感器包括照相机，并且照相机可以被配置为捕捉包含目标的目标图像。目标图像可以包含与目标相关联的信息。可以根据目标图像和照相机的朝向来获得微调参数。微调参数可以包括一个或多个子参数，该子参数描述传感器的朝向的欧拉角和目标的欧拉角之间的差。

在一些实施例中，为了获得微调参数，可以根据目标在目标图像中的位置和照相机的朝向来获得朝向差。可以根据朝向差来获得一个或多个子参数。此外，可以根据微调参数来微调移动平台、传感器或云台中的至少一者。例如，可根据一个或多个子参数来旋转移动平台、照相机或云台中的至少一者，使得减小传感器的朝向的欧拉角和目标的欧拉角之间的差。

在一些实施例中，目标可以包括人脸，并且可以预先配准用于人脸的数据。用于人脸的预先配准的数据可以被用于在由照相机捕捉的图像中搜索人脸。因此，可以相对方便地确定人脸在图像中的相对位置。在一些其他实施例中，用于人脸的预先配准的数据可以不被用于在由照相机捕捉的图像中搜索人脸。可以根据各种应用场景来选择是否使用用于人脸的预先配准的数据。

在一些实施例中，目标可以移动，并且可以重复地微调移动平台、传感器或云台中的至少一者，以减小传感器的朝向的欧拉角和目标的欧拉角之间的差。因此，可以连续地跟踪目标，并且可以根据需要捕捉目标的图像。

图7是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。图7所示的方法类似于图5所示的方法，但是图7所示的方法还包括控制传感器以获得测量数据(208)。

在一些实施例中，可以至少部分地基于目标位置来控制传感器，以获得用于控制移动平台的测量数据。即，可以在控制移动平台的过程中使用测量数据。在一些实施例中，控制移动平台，并且还可以控制传感器以获得测量数据。例如，控制移动平台以使传感器大致指向目标，和/或以进一步相对于目标微调传感器。此外，可以控制传感器以获得测量数据。

在一些实施例中，可以使传感器例如以相对于目标的方向的约10度的公差大致指向目标。再次参考图6，传感器104具有例如约85度的测量范围。即，在传感器的中心测量轴os的两侧的大致42.5度之内的对象位于测量范围内。在图6中，测量范围覆盖两条虚线107和108之间的区域。当目标位于传感器的测量范围内时，例如图6中所示，传感器可以得到关于目标的测量数据。在传感器包括照相机的实施例中，测量范围可以是照相机的视野，并且当目标位于照相机的视野之内时，照相机可以捕捉目标的图像，即，测量数据可以包括图像。

在一些实施例中，传感器可以包括照相机，并且目标可以包括人脸。响应于目标声音中包括的图像捕捉声音指令(例如，“拍照”或“拍照，osmo”的声音指令)的响应，可以根据目标的欧拉角来旋转移动平台、传感器或云台中的至少一者，以使照相机大致指向目标，并且对移动平台、传感器或云台中的至少一者进行微调，以减小照相机的朝向的欧拉角和目标的欧拉角之间的差。此外，可以捕捉并保存目标的图像。

在一些实施例中，声音检测器也可以被移动，例如旋转，使得它们可以朝向目标，以提高目标声音的质量。在一些实施例中，移动平台可以在不使用云台的情况下承载和移动声音检测器。在一些其他实施例中，移动平台可以通过云台来承载和移动声音检测器中的一些或全部。

图8是根据本公开的各种所公开的实施例的另一示例性拍摄控制方法的流程图。如图8所示，至少部分地基于目标位置来控制移动平台(206)包括至少部分地基于目标的欧拉角来旋转以下中的至少一者：移动平台、至少一个声音检测器或云台，以使至少一个声音检测器大致指向目标。

通过使至少一个声音检测器大致指向目标，可以提高由声音检测器检测到的声音的声音质量。

在一些实施例中，如图8所示，至少部分地基于目标位置来控制移动平台(206)还包括微调以下中的至少一者：移动平台、至少一个声音检测器或云台，以减小所述至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差(2065)。

可以通过布置指向与至少一个声音检测器大致相同的方向的传感器来执行用于减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差的微调。即，传感器可以是定向传感器，并且传感器的感测方向可以与至少一个声音检测器的检测方向大致相同。该传感器的确定目标方向的准确度可以比至少一个声音检测器更好，因此可以实现微调。传感器可以包括例如上文结合图5描述的传感器或任何其他合适的传感器。因为传感器指向与至少一个声音检测器大致相同的方向，所以可以通过减小传感器的朝向的欧拉角和目标的欧拉角之间的差来减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差。因此，可以通过以与减小传感器的朝向的欧拉角和目标的欧拉角之间的差类似的方式微调以下中的至少一项来减小至少一个声音检测器的朝向的欧拉角和目标的欧拉角之间的差：移动平台、至少一个声音检测器或云台，，此处不再重复其描述。

除了声音检测器的指向(即，朝向)(例如，声音检测器是否指向目标)之外，诸如噪声(例如，风噪声)之类的其他因素也可能影响由声音检测器检测到的目标声音的声音质量。不同因素的影响可能根据应用场景而变化，并且可以根据不同的应用场景来采用不同的方法。例如，在风噪声的影响比声音检测器的朝向的影响相对更大的情况下，相比于使声音检测器指向目标，通过减小风噪声的影响可能会更好地提高声音质量。

在一些实施例中，如图8所示，该方法还包括移动声音检测器中的一个或多个声音检测器，以增强由声音检测器中的一个或多个声音检测器检测到的目标声音的声音质量(210)。

可以通过移动(例如旋转)以下中的至少一者来移动(例如旋转)声音检测器中的一个或多个声音检测器：移动平台、声音检测器中的至少一个声音检测器或云台，以减小由声音检测器中的一个或多个声音检测器检测到的其他影响，例如，噪声(例如，风噪声)，使得由声音检测器中的一个或多个声音检测器检测到的目标声音的声音质量得以提高。

在一些实施例中，声音检测器中的一个或多个声音检测器可以与移动平台一起移动。在一些实施例中，声音检测器中的一个或多个声音检测器可以例如通过由移动平台承载并被连接到声音检测器中的一个或多个声音检测器的云台来相对于移动平台移动。也就是说，声音检测器中的一个或多个声音检测器可以相对于平台主体移动。

在一些实施例中，可以通过目标声音的更高的强度和/或更高的信噪比来指示目标声音的增强的声音质量。

在本公开中，可以确定与具有较高的声音质量的声音相对应的声音检测器。例如，可以确定声音检测器中的如下至少一个声音检测器：所述至少一个声音检测器检测到的目标声音具有比声音检测器中的其他的一个或多个声音检测器检测到的目标声音更高的声音质量。此外，可以选择声音检测器中的该至少一个声音检测器作为用于记录来自目标的附加声音的至少一个通道。

在一些实施例中，传感器可以包括照相机，并且可以将声音检测器中的两个声音检测器确定为如下声音检测器：该声音检测器检测到的目标声音具有比声音检测器中的其他一个或多个声音检测器检测到的目标声音更高的声音质量。可以选择声音检测器中的该两个声音检测器作为用于记录被整合到由照相机拍摄的视频中的附加声音的两个通道。因此，视频可以包括声音质量相对较高的声音。

图9示出了根据本公开的各种所公开的实施例的示例性控制器101的示例性硬件配置的框图。如图9中所示，控制器101包括处理器801和存储器802。存储器802存储指令，所述指令用于由处理器801执行，以执行与本公开一致的方法，例如，如上所述的示例性拍摄控制方法中的一种。

在一些实施例中，处理器801可以包括任何合适的硬件处理器，例如，微处理器、微控制器、中央处理单元(cpu)、图形处理单元(gpu)、网络处理器(np)、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、或另一可编程逻辑器件、分立门逻辑器件或晶体管逻辑器件、分立硬件部件。在一些实施例中，存储器802可以包括非暂时性计算机可读存储介质，例如，随机存取存储器(ram)、只读存储器、闪存、硬盘存储装置或光介质。

在一些实施例中，被存储在存储器中的指令当由处理器执行时，可以使处理器：使用移动平台的多个声音检测器来检测来自目标的目标声音。

目标可以包括例如人脸或可以产生声音的物体。

在一些实施例中，指令还可以使处理器：根据目标声音来确定目标的目标位置。

例如，可以根据声音检测器的检测器位置和声音检测器分别检测到目标声音的检测时间点以及声速来确定目标位置。

在一些实施例中，所述指令还可以使处理器：至少部分地基于目标位置来控制移动平台。

在一些实施例中，至少部分地基于目标位置来控制移动平台，以使传感器大致指向目标，或进一步相对于目标来微调传感器。

在一些实施例中，可以控制移动平台以执行诸如使传感器大致指向目标或进一步相对于目标来微调传感器之类的操作。即，只要移动平台检测到来自目标的目标声音，移动平台就执行该操作。在一些其他实施例中，移动平台可以对目标声音中包括的声音指令做出响应。例如，移动平台可以仅在目标声音包括声音指令时执行操作，而在目标声音不包括声音指令时不执行操作。声音指令可以被预先编程在移动平台中或者可以被用户预先记录。声音指令可以包括例如“你好，这个方向”或“这边”。

在一些实施例中，指令还可以使处理器：控制传感器以获得测量数据。

在一些实施例中，可以至少部分地基于目标位置来控制传感器，以获得用于控制移动平台的测量数据。即，可以在控制移动平台的过程中使用测量数据。在一些实施例中，控制移动平台，并且还可以控制传感器以获得测量数据。例如，控制移动平台以使传感器大致指向目标，和/或以进一步相对于目标来微调传感器。此外，可以控制传感器以获得测量数据。

指令可以使处理器执行与本公开一致的方法，例如，上述示例方法的中的一种。

关于上述装置的功能或装置的部件的功能的细节，可以参考上述方法实施例，在此处不再重复对其的描述。

本领域普通技术人员将了解，上述示例性元素和算法步骤可以以电子硬件来实现、或者以计算机软件和电子硬件的组合来实现。这些功能是以硬件还是以软件来实现取决于技术方案的具体应用和设计约束。本领域普通技术人员可以针对不同的应用场景使用不同的方法来实现所描述的功能，但这些实现不应被视为超出本公开的范围。

出于简化目的，对示例性系统、装置和单元的操作的详细描述可以被省略，并且可以参考对示例性方法的描述。

所公开的系统、设备和方法可以以这里未描述的其他方式来实现。例如，上文描述的装置仅是说明性的。例如，单元的划分可以仅是逻辑功能划分，并且可以存在划分单元的其他方式。例如，可以组合多个单元或部件，或者可以将多个单元或部件集成到另一个系统中，或者可以忽略或不执行一些特征。另外，所示出或讨论的联接或直接联接或通信连接可以包括：可以是电气、机械或其他形式的直接连接或间接连接或通过一个或多个接口、装置或单元的通信连接。

被描述为分离部件的单元可以是或可以不是物理上分离的，并且被示为单元的部件可以是或可以不是物理单元。也就是说，这些单元可以位于一个地方，或者可以分布在多个网络元件上。可以根据实际需要选择部件中的一些或全部，以实现本公开的目的。

此外，本公开的各个实施例中的功能单元可以被集成到一个处理单元中，或者每个单元可以是物理上独立的单元，或两个或更多个单元可以被集成到一个单元中。

与本公开一致的方法可以以可以作为单独的产品出售或使用的非暂态计算机可读存储介质中存储的计算机程序的形式来实现。计算机程序可以包括指令，所述指令使计算设备(例如，处理器、个人计算机、服务器或网络设备)执行与本公开一致的方法(例如，上述示例性方法中的一种)的一部分或全部。存储介质可以是可以存储程序代码的任何介质，例如，usb盘、移动硬盘、只读存储器(rom)、随机存取存储器(ram)、磁盘或光盘。

通过考虑本文公开的实施例的说明和实践，本公开的其他实施例对于本领域技术人员而言是显而易见的。说明书和示例旨在被认为仅仅是示例性的并且不旨在限制本公开的范围，本发明的真正的范围和精神由随附的权利要求指示。