多路传感数据融合的方法和系统与流程
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本发明实施例涉及导航领域，并且更具体地涉及多路传感数据融合的方法和系统。
背景技术：
无人载具，例如，无人飞行器(unmannedaerialvehicle，简称为“uav”)，也称为无人机、无人驾驶的汽车等在搜救、勘探等很多领域有着越来越广泛的应用。通常采用远程控制器对无人载具进行控制和导航。但在一些场景中，无人载具能够根据环境信息进行自主遥感和导航。
可以通过多种传感器获取无人载具的位置信息和运动信息来实现无人载具的控制和导航。但是目前无人载具的传感系统并不是太理想。例如，大多数的传感系统都是采用单线决策模式并未充分考虑冗余裕度，单线决策模式在由于特定环境(例如，室内、室外、高空、低空)导致一个或多个传感器故障或获取到不准确的数据时，无法选择可用的传感器和/或传感数据。由此会降低无人载具的安全性能。
因此，有必要提供一种多路传感数据融合的方法，提高无人载具的安全性能。
技术实现要素：
本发明实施例提供多路传感数据融合的方法和系统，能够通过对可移动设备中的多路传感器获取到的数据进行融合，提高可移动设备的安全性能。
第一方面，提供了一种用于确定可移动设备的状态的方法，所述可移动设备包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同，所述方法包括：在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
本发明实施例在确定可移动设备的状态的过程中，根据第一传感器系统获取到的第一传感数据确定可移动设备的预测状态，并根据第二传感器系统获取到的第二传感数据确定可移动设备的观测状态，通过预测状态与观测状态之间的偏差，确定是否根据观测状态更新可移动设备的状态。由此，能够通过对各传感器系统进行校验，在多路传感器系统中选择出合适的传感器系统，并根据选择出的合适的传感器系统获取到的传感数据更新可移动设备的状态，能够提高可移动设备的安全性能。
第二方面，提供了一种用于在可移动设备中选择成像设备的方法，所述可移动设备上设置有多个成像设备，所述多个成像设备包括至少一个第一成像设备和至少一个第二成像设备，所述第一成像设备工作在多目视觉模式下，所述第二成像设备工作在单目视觉模式下，所述方法包括：确定所述多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置；根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的；采用所述目标成像设备获取图像数据。
本发明实施例的用于在可移动设备中选择成像设备的方法，根据选择信息，从多个成像设备中选择目标成像设备，由此能够选择更为合适的成像设备以获取更为准确的图像数据，以使得在将成像设备获取到的图像数据与其他传感器系统获取到的数据进行融合时，确定更为准确的可移动设备的状态，提高可移动设备的安全性能。
第三方面，提供了一种用于确定可移动设备上用于视觉传感的成像设备的可用性的方法，包括：根据多个用于视觉传感的成像设备获取到的图像数据，确定所述可移动设备的多个第一观测状态；根据惯性测量单元imu获取到的传感数据，确定所述可移动设备的多个预测状态；根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。
本发明实施例的用于确定可移动设备上用于视觉传感的成像设备的可用性的方法，通过惯性测量单元获取到的传感数据对多个成像设备获取到的图像数据进行校验，确定成像设备的可用性。由此，能够通过可用的成像设备获取到可靠的图像数据，以使得在将可用的成像设备获取到的图像数据与其他传感器系统获取到的数据进行融合时，确定更为准确的可移动设备的状态，提高可移动设备的安全性能。
第四方面，提供了一种用于确定可移动设备的状态的系统。包括：存储器，用于存储程序，至少一个处理器，通过执行所述存储器中的程序，单独地或共同地用于：获取与所述可移动设备相关联的多个传感器获取的传感数据，其中，所述多个传感器包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同；在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
第五方面，提供了一种用于在可移动设备中选择成像设备的系统，包括：存储器，用于存储程序，至少一个处理器，通过执行存储器存储的程序，单独地或共同地用于：确定多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置，其中，所述多个成像设备设置在所述可移动设备上，所述多个成像设备包括至少一个第一成像设备和至少一个第二成像设备，所述第一成像设备工作在多目视觉模式下，所述第二成像设备工作在单目视觉模式下；根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的；控制所述目标成像设备获取图像数据。
第六方面，提供了一种用于确定可移动设备上用于视觉传感的成像设备的可用性的系统，包括：存储器，用于存储程序；至少一个处理器，通过执行存储器的程序，单独地或共同地用于：根据多个用于视觉传感的成像设备获取到的图像数据，确定所述无人机的多个第一观测状态；根据惯性测量单元imu获取到的传感数据，确定所述可移动设备的多个预测状态；根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。
第七方面，提供了一种用于确定可移动设备的状态的系统，包括：获取模块，用于获取与所述可移动设备相关联的多个传感器获取的传感数据，其中，所述多个传感器包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同；确定模块，用于在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；所述确定模块，还用于当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；所述确定模块，还用于根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
第八方面，提供了一种用于在可移动设备中选择成像设备的系统，包括：确定模块，用于确定多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置，其中，所述多个成像设备设置在所述可移动设备上，所述多个成像设备包括至少一个第一成像设备和至少一个第二成像设备，所述第一成像设备工作在多目视觉模式下，所述第二成像设备工作在单目视觉模式下；处理模块，用于根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的；所述处理模块，还用于控制所述目标成像设备获取图像数据。
第九方面，提供了一种用于确定可移动设备上用于视觉传感的成像设备的可用性的系统，包括：第一处理模块，用于根据多个用于视觉传感的成像设备获取到的图像数据，确定所述可移动设备的多个第一观测状态；第二处理模块，用于根据惯性测量单元imu获取到的传感数据，确定所述可移动设备的多个预测状态；第三处理模块，用于根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。
第十方面，提供了一种存储介质，所述存储介质存储指令，所述指令可以用于执行第一方面中的方法。
第十一方面，提供了一种存储介质，所述存储介质存储指令，所述指令可以用于执行第二方面中的方法。
第十二方面，提供了一种存储介质，所述存储介质存储指令，所述指令可以用于执行第三方面中的方法。
因此，在本发明实施例中，通过对多路传感器系统的数据进行校验，在多路传感器中选择出合适的传感器系统，并将通过将选择出的合适的传感器系统获取到的数据进行融合，确定出可移动设备的更为准确的状态，能够提高可移动设备的安全性能。
附图说明
图1是根据本发明实施例的具有多个传感器系统的可移动设备的示意图；
图2(a)和(b)是根据本发明实施例的传感器控制器与多个传感器系统进行通信的示意图；
图3是根据本发明实施例的确定可移动设备的状态的方法的示意性流程图；
图4是图3中所示出的两个传感器系统的不同周期性采样频率的示意图；
图5是根据本发明实施例的确定可移动设备的状态的方法的另一示意性流程图；
图6是根据本发明另一实施例的确定可移动设备的状态的方法的示意性流程图；
图7是根据本发明实施例的选择成像设备的方法的示意性流程图；
图8是根据本发明实施例的手眼标定方法的示意图；
图9是根据本发明实施例的根据预设距离阈值选择视觉传感器的方法的示意图；
图10是根据本发明实施例的根据预设高度阈值选择视觉传感器的方法的示意图；
图11是根据本发明实施例的双目相机的示意图；
图12是根据本发明实施例的可移动设备的视觉传感范围的示意图；
图13是根据本发明实施例的确定成像设备的可用性的方法的示意性流程图；
图14是根据本发明实施例的用于在不同条件下选择传感器和/或数据的冗余决策方法的示意性流程图；
图15是根据本发明实施例的用于确定可移动设备的状态的系统的示意性框图；
图16是根据本发明实施例的用于在可移动设备中选择成像设备的系统的示意性框图；
图17是根据本发明实施例的用于确定可移动设备上用于视觉传感的成像设备的可用性的系统的示意性框图。
图18是根据本发明另一实施例的可移动设备的示意性框图。
具体实施方式
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。
应理解，本文中的具体的例子只是为了帮助本领域技术人员更好地理解本公开实施例，而非限制本公开实施例的范围。
本发明实施例可以应用于各种类型的可移动设备。本发明实施例中的可移动设备可以在任何合适的环境下移动，例如，空气中(例如，定翼飞机、旋翼飞机，或既没有定翼也没有旋翼的飞机)、水中(例如，轮船或潜水艇)、陆地上(例如，汽车或火车)、太空(例如，太空飞机、卫星或探测器)，以及以上各种环境的任何组合。可移动设备可以是飞机，例如无人机(unmannedaerialvehicle，简称为“uav”)。在一些实施例中，可移动设备可以承载生命体，例如，人或动物。
在本发明实施例中，可移动设备包括一个或多个传感器系统，用于获取各种类型的数据。例如，用于获取与可移动设备的状态相关的信息，环境信息或者环境中的物体的信息。本发明实施例中的传感器包括位置传感器(例如，全球定位系统(globalpositioningsystem，简称为“gps”)传感器、三角网定位传感器)、视觉传感器(例如，能够探测可见光、红外光或者紫外光的成像设备，例如，摄像机)、接近传感器或距离传感器(例如，超声波传感器、雷达、飞行时间或深度相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(inertialmeasurementunits，简称为“imu”))、高度传感器、姿态传感器(例如：指南针)、压力传感器(例如，气压计)、音频传感器(例如，麦克风)、或磁场传感器(例如，磁力计、电磁传感器)。可移动设备可以包括任意合适数量(例如，一个、两个、三个或更多个)的上述传感器或上述传感器的组合。并且，能够通过不同种类的传感器接收数据。
可以理解的是，不同种类的传感器能够通过不同的测量方式测量得到不同种类的信号或信息(例如，位置信息、方位信息、速度信息、加速度信息、距离信息、压力信息等)。例如，可移动设备中的传感器中包括多个有源传感器和多个无源传感器。再比如，一些传感器能够提供全局坐标系中的绝对测量数据(例如，由gps传感器提供的位置数据、由指南针或磁力计提供的姿态数据)，而有些传感器能够提供本地坐标系中的相对测量数据(例如，由陀螺仪提供的相对角速度、由加速度计提供的相对移动加速度、由视觉传感器提供的相对姿态信息，由超声波传感器、雷达或飞行时间相机提供的相对距离信息)。在很多情况下，本地坐标系通常被定义为相对于uav的体坐标系。
在本发明实施例中，可移动设备的状态信息可以包括用于标识可移动设备相对于一个固定参考帧或移动参考帧的三维(threedimensional，简称为“3d”)空间位置的位置信息。例如，位置信息中包括定位信息(例如，高度、经度和/或纬度)和方位信息(例如，滚转角、俯仰角和/或偏航角)。状态信息还可以包括运动信息，运动信息中包括可移动设备在6自由度中的一个或多个自由度下的移动速度和/或角速度以及加速度。并且可以通过一个或多个传感器系统确定可移动设备在6自由度下的空间位置和/或运动(例如，在3自由度下的位置和/或位移，在3自由度下的方向和/或旋转)。可以通过一个或多个传感器系统确定可移动设备相对于一个或多个设备(例如，遥控器、障碍物、地面、目标物体等)的距离和/或相对运动。
在本发明实施例中，通过传感器系统获取到的数据能够反映环境信息。例如，传感数据能够反映可移动设备所处的环境的类型，例如，室内环境、室外环境、低空环境、高空环境。并且传感数据能够进一步反映当前环境条件，所述的当前环境条件包括天气(例如，晴朗、下雨、下雪)、视界条件、风速、当日时间等。进一步地，传感器获取到的环境信息还可以包括环境中的其他物体(例如，上文中提到的障碍物)的信息。可选地，障碍物的信息包括数量信息、密度信息、几何形状信息和/或空间位置信息。
在本发明实施例中，检测结果是通过将多个传感器获取到的传感数据进行传感器融合处理得到的。例如，采用传感器融合方式将不同种类的传感器(例如，gps传感器、惯性传感器、视觉传感器、雷达、超声传感器等)获取到的传感数据进行融合。并且，可以采用传感器融合方式将多种类型的传感数据，这些多种类型的传感数据可以包括绝对测量数据(例如，gps数据)和相对测量数据(例如，视觉传感数据、雷达数据或超声波传感数据)。由此，通过传感器融合方式能够弥补单个传感器的局限性或不准确性，从而提高检测结果的准确性和可靠性。
在本发明实施例中，传感器系统控制器能够处理多个传感器系统获取到的传感数据，并且能够选择用于确定可移动设备的状态的传感器系统和/或传感数据。传感器系统控制器可以设置在可移动设备上，也可以不设置在可移动设备上。由选择出的传感器系统获取到的传感数据将会被传送给飞行控制器。飞行控制器能够根据传感数据通过一个或多个电子速度控制单元、一个或多个动力单元控制可移动设备的运动。例如，由选择出的传感器系统获取到的传感数据能够被用于控制可移动设备的空间位置、速度和/或方向(例如，通过一个合适的处理单元和/或控制模块)。除此之外，传感器系统能够提供用于确定可移动设备的周边环境的传感数据，这些传感数据可以包括天气条件、潜在的障碍物的距离、地理特征位置、人造结构的位置等。
现有相关技术中，单传感器系统的性能是不理想的。例如，当可移动设备在恶劣天气条件下、室内环境下或者建筑物附近时，gps传感器系统会受到限制。虽然差分全球定位系统(differentialglobalpositioningsystem，简称为“dgps”)和实时差分(realtimekinematic，简称为“rtk”)gps相比传统的gps具有更高的精度，但这些技术具有各种各样的制约因素影响了他们的应用。例如，视觉传感系统需要大量的计算预估，并且视觉传感系统的精度会受图像质量(例如，低图像分辨率、图像模糊)的影响，图像失真同样也会降低视觉传感系统的性能。再例如，距离传感器系统会受到传感器精度和使用范围的影响，比如长距离传感器由于太大会导致在某些场景中不能用。除此之外，雷达传感器在强光照条件下性能会降低。
为了降低现有相关技术中由于单个传感器系统的潜在缺陷导致的测量误差，本发明实施例中通过选择出的能够获取有效或者准确的传感数据的传感器系统获取到的传感数据确定可移动设备的状态。本发明实施例中的传感器系统控制器能够通过将多个不同的传感器系统获取到的传感器数据进行相互校验，通过校验的结果确定是否将传感数据进行融合的方式确定可移动设备的状态。传感器系统控制器可以为不同的环境类型选择激活和/或操作不同的传感器系统。进一步地，传感器系统控制器可以根据传感数据的有效性和/或可移动设备所处的环境平滑的从一个传感器系统切换到另一个传感器系统。
由此，本发明实施例的多路传感数据融合的方法，能够利用选择出的传感器的优势避免单个传感器系统的测量误差和故障。多路传感数据融合的方法可以只将传感器系统获取到的传感数据中的部分传感数据进行融合。由此，能够忽略不充分或不可靠的传感数据，进而能够提高在各种环境下确定的可移动设备的运动和/或位置的准确性。
在本发明实施例中，可以将任何合适数量和种类的传感器系统进行融合。例如，可以将gps传感器系统、imu传感器系统和视觉传感器系统进行融合。或者可以将gpg传感器系统和inu传感器系统进行融合。或者可以将gps传感器系统和视觉传感器系统进行融合。并且多个传感器系统获取到的传感数据可以根据任意合适的顺序进行融合，例如，可以先将gps传感数据与imu传感数据进行融合，之后将视觉传感数据与gpg传感数据和imu传感数据进行融合。
图1示出了根据本发明实施例的可移动设备100。可移动设备100可以为无人机。并且可移动设备100上设置有多个传感器系统。如图1中所示出的，多个传感系统包括imu110、gps传感器120，和/或多个视觉传感器130。由多个传感器系统获取到的传感数据能够用于获取位置和/或运动信息，由此可以根据这些信息对可移动设备进行控制和/或导航。多个传感器系统与一个设置在可移动设备上的传感器系统控制器140进行通信。可选地，传感器控制器140也可以不设置在可移动设备100上。传感器控制器140包括一个或多个处理器。传感器控制器140采用冗余决策方式确定在不同的条件下选择哪些传感器系统和/或哪些传感数据。这里的不同的条件包括传感器故障、传感数据不准确或传感数据偏差、可移动设备100的运行环境等。
其中，imu110包括一个或多个加速度计、一个或多个陀螺仪、一个或多个磁力计、或者上述装置的组合。例如，imu110可以包括3个加速度计，这3个加速度计用于测量可移动设备在3维方向上进行移动的线加速度。以及包括3个陀螺仪，这3个陀螺仪用于测量可移动设备在3维方向上进行旋转的角加速度。由于imu110刚性连接到可移动设备上，可移动设备的运动与imu的运动一致。可选地，imu110可以沿着6个自由度相对于可移动设备运动。imu110可以直接连接在可移动设备上，或者imu110可以连接在安装在可移动设备上的支撑部件上。imu110可以永久或者可拆卸的连接到可移动设备上。imu110能够提供用于指示可移动设备的运动的信号，这里的运动例如可以是位置、方向、速度和/或加速度。例如，imu110可以获取代表可移动设备的加速度的信号，通过对信号进行一次积分获得可移动设备的速度信息，通过两次积分可以得到可移动设备的位置和/或方向信息。
gps传感器120能够通过与一个或多个gps卫星122通信，获取gps数据信号124。gps传感器120刚性连接到可移动设备上，因此gps传感器120的位置与可移动设备的位置一致。可选地，gps传感器120可以沿着6个自由度相对于可移动设备运动。gps传感器120可以直接连接在可移动设备上，或者gps传感器120可以连接在安装在可移动设备上的支撑部件上。支撑部件可以包括负载，例如载体(carrier)或有效负载(payload)。gps传感器120可以永久或者可拆卸的连接到可移动设备上。gps传感器120可以是可移动设备的有效载荷的一部分。
gps传感器120获取到的gps信号被用来确定可移动设备相对于整体坐标系的位置(例如，高度、经度、纬度)，并且能够被用来确定可移动设备的移动速度和/或加速度。gps传感器120可以采用任意合适的gps技术，例如dgps和rtk-gps。gps传感器能够用于在任意合适精度下确定可移动设备的位置。这里的精度例如是米级精度(例如，10以内、5米以内、2米以内等)或者厘米级精度(例如，500cm以内、200cm以内、100cm以内、50cm以内等)。
视觉传感器130可以是任何能够通过获取目标设备(例如，目标设备102)的周围环境的光学信号，并根据获取到的光学信号产生图像数据的设备。可移动设备可以包括合适数量的视觉传感器。本发明实施例中的视觉传感器可以交替的作为摄像机或成像设备。可选地，一个视觉传感器可以是一个照相机或一个成像设备的一个光学部件。视觉传感器可以是能够在多种模式下工作的不同成像设备的一部分。例如，视觉传感器可以是一个或多个单目相机和/或多目相机的一个部分。
在本发明实施例中，成像设备包括至少一个工作在单目模式下的成像设备和至少一个工作在多目模式下的成像设备。其中，多目模式包括双模模式。如图1中所示出的，成像设备可以包括双目相机132-1和双目相机132-2，每个双目相机包括一对视觉传感器(图中未示出)。一对视觉传感器在可移动设备上是横向隔开的，由此这两个视觉传感器能够从不同的视角提供图像，由此形成立体视觉图像。例如，两个视觉传感器可以横向隔开1m、500cm等。双目相机可以安装在可移动设备的同一侧，或者可移动设备的相对的侧面上。一个或多个双目相机可以安装在可移动设备的前、后、上、下或侧面。双目相机刚性的连接到可移动设备上，因此通过双目相机获取到的位置信息与可移动设备的位置信息一致。可选地，双目相机可以可拆卸的通过一个或多个载体连接到可移动设备上，由此使得双目摄像机能够沿着6个自由度相对于可移动设备运动。
在本发明实施例中，成像设备包括的单目相机134包括一个视觉传感器，单目相机134能够可拆卸的通过载体连接到可移动设备上，由此使得单目相机能够沿着6个自由度相对于可移动设备运动。可选地，单目相机可以直接安装在可移动设备上，或者可以连接到一个安装到可移动设备上的支撑部件上。单目相机可以是可移动设备的有效负载的一部分。并且单目相机134能够获取环境中的目标设备102的图像。
在本发明实施例中，视觉传感器130能够在特定的频率下同时获得图像，由此能够产生图像数据的时间序列。采用合适的方法(例如：机器视觉算法)对图像数据的时间序列进行处理，并根据处理后得到的信息确定可移动设备的位置、方向和/或速度。例如，可以通过机器视觉算法确定每个图像上的一个或多个特征点(例如，物体的边缘、物体的中心、两种不同颜色的物体的边界)。任何合适的方法以及方法的组合可以用来识别和提供特征点的数字表示，例如，加速段测试算法、二进制鲁棒独立基本特征算法。然后将图像数据进行匹配以便于识别出出现在两个视觉传感器获得的图像中的一系列常规特征点。进而可以根据常规特征点确定出可移动设备的运动信息、视觉传感器相对于可移动设备的空间位置以及视觉传感器之间的相对空间位置。
虽然在图1中未示出，本发明实施例的可移动设备100还可以包括距离传感器系统，距离传感器系统用于可移动设备的位置信息。距离传感器可以是任何能够获取可移动设备与一个或多个周边物体之间的距离的距离传感器。例如，距离传感器系统可以包括超声波传感器和/或雷达传感器。在本发明实施例中，距离传感器能够通过旋转(例如360度)获取可移动设备周边的多个物体的距离和位置信息。并且，可移动设备周边的多个物体的距离和位置能够用来确定可移动设备的空间位置和/或运动信息。
图2(a)和(b)示出了根据本发明实施例的传感器系统控制器140与多个传感器系统进行通信的示意图。传感器系统控制器140能够可拆卸的与任何数量的传感器系统连接。例如，图2(a)中所示出的，传感器系统控制器140与三个传感器系统进行通信，如图2(b)中所示出的，传感器系统控制器140与n个传感器系统进行通信，其中，n为大于3的整数。传感器系统控制器140包括一个或多个处理器，所述一个或多个处理器用于获取连接到可移动设备上的多个传感器系统获取到的传感数据。并且传感器系统控制器140能够根据获取到的传感数据确定可移动设备的状态。可移动设备的状态可以是物理状态，物理状态可以通过位置信息和/或运动信息来表征。可移动设备的位置信息包括定位信息和/或方向信息。可移动设备的运动信息包括线速度、角速度、线加速度和/或角加速度。
在本发明实施例中，传感器系统控制器140采用冗余决策算法对多个不同传感器系统的数据的有效性进行相互校验，由此选择出在不同的环境下可以采用的传感器和/或传感数据。对传感数据进行相互校验和确认带来额外的冗余，由此能够提高可移动设备的操作安全系数。
如图2(a)中所示出的，以上所描述的多个传感器包括一个第一传感器系统210，一个第二传感器系统220和一个第三传感器系统230。第一传感器系统210包括imu，所述imu包括至少一个加速度计和/或陀螺仪。第二传感器系统220包括gps接收器。可选地，第二传感器系统220包括一个或多个视觉传感器，当包括多个视觉传感器时，多个传感器连接到可移动设备的不同部分。当第二传感器系统220包括一个gps接收器时，第三传感器系统230包括一个或多个视觉传感器。当第二传感器系统220包括一个或多个传感器时，第三传感器系统230包括一个gps接收器。可选地，视觉传感器可以包括至少一个双目相机和/或至少一个单目相机。
传感器系统210、220和230具有不同的采样频率。例如，第一传感器系统210具有比第二传感器系统220和第三传感器系统230更高的采样频率。举例来说，第一传感器系统210的采样频率可以设置为100-1000hz，第二传感器系统220的采样频率可以设置为10-30hz，第三传感器系统230的采样频率可以设置为20-60hz。可选地，imu采集惯性传感数据的频率大约为
200hz，gps接收器采集gps数据的频率大约为20hz，视觉传感器采集图像数据的频率大约为50hz。由于，第二传感器系统220和第三传感器系统230具有比第一传感器系统低的采样频率，因此会出现第一传感器系统210获取到最新数据，而第二传感器系统220和第三传感器系统230没有获取到最新数据的时间段。
传感器系统控制器140能够对多个传感器系统的传感数据的有效性进行相互校验。例如，传感器系统控制器140能够计算不同传感器系统获取到的传感数据之间的偏差。在本发明实施例中，传感器系统控制140能够计算由第一传感器系统210获取到的传感数据与由第二传感器系统220获取到的传感数据的第一偏差，以及计算由第二传感器系统220获取到的传感数据与由第三传感器系统230获取到的传感数据之间的第二偏差。并且进一步地，传感器系统控制器140计算由第一传感器系统210获取到的传感数据和由第三传感器系统230获取到的传感数据之间的第三偏差。可以理解的是，相互校验可以扩展到n个传感器系统和n组不同的传感数据。例如，在图2中所示出的，相互校验可以在1个传感器系统与n个传感器系统之间(1:n)，或者校验可以在n个传感器系统与n个传感器系统之间(n:n)，或者相互校验可以在x个传感器系统与y个传感器系统之间(x:y)，其中，x的值可以与y的值相同，x的值也可以与y的值不相同。
在本发明实施例中，第一偏差可以用于指示由第二传感器系统获取到的传感数据相对于第一传感器系统是否有效。同样的，第二偏差可以用于指示由第三传感器系统获取的传感数据相对于第二传感器系统以及第一传感器系统是否有效。同样的，第三偏差用于指示由第三传感器系统获取到的传感数据相对于第一传感器系统是否有效。
图3示出了根据本发明实施例的确定可移动设备的物理状态的方法的示意性流程图。可移动设备的物理状态可以包括位置和/或运动信息。方法300可以由传感器系统控制器执行，其中，传感器系统控制器用于获取由第一传感器系统获取到的第一传感数据和由第二传感器系统获取到的第二传感数据。第一传感器系统具有第一采样频率，第二传感器系统具有第二采样频率，并且可选地，第一采样频率高于第二采样频率。如图3所示，方法300包括：
s301，在第二传感器系统获取到的第二传感数据不可以或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；
s302，当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；
举例来说，如图4中所示出的，在t1<t<t2和t2<t<t3的时段内，第二传感器系统的第二传感数据不可用或者未更新。在上述的时段内，传感器系统控制器可以根据由第一传感器系统获取到的第一数据确定的多个先验物理状态，确定可移动设备的预测状态。
如图4中所示出的，第二传感器系统的第二传感数据在特定的时刻(例如，t1、t2、t3等)可用或更新。传感器系统控制器在上述特定的时刻获取由第二传感器系统获取到的第二传感数据，并根据获取到的第二传感数据确定可移动设备的第一观测状态。
s303，根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
在本发明实施例中，可选地，第二传感器系统包括gps传感器，当gps传感器从两个或多个卫星接收到gps信号时，gps数据可用或者发生更新。
在本发明实施例中，可选地，第二传感器系统包括一个或多个视觉传感器，当视觉传感器获取到图像时，视觉传感数据可用或者发生更新。
可以理解的是，每次当第二传感器系统获取到的第二传感数据可用或更新时，传感器系统控制器都会对第二传感数据进行校验。具体包括，确定预测状态与第一观测状态之间的第一偏差，第一偏差是第一观测状态与预测状态之间的偏差的一个度量，第一偏差用于指示第二传感器系统获取到的第二传感数据的可用性。
在本发明实施例中，可选地，第一偏差可以通过一种或多种数据统计的方法确定。例如，第一偏差可以是预测状态与第一观测状态之间的马氏距离(mahalanobisdistance)或欧式距离。马氏距离通过将第一观测状态与预测状态的分布进行对比计算得到。预测状态的分布包括一组根据先验预测状态确定的预测状态，其中，先验预测状态是在第二传感器系统的第二传感数据不可以或未更新的时段内确定的。如图4中所示出的，可以在第二传感器系统获取到的第二传感数据可用或更新时计算马氏距离。例如，在t1时刻，马氏距离是第一观测状态(在位置z处)和包括多个预测状态μ的分布的平均值μm之间的测量距离，上述的分布是根据在t1<t<t2时段内确定的先验预测状态s确定的，μm与可移动设备在t2时刻的预测状态相对应。位置z与在t2时刻根据第二传感器系统获取到的第二数据确定的观测状态相对应。当位置z在μm处时，马氏距离为0，并且马氏距离随着z相对于μm的偏移量的增大而增大。
并且，预测状态与观测状态之间的马氏距离以及协方差矩阵会随着第二传感器系统获取到的第二传感数据可用或更新而实时更新。例如，在t3时刻，马氏距离是另一个第一观测状态(在位置z’处)和包括多个预测状态μ’的分布的平均值μm’之间的测量距离。上述的分布是根据在t2<t<t3时段内确定的先验预测状态s’确定的。或者可选的，上述的分布是根据在t1<t<t3时段内确定的先验预测状态确定的。
在本发明实施例中，马氏距离可以由公式(1)表示：
其中，zk与第一观测状态相对应，ck是一个常数，
在本发明实施例中，可选地，在s303中，当第一偏差小于或等于第一预设阈值时，传感器系统控制器确定根据预测状态和第一观测状态确定可移动设备的状态。具体地，可以将预测状态与第一观测状态进行融合确定可移动设备的状态，进行融合的方法可以是卡尔曼滤波(kalmanfilter)、扩展的卡尔曼滤波、无迹卡尔曼滤波等。
在本发明实施例中，可选地，传感器系统控制器可以丢弃由第二传感器系统获取到的第二传感数据。例如，当第一偏差大于第一预设阈值时，传感器系统控制器可以不根据第一观测状态确定可移动设备的状态。在这种情况下，传感器系统控制器可以只根据第一传感器系统获取的第一传感数据确定的预测状态确定可移动设备的状态。例如，可以选择一个预测状态确定为可移动设备的状态。
在本发明实施例中，可选地，当第一偏差(例如，马氏距离、欧式距离)大于第一预设阈值时，可以认为第二传感器系统出现故障。例如，第二传感器系统中的传感器相对于初始校准位置出现漂移。例如，第一预设阈值可以设置为偏离分布的平均值的1个、2个、3个或4个标准差的数值，或者第一预设阈值可以是一个相对于第二传感器系统中的所有传感器都适用的一个值，或者第一预设阈值可以为一个固定值或者可以是一个可变的值。
需要说明的是，上述对第一预设阈值的描述可以适用于本发明实施例中的其他预设阈值。
下面将以第一传感器系统为imu，第二传感器系统为gps传感器为例，描述根据本发明确定可移动设备的状态的方法。gps传感器能够维护自身的一个状态[px,py,vx,vy]t。由于gps传感器的z方向不准确，这里并没有把z方向的量估算出来。为了使用imu数据和gps数据进行融合，将imu中的加速度数据作为一个变量输入到传感器系统控制器中，将gps传感器获取的位置数据和速度数据作为观测量。得到的连续的系统方程和观测方程分别表示为公式(2)和(3)：
z＝cx+δ(3)
在公式(2)和(3)中，状态向量x＝[px,py,vx,vy]t，[px,py]t是可移动设备的水平位置，[vx,vy]t是可移动设备的水平速度，控制向量
根据线性定场连续系统准则对上述矩阵a、b和c进行离散化，由于离散化主要是对描述系统动态特性的状态方程而言的，故观测方程为静态的代数方程，其离散化后保持不变，系统方程离散化后为：
xk＝gxk-1+huk；
其中，t为采样时间，例如，imu中的加速度计的采样频率为1000hz，那这里t＝1000s。根据前面的描述可知，imu的采样频率通常比gps传感器的采样频率要高。例如，imu的采样频率可以比gps传感器的采用频率高1个数量级、2个数量级或更多个数量级。在gps数据可用之前，采用imu数据预测可移动设备的状态和协方差，直到gps数据到来且质量可靠的时候，才更新一次系统的状态。
需要说明的是，在采用卡尔曼滤波方式融合imu数据和gps数据时，每次当gps数据到达时，都需要采用上文中所述的校验方法对gps数据进行校验。
下面将以第一传感器系统为imu，第二传感器系统包括多个视觉传感器为例，描述根据本发明确定可移动设备的状态的方法。多个视觉传感器包括安装在可移动设备的不同位置处(前、后、上、下和两侧)的双目相机。imu的采样频率高于视觉传感器的采样频率。在视觉传感器的数据可用之前，使用imu数据预测可移动设备的状态，表示为：
系统状态x＝[px,py,pz,vx,vy,vz]t；
视觉传感器的输出都是针对初始关键帧的观测：
z1＝[i3×303×3][pv]t；
z2＝[i3×303×3][pv]t；
z3＝[i3×303×3][pv]t。
如果可移动设备包括n路双目相机，需要对系统进行n次更新。只有等到视觉传感器的数据到来且质量可靠时，才根据视觉传感器的观测结果更新可移动设备的状态。
同样需要说明的是，在采用卡尔曼滤波方式融合imu数据和视觉传感器数据时，每次当视觉传感器数据到达时，都需要采用上文中所述的校验方法对视觉传感器数据进行校验。
在本发明实施例中，可选地，如图5所示，所述方法还包括：
s304，获取第三传感器系统获取到的第三传感数据。
可选地，在s304中，第三传感器系统的采样频率低于第一传感器系统的采样频率，例如，第三传感器系统的采样频率比第一传感器系统的采样频率低1个数量级、2个数量级或更多个数量级。第三传感器系统的采样频率和第二传感器系统的采样频率可以相同或不同。
在本发明实施例中，可选地，第一传感器系统包括imu，第二传感器系统包括gps传感器，第三传感器系统包括一个或多个视觉传感器。
具体地，传感器系统控制器获取第一传感器系统获取到的第一传感数据。之后在第二传感器系统和第三传感器系统的传感数据不可用或未更新时，传感器系统控制器根据第一传感数据确定可移动设备的预测状态。传感器系统控制器在第二传感器系统获取到的第二传感数据可用或更新时，获取所述第二传感数据，并根据第二传感数据确定第一观测状态。同样在第三传感器系统获取到的第三传感数据可用或更新时，获取所述第三传感数据，并根据所述第三传感数据确定第三观测状态。
在本发明实施例中，可选地，第一观测状态为根据gps数据确定的观测状态，第二观测状态为根据视觉数据确定的观测状态。当确定第一偏差小于或等于第一预设阈值时，gps数据有效，并且gps数据可以用来对视觉数据进行校验。例如，分别获取当前帧到关键帧的视觉计算位移和gps计算位移，之后，计算这两个位移的第二偏差(例如，欧式距离或马氏距离)，如果欧式距离或马氏距离小于或等于第二预设阈值，则认为视觉数据有效。相反地，如果欧式距离或马氏距离大于第二预设阈值，认为视觉数据无效。
之后，视觉传感器系统控制器根据第二偏差确定是否根据第二观测状态更新可移动设备的状态。视觉传感器系统控制器根据将第二偏差与第二预设阈值进行比较的结果，确定是否根据第二观测状态更新可移动设备的状态。如果第二偏差小于或等于第二预设阈值，传感器系统控制器根据预测状态和第二观测状态确定可移动设备的状态。
在本发明实施例中，可选地，传感器系统控制器可以丢弃由第三传感器系统获取到的第三传感数据。例如，当第二偏差大于第二预设阈值时，传感器系统控制器可以不根据第二观测状态确定可移动设备的状态。在这种情况下，如果第一偏差小于或等于第一预设阈值，传感器系统控制器可以根据预测状态和第一观测状态确定可移动设备的状态。
图6示出了根据本发明另一实施例的确定可移动设备的状态的方法的示意性流程图。如图6所示，方法600包括：
s601，获取第一传感器系统获取的第一传感数据；
s602，根据第一传感数据确定预测状态；
s603，获取第二传感器系统获取的第二传感数据；
s604，根据第二传感数据确定第一观测状态；
s605，获取第三传感器系统获取的第三传感数据；
s606，根据第三传感数据确定第二观测状态；
s607，确定预测状态与第一预测状态之间的第一偏差d12；
s608，确定预测状态与第二预测状态之间的第二偏差d13；
s609，确定d12是否小于或等于第一预设阈值t12；
s610，确定d13是否小于或等于第二预设阈值t13；
s611，当确定d12大于t12，且d13大于t13时，确定只根据预测状态确定可移动设备的状态；
s612，当确定d12小于或等于t12，且d13大于t13时，确定根据预测状态和第一观测状态确定所述可移动设备的状态；
s613，当确定d12大于t12，且d13小于或等于t13时，确定根据预测状态和第二观测状态更新所述可移动设备的状态；
s614，当确定d12小于或等于t12，且d13小于或等于t13时，确定第一观测状态和第二观测状态之间的第三偏差d23；
s615，确定d23是否小于或等于第三预设阈值t23；
s616，当确定d23小于或等于t23时，确定根据预测状态和第一观测状态和/或第二观测状态确定所述可移动设备的状态；
s617，当确定d23小于或等于t23时，确定根据第一观测状态和第二观测状态确定所述可移动设备的状态；
可以理解的是，s616和s617是并列的可选方案，传感器系统控制器可以选择执行s616，或者选择执行s617。
s618，当确定d23大于t23，且d12小于d23时，确定根据预测状态和第一观测状态确定所述可移动设备的状态；
s619，当确定d23大于t23，且d12大于d23时，确定根据预测状态和第二观测状态确定所述可移动设备的状态。
可以理解的是，s618和s619是并列的可选方案，传感器系统控制器可以选择执行s618，或者选择执行s619。
具体来说，传感器系统控制器获取由第一传感器系统获取的第一传感数据，之后在第二传感器系统和第三传感器系统获取到的传感数据不可用或者未更新的时间段内，传感器系统控制器根据第一传感数据确定可移动设备的预测状态。当第二传感器系统获取到的第二传感数据可用或更新时，传感器系统控制器获取所述第二传感数据，之后传感器系统控制器根据第二传感数据确定可移动设备的第一观测状态。同样的当第三传感器系统获取到的第三传感数据可用或更新时，传感器系统控制器获取所述第三传感数据，之后根据第三传感数据确定可移动设备的第二观测状态。
可以理解的是，当第二传感器系统获取到的第二传感数据可用或更新时，传感器系统控制器都会对第二传感数据进行校验，具体地，传感器系统控制器计算预测状态与第一观测状态之间的第一偏差d12。同样地，当第三传感器系统获取到的第三传感数据可用或更新时，传感器系统控制器都会对第三传感数据进行校验，具体地，传感器系统控制器计算预测状态与第二观测状态之间的第二偏差d13。
之后传感器系统控制器将d12与第一预设阈值t12进行对比，且将d13与第二预设阈值t13进行对比。当传感器系统控制器确定d12大于t12，且d13大于t13时，只根据预测状态更新可移动设备的状态。例如，当第一传感器系统为imu时，传感器系统控制器只根据imu数据确定可移动设备的状态。并且，进一步地，传感器系统控制器可以丢弃第二传感数据和第三传感数据。
或者，当传感器系统控制器确定d12小于或等于t12，且d13大于t13时，传感器系统控制器根据预测状态和第一观测状态确定可移动设备的状态。例如，当第一传感器系统为imu，第二传感器系统为gps时，传感器系统控制器根据imu数据和gps数据确定可移动设备的状态。并且，进一步地，传感器系统控制器可以丢弃第三传感数据，例如，当第三传感器系统为视觉传感器时，传感器系统控制系统丢弃掉获取到的视觉数据。
或者，当传感器系统控制器确定d12大于t12，且d13小于或等于t13时，传感器系统控制器根据预测状态和第二观测状态确定可移动设备的状态。例如，当第一传感器系统为imu，第三传感器系统为视觉传感器时，传感器系统控制器根据imu数据和视觉数据确定可移动设备的状态。并且，进一步地，传感器系统控制器可以丢弃第二传感数据，例如，当第二传感器系统为gps时，传感器系统控制器丢弃掉获取到的gps数据。
由上述描述可知，第一传感数据(例如，imu数据)可以对第二传感数据(例如，gps数据)的有效性或准确性进行校验，同样的，第一传感数据可以对第三传感数据(例如，视觉数据)的有效性或准确性进行校验。
在本发明实施例中，可选地，当传感器系统控制器确定d12小于或等于t12，且d13小于或等于t13时，第二传感数据可以与第三传感数据进行相互校验。具体地，传感器系统控制器计算第一预测状态与第二预测状态之间的第三偏差d23，之后将d23与第三预设阈值t23进行比较。当传感器系统控制器确定d23小于或等于t23时，传感器系统控制器根据预测状态和第一观测状态和/或第二观测状态确定可移动设备的状态，或者传感器系统控制器根据第一观测状态和第二观测状态确定可移动设备的状态。例如，当第一传感器系统为imu，第二传感器系统为gps，第三传感器系统为视觉传感器时，传感器系统控制器根据imu数据和gps数据和/或视觉数据确定可移动设备的状态，或者根据gps数据和视觉数据确定可移动设备的状态。
可选地，当传感器系统控制器确定d23大于t23时，传感器系统控制器根据d12和d13的大小确定用于确定可移动设备的状态的数据。具体地，当传感器系统控制器确定d12小于d13时，传感器系统控制器根据预测状态和第一观测状态确定可移动设备的状态。当传感器系统控制器确定d12大于d13时，传感器系统控制器根据预测状态和第二观测状态确定可移动设备的状态。
需要说明的是，传感器系统控制器根据预测状态、第一观测状态、和/或第二观测状态确定可移动设备的状态，可以通过将预测状态、第一观测状态、和/或第二观测状态进行融合处理，得到可移动设备的状态。进行融合处理采用的方法可以是卡尔曼滤波(kalmanfilter)、扩展的卡尔曼滤波、无迹卡尔曼滤波等。
在本发明实施例中，可选地，上文中的预设阈值(例如，第一预设阈值、第二预设阈值和第三预设阈值)可以是根据实验获得的，或者预设阈值可以是一个取值范围或常数。具体来说，预设阈值可以是根据以下条件中的至少一个确定的：(1)可移动设备运行的环境；(2)可移动设备的一个或多个运动特性；(3)可移动设备的定位信息；(4)可移动设备的高度。例如，预设阈值可以是随着可移动设备所处的环境的变化而变化的，或者预设阈值可以随着可移动设备的一个或多个运动特性的改变而改变，或预设阈值可以随着可移动设备的定位信息的改变而改变，或预设阈值可以随着可移动设备的高度的变化而变化。
并且，第一预测状态和第二预测状态取决于可移动设备运行的环境类型。不同的环境类型之间可以具有以下至少一个区别特征：(1)天气条件；(2)物体的密度和分布；(3)物体的视觉或物理特性。进一步地，第一预测状态和第二预测状态还取决于第二传感器系统和第三传感器系统的一个或多个运行条件。上述的运行条件包括信号强度、传感器类型、功能障碍、功率等级、传感精度和/或校准等级。其中，信号强度取决于一个或多个传感器的信号幅度、接收到的信号的数量。例如，一个传感器系统包括gps传感器，gps传感器的信号强度取决于gps传感器接收到的传感信号的数量或接收到的gps信号的幅度。通常情况下，在室内环境、恶劣的天气、gps接收器故障时，gps信号的强度是很弱的。在室外环境、晴朗的天气、很高的高度、没有故障时，gps信号的强度是很强的。在某些情况下，可移动设备在很多高的建筑物之间以较低的高度飞行，此时高的建筑物会阻挡或者削弱卫星信号，此时会导致gps信号的减弱甚至消失。
在本发明实施例中，可选地，可以根据第一偏差与第一预设阈值的大小关系确定第二传感器系统在一特定环境下的可用性和运行条件。例如，当第二传感器系统在第一类型的环境下运行和/或以期望的方式运行时，第一偏差小于或等于第一预设阈值，传感器系统控制器确定第二传感器系统在第一类型环境下是可用的。否则，当第二传感器系统在第一类型的环境下运行时，第一偏差大于第一预设阈值，传感器系统控制器确定第二传感器系统在第一类型的环境下不可用或者出现故障。
在本发明实施例中，可选地，传感器系统控制器能够通过冗余决策方式控制可移动设备中的多个视觉传感器。传感器系统控制器能够检测每个视觉传感器的运行状态。例如，传感器系统控制器能够检测第一视觉传感器是否出现故障或者产生不准确的视觉传感数据，当确定第一视觉传感器出现故障或者产生不准确的视觉传感数据时，从第一视觉传感器切换到其他的视觉传感器以保证平滑切换和数据的获取。
可选地，作为一个例子，多个视觉传感器可以是安装在可移动设备的不同部分上的多个成像设备。多个成像设备包括双目相机和/或单目相机。至少一个成像设备能够工作在多目模式下，并且至少一个成像设备能够工作在单目模式下。或者至少一个成像设备既能工作在单目模式下用能工作在多目模式下。并且，多目模式包括双目模式。
在本发明实施例中，可选地，多个成像设备连接到可移动设备上，并且包括(1)至少一个工作在多目模式下的第一成像设备和(2)至少一个工作在单目模式下的第二成像设备。例如，多个成像设备包括多个第一成像设备，所述多个成像设备可拆卸的安装在可移动设备的不同侧面上，第一成像设备包括双目相机。例如，第一双目相机安装在可移动设备的前面，第二双目相机安装在可移动设备的后面，第三双目相机安装在可移动设备的左侧面，第四双目相机安装在可移动设备的右侧面，第五双目相机安装在可移动设备的上面，第六双目相机安装在可移动设备的下面。或者，一个或多个相机可以安装在可移动设备的同一侧面上。
上述的第二成像设备可以通过载体可拆卸的连接到可移动设备上。并且第二成像设备相对于可移动设备沿着至少一个方向旋转。
图7示出了根据本发明实施例的用于可移动设备中选择成像设备的方法。如图7所示，方法700包括：
s701，确定多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置。
在本发明实施例中，传感器系统控制器能够获取每个成像设备相对于其他成像设备以及可移动设备的空间位置。如果可移动设备包括的多个成像设备具有延多个方向延伸的光轴，每个成像设备与可移动设备上的imu的位置关系可以被确定出来。由于imu通常对平移运动不敏感，由此如果成像设备的大小和位置已知的话，imu和每个成像设备之间的位置关系可以直接被确定出来。每个成像设备与imu之间的角度关系可以通过手眼标定方法计算出来。
图8是根据本发明实施例的手眼标定方法的示意图。由于imu数据需要与视觉传感数据进行融合，因此需要知道每个成像设备(例如，相机)与imu的位置和角度关系。如图8中所示出的，可以根据图像信息计算出两个位置处的相机的旋转a，并从imu数据中读取可移动设备的旋转b，由此可以通过计算标定出imu到成像设备的旋转r，可以通过传感器系统控制器同时确定多个成像设备和imu之间的位置和角度关系。
其中，axbtxt＝i→ax＝xb→ax-xb＝0；通过最小化min||ax-xb||可以找到合适的x，即各方向上的成像设备到imu的旋转。
在本发明实施例中，可以相对imu对相机进行校准。具体可以通过在相机的时间推移过程中获取多帧图像和通过相机估计自身的位置变化实现相机的校准。自校准方法似于通过考虑两个不同的相机α和β在不同的时间点i和i'获取的两帧图像来校准不同的相机的方法。同样的，自校准方法可以适用于imu的校准。假定a和b分别表示相机和imu的自身坐标的变化。下标i表示在时刻i＝1,2,…,n时，ai和bi的坐标系统映射。时刻2相对于时刻1的映射表示为：
进一步地，rarx＝rxrb和(ra-i)tx＝rxtb-ta。根据上述方程和旋转矩阵的特性，有多种方式可以解得rx和tx。为了保证解的唯一性，n的取值大于或等于3。
s702，根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的。
在本发明实施例中，传感器系统控制器能够为每个成像设备选择视觉成像模式。传感器系统控制器能够确定下列参数中的至少一种：(a)至少一个成像设备相对于该成像设备的视野范围内的物体或地面的距离；(b)通过第一成像设备获取到的至少一帧立体图像中的匹配点的视差；(c)多个成像设备的工作环境。传感器系统控制器根据上述参数中的至少一种确定出至少一个第一成像设备在多目模式下获取图像，或者确定出至少一个第二成像设备在单目模式下获取图像。
在本发明实施例中，可选地，传感器系统控制器通过一个或多个距离传感器确定至少一个成像设备相对于该成像设备的视野范围内的物体或地面的距离。成像设备的视野范围内的物体可以是环境中的一个目标物体，可移动设备能够获取到目标物体的图像或者对该目标物体进行追踪。这里的地面可以是指的地表面或者参考面，或者是一个物体的表面。所涉及的距离传感器可以为超声波传感器、飞行时间相机等。并且可以通过气压计测量可移动设备的高度。还可以通过由至少一个第一成像设备获取到的立体图像确定的3维深度信息、位置信息和/或运动信息确定至少一个成像设备相对于该成像设备的视野范围内的物体或地面的距离。或者还可以根据imu获取到的位置信息和/或运动信息、由第二成像设备获取到的图像和第二成像设备相对于可移动设备的空间位置确定至少一个成像设备相对于该成像设备的视野范围内的物体或地面的距离。
s730，采用所述目标成像设备获取图像。
具体地，图9示出了根据本发明实施例的根据预设阈值选择视觉传感器的方法的示意图。如图9所示，多个成像设备130安装到可移动设备100上。成像设备130包括至少一个工作在多目模式下的第一成像设备132和至少一个工作在单目模式下的第二成像设备134。例如，图9中示出两个第一成像设备132-1和132-2，第一成像设备132-1可以安装在可移动设备的前面，第一成像设备132-2可以安装在可移动设备的后面。第二成像设备134通过载体104可拆卸的与可移动设备连接。载体104能够使得第二成像设备相对于可移动设备沿着至少一个轴进行旋转。
如图9中所示出的，可移动设备包括传感器系统控制器140，传感器控制器140能够通过手眼标定方法获取每个成像设备相对于其他成像设备和imu110的相对空间位置。
可移动设备100处于一个运行环境下，目标物体102是运行环境下的一个物体。目标物体102可以是一个静止的物体或者是一个运动的物体或者是一个能够运动的物体。传感器系统控制器140可以通过距离传感器、由第一成像设备获取到的立体图像等确定可移动设备与目标物体102之间的距离d。例如，传感器系统控制器140确定可移动设备与目标物体102之间的初始距离为d1。
进而，传感器系统控制器140通过实时比较d与预设距离阈值d的大小选择合适的视觉传感模式。当d小于或等于d时，传感器系统控制器140选择工作在多目模式下的第一成像设备132-1用于获取图像数据。相对应的，当d大于d时，选择工作在单目模式下的第二成像设备134用于获取图像数据。
在本发明实施例中，上述的预设距离阈值可以是根据实验确定的。预设距离阈值可以是一个距离范围或者是一个常数。或者预设距离阈值可以随着可移动设备的运行环境、可移动设备的位置或高度的改变而改变。
在本发明实施例中，可选地，传感器系统控制器140能够确定由第一成像设备(例如，132-1)获取到的一个或多个立体图像中的匹配点的视差。传感器系统控制器140可以根据匹配点的视差与预设视差阈值的大小关系选择合适的视觉传感模式。预设的视差阈值dp可以为：dp＝c*f/h，其中，c是基线常数，f是第一成像设备的焦距，h是预设高度阈值。
可选地，作为一个例子，当视差大于预设视差阈值时，传感器系统控制器140选择工作在多目模式下的第一成像设备132-1用于获取图像。否则，选取工作在单目模式下的第二成像设备134用于获取图像。预设视差阈值可以是通过实验确定的，或者预设视差阈值可以是一个范围。
在本发明实施例中，可选地，如图10中所示出的传感器系统控制器140通过比较可移动设备的高度h与预设高度阈值h的大小关系选择合适的视觉传感模式。如图10所示，当h(例如，h1<h)小于或等于h时，传感器系统控制器140选择工作在多目模式下的第一成像设备132-1用于获取图像，否则(例如，h2>h)选择工作在单目模式下的第二成像设备134用于获取图像。
在上述实施例中，可选地，预设高度阈值h可以是根据获取到的可移动设备的实验数据确定的值。例如，实验数据指示当可移动设备的高度高于8m时，双目图像数据的质量低于可以接收的质量，且实验数据指示当可移动设备的高于小于8m时，双目图像数据的质量是可以接受的，则可以将预设高度阈值设置为8m。
上文中的预设高度阈值h可以为一个范围或者是一个常数，预设高度阈值可以随着可移动设备的运行环境的改变而变化，或者预设高度阈值可以随着运行环境中的天气条件变化而变化，或者预设高度阈值可以随着可移动设备的高度的变化而变化，或者预设高度阈值可以随着环境中的物体的密度和分布的变化而变化，或预设高度阈值可以随着环境中的视觉或物理特性的变化而变化。
在本发明实施例中，可选地，传感器系统控制器140可以在双目匹配数较少、平均视差较小、可移动设备的高度大于预设高度阈值、可移动设备相对于目标物体的距离大于预设高度阈值时、和/或可移动设备相对于目标物体的距离大于预设距离阈值时选择第二成像设备用于获取图像数据。通常情况下，当场景缺乏纹理(例如，水面或纯色桌面)时，双目匹配数会比较少。可以通过光学流匹配和零均值交叉相关检测的方式确定双目匹配的等级。
在本发明实施例中，可选地，根据第一成像设备和/或第二成像设备获取到的图像数据可以计算出可移动设备的一个或多个运动特征。具体地，可以根据第一成像设备获取到的立体图像的深度信息确定可移动设备的运动特性。或者可以根据第二成像设备获取到的连续两个图像之间的变换确定可移动设备的运动特性。
在本本发明实施例中，可选地，可以采用不同的相机获取一个场景中的不同部分的图像数据。可以根据针对某一部分的相对信号质量和/或相对信号准确性，确定采用哪一个相机获取该部分的图像数据。图像数据的质量和准确性取决于每个视觉传感器的专有特性，并且会因为场景的变化、天气的变化等有所变化。例如，双模相机在短距离内比单目相机具有更高的准确性。或者，可以根据相机的适用传感范围选择采用哪个相机获取图像数据。
在本发明实施例中，可选地，通过距离传感和视觉传感结合的方式弥补视觉传感的不足，进而提高视觉传感的可靠性。举例来说，相机虽然能够产生具有较高分辨率的彩色图像。但是当采用多目相机时，很难通过图像数据获取准确的深度数据。并且，视觉传感器在光强很强或者反光时或者恶劣环境下不能获得符合需要的图像数据。同样的，超声波传感器以及其他距离传感器不能探测到具有小的反射面的物体或者有吸收的物体，也不能分辨出复杂场景中多个物体的距离。由于视觉传感器能够在距离传感器获取到的距离传感数据不好的时候获取到可信的数据，可以将视觉传感数据和距离传感数据相结合。
图11示出了根据本发明实施例的双目相机900。如图11所示，双目相机900包括一个左视觉传感器902和一个右视觉传感器904。相机的焦距为f，光学传感器的尺寸为l，两个视觉传感器之间的距离为b，由左右视觉传感器获取到的图像上的一对匹配的特征点
根据帧-帧匹配和特征点的立体匹配方式，可以确定出每个特征点的3维坐标对
相对应地，每个特征点在
由于预测的位置运动主要是通过将视觉传感器902和904获取到的图像数据进行帧匹配确定的，所以预测的准确性和精度会受到n的取值的影响。
图12是根据本发明实施例的可移动设备的视觉传感范围的示意图。其中，图12(a)是从可移动设备上面向下看的俯视图，图12(b)是从可移动设备的侧面看的侧视图，图12(c)是一个3维视图。图12中的可移动设备例如可以是无人机。
图12中的可移动设备的不同侧面上可以安装多个成像设备。每个成像设备的视角为α，可移动设备的最大视觉传感范围可以根据视角α和每个成像设备中的图像传感器的尺寸确定。视觉传感范围可以表示为圆1060和1070或者球1080。可以理解的是，视觉传感范围可以定义成任何形状和/或大小，例如，视觉传感范围可以定义成规则的形状(立方形、圆柱、圆锥)或者不规则的形状。
可选地，作为一个例子，相邻的成像设备的视场可能会重叠，由此能够保证能够获取场景中足够的图像数据点。或者相邻的成像设备的视场可以不重叠。并且，可以根据获取到的图像数据点建立具有一定准确度的环境地图。
并且，多个成像设备可以获取可移动设备周围的场景的多目、双目或单目图像。多个成像设备可以以相同的或不同的时间间隔获取图像数据。并且可以根据双目或多目图像确定环境的3维深度地图。多个成像设备可以提供一个n度的视场，例如，n可以为90°、100°、110°、120°、130°、140°、150°、160°、170°、180°、190°、200°、210°、220°、230°、240°、250°、260°、270°、280°、290°、300°、310°、320°、330°、340°、350°或360°。当n为360°时，能够实现全环绕视觉传感。
可选地，作为一个例子，将视觉传感范围定义为一个具有以可移动设备为中心具有预设半径的球。预设半径的范围可以从几米到几百米，或者预设半径可以小于1m或者大于500m。视觉传感范围会受到可移动设备运行的环境的复杂度的影响，例如，当可移动设备在一个具有多个物体或障碍物的环境中运行时，需要增加视觉传感范围或者提高视觉传感的敏感度。反之，则可以减低视觉传感范围或者视觉传感的敏感度。
在本发明实施例中，图像传感设备可以同时获得多个图像，或者按一定顺序获得多个图像，或者在不同的时间点获得多个图像。获取到的多个图像可以用来建立3d场景、3d虚拟场景、3d地图或3d模型。并且，通过对一个或多个成像设备获取到的立体视频数据进行分析可以获取环境信息。环境信息包括环境地图，或者环境信息包括拓扑地图或度量地图。
具体地，对立体视频数据进行分析可以是包括以下步骤：(1)对成像设备进行校准；(2)对图像帧进行立体匹配；(3)计算深度地图。其中，对成像设备进行校准包括对成像设备的内部参数和外部参数进行校准。对图像帧进行立体匹配包括：(1)实质上或近似实时的提取每个双目图像中的每个单目图像的特征点；(2)计算特征点的运动特征；(3)基于特征点的运动特征，对从图像帧中提取的相对应的特征点进行匹配；(4)排除掉不匹配的特征点。计算深度地图包括：(1)基于匹配的特征点，计算基于像素的视差图；(2)根据双目相机的外部参数计算深度地图。
在本发明实施例中，可选地，传感器系统控制器用于评估可移动设备上安装的多个成像设备的可用性，并根据确定出的成像设备的可用性选择用于视觉传感的成像设备。例如，传感器系统控制器根据多个成像设备获取到的图像数据确定多个第一观测状态，并根据imu获取到的数据确定多个预测状态。之后，传感器系统控制器根据第一观测状态与预测状态之间的第一偏差确定成像设备的可用性。
图13示出了根据本发明实施例的用于确定可移动设备上用于视觉传感的成像设备的可用性的方法。如图13所示，方法1300包括：
s1301，根据多个用于视觉传感的成像设备获取到的图像数据，确定所述可移动设备的多个第一观测状态；
s1302，根据惯性测量单元imu获取到的传感数据，确定所述可移动设备的多个预测状态；
s1303，根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。
具体地，当一个成像设备对应的第一偏差小于或等于第一预设阈值时，该成像设备可以用于视觉传感，反之，该成像设备不适合用于视觉传感。传感器系统控制器可以确定第一成像设备集合和第二成像设备集合，其中，第一成像设备集合中的成像设备可以用于视觉传感，第二成像设备集合中的成像设备部适合用于视觉传感。进一步地，传感器系统控制器根据第一成像设备集合中的成像设备对应的第一观测状态和相对应的预测状态，确定可移动设备的状态。进一步地，第二传感器集合中的成像设备可能会因为对应的第一偏差的改变而变得可用。
表1示出了可移动设备在不同的环境中移动时，传感器系统控制器根据第一偏差d(1)确定的可移动设备的前、后、左、右4个位置处的成像设备的可用性。表1中t1为第一预设阈值。
表1
可以理解的是，成像设备的不同的可用性是由可移动设备的不同方向上的环境差异和/或物体的类型导致的。例如，可移动设备不同方向上的天气条件、光照条件、物体的密度、表面纹理等都有可能不同。举例来说，在太阳落山时，如果可移动设备面朝西，则可移动设备前方部分的光照强度比后方部分的光照强度要高。
在本发明实施例中，可选地，传感器系统控制器根据gps传感器获取到的gps数据，确定可移动设备的第二观测状态。传感器系统控制器根据第二观测状态与第一观测状态之间的第二偏差与第二预设阈值之间的大小关系，确定成像设备的可用性。同样的，第二传感器集合中的成像设备可能会应为对应的第二偏差的改变而变得可用。
可选地，上述的第一偏差和第二偏差的改变是由第一观测状态和第二观测状态的改变导致的。第一观测状态和第二观测状态的改变可以是由于可移动设备的所处的环境的改变所导致的。
图14是根据本发明实施例的用于在不同条件下选择传感器和/或数据的冗余决策方法的示意性流程图。可移动设备包括多个成像设备、imu和gps传感器。传感器系统控制器可以与成像设备、imu和gps传感器进行通信。如图14所示，方法1400包括：
s1401，传感器系统控制器获取由imu获取到的imu数据；
s1402，传感器系统控制器根据imu数据确定预测状态；
s1403，传感器系统控制器确定gps传感器获取到的gps数据是否可用或更新；
s1404，传感器系统控制器在gps数据可用或更新时，根据gps数据确定第一预测状态；
s1405，传感器系统控制器获取第一成像设备至第n成像设备获取到图像数据，n为大于2的整数；
s1406，传感器系统控制器针对每个成像设备确定该成像设备是否满足以下3个条件：(1)可移动设备相对于参考平面的高度大于或等于预设高度阈值；(2)匹配点的视差小于或等于预设视差阈值；(3)可移动设备与目标物体之间的距离大于预设距离阈值；
s1407，当传感器系统控制器确定成像设备满足s1406中的3个条件时，控制成像设备工作在单目模式下；
s1408，当传感器系统控制器确定成像设备不满足s1406中的一个或多个条件时，控制成像设备工作在多目模式下；
s1409，传感器系统控制器根据每个成像设备获取到的图像数据，确定第二观测状态；
s1410，传感器系统控制器确定预测状态与第一观测状态的之间第一偏差d12，
s1411，传感器系统控制器确定预测状态与第二观测状态之间的第二偏差d13；
s1412，传感器系统控制器确定d12是否小于或等于第一预设阈值t12；
s1413，传感器系统控制器确定d13是否小于或等于第二预设阈值t13；
s1414，当传感器系统控制器确定d12大于t12，且d13大于t13时，确定只根据imu数据更新可移动设备的状态；
s1415，当传感器系统控制器确定d12小于或等于t12，且d13大于t13时，,将imu数据与gps数据进行融合，确定可移动设备的状态；
s1416，当传感器系统控制器确定d12大于t12，且d13小于或等于t13时，确定将imu数据与图像数据进行融合，确定可移动设备的状态；
s1417，当传感器系统控制器确定d12小于或等于t12，且d13小于或等于t13时，确定第一观测状态和第二观测状态之间的第三偏差d23；
s1418，当传感器系统控制器确定d23是否小于或等于第三预设阈值t23；
s1419，当传感器系统控制器确定d23小于t23时，通过将imu数据、gps数据和/或图像数据进行融合，确定可移动设备的状态；
s1420，当传感器设备控制器确定d23小于或等于t23时，通过将gps数据和图像数据进行融合，确定可移动设备的状态；
可以理解的是，s1419和s1420是并列的可选方案，传感器系统控制器可以选择执行s1419，或者选择执行s1420。
s1421，当传感器系统控制器确定d23大于t23，且d12小于d23时，通过将imu数据与gps数据进行融合，确定可移动设备的状态；
s1422，当传感器系统控制器确定d23大于t23，且d12大于d23时，通过将imu数据与图像数据进行融合，确定可移动设备的状态。
可以理解的是，s1421和s1422是并列的可选方案，传感器系统控制器可以选择执行s1421，或者选择执行s1422。
需要说明的是，方法1400中的预设阈值(第一预设阈值、第二预设阈值和第三预设阈值)的确定方式及特性与方法600中相同，为避免重复，在此不再赘述。
同样地，传感器系统控制器对不同的数据进行融合的具体实现与上文中的融合方式相同，为避免重复，在此不再赘述。
由此，通过将不同的数据进行融合，能够对可移动设备进行精确的导航，使得可移动设备能够避开障碍物，提高可移动设备的安全性和灵活性。
以上结合图1至图14详细描述了根据本发明实施例的方法，下面将结合图15至图17详细描述用于执行本发明实施例中的方法的系统。
图15是根据本发明实施例的用于确定可移动设备的状态的系统的示意性框图，如图15所示，系统1500包括：
获取模块1501，用于获取与所述可移动设备相关联的多个传感器获取的传感数据，其中，所述多个传感器包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同；
确定模块1502，用于在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；
所述确定模块1502，还用于当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；
所述确定模块1502，还用于根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
因此，根据本发明实施例的用于确定可移动设备的状态的系统，在确定可移动设备的状态的过程中，根据第一传感器系统获取到的第一传感数据确定可移动设备的预测状态，并根据第二传感器系统获取到的第二传感数据确定可移动设备的观测状态，通过预测状态与观测状态之间的偏差，确定是否根据观测状态更新可移动设备的状态。由此，能够通过对各传感器系统进行校验，在多路传感器系统中选择出合适的传感器系统，并根据选择出的合适的传感器系统获取到的传感数据更新可移动设备的状态，能够提高可移动设备的安全性能。
在本发明实施例中，可选地，所述第一传感数据包括第一组位置数据和第一组运动数据，所述第二传感数据包括第二组位置数据和第二组运动数据。
在本发明实施例中，可选地，所述第一传感器系统包括惯性测量单元imu。
在本发明实施例中，可选地，所述第二传感器系统包括全球定位系统gps接收器。
在本发明实施例中，可选地，所述第二传感器系统包括一个或多个视觉传感器。
在本发明实施例中，可选地，所述获取模块1501还用于：根据所述可移动设备的至少一个先验预测状态，确定所述第一传感数据。
在本发明实施例中，可选地，所述确定模块1502具体用于：根据所述第一偏差和第一预设阈值，确定是否使用所述第一观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，，所述确定模块1502具体用于：当确定所述第一偏差小于或等于所述第一预设阈值时，确定根据所述第一观测状态更新所述可移动设备的状态；当确定所述第一偏差大于所述第一预设阈值时，确定不使用所述第一观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，所述第一偏差为所述第一观测状态与所述预测状态之间的马氏距离或欧式距离。
在本发明实施例中，可选地，当确定根据所述第一观测状态更新所述可移动设备的状态时，所述确定模块1502还用于：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，所述确定模块1502还用于：当确定不使用所述第一观测状态更新所述可移动设备的状态时，将所述预测状态确定为所述可移动设备的状态。
在本发明实施例中，可选地，所述确定模块1502还用于：根据下列信息中的至少一种确定所述第一预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、所述可移动设备的位置信息和所述可移动设备的高度信息。
在本发明实施例中，可选地，所述可移动设备还包括第三传感器系统，所述第三传感器系统的数据采样频率与所述第一传感器系统和所述第二传感器系统不同，所述确定模块1502还用于：当确定所述第三传感器系统获取到的第三传感数据可用或更新时，根据所述第三传感数据，确定所述可移动设备的第二观测状态；当确定所述第二传感数据可用或更新时，根据所述第一观测状态与所述第二观测状态之间的第二偏差，确定是否根据所述第二观测状态更新所述可移动设备的状态，其中，所述第二偏差用于指示所述第三传感数据是否可用。
在本发明实施例中，可选地，所述确定模块1502具体用于：根据所述第二偏差和第二预设阈值，确定是否使用所述第二观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，所述确定模块1502具体用于：当确定所述第二偏差值小于或等于所述第二预设阈值时，确定根据所述第二观测状态更新所述可移动设备的状态；当确定所述第二偏差值大于所述第二预设阈值时，确定不使用所述第二观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，所述第一传感器系统包括imu，所述第二传感器系统包括gps接收器，所述第三传感器系统包括一个或多个视觉传感器。
在本发明实施例中，可选地，当确定根据所述第二观测状态更新所述可移动设备的状态时，所述确定模块1502还用于：根据所述预测状态和所述第二观测状态更新所述可移动设备的状态；或，根据所述预测状态、所述第一观测状态和所述第二观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，当确定不根据所述第二观测状态更新所述可移动设备的状态时，所述确定模块1502还用于：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。
在本发明实施例中，可选地，所述确定模块1502还用于：根据下列信息中的至少一种确定所述第二预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、所述可移动设备的位置信息和所述可移动设备的高度信息。
根据本发明实施例的系统1500中的各单元和上述其他操作和/或功能分别为了实现方法300的相应流程，为了简洁，在此不再赘述。
图16是根据本发明实施例的用于在可移动设备中选择成像设备的系统的示意性框图，如图16所示，系统1600包括：
确定模块1601，用于确定多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置，其中，所述多个成像设备设置在所述可移动设备上，所述多个成像设备包括至少一个第一成像设备和至少一个第二成像设备，所述第一成像设备工作在多目视觉模式下，所述第二成像设备工作在单目视觉模式下；
处理模块1602，用于根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的；
所述处理模块1602，还用于控制所述目标成像设备获取图像数据。
因此，根据本发明实施例的用于在可移动设备中选择成像设备的系统，根据选择信息，从多个成像设备中选择目标成像设备，由此能够选择更为合适的成像设备以获取更为准确的图像数据，以使得在将成像设备获取到的图像数据与其他传感器系统获取到的数据进行融合时，确定更为准确的可移动设备的状态，提高可移动设备的安全性能。
在本发明实施例中，可选地，所述至少一个第一成像设备设置在所述可移动设备的多个位置处，所述多个位置相对于所述可移动设备的方向至少为两个。
在本发明实施例中，可选地，所述至少一个第二成像设备安装在所述可移动设备的载体上，所述至少一个第二成像设备能够沿至少一个方向相对于所述可移动设备进行旋转。
在本发明实施例中，可选地，所述多目视觉模式包括双目视觉模式，当所述第一成像设备工作在双目视觉模式下时，所述第一成像设备获取到的图像数据中包括视频数据，所述视频数据能够采用多目联合编码方式进行编码。
在本发明实施例中，可选地，所述处理模块1602还用于：通过距离传感器确定所述每个成像设备相对于该成像设备的视野范围内的物体的距离；或，通过距离传感器和/或气压计确定所述每个成像设备相对于地面的距离。
在本发明实施例中，可选地，所述处理模块1602具体用于：根据所述选择信息和预设距离阈值，从所述多个成像设备中选择目标成像设备。
在本发明实施例中，可选地，所述处理模块1602具体用于：当所述每个成像设备相对于该成像设备的视野范围内的物体或地面的距离小于或等于所述预设距离阈值时，将所述至少一个第一成像设备确定为所述目标成像设备；或，当所述每个成像设备相对于该成像设备的视野范围内的物体或地面的距离大于所述预设距离阈值时，将所述至少一个第二成像设备确定为所述目标成像设备。
在本发明实施例中，可选地，所述处理模块1602具体用于：根据所述选择信息和预设视差阈值，从所述多个成像设备中选择目标成像设备。
在本发明实施例中，可选地，所述处理模块1602具体用于：当通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差大于或等于所述预设视差值时，将所述至少一个第一成像设备确定为所述目标成像设备；或，当通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的差异小于所述预设视差值时，将所述至少一个第二成像设备确定为所述目标成像设备。
在本发明实施例中，可选地，所述处理模块1602还用于：根据所述图像数据确定所述可移动设备的至少一个运动特性。
根据本发明实施例的系统1600中的各单元和上述其他操作和/或功能分别为了实现方法700的相应流程，为了简洁，在此不再赘述。
图17是根据本发明另一实施例的用于确定可移动设备上用于视觉传感的成像设备的可用性的系统的示意性框图，如图17所示，系统1700包括：
第一处理模块1701，用于根据多个用于视觉传感的成像设备获取到的图像数据，确定所述可移动设备的多个第一观测状态；
第二处理模块1702，用于根据惯性测量单元imu获取到的传感数据，确定所述可移动设备的多个预测状态；
第三处理模块1703，用于根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。
因此，根据本发明实施例的用于确定可移动设备上用于视觉传感的成像设备的可用性的系统，通过惯性测量单元获取到的传感数据对多个成像设备获取到的图像数据进行校验，确定成像设备的可用性。由此，能够通过可用的成像设备获取到可靠的图像数据，以使得在将可用的成像设备获取到的图像数据与其他传感器系统获取到的数据进行融合时，确定更为准确的可移动设备的状态，提高可移动设备的安全性能。
在本发明实施例中，可选地，所述多个用于视觉传感的成像设备包括多个第一成像设备和第二成像设备，其中，所述多个第一成像设备安装在所述可移动设备的不同方向上，所述第二成像设备通过载体与所述可移动设备连接。
在本发明实施例中，可选地，所述第二成像设备能够沿至少一个方向相对于所述可移动设备进行旋转。
在本发明实施例中，可选地，所述第三处理模块1703具体用于：根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定第一成像设备集合，其中，所述第一成像设备集合中的成像设备可用。
在本发明实施例中，可选地，所述第三处理模块1703还用于：将根据所述第一成像设备集合中的成像设备获取到的图像数据确定的第一观测状态和目标预测状态进行融合处理，其中，所述目标预测状态为所述多个预测状态中与所述第一成像设备集合中的成像设备获取到的图像数据确定的第一观测状态相对应的预测状态。
在本发明实施例中，可选地，所述第三处理模块1703具体用于：根据预设状态与第一观测状态之间的第一偏差和第一预设阈值，确定第二成像设备集合，其中，所述第二成像设备集合中的成像设备不可用。
在本发明实施例中，可选地，所述第三处理模块1703还用于：丢弃所述第二成像设备集合中的成像设备获取到的图像数据。
在本发明实施例中，可选地，所述第一处理模块1701还用于：根据全球定位系统gps获取到的传感数据，确定第二观测状态；确定所述第二观测状态与预测状态之间的第二偏差小于或等于第二预设阈值。
根据本发明实施例的系统1700中的各单元和上述其他操作和/或功能分别为了实现方法1300的相应流程，为了简洁，在此不再赘述。
图18是根据本发明实施例的可移动设备的示意性框图。如图18所示，可移动设备1800包括载体1810和负载1820。图18中将可移动设备描述为无人机仅仅是为了描述方面。负载1820可以不通过载体1810连接到可移动设备上。可移动设备1800还可以包括动力系统1830、传感系统1840和通信系统1850。
动力系统1830可以包括电子调速器(简称为电调)、一个或多个螺旋桨以及与一个或多个螺旋桨相对应的一个或多个电机。电机和螺旋桨设置在对应的机臂上；电子调速器用于接收飞行控制器产生的驱动信号，并根据驱动信号提供驱动电流给电机，以控制电机的转速和/或转向。电机用于驱动螺旋桨旋转，从而为uav的飞行提供动力，该动力使得uav能够实现一个或多个自由度的运动。在某些实施例中，uav可以围绕一个或多个旋转轴旋转。例如，上述旋转轴可以包括横滚轴、平移轴和俯仰轴。应理解，电机可以是直流电机，也可以交流电机。另外，电机可以是无刷电机，也可以有刷电机。
传感系统1840用于测量uav的姿态信息，即uav在空间的位置信息和状态信息，例如，三维位置、三维角度、三维速度、三维加速度和三维角速度等。传感系统例如可以包括陀螺仪、电子罗盘、惯性测量单元(inertialmeasurementunit，简称为“imu”)、视觉传感器、全球定位系统(globalpositioningsystem，简称为“gps”)和气压计等传感器中的至少一种。飞行控制器用于控制uav的飞行，例如，可以根据传感系统测量的姿态信息控制uav的飞行。应理解，飞行控制器可以按照预先编好的程序指令对uav进行控制，也可以通过响应来自操纵设备的一个或多个控制指令对uav进行控制。
通信系统1850能够与一个具有通信系统1870的终端设备1860通过无线信号1880进行通信。通信系统1850和通信系统1870可以包括多个用于无线通信的发射机、接收机和/或收发机。这里的无线通信可以是单向通信，例如，只能是可移动设备1800向终端设备1860发送数据。或者无线通信可以是双向通信，数据即可以从可移动设备1800发送给终端设备1860，也可以由终端设备1060发送给可移动设备1800。
可选地，终端设备1860能够提供针对于一个或多个可移动设备1800、载体1810和负载1820的控制数据，并能接收可移动设备1800、载体1810和负载1820发送的信息。终端设备1860提供的控制数据能够用于控制一个或多个可移动设备1800、载体1810和负载1820的状态。可选地，载体1810和负载1020中包括用于与终端设备1860进行通信的通信模块。
可以理解的是，图18所示出的可移动设备可以包括图15所示的系统1500、图16所示的系统1600和图17所示的系统1700，并能够执行方法300、700和1300，为了简洁，在此不再赘述。
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！