图像处理方法、摄像组件、移动机器人及控制方法和系统与流程

1.本技术涉及移动机器人领域，尤其涉及一种图像处理方法、摄像组件、移动机器人及控制方法和系统。


背景技术：

2.移动机器人基于导航控制技术执行自主移动操作。其中，受移动机器人所应用的场景影响，当移动机器人处于未知环境的未知位置时，利用vslam(visual simultaneous localization and mapping，基于视觉的即时定位与地图构建)技术、或slam(simultaneous localization and mapping，同步定位与地图构建)技术等执行导航操作并构建地图。
3.诸如清洁机器人、陪护机器人、迎宾机器人等移动机器人在工作模式下移动时，由于工作场景环境的复杂性，通常移动机器人上设置多种环境探测装置，每种环境探测装置用来为适配工作场景中可能产生的阻碍自主移动的物体。随着人们对工作场景的不断研究，移动机器人所配置的各种环境探测装置可以提供重叠区域的探测数据，而这些探测数据由于环境探测装置所提供的不同数据类型，难于融合使用。这使得移动机器人的控制系统变得冗余、复杂。


技术实现要素：

4.鉴于以上所述相关技术的缺点，本技术的目的在于提供一种图像处理方法、摄像组件、移动机器人及控制方法和系统，用以解决移动机器人的不同种环境探测数据所反映的信息有重叠且不易复用，以及导致数据处理过程复杂度高等问题。
5.为实现上述目的及其他相关目的，本技术第一方面提供一种图像处理方法，应用于配置在移动机器人上的摄像组件，所述图像处理方法包括以下步骤：摄取图像帧序列；基于所述图像帧序列，依序输出相应的图像帧给所述移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
6.本技术第二方面提供一种视觉控制装置，包括：控制单元，用于连接一视觉采集装置，以控制所述视觉采集装置摄取图像帧序列；图像处理单元，与所述视觉采集装置相连，用于基于所述图像帧序列依序输出相应的图像帧给一移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
7.本技术第三方面提供一种摄像组件，所述摄像组件应用于移动机器人，所述摄像组件包括：视觉采集装置，用于摄取图像；控制单元，连接所述视觉采集装置，用于控制所述视觉采集装置，以使所述视觉采集装置所摄取的图像以图像帧序列输出；图像处理单元，与所述视觉采集装置相连，用于基于所述图像帧序列依序输出相应的图像帧给一移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
8.本技术第四方面提供一种移动机器人的控制方法，包括以下步骤：将所接收的各
图像帧对应分发给相应的功能模式使用；其中，所述各图像帧是由一摄像组件执行如第一方面所述的图像处理方法所输出，或由第二方面所述的视觉控制装置所输出，或由第三方面所述的摄像组件所输出；基于各图像帧对应执行相应的功能模式以使得所述移动机器人按照相应的功能模式工作。
9.本技术第五方面提供一种移动机器人的控制系统，所述移动机器人包括一摄像组件，所述控制系统包括：接口装置，用于将所接收的各图像帧对应分发给相应的功能模式使用；存储器，用于存储至少一种程序；处理器，与所述接口装置和所述存储装置相连，用于调用并执行所述至少一个程序时协调所述接口装置、存储装置和摄像组件执行并实现如第四方面所述的控制方法。
10.本技术第六方面提供一种移动机器人，包括：如第三方面所述的摄像组件；移动装置，用于受控地带动所述移动机器人在相应的功能模式下工作；存储器，用于存储所获取的图像帧序列以及至少一程序；处理器，用于调用所述至少一程序执行如第四方面所述的控制方法。
11.本技术第七方面提供一种计算机可读存储介质，存储至少一种程序，所述至少一种程序被调用时执行如第一方面所述的图像处理方法，或如第四方面所述的控制方法。
12.综上所述，本技术通过对第一图像帧序列中的图像进行时序处理，得到符合至少一个功能模式下的帧率需求的第二图像帧序列，该第二图像帧序列能够供控制系统分配给相应的功能模式，并通过运行各功能模式来从相应图像中获得移动机器人在移动过程中周围环境变化的信息输入，如从相应帧率的图像中获得定位特征、障碍物信息、充电桩信息等与位置变化相关的信息，以供控制系统根据所获得的信息选择在其中一种功能模式下执行移动行为。本技术利用摄像组件所提供的不同帧率的图像在多个功能模式下运行；优化配置了摄像组件所提供的图像帧序列与不同功能模式对图像数据的帧率需求之间的矛盾。
附图说明
13.本技术所涉及的发明的具体特征如所附权利要求书所显示。通过参考下文中详细描述的示例性实施方式和附图能够更好地理解本技术所涉及发明的特点和优势。对附图简要说明书如下：
14.图1显示为相关技术中一移动机器人的示意图。
15.图2显示为本技术移动机器人在一实施例中的结构示意图。
16.图3显示为摄像头与所述壳体的位置示意图。
17.图4显示为本技术移动机器人在一实施例中的侧视图。
18.图5显示为本技术移动机器人在一实施例中的俯视图。
19.图6显示为本技术移动机器人中的摄像组件在一实施例中的结构示意图。
20.图7显示为图6中a处的放大示意图。
21.图8显示为图6中摄像头模块在一实施例中的分解示意图。
22.图9显示为摄像组件的一结构示意框图。
23.图10显示为摄像组件的又一结构示意框图。
24.图11显示为所述摄像组件的一种图像处理方法的流程示意图。
25.图12显示为摄像组件在一实施例中的流程图。
26.图13显示为一种第二图像帧序列的示意图。
27.图14显示为摄像组件在又一实施例中的流程图。
28.图15显示为对应避障模式的兴趣区域对应到图像上的示意图。
29.图16显示为一种功能模式的兴趣区域对应到图像上的权重分布示意图。
30.图17显示为图像中的地面图像区域和地面上图像区域的示意图。
31.图18显示为所述控制系统的结构示意框图。
32.图19显示为控制系统所执行的一种控制方法的流程示意图。
33.图20显示为所述控制系统执行的一种控制方法的流程图。
34.图21a和图21b分别显示为移动机器人右转是同一物体对应到两帧图像中的不同图像位置。
35.图22显示为移动机器人一实施例中的仰视示意图。
具体实施方式
36.以下由特定的具体实施例说明本技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本技术的其他优点及功效。
37.在下述描述中，参考附图，附图描述了本技术的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本技术的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本技术。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
38.虽然在一些实例中术语第一、第二等在本文中用来描述各种元件或参数，但是这些元件或参数不应当被这些术语限制。这些术语仅用来将一个元件或参数与另一个元件或参数进行区分。例如，第一图像帧序列可以被称作第二图像帧序列，并且类似地，第二图像帧序列可以被称作第一图像帧序列，而不脱离各种所描述的实施例的范围。第一图像帧序列和第二图像帧序列均是在描述一个图像帧序列，但是除非上下文以其他方式明确指出，否则它们不是同一个图像帧序列。
39.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
40.移动机器人为自动执行特定工作的机器装置，它既可以接受人们指挥，又可以运行预先编排的程序，也可以根据以人工智能技术制定的原则纲领行动。这类移动机器人可用在室内或室外，可用于工业或家庭，可用于取代保安巡视、取代人们清洁地面，还可用于家庭陪伴、辅助办公等。以最为常见的清洁机器人为例，清洁机器人，包括扫地机器人、拖地
机器人或扫拖地一体机器人等，是智能家用电器的一种，能完成清洁、吸尘、擦地工作。具体地，清洁机器人可受人控制(操作人员手持遥控器或通过装载在智能终端上的app)或按照一定的设定规则自行在房间内完成地面清洁工作，其可以清洁地面上的毛发、灰尘、碎屑等地面杂物。
41.为了实现清洁机器人的自主性，清洁机器人需要拥有自主探索周边环境、构建可靠的环境地图并且在地图内定位其自身的能力。目前，将视觉同时定位与地图构建的技术(visual simultaneous localization and mapping，简称vslam、或视觉定位与建图技术)应用于清洁机器人，取得了很好的效果。
42.为解决单目视觉方案的可视范围问题，以提高vslam的精准度和可靠性。为此，本技术人曾提出改进设计，例如中国专利公告号为cn207424680u的专利文献中所展示的。如图1所示，显示为相关技术中一移动机器人的示意图，该专利文献公开的移动机器人5配置有一前端摄像组件52，所述前端摄像组件52设于一邻设于机器人壳体的顶部表面501和侧部表面502的交接处的前端凹陷结构503内，可使得所述前端摄像组件52相比于布设于移动机器人的顶部表面的相关技术具有更为宽广的摄像视角(所述前端摄像组件52中的镜头光学轴与所述壳体的顶部表面501所定义的平面的夹角为61
°
至85
°
)，获得信息量更多的图像资料，借助所述前端摄像组件的图像资料来获得更精准的距离测量并确定移动机器人的位置及姿态，提高基于视觉同时定位与地图构建的精准度及可靠性。
43.虽然在该方案中通过在顶部表面和侧部表面的交接处设置前端摄像组件来获得更为宽广的摄像视角，不过，其摄像视角仍有限，如图1所示，所述前端摄像组件52中的镜头光学轴与所述壳体的顶部表面501所定义的平面的夹角为61
°
至85
°
，所述前端摄像组件52的视场仍仅限于前方上部的区域，例如天花板，其虽然可以通过获取天花板或者正前方朝上部分的图像特征进行定位与地图构建，但由于cn207424680u提供的方案中其摄像组件角度设置的问题，使得其视场受限，不能获得正前方特别是偏下的地面的图像信息，进而对利用纯视觉方案进行避障的效果不佳。
44.由于视场角度受限以及移动机器人在自主移动过程中通常考虑以下至少一个方面的场景：定位和导航、避障、防跌落等。为此，移动机器人需要在其前进的方向上获得更多的数据，就需配置有多种环境探测装置，通常情况下，这些用于实现避障功能传感器，例如超声传感器、红外传感器，光电开关传感器、tof传感器等会设置在移动机器人的缓冲组件(也称保险杠)上，所述的缓冲组件例如中国专利公告号为cn210277064u的专利文献中所展示的缓冲组件的结构，但这种缓冲组件的结构会占用大量的清洁机器人的布局空间，增加了设计难度，导致机械结构复杂及物料成本及制造成本增加。同时，多个传感器或多种类型的传感器的数据处理及技术融合，也大帧增加了设计难度及产品成本。
45.再者，随着移动机器人在工作场景中越发精细实施自主移动，移动机器人所配置的环境探测装置的类型就越多。这使得移动机器人上所配置的环境探测装置越来越多，其提供的不同类型的数据可能覆盖相同的环境区域。例如，激光测距装置和摄像组件具有重叠的视场区域等。换言之，移动机器人的控制系统可能利用了相同视场区域的不同类型数据进行冗余地数据处理(如用于避障或定位中的数据处理)，从而导致数据处理量越来越大。
46.然而，若减少环境探测装置(又称传感器组件)，则会产生新的问题。例如，单一利
用摄像组件可以提供导航移动用的图像数据(又叫图像帧、图像)，然而，该图像数据在用于避障控制时由于无法提供深度数据而导致移动机器人的误操作。例如，错误地将地面的花纹(如地毯花纹)识别成障碍物，而执行绕行移动等。该误操作不仅可能导致移动机器人无法导航移动至目标位置，还将不利于移动机器人在自主移动期间同步执行其他操作，如降低扫地操作/拖地操作的清洁覆盖率等。
47.为了一方面减少移动机器人所探测的冗余数据，另一方面还解决数据精简后移动机器人无法同时为不同行为提供所需的输入信息。例如，移动机器人在导航路线下自主移动行为，需要稳定的定位数据，在为避障而及时刹车或转弯的行为下，需要地面障碍物的图像数据及其相对位置。其中，稳定的定位数据通常来自于物理空间中变化复杂较少的空间内，而避障所需的障碍物的图像数据及其相对位置则来自于移动机器人的导航路线上。
48.为了获取到可供移动机器人执行不同行为所需的输入信息，本技术提供一种移动机器人，其装配有摄像组件。该摄像组件设置于移动机器人本体上，并使得摄像组件中的摄像头的光轴呈倾斜向上设置，并对摄像头的设置角度和视场范围进行设置，从而可使得摄像头获得更为宽广的摄像视角，获得信息量更多的图像数据，可使得所述摄像装置应用于各类功能模式下，相比于现有的相关技术，简化了结构、可免除相应的传感器部件，大帧节省了制造成本和设计成本，换言之，本技术提供的方案旨在通过单目视觉方案实现移动机器人的定位与地图构建、导航、避障、视觉跟踪，返回充电桩等多种功能模式。其中，各功能模式是基于控制系统利用图像所提供的信息进行不同处理而产生不同输出数据而划分的。
49.在实施例中，所述功能模式用于帮助移动机器人在面对复杂环境时仍能执行智能化操作，如自主移动。例如，所述功能模式包括以下至少一种：包含导航移动操作的导航模式、包含为构建地图而采取的移动操作的构图模式(又称视觉定位与地图构图模式，或vslam模式)、包含为避开障碍物而采取的移动操作的避障模式(又称odoa模式，obstacle detection obstacle avoidance)、包含为推/拉目标物体而采取的移动操作的搬运模式、包含视觉回充操作的回充模式(又称v-docking模式，visual docking)等。所述功能模式还包括为了提高移动机器人的智能化操作而设置的模式，如，包含为在地图中标记语义而执行的视觉场景理解模式(又称vsu模式，visual scene understanding)，和/或包含为提高图像处理效率而执行的视觉跟踪模式(又称vo模式，visual odometry)等。
50.结合附图对本技术的移动器人进行详细阐述。其中，为描述摄像组件的装配位置以及摄像组件所拍摄的图像对多个功能模式的信息输入的作用，本技术的一些图示中的移动机器人以清洁机器人为例。
51.请参阅图2，其显示为本技术移动机器人在一实施例中的结构示意图。本技术移动机器人包括摄像装置，受限于清洁机器人的整体高度需要，所述摄像组件2设于壳体前端的顶部表面和侧部表面的交接处。在其他移动机器人示例中，所述摄像组件2设置于移动机器人的其他位置，且其光轴与移动平面之间的夹角满足可为多种功能模式提供输入信息的需求。
52.为了方便理解和清楚地表述，在本技术实施例中，对于移动机器人而言，将所述移动装置驱动所述机器人本体1前进的方向定义为前向；对应地，所述机器人本体1前进的方向的反方向定义为后向。应理解地，所述机器人本体1前进的方向的机器人本体1的一侧定义为前侧；远离所述前侧的相反方向的机器人本体1的一侧定义为后侧。
53.通常，所述机器人本体1具有壳体和底盘。所述壳体可包括顶部表面和侧部表面，这样，顶部表面、侧部表面及所述底盘所形成的壳体就具有一定大小的容纳空间。图2所示的移动机器人中的壳体可例如为扁圆柱形结构，扁圆柱形结构的壳体包括有圆盘状的顶部表面以及连接于顶部表面外圆周的侧部表面。当所述移动机器人进行移动(所述移动包括前进、后退、转向、以及旋转中的至少一种组合)时，扁圆柱形结构的壳体具有更好的环境适应性，例如，在移动时会减少与周边物件(例如家具、墙壁等)发生碰撞的几率或者减少碰撞的强度，以减轻对移动机器人本身和周边物件的损伤，更有利于转向或旋转。但并不以此为限，在其他实施例中，移动机器人的壳体还可以采用矩形体结构、三角柱结构、或半椭圆柱结构(也可称为d字型结构)等。
54.所述底盘可以由诸如塑料的材料整体成型，其包括多个预先形成的槽、凹陷、卡位或类似结构，用于将相关装置或部件安装或集成在所述底盘上。在某些实施例中，所述壳体也可以由诸如塑料的材料整体成型，并且被构造为与所述底盘互补，能为安装到底盘的装置或部件提供保护。所述壳体的顶面还可设有其他装置。例如，在某些实施例中，在所述壳体的顶面可设有拾音器，用于采集来自移动机器人在清洁操作过程中的环境声音或者来自使用者的语音指令。在某些实施例中，在壳体的顶面可设有麦克风，用于播放语音信息。在某些实施例中，在壳体的顶面可设有触控显示屏，实现良好的人机体验。
55.所述底盘和壳体可以通过各种合适的装置(例如螺丝、卡扣等)可拆卸地组合在一起，并且在结合在一起之后，所述底盘和壳体形成为内置空间。所述内置空间可用于容设所述移动机器人的各种装置或部件，例如，所述内置空间可用于容设电源装置、清洁装置、控制系统和其他的相关装置或部件等。
56.所述摄像组件2中包括有摄像头21(又称视觉采集装置)，所述摄像头21的光轴呈倾斜向上设置，如此，可使得所述摄像头具有更为宽广的摄像视角，获得信息量更多的图像数据，可应用于多种功能模式中。
57.在某些实施例中，所述移动机器人在所述壳体前端的顶部表面和侧部表面的交接处还设有凹陷结构102，所述摄像组件2设于所述凹陷结构102内，所述凹陷结构102设有对应于摄像组件2的开口平面。所述凹陷结构可以是所述壳体的顶部表面朝向前端的侧部表面的一个过渡结构。所述过渡结构可例如为凹槽或倾斜面等。
58.在某些实施例中，当所述机器人本体1的前侧设置有缓冲组件101(例如为保险杠)的情形下，所述缓冲组件101上的前端开设有凹陷结构，所述摄像组件2设于所述凹陷结构102内，所述凹陷结构102设有对应于摄像组件2的开口平面。所述凹陷结构可以是所述缓冲组件101的顶部表面朝向前端的侧部表面的一个过渡结构。所述过渡结构可例如为凹槽或倾斜面等。
59.承前所述，摄像组件2设于凹陷结构102内，可保护摄像组件中的摄像头。摄像组件2的摄像头与所述机器人本体1的顶部表面和侧部表面均有一定间距。
60.请参阅图3，显示了摄像头与所述壳体的位置示意图。摄像组件2中的摄像头21与所述壳体的顶部表面103的距离h1为3毫米至10毫米，且，摄像头21与所述壳体的前端的侧部表面104的距离h2为3毫米至10毫米。另外，前述中摄像组件2中的摄像头与所述壳体的顶部表面103的距离h1和镜头与所述壳体的前端的侧部表面104的距离h2可根据移动机器人的构造及应用环境而有不同的变化组合。例如，在某些实施方式中，所述摄像头21与所述壳
体的顶部表面103的距离h1和所述摄像头21与所述壳体的前端的侧部表面104的距离h2可采用相同数值且所取数值较小(例如h1＝h2＝3mm、h1＝h2＝4mm、h1＝h2＝5mm)，这样，摄像组件2就相对更邻近于所述壳体的上边角，且具有更佳的拍摄视角。在某些实施方式中，所述摄像头21与所述壳体的顶部表面103的距离h1和所述摄像头21与所述壳体的前端的侧部表面104的距离h2可采用相同数值且所取数值较大(例如h1＝h2＝8mm、h1＝h2＝9mm、h1＝h2＝10mm)，这样，摄像组件2相对远离于所述壳体的上边角，能使得摄像组件2得到更高的保护。在某些实施方式中，所述摄像头21与所述壳体的顶部表面103的距离h1和镜头与所述壳体的前端的侧部表面104的距离h2可采用不同数值，例如，移动机器人主要是地面移动，移动机器人在移动过程中所述壳体的侧部表面104相对于顶部表面103更可能与周边物件发生干涉及碰撞，因此，为保护摄像组件2，摄像组件2中的摄像头21与所述壳体的前端的侧部表面104的距离h2可设置得比所述摄像头21与所述壳体的顶部表面103的距离h1要大一些。不过，并不以此为限，在某些实施方式中，摄像组件2中摄像头21与所述壳体的顶部表面103的距离h1可设置得比所述摄像头21与所述壳体的前端的侧部表面104的距离h2要大一些。需要说明的是，本领域技术人员应该理解，前述中摄像组件2中的摄像头与所述壳体的顶部表面103的距离h1和镜头与所述壳体的前端的侧部表面104的距离h2取值为整数但并非限制其取值精度为1mm的范围内，根据实际移动机器人的设计需求，所述距离取值的精度可更高，如达到0.5mm等，在此不做无穷尽的举例。另外，前述中摄像组件2中的摄像头21与所述壳体的顶部表面103的距离h1的取值范围可例如为3毫米至10毫米以及摄像头21与所述壳体的前端的侧部表面104的距离h2的取值范围可例如为3毫米至10毫米仅为示例性说明，根据实际移动机器人的实际需求，所述距离h1的取值也可小于3毫米或大于10毫米，所述距离h2的取值也可小于3毫米或大于10毫米，在此不做无穷尽的举例。通过将摄像组件2设于前端凹陷结构102内，摄像组件2中的摄像头就不会凸露于所述壳体的顶部表面和侧部表面。这样，当移动机器人移动时，摄像组件2不会被周边物件触碰到。例如，当移动机器人前进并钻到沙发下、床底下或茶几下等场景或与墙面、夹具或桌脚等碰撞时，摄像组件2就不会被这些周边物件触碰到，保护摄像组件2免受损伤。
61.摄像组件2配置在移动机器人上，可用于捕获移动机器人的操作环境的图像，并据此应用于向各类功能模式提供输入信息。
62.在一些实施方式中，摄像组件2中的摄像头可例如为前倾设计，即，所述摄像头的光轴呈倾斜向上设置，以捕捉到更多的环境信息。
63.请继续参阅图3，摄像组件2中的摄像头21的光轴与所述移动机器人的前进方向的夹角α为12
°
至15
°
，即，所述摄像头的光轴与所述移动机器人的前进方向所在的水平面的夹角α为12
°
至15
°
。在不同的实施例中，所述夹角α可以为12.0
°
、12.5
°
、13.0
°
、13.5
°
、14.0
°
、14.5
°
、15.0
°
等，需要说明的是，本领域技术人员应该理解，上述光轴与所述移动机器人的前进方向的夹角α的取值为整数但并非限制其夹角精度为1
°
的范围内，根据实际移动机器人的设计需求，所述夹角的精度可更高，如达到0.1
°
、0.01
°
以上等，当然，上述夹角α可能在上述12
°
至15
°
之间范围内会呈现任意的角度，例如，12.1
°
、12.2
°
、12.3
°
、12.4
°
、12.6
°
、12.7
°
、12.8
°
、12.9
°
等。其中，在某些实施例中，所述壳体的顶部表面所定义的平面可与水平面相一致，即当将所述移动机器人平稳放置于一水平面时，所述壳体的顶部表面所定义的平面与所述水平面相平行。
64.另外，所述摄像头21的焦距为8厘米至12厘米，在不同的实施例中，所述焦距可以为8.0厘米、8.5厘米、9.0厘米、9.5厘米、10.0厘米、10.5厘米、11.0厘米、11.5厘米、12.0厘米等，当然，上述焦距可能在上述8厘米至12厘米之间范围内会呈现任意的数值，例如，9.1厘米、9.2厘米、9.3厘米、9.4厘米等。
65.请参阅图4，显示为本技术移动机器人在一实施例中的侧视图，所述摄像头21的垂直视场角β为80
°
至100
°
。在不同的实施例中，所述垂直视场角β可以为80
°
、85
°
、90
°
、95
°
、100
°
等，当然，上述垂直视场角β可能在上述80
°
至100
°
之间范围内会呈现任意的整数角度，例如，81
°
、82
°
、83
°
、84
°
、86
°
、87
°
、88
°
、89
°
、91
°
、92
°
、93
°
、94
°
、96
°
、97
°
、98
°
、99
°
，或者是上述80
°
至100
°
之间范围内会呈现任意的非整数角度，例如，91.1
°
、91.2
°
、91.3
°
、91.4
°
、91.5
°
、91.6
°
、91.7
°
、91.8
°
、91.9
°
等。
66.请参阅图5，显示为本技术移动机器人在一实施例中的俯视图，所述摄像头的水平视场角γ为110
°
至130
°
，这样，在此宽的水平视场角的情形下，所述摄像头21可拍摄到尽可能宽的图像信息，以满足不同功能模式的要求。在不同的实施例中，所述水平视场角γ可以为110
°
、115
°
、120
°
、125
°
、130
°
等，当然，上述水平视场角γ可能在上述110
°
至130
°
之间范围内会呈现任意的整数角度，例如，111
°
、112
°
、113
°
、114
°
、116
°
、117
°
、118
°
、119
°
、121
°
、122
°
、123
°
、124
°
、126
°
、127
°
、128
°
、129
°
，或者是上述110
°
至130
°
之间范围内会呈现任意的非整数角度，例如，121.1
°
、121.2
°
、121.3
°
、121.4
°
、121.5
°
、121.6
°
、121.7
°
、121.8
°
、121.9
°
等。
67.这样，在此大的垂直视场角的情形下，所述摄像头21不仅可拍摄到天花板的图像信息也可拍摄到地面的图像信息，以满足不同功能模式的要求。例如，在某些实施例中，所述摄像头可拍摄到天花板的图像信息，其所提供的图像为vslam模式提供输入信息，以实现移动机器人定位与导航。在某些实施例中，所述摄像头可拍摄到地面的图像信息，其所提供的图像为避障模式提供输入信息，以实现移动机器人自主避障。在某些实施例中，所述摄像头可拍摄到移动前进方向正前方及地面的图像信息，其所提供的图像为回充模式提供输入信息，以实现移动机器人自主回充。在此情形下，相比于现有技术需要在移动机器人上布设各类传感器，例如在缓冲组件上布设障碍物检测器(例如红外测距传感器、tof传感器)，本技术因在壳体前端设置的摄像装置，可使得所述摄像头具有更为宽广的摄像视角，就可免除在移动机器人的前端布设各类障碍物检测与避障的传感器，降低了设计难度并大帧减少了移动机器人整体成本。
68.于某些实施例中，所述摄像组件还包括用于调整所述摄像头倾斜角度的角度调整机构。利用所述角度调整机构，可调整摄像头21的光轴与所述移动机器人的前进方向的夹角α、摄像头21的垂直视场角β、摄像头的水平视场角γ中一个或多个。
69.在图2至图5所示的实施例中，所述摄像组件仅为示意性说明。
70.请参阅图6和图7，其中，图6显示为本技术移动机器人中的摄像组件在一实施例中的结构示意图，图7显示为图6中a处的放大示意图。鉴于摄像组件是设置于移动机器人的顶部表面和侧部表面的交接处，故在图7中，仅显示了移动机器人的前侧的局部结构，另外，为更好地展示摄像组件的整体结构，图7中的摄像组件也一并去除了盖合在顶面的顶盖和位于移动机器人前端的缓冲组件等部件。
71.如图6和图7所示，本技术移动机器人中的摄像组件2包括：安装座22和摄像头模
块，其中，所述摄像头模块包括摄像头基座23和摄像头21。
72.所述安装座22用于将所述摄像头模块安装固定于移动机器人的机器人本体1(例如机器人本体1的壳体)上，即，所述摄像头模块安装固定于所述安装座22上，所述安装座22安装固定于机器人本体1的壳体上。
73.所述安装座22具有一定的结构强度并提供足够的安装空间。
74.在如图6所示的实施例中，所述安装座22可沿竖直方向(参见图6中的箭头)拆卸于机器人本体1的壳体，后续，所述安装座可再通过锁附结构或卡扣结构固定于所述壳体上。
75.在某些实施例中，所述锁附结构可包括螺孔或螺柱以及螺丝，例如，如图6所示，所述安装座22的相对两侧(例如左右两侧)设有螺柱，其中，所述螺柱为竖直设置，相应地，所述壳体的底部也相应设有与所述螺柱对应的螺孔。当要安装所述安装座22时，将所述安装座22沿竖直方向向下插入到机器人本体1的壳体上，使得所述安装座22上的螺柱与所述壳体上的螺孔对齐，后续，利用螺丝自安装座22的螺柱顶部进入直至穿出螺柱后进入壳体的螺孔，从而将所述安装座22安装固定于壳体上。当要拆卸所述安装座22时，卸掉螺丝，使得安装座22与壳体脱离结合，将所述安装座22沿竖直方向向上拔出所述安装座22。
76.在某些实施例中，所述卡扣结构可包括扣槽或扣孔以及卡扣或卡勾，所述安装座的相对两侧(例如左右两侧)设有卡扣或卡勾，其中，所述卡扣或卡勾为竖直设置，相应地，所述壳体的底部也相应设有与卡扣或卡勾对应的扣槽或扣孔。当要安装所述安装座时，将所述安装座沿竖直方向向下插入到机器人本体的壳体上，使得所述安装座上的卡扣或卡勾嵌入所述壳体上的扣槽或扣孔，从而将所述安装座安装固定于所述壳体上。当要拆卸所述安装座时，操作所述安装座上的卡扣或卡勾，使得所述安装座上的卡扣或卡勾与所述壳体上的扣槽或扣孔脱离结合，将所述安装座沿竖直方向向上拔出所述安装座。
77.在其他实施例中，所述安装座可沿水平方向拆卸于机器人本体的壳体，后续，所述安装座可再通过锁附结构或卡扣结构固定于所述壳体上。
78.在某些实施例中，所述锁附结构可包括螺孔或螺柱以及螺丝，例如，所述安装座的相对两侧(例如左右两侧)设有螺柱，其中，所述螺柱为水平设置，相应地，所述壳体的内部也相应设有与所述螺柱对应的螺孔。当要安装所述安装座时，将所述安装座沿水平方向向内插入到机器人本体的壳体上，使得所述安装座上的螺柱与所述壳体上的螺孔对齐，后续，利用螺丝自所述安装座的螺柱外部进入直至穿出螺柱后进入所述壳体的螺孔，从而将所述安装座安装固定于壳体上。当要拆卸所述安装座时，卸掉螺丝，使得所述安装座与所述壳体脱离结合，将所述安装座沿水平方向向外拔出所述壳体。
79.在某些实施例中，所述卡扣结构可包括扣槽或扣孔以及卡扣或卡勾，所述安装座的相对两侧(例如左右两侧)设有卡扣或卡勾，其中，所述卡扣或卡勾为水平设置，相应地，所述壳体的内部也相应设有与卡扣或卡勾对应的扣槽或扣孔。当要安装所述安装座时，将所述安装座沿水平方向向内插入到机器人本体的壳体上，使得所述安装座上的卡扣或卡勾嵌入所述壳体上的扣槽或扣孔，从而将所述安装座安装固定于所述壳体上。当要拆卸所述安装座时，操作所述安装座上的卡扣或卡勾，使得所述安装座上的卡扣或卡勾与所述壳体上的扣槽或扣孔脱离结合，将所述安装座沿水平方向向外拔出所述壳体。
80.所述摄像头模块安装固定于所述安装座22上。
81.如图7所示的实施例中，所述摄像头模块至少包括摄像头基座23和摄像头21，所述
摄像头21配置在摄像头基座23上，所述摄像头基座23安装固定于所述安装座22上。
82.在如图7所示的实施例中，所述摄像头基座23可沿水平方向拆卸于安装座22，后续，所述摄像头基座23可再通过锁附结构或卡扣结构固定于所述安装座22上。
83.在某些实施例中，所述卡扣结构可包括扣槽或扣孔以及卡扣或卡勾，例如，如图7所示，所述摄像头基座23的相对两侧(例如左右两侧)设有卡扣或卡勾，其中，所述卡扣或卡勾为水平设置，相应地，所述安装座22的相对两侧(例如左右两侧)也相应设有与卡扣或卡勾对应的扣槽或扣孔。当要安装所述摄像头基座23时，将所述摄像头基座23沿水平方向插入到安装座22上，使得所述摄像头基座23上的卡扣或卡勾嵌入所述安装座22上的扣槽或扣孔，从而将所述摄像头基座23安装固定于所述安装座22上。当要拆卸所述摄像头基座23时，操作所述摄像头基座23上的卡扣或卡勾，使得所述摄像头基座23上的卡扣或卡勾与所述安装座22上的扣槽或扣孔脱离结合，将所述摄像头基座23沿水平方向拔出所述安装座22。
84.在某些实施例中，所述锁附结构可包括螺孔或螺柱以及螺丝，例如，所述摄像头基座的相对两侧(例如左右两侧)设有螺柱或安装孔，其中，所述螺柱或安装孔为水平设置，相应地，所述安装座的相对两侧(例如左右两侧)也相应设有与螺柱或安装孔对应的螺孔。当要安装所述摄像头基座时，将所述摄像头基座沿水平方向插入到安装座上，使得所述摄像头基座上的螺柱或安装孔与安装座上的螺孔对齐，后续，利用螺丝自摄像头基座的螺柱或安装孔进入直至穿出螺柱或安装孔后进入所述安装座的螺孔，从而将所述摄像头基座安装固定于安装座上。当要拆卸所述摄像头基座时，卸掉螺丝，使得所述摄像头基座与所述安装座脱离结合，将所述摄像头基座沿水平方向拔出所述安装座。
85.请参阅图8，显示为图6中摄像头模块在一实施例中的分解示意图。所述摄像头模块包括摄像头基座23和摄像头21，其中，所述摄像头21包括：摄像头电路板211、图像传感器212、以及镜头组件213。
86.所述镜头组件213为一组由透镜组成，用于收集前述提及的视场范围内的可见光线并在图像传感器212上成像。
87.所述图像传感器212电性连接于所述摄像头电路板211，所述镜头组件213设置于所述图像传感器212的正前方。
88.所述摄像头电路板211安装固定于安装座22上。例如，所述摄像头电路板211可通过锁附结构或卡扣结构固定于所述安装座22上。
89.在某些实施例中，所述锁附结构可包括螺孔以及螺丝，例如，如图8所示，所述摄像头电路板211可通过一个或多个螺丝固定于安装座22上。
90.在某些实施例中，所述卡扣结构可包括卡扣或卡勾，例如，在所述安装座上设有卡扣或卡勾，待所述摄像头电路板置于所述安装座的相应安装区域后，由所述安装座上的卡扣或卡勾扣住或勾住所述摄像头电路板。当然，所述摄像头电路板上也可设置于所述卡扣或卡勾对应的扣槽或扣孔。
91.所述图像传感器212和所述镜头组件213结合并设于所述摄像头基座23上，所述摄像头基座23上开设有相应的摄像头安装结构231。所述图像传感器可采用电荷藕合器件图像传感器(ccd)或互补金属氧化物半导体图像传感器(cmos)等。
92.一般地，目前的摄像头组件中通常采用电荷藕合器件图像传感器(ccd)或互补金属氧化物半导体图像传感器(cmos)进行图像传感，该图像传感器将从镜头组件213上传导
过来的光线转换为电信号，再通过内部的da转换为数字信号，数字信号经过一系列的放大处理、储存处理后，传输到屏幕形成图像。由于从镜头组件213上传导过来的光线除了可见光之外，还会有部分红外光，该部分红外光虽然人眼不可见，但可以被上述图像传感器感知，经过一系列转换后，该部分红外光会在最终形成的图像上形成虚像，从而出现人眼看到的图像与图像传感器感应到的图像不一致的问题，即出现偏色问题，影响摄像头组件的拍摄性能。
93.因此，在某些实施例中，所述摄像头还可包括红外截止滤光片，即，在所述图像传感器212和所述镜头组件213之间设置红外截止滤光片，所述红外截止滤光片可以截止红外光，并且高透可见光，可以改善前述的偏色问题，并且不影响可见光的成像。
94.所述摄像头电路板211的一侧可通过例如柔性电路板与所述图像传感器212电性连接，所述摄像头电路板211的另一侧另可通过例如柔性电路板与所述机器人本体中壳体内的主电路板100电性连接。
95.于实际的实施方式中，摄像组件2还可配置其他的部件。例如，为避免摄像头因环境光线过暗而使得拍摄的图像不清晰以致不能完成相应的功能模式(例如，障碍物检测与避障odoa)的要求，在某些实施例中，所述摄像组件还可包括补光灯，可在光线不足的环境下(例如，阴雨天气、黄昏夜晚、或者是移动机器人钻到沙发下、床底下或茶几下等)提供补光。
96.所述补光灯可设置在摄像头21的周边。所述补光灯的数量可以是一个或多个。以单个补光灯为例，在某些实施例中，所述摄像头与所述补光灯沿所述摄像头基座的左右设置，例如，所述摄像头在左所述补光灯在右，或者，所述摄像头在右所述补光灯在左，其中，所述摄像头中镜头组件的光轴与所述补光灯的轴心在同一水平线上或在垂向上存在一上下落差。在某些实施例中，所述摄像头与所述补光灯沿所述摄像头基座的上下设置，例如，所述摄像头在上所述补光灯在下，或者，所述摄像头在下所述补光灯在上，其中，所述摄像头中镜头组件的光轴与所述补光灯的轴心在同一重垂线上或在水平方向上存在一水平偏移。以两个补光灯为例，在某些实施例中，这两个补光灯可包括左补光灯和右补光灯，分别位于所述单摄像头的左右两侧。在某些实施例中，这两个补光灯可包括上补光灯和下补光灯，分别位于所述单摄像头的上下两端。
97.在图8所示的实施例中，所述摄像组件2还包括一补光灯25，所述补光灯25位于所述摄像头21的下方，因此，所述摄像头基座23上开设有相应的补光灯安装结构232，所述补光灯安装结构232位于所述摄像头安装结构231的下方。
98.在实际应用中，所述补光灯可例如为led补光灯，例如，蓝光led、红光led、绿光led、白光led等。例如，蓝光led相对于红光led或绿光led，波长更短，具有更强的穿透力，使得反射回来的光不易散射，图像显示效果更佳。当然，对于补光，并不以上述的led补光灯为限，在某些实施例中，所述补光灯也可采用红外补光灯或激光束等。
99.在某些实施例中，所述摄像头基座23上还设有保护盖板24，所述保护盖板24上设有与所述镜头组件213对应的摄像头玻璃挡片214以及与所述补光灯25对应的补光灯玻璃挡片251。例如，所述保护盖板24上设有第一挡片安装结构241，所述摄像头玻璃挡片214安装于所述保护盖板24的第一挡片安装结构241上，所述保护盖板24上设有第二挡片安装结构242，所述补光灯玻璃挡片251安装于所述保护盖板24的第二挡片安装结构242上，后续，
所述保护盖板24再安装固定于所述摄像头基座23上。所述保护盖板24可通过例如双面胶或胶水安装固定于所述摄像头基座23上。
100.利用上述公开的摄像组件的结构，即可将所述摄像组件安装固定于机器人本体1的壳体上。
101.在一些示例中，请参阅图9，其显示为摄像组件的一结构示意框图。摄像头电路板上所布置的电路结构中包含控制单元31(camera control)，该控制单元31至少与所述摄像头中的电路器件电连接，如与图像传感器301、或者与镜头组件的驱动器302、或者与光圈的控制器303中的至少一种电路器件电连接，以通过控制相应电路器件来使摄像头输出第一图像帧序列。
102.所述控制单元为一种处理图像数据的处理器，如dsp(digital signal processor，数字信号处理器)，其对图像传感器、或镜头组件等进行如：帧率控制、分辨率控制、对焦控制、自动曝光控制中的至少一种与拍摄图像相关的控制操作。
103.其中，所述帧率控制用于控制图像传感器输出图像的时间间隔，例如，控制单元控制图像传感器以25fps的帧率输出第一图像帧序列。
104.所述分辨率控制用于基于像素数量对图像传感器所提供的数据矩阵进行颜色转换，以输出如标清图像、或高清图像等清晰度一致或不一致的第一图像帧序列。
105.所述对焦控制用于控制镜头组件的驱动器进行焦距调整，以获得清晰的反映远距离或近距离景象的图像。
106.所述自动曝光控制用于通过控制光圈的控制器来调整光圈的进光时长，如此调整聚焦在图像传感器上的进光量。
107.在一些具体示例中，所述控制单元单独控制光圈来调整进光量。例如，控制单元通过检测图像传感器所提供的单位时间内的光强度数据，确定在拍摄一帧图像时的光圈打开时长。在另一些具体示例中，所述控制单元控制光圈和摄像头模块中的补光灯来调整进光量。例如，控制单元通过检测图像传感器所提供的单位时间内的光强度数据，控制补光灯闪烁时机和时长，以及控制光圈的打开时长，由此得到在补光光线下所拍摄的一帧图像。
108.所述摄像头输出图像帧序列。其中，所述图像帧序列包含依时序拍摄的、且利用颜色数据阵列来表示的多帧图像。其中，所述颜色数据阵列举例为利用r、g、或b颜色数据描述的矩阵数据，或者利用rgb颜色数据描述的矩阵数据，或者利用yuv描述的矩阵数据等。
109.在另一些示例中，请参阅图10，其显示为摄像组件的又一结构示意框图。所述摄像组件还包括图像处理单元32，如isp(image signal processor，图像信号处理器)，或者图像处理芯片。所述图像处理单元32与所述摄像头31相连，对所拍摄的图像帧序列进行图像处理并输出处理后的图像帧序列。其中，所述图像处理单元32用于向后续硬件提供易于为各功能模式识别有效输入的图像数据。例如，图像处理单元32对第一图像帧序列中的各图像进行图象纠正等。
110.所述图像处理单元还可以与控制单元电连接，通过与控制单元的指令交互获取与移动机器人的各功能模式相匹配的图像，并输出包含所匹配的图像组成的图像帧序列。
111.上述各示例中提及的图像处理单元与控制单元属于视觉控制装置中的硬件。视觉控制装置还包括用于支持图像处理单元与控制单元之间数据传输和运行的电路结构等。所述视觉控制装置中的主要硬件电路可与摄像头一并封装，或所述视觉控制装置中的主要硬
件电路单独封装，或者视觉控制装置中主要硬件电路的一部分硬件于摄像头封装在一起、且另一部分硬件电路单独封装。
112.在某些实施例中，如图8所示，所述摄像头基座23上还设有保护盖板24，所述保护盖板24上设有与所述镜头组件对应的摄像头玻璃挡片214。例如，所述保护盖板24上设有第一挡片安装结构241，摄像头玻璃挡片214安装于所述保护盖板24的第一挡片安装结构241上，后续，所述保护盖板24再安装固定于所述摄像头基座23上。所述保护盖板24可通过例如双面胶或胶水安装固定于所述摄像头基座23上。
113.本技术公开的移动机器人还包括防水组件，所述防水组件设于所述摄像组件和所述壳体之间。在某些实施例中，所述防水组件可包括第一遮挡板和第二遮挡板，其中，所述第一遮挡板设于所述摄像头安装座的顶部，所述第二遮挡板设于所述壳体的前端边缘，当将所述摄像组件安装固定于所述壳体上时，所述第一遮挡板与所述第二遮挡板相互交叠，起到防水作用。其中，所述第一遮挡板和所述第二遮挡板之间可增设防水条、防水皮圈等，或者，所述第一遮挡板和所述第二遮挡板还可设有接合结构，所述接合结构包括但不限于第一卡扣和第二卡扣的配合、第一卡勾和第二卡勾的配合、卡扣或卡勾与扣槽或扣孔的配合等。在某些实施例中，所述防水组件可包括防水条、防水皮圈等，在所述摄像组件安装固定于机器人本体的壳体上时设于所述摄像组件的摄像头安装座与相邻的壳体之间。
114.本技术公开的移动机器人具有以下有益效果：本技术移动机器人配置有摄像组件，所述摄像组件设于机器人壳体侧部表面、或者机器人壳体的顶部表面和侧部表面的交接处，所述摄像组件中包括摄像头，所述摄像头的光轴呈倾斜向上设置，如此，可使得所述摄像头具有更为宽广的摄像视角，获得信息量更多的图像数据，即可利用单摄像头实现基于图像采集进行定位及地图构建、视觉场景理解、障碍物检测与避障、视觉里程计、视觉回充等多种功能，并可相比于相关技术，可免除需要布设的多个传感器或多种类型的传感器，降低了设计难度并大帧减少了移动机器人整体成本。
115.如上述示例所示，所述摄像组件连续拍摄多帧原始图像以形成图像帧序列。例如，所述摄像组件拍摄多帧原始图像的帧率为25帧每秒(25fps)。
116.为便于区分摄像组件所拍摄的原始图像及其组成的序列，以及摄像组件所输出的图像帧及其序列，现将摄像组件所拍摄的原始图像组成的序列称为第一图像帧序列，将摄像组件所输出的图像帧组成的序列称为第二图像帧序列。其中，所述第一图像帧序列或第二图像帧序列中的多帧图像(又称图像帧、或图像数据)均依据拍摄时间的顺序而排列。
117.藉由上述各示例所提及的摄像组件，其视场范围能够提供多种功能模式所需的输入信息，为此，在一些示例中，所述摄像组件所输出的第二图像帧序列的帧率可以与第一图像帧序列的帧率相同。换言之，摄像组件将每一拍摄到的图像输出至移动机器人的后续硬件，如输出至移动机器人的控制系统。由此，移动机器人中的控制系统从所接收的第二图像帧序列中提取与各功能模式相关的数据，并通过运行各功能模式，选择在其中一个功能模式下执行相应行为。在又一些示例中，第二图像帧序列为摄像组件按照控制系统所运行的各功能模式对图像的需要，对第一图像帧序列进行图像处理后得到的。由此，移动机器人中的控制系统在接收第二图像帧序列时，将其中的每一图像帧提供给相适配的功能模式，以及通过运行相应功能模式，选择在其中一个功能模式下执行相应行为。
118.例如，控制系统一方面利用所接收的第二图像帧序列中的第一图像帧在导航模
式/构图模式下执行移动操作；另一方面通过识别所接收的第二图像帧序列中的第二图像帧反映周围障碍物的数据，并据此选择继续在导航模式/构图模式下执行移动操作，或者在避障模式下执行避障操作。
119.上述各示例中的控制系统将在后续举例。摄像组件与移动机器人中的控制系统之间采用数据线连接，如usb、rs232、ahb总线、apb总线等串行接口连接，和/或hdmi、bus总线等并行接口连接。例如，摄像组件中的图像处理单元通过两个usb接口连接控制系统，其中一个usb接口用于输出第二图像帧序列，以及另一个usb接口用于与控制系统进行指令交互。又如，摄像组件中的图像处理单元通过usb接口和总线接口连接控制系统，其中usb接口用于输出第二图像帧序列，以及利用ahb和apb总线接口组合用于与控制系统进行指令交互。
120.为了减少控制系统处理数据的资源占用情况，以及提高对摄像组件所拍摄的第一图像帧序列中各图像利用效率，本技术提供一种图像处理方法。
121.请参阅图11，其显示为所述摄像组件的一种图像处理方法的流程示意图。所述图像处理方法主要由前述提及的视觉控制装置来执行。例如，以视觉控制装置中的图像处理单元为主要执行者，在图像处理单元的指令下结合控制单元、和摄像头等硬件进行协同工作，所输出的第二图像帧序列中的各帧图像适配于控制系统当前运行的至少一个功能模式对图像的需求。为了便于描述，以摄像组件的工作过程来描述所述图像处理方法。
122.在步骤s100中，摄取第一图像帧序列。如前所述，摄像组件摄取第一图像帧序列。
123.在步骤s110中，按照预设的多个功能模式所对应的各图像需求信息，将所述图像帧序列进行图像处理并依时序输出。其中，所输出的各图像帧供所述移动机器人的至少一个功能模式使用。换言之，基于所述第一图像帧序列输出第二图像帧序列；其中，所述第二图像帧序列中的各图像帧分别对应给所述移动机器人的至少一种功能模式使用，且所述第二图像帧序列中的各图像帧对应于至少一种功能模式的图像需求信息。
124.摄像组件对第一图像帧序列进行图像处理的目的在于在移动机器人持续移动的过程中向控制系统提供具有重叠视场范围、且不同位置拍摄的多帧图像，以利用在不同位置所拍摄的不同图像之间的图像数据差异，反映出移动机器人的移动情况以及周围环境。其中，所述图像需求信息是为了使至少一个功能模式从图像中获取到有效输入信息而对图像提出的量化需求。所述图像需求信息可以利用图表、或配置文件等存储在摄像组件中，或者记录成程序中的参数。所述图像需求信息举例包括反映至少一个功能模式对图像的以下至少一种量化需求：帧率区间、图像亮度区间、及图像区域等。
125.在一些实施例中，图像需求信息包括各功能模式对应图像的帧率区间。不同功能模式所对应的帧率区间可以相同或不同，以达到各功能模式在相应帧率的图像中获得与其自主行为相匹配的输入数据的目的。在移动机器人的所有功能模式中，各帧率区间至少有两个是不同的。其中，所述不同的帧率区间包含：帧率区间不重叠、或区间仅部分重叠。以前述移动机器人包含视觉定位与建图、避障、视觉回充、视觉场景理解、视觉跟踪中的至少一种功能模式为例，所述视觉定位与建图、或视觉场景理解所对应的图像帧率(或称帧率区间)为不低于2帧/秒；所述避障或视觉跟踪所对应的图像帧率(或称帧率区间)不低于7帧/秒；所述视觉回充所对应的图像帧率为不低于20fps。
126.为此，请参阅图12，其显示为摄像组件在一实施例中的流程图。所述步骤s110包括
步骤s111：基于所述图像帧序列，依序输出相应的图像帧给所述移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
127.如前所述，所述帧率需求即表达为图像需求刘信息中的各帧率区间。按照图像需求信息中所设置的不同的帧率区间，摄像组件根据与控制系统预先确定的至少一个功能模式的种类，对第一图像帧序列进行帧率方面的处理，并输出符合所确定的所有功能模式的帧率需求的第二图像帧序列。其中，第一图像帧序列与第二图像帧序列之间的帧率无必然关联。第二图像帧序列中的相邻帧图像之间的时间间隔可以是均匀的或不均匀的。
128.例如，在所输出的第二图像帧序列中包含依据不同帧率区间而穿插着排序的多帧图像。请参阅图13，其显示为一种第二图像帧序列的示意图，其中，摄像组件基于图像需求信息中避障模式和vslam模式各自对应的两种不同的帧率区间，将第一图像帧序列进行帧率方面的处理，所得到的第二图像帧序列中图像p1、p4、p8
…
为按照vslam模式的帧率区间而排序的；第二图像帧序列中图像p2、p3、p5、p6、p7
…
为按照避障模式的帧率区间而排序的。其中，在满足避障模式的帧率区间的情况下，同属于避障模式的图像p2和p3之间的时间间隔与图像p3和p5之间的时间间隔不同。或者，在同时满足vlsam模式和避障模式的各帧率区间的情况下，摄像组件调整相邻帧图像之间的时间间隔的方式，使得同属于避障模式的图像p1和p2之间的时间间隔与图像p3和p5之间的时间间隔相同；同属于vslam模式的图像p1和p4之间的时间间隔与图像p4和p8之间的时间间隔不同。
129.又如，在所输出的第二图像帧序列中包含至少一帧图像，该帧图像满足于相同或不同帧率区间的帧率需求；换言之，该帧图像为满足相应帧率区间的多个功能模式提供信息输入。
130.仍以图13为例，其中，摄像组件基于图像需求信息中避障模式和vo模式对应的相同帧率区间，将第一图像帧序列进行帧率方面的处理，所得到的第二图像帧序列中图像p1、p2、p3、
…
均为按照避障模式和vo模式的帧率区间而排序的。换言之，图像p1、p2、p3、
…
均向控制系统所运行的避障模式和vo模式提供信息输入。
131.仍以图13为例，其中，摄像组件基于图像需求信息中避障模式和vslam模式对应的不同帧率区间，将第一图像帧序列进行帧率方面的处理，所得到的第二图像帧序列中图像p1、p3、p5、p7
…
为按照vslam模式的帧率区间而排序的；第二图像帧序列中图像p2、p3、p4、p6、p7、p8
…
为按照避障模式的帧率区间而排序的。其中，图像p3和p7为同时满足避障模式和vslam模式的帧率需求的图像。
132.在一些应用中，在移动机器人的所有功能模式中帧率需求组合基本稳定的情况下，摄像组件根据预设的对应帧率需求组合的帧率需求信息，对第一图像帧序列进行帧率处理，所得到的第二图像帧序列中的图像用于供控制系统运行对应的多个功率模式提供信息输入。
133.以移动机器人的功能模式包括：导航模式、vslam模式、避障模式、和视觉跟踪模式为例，导航模式和vslam模式的帧率需求大致相同，避障模式和视觉跟踪模式大致相同，为此预存储在摄像组件中的帧率需求信息包含两个帧率区间，其中，对应导航模式和vslam模式的帧率区间为不低于2帧/秒(fps)；对应避障模式和视觉跟踪模式的帧率区间不低于7帧/秒。例如，摄像组件按照不低于3fps、和在7-12fps之间的帧率的帧率需求信息，对第一
图像帧序列进行时序处理，并输出第二图像帧序列。
134.为了在移动机器人持续移动的过程中向控制系统提供具有重叠视场范围的、且符合各帧率区间需求的第二图像帧序列，摄像组件进行时序处理的方式举例包括：调整第一图像帧序列中图像的时间间隔，和/或对第一图像帧序列中的图像进行图像筛选等。
135.以前述帧率区间为不低于3fps的帧率区间为例，摄像组件以单位时长为周期，从第一图像帧序列中筛选出时间间隔大致相同的3帧图像，并按照所筛选出的各帧图像在第一图像帧序列中的拍摄时序进行排序，得到第二图像帧序列。
136.以前述帧率区间包括不低于3fps和10fps的帧率区间为例，摄像组件以单位时长为周期，从第一图像帧序列中筛选出时间间隔大致相同的3帧图像，以及从第一图像帧中筛选出时间间隔大致相同的、且与前述3帧图像不同的10帧图像，所筛选出的各帧图像以在第一图像帧序列中的拍摄时序进行排序输出，得到第二图像帧序列。
137.为了减少控制系统对同一图像进行针对不同功能模式需求的多次图像处理，摄像组件所述出的第二图像帧序列中每一帧图像对应尽量少的帧率需求。例如，为同时满足至少两种帧率需求的情况下，摄像组件采用最小化重复的图像抽取机制，来处理第一图像帧序列。其中，所述最小化重复的图像抽取机制是指所抽取的同一图像同时满足不同帧率需求的数量尽可能少，由此便于控制系统根据不同功能模式的图像处理方式进行图像处理，以减少控制系统对同一帧图像多次处理所带来的复杂运算。仍以前述帧率区间包括不低于3fps和10fps的帧率区间为例，摄像组件以秒为单位时长，从单位时长中的25帧的第一图像帧序列中抽取13帧图像；按照大致等分的方式，分配各帧图像所对应的功能模式并输出，以得到第二图像帧序列。
138.上述各示例通过对第一图像帧序列中的图像进行时序处理，得到符合至少一个功能模式下的帧率需求的第二图像帧序列，该第二图像帧序列能够供控制系统分配给相应的功能模式，并通过运行各功能模式来从相应图像中获得移动机器人在移动过程中周围环境变化的信息输入，如从相应帧率的图像中获得定位特征、障碍物信息、充电桩信息等与位置变化相关的信息，以供控制系统根据所获得的信息选择在其中一种功能模式下执行移动行为。
139.在实际应用中，真实的物理空间的光线会随着一天的各时段、或室内灯光而发生变化，在同一物理空间中，移动机器人的控制系统根据不同环境光线下所拍摄的不同图像可能控制移动机器人采取不同的行为。例如，在环境光线较强的情况下，控制系统在vslam模式下提取所接收的多帧图像中的第一地标特征数据，并据此构建相应物理空间的地图数据；在同样的物理空间中，在环境光线较弱的情况下，控制系统在导航模式下提取所接收的多帧图像中的第二地标特征数据，所提取的第二地标特征数据可能不足以与地图数据中的第一地标特征数据进行匹配，从而使得控制系统无法在地图数据中确定移动机器人的当前位置。又如，在环境光线较强的情况下，控制系统在避障模式下识别所接收的图像中的障碍物信息，并据此及时执行相应的避障操作；在同样的物理空间中，在环境光线较弱的情况下，控制系统在避障模式下可能不足以从所接收的图像中识别出障碍物信息，从而未及时执行相应的避障操作，并发生移动机器人与障碍物碰撞的情况。再如，在相同的环境光线下，曝光较强的图像对应能够提供反映相对于移动机器人较远处的环境的数据；曝光较若的图像对应能够提供反映相对于移动机器人较近处的环境的数据。
140.为了让控制系统获得对运行功能模式有益输入的图像，以便移动机器人正确执行相应操作，在另一些实施例中，摄像组件所输出的第二图像帧序列中的各帧图像符合相应功能模式对图像亮度的图像需求。例如，摄像组件对所拍摄的第一图像帧序列进行图像处理以输出符合相应功能模式对图像亮度的需求的第二图像帧序列。
141.在环境光线极弱的情况下，摄像组件仅通过图像处理方式调整图像亮度的方式，仍然无法满足相应功能模式的图像亮度需求。在一些应用中，请参阅图14，其显示为摄像组件在又一实施例中的流程图，所述步骤s100包括步骤s101：摄像组件根据所在环境的光线调节拍摄时的曝光量，以使得所摄取的第一图像帧序列中的各帧图像中包含摆放在视场范围内的物体所对应的数据。
142.摄像组件中的控制单元利用如图像传感器等感光器件检测移动机器人所在环境的光线强度，并根据所检测的光强度值调整拍摄的快门时长、光圈大小、和启用补光灯中的至少一种。
143.在一些示例中，在控制单元的控制下，图像传感器输出第一图像帧序列，以供图像处理单元按照相应功率模式对相应图像进行亮度的调整。
144.在又一些示例中，摄像组件中的控制单元根据图像处理单元的高曝光或低曝光的指令来调整曝光量，以输出包含基于至少一类曝光控制而得到的图像所组成的第一图像帧序列。在此，图像处理单元根据欲输出至控制系统的至少一个功能模式的图像需求信息，向控制单元发出包含高曝光或低曝光的指令。
145.在另一些示例中，摄像组件中的控制单元根据与图像处理单元之间预先确定的各功能模式所对应的图像时序及其对应的曝光要求，来拍摄符合相应曝光要求的图像，并按时序输出包含基于至少一类曝光控制而得到的图像所组成的第一图像帧序列。
146.不限于上述应用及示例，摄像组件中所预设的图像需求信息中包含对应多种功能模式的至少两个不同的图像亮度区间(又称目标亮度参数)。其中，所述图像亮度区间表示为适配相应功能模式而使得相应图像的整体或局部亮度符合亮度需求的量化数据。所述图像亮度区间举例包括基于以下至少一种而设置的区间范围：亮度极值、亮度方差、亮度均值、亮度分布等。不同的图像亮度区间包括没有重叠区间的图像亮度区间、或者包含部分重叠区间的图像亮度区间。例如，各所述图像亮度区间对应于评价所摄取的第一图像帧序列中各帧图像的整体亮度。又如，由于不同功能模式所关注的图像区域并非一定相同，因此，各所述图像亮度区间对应于评价所摄取的第一图像帧序列中各帧图像中对应功能模式的图像区域的局部亮度。
147.为此，摄像组件为第一图像帧序列中的部分或全部图像进行关于图像亮度的处理，并依时序输出。
148.仍参阅图14，所述步骤s110包括步骤s112：对比所述图像帧的图像亮度参数与所应用的功能模式的目标亮度参数，以在所述图像帧的图像亮度参数不匹配于所述目标亮度参数时调整所述图像帧的图像亮度。
149.其中，所述图像帧的图像亮度参数为摄像组件根据各功能模式对图像的与亮度相关的图像处理条件而计算得到的。其中，所述与亮度相关的图像处理条件举例包括确定对应功能模式的图像区域、或图像整体的图像处理范围。
150.在一些示例中，摄像组件根据各功能模式所对应的兴趣区域提取第一图像帧序列
中图像的相应图像区域，并计算图像区域内的图像亮度参数；通过比对所计算的图像亮度参数与对应功能模式的图像亮度区间，确定相应图像是否匹配于相应功能模式所需的图像亮度需求。
151.摄像组件对所选取的兴趣区域(如所述图像区域或图像整体)范围内的亮度进行如亮度极值、亮度方差、亮度均值、亮度分布等中的至少一种计算，以得到图像亮度参数。所得到的图像亮度参数与对应功能模式的图像亮度区间进行比对，以评价所得到的第一图像帧序列中的图像的亮度是否满足相应功能模式的图像亮度需求；若满足，则将相应图像依时序逐个输出，反之，则摄像组件调节相应的图像区域的图像亮度，以使调节后的图像区域均落入相应的图像亮度区间。
152.例如，避障模式所对应的图像需求信息包括：图像下部的图像区域bottom_area及其图像亮度区间bright_interval_1，导航模式所对应的图像需求信息包括：图像上部的图像区域upper_area及其图像亮度区间bright_interval_2；其中，图像区域upper_area和图像区域bottom_area不重叠或部分重叠。摄像组件按照两种功能模式所对应的不同图像区域，对第一图像帧序列中的一帧图像p11的对应图像区域分别计算图像亮度参数，并将所得到的两个图像亮度参数分别与各自的图像亮度区间进行比对，若两个图像亮度参数均落入各自的图像亮度区间，则摄像组件输出该图像以供控制系统利用该图像的图像区域upper_area进行导航数据处理，以及利用图像区域bottom_area进行避障数据处理；反之，若其中至少一个图像亮度参数未落入相应的图像亮度区间，则摄像组件调节相应的图像区域的图像亮度，以使调节后的两个图像区域均落入各自的图像亮度区间。
153.又如，摄像组件结合各功能模式所对应的图像需求信息中帧率和图像亮度的相关信息，如帧率区间和图像亮度区间，将第一图像帧序列中的一帧图像p12设置为用于避障模式的图像，并对应避障模式进行图像亮度计算，得到图像亮度参数；若该图像亮度参数落入避障模式所对应的图像亮度区间，则摄像组件输出该图像以供控制系统利用该图像进行避障数据处理；反之，若该图像亮度参数未落入相应的图像亮度区间，则摄像组件调节相应的图像的图像亮度，以使调节亮度后的图像的图像亮度参数落入相应的图像亮度区间。
154.在另一些示例中，基于对应各功能模式的兴趣区域及其权重值，计算所述图像帧的图像亮度参数。其中，所述兴趣区域的尺寸、兴趣区域在图像中的位置、以及兴趣区域的权重值均与功能模式对所拍摄的图像的有效输入的数据相关。所述兴趣区域在图像中的位置和尺寸可以是根据功能模式所对应的图像区域而预设的。
155.例如，请参阅图15，其显示为对应避障模式的兴趣区域对应到图像上的示意图，其中，该兴趣区域inter_area对应于图像的下半部的位置，以及兴趣区域inter_area的范围如图15所示，随避障模式计算精准度和图像中所反映的周围环境的可靠性，该兴趣区域的轮廓呈台阶形状。摄像组件计算该台阶形状内的各像素点的图像亮度参数，并与对应避障模式的图像亮度区间进行比较；若该图像亮度参数落入避障模式所对应的图像亮度区间，则摄像组件输出该图像以供控制系统利用该图像进行避障数据处理；反之，若该图像亮度参数未落入相应的图像亮度区间，则摄像组件调节相应的图像的图像亮度，以使调节亮度后的图像的图像亮度参数落入相应的图像亮度区间。
156.又如，所述兴趣区域为预设的单位图像块，如4*4、8*8、或16*16的图像块，以该兴趣区域为单位，将所述第一图像帧序列中的图像进行分块处理；基于各兴趣区域在图像中
的位置所对应的权重值，计算所述图像帧的所述图像亮度参数。
157.请参阅图16，其显示为一种功能模式的兴趣区域对应到图像上的权重分布示意图，其中，摄像组件根据不同功能模式的权重分布(w11、w12
…
wmn)与图像块位置的映射关系，对从第一图像帧序列中选出的图像上各图像块位置的像素值进行加权计算，得到经调整颜色后的图像；通过对调整颜色后的图像进行如亮度极值、亮度方差、亮度均值、亮度分布等中的至少一种计算，以得到图像亮度参数；利用该图像亮度参数与相应功能模式下的图像亮度区间进行比较；若该图像亮度参数落入避障模式所对应的图像亮度区间，则摄像组件输出该图像以供控制系统利用该图像进行避障数据处理；反之，若该图像亮度参数未落入相应的图像亮度区间，则摄像组件调节相应的图像的图像亮度，以使调节亮度后的图像的图像亮度参数落入相应的图像亮度区间。
158.如上述示例所示，所述权重分布依据不同功能模式对周围环境的信息输入的需求不同而不同。例如，在回充模式下，图像中部区域的权重值高于四周区域的权重值。又如，在避障或视觉跟踪的功能模式下，图像中对应地面的地面图像区域的权重值高于对应地上的地面上图像区域的权重值。再如，在视觉定位与建图的功能模式(vslam模式)下，所述地面图像区域的权重值低于地上图像区域的权重值。其中，为了不丢弃权重低的图像区域中的信息，各权重值可设置在大于0的一数值范围内。
159.所述地面图像区域和地面上图像区域为摄像组件所设置的图像中的图像区域。在一些关于地面图像区域和地面上图像区域的示例中，所述地面图像区域和地面上图像区域是依据摄像组件的视场范围中地面范围和地面以上范围分别在所拍摄的图像中图像区域而划分的。例如，请参阅图17，其显示为图像中的地面图像区域和地面上图像区域的示意图，摄像组件将从图像的最低像素行p_row_low至图像中部区域的一像素行p_row_i之间的图像区域划分为地面图像区域，以及将像素行p_row_(i+1)至图像的最高像素行p_row_high之间的图像区域划分为地面上图像区域。
160.在另一些关于地面图像区域和地面上图像区域的示例中，所述地面图像区域和地面上图像区域是依据所提取的图像中的地面图像特征而划分的。其中，所述地面图像特征来自于所述第一图像帧序列中图像的下边缘图像区域。例如，摄像组件提取利用第一图像帧序列中的至少一帧图像的下边缘图像区域中的图像特征；通过比对图像特征之间的相似性，选择一些图像特征作为表示移动机器人所处环境的地面的图像特征；根据所选择的图像特征在图像中的分布情况，基于图像特征在某一图像中集中的区域，确定相应图像中的地面图像区域，其他图像区域确定为地面上图像区域。
161.摄像组件根据预设的对应各功能模式的权重分布，对第一图像帧序列中的图像进行加权计算。例如，摄像组件利用权重分布为图像中的各像素重新赋值。
162.摄像组件计算调整权重后的图像的图像亮度参数。例如，摄像组件计算调整权重后的图像的图像直方图和亮度平均值等数据；将依据图像直方图而确定的亮度对比度、和亮度平均值等数据作为图像亮度参数，并与对应的图像亮度区间进行比对；根据比对结果，不断调整图像直方图及其对应的亮度平均值等数据，直至调整后图像的图像亮度参数满足图像亮度区间。摄像组件将调整后的图像依时序输出，以得到第二图像帧序列。
163.其中，可适用于上述任一示例中的调整图像亮度参数的方式举例包括以下至少一种：调整相应图像帧的图像增益、调整相应图像帧的亮度对比度、提高/降低图像的亮度极
值区间等。例如，通过增加整帧图像的亮度的方式来调整相应图像帧的图像增益。又如，通过改变直方图的亮度分布来调整亮度对比度。再如，通过提高亮度极值区间来改变图像中亮度对比度等。
164.在此，摄像组件按照与控制系统的约定，将所处理的对应至少一个功能模式的图像依时序发送至控制系统。如前述示例所述，所输出的第二图像帧序列中的各图像可以向一个功能模式提供信息输入，也可以向多个功能模式提供信息输入。例如，所输出的第二图像帧序列中的图像中的不同图像区域对应于不同功能模式。又如，所输出的第二图像帧序列中的图像仅对应于对同一图像区域感兴趣的功能模式。
165.在一些应用中，针对图像中的与相应功能模式所关注的图像区域、或者图像中不足以准确提供信息输入的图像区域，摄像组件通过图像分割处理后予以输出。
166.其中，所述图像分割的方式举例包括：在摄像组件中的权重分布中将相应图像区域的权重设置为0，由此使得第二图像帧序列中的图像为经分割图像。或者，所述图像分割的方式举例包括：按照第一图像帧序列中图像符合相应图像亮度区间的图像区域，对相应图像进行分割处理。
167.上述各示例通过对第一图像帧序列中的图像进行图像亮度处理，得到符合至少一个功能模式下的图像亮度需求的第二图像帧序列，该第二图像帧序列能够供控制系统分配给相应的功能模式，并通过运行各功能模式来从相应图像中提取移动机器人周围环境的有效信息输入，如从图像中获得定位特征、障碍物信息、或充电桩信息等，控制系统根据所确认的信息选择在其中一种功能模式下执行移动行为。
168.为了使控制系统按照第二图像帧序列中的各图像的用途进行后续处理，所述摄像组件和控制系统之间配置有传输协议或图像排序规则。
169.在一些示例中，摄像组件根据各图像需求信息中的每一量化的图像需求，对所接收的第一图像帧序列中的图像分别进行上述任一示例所提及的图像处理，如进行帧率筛选、图像亮度处理、和图像分割中的至少一种等。由此对应同一功能模式，第一图像帧序列中的一帧图像被处理成第二图像帧序列中的至少一帧图像。摄像组件通过在相应图像增加标签的方式，供控制系统识别。其中，所述标签包括但不限于以下至少一种：表示可适用的至少一个功能模式的标签、表示可适用的至少一个帧率需求的标签、表示可适用的至少一个图像亮度需求的标签、表示拍摄时间的标签。
170.例如，摄像组件按照每秒25帧的帧率输出第二图像帧序列，该第二图像帧序列中的各帧图像不仅满足对应25fps的功能模式的图像需求，其中的部分图像还兼顾满足不低于3fps、和不低于10fps的功能模式的图像需求。其中，利用所输出的各帧图像中的标签来标识相应图像所适用的帧率需求。
171.又如，所输出的第二图像帧序列中的多帧图像是摄像组件对第一图像帧序列中的同一图像进行不同图像处理后所得到的。其中，利用所输出的各帧图像中的标签来标识相应图像所适用的帧率需求及图像亮度需求。
172.在另一些示例中，摄像组件中预设有与控制系统的同步机制，和预设有对应每一功能模式的各图像输出顺序，并据此输出第二图像帧序列。具体地，在与控制系统建立同步传输的情况下，摄像组件按照预设的图像输出顺序，输出第二图像帧序列。其中所述同步机制举例利用位于摄像组件和/或控制系统中的时钟信号而产生的同步控制信号，来传输图
像的机制。所述图像输出顺序举例为预设的为满足所有功能模式中各图像需求信息而设置的图像输出顺序。在一具体示例中，为满足所有功能模式的帧率需求而设置的第二图像帧序列中相邻图像之间的时间间隔和时序。在又一具体示例中，为满足不同帧率需求而设置的图像穿插机制，比如在不低于3fps帧率的多帧图像之间穿插不低于10fps帧率的多帧图像。在另一具体示例中，为满足所有功能模式的图像亮度需求而设置的循环传输机制。比如，图像需求信息中包含不同功能模式所对应的三种图像亮度需求信息，摄像组件将第一图像帧序列中图像分别处理成满足三种图像亮度需求的三帧图像，按照预设的各图像亮度需求的输出顺序，将经处理的三帧图像依顺序输出。
173.考虑移动机器人的不同功能模式对多帧图像中的帧率需求，以及控制系统在不同功能模式下进行图像处理的资源情况，在一些应用中，摄像组件所输出的第二图像帧序列中包含对应多个功能模式的图像，以供控制系统进行后续处理。
174.在另一些应用中，所述摄像组件还可以在控制系统的控制下，选择按照至少一种功能模式的图像需求信息来输出第二图像帧序列。控制系统向摄像组件发出控制指令，摄像组件根据所述控制指令中的指令信息输出相应的第二图像帧序列。其中，所述控制指令包含反映功率模式的指令信息，例如，所述指令信息包含对应功能模式的帧率需求、图像亮度需求、和图像区域需求中至少一种的信息，或者表示功率模式(或帧率区间)的标识信息等。所述摄像组件根据所述控制指令调整所输出的第二图像帧序列。
175.以指令信息中包含帧率需求为例，摄像组件根据所接收的指令信息调整第二图像帧序列中各帧图像之间的时间间隔。例如，摄像组件按照拍摄第一图像帧序列的帧率为25fps，并在接收到控制指令包含表示vslam模式和避障模式时，摄像组件按照满足vslam模式和避障模式各自所对应的不低于3fps和10fps的帧率需求，以及最小化重复的图像抽取机制，从第一图像帧序列中抽取符合不低于3fps帧率需求的图像以及符合不低于10fps帧率需求的图像并依时序输出，以形成帧率为13fps的第二图像帧序列。当摄像组件接收到包含表示回充模式的指令信息时，摄像组件仍以摄像组件按照25fps拍摄第一图像帧序列，摄像组件将第一图像帧序列中的每帧图像依时序输出，以形成第二图像帧序列。如此使得在指令信息发生变化时，第二图像帧序列中相邻的图像帧之间的时间间隔发生变化。
176.以指令信息中包含图像亮度需求为例，摄像组件根据接收到的指令信息调整所输出的第二图像帧序列中各帧图像的图像亮度。当所述指令信息包含导航模式和避障模式时，摄像组件按照预设的模式输出顺序，输出对应图像亮度需求的第二图像帧序列；当所述指令信息包含回充模式时，摄像组件所输出的第二图像帧序列中的各图像均满足回充模式图像亮度需求。
177.为了减少摄像组件与控制系统的数据量，降低第二图像帧序列中的冗余信息，如包含重叠图像区域的两帧图像等。
178.在又一些应用中，摄像组件按照各帧率需求对第一图像帧序列中的各图像进行时序处理，在处理时序的同时，对相应图像还进行如图像亮度、和/或图像区域选择等图像处理，使得所输出的第二图像帧序列中的各图像不仅满足不同功能模式的帧率需求，还满足相应功能模式的图像亮度需求和/或图像区域的需求等。换言之，摄像组件按照相应功能模式所对应的帧率需求输出经亮度比对处理后和/或经提取图像区域处理后的图像帧，以形成第二图像帧序列。
179.以摄像组件所输出的第二图像帧序列包含对应导航模式和避障模式的图像为例，其中，导航模式所对应的图像需求信息包括：帧率区间包括不低于3fps，以及图像的地面上图像区域的图像亮度参数在第一图像亮度区间内，避障模式所对应的图像需求信息包括：帧率区间包括不低于10fps，以及图像的地面图像区域的图像亮度参数在第二图像亮度区间内；第一图像亮度区间与第二图像亮度区间不完全重叠。摄像组件通过检测周围环境的光强度，以25fps的帧率摄取图像并形成第一图像帧序列，摄像组件还按照13fps的帧率从第一图像帧序列中均匀抽取图像，其中，以满足不低于3fps的帧率区间而确认所抽取出的3帧图像为对应导航模式的图像，以及以满足不低于10fps的帧率区间而确认所抽取出的10帧图像为对应避障模式的图像；所抽取的每个图像对应具有相同图像需求信息的功能模式；摄像组件还对应导航模式的图像亮度处理方式计算相应图像的第一图像亮度参数，以及将所计算的第一图像亮度参数与第一图像亮度区间进行比对；以及摄像组件还对应避障模式的图像亮度处理方式计算相应图像的第二图像亮度参数，以及将所计算的第二图像亮度参数与第二图像亮度区间进行比对；基于各自的比对结果进行/不进行图像亮度处理；摄像组件将符合导航模式和避障模式的图像需求信息的图像按照时序和13fps的帧率予以输出。其中，对应避障模式的图像亮度处理方式和对应导航模式的图像亮度处理方式举例包括：前述示例中所提及的利用不同功能模式所对应的权重分布进行图像亮度参数计算的处理方式；和/或如前述示例中所提及的利用不同功能模式所对应的图像区域进行图像分割以及计算分割后的兴趣区域的图像亮度参数的处理方式等。
180.在一些应用中，摄像组件不仅按照图像需求信息对第一图像帧序列进行图像处理，还执行如对所述第一图像帧序列进行图像纠正处理，以及对第一图像帧序列中的各图像进行图像分割、图像降噪、图像颜色校正、图像分辨率调整中的至少一种处理，以适配各功率模式对图像整体上的清晰度、数据运算量等方面的通配需求或特定需求。
181.其中，摄像组件中的图像处理单元进行图像分割处理的方式可用于去除图像畸变较大的边缘区域、或者去除清晰度低、过曝或欠曝的图像区域等。例如，根据预设的图像尺寸，将第一图像帧序列中的各帧图像进行图像分割，以去除四周图像畸变较大的边缘区域。
182.摄像组件中的图像处理单元进行图像降噪处理的方式可用于降低图像中亮度的随机噪声等不利于提供有效信息的噪声数据等。例如，摄像组件利用滤波器对第一图像帧序列中各帧图像进行平滑处理，以达到降噪目的。
183.摄像组件中的图像处理单元进行图像颜色校正处理的方式可有助于提高识别图像中感兴趣区域的识别能力等。例如，摄像组件通过调整图像的灰度直方图来提高色彩饱和度、或颜色对比度等。
184.摄像组件中的图像处理单元进行图像分辨率处理的方式用于减少后续图像处理的计算量等。例如，摄像组件通过降采样方式来降低图像分辨率等。
185.上述各图像处理的示例可彼此组合，以实现对第一图像帧序列中各图像的图像预处理。或者，将上述部分图像处理方式与各功能模式的图像需求信息相结合，以输出可供控制系统在不同功能模式下处理需要的第二图像帧序列。
186.需要说明的是，如前所述的多种功能模式所对应的图像需求信息可能相同或不同，例如，视觉跟踪模式和避障模式所对应的图像需求信息基本一致，导航模式和vslam模式所对应的图像需求信息基本一致，回充模式所对应的图像需求信息与其他模式的图像需
求信息并不相同。在与控制系统预先协调统一的情况下，控制系统利用所接收的第二图像帧序列执行控制方法，以控制移动机器人中移动装置，使得移动机器人实现在复杂环境中的自主移动。
187.还需要说明的是，上述各示例或应用可彼此结合使用，以有利于控制系统通过第二图像帧序列中的各图像获取与所运行的功能模式相匹配的信息输入。例如，摄像组件所提供的第一图像帧序列是经由其检测外部环境光线而拍摄的；根据功能模式所对应的图像需求信息中帧率区间、某一图像区域的图像亮度区间，对第一图像帧序列中的一图像进行相应图像处理；以及通过为处理后的图像添加用于表示相应功能模式的标签等。由此使得控制系统从所接收的第二图像帧序列中的每一图像中确认其与所维护的各功能模式之间的关系。
188.所述控制系统设置在所述机器人本体上，用于控制所述驱动轮，通常设有处理器和存储器。在某些实施例中，控制系统设置在所述机器人本体内的电路主板上，包括存储器和处理器等，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。请参阅图18，其显示为所述控制系统的结构示意框图，所述控制系统7包括接口装置71、至少一个存储器72、和至少一个处理器73。所述控制系统7的硬件举例为集中配置在pcb电路板上的主板装置。
189.所述控制系统还可以包括至少一个以软件或固件(firmware)的形式存储在所述存储器中软件模块。所述软件模块由供移动机器人执行的各种程序所表达，例如，移动机器人的路径规划程序。所述处理器用于执行所述程序，从而控制移动机器人进行自主移动。
190.在一些实施例中，所述处理器包括集成电路芯片，具有信号处理能力；或通用处理器，例如，可以是数字信号处理器(dsp)、专用集成电路(asic)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。所述通用处理器可以是微处理器或者任何常规处理器等。在一些实施例中，所述存储器可包括随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦可编程序只读存储器(erasable programmable read-only memory，eprom)、电可擦编程只读存储器electricerasable programmable read-only memory，eeprom)等。存储器用于存储程序，处理器在接收到执行指令后，执行该程序。
191.所述控制系统还包括接口装置。其中，所述接口装置的数量可以为一个或多个，各接口装置用来与不同的环境探测装置相连，例如，其中的一个接口装置连接摄像组件以接收其摄取的图像等。所述接口装置举例包括：如usb接口、hdmi接口、rs232接口等串行接口，和总线接口等并行接口中的至少一种。摄像组件、移动装置等硬件均通过接口装置与处理器和存储器数据相连。例如，摄像组件通过usb接口将第二图像帧序列传送至控制系统，以供处理器调取处理，摄像组件还通过ahp和abp总线与控制系统相连，以传输控制指令、或与处理器进行高速数据读写操作等。又如，移动装置通过usb接口与控制系统数据相连，以传输与行驶相关的控制指令等。
192.请参阅图19，其显示为控制系统所执行的一种控制方法的流程示意图。
193.在步骤s200中，将所接收的第二图像帧序列中的各图像帧对应分发给相应的功能模式使用。
194.控制系统维护至少一个功能模式，所维护的各功能模式以第二图像帧序列中相应的图像为输入信息。控制系统缓存所接收的第二图像帧序列，并按照预设的轮询机制切换至其中一个功能模式，并读取相应的图像。由此实现对第二图像帧序列中个图像的分发操作。例如，控制系统利用进程管理方式来维护以进程形式运行的各功能模式。其中，进程管理方式包括但不限于以下至少一种：通过轮询片段化的资源的方式来为各功能模式的进程运行分配计算资源；根据所接收的第二图像帧序列中图像顺序及其图像所对应的功能模式，依次运行对应功能模式的进程；通过中断、唤醒、休眠等进程管理机制来管理不同功能模式的进程；或者利用预设的优先级机制来管理不同功能模式的进程。例如，所述控制系统通过运行状态机的方式管理各功能模式。其中，所述状态机为一种通过软件程序来实现的执行逻辑，以软件程序的方式存储或固化在存储器中。
195.以摄像组件利用标签标记第二图像帧序列中各图像所对应的功能模式为例，控制系统通过解析所述标签确定相应图像所对应的功能模式，并予以分发。例如，所接收的第二图像帧序列中包含对应所有功能模式(或依控制指令而确定的至少一个功能模式)的图像，控制系统根据每个图像的标签，在运行相应功能模式的进程时，将对应的至少一帧图像作为输入信息供其运行。
196.以摄像组件利用预先与控制系统约定的图像输出顺序来输出第二图像帧序列为例，控制系统根据所述图像输出顺序，在同步机制作用下确定所获取的图像的功能模式，并予以分发。例如，所接收的第二图像帧序列中包含对应所有功能模式(或依控制指令而确定的至少一个功能模式)的图像，控制系统根据同步机制所建立的同步传输通道，按照预设的图像传输顺序，接收每一图像并确定其对应的功能模式；在运行相应功能模式的进程时，将对应的至少一帧图像作为输入信息供其运行。
197.在步骤s210中，基于各图像帧，对应执行相应的功能模式，以使得所述移动机器人按照相应的功能模式工作。
198.控制系统在运行相应功能模式时，至少利用相应图像进行数据处理，以产生用于调整移动机器人的行驶方式的信息；或者产生通过执行读写操作而更新存储器中所存储的地图数据的信息。
199.以控制系统利用图像执行vslam模式或导航模式为例，控制系统运行相应功能模式的方式举例如下：控制系统按照相应的帧率区间读取多帧图像；从至少两帧图像中提取相匹配的地标特征数据；结合地图数据、或者移动机器人中的其他环境探测装置所提供的物理尺度数据，计算移动机器人的当前位置和/或图像中各地标特征数据在地图数据中的位置。
200.其中，所述地标特征数据为图像中用于帮助控制系统辨别当前所处的物理环境的标识数据。为便于移动机器人在所述物理环境中持续移动过程中，迭代地利用所获取的图像中的地标特征数据进行准确定位。为了减少地标特征数据的变化，控制系统所接收的图像中包含基于第一图像帧序列中多帧图像的地面上图像区域而生成的图像区域。换言之，控制系统利用基于各图像中对应地面上图像区域的地标特征数据进行定位计算。
201.所述其他环境探测装置是用来探测移动机器人的周围环境、和/或测量移动机器人的行驶数据的装置。所述其他环境探测装置根据其在移动机器人上装配的位置而提供包括以下至少一种数据：与移动机器人移动安全相关的数据；与移动机器人移动方位和移动
距离相关的数据等；帮助移动机器人认知所在的物理空间的数据等；其包括但不限于：悬崖传感器、红外传感器、激光传感器、惯导传感器等。
202.在一些示例中，移动机器人利用其他环境探测装置所提供的与移动机器人移动方位和移动距离相关的数据，以及利用摄像组件所提供的图像获得移动机器人的距离数据和角度数据。在此，根据摄像组件提供的移动机器人前进方向的图像，控制系统通过在至少两个位置获取环境测量装置(或移动测量装置)所提供的数据，确定相应同一实体物体与图像数据中对应该实体物体的地标特征数据之间的转换关系s(又称比例尺度)，进而利用该转换关系确定移动机器人与地标特征数据所反映的实体物体之间的相对位置关系。
203.在一些具体示例中，受移动机器人实际移动时地面材质，为解决单独利用惯导传感器所提供的距离数据和角度数据不利于准确定位的问题，控制系统一方面获取惯导传感器的数据，另一方面还获取摄像组件所提供的图像数据；在移动期间，控制系统获取到从位置pos1至位置pos2的距离数据和角度数据，以及在该两个位置分别拍摄的图像数据pic1和pic2；其中，图像数据pic1和pic2中包含重叠的视角区域，这使得两帧图像数据pic1和pic2中对应同一实体物体的图像信息(又称地标特征数据)。控制系统通过匹配两帧图像数据pic1和pic2以提取相应的地标特征数据组，其中，所述地标特征数据组中包含对应同一实体物体的地标特征数据pic_feature_1和pic_feature_2，又称地标特征数据pic_feature_1和pic_feature_2相匹配；其中，地标特征数据pic_feature_1属于图像数据pic1，地标特征数据pic_feature_2属于图像数据pic2。以通过惯导传感器所测得的位置pos1和pos2之间的距离数据和角度数据，以及地标特征数据pic_feature_1和pic_feature_2及其在各自图像数据中图像位置，控制系统利用空间转换(或称矩阵转换)方式，计算移动机器人相对于实体物体之间的位置关系。
204.其中，上述示例中所提及的两帧图像数据中的至少一帧来自于第二图像帧序列，另一帧可来自于第二图像帧序列或者来自地图数据。当两帧图像均来自于第二图像帧序列时，控制系统通过在vlsam模式下执行自主移动来实现构建地图数据的目的；当两帧图像分别来自于第二图像帧序列和地图数据时，控制系统通过在导航模式下执行自主移动来实现如清洁地面、巡航、或搬运等目的。
205.控制系统按照维护多个功能模式的方式，在运行vslam模式或导航模式的间隙，还运行避障模式，在运行避障模式期间，利用第二图像帧序列中所提供的图像，进行障碍物检测。其中，所述障碍物检测的方式至少包括：从图像中检测到描述障碍物的障碍物信息，以及检测障碍物与移动机器人之间的相对位置关系。所述障碍物信息包括图像中描述障碍物的图像特征，甚至还包括通过图像而识别出的障碍物类型。所述图像特征举例包括从障碍物图像中识别出的物体轮廓、和/或纹理等，或者利用经机器学习而得到的图像分类器所提取的图像特征等。障碍物类型为可供移动机器人和使用移动机器人的用户共同识别的、反映障碍物的商品属性的信息。
206.控制系统根据预设的物理参考信息计算第二图像帧序列中对应避障模式的图像中的障碍物信息。所述物理参考信息包括但不限于：摄像组件相距移动机器人底面的物理高度、摄像组件的物理参数、和摄像组件的主光轴相对于水平或垂直面的夹角。上述物理参考信息预先存储在存储器中，或者预先通过对移动机器人设计参数进行计算而得到的。
207.控制系统通过识别地面图像区域中的障碍物信息来确认移动机器人前进方向有
障碍物的事实；基于所述物理参考信息和成像原理计算，确定所述图像中拍摄到的障碍物相距移动机器人的距离，以及确定相应障碍物与移动机器人的方位角度，即得到移动机器人与障碍物的相对位置关系。若所得到的相对位置关系表示移动机器人有碰撞到障碍物的风险，则控制系统按照避障模式执行避障操作，如降速移动直至停止，或者绕行等。
208.然而，仅利用摄像组件所提供的图像在进行避障控制的数据处理时由于无法提供测量的深度数据，这容易导致控制系统发出使得移动机器人误操作的控制指令。例如，错误地将地面的花纹(如地毯花纹)识别成障碍物，而执行绕行移动等。该误操作不仅可能导致移动机器人无法导航移动至目标位置，还将不利于移动机器人在自主移动期间同步执行其他操作，如降低扫地操作/拖地操作的清洁覆盖率等。
209.为了一方面减少移动机器人所探测的冗余数据，另一方面还解决数据精简后所引起的如过度刹车或频繁刹车等问题，请参阅图20，其显示为所述控制系统执行的一种控制方法的流程图。控制系统在按照如导航模式、搬运模式、或vslam模式等非避障模式下的某一行驶状态(即第一行驶状态)移动过程中，在运行避障模式、和/或视觉跟踪模式时执行所述控制方法。
210.在步骤s300中，获取所述移动机器人第一行使状态下前进方向上的第一图像序列。其中，所述第一行驶状态是移动机器人在一种功能模式下自主移动所呈现的移动状态。所述第一图像序列为第二图像帧序列中对应避障模式、和/或视觉跟踪模式的多帧图像所形成的图像序列。
211.在步骤s310中，对第一图像序列中的至少一帧图像进行障碍物识别。即控制系统从所述第一图像序列中至少一帧图像中识别妨碍移动机器人在执行任务期间移动的障碍物。其中，移动机器人所执行的任务举例为在其自主移动过程中或移动的目的地执行的其他操作。以移动机器人为扫地机为例，所执行的任务为在移动过程中执行吸地或擦地任务。妨碍为执行任务而移动的障碍物可以是所识别出的所有放置在导航路线上的障碍物；或者是在导航路线上的有限种类的障碍物。例如，所述障碍物为放置在导航路线上的以下至少一种：不可移动的障碍物；容易缠绕、牵绊移动机器人的障碍物，如数据线、植物藤蔓等柔性缠绕物；或者不利于移动机器人完成任务的障碍物，如鞋子、花盆、玩具、宠物粪便等。
212.控制系统识别图像中的物体信息，以及确认所识别出的物体信息在图像中的图像位置；根据所述图像位置与地面图像区域之间的位置关系，确定相应的物体信息对应于一障碍物。
213.在此，所述控制系统可以从第一图像序列中的单帧图像、或从中选出多帧图像中识别物体信息及其图像位置。采用识别单帧图像中的物体信息的方式可有效抑制计算量，提高响应速度；采用识别多帧图像中的物体信息的方式可降低误识别率。
214.在一些示例中，控制系统从第一图像序列中选择用于识别物体信息的多帧图像，并利用多帧图像重构物体的三维数据，依据重构出的三维数据，确定下相应的物体信息及其在一帧图像中的图像位置。
215.在又一些示例中，控制系统通过提取图像中的边缘线，以及识别边缘线所构成的连通域的识别方式来识别一帧图像中的物体信息及其图像位置。
216.在另一些示例中，控制系统采用图像分类器识别所述第一图像序列中的至少一帧图像来确认物体信息及其在图像中的位置信息。其中，所述图像分类器包含一种经机器学
习训练的图像处理逻辑。所述图像分类器可通过机器学习的训练过程获得认知是物体和不是物体的能力、或者认知物体种类的能力。其中，所述物体种类可以是供控制系统识别的、用于区分物体可搬运/不可搬运的种类。或者所述物体种类是供控制系统和使用者达成共识的、用于区分人对物体的认知类别，例如，所述物体种类包括桌子、椅子、缠绕物、墙线、球、鞋、袜子、花盆、玩具等。例如，图像分类器通过提供所识别出的图像中的图像区域是物体(或物体种类)的置信度，来表示其识别出的图像区域的物体信息；控制系统根据置信度来评价所述图像分类器所表示的图像区域为物体信息或非物体信息。
217.为了提高上述任一种识别方法的准确度，控制系统在执行识别操作之前，对至少一帧图像进行预处理。所述预处理包括但不限于：图像分割、调整图像对比度、调整分辨率中的至少一种，以补充摄像组件未提供的图像处理方式。例如，将至少一帧图像进行分割，以选取以地面图像区域为主的图像部分。又如，将至少一帧图像进行域转换，并基于直方图进行图像二值化处理，以利于后续识别操作中的边缘提取等。再如，利用卷积等操作进行降采样，以降低后续图像识别的计算量。
218.按照上述任一示例或多个示例的组合所识别出的物体信息所对应的环境中的实际物体，并非一定都是障碍物。为此，控制系统还根据物体信息在图像中的图像位置和图像中的地面图像区域之间的位置关系，确认所识别出的物体信息对应于妨碍移动机器人移动的障碍物。
219.在一些示例中，根据摄像组件的装配仰角，摄像组件所拍摄的原始图像中的预设图像区域被设置为地面图像区域。例如，控制系统根据预设的地面图像区域对第一图像序列中的图像进行分割，以及识别包含地面图像区域中的物体信息，由此确认所识别出的物体信息所对应的物体均位于地面上。
220.在另一些示例中，考虑到当移动机器人移动至接近或远离墙体等高大障碍物位置时，摄像组件所拍摄的各原始图像中地面图像区域的尺寸是变化的，控制系统识别所述至少一帧图像中的地面图像区域；以及控制系统根据所识别出的地面图像区域和物体信息所在的物体图像区域之间的位置关系，确定物体信息所对应的物体是否放置在地面上。
221.若摄像组件所提供的图像的图像尺寸是未经修改的，则控制系统根据预设的地面特征信息，识别图像中的地面图像区域。其中，所述地面特征信息可以是预先存储的反映多种地面的图像特征。或者，所述地面特征信息是控制系统从所述图像的图像边缘区域提取的。其中，所述图像边界区域是根据摄像组件装配在移动机器人上的位置高度、光轴方向等物理参数，和视场角而预先设定。控制系统从图像边界区域中与物体信息所对应的物体图像区域不相重叠的子区域中提取地面特征信息，并据此来确定图像中的地面图像区域。控制系统通过统计地面特征信息在图像中的分布情况，确定图像中的地面图像区域。例如，根据分布的百分比来确定地面图像区域。
222.控制系统通过确认所识别的物体信息的图像位置与地面图像区域之间的重叠程度来确认所识别的物体信息所对应的物体是否放置在地面上。
223.在一些示例中，控制系统判断所识别的物体信息的物体图像区域的最低点是否位于地面图像区域中，若是，则确定是否将相应物体信息对应的物体视为放置在地面上的障碍物，反之，则重新获取第一图像序列中的图像。
224.在另一些示例中，控制系统判断所识别的物体信息的物体图像区域中与地面图像
区域相重叠的子区域的占比是否大于预设的占比阈值，若是，则确定是否将相应物体信息对应的物体视为放置在地面上的障碍物，反之，则重新获取第一图像序列中的图像。
225.为了减少因图像所提供的前进方向的信息、与避障模式所需要的与前进方向的障碍物相关的信息之间的信息偏差，当控制系统通过识别第一图像序列中的至少一帧图像来确认在其前进方向存在障碍物时，控制系统并未按照避障模式执行相应行驶操作，而是继续以第一行驶状态沿导航路线前进。
226.对于控制系统来说，在避障模式调整行驶状态，使得移动机器人呈现出掉头规避、绕行等移动行为。由于控制系统在识别图像中数据时，可能无法分辨图像中的窗框阴影/地毯花纹、与障碍物的边缘的区别，而导致误识别的情况，因此，会产生错误地将某一帧或多帧图像中的图像特征认定为障碍物的图像特征，为此，控制系统在确定了第一图像序列中的至少一帧图像中存在对应障碍物的物体信息时，执行步骤s320。换言之，在步骤s320中，当识别出所述第一图像序列中至少一帧图像存在障碍物时，保持第一行驶状态，以降低立即响应避障模式并执行与避障相关的移动行为的可能性。
227.在一些示例中，所述控制系统在视觉跟踪模式下，借由第一图像序列中的至少一帧图像所反映的前进方向上存在障碍物的识别结果触发，控制系统继续执行步骤s330和步骤s340，并根据步骤s340所产生的又一事件触发，而切换至避障模式以执行步骤s350、或重新执行步骤s300。
228.在另一些示例中，控制系统仍然维持当前的功能模式(如导航模式、或vlsam模式)的行驶状态，继续执行步骤s330和步骤s340，并根据步骤s340所产生的又一事件触发，而执行步骤s350、或重新执行步骤s300。
229.在步骤s330中，继续在所述第一行驶状态下获取前进方向上的第二图像序列。其中，所述第二图像序列是在第一图像序列之后，并按照第一图像序列的获取方式获取的。所述第二图像序列与第一图像序列之间无重叠图像；或者为了追踪障碍物所对应的物体信息在不同图像中的图像位置，所述第二图像序列的前若干个连续帧图像与第一图像序列中的后若干个连续帧(或不连续帧)图像相重叠。
230.在步骤s340中，识别第二图像序列中是否存在同一障碍物，若是，则执行步骤s350，反之返回步骤s300。
231.在此，控制系统利用第一图像序列中对应障碍物的物体信息，匹配第二图像序列中的至少一帧图像，得到步骤s310中所识别的障碍物。换言之，控制系统识别第二图像序列中存在与第一图像序列中同一障碍物。
232.在一些示例中，控制系统从第二图像序列中的至少一图像中识别障碍物；通过匹配在步骤s310中所得到的障碍物与本步骤所得到的障碍物的图像特征，得到同一障碍物的识别结果。其中，从第二图像序列中的至少一图像中识别障碍物的方式可与步骤s310所采用的识别方式相同或相似的方式，或者与步骤s310中所采用的识别方式不同。例如，在步骤s310中控制系统采用图像分类器方式识别障碍物的物体信息，以及在步骤s340中控制系统采用图像特征方式识别障碍物的物体信息。又如，在步骤s310和步骤s340中，控制系统均采用图像分类器方式识别障碍物的物体信息。
233.控制系统通过采用不同时刻的多次图像识别的方式，来确认移动机器人的前进方向是否放置有障碍物，由此减少移动机器人错误地在避障模式下执行避障操作的可能性。
234.在另一些示例中，控制系统根据从第一图像序列中所识别出的障碍物，对所述第二图像序列中的至少一帧图像进行视觉跟踪。
235.控制系统按照前进方向，确定同一物体对应于第二图像序列中的至少一帧图像中的追踪范围，并从该追踪范围内得到同一障碍物的识别结果。
236.在一些具体示例中，所述前进方向是依据设置在移动机器人的移动装置中的惯导传感器提供的、反映移动机器人整体移动的惯导数据而确定的。其中，所述惯导数据包括表示移动距离的位移数据和表示姿态变化的角度数据。例如，控制系统根据惯导数据中的角度数据确定转弯方向、或直行。
237.在另一些具体示例中，所述前进方向是依据同一图像特征在第一图像序列中多帧图像中的位置变化而预测的。所述追踪范围是根据图像特征在第一图像序列中的多帧图像中的图像位置的变化，预测同一图像特征在第二图像序列中至少一帧图像中的图像区域。其中，所述图像特征举例是第一帧图像序列中任一图像特征。例如，所述图像特征为在步骤s320中所识别出的对应障碍物的图像特征。
238.以所述追踪范围是依据移动机器人所在环境中落入摄像组件的视角范围内物体、与所输出的图像中对应各物体的图像位置之间呈镜像对称(或一致)而得到的为例，当移动机器人直行时，随着移动机器人与物体之间的空间方位越近，该物体ob1在连续帧图像中的图像位置呈现向图像侧边缘移动的方位变化关系。请参阅图21a和21b，其显示为移动机器人右转是同一物体对应到两帧图像中的不同图像位置，当移动机器人向右转弯时，随着移动机器人与物体之间的空间方位变化，该物体ob1在连续帧图像p_1中前一图像的图像位置p_area_ob1呈现向图像左侧移动的方位变化关系，即在后续的图像p_2中位于图像位置p_area_ob2处。对应地，控制系统根据所述前进方向和第一图像序列中包含障碍物的物体信息及其图像位置，而在第二图像序列中的图像中确认相应的追踪范围。当控制系统在第二图像序列中各图像的追踪范围内，匹配到在第一图像序列中所识别出的障碍物的物体信息时，执行步骤s350；反之，执行步骤s300。
239.在步骤s350中，当确认所述第二图像序列中存在同一障碍物时，控制所述移动机器人以第二行驶状态移动。
240.控制系统在确认所述第二图像序列中存在同一障碍物时，将按照避障模式执行行驶操作。在避障模式，控制系统将第一行驶状态调整为第二行驶状态。其中，所述第二行驶状态属于避障模式。所述第一行驶状态与第二行驶状态基于行驶速度、行驶方向、行驶路线中至少一种发生变化而不同。例如，所述第一行驶状态包括第一行驶速度，所述第二行驶状态包括第二行驶速度，其中，所述第二行驶速度小于第一行驶速度。又如，所述第一行驶状态包括第一行驶方向，所述第二行驶状态包括第二行驶方向，其中，所述第二行驶方向不同于第一行驶方向以避开障碍物。
241.在一些示例中，控制系统按照预设的避障状态下的第二行驶状态，在切换状态时按照第二行驶状态控制移动机器人移动。例如，在避障状态下，控制系统按照预设的第二行驶状态，执行降速移动。
242.在又一些示例中，控制系统依据移动机器人与障碍物之间的位置关系，确定第二行驶状态。
243.在一些具体示例中，所述位置关系是依据障碍物对应于多帧图像中的各图像位置
之间的变化而确定的。其中，多帧图像来自于第一图像序列和第二图像序列。
244.例如，控制系统在获取第一图像序列和第二图像序列期间，还获取其他环境探测装置所提供的用于至少确定移动距离的测量数据，利用所获取的测量数据、与对应的各帧图像中对应障碍物的各图像位置，计算移动机器人与障碍物之间的位置关系。所述测量数据中还可以包含移动角度。
245.以所述其他环境探测装置包括设置在驱动电机、滚轮、或驱动电机与滚轮之间的机械结构中任一位置上的计数传感器和角度传感器为例，其中，所述驱动电机与移动机器人的滚轮机械连接，其包括用于驱动滚轮沿切线方向转动的第一电机，以及用于驱动其中部分滚轮沿非切线方向转动的第二电机。所述第一电机和第二电机为独立电机或集成的电机。所述计数传感器用于测量第一电机的转数，移动机器人通过预设滚轮的周长和所获取的转数来确定移动机器人移动的移动距离。所述角度传感器用于测量第二电机相对于初始位置的移动角度。其中，所述初始位置举例为对应移动机器人初始方向时滚轮的偏转角度值，或者对应于第二电机的转动量程的中间值、或所述转动量程的任一端点值。所述初始位置和初始方向举例为上一次测量时的位置和方向。
246.以其他环境探测装置包括设置在移动机器人上的速度传感器、和角速度传感器(或陀螺仪)为例，移动机器人按照单位时间读取其他环境探测装置所提供的各速度值和角速度值等，并利用单位时间内的速度值和角速度值来计算从位置pos1到位置pos2的移动距离和移动角度。
247.在又一些具体示例中，所述位置关系是依据预设的物理参数进行计算得到的。其中，所述物理参数包含透镜组的视角和焦距等摄像组件的内部参数、以及与装配摄像组件的装配仰角、装配高度等外部参数。控制系统根据所述物理参数与至少一帧图像中的图像位置，计算移动机器人与障碍物之间的位置关系。
248.依据上述任一示例，移动机器人根据利用移动距离和与对应的各帧图像中对应障碍物的各图像位置所构建的图像坐标系与物理空间坐标系之间的转换关系，计算移动机器人与障碍物之间的位置关系，即相对距离和相对角度。例如，若所述相对距离小于预设的距离阈值，则进入减速操作和刹车操作，即调整到以第二行驶速度为初始速度并继续减速直至停止的第二行驶状态。第二行驶速度低于第一行驶状态中的第一行驶速度；若所述相对距离大于预设的距离阈值，则根据所述位置关系生成绕行路线，并按照绕行路线执行绕行操作，即按照绕行路线调整到包含第二行驶方向的第二行驶状态。
249.在实际应用中，移动机器人并非一定要绕行所识别出的障碍物。以扫地机器人为例，地面上常会放置如球、鞋等物体，若一味避让这些物体，不利于扫地机器人提高其清洁地面的覆盖率及其执行效率。为此，本技术在避障模式下以低速行驶期间，还执行以下步骤s360。
250.在步骤s360中，通过检测所述移动机器人与所述障碍物的碰撞信息，对移动机器人进行移动控制。
251.在按照低等级速度的第二行驶状态移动期间，控制系统检测移动机器人与障碍物的碰撞信息(如压力信号)。在检测到所述碰撞信息时，控制所述移动机器人继续推动所述障碍物移动。
252.例如，当检测到碰撞信息时，仍检测移动数据，若移动数据表示移动机器人仍处于
移动状态，则确定该障碍物为可搬运的障碍物。控制系统按照搬运模式下的行驶状态进行移动。以扫地机为例，控制系统在搬运模式下以低速行驶预设距离，再转向行驶，以便清扫障碍物搬运前的地面区域。
253.本技术利用摄像组件所提供的图像序列为多个功能模式提供输入数据，同时利用多次确认障碍物的方式，以解决避障模式与其他利用图像作为输入数据的功能模式之间，对数据可信度不一致的问题。另外，在利用图像序列多次确认障碍物的情况下，调整行驶状态，能够有效减少避障模式下的刹车、绕行等误操作的机会。
254.在上述各示例的描述中，控制系统通过控制移动机器人中的移动装置来改变移动机器人的行驶方式。故此，移动机器人上除了装配有前述图2-10及其描述的摄像组件和控制系统，移动机器人还包括移动装置，以及供各电器件运行的电源装置等硬件装置。
255.所述电源装置包括电池模组，所述电池模组内置于所述机器人本体内，用于向其他用电装置(例如移动装置、清洁装置等)供电。在实际应用中，所述电池模组包括可充电电池组，可采用常规的镍氢电池，经济可靠，但并不以此为限，所述电池模组也可采用锂电池，相比于镍氢电池，锂电池的体积比能量比镍氢电池更高，且，锂电池无记忆效应，可随用随充，便利性大大提高。当然，实际上，所述电池模组可采用可充电池之外，也可与例如太阳能电池配合使用。另外，在必要的情形下，所述电池模组中可包括主用电池和备用电池，当主用电池电量过低或出线故障时，就可转由备用电池工作。所述电池模组安装在所述底盘的电池凹槽中，该电池凹槽的大小可以根据所安装的电池模组来定制。所述电池模组可以通过常规的方式安装在所述电池凹槽中，例如弹簧闩。所述电池凹槽被电池盖板封闭，所述电池盖板可以通过常规方式固定到所述底盘，例如螺丝。
256.所述移动装置包括设置在所述机器人本体上相对两侧用于驱动所述机器人本体移动的驱动轮(未予以图示)，所述驱动轮沿着底盘的相对两侧安装，通常所述驱动轮设置位于所述吸尘口的后侧，使得吸尘口位于机器人本体的前侧，进而为设计更长的吸尘通道提供了空间，用于驱动所述清洁机器人按照规划的移动轨迹进行前后往复运动、旋转运动或曲线运动等，或者驱动所述清洁机器人进行姿态的调整，并且提供所述机器人本体与地板表面的两个接触点。所述驱动轮可具有偏置下落式悬挂系统，以可移动方式紧固，例如以可旋转方式安装到所述机器人本体上，且接收向下及远离所述机器人本体偏置的弹簧偏置。所述弹簧偏置允许驱动轮以一定的着地力维持与地面的接触及牵引，以确保所述驱动轮的轮胎面与地面充分地接触。在本技术中，在清洁机器人需要转弯或曲线行走时，通过调整器驱动所述机器人本体移动的两侧的驱动轮的转速差来实现转向。
257.在一实施例中，所述机器人本体上还可以设置至少一个从动轮(在某些实施例中，所述从动轮也被称为：辅轮、脚轮、滚轮、万向轮等)以稳定地支撑机器人本体。在一种实施例中，所述从动轮设置为两个，分别设置在所述驱动轮的后侧，与所述机器人本体两侧的驱动轮一并保持所述机器人本体在运动状态的平衡。
258.为了驱动所述驱动轮和从动轮运转，所述移动装置还包括驱动电机和控制所述驱动电机的控制系统，控制所述驱动电机的驱动电路与所述控制系统电性连接，利用所述驱动电机可驱动所述驱动轮实现移动。在具体实现上，所述驱动电机可例如为可逆驱动电机。
259.以移动机器人为清洁机器人为例，请参阅图22，显示为移动机器人一实施例中的仰视示意图。如图所示，所述驱动轮42沿着底盘43的相对两侧安装，如图所示，通常所述驱
动轮42设置位于所述吸尘口44的两侧，用于驱动所述移动机器人按照规划的移动轨迹进行前后往复运动、旋转运动或曲线运动等，或者驱动所述移动机器人进行姿态的调整。在实施例中，所述驱动轮42可具有偏置下落式悬挂系统，以可移动方式紧固，例如以可旋转方式安装到所述移动机器人的本体40上，且接收向下及远离所述本体40偏置的弹簧偏置(未予以标号)。所述弹簧偏置允许驱动轮42以一定地着地力维持与地面的接触及牵引，以确保所述驱动轮42的轮胎面与地面充分地接触。在本技术中，在移动机器人需要转弯或曲线行走时，通过驱动所述本体40移动的两侧的驱动轮42的转速差来实现转向。
260.在某些实施例中，所述本体40上还可以设置至少一个从动轮45(在某些实施例中，所述从动轮也被称为：辅轮、脚轮、滚轮、万向轮等)以稳定地支撑本体。例如，如图22所示，在所述移动机器人的本体40上设置一个从动轮45，并与所述本体40两侧的驱动轮42一并保持所述本体40在运动状态的平衡。
261.基于移动机器人整机配重的考虑，所述移动装置中的驱动轮42及其驱动电机与模块化的所述吸尘组件的风机部分(图中未显示)和电池部分(图中未显示)分别位于所述移动机器人的本体40的前部分和后部分，以使得所述吸尘组件装配在主体上时，整个移动机器人的重量平衡。
262.为了驱动所述驱动轮42和从动轮45(从动轮45为被动轮)运转，所述移动系统还包括驱动电机(图中未显示)。移动机器人还可以包括至少一个驱动单元，例如用于驱动左侧驱动轮的左轮驱动单元以及用于驱动右侧驱动轮的右轮驱动单元。所述驱动单元可以包含专用于控制驱动电机的一个或多个处理器(cpu)或微处理单元(mcu)。例如，所述微处理单元用于将所述控制系统所提供的信息或数据转化为对驱动电机进行控制的电信号，并根据所述电信号控制驱动电机的转速、转向等以调整移动机器人的移动速度和移动方向。所述信息或数据如所述控制系统所确定的偏角。所述驱动单元中的处理器可以和所述控制系统中的处理器共用或可独立设置。例如，所述驱动单元作为从处理设备，所述控制系统作为主设备，驱动单元基于控制系统的控制进行移动控制。或者所述驱动单元与所述控制系统中的处理器相共用。驱动单元通过程序接口接收控制系统所提供的数据。所述驱动单元用于基于所述控制系统所提供的移动控制指令控制所述驱动轮。
263.为了保护移动机器人，如图2所示，所述机器人本体的前侧还设置有缓冲组件101。在移动机器人实际工作过程中，所述缓冲组件101用于吸收并消解碰到障碍物的冲击力，从而实现保护移动机器人。在某些实施例中，所述缓冲组件可例如为保险杠，用于缓冲移动机器人在移动过程中与周围物体产生的碰撞。所述保险杠可安装于所述机器人本体1的壳体的侧部面板的前向部分处。
264.所述缓冲组件101可以由塑料的材料整体成型，塑料材质包括聚氯乙烯(pvc)，聚乙烯(pe)，聚丙烯(pp)，聚苯乙烯(ps)，聚碳酸酯(pc)，丙烯腈-丁二烯-苯乙烯塑料(abs)，聚氨酯、聚酰胺、热塑性弹性体等，但并不以此为限。所述缓冲组件101的形状和尺寸与所述机器人本体前侧的形状和尺寸相配合，例如，所述机器人本体整体呈扁圆柱形结构，因此，所述缓冲组件101为圆弧片状，所述缓冲组件101可以包括预先设置的卡位、槽、开孔等结构用于将所述缓冲组件101活动地设置在所述机器人本体的前侧。
265.所述保险杠与所述机器人本体1之间可设有弹性结构，从而在两者之间形成有一可伸缩弹性空间。当移动机器人碰撞到障碍物时，所述保险杠受力后朝向所述机器人本体1
收缩，吸收并消解碰撞到障碍物所产生的冲击力，从而保护所述移动机器人。在某些实施例中，所述保险杠可采用多层结构，或者，在保险杠外侧还可设有软胶条等。
266.在移动机器人为清洁机器人的示例中，移动机器人还包括清洁装置。所述清洁装置可至少包括吸尘组件和清扫组件。
267.所述吸尘组件装设于所述内置空间，其进风通道通过一吸尘口用于在负压作用下吸尘。所述吸尘组件包括吸尘风机、风道结构以及集尘室。
268.所述吸尘风机具有风机进风口和风机出风口，所述吸尘风机的进风口通过连接通道与所述集尘室的出风口相连通，所述风机出风口与一排风通道连通。因此，本技术所述的风道结构可至少包括连通吸尘口和所述集尘室的进风通道、集尘室和吸尘风机之间的连接通道、以及与吸尘风机的风机出风口连通的排风通道，所述排风通道可通过安装结构固定于壳体上，在某些实施例中，所述安装结构可例如为螺丝锁附等。
269.在实际应用中，由吸尘风机中的风机马达驱动风扇旋转以使得掺杂有垃圾的气流通过吸尘口经进风通道进入集尘室内，气流中的垃圾被过滤留存在集尘室内，过滤后的气流则从连接通道进入吸尘风机，再由吸尘风机的风机出风口经由排风通道而排出清洁机器人的外部，在排风通道内，大多的风流都是在主通道内流动，但在排风通道拐弯或风流湍急的区域，部分的风流会经由排风导流元件散逸至旁侧的副通道内并在副通道内流动后再经由排风导流元件回流至主通道汇合，对风流起到很好的分流导向。整体上形成的排风通道较长，有利于消除噪音，并且气流最终排出清洁机器人的外部，使得清洁机器人本身可以形成一个相对密封的空间，灰尘不易进入清洁机器人内部。另外，所述排风通道的排风口呈逐渐扩大的外扩结构，这样，也更有利于排风，同时，可起到降低风噪的效果。
270.所述集尘室开设于所述机器人本体上，包括连通所述吸尘口的入风口、用于装设所述一次性过滤袋的容纳腔、连通所述吸尘组件的入风口、以及用于盖合所述容纳腔的盖体，所述入风口的周侧设置有用于适配所述一次性过滤袋的卡合结构。在实施例中，所述入风口处设置有密封圈。
271.所述吸尘口位于所述清洁机器人的底面，且开口朝向待清洁面。在某些实施例中，所述吸尘口设置在所述机器人本体的前侧，以便清洁机器人更快地接触到灰尘和碎屑等污物，并通过所述吸尘口将污物收集起来。其中，所述污物包括但不限于：软质碎屑、团状物、条状物、硬质碎屑等。其中，所述软质碎屑举例包括：纸屑、塑料片、灰尘等。所述团状物举例包括：毛发团、塑料袋等。所述条状物举例包括：电线、线头、铁丝、布条等。所述硬质碎屑举例包括：米粒、回形针、石子、笔等居住环境和办公环境经常产生的碎屑，在此不予穷举。各种污物在尺寸上通常小于吸尘口直径并能够随空气气流进入清洁机器人的清洁装置中。
272.所述清扫组件可包括位于所述壳体底部至少一侧的边刷(又称侧刷、边扫等)以及与用于控制所述清洁边刷的边刷电机，其中，所述边刷可采用旋转边刷，可在所述边刷电机的控制下作旋转。边刷可以延伸超出清洁机器人本体的侧表面和前表面，用以搅动例如墙角和家具周围的碎屑。清洁机器人通过边刷旋转将毛发、灰尘、碎屑等地面杂物集中至清洁机器人行进的路径中央，然后再由滚刷旋转将地面杂物搅起，以便风机通过吸力将地面杂物进入到吸尘口内，从而进行清洁、吸尘和收集工作。
273.为了提高吸尘能力，目前的清洁机器人中的清扫组件通常既设置有边刷，又设置有滚刷。边刷由于部分延伸出清洁机器人本体之外，容易与墙角、家具、障碍物等发生碰撞，
容易造成损耗。滚刷，又称清洁辊、中扫等，其可设置在清洁机器人底盘的中央区域。通常，所述滚刷上会设有刷毛或刮条等，在清洁机器人工作时，滚刷旋转从而带动刷毛或刮条旋转。为了更好地吸附地面杂物，刷毛或刮条需要与地面接触。
274.本技术还提供了一种计算机可读存储介质，存储至少一个程序。其中，所述至少一个程序在被处理器调用时执行并实现如图11、12、14、或20所示实施例及其对应描述中任一实施方式所述的控制方法。
275.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。
276.于本技术提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
277.在一个或多个示例性方面，本技术所述有限元模拟方法的计算机程序所描述的功能可以用硬件、软件、固件或者其任意组合的方式来实现。当用软件实现时，可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本技术所公开的方法或算法的步骤可以用处理器可执行软件模块来体现，其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。
278.本技术上述的附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。
279.根据上述各示例描述，本技术提供多种实施例，具体如下：
280.1.一种图像处理方法，其中，应用于配置在移动机器人上的摄像组件，所述图像处
理方法包括以下步骤：
281.摄取图像帧序列；
282.基于所述图像帧序列，依序输出相应的图像帧给所述移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
283.2.根据实施例1所述的图像处理方法，其中，所输出的相邻帧图像之间的时间间隔均匀。
284.3.根据实施例1所述的图像处理方法，其中，所述摄像组件摄取所述图像帧序列的水平视场角为110
°
至130
°
，垂直视场角为80
°
至100
°
。
285.4.根据实施例1所述的图像处理方法，其中，所述功能模式包括视觉定位与建图、避障、视觉回充、视觉场景理解、视觉跟踪中的至少一种。
286.5.根据实施例4所述的图像处理方法，其中，所述视觉定位与建图或视觉场景理解所对应的图像帧率不低于2帧/秒；所述避障或视觉跟踪所对应的图像帧率不低于7帧/秒。
287.6.根据实施例1所述的图像处理方法，其中，还包括：获取反映功率模式的控制指令；
288.所述基于所述图像帧序列，依序输出相应的图像帧给所述移动机器人的至少一种功能模式使用的步骤包括：基于所述控制指令调整所输出的各帧图像之间的时间间隔。
289.7.根据实施例1所述的图像处理方法，其中，还包括：按照所述功能模式的目标亮度参数，对所述图像帧序列进行图像亮度处理，并依所述时序输出。
290.8.根据实施例7所述的图像处理方法，其中，所述对所述图像帧序列进行图像亮度处理的方式包括：调整相应图像帧的图像增益、和/或调整相应图像帧的亮度对比度。
291.9.根据实施例1所述的图像处理方法，其中，还包括：对所述图像帧序列进行图像分割、图像降噪、图像颜色校正、图像分辨率调整中的至少一种处理。
292.10.根据实施例1所述的图像处理方法，其中，所述摄取图像帧序列的步骤包括：根据所述摄像组件所在环境的光线自动调节拍摄时的曝光量。
293.11.一种视觉控制装置，其中，包括：
294.控制单元，用于连接一视觉采集装置，以控制所述视觉采集装置摄取图像帧序列；
295.图像处理单元，与所述视觉采集装置相连，用于基于所述图像帧序列依序输出相应的图像帧给一移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
296.12.根据实施例11所述的视觉控制装置，其中，所述控制单元对所述视觉采集装置的控制包括：帧率控制、分辨率控制、对焦控制、自动曝光控制中的至少一种。
297.13.根据实施例11所述的视觉控制装置，其中，所述功能模式包括视觉定位与建图、避障、视觉回充、视觉场景理解、视觉跟踪中的至少一种。
298.14.根据实施例13所述的视觉控制装置，其中，所述视觉定位与建图或视觉场景理解所对应的图像帧率不低于2帧/秒；所述避障或视觉跟踪所对应的图像帧率不低于7帧/秒。
299.15.根据实施例11所述的视觉控制装置，其中，所输出的相邻帧图像之间的时间间隔均匀。
300.16.根据实施例11所述的视觉控制装置，其中，所述图像处理单元还用于获取反映功率模式的控制指令；以及基于所述控制指令调整所输出的各帧图像之间的时间间隔。
301.17.根据实施例11所述的视觉控制装置，其中，所述图像处理单元还用于按照所述功能模式的目标亮度参数，对所述图像帧序列进行图像亮度处理，并依所述时序输出。
302.18.根据实施例17所述的视觉控制装置，其中，所述图像处理单元藉由调整相应图像帧的图像增益、和/或调整相应图像帧的亮度对比度的方式调整所述各图像帧的图像亮度。
303.19.根据实施例11所述的视觉控制装置，其中，所述图像处理单元还用于对所述图像帧序列中的各图像帧执行图像分割、图像降噪、图像颜色校正、图像分辨率调整中的至少一种处理。
304.20.根据实施例11所述的视觉控制装置，其中，所述控制单元根据所述摄像组件所在环境的光线自动调节拍摄时的曝光量。
305.21.一种摄像组件，其中，所述摄像组件应用于移动机器人，包括：
306.视觉采集装置，用于摄取图像；
307.控制单元，连接所述视觉采集装置，用于控制所述视觉采集装置，以使所述视觉采集装置所摄取的图像以图像帧序列输出；
308.图像处理单元，与所述视觉采集装置相连，用于基于所述图像帧序列依序输出相应的图像帧给一移动机器人的至少一种功能模式使用；其中，输出给同一功能模式使用的帧率是基于各功能模式对图像的帧率需求设置的。
309.22.根据实施例21所述的摄像组件，其中，所述视觉采集装置包括：图像传感器以及镜头组件，其中，所述图像传感器与所述视觉采集装置相连。
310.23.根据实施例22所述的摄像组件，其中，所述视觉采集装置还包括：位于所述图像传感器和所述镜头组件之间的红外截止滤光片。
311.24.根据实施例22所述的摄像组件，其中，所述视觉采集装置还包括：补光灯，用于在所述摄像组件所在环境光线不足时进行补光。
312.25.一种移动机器人的控制方法，其中，包括以下步骤：
313.将所接收的各图像帧对应分发给相应的功能模式使用；其中，所述各图像帧是由一摄像组件执行如实施例1至10任一所述的图像处理方法所输出，或由实施例11至20任一所述的视觉控制装置所输出，或由实施例21至24任一所述的摄像组件所输出；
314.基于各图像帧对应执行相应的功能模式以使得所述移动机器人按照相应的功能模式工作。
315.26.一种移动机器人的控制系统，其中，所述移动机器人包括一摄像组件，所述控制系统包括：
316.接口装置，用于将所接收的各图像帧对应分发给相应的功能模式使用；
317.存储器，用于存储至少一种程序；
318.处理器，与所述接口装置和所述存储装置相连，用于调用并执行所述至少一个程序时协调所述接口装置、存储装置和摄像组件执行并实现如实施例25所述的控制方法。
319.27.一种移动机器人，其中，包括：
320.如实施例21至24任一所述的摄像组件；
321.移动装置，用于受控地带动所述移动机器人在相应的功能模式下工作；
322.存储器，用于存储所获取的图像帧序列以及至少一程序；
323.处理器，用于调用所述至少一程序执行如实施例24所述的控制方法。
324.28.根据实施例27所述的移动机器人，其中，所述摄像组件的光轴方向与所述移动机器人的前进方向的夹角为12
°
至15
°
，所述摄像组件的水平视场角为110
°
至130
°
，所述摄像头的垂直视场角为80
°
至100
°
。
325.29.一种计算机可读存储介质，其中，存储至少一种程序，所述至少一种程序被调用时执行如实施例1至10任一所述的图像处理方法，或如实施例25所述的控制方法。
326.上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本技术的权利要求所涵盖。