机器人的控制方法、控制装置、机器人和可读存储介质与流程

1.本发明属于机器人技术领域，具体而言，涉及一种机器人的控制方法、一种机器人的控制装置、一种机器人和一种可读存储介质。


背景技术：

2.现有技术中，手势控制扫地机器人运行，由于用户手势指向的位置不够准确，导致扫地机器人无法到达需要清扫的区域，影响手势识别控制扫地机器人的清扫效果。


技术实现要素：

3.本发明旨在解决现有技术或相关技术中存在的技术问题之一。
4.为此，本发明的第一方面提出了一种机器人的控制方法。
5.本发明的第二方面提出了一种机器人的控制装置。
6.本发明的第三方面提出了一种机器人。
7.本发明的第四方面提出了一种机器人。
8.本发明的第五方面提出了一种机器人。
9.本发明的第六方面提出了一种可读存储介质。
10.有鉴于此，根据本发明的第一方面提出一种机器人的控制方法，包括：接收手势控制指令；根据手势控制指令控制机器人行驶至第一目标区域；基于机器人位于第一目标区域内，采集第一图像，第一图像为机器人所处环境的环境图像，采集第一图像，第一图像为机器人所处环境的环境图像；根据第一图像确定第二目标区域；控制机器人在第二目标区域内运行。
11.本发明提供的机器人的控制方法用于对机器人进行控制，机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
12.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
13.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有
广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘、垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
14.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘、垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
15.在一些实施例中，机器人在采集第一图像时的拍摄方向朝向地面方向，并且拍摄范围处于第一目标区域内。
16.这些实施例中，机器人通过对第一图像进行识别，实现了识别第一目标区域中的污渍、灰尘和垃圾的效果，并据此确定第二目标区域，由于机器人采集的第一图像的拍摄范围在第一目标区域内，故第二目标区域位于第一目标区域内，且第二目标区域的面积小于第一目标区域。能够保证机器人运行的位置与用户手势控制指令指出的位置的契合度，同时减少机器人在第一目标区域内的移动距离。
17.另外，根据本发明提供的上述技术方案中的机器人的控制方法，还可以具有如下附加技术特征：
18.在一种可能的设计中，根据第一图像确定第二目标区域，包括：通过第一设定模型识别第一图像中的识别物特征；获取识别物特征对应的位置信息，根据位置信息确定第二目标区域。
19.在该设计中，将第一图像输入至第一设定模型中，以对第一图像中的识别物特征进行识别，在识别到第一图像中存在识别物特征后，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的位置坐标，从而确定带有识别物的第二目标区域。其中，识别物可选为污渍、灰尘、垃圾等。根据第一图像对识别物的位置的精准判定，保证机器人能够快速找到第一目标区域内的识别物，从而对识别物进行清洁处理。
20.机器人根据手势控制指令仅能够识别到一个较大的范围，即第一目标区域，当扫地机器人行驶至第一目标区域后，则通过采集第一图像，对地面上需要清扫的识别物进行检测，从而确定第一目标区域内需要清扫的第二目标区域，控制扫地机器人对需要清扫的第二目标区域进行清扫。
21.值得说明的是，机器人在出厂之前，将第一设定模型配置到机器人中。在训练第一设定模型时，可选择对带有不同类型识别物的图片进行训练，从而使第一设定模式能够对不同识别物进行识别。在机器人识别到第一图像中包括识别物，还能够确定识别物的种类，根据识别物的种类选择不同的清扫模式对地面进行清扫。
22.在一种可能的设计中，根据位置信息确定第二目标区域，具体包括：提取位置信息
中的目标坐标点；根据目标坐标点和设定半径，确定第二目标区域。
23.在该设计中，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的目标坐标点，目标坐标点为机器人所需清扫的位置点，根据该位置点与设定半径，能够确定机器人所需清扫的第二目标区域。在确定第二目标区域后，控制机器人移动至第二目标区域，并对第二目标区域进行清扫，从而完成清扫任务。
24.在一些实施例中，用户能够根据需要进行自行设置不同的设定半径。
25.在另外一些实施例中，根据机器人的运行参数对设定半径进行设置，即设定半径与机器人的运行参数相对应。
26.在这些实施例中，检测机器人的运行参数，其中，运行参数包括但不限于剩余电量、风机转速和电机功率。机器人运行参数所处的数值范围不同，则选择不同的设定半径。例如：在机器人的剩余电量较低时，为保证机器人的剩余运行时间较长，则将设定半径设置较小。在机器人的剩余电量比较充足时，为保证机器人对第一目标区域内的清洁效果，则将设定半径设置较大。
27.在一种可能的设计中，第二目标区域的至少部分与第一目标区域重合。
28.在该设计中，将第二目标区域全部与第一目标区域重合，即第二目标区域可以设置在第一目标区域之内，或第二目标区域的部分与第一目标区域重合。用户能够对第二目标区域与第一目标区域的重合度进行设置，将第二目标区域与第一目标区域的重合度设置的越高，则机器人实际清扫的位置与用户手势控制指令中的位置的符合程度越高。将第二目标区域与第一目标区域的重合度设置的较低，则机器人能够自动根据第一图像识别到的污渍、灰尘、垃圾等对第二目标区域进行适应性调整，从而提高清扫的效果，避免由于用户手势控制指令指示的位置不够准确导致的清洁效果差的问题发生。
29.设置第二目标区域与第一目标区域完全重合，则机器人在采集第一图像时，仅采集第一目标区域内的地面图像。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，从而确定第一目标区域中需要清扫的第二目标区域。提高了机器人的受控程度，使机器人实际清扫区域更加符合用户的手势识别指令。
30.设定第二目标区域与第一目标区域部分重合，则机器人在采集第一图像时，不仅采集第一目标区域内的地面图像，还对第一目标区域外的部分图像进行采集。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，以及位于第一目标区域附近的识别物的位置，从而确定第二目标区域。使机器人不仅仅能够对用户手势控制指令对应的第一目标区域内的识别物进行清扫，还能够对附近的区域进行清扫，提高了机器人对地面清扫效果。
31.在一种可能的设计中，接收手势控制指令之前，还包括：采集第二图像，第二图像为用户手势图像；通过第二设定模型识别第二图像中的手势特征；基于手势特征为设定手势特征，控制机器人输出提示信息，并继续执行接收手势控制指令的步骤。
32.在该设计中，机器人通过图像采集装置持续采集图像，在检测到采集到包含用户手势图像的第二图像时，则将第二图像输入至第二设定模型中，对用户的手势特征进行识别。在检测到手势特征为设定手势特征时，则判定用户需要进行手势识别控制。此时，机器人输出相应的提示信息，对用户进行提示机器人已经进入手势识别控制模式，并且机器人开始接收手势控制指令。
33.扫地机器人在运行过程中，用户也可能处于室内，为避免用户行动过程中对扫地机器人进行手势控制指令的误触发，则对扫地机器人设置手势控制的功能锁。扫地机器人在运行过程中，持续采集图像，在检测到包括用户手势图像的第二图像时，则对第二图像中的手势特征与设定手势特征进行比较，如果第二图像中的手势特征与设定手势特征完全相符，则继续接收手势控制指令。
34.在一些实施例中，在检测到机器人连续采集到多张第二图像中的手势特征均与设定特征相符，则开始接收手势控制指令。
35.在这些实施例中，机器人每隔设定时长采集一次图像，在连续采集到的第二图像均带有设定手势特征，才判定用户需要对机器人进行手势控制，进一步降低了误触发的可能性。
36.具体地，在扫地机器人采集到的第二图像中识别到用户的右手手掌打开，且停留时间达到两秒，则扫地机器人输出声音提示信息，以提示用户进入手势识别控制指令，用户开始通过输入手势控制指令以对机器人进行控制。
37.在一种可能的设计中，接收手势控制指令，根据手势控制指令控制机器人行驶至第一目标区域的步骤，具体包括：采集至少两张第三图像，第三图像为包括手势控制指令的图像；提取至少两张第三图像对应的手势坐标集合；根据手势坐标集合，确定手势指令对应的第一目标区域；控制机器人行驶至第一目标区域。
38.在该设计中，机器人采集多张包含有手势控制指令的第三图像，获取多张第三图像中的手势坐标集合，通过手势坐标集合在世界坐标系内能够确定用户手势控制指令中的第一目标区域，并控制机器人行驶到第一目标区域中。通过采集多张第三图像进行识别，能够提高通过第三图像得到的手势坐标集合的准确性，从而提高对机器人控制的准确定。
39.对多张第三图像中的手势进行连续检测，连续检测包括持续跟踪检测到手的位置，以确定手部的连续动作是否为同一只手做出的作用，防止多人在场时候，对不同手进行响应，进一步提高了机器人对手势控制指令识别响应的准确性。
40.同时，对第三图像中的手势是否为目标手进行检测，例如：检测到的手势对应的手为“右手”，且“右手”位于在人体的左边，则表示检测到了镜面内的镜像，需要让扫地机器人转向找真实手部，以对手势控制指令进行识别。
41.在一种可能的设计中，提取至少两张第三图像对应的手势坐标集合，具体包括：将至少两张第三图像输入至第三设定模型，确定至少两张第三图像中的第一矢量坐标集合，第一矢量坐标集合为第三图像中的手势相对设定标记点的第一矢量坐标集合；提取每张第三图像中的特征点，根据至少两个特征点确定第二矢量坐标集合，第二矢量坐标集合；根据第一矢量坐标集合和第二矢量坐标集合，确定手势坐标集合。
42.在该设计中，通过第三设定模型对多张第三图像进行识别，识别第三图像中的手部的连续动作，并提取第三图像中的第一矢量坐标集合，其中第一矢量坐标集合包括多个第一矢量坐标，第一矢量坐标为手势对应的手部相对设定标记点的矢量坐标，其中，设定标记点选为图像中人体的其他部位，例如人体的肩部。再提取第三图像中的特征点，特征点可选为第三图像中的背景和人体的关键识别点，根据多张第三图像中的多个特征点，能够确定第二矢量坐标集合，第二矢量坐标为人体相对机器人的相对坐标，其中每个特征点与每张第三图像相对应。根据第二矢量坐标集合和第一矢量坐标集合能够计算得到手势坐标集
合，通过手势坐标集合能够计算得到手势对应的第一目标区域。
43.具体地，首先在机器人出厂前，通过标定人的手指向方向相对于人的肩部中心点位置的图像，训练第三设定模型。
44.采集到第三图像后，将第三图像输入至第三设定模型，能够得到第三图像中手势对应的方向相对于肩膀为原点的第一矢量坐标集合。
45.再根据多张第三图像确定第三图像中的肩膀所在位置在世界坐标系下的坐标。具体地，第三图像中的特征点，然后将特征点匹配到第三图像中的关键帧中，关键帧为保存在vslam(视觉算法)地图中的关键帧，然后计算第三图像中当前帧和关键帧拍摄位置的坐标转换矩阵。
46.同时，测量得到人的肩膀在第三图像的当前帧中相对于扫地机器人的坐标位置；具体选为三角测距法，例如：机器人继续向左走10cm再次获取第三图像，通过不同视角下的第三图像能够计算出肩膀相对于第三图像中当前帧的坐标位置，从而确定肩膀相对于当前扫地机的坐标，进而得到第三图像中手势的指向位置的第二矢量坐标集合，根据第一矢量坐标集合和第二矢量坐标集合能够确定手势坐标集合，根据手势坐标结合确定第一目标区域的位置。
47.在一种可能的设计中，采集至少两张第三图像，具体包括：控制机器人沿设定方向行驶设定距离；在机器人行驶过程中，按照设定频率采集图像，以得到至少两张第三图像。
48.在该设计中，控制扫地机器人在移动过程中采集多张第三图像。具体地，控制机器人按照设定方向和设定距离行驶，在机器人处于行驶状态下，按照设定频率连续多次采集第三图像。通过控制机器人在移动时采集第三图像，能够便于机器人后续确定第三图像中的手势坐标集合的步骤，提高得到手势坐标集合的准确性，进而提高控制机器人进入第一目标区域的准确性。
49.根据本发明第二方面提出了一种机器人的控制装置，包括：接收单元，用于接收手势控制指令；第一控制单元，用于根据手势控制指令控制机器人行驶至第一目标区域；采集单元，用于基于机器人位于第一目标区域内，采集第一图像，第一图像为机器人所处环境的环境图像，采集第一图像，第一图像为机器人所处环境的环境图像；确定单元，用于根据第一图像确定第二目标区域；第二控制单元，用于控制机器人在第二目标区域内运行。
50.本发明提供的机器人的控制装置用于对机器人进行控制，机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
51.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境
图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
52.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘、垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
53.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘、垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
54.在一些实施例中，机器人在采集第一图像时的拍摄方向朝向地面方向，并且拍摄范围处于第一目标区域内。
55.这些实施例中，机器人通过对第一图像进行识别，实现了识别第一目标区域中的污渍、灰尘和垃圾的效果，并据此确定第二目标区域，由于机器人采集的第一图像的拍摄范围在第一目标区域内，故第二目标区域位于第一目标区域内，且第二目标区域的面积小于第一目标区域。能够保证机器人运行的位置与用户手势控制指令指出的位置的契合度，同时减少机器人在第一目标区域内的移动距离。
56.根据本发明第三方面提出了一种机器人，包括如上述第二方面中的机器人的控制装置，因而具有上述第二方面中机器人的控制装置的全部有益技术效果，在此不再做过多赘述。
57.本发明提供的机器人还包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
58.根据本发明第四方面提出了一种机器人，包括：存储器，存储器中存储有程序或指令；处理器，处理器执行存储在存储器中的程序或指令以实现如上述第一方面的任一可能设计中的机器人的控制方法的步骤，因而具有上述第一方面中机器人的控制方法的全部有益技术效果，在此不再做过多赘述。
59.本发明提供的机器人还包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
60.根据本发明第五方面提出了一种机器人，包括：图像采集装置，用于采集图像；驱
动组件，用于驱动机器人行驶和运行；控制装置，用于接收手势控制指令；根据手势控制指令控制机器人行驶至第一目标区域；基于机器人位于第一目标区域内，采集第一图像，第一图像为机器人所处环境的环境图像，采集第一图像，第一图像为机器人所处环境的环境图像；根据第一图像确定第二目标区域；控制机器人在第二目标区域内运行。
61.本发明提供的机器人的控制方法用于对机器人进行控制，机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
62.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
63.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘、垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
64.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘、垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
65.另外，根据本发明提供的上述技术方案中的机器人，还可以具有如下附加技术特征：
66.在一种可能的设计中，机器人还包括：清扫组件，与驱动组件相连；和/或行进组件，与驱动组件相连。
67.在该设计中，机器人为扫地机器人，机器人中还设置有清扫组件和行进组件，清扫组件与驱动组件相连接，驱动组件能够驱动清扫组件运行，以对第二目标区域进行清扫。行进组件与驱动组件相连接，驱动组件能够对行进组件进行驱动，从而带动机器人行驶至第
一目标区域。
68.在一种可能的设计中，驱动组件包括：第一驱动件，与清扫组件相连，用于驱动清扫组件运行；第二驱动件，与行进组件相连，用于驱动行进组件运行
69.在该设计中，驱动组件包括第一驱动件和第二驱动件。第一驱动件和第二驱动件分别与清扫组件和行进组件相连，第一驱动件和第二驱动件分别对清扫组件和行进组件驱动。
70.根据本发明第六方面提出了一种可读存储介质，可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如上述第一方面中任一可能设计中的机器人的控制方法的步骤。因而具有上述第一方面中任一可能设计中的机器人的控制方法的全部有益技术效果，在此不再做过多赘述。
71.本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
72.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
73.图1示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之一；
74.图2示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之二；
75.图3示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之三；
76.图4示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之四；
77.图5示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之五；
78.图6示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之六；
79.图7示出了本发明的第一个实施例中的机器人的控制方法的示意流程图之七；
80.图8示出了本发明的第二个实施例中的机器人的控制装置的结构框图；
81.图9示出了本发明的第三个实施例中的机器人结构框图；
82.图10示出了本发明的第四个实施例中的机器人结构框图。
具体实施方式
83.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
84.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
85.下面参照图1至图10描述根据本发明一些实施例的一种机器人的控制方法、一种机器人的控制装置、一种机器人和一种可读存储介质。
86.实施例一：
87.如图1所示，本发明的第一个实施例中提供了一种机器人的控制方法，包括：
88.步骤102，响应于手势控制指令，控制机器人行驶进入第一目标区域；
89.步骤104，在机器人处于第一目标区域内，控制机器人获取第一图像；
90.步骤106，对第一图像进行识别，以确定第二目标区域；
91.步骤108，控制机器人进入第二目标区域内运行。
92.其中，第一图像为机器人所处环境的环境图像。
93.本实施例提供的机器人的控制方法用于对机器人进行控制，机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
94.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
95.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘、垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
96.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘、垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
97.在一些实施例中，机器人在采集第一图像时的拍摄方向朝向地面方向，并且拍摄范围处于第一目标区域内。
98.这些实施例中，机器人通过对第一图像进行识别，实现了识别第一目标区域中的污渍、灰尘和垃圾的效果，并据此确定第二目标区域，由于机器人采集的第一图像的拍摄范围在第一目标区域内，故第二目标区域位于第一目标区域内，且第二目标区域的面积小于第一目标区域。能够保证机器人运行的位置与用户手势控制指令指出的位置的契合度，同时减少机器人在第一目标区域内的移动距离。
99.如图2所示，在上述任一实施例中，对第一图像进行识别，以确定第二目标区域，包括：
100.步骤202，将第一图像输入第一设定模型中，以确定第一图像中的识别物特征；
101.步骤204，确定识别物特征对应的识别物特征的位置信息；
102.步骤206，根据识别物特征的位置信息确定第二目标区域。
103.在该实施例中，将第一图像输入至第一设定模型中，以对第一图像中的识别物特征进行识别，在识别到第一图像中存在识别物特征后，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的位置坐标，从而确定带有识别物的第二目标区域。其中，识别物可选为污渍、灰尘、垃圾等。根据第一图像对识别物的位置的精准判定，保证机器人能够快速找到第一目标区域内的识别物，从而对识别物进行清洁处理。
104.机器人根据手势控制指令仅能够识别到一个较大的范围，即第一目标区域，当扫地机器人行驶至第一目标区域后，则通过采集第一图像，对地面上需要清扫的识别物进行检测，从而确定第一目标区域内需要清扫的第二目标区域，控制扫地机器人对需要清扫的第二目标区域进行清扫。
105.值得说明的是，机器人在出厂之前，将第一设定模型配置到机器人中。在训练第一设定模型时，可选择对带有不同类型识别物的图片进行训练，从而使第一设定模式能够对不同识别物进行识别。在机器人识别到第一图像中包括识别物，还能够确定识别物的种类，根据识别物的种类选择不同的清扫模式对地面进行清扫。
106.如图3所示，根据识别物特征的位置信息确定第二目标区域，具体包括：
107.步骤302，根据位置信息，确定识别物的目标坐标点；
108.步骤304，获取设定半径；
109.步骤306，根据设定半径和目标坐标点，确定第二目标区域。
110.在该实施例中，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的目标坐标点，目标坐标点为机器人所需清扫的位置点，根据该位置点与设定半径，能够确定机器人所需清扫的第二目标区域。在确定第二目标区域后，控制机器人移动至第二目标区域，并对第二目标区域进行清扫，从而完成清扫任务。
111.在一些实施例中，用户能够根据需要进行自行设置不同的设定半径。
112.在另外一些实施例中，根据机器人的运行参数对设定半径进行设置，即设定半径与机器人的运行参数相对应。
113.在这些实施例中，检测机器人的运行参数，其中，运行参数包括但不限于剩余电量、风机转速和电机功率。机器人运行参数所处的数值范围不同，则选择不同的设定半径。例如：在机器人的剩余电量较低时，为保证机器人的剩余运行时间较长，则将设定半径设置较小。在机器人的剩余电量比较充足时，为保证机器人对第一目标区域内的清洁效果，则将设定半径设置较大。
114.在上述任一实施例中，第二目标区域的至少部分与第一目标区域重合。
115.在该实施例中，将第二目标区域全部与第一目标区域重合，即第二目标区域可以设置在第一目标区域之内，或第二目标区域的部分与第一目标区域重合。用户能够对第二目标区域与第一目标区域的重合度进行设置，将第二目标区域与第一目标区域的重合度设置的越高，则机器人实际清扫的位置与用户手势控制指令中的位置的符合程度越高。将第
二目标区域与第一目标区域的重合度设置的较低，则机器人能够自动根据第一图像识别到的污渍、灰尘、垃圾等对第二目标区域进行适应性调整，从而提高清扫的效果，避免由于用户手势控制指令指示的位置不够准确导致的清洁效果差的问题发生。
116.设置第二目标区域与第一目标区域完全重合，则机器人在采集第一图像时，仅采集第一目标区域内的地面图像。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，从而确定第一目标区域中需要清扫的第二目标区域。提高了机器人的受控程度，使机器人实际清扫区域更加符合用户的手势识别指令。
117.设定第二目标区域与第一目标区域部分重合，则机器人在采集第一图像时，不仅采集第一目标区域内的地面图像，还对第一目标区域外的部分图像进行采集。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，以及位于第一目标区域附近的识别物的位置，从而确定第二目标区域。使机器人不仅仅能够对用户手势控制指令对应的第一目标区域内的识别物进行清扫，还能够对附近的区域进行清扫，提高了机器人对地面清扫效果。
118.如图4所示，在上述任一实施例中，响应于手势控制指令，控制机器人行驶进入第一目标区域之前，还包括：
119.步骤402，控制机器人获取第二图像；
120.步骤404，将第二图像输入至第二设定模型中，以确定第二图像中的手势特征；
121.步骤406，基于手势特征为设定手势特征，控制机器人输出提示信息。
122.其中，第二图像为用户手势图像。
123.在该实施例中，机器人通过图像采集装置持续采集图像，在检测到采集到包含用户手势图像的第二图像时，则将第二图像输入至第二设定模型中，对用户的手势特征进行识别。在检测到手势特征为设定手势特征时，则判定用户需要进行手势识别控制。此时，机器人输出相应的提示信息，对用户进行提示机器人已经进入手势识别控制模式，并且机器人开始接收手势控制指令。
124.扫地机器人在运行过程中，用户也可能处于室内，为避免用户行动过程中对扫地机器人进行手势控制指令的误触发，则对扫地机器人设置手势控制的功能锁。扫地机器人在运行过程中，持续采集图像，在检测到包括用户手势图像的第二图像时，则对第二图像中的手势特征与设定手势特征进行比较，如果第二图像中的手势特征与设定手势特征完全相符，则继续接收手势控制指令。
125.在一些实施例中，在检测到机器人连续采集到多张第二图像中的手势特征均与设定特征相符，则开始接收手势控制指令。
126.在这些实施例中，机器人每隔设定时长采集一次图像，在连续采集到的第二图像均带有设定手势特征，才判定用户需要对机器人进行手势控制，进一步降低了误触发的可能性。
127.具体地，在扫地机器人采集到的第二图像中识别到用户的右手手掌打开，且停留时间达到两秒，则扫地机器人输出声音提示信息，以提示用户进入手势识别控制指令，用户开始通过输入手势控制指令以对机器人进行控制。
128.如图5所示，在上述任一实施例中，响应于手势控制指令，控制机器人行驶进入第一目标区域的步骤，具体包括：
129.步骤502，控制机器人获取多张第三图像；
130.步骤504，获取多张第三图像对应的手势坐标集合；
131.步骤506，通过手势坐标集合确定第一目标区域；
132.步骤508，控制机器人行驶进入第一目标区域。
133.其中，第三图像为包括手势控制指令的图像。
134.在该实施例中，机器人采集多张包含有手势控制指令的第三图像，获取多张第三图像中的手势坐标集合，通过手势坐标集合在世界坐标系内能够确定用户手势控制指令中的第一目标区域，并控制机器人行驶到第一目标区域中。通过采集多张第三图像进行识别，能够提高通过第三图像得到的手势坐标集合的准确性，从而提高对机器人控制的准确定。
135.对多张第三图像中的手势进行连续检测，连续检测包括持续跟踪检测到手的位置，以确定手部的连续动作是否为同一只手做出的作用，防止多人在场时候，对不同手进行响应，进一步提高了机器人对手势控制指令识别响应的准确性。
136.同时，对第三图像中的手势是否为目标手进行检测，例如：检测到的手势对应的手为“右手”，且“右手”位于在人体的左边，则表示检测到了镜面内的镜像，需要让扫地机器人转向找真实手部，以对手势控制指令进行识别。
137.如图6所示，在上述任一实施例中，获取多张第三图像对应的手势坐标集合的步骤，具体包括：
138.步骤602，通过第三设定模型，确定多张第三图像中的第一矢量坐标集合；
139.步骤604，获取多张第三图像中每张第三图像中的特征点；
140.步骤606，通过多个特征点确定第二矢量坐标集合；
141.步骤608，通过对第二矢量坐标集合和第一矢量坐标集合处理，以得到手势坐标集合。
142.其中，第一矢量坐标集合为第三图像中的手势相对设定标记点的第一矢量坐标集合。
143.在该实施例中，通过第三设定模型对多张第三图像进行识别，识别第三图像中的手部的连续动作，并提取第三图像中的第一矢量坐标集合，其中第一矢量坐标集合包括多个第一矢量坐标，第一矢量坐标为手势对应的手部相对设定标记点的矢量坐标，其中，设定标记点选为图像中人体的其他部位，例如人体的肩部。再提取第三图像中的特征点，特征点可选为第三图像中的背景和人体的关键识别点，根据多张第三图像中的多个特征点，能够确定第二矢量坐标集合，第二矢量坐标为人体相对机器人的相对坐标，其中每个特征点与每张第三图像相对应。根据第二矢量坐标集合和第一矢量坐标集合能够计算得到手势坐标集合，通过手势坐标集合能够计算得到手势对应的第一目标区域。
144.具体地，首先在机器人出厂前，通过标定人的手指向方向相对于人的肩部中心点位置的图像，训练第三设定模型。
145.采集到第三图像后，将第三图像输入至第三设定模型，能够得到第三图像中手势对应的方向相对于肩膀为原点的第一矢量坐标集合。
146.再根据多张第三图像确定第三图像中的肩膀所在位置在世界坐标系下的坐标。具体地，第三图像中的特征点，然后将特征点匹配到第三图像中的关键帧中，关键帧为保存在vslam(视觉算法)地图中的关键帧，然后计算第三图像中当前帧和关键帧拍摄位置的坐标
转换矩阵。
147.同时，测量得到人的肩膀在第三图像的当前帧中相对于扫地机器人的坐标位置；具体选为三角测距法，例如：机器人继续向左走10cm再次获取第三图像，通过不同视角下的第三图像能够计算出肩膀相对于第三图像中当前帧的坐标位置，从而确定肩膀相对于当前扫地机的坐标，进而得到第三图像中手势的指向位置的第二矢量坐标集合，根据第一矢量坐标集合和第二矢量坐标集合能够确定手势坐标集合，根据手势坐标结合确定第一目标区域的位置。
148.如图7所示，在上述任一实施例中，获取多张第三图像的步骤，具体包括：
149.步骤702，控制机器人按照设定方向和设定距离行驶；
150.步骤704，按照设定频率采集机器人行驶过程中的图像，以得到至少两张第三图像。
151.在该实施例中，控制扫地机器人在移动过程中采集多张第三图像。具体地，控制机器人按照设定方向和设定距离行驶，在机器人处于行驶状态下，按照设定频率连续多次采集第三图像。通过控制机器人在移动时采集第三图像，能够便于机器人后续确定第三图像中的手势坐标集合的步骤，提高得到手势坐标集合的准确性，进而提高控制机器人进入第一目标区域的准确性。
152.实施例二：
153.如图8所示，本发明的第二个实施例中提供了一种机器人的控制装置800，包括：
154.接收单元802，用于接收手势控制指令；
155.第一控制单元804，用于响应于手势控制指令，控制机器人行驶进入第一目标区域；
156.采集单元806，用于在机器人处于第一目标区域内，控制机器人获取第一图像；
157.确定单元808，用于对第一图像进行识别，以确定第二目标区域；
158.第二控制单元810，用于控制机器人进入第二目标区域内运行。
159.其中，第一图像为机器人所处环境的环境图像。
160.本实施例提供的机器人的控制装置用于对机器人进行控制，机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
161.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
162.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘和/或垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
163.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘和/或垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
164.在一些实施例中，机器人在采集第一图像时的拍摄方向朝向地面方向，并且拍摄范围处于第一目标区域内。
165.这些实施例中，机器人通过对第一图像进行识别，实现了识别第一目标区域中的污渍、灰尘和垃圾的效果，并据此确定第二目标区域，由于机器人采集的第一图像的拍摄范围在第一目标区域内，故第二目标区域位于第一目标区域内，且第二目标区域的面积小于第一目标区域。能够保证机器人运行的位置与用户手势控制指令指出的位置的契合度，同时减少机器人在第一目标区域内的移动距离。
166.在上述任一实施例中，确定单元808还用于将第一图像输入第一设定模型中，以确定第一图像中的识别物特征；确定识别物特征对应的识别物特征的位置信息；根据识别物特征的位置信息确定第二目标区域。
167.在该实施例中，将第一图像输入至第一设定模型中，以对第一图像中的识别物特征进行识别，在识别到第一图像中存在识别物特征后，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的位置坐标，从而确定带有识别物的第二目标区域。其中，识别物可选为污渍、灰尘和/或垃圾等。根据第一图像对识别物的位置的精准判定，保证机器人能够快速找到第一目标区域内的识别物，从而对识别物进行清洁处理。
168.机器人根据手势控制指令仅能够识别到一个较大的范围，即第一目标区域，当扫地机器人行驶至第一目标区域后，则通过采集第一图像，对地面上需要清扫的识别物进行检测，从而确定第一目标区域内需要清扫的第二目标区域，控制扫地机器人对需要清扫的第二目标区域进行清扫。
169.值得说明的是，机器人在出厂之前，将第一设定模型配置到机器人中。在训练第一设定模型时，可选择对带有不同类型识别物的图片进行训练，从而使第一设定模式能够对不同识别物进行识别。在机器人识别到第一图像中包括识别物，还能够确定识别物的种类，根据识别物的种类选择不同的清扫模式对地面进行清扫。
170.在上述任一实施例中，确定单元808还用于根据位置信息，确定识别物的目标坐标点；获取设定半径；根据设定半径和目标坐标点，确定第二目标区域。
171.在该实施例中，根据识别物特征在第一图像中的位置信息，能够确定识别物在环境中的目标坐标点，目标坐标点为机器人所需清扫的位置点，根据该位置点与设定半径，能够确定机器人所需清扫的第二目标区域。在确定第二目标区域后，控制机器人移动至第二目标区域，并对第二目标区域进行清扫，从而完成清扫任务。
172.在一些实施例中，用户能够根据需要进行自行设置不同的设定半径。
173.在另外一些实施例中，根据机器人的运行参数对设定半径进行设置，即设定半径与机器人的运行参数相对应。
174.在这些实施例中，检测机器人的运行参数，其中，运行参数包括但不限于剩余电量、风机转速和电机功率。机器人运行参数所处的数值范围不同，则选择不同的设定半径。例如：在机器人的剩余电量较低时，为保证机器人的剩余运行时间较长，则将设定半径设置较小。在机器人的剩余电量比较充足时，为保证机器人对第一目标区域内的清洁效果，则将设定半径设置较大。
175.在上述任一实施例中，第二目标区域的至少部分与第一目标区域重合。
176.在该实施例中，将第二目标区域全部与第一目标区域重合，即第二目标区域可以设置在第一目标区域之内，或第二目标区域的部分与第一目标区域重合。用户能够对第二目标区域与第一目标区域的重合度进行设置，将第二目标区域与第一目标区域的重合度设置的越高，则机器人实际清扫的位置与用户手势控制指令中的位置的符合程度越高。将第二目标区域与第一目标区域的重合度设置的较低，则机器人能够自动根据第一图像识别到的污渍、灰尘和/或垃圾等对第二目标区域进行适应性调整，从而提高清扫的效果，避免由于用户手势控制指令指示的位置不够准确导致的清洁效果差的问题发生。
177.设置第二目标区域与第一目标区域完全重合，则机器人在采集第一图像时，仅采集第一目标区域内的地面图像。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，从而确定第一目标区域中需要清扫的第二目标区域。提高了机器人的受控程度，使机器人实际清扫区域更加符合用户的手势识别指令。
178.设定第二目标区域与第一目标区域部分重合，则机器人在采集第一图像时，不仅采集第一目标区域内的地面图像，还对第一目标区域外的部分图像进行采集。机器人根据第一目标区域内的地面图像，确定位于第一目标区域内的识别物的位置，以及位于第一目标区域附近的识别物的位置，从而确定第二目标区域。使机器人不仅仅能够对用户手势控制指令对应的第一目标区域内的识别物进行清扫，还能够对附近的区域进行清扫，提高了机器人对地面清扫效果。
179.在上述任一实施例中，采集单元806还用于控制机器人获取第二图像；
180.确定单元808还用于将第二图像输入至第二设定模型中，以确定第二图像中的手势特征，其中，第二图像为用户手势图像。
181.机器人的控制装置还包括：
182.提示单元812，用于基于手势特征为设定手势特征，控制机器人输出提示信息。
183.在该实施例中，机器人通过图像采集装置持续采集图像，在检测到采集到包含用户手势图像的第二图像时，则将第二图像输入至第二设定模型中，对用户的手势特征进行识别。在检测到手势特征为设定手势特征时，则判定用户需要进行手势识别控制。此时，机器人输出相应的提示信息，对用户进行提示机器人已经进入手势识别控制模式，并且机器
人开始接收手势控制指令。
184.扫地机器人在运行过程中，用户也可能处于室内，为避免用户行动过程中对扫地机器人进行手势控制指令的误触发，则对扫地机器人设置手势控制的功能锁。扫地机器人在运行过程中，持续采集图像，在检测到包括用户手势图像的第二图像时，则对第二图像中的手势特征与设定手势特征进行比较，如果第二图像中的手势特征与设定手势特征完全相符，则继续接收手势控制指令。
185.在一些实施例中，在检测到机器人连续采集到多张第二图像中的手势特征均与设定特征相符，则开始接收手势控制指令。
186.在这些实施例中，机器人每隔设定时长采集一次图像，在连续采集到的第二图像均带有设定手势特征，才判定用户需要对机器人进行手势控制，进一步降低了误触发的可能性。
187.具体地，在扫地机器人采集到的第二图像中识别到用户的右手手掌打开，且停留时间达到两秒，则扫地机器人输出声音提示信息，以提示用户进入手势识别控制指令，用户开始通过输入手势控制指令以对机器人进行控制。
188.在上述任一实施例中，采集单元806还用于控制机器人获取多张第三图像；
189.机器人控制装置还包括：
190.获取单元814，用于获取多张第三图像对应的手势坐标集合；
191.确定单元808还用于通过手势坐标集合确定第一目标区域；
192.第一控制单元804用于控制机器人行驶进入第一目标区域。
193.其中，第三图像为包括手势控制指令的图像。
194.在该实施例中，机器人采集多张包含有手势控制指令的第三图像，获取多张第三图像中的手势坐标集合，通过手势坐标集合在世界坐标系内能够确定用户手势控制指令中的第一目标区域，并控制机器人行驶到第一目标区域中。通过采集多张第三图像进行识别，能够提高通过第三图像得到的手势坐标集合的准确性，从而提高对机器人控制的准确定。
195.对多张第三图像中的手势进行连续检测，连续检测包括持续跟踪检测到手的位置，以确定手部的连续动作是否为同一只手做出的作用，防止多人在场时候，对不同手进行响应，进一步提高了机器人对手势控制指令识别响应的准确性。
196.同时，对第三图像中的手势是否为目标手进行检测，例如：检测到的手势对应的手为“右手”，且“右手”位于在人体的左边，则表示检测到了镜面内的镜像，需要让扫地机器人转向找真实手部，以对手势控制指令进行识别。
197.在上述任一实施例中，获取单元814还用于通过第三设定模型，确定多张第三图像中的第一矢量坐标集合，获取多张第三图像中每张第三图像中的特征点，通过多个特征点确定第二矢量坐标集合，通过对第二矢量坐标集合和第一矢量坐标集合处理，以得到手势坐标集合。
198.其中，第一矢量坐标集合为第三图像中的手势相对设定标记点的第一矢量坐标集合。
199.在该实施例中，通过第三设定模型对多张第三图像进行识别，识别第三图像中的手部的连续动作，并提取第三图像中的第一矢量坐标集合，其中第一矢量坐标集合包括多个第一矢量坐标，第一矢量坐标为手势对应的手部相对设定标记点的矢量坐标，其中，设定
标记点选为图像中人体的其他部位，例如人体的肩部。再提取第三图像中的特征点，特征点可选为第三图像中的背景和人体的关键识别点，根据多张第三图像中的多个特征点，能够确定第二矢量坐标集合，第二矢量坐标为人体相对机器人的相对坐标，其中每个特征点与每张第三图像相对应。根据第二矢量坐标集合和第一矢量坐标集合能够计算得到手势坐标集合，通过手势坐标集合能够计算得到手势对应的第一目标区域。
200.具体地，首先在机器人出厂前，通过标定人的手指向方向相对于人的肩部中心点位置的图像，训练第三设定模型。
201.采集到第三图像后，将第三图像输入至第三设定模型，能够得到第三图像中手势对应的方向相对于肩膀为原点的第一矢量坐标集合。
202.再根据多张第三图像确定第三图像中的肩膀所在位置在世界坐标系下的坐标。具体地，第三图像中的特征点，然后将特征点匹配到第三图像中的关键帧中，关键帧为保存在vslam(视觉算法)地图中的关键帧，然后计算第三图像中当前帧和关键帧拍摄位置的坐标转换矩阵。
203.同时，测量得到人的肩膀在第三图像的当前帧中相对于扫地机器人的坐标位置；具体选为三角测距法，例如：机器人继续向左走10cm再次获取第三图像，通过不同视角下的第三图像能够计算出肩膀相对于第三图像中当前帧的坐标位置，从而确定肩膀相对于当前扫地机的坐标，进而得到第三图像中手势的指向位置的第二矢量坐标集合，根据第一矢量坐标集合和第二矢量坐标集合能够确定手势坐标集合，根据手势坐标结合确定第一目标区域的位置。
204.在上述任一实施例中，第二控制单元810还用于控制机器人按照设定方向和设定距离行驶；
205.采集单元806还用于按照设定频率采集机器人行驶过程中的图像，以得到至少两张第三图像。
206.在该实施例中，控制扫地机器人在移动过程中采集多张第三图像。具体地，控制机器人按照设定方向和设定距离行驶，在机器人处于行驶状态下，按照设定频率连续多次采集第三图像。通过控制机器人在移动时采集第三图像，能够便于机器人后续确定第三图像中的手势坐标集合的步骤，提高得到手势坐标集合的准确性，进而提高控制机器人进入第一目标区域的准确性。
207.实施例三：
208.如图9所示，本发明的第三个实施例中机器人900，包括如上述实施例二中任一实施例中的机器人的控制装置800，因而具有上述第二方面中机器人的控制装置的全部有益技术效果，在此不再做过多赘述。
209.本发明提供的机器人还包括传感器组件902和图像采集装置904，其中，图像采集装置904能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件902采集周围的障碍物信息，从而识别当前环境。
210.实施例四：
211.如图10所示，本发明的第四个实施例中提供了一种机器人1000，包括存储器1002和处理器1004。
212.存储器1002中存储有程序或指令；
213.处理器1004执行存储在存储器1002中的程序或指令以实现如上述第一方面的任一可能设计中的机器人1000的控制方法的步骤，因而具有上述第一方面中机器人1000的控制方法的全部有益技术效果，在此不再做过多赘述。
214.本发明提供的机器人1000还包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人1000对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人1000能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
215.实施例五：
216.本发明的第五个实施例中提供了一种机器人，包括：图像采集装置、驱动组件和控制装置。
217.图像采集装置用于采集图像；
218.驱动组件用于驱动机器人行驶和运行；
219.控制装置，用于响应于手势控制指令，控制机器人行驶进入第一目标区域，在机器人处于第一目标区域内，控制机器人获取第一图像，对第一图像进行识别，以确定第二目标区域，控制机器人进入第二目标区域内运行，其中，第一图像为机器人所处环境的环境图像。
220.机器人包括传感器组件和图像采集装置，其中，图像采集装置能够采集带有用户手势的图像和环境图像，机器人对带有用户手势的图像进行识别，能够接收到用户发送的手势控制指令。机器人能够通过传感器组件采集周围的障碍物信息，从而识别当前环境。
221.机器人能够响应于用户发送的手势控制指令，根据手势控制指令确定用户期望机器人运行地点位置，机器人行驶至与该地点位置对应的第一目标区域。在机器人行驶至第一目标区域后，机器人开始采集环境图像，并对环境图像中的环境特征进行识别，环境特征包括但不限于环境中的垃圾、灰尘和/或污渍。在识别到环境图像中存在预设的环境特征，则根据环境特征的位置对机器人运行的区域进行二次识别，得到机器人运行的第二目标区域，控制机器人在第二目标区域内运行。用户通过手势控制指令控制机器人移动到用户期望的运行位置，机器人通过对环境特征的识别，进一步对用户手势指令中指示的位置进行精准定位，即机器人根据手势控制指令确定较大的运行范围，再通过在该范围内采集环境图像，对机器人所需运行的位置进行精准定位，实现了对用户手势指令中控制机器人运行位置的精准定位。
222.机器人选为扫地机器人，扫地机器人能够对地面进行清洁。扫地机器人内设置有广角摄像头，在扫地机器人处于上电运行状态下，通过广角摄像头持续采集自身周围图像，通过对采集到的图像进行识别，确定接收到手势控制指令后，移动至手势控制指令对应的第一目标区域内。当扫地机器人进入第一目标区域后，控制广角摄像头或其他摄像头采集第一图像，并对第一图像中的内容进行识别，识别到第一图像中包含有污渍、灰尘和/或垃圾等目标特征，则控制机器人对目标特征进行定位，以得到第二目标区域。控制机器人对第二目标区域进行清扫工作。由于第二目标区域为扫地机器人根据在第一目标区域内采集到的环境图像确定的，因此第二目标区域与第一目标区域的相联性较强，例如：第二目标区域位于第一目标区域内，或第二目标区域与第一目标区域部分重合。
223.本发明根据用户的手势控制指令运行查找到用户期望的清扫区域，并在用户期望的清扫区域内进一步确定机器人的目标清扫区域，实现了用户手势指令带有的位置信息进行精准定位，保证扫地机器人能够对用户期望的清扫区域的污渍、灰尘和/或垃圾等进行清扫，提高了扫地机器人清扫效果。在用户手势控制指令所指的位置不够准确的情况下，能够对清扫位置校准，提高清扫效果。
224.在上述任一实施例中，机器人还包括清扫组件和/或行进组件。
225.清扫组件与驱动组件相连接；
226.行进组件与驱动组件相连接。
227.在该实施例中，机器人为扫地机器人，机器人中还设置有清扫组件和行进组件，清扫组件与驱动组件相连接，驱动组件能够驱动清扫组件运行，以对第二目标区域进行清扫。行进组件与驱动组件相连接，驱动组件能够对行进组件进行驱动，从而带动机器人行驶至第一目标区域。
228.在一种可能的设计中，驱动组件包括：第一驱动件和第二驱动件。
229.第一驱动件与清扫组件相连，用于驱动清扫组件运行；
230.第二驱动件与行进组件相连，用于驱动行进组件运行。
231.在该实施例中，驱动组件包括第一驱动件和第二驱动件。第一驱动件和第二驱动件分别与清扫组件和行进组件相连，第一驱动件和第二驱动件分别对清扫组件和行进组件驱动。
232.实施例六：
233.本发明的第六个实施例中提供了一种可读存储介质，其上存储有程序，程序被处理器执行时实现如上述任一实施例中的机器人的控制方法，因而具有上述任一实施例中的机器人的控制方法的全部有益技术效果。
234.其中，可读存储介质，如只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
235.需要明确的是，在本发明的权利要求书、说明书和说明书附图中，术语“多个”则指两个或两个以上，除非有额外的明确限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了更方便地描述本发明和使得描述过程更加简便，而不是为了指示或暗示所指的装置或元件必须具有所描述的特定方位、以特定方位构造和操作，因此这些描述不能理解为对本发明的限制；术语“连接”、“安装”、“固定”等均应做广义理解，举例来说，“连接”可以是多个对象之间的固定连接，也可以是多个对象之间的可拆卸连接，或一体地连接；可以是多个对象之间的直接相连，也可以是多个对象之间的通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据上述数据地具体情况理解上述术语在本发明中的具体含义。
236.在本发明的权利要求书、说明书和说明书附图中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本发明的权利要求书、说明书和说明书附图中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
237.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人
员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。