焦点跟随方法、装置、电子设备及存储介质与流程
本发明涉及智能设备技术领域，尤其涉及一种焦点跟随方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的发展，智能设备与用户交互的方式越来越丰富，其中，智能设备可以通过焦点跟随的方法跟随用户移动，达到智能设备关注用户行为的效果。
相关技术中，智能设备采用人脸识别技术，采集图像中的人脸关键点，当采集到人脸关键点时，根据人脸关键点进行焦点跟随；当采集不到人脸关键点时，停止焦点跟随。然而，上述焦点跟随方法，仅以是否采集到人脸关键点作为启动以及停止焦点跟随的依据，容易导致误触发焦点跟随以及误结束焦点跟随，降低了人机交互体验。
技术实现要素：
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种焦点跟随方法。该方法中，当环境图像中用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值时，才进行焦点跟随，从而能够避免误触发焦点跟随，提高人机交互体验。
本发明的第二个目的在于提出一种焦点跟随装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种焦点跟随方法，包括：
对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及所述用户与所述智能设备之间的距离；
判断所述用户是否满足跟随条件；所述跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；
从满足跟随条件的用户中选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
本发明实施例的焦点跟随方法，通过对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及用户与智能设备之间的距离；判断用户是否满足跟随条件；跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；从满足跟随条件的用户中选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。由此，针对人脸角度不属于预设角度范围的用户，以及对应的距离大于第一距离阈值的用户，不进行焦点跟随操作，从而能够避免误触发焦点跟随，提高人机交互体验。
另外，根据本发明上述实施例的焦点跟随方法，还可以具有如下附加的技术特征：
在本发明一个实施例中，所述从满足跟随条件的用户中选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随，包括：
若满足跟随条件的用户的数量为多个，则从满足跟随条件的用户中选取与所述智能设备距离最近的第一用户，并判断所述第一用户的数量是否为多个；
若所述第一用户的数量为多个，则从所述第一用户中选取在所述环境图像中距离中心轴最近的第二用户，并判断所述第二用户的数量是否为多个；
若所述第二用户的数量为多个，则从所述第二用户中随机选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
在本发明一个实施例中，控制所述智能设备对所述目标用户进行焦点跟随之后，还包括：
若在连续n帧环境图像中未获取到所述目标用户的人脸，或者，在连续m帧环境图像中所述目标用户与所述智能设备之间的距离大于等于第二距离阈值，则停止对所述目标用户进行焦点跟随；其中，n和m为正整数；所述第二距离阈值大于等于所述第一距离阈值。
在本发明一个实施例中，判断在连续n帧环境图像中是否获取到所述目标用户的人脸的方式为，
针对连续n帧环境图像中的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识；所述标识为根据用户的人脸特征点对对应用户设置的；
判断所述各个用户的标识中是否存在所述目标用户的标识；
若不存在所述目标用户的标识，则确定在所述环境图像中未获取到所述目标用户的人脸。
在本发明一个实施例中，控制所述智能设备对所述目标用户进行焦点跟随，包括：
针对智能设备采集的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识，判断所述各个用户的标识中是否存在所述目标用户的标识；所述标识为根据用户的人脸特征点对对应用户设置的；
若存在所述目标用户的标识，确定所述目标用户的人脸中心点；
判断所述人脸中心点是否处于所述环境图像的跟随区域内；
当所述人脸中心点未处于所述跟随区域内时，获取所述人脸中心点与所述跟随区域中心点之间的最短路径；
根据所述最短路径，获取用于控制智能设备转动的控制信息；
控制所述智能设备按照所述控制信息转动，使得所述人脸中心点落入所述跟随区域内。
在本发明一个实施例中，控制所述智能设备对所述目标用户进行焦点跟随之后，还包括：
判断是否接收到任务执行指令或者中断指令；
若接收到任务执行指令或者中断指令，则停止对所述目标用户进行焦点跟随；
对应的，所述对智能设备采集的环境图像进行人脸检测之前，还包括：
确定所述智能设备处于等待状态；所述等待状态为未接收到任务执行指令以及中断指令的状态。
在本发明一个实施例中，用户的人脸角度的确定方式为，
对智能设备采集的环境图像进行人脸检测，确定用户的人脸关键点；
根据所述用户的人脸关键点，计算确定所述用户的人脸角度；或者，
将用户的人脸关键点输入人脸角度模型，获取所述用户的人脸角度。
为达上述目的，本发明第二方面实施例提出了一种焦点跟随装置，包括：
检测模块，用于对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及所述用户与所述智能设备之间的距离；
判断模块，用于判断所述用户是否满足跟随条件；所述跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；
控制模块，用于从满足跟随条件的用户中选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
本发明实施例的焦点跟随装置，通过对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及用户与智能设备之间的距离；判断用户是否满足跟随条件；跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；从满足跟随条件的用户中选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。由此，针对人脸角度不属于预设角度范围的用户，以及对应的距离大于第一距离阈值的用户，不进行焦点跟随操作，从而能够避免误触发焦点跟随，提高人机交互体验。
另外，根据本发明上述实施例的焦点跟随装置，还可以具有如下附加的技术特征：
在本发明一个实施例中，所述控制模块具体用于，在满足跟随条件的用户的数量为多个时，从满足跟随条件的用户中选取与所述智能设备距离最近的第一用户，并判断所述第一用户的数量是否为多个；
在所述第一用户的数量为多个时，从所述第一用户中选取在所述环境图像中距离中心轴最近的第二用户，并判断所述第二用户的数量是否为多个；
在所述第二用户的数量为多个时，从所述第二用户中随机选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
在本发明一个实施例中，所述控制模块还用于，在连续n帧环境图像中未获取到所述目标用户的人脸，或者，在连续m帧环境图像中所述目标用户与所述智能设备之间的距离大于等于第二距离阈值时，停止对所述目标用户进行焦点跟随；其中，n和m为正整数；所述第二距离阈值大于等于所述第一距离阈值。
在本发明一个实施例中，所述判断模块还用于，针对连续n帧环境图像中的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识；所述标识为根据用户的人脸特征点对对应用户设置的；
判断所述各个用户的标识中是否存在所述目标用户的标识；
若不存在所述目标用户的标识，则确定在所述环境图像中未获取到所述目标用户的人脸。
在本发明一个实施例中，所述控制模块具体用于，针对智能设备采集的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识，判断所述各个用户的标识中是否存在所述目标用户的标识；所述标识为根据用户的人脸特征点对对应用户设置的；
若存在所述目标用户的标识，确定所述目标用户的人脸中心点；
判断所述人脸中心点是否处于所述环境图像的跟随区域内；
当所述人脸中心点未处于所述跟随区域内时，获取所述人脸中心点与所述跟随区域中心点之间的最短路径；
根据所述最短路径，获取用于控制智能设备转动的控制信息；
控制所述智能设备按照所述控制信息转动，使得所述人脸中心点落入所述跟随区域内。
在本发明一个实施例中，所述判断模块，还用于判断是否接收到任务执行指令或者中断指令；
所述控制模块，还用于在接收到任务执行指令或者中断指令时，停止对所述目标用户进行焦点跟随；
对应的，所述检测模块，还用于对智能设备采集的环境图像进行人脸检测之前，确定所述智能设备处于等待状态；所述等待状态为未接收到任务执行指令以及中断指令的状态。
在本发明一个实施例中，所述检测模块具体用于，对智能设备采集的环境图像进行人脸检测，确定用户的人脸关键点；
根据所述用户的人脸关键点，计算确定所述用户的人脸角度；或者，
将用户的人脸关键点输入人脸角度模型，获取所述用户的人脸角度。
为达上述目的，本发明第三方面实施例提出了一种电子设备，其特征在于，包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为上述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如上述实施例所述的焦点跟随方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的焦点跟随方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种焦点跟随方法的流程示意图；
图2为本发明实施例所提供的一种人脸关键点位置示意图；
图3为本发明实施例所提供的另一种焦点跟随方法的流程示意图；
图4为本发明实施例所提供的环境图像中用户与中心轴的距离示意图；
图5为本发明实施例所提供的另一种焦点跟随方法的流程示意图；
图6为本发明实施例提供的一种双目视觉计算距离的原理示意图；
图7为本发明实施例提供的一种焦点跟随装置的结构示意图；
图8为本发明实施例提供的另一种焦点跟随装置的结构示意图；
图9为本发明实施例所提供的一种适于用来实现本发明实施方式的示例性电子设备的框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的焦点跟随方法和装置。
其中，本发明实施例的焦点跟随方法的执行主体可以是通过摄像装置采集周围环境图像，并对图像上的焦点进行跟随的智能设备，或者可以是与智能设备通信的外部设备，例如服务器等。其中智能设备比如可以为，智能机器人、智能家电等。以下以执行主体为智能设备为例进行说明。
图1为本发明实施例所提供的一种焦点跟随方法的流程示意图。如图1所示，该焦点跟随方法包括以下步骤：
步骤101，对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及用户与智能设备之间的距离。
本实施例中，智能设备上配置有摄像装置，如摄像头，智能设备通过摄像装置可实时采集监控范围内的环境图像。在获取到环境图像后，可对环境图像进行检测，以识别进入监控范围的用户。
具体而言，从环境图像中，可以结合人脸识别技术检测采集到的图像中是否存在人脸。作为一种示例，从环境图像中，提取物体的轮廓，将提取的物体轮廓与预存的人脸轮廓或人体轮廓，进行比对。当提取的轮廓与预设的轮廓之间的相似度超过预设的阈值，可以认为从环境图像中识别到了用户。从而，通过该方法可以识别出环境图像中所有的用户。
进一步的，若环境图像中存在用户的人脸，则智能设备获取用户的人脸角度，以及用户与智能设备之间的距离。本实施例中，人脸角度包括人脸相对于智能设备在水平方向上的左右偏移角度、在垂直方向上的俯仰角度中的至少一种。其中，用户的人脸角度的确定方式为，对智能设备采集的环境图像进行人脸检测，确定用户的人脸关键点；根据用户的人脸关键点，计算确定用户的人脸角度；或者，预先训练一个基于人脸关键点确定人脸角度的神经网络模型，将用户的人脸关键点输入该人脸角度模型，获取用户的人脸角度；或者，预先训练一个基于人脸图像确定人脸角度的神经网络模型，将用户的人脸图像输入该人脸角度模型，获取用户的人脸角度。其中，人脸关键点可以是目标用户的五官，比如眼睛、鼻子和嘴巴等，智能设备可以通过检测人脸器官的形状和不同器官在人脸所在的位置等方式确定人脸关键点。
本实施例中，人脸关键点可以是用户的五官，例如用户的眼睛、鼻子、嘴巴等。各器官之间的相互位置是固定的，例如鼻子一定位于眼睛的下方，嘴巴一定位于鼻子的下方，各器官之间的距离也是固定的，当用户的正面朝向智能设备时，各器官之间的距离为固定距离，当用户的侧面朝向智能设备时，眼睛之间的距离缩小，但眼睛与鼻子之间的距离不变。因此，根据人脸关键点可以确定用户的人脸角度。本实施例中，人脸角度可以为人脸与智能设备之间的夹角，例如可以为人脸上眼睛和嘴巴等所在的平面与智能设备显示屏之间的夹角。其中，用户的人脸角度为0度，指的是用户正面朝向智能设备；用户的人脸角度为90度，指的是用户侧面朝向智能设备；用户的人脸角度为锐角，指的是用户从正面向左侧转动、向右侧转动、抬头或者低头等情况。
本实施例中，可以理解的是，用户与智能设备之间的距离越近，说明用户与智能设备之间存在交互意图的可能性越大，越需要对用户进行焦点跟随，因此本实施例中，将用户与智能设备之间的距离，作为判断是否启动焦点跟随的依据之一。
本实施例中，可通过深度摄像头或者双目视觉摄像头或者激光雷达，获取用户与智能设备之间的距离。
作为一种可能的实现方式，智能设备中配置有深度摄像头，通过深度摄像头，获取用户的深度图。在具体实现时，可通过结构光投射器向用户投射可控制的光点、光条或光面结构，并由深度摄像头中的图像传感器获得图像，通过几何关系，利用三角原理计算得到候选目标的三维坐标，从而可以得到用户与智能设备之间的距离。
作为一种可能的实现方式，在智能设备中配置双目视觉摄像头，通过双目视觉摄像头，对用户进行拍摄。然后，计算双目视觉摄像头所拍摄图像的视差，根据视差计算用户与智能设备之间的距离。
步骤102，判断用户是否满足跟随条件；跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值。
其中，人脸相对于智能设备在水平方向上的左右偏移角度的角度范围例如可以为0度到32度。第一距离阈值例如可以为1米等。另外，若用户的人脸角度不属于预设角度范围，或者用户与智能设备之间的距离大于第一距离阈值，则将用户作为非目标用户。
另外，若不存在满足跟随条件的用户，或者所述环境图像中不存在用户，则获取智能设备采集的下一帧环境图像，针对下一帧环境图像执行步骤101和步骤102。
步骤103，从满足跟随条件的用户中选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。
本实施例中，当环境图像中用户的数量为多个时，需要对多个用户进行区分，避免跟随错误，因此，在步骤103之前，所述的方法还可以包括：对智能设备采集的环境图像进行人脸检测，确定用户的人脸特征点；根据用户的人脸特征点，对用户进行标识设置，保存各个用户的标识。
对应的，智能设备对目标用户进行焦点跟随的过程具体可以为，针对智能设备采集的每帧环境图像，对环境图像进行人脸检测，确定环境图像中各个用户的标识，判断各个用户的标识中是否存在目标用户的标识；若存在目标用户的标识，确定目标用户的人脸中心点；判断人脸中心点是否处于环境图像的跟随区域内；当人脸中心点未处于跟随区域内时，获取人脸中心点与跟随区域中心点之间的最短路径；根据最短路径，获取用于控制智能设备转动的控制信息；控制智能设备按照控制信息转动，使得人脸中心点落入跟随区域内。例如，当智能设备为智能机器人时，机器人的头部为摄像装置，控制机器人的摄像装置以人脸中心点为焦点进行焦点跟随，从而达到机器人始终“注视”目标用户的效果，提升用户使用体验。
其中，最短路径信息中包括有：最短路径对应的横向偏移距离、横向偏移方向、纵向偏移距离以及纵向偏移方向。智能设备可以根据最短路径信息计算确定水平电机、俯仰电机的转速以及转动时间，从而控制水平电机、俯仰电机转动，使得转动后人脸中心点落入到跟随区域内。
本实施例中，在存在目标用户的标识的情况下，智能设备可以获取目标用户的人脸关键点，根据目标用户的人脸关键点，确定目标用户的人脸中心点。其中，智能设备根据目标用户的人脸关键点，确定目标用户的人脸中心点的过程具体可以为，若人脸关键点个数为一个，则以检测出的一个人脸关键点为人脸中心点；若人脸关键点的个数为两个以及两个以上，则获取检测出的所有的人脸关键点的第一中心点，将第一中心点作为人脸中心点。比如，若仅检测出目标用户的眼睛，则将眼睛作为目标用户的人脸中心点。
本实施例中，第一中心点是检测出的所有人脸关键点围成的关键点图形的中心点。图2为本发明实施例所提供的一种人脸关键点位置示意图，如图2所示，将每个人脸关键点作为关键点图形的连接节点，以其中一个节点作为起始节点，将所有的节点逐个连接起来，形成一个覆盖所有节点的关键点图形，若获得的关键点图形为对称图形(如图2所示)，则以关键点图形的对称轴的中点为关键点图形的第一中心点，将关键点图形的第一中心点确定为人脸中心点；若关键点图形为不规则图形，则将不规则图形最长轴与最短轴的交点为关键点图形的第一中心点，将关键点图形的第一中心点确定为人脸中心点。
本实施例中，以检测出的人脸关键点确定人脸中心点，对人脸中心点进行焦点跟随，可以保证目标用户的面部区域在智能设备的跟随区域内，以便于保持智能设备与监控的目标用户能够面对面交互。
本实施例中，在智能设备获取人脸中心点后，以人脸中心点为焦点，控制智能设备的摄像装置或者视觉系统实时跟随焦点，保持焦点在采集的环境图像的跟随区域内，其中，跟随区域能够覆盖环境图像中部分区域，该跟随区域并不是固定在环境图像中的，而是跟随监控视野实时移动的。跟随区域一般需要覆盖环境图像中的中心区域，以便于保持智能设备与监控的目标用户能够面对面交互。
其中，跟随区域具体可以为，以预设的像素值为半径，以环境图像的中心点为圆心的图像区域。其中，像素值的大小是根据摄像装置的最大像素值和摄像装置与目标用户的距离预先设置的，例如，当智能设备的摄像头为200万像素时，通过大量实验数据获得用户与摄像装置在不同距离下的人脸检测面积的平均值，在目标用户与智能设备相距2米时，以72像素为半径做圆，可以确保人脸面积在所做的圆的图像区域内。
本发明实施例的焦点跟随方法，通过对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及用户与智能设备之间的距离；判断用户是否满足跟随条件；跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；从满足跟随条件的用户中选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。由此，针对人脸角度不属于预设角度范围的用户，以及对应的距离大于第一距离阈值的用户，不进行焦点跟随操作，从而能够避免误触发焦点跟随，提高人机交互体验。
进一步的，在上述实施例中，满足跟随条件的用户的数量可以为一个或者多个，当满足跟随条件的用户的数量为一个时，智能设备可以直接对满足跟随条件的用户进行焦点跟随；当满足跟随条件的用户的数量为多个时，由于智能设备难以同时对多个用户进行焦点跟随，因此，需要从多个满足跟随条件的用户中选择其中一个用户作为目标用户进行焦点跟随，因此，结合参考图3，图3为本发明实施例所提供的另一种焦点跟随方法的流程示意图，如图3所示，智能设备执行步骤103的过程具体可以为：
步骤201，若满足跟随条件的用户的数量为多个，则从满足跟随条件的用户中选取与智能设备距离最近的第一用户，并判断第一用户的数量是否为多个。
本实施例中，用户与智能设备之间的距离越近，说明用户与智能设备之间存在交互意图的可能性越大，越需要对用户进行焦点跟随，因此本实施例中，可以选取与智能设备距离最近的第一用户，并且在第一用户的数量为1个时，对第一用户进行焦点跟随。
步骤202，若第一用户的数量为多个，则从第一用户中选取在环境图像中距离中心轴最近的第二用户，并判断第二用户的数量是否为多个。
本实施例中，环境图像中用户与中心轴的距离越近，说明用户与智能设备之间存在交互意图的可能性越大，越需要对用户进行焦点跟随，因此本实施例中，当第一用户的数量为多个时，可以从第一用户中选取在环境图像中距离中心轴最近的第二用户，并且在第二用户的数量为1个时，对第二用户进行焦点跟随。图4为环境图像中用户与中心轴的距离示意图，在图4中，x1和x2分别为两个用户与中心轴之间的距离。其中，中心轴为环境图像中的垂直对称轴。
步骤203，若第二用户的数量为多个，则从第二用户中随机选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。
本发明实施例中，从目标用户中选择与所述智能设备距离最近，且在环境图像中距离中心轴最近的用户进行焦点跟随，从而能够选择交互意图的可能性最大的用户进行焦点跟随，从而能够提高焦点跟随的准确性。
基于上述实施例，控制智能设备对目标用户进行焦点跟随之后，还需要确定停止焦点跟随的时间。图5为本发明实施例所提供的另一种焦点跟随方法的流程示意图。
如图5所示，该焦点跟随方法包括以下步骤：
步骤301，判断在连续n帧环境图像中是否获取到目标用户的人脸。
本实施例中，在对环境图像中的每个用户设置标识的情况下，智能设备判断在连续n帧环境图像中是否获取到目标用户的人脸的过程具体可以为，针对连续n帧环境图像中的每帧环境图像，对环境图像进行人脸检测，确定环境图像中各个用户的标识；所述标识为根据用户的人脸特征点对对应用户设置的；判断各个用户的标识中是否存在目标用户的标识；若不存在目标用户的标识，则确定在环境图像中未获取到目标用户的人脸。
本实施例中，若连续n帧环境图像中未获取到目标用户的人脸，则焦点跟随失败，不需要再继续进行焦点跟随，因此可以停止对目标用户进行焦点跟随。
步骤302，判断在连续m帧环境图像中目标用户与智能设备之间的距离是否大于等于第二距离阈值；其中，第二距离阈值大于等于第一距离阈值。
本实施例中，若连续m帧环境图像中目标用户与智能设备之间的距离大于等于第二距离阈值，则确定用户远离智能设备，此时用户与智能设备进行交互的可能性很低，不需要对用户进行焦点跟随，因此可以停止对目标用户进行焦点跟随。
步骤303，若在连续n帧环境图像中未获取到目标用户的人脸，或者，在连续m帧环境图像中目标用户与智能设备之间的距离大于等于第二距离阈值，则停止对目标用户进行焦点跟随；其中，n和m为正整数。
另外，需要说明的是，在智能设备采用大广角摄像机采集环境图像，采用深度摄像机获取目标用户与智能设备之间的距离的情况下，大广角摄像机与深度摄像机的视野范围不同，例如，大广角摄像机的视野范围为150度；深度摄像机的视野范围为60度，此时难以获取到目标用户与智能设备之间的距离，只能获取到目标用户的人脸关键点，且不能确定目标用户是打算远离智能设备还是靠近智能设备，因此，此时还需要对目标用户进行焦点跟随。
另外，还需要进行说明的是，若智能设备在焦点跟随过程中，接收到任务执行指令或者中断指令，则停止对目标用户进行焦点跟随。对应的，步骤101之前，需要确定智能设备未接收到任务执行指令以及中断指令，才能够获取环境图像进行人脸检测。
其中，任务执行指令例如可以为，引领指令、远程控制指令、建图指令、导航指令、自检指令、充电指令等需要智能设备移动位置的指令。中断指令例如可以为指令词、手势指令等。当智能设备在执行任务，或者根据指令词、手势指令等进行操作时，是难以同时进行焦点跟随的，因此，在进行焦点跟随前，需要先确定智能设备处于等待状态；等待状态为未接收到任务执行指令以及中断指令的状态。且在焦点跟随的过程中，一旦接受到任务执行指令或者中断指令，则停止进行焦点跟随。
图6为本发明实施例提供的一种双目视觉计算距离的原理示意图。图6中，在实际空间中，画出了两个摄像头所在位置ol和or，以及左右摄像头的光轴线，两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f。
如图6所示，p和p′分别是同一候选目标p在不同拍摄图像中的位置。其中，p点距离所在拍摄图像的左侧边界的距离为xl，p′点距离所在拍摄图像的左侧边界的距离为xr。ol和or分别为两个摄像头，这两个摄像头在同一平面，两个摄像头之间的距离为z。
基于三角测距原理，图6中的p与两个摄像头所在平面之间的距离b，具有如下关系：
基于此，可以推得
需要说明的是，其他用于计算候选目标与智能设备之间的距离的方法，也包含在本发明实施例的范围内。
为了实现上述实施例，本发明实施例还提出一种焦点跟随装置。图7为本发明实施例提供的一种焦点跟随装置的结构示意图。
如图7所示，该焦点跟随装置包括：检测模块110、判断模块120和控制模块130。
其中，检测模块110，用于对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及所述用户与所述智能设备之间的距离；
判断模块120，用于判断所述用户是否满足跟随条件；所述跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；
控制模块130，用于从满足跟随条件的用户中选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
在本实施例一种可能的实现方式中，所述控制模块130具体用于，在满足跟随条件的用户的数量为多个时，从满足跟随条件的用户中选取与所述智能设备距离最近的第一用户，并判断所述第一用户的数量是否为多个；
在所述第一用户的数量为多个时，从所述第一用户中选取在所述环境图像中距离中心轴最近的第二用户，并判断所述第二用户的数量是否为多个；
在所述第二用户的数量为多个时，从所述第二用户中随机选取其中一个用户作为目标用户，控制所述智能设备对所述目标用户进行焦点跟随。
在本实施例一种可能的实现方式中，所述控制模块130还用于，
若在连续n帧环境图像中未获取到所述目标用户的人脸，或者，在连续m帧环境图像中所述目标用户与所述智能设备之间的距离大于等于第二距离阈值，则停止对所述目标用户进行焦点跟随；其中，n和m为正整数；第二距离阈值大于第一距离阈值。
在本实施例一种可能的实现方式中，结合参考图8，上述实施例的焦点跟随装置还包括：设置模块140；
所述检测模块110，还用于对智能设备采集的环境图像进行人脸检测，确定用户的人脸特征点；
所述设置模块140，用于根据所述用户的人脸特征点，对所述用户进行标识设置；
对应的，所述判断模块120还用于，针对连续n帧环境图像中的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识；
判断所述各个用户的标识中是否存在所述目标用户的标识；
若不存在所述目标用户的标识，则确定在所述环境图像中未获取到所述目标用户的人脸。
在本实施例一种可能的实现方式中，所述控制模块130具体用于，针对智能设备采集的每帧环境图像，对所述环境图像进行人脸检测，确定所述环境图像中各个用户的标识，判断所述各个用户的标识中是否存在所述目标用户的标识；
若存在所述目标用户的标识，确定所述目标用户的人脸中心点；
判断所述人脸中心点是否处于所述环境图像的跟随区域内；
当所述人脸中心点未处于所述跟随区域内时，获取所述人脸中心点与所述跟随区域中心点之间的最短路径；
根据所述最短路径，获取用于控制智能设备转动的控制信息；
控制所述智能设备按照所述控制信息转动，使得所述人脸中心点落入所述跟随区域内。
在本实施例一种可能的实现方式中，所述判断模块120，还用于判断是否接收到任务执行指令或者中断指令；
所述控制模块，还用于在接收到任务执行指令或者中断指令时，停止对所述目标用户进行焦点跟随；
对应的，所述检测模块，还用于对智能设备采集的环境图像进行人脸检测之前，确定所述智能设备处于等待状态；所述等待状态为未接收到任务执行指令以及中断指令的状态。
本发明实施例的焦点跟随装置，通过对智能设备采集的环境图像进行人脸检测，确定用户的人脸角度，以及用户与智能设备之间的距离；判断用户是否满足跟随条件；跟随条件为，用户的人脸角度属于预设角度范围，且用户与智能设备之间的距离小于等于第一距离阈值；从满足跟随条件的用户中选取其中一个用户作为目标用户，控制智能设备对目标用户进行焦点跟随。由此，针对人脸角度不属于预设角度范围的用户，以及对应的距离大于第一距离阈值的用户，不进行焦点跟随操作，从而能够避免误触发焦点跟随，提高人机交互体验。
为了实现上述目的，本发明实施例还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上述实施例所述的焦点跟随方法。
图9示出了适于用来实现本申请实施方式的示例性电子设备的框图。如图9所示，该智能设备包括：壳体310、处理器320、存储器330、电路板340和电源电路350，其中，电路板340安置在壳体310围成的空间内部，处理器320和存储器330设置在电路板340上；电源电路350，用于为上述电子设备的各个电路或器件供电；存储器930用于存储可执行程序代码；处理器320通过读取存储器330中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述实施例所述的焦点跟随方法。其中，该电子设备可以是智能设备本身，也可以是与智能设备通信的外部设备，例如服务器等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
- 还没有人留言评论。精彩留言会获得点赞！