一种巡检机器人拍摄控制方法、系统、装置和存储介质与流程

本发明涉及一种巡检机器人拍摄控制方法、系统、装置和存储介质，属于巡检机器人。

背景技术：

1、由于机柜间距较窄，巡检机器人无法通过一个摄像头完成拍摄机柜的需求，为了完整的给客户展示机柜，在新的场景下需要对相机进行矫正，目前的巡检机器人配有四个摄像头，首先用手机给客户拍一个客户接受度较高的正面全景图像，四个分摄像头的图像变换成一个完整的机柜图像，分摄像头拍摄的图像之间需要有重合区域从而计算变换矩阵，每个分摄像头通过四个四月码顶点一一对应，而四月码粘贴的位置、平整性和清晰度都有严格的要求；另外巡检机器人导航存在误差，因此机器人相机拍摄距离、角度、高度都存在较高的拍摄要求，从而才能保证图像拼接的效果，图像拼接的好坏将直接影响用户体验。

2、同时在巡检机器人随工作业过程中，人员作业时全程跟随视频监控并形成随工录像，但语音交互方式功能有限，无法更加智能的记录随工作业的内容，也无法识别人员的肢体行为动作，后续查看录像、筛查数据或图像分类等工作会消耗较多的工时，增加人员的工作量。

3、另外，巡检机器人目前也无法通过远程控制机器人拍摄所需图像。针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明目的是提供了一种巡检机器人拍摄控制方法、系统、装置和存储介质，以解决相关技术中需要多个硬件拍摄图像及拼接导致效率低下的问题，无法远程拍摄图像的问题以及解决无法识别用户肢体行为动作发出工作指令的问题。

2、为了实现上述目的，根据本发明的一个方面，提供了相机全景拍摄的控制方法。发明包括：能够对机房设备进行外观识别并自主上下全景式拍摄，同时也能捕捉空间内用户的肢体动作并识别肢体动作对应的动作信息，包括肢体动作的动作幅度、动作方向以及动作距离，确定相机拍摄的控制策略，根据策略进行拍摄所需图像。

3、一种巡检机器人拍摄控制方法，包括以下步骤：

4、步骤1：通过设置在巡检机器人上的摄像头对机房设备进行扫描分析，获取机房设备的布局、尺寸信息。

5、步骤2：通过摄像头捕捉机房内部空间存在的肢体动作，并识别肢体动作信息。

6、步骤3：当摄像头识别到肢体动作信息的指令后，分析拍摄区域的中心点，根据巡检机器人所处状态以及人员的肢体动作信息，确定巡检机器人的控制策略，调整巡检机器人位置到最佳拍摄角度和最佳拍摄距离，并调整摄像头通过升降机构定位到拍摄中心进行拍摄。

7、步骤4：将拍摄的图像或视频通过语音交互进行分类标注，完成拍摄任务。

8、优选的，所述巡检机器人所处状态包括跟随待机状态和拍摄模式。

9、优选的，所述确定巡检机器人的控制策略的具体方法如下。

10、当巡检机器人处于跟随待机状态时，肢体动作为第一肢体动作，且第一肢体动作持续时长为第一预设时长，调整机器人控制策略为拍摄模式；所述第一肢体动作为手部动作。

11、当巡检机器人处于拍摄模式下，肢体动作作为第二肢体动作，调整机器人控制策略为按照肢体动作识别拍摄区域并进行中心拍摄，同时通过语音交互对拍摄内容分类标注，所述第二肢体动作为手指指向拍摄特征区域的预设形状。

12、当巡检机器人处于拍摄模式时，肢体动作为第三肢体动作，确定所述控制策略为按照肢体动作识别拍摄区域的左右距离或上下距离并进行区域拍摄，同时通过语音交互对拍摄内容分类标注，所述第三肢体动作为两只手限定拍摄图像的范围。

13、当巡检机器人处于拍摄模式时，通过语音交互暂停拍摄命令，肢体动作为第四肢体动作，确定所述控制策略为按照肢体动作取消拍摄命令，所述第四肢体动作为双手交叉的动作。

14、优选的，所述摄像头拍摄方式为自上而下或自下而上的完成全景拍摄，无需拼接图像。

15、优选的，所述通过摄像头捕捉机房内部空间存在的肢体动作具体步骤如下：通过设置在巡检机器人上的摄像头捕捉拍摄画面；通过二值化图像处理增强拍摄画面中的肢体动作信息；并将处理后的增强图像输入到图像动作识别模型中识别输出肢体动作信息。

16、优选的，所述二值化图像处理采用大律法二值化算法，所述图像识别模型为pp-tinypose模型。

17、一种巡检机器人的控制系统，包括：第一单元，用户确定巡检机器人所处的状态，状态为以下任意一种状态：待机跟随状态，拍摄模式；识别单元，用于捕捉预设空间内的用户的肢体动作并识别肢体对应的动作信息，肢体动作为以下至少一种信息：肢体动作的持续时长，肢体动作的动作朝向，肢体动作的形状；第二确定单元，用于巡检机器人所处的状态及肢体动作信息，确定巡检机器人的控制策略；第一控制单元，用于依据控制策略，控制巡检机器人运行。

18、一种巡检机器人装置，包括一个或多个处理器，存储器以及一个及多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述任意一项的一种巡检机器人拍摄控制方法。

19、一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，该程序执行上述任意一项的一种巡检机器人拍摄控制方法。

20、本发明的优点在于：本发明能够对机房设备进行外观识别并自主上下全景式拍摄，同时也能捕捉空间内用户的肢体动作并识别肢体动作对应的动作信息，包括肢体动作的动作幅度、动作方向以及动作距离，确定相机拍摄的控制策略，根据策略进行拍摄所需图像；以解决相关技术中需要多个硬件拍摄图像及拼接导致效率低下的问题，无法远程拍摄图像的问题以及解决无法识别用户肢体行为动作发出工作指令的问题。

技术特征：

1.一种巡检机器人拍摄控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的巡检机器人拍摄控制方法，其特征在于，所述巡检机器人所处状态包括跟随待机状态和拍摄模式。

3.根据权利要求2所述的巡检机器人拍摄控制方法，其特征在于，所述确定巡检机器人的控制策略的具体方法如下：

4.根据权利要求1所述的巡检机器人拍摄控制方法，其特征在于，所述摄像头拍摄方式为自上而下或自下而上的完成全景拍摄，无需拼接图像。

5.根据权利要求1所述的巡检机器人拍摄控制方法，其特征在于，所述通过摄像头捕捉机房内部空间存在的肢体动作具体步骤如下：通过设置在巡检机器人上的摄像头捕捉拍摄画面；通过二值化图像处理增强拍摄画面中的肢体动作信息；并将处理后的增强图像输入到图像动作识别模型中识别输出肢体动作信息。

6.根据权利要求5所述的巡检机器人拍摄控制方法，其特征在于，所述二值化图像处理采用大律法二值化算法，所述图像识别模型为pp-tinypose模型。

7.一种巡检机器人的控制系统，其特征在于，包括：第一单元，用户确定巡检机器人所处的状态，状态为以下任意一种状态：待机跟随状态，拍摄模式；识别单元，用于捕捉预设空间内的用户的肢体动作并识别肢体对应的动作信息，肢体动作为以下至少一种信息：肢体动作的持续时长，肢体动作的动作朝向，肢体动作的形状；第二确定单元，用于巡检机器人所处的状态及肢体动作信息，确定巡检机器人的控制策略；第一控制单元，用于依据控制策略，控制巡检机器人运行。

8.一种巡检机器人装置，其特征在于，包括一个或多个处理器，存储器以及一个及多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述任意一项的一种巡检机器人拍摄控制方法。

9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质包括存储的程序，其中，该程序执行上述任意一项的一种巡检机器人拍摄控制方法。

技术总结
本发明提供了一种巡检机器人拍摄控制方法、系统、装置和存储介质，属于巡检机器人技术领域。本发明包括：通过设置在巡检机器人上的摄像头对机房设备进行扫描分析，获取机房设备的布局、尺寸信息；通过摄像头捕捉机房内部空间存在的肢体动作，并识别肢体动作信息；当摄像头识别到肢体动作信息的指令后，确定巡检机器人的控制策略，调整巡检机器人位置到最佳拍摄角度和最佳拍摄距离进行拍摄；将拍摄的图像或视频通过语音交互进行分类标注，完成拍摄任务。解决了相关技术中需要多个硬件拍摄图像及拼接导致效率低下的问题，无法远程拍摄图像的问题以及解决无法识别用户肢体行为动作发出工作指令的问题。

技术研发人员：胡国交,候云强
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：
技术公布日：2024/1/13