基于深度学习与深度信息检测定位的云台结构及方法

本发明涉及机器人领域，具体涉及一种基于深度学习与深度信息检测定位的云台结构及方法。

背景技术：

1、随着人力成本的升高、生产技术发展和产业转型升级，机器人代替人工劳动是大势所趋，自上世纪50年代起，机器人从示教型机器人、感觉型机器人发展到如今的智能型机器人，如今的智能机器人身上带有多种传感器，并可以进行复杂的逻辑推理、判断及决策，在不断变化的内部状态与外部环境中自主决定自身行为，而视觉传感器是机器人控制系统中最常用的传感器之一，同时也是机器人的“眼睛”。

2、而在实际生产活动中，常将工业相机作为机器人的视觉传感器来传递图像信息，并通过物体边缘和颜色进行目标物体定位，但这种定位方式不仅视野窄小、对目标物体的距离信息精度有限，而且难以提供物体姿态信息，同时对物体检测上的泛化能力较弱；如广东毕要科技有限公司申请中国公开专利cn114986520a——一种基于机器视觉的四轴并联机器人分拣系统及方法中，其使用的图像采集模块提供的距离信息在精度上十分有限，因此只能一个或两个方向上做执行机构、运动机构的精准控制，难以应用到如机械臂等需要高精度的视觉控制中。

技术实现思路

1、(1)要解决的技术问题

2、本发明公开了一种基于深度学习与深度信息检测定位的云台结构及方法，旨在解决传统视觉传感器中对目标物体的定位方式有着视野窄小、对目标物体的距离信息精度有限、难以提供物体姿态信息以及物体检测上泛化能力较弱等缺陷的问题。

3、(2)技术方案

4、为了实现上述功能，本发明采用的具体技术方案如下：

5、一种基于深度学习与深度信息检测定位的云台结构，其特征在于，包括：

6、图像采集装置，用于采集目标物体的图像信息和深度信息；

7、计算处理模块，将所述图像信息和深度信息转化为位置信息、姿态信息并生成控制指令发送至云台舵机控制模块中；

8、云台舵机控制模块，根据所述计算处理模块发送的控制指令驱动云台舵机机构；

9、云台舵机机构，通过所述云台舵机控制模块的驱动控制对所述图像采集装置进行方位角度调整。

10、进一步地，所述图像采集装置是集成了rgb色彩传感器，立体视觉成像器和红外激光发射器的深度实感相机，所述深度实感相机的拍摄角度范围为左右69°，上下42°以及有效拍摄变焦范围为200mm～16000mm，并能捕捉目标物体的图像信息和深度信息。

11、进一步地，所述云台舵机机构包括第三云台舵机，所述第三云台舵机转动连接有相机支架，所述图像采集装置与所述相机支架固定连接，使所述图像采集装置实现-60°至+60°的范围内的俯仰角度方向调节。

12、进一步地，所述计算处理模块通过图像坐标系与世界坐标系变换关系将所述图像采集装置的图像信息与深度信息，转化成三维空间下目标物体的位置信息、姿态信息。

13、进一步地，所述云台舵机控制模块采用位置式pid控制算法对所述云台舵机机构进行驱动控制。

14、进一步地，所述一种基于深度学习与深度信息检测定位的云台结构还包括运动机构和执行机构，所述运动机构用于对目标物体的智能定位和导航；所述执行机构用于对目标物体的分拣和抓取。

15、一种基于深度学习与深度信息检测定位方法，其特征在于，包括以下步骤：

16、s1图像采集：采集目标物体的图像信息和深度信息；

17、s2图像预处理：对所述图像信息进行预处理操作，所述预处理操作包含但不限于数据尺寸变换和数据归一化处理；若识别场景不复杂、识别对象特征明显，可将图像滤波、边缘检测作为预处理操作方式；

18、s3神经网络推理：将预处理后的图像信息输入部署的网络，网络输出目标物体的目标框回归信息，所述目标框回归信息包括目标框的坐标、尺寸以及目标框物体的类别信息；

19、s4感兴趣区域的特征提取和筛选：通过所述图像信息和所述目标框回归信息，得到图像信息中的感兴趣区域，再对所述感兴趣区域的图像信息通过图像滤波和边缘检测提取目标物体的特征信息，如大小、形状、颜色，再将所述图像信息和深度信息通过图像坐标系与世界坐标系齐次坐标变换关系计算出目标物体的位置信息和姿态信息；

20、s5分类决策：将目标物体的所述位置信息、姿态信息转化为控制指令对驱动机构进行控制。

21、进一步地，所述图像坐标系与世界坐标系齐次坐标变换关系计算方法如下：

22、

23、其中，所述图像信息中包含了若干个像素点，(x,y)为图像二维坐标系中某个像素点的坐标值，该像素点的像素坐标系中相应坐标记为(u,v)；z为该所述像素点的深度信息值；f为所述图像采集装置成像的焦距；其中，dx和dy分别是像素坐标系中的u轴和v轴的单位尺寸，fx为所述焦距f与所述单位尺寸dx的比值，fy为所述焦距f与所述单位尺寸dy的比值，cx和cy为成像平面的光轴点偏移量；r为旋转矩阵即xyz轴方向旋转矩阵的乘积；t为三维空间中的平移向量；0t＝(0,0,0)t；[xw,yw,zw,1]t为世界坐标系下的齐次坐标；通过若干所述像素点的坐标值、深度信息值即可计算目标物体的位置信息和姿态信息。

24、进一步地，在所述神经网络的学习权重训练准备中，在数据集即图像信息的处理和所述神经网络权重参数优化上提出了有效实施方案，具体步骤如下：

25、s401数据集准备：数据集可以实地采集，或使用较为完备、专业的互联网开源数据集，同时可通过缩放、翻转、旋转、目标重叠、调整亮度和对比度的数据增强方式扩充数据集；

26、s402数据预处理：对数据集做归一化处理，使其能输入至所述神经网络中并正常训练优化；

27、s403神经网络训练优化：调整超参数和优化算法，使所述神经网络性能评价指标能最大化；

28、s404网络模型保存部署：将性能指标较好的模型保存，并使用设备厂商提供的软件驱动进行二次开发，形成程序；

29、s405筛选置信度较低的图像信息：通过程序自动筛选出实际场景里检测置信度较低的图像信息，并保存以扩充数据集，随后再优化模型参数，使其更加适应实际的应用场景。

30、进一步地，所述神经网络采用轻量化的目标检测网络yolov5-lite。

31、相比于现有的技术，本发明的有益效果在于：

32、1.本发明结构简单，零件互换性高，方便制作；且本发明安装方便快捷，整体结构较小，可以使用在大多数机器人的机身上，易于推广应用；

33、2.在结构上配备有可转动的、能采集深度信息和图像信息的图像采集装置，通过对图像信息与深度信息的转换，可实现对云台舵机机构的自动转动、运动机构在三维空间中的智能定位导航和执行机构的智能分拣抓取等动作的精准控制；

34、3.在目标物体检测上采用轻量化检测网络yolov5-lite，相比于传统图像处理算法，如滤波、边缘检测等算法，yolov5-lite这种基于人工神经网络的目标物体检测泛化能力更强，即可以适应更复杂更多样的环境和物体检测；同时相比于ssd、yolov5等常用的目标检测网络，本发明所用到的yolov5-lite网络更加轻量化，有更少的网络参数量和计算量，进而提高控制精度，减少控制延迟。