一种工业相机与深度相机结合的三维检测定位系统的制作方法

1.本实用新型涉及计算机视觉检测技术领域，特别是一种工业相机与深度相机结合的三维检测定位系统。


背景技术：

2.无论在生产，运输，交通等领域，对于物体的三维定位都有一定的要求。现在使用的方法中，使用人工检测费时费力且检测效果并不理想，基于二维特征匹配的定位缺少三维信息的支持，需要人员或三维检测设备的配合才能进行。但三维信息采集中使用的线激光扫描方法即时性不佳；可见结构光容易受外界光照干扰，不适用于复杂的使用环境；点激光测距则需要将二维匹配与深度检测分为前后两个步骤进行，过程较繁琐，检测效率不高。


技术实现要素：

3.本实用新型的目的是提供一种三维检测定位系统，利用工业相机与深度相机结合，以支持实现对待测物体的三维检测，提高检测实时性和准确性。本实用新型采用的技术方案如下。
4.一种工业相机与深度相机结合的三维检测定位系统，包括采集装置和上位机；所述采集装置包括工业相机和深度相机，且所述工业相机与深度相机光轴相互平行设置；
5.工业相机和深度相机分别采集相同待测物体所处场景的信息，传输至上位机；
6.上位机根据接收到的信息，对待测物体进行检测定位。
7.可选的，工业相机通过gige接口与上位机连接通信，深度相机通过usb3.0接口与上位机连接通信；上位机主体采用具备千兆网口与usb3.0接口的工控机。
8.可选的，所述采集装置还包括壳体，工业相机和深度相机固定安装于壳体内壳体上对应工业相机和深度相机的取景窗分别设有通孔。能够实现采集装置的便携和可移植性。
9.可选的，采集装置的壳体上还设有对应工业相机以及深度相机的通信端子，所述通信端子一端连接工业相机/深度相机，另一端连接上位机。
10.可选的，所述工业相机和深度相机通过安装支架固定安装于壳体内，安装支架的两侧部固定连接壳体内两侧部；
11.安装支架包括分别对应深度相机和工业相机设置的凹陷部，深度相机的上表面和工业相机的上表面分别与对应的凹陷部下表面之间贴合。
12.可选的，为了使得工业相机和深度相机在配准标定后的位置更加稳定，深度相机和工业相机与对应的安装架凹陷部之间通过螺丝固定连接。
13.可选的，为了简化上位机的处理过程，本实用新型中，工业相机采用能够采集场景中待测物体二维图像及相对角度的可见光相机。可采用现有技术，具体的，这种工业相机具有独立的数据处理单元，根据采集的色彩图像可判断出待测物体在场景中的平面坐标及相对角度。
14.有益效果
15.本实用新型利用工业相机与深度相机进行结合采集待测物体的信息，作为检测定位依据，能够同时采集待测物体及所在场景的二维及深度信息，使得上位机基于这些信息能够实现基于三维信息的物体检测定位，不仅能够解决现有技术中仅基于二维图像进行识别定位，受到环境光以及物体表面材质信息影响的问题，又能够通过二维图像信息解决现有三维检测过程中由于深度信息对样本间分界线的不敏感，从而导致的无法对密集排列样本进行检测的问题，宜于提高检测实时性和准确性。
附图说明
16.图1所示为三维定位系统原理架构示意图；
17.图2所示为采集装置结构示意图；
18.图3所示为一种应用例的工业相机与深度相机取景及处理原理流程示意图。
具体实施方式
19.以下结合附图和具体实施例进一步描述。
20.本实用新型的技术构思为：利用工业相机与深度相机的结合，对待测物体同时获取二维图像信息以及深度信息，进而进行待测物体的定位检测，以解决现有技术中仅基于二维图像进行识别定位，受到环境光以及物体表面材质信息影响的问题，以及现有三维检测过程中由于深度信息对样本间分界线的不敏感，从而导致的无法对密集排列样本进行检测的问题。
21.实施例1
22.本实用新型的三维定位系统，参考图1所示，系统包括采集装置和上位机；所述采集装置包括工业相机和深度相机，且所述工业相机与深度相机光轴相互平行设置；工业相机和深度相机分别采集相同待测物体所处场景的信息，传输至上位机；上位机根据接收到的信息，对待测物体进行检测定位。
23.在应用时，工业相机与深度相机在光轴相互平行的状态下可分别采集待测物体所处场景的平面坐标、相对角度信息，和相对高度信息，传输至上位机；上位机根据接收到的二维及深度信息，对待测物体进行定位。
24.如图2所示，本实施例中采集装置由工业相机与深度相机组合而成，采集装置还包括壳体1以及安装于壳体内的工业相机3和深度相机5；工业相机和深度相机通过安装支架2固定安装于壳体1内；壳体上对应工业相机和深度相机的取景窗分别设有通孔。
25.工业相机通过gige接口4与上位机连接通信，深度相机通过usb3.0接口与上位机连接通信；上位机主体采用具备千兆网口与usb3.0接口的工控机。采集装置的壳体上还设有对应工业相机以及深度相机的通信端子，通信端子一端连接工业相机/深度相机，另一端连接上位机。
26.工业相机和深度相机通过安装支架固定安装于壳体内，安装支架的两侧部固定连接壳体内两侧部；安装支架包括分别对应深度相机和工业相机设置的凹陷部，深度相机的上表面和工业相机的上表面分别与对应的凹陷部下表面之间贴合。为了使得工业相机和深度相机在配准标定后的位置更加稳定，深度相机和工业相机与对应的安装架凹陷部之间通
过螺丝固定连接。
27.具体的，壳体1与安装支架2之间采用m2.5螺栓螺母进行固定，固定表面为壳体1的正反面，安装支架2与工业相机3之间采用m2螺丝固定，工业相机表面包含螺孔，安装支架3下表面与工业相机上部相对固定，深度相机5与安装支架2之间采用m2螺丝固定。
28.本实用新型的三维检测定位系统在应用于实际时，工业相机采集的图像数据信息主要为色彩信息以及外部环境光信息，深度相机检测待测物体在所处场景中的相对高度信息，两者具体采集功能可采用现有技术。
29.为了简化上位机的处理过程，工业相机采用能够采集场景中待测物体二维图像及相对角度的可见光相机。具体的，这种工业相机具有独立的数据处理单元，根据采集的色彩图像可判断出待测物体在场景中的平面坐标及相对角度。工业相机检测待测物体在所处场景中的平面坐标和相对角度信息，其功能实现原理可以利用以下过程：
30.工业相机采集待测物体所处场景的图像数据信息；
31.工业相机基于所述图像数据信息，利用预先构建的对象模板进行模板匹配，得到匹配成功的待测物体在场景中的平面坐标和角度信息；
32.其中，所述对象模板的构建方法包括：采集待测对象在多种光照、背景下的图像样本，对卷积神经网路进行训练，得到对象模板。
33.深度相机检测待测物体在所处场景中的相对高度信息的功能实现可采用以下过程：
34.深度相机采集待测物体所处场景的三维形貌信息；
35.深度相机基于待检对象视场深度图与预先采集的背景视场深度图，通过差分计算得到高度变化差分图，即得到相对高度信息。
36.上位机根据接收到的信息进行检测定位的方法可以是以下实施方式：
37.获取工业相机检测得到的待测物体在所处场景中的平面坐标和相对角度信息；
38.获取深度相机检测得到的待测物体在所处场景中的相对高度信息；
39.根据所述平面坐标、相对角度信息和相对高度信息，确定预先训练的三维信息分类模型的输入数据，得到三维信息分类模型输出的待测物体的分类结果信息，所述分类结果信息包括待测物体的物料类型以及在所处场景中的位置区域信息；
40.其中，所述预先训练的三维信息分类模型的训练样本为对应多个物料类型的物体，在多个不同位置、转动角度下的三维坐标信息。
41.考虑外部控制环节的信息传输与流程处理，上位机的定位方法还可以包括：将分类得到的位置区域信息与预先构建的物料类型对应的物料模板进行匹配，得到待测物体在所处场景中的相对角度和缩放因子信息。
42.上位机根据所述平面坐标、相对角度信息和相对高度信息，确定预先训练的三维信息分类模型的输入数据为：根据预先对工业相机和深度相机进行标定得到的相对位姿内外参关系，将平面坐标、相对角度信息和相对高度信息，转换为rgb
‑
法向量数据，作为三维信息分类模型的输入。
43.具体即：将从工业相机和深度相机所得的信息，转化为配准的带色彩信息的点云数据，即rgb
‑
d数据（rgb和深度数据），将深度信息数据转化为法向量数据，从而转化数据至4元数形式。法向量数据的转换方式是对深度图计算梯度方向，得到的数据即为物体表面的
法向量数据。
44.然后，上位机将转换后的色彩信息与法向量信息输入到训练好的卷积神经网络中，完成对视场中物料的实例分割操作，得到待测物料的分类与坐标信息。再将所得分割实例的区域信息与待测模板进行匹配，即得到相对角度、坐标、缩放因子等优化定位数据，便于外部控制环节的信息传输与流程处理。
45.在待测物料三维信息采集前，由于深度相机与工业相机存在位姿差，因此需要对其进行配准，配准方法可采用张正友标定法或tsai两步法计算相机的内外参，从而得到两相机之间准确的相对位置关系。
46.三维信息分类模型的训练可以选择t
‑
net或采用ppf特征方法进行训练，得到具有实例分割能力的三维信息分类模型。该分类模型的输入参数为表面法向量信息（rgbd
‑
theta分量），用于训练的样本包含了手工标注的实例分割区域，输出的标记包含了待测视场内所有包含模板目标对象实例的三维roi区域。
47.在实际应用中，用同样的方法获取实际数据，放入到卷积神经网路中进行实例分割。得到的数据是匹配区域以及物料的分类信息。计算所得区域内点云与模板之间的pnp关系，得到所得区域相对模板的旋转平移以及缩放关系，完成对于相机视场不可见区域的三维定位估计。将所得结果转化为相对模板的三维坐标，转动角度及缩放因子信息。
48.综上，本实用新型利用工业相机与深度相机的组合，来支持实现针对不同待测物体的三维信息检测定位，相比传统定位方法所面临的效率低、精度差、适应性弱等问题，本实用新型具有即时性和准确性的优点。
49.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
50.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
51.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
52.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
53.以上结合附图对本实用新型的实施例进行了描述，但是本实用新型并不局限于上
述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实用新型的启示下，在不脱离本实用新型宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本实用新型的保护之内。