基于RealSense相机的尺寸测量系统及方法与流程

本发明涉及应用立体视觉的测量领域，具体涉及一种基于realsense相机的尺寸测量系统及方法。

背景技术：

在现代化的消费背景下，物流行业的地位举足轻重，物流的运转效率直接影响到整个产业链系统的效率。近几年，随着经济的进一步发展、互联网电子商务的崛起和消费新模式的出现，物流量呈现迅猛增长的态势，高昂的成本和激增的物流量，对自动化、智能化的物流管理提出了不小的要求。

物流行业中时常会涉及到货物的包装，对于大小不一、形状各异的各种各样的货物，物流操作人员通常依靠经验主义，选取包装盒的规格，而造成了包装盒材料的严重浪费。货物包装作为物流的起点，对整个物流过程来说尤为重要。包装测量系统的灵活性直接影响着测量资源的利用效率和适用范围，测量的精度和稳定性直接决定着后续管理的可靠性，测量的速度直接决定着物流运转的效率。一个灵活稳定快速高精的物品最小包装测量系统能够为物流的成本管理优化提供有力的保证。

针对物品尺寸信息的采集，目前已有解决方案所依靠的技术手段主要分(红外)光幕测量、超声波测量、激光测量和立体视觉测量四种。其中光幕测量难以测量不规则物品的尺寸，且操作复杂；超声波测量只能测量规则物品的尺寸，测量非规则品则需借助其他辅助工具完成，操作复杂，对环境要求较高；激光测量能够适用于规则及不规则物品，但需要依赖高价位的工业传感器，设备成本高，难以普及利用。

综上所述，物流行业急需一个能够有效测量最小包装尺寸，指导包装规格选择的自动化系统；而现有的测量技术，存在复杂度高，环境适应性差，对被测物品的形状要求高，成本高等问题。

技术实现要素：

本发明的目的在于提供一种基于realsense相机的尺寸测量系统及方法，解决现有技术存在的适应性差、造价高昂等问题。

实现本发明目的的技术方案为：一种基于realsense相机的尺寸测量系统，包括投影仪、realsense相机、数据处理模块和测量平台；

所述realsense相机和投影仪通过支架设置在测量平台上方，被测物品放置在测量平台上，投影仪在测量平台上投影出的标定图案，用于对realsense相机进行位姿标定，realsense相机采集测量平台上的被测物品图像，并发送给数据处理模块，数据处理模块求取被测物品的最小包装尺寸。

一种基于realsense相机的尺寸测量方法，包括以下步骤：

步骤1，使用投影仪在测量平台上投影棋盘格的方式对相机的位姿进行标定，获得相机与测量平台坐标系的单应性矩阵；

步骤2，利用标定结果和realsense相机固有的内置参数，求得相机相对于测量平台的位姿；

步骤3，利用背景差分算法，从realsense相机采集的图像深度数据中分割出属于被测物品的部分，并转为点云数据，并利用位姿关系将点云数据从相机坐标系转换到测量平台坐标系；

步骤4，利用转移后的点云数据的z轴分量获取被测物品的高度尺寸；

步骤5，将点云数据映射到测量平台所在平面，转为二维点云数据；

步骤6，对二维点云数据降采样，获得均匀的数据；

步骤7，将降采样后的二维点云数据平移到坐标轴原点，利用pca算法获取二维点云数据的主分量方向，并以此为标准，将二维点云数据旋转到与坐标轴对齐的位置；

步骤8，使用二维点云数据的x轴分量和y轴分量获取被测物品的长度和宽度尺寸。

与现有技术相比，本发明的显著优点为：(1)realsense相机和测量平台的结构关系可以适应不同的测量场景，通过调整支架在一定范围内灵活的变动；(2)使用卡尔曼滤波算法对测量结果预测跟踪，抗噪声能力强，测量系统受到较大的噪声也能保证稳定地测量；(3)能够快速测量尺寸，适应更高速的流水线作业；(4)通过投影仪在测量平台上投影棋盘格的方式对相机的位姿进行标定，消除了以往使用标定板的方式中，由于标定板的厚度，对系统相机与测量平台的位姿关系引入的误差，有效提高测量精度；(5)一旦标定完成，只要相机与测试平台的相对结构不发生改变，就无需重新标定，投影仪可以拿走派为他用，最大化资源利用率；(6)能够有效应对机械结构的老化、人为接触的影响导致机械精度误差，从而导致的测量误差，有效延长系统的使用寿命。

附图说明

图1是货物物品最小包装尺寸测量系统的结构示意图。

图2是相机位姿的灵活变换示意图。

图3是相机位姿的标定示意图。

图4是相机坐标系和测量平台坐标系示意图。

图5是物品最小包装尺寸测量的流程示意图。

图6是配合条码识别装置的流水线作业示意图。

具体实施方式

针对物流行业中包装规格选择不当，包装耗材浪费严重的问题，本发明设计了一种使用立体视觉，具有灵活稳定快速高精特性的物品最小包装尺寸测量系统，用以为物流行业节省成本，提高效率。

如图1、图2所示，一种基于realsense相机的尺寸测量系统，包括投影仪、realsense相机、数据处理模块和测量平台；

所述realsense相机和投影仪通过支架设置于测量平台上方，被测物品放置在测量平台上，投影仪在测量平台上投影出的标定图案，对realsense相机进行标定，realsense相机用于采集测量平台上的被测物品图像，并发送给数据处理模块，数据处理模块获取被测物品的最小包装尺寸。

如图3所示，所述标定图案为棋盘格。

如图4所示，投影仪位于测量平台的正上方，光轴方向垂直于测量平台平面，棋盘格完整地投影在测量平台平面，同时realsense相机能够完整地拍摄到投影仪投影在测量平台平面上的棋盘格。承载realsense相机的支架为位置可调节支架。

如图5所示，本发明还提供一种基于realsense相机的尺寸测量方法，包括以下步骤：

步骤1，使用投影仪在测量平台上投影棋盘格的方式对相机的位姿进行标定，获得相机与测量平台坐标系的单应性矩阵；

步骤2，利用标定结果和realsense相机固有的内置参数，求得相机相对于测量平台的位姿；

步骤3，利用背景差分算法，从realsense相机采集的图像深度数据中分割出属于被测物品的部分，并转为点云数据，并利用位姿关系将点云数据从相机坐标系转换到测量平台坐标系；

步骤4，利用转移后的点云数据的z轴分量获取被测物品的高度尺寸；

步骤5，将点云数据映射到测量平台的平面，即x0y平面上，转为二维点云数据；

步骤6，对二维点云数据降采样，获得均匀的数据；

步骤7，将降采样后的二维点云数据平移到坐标轴原点，利用pca算法获取二维点云数据的主分量方向，并以此为标准，将二维点云数据旋转到与坐标轴对齐的位置；

步骤8，使用二维点云数据的x轴分量和y轴分量获取被测物品的长度和宽度尺寸。

对同一物品进行多次测量，运用卡尔曼滤波算法，预测跟踪测量尺寸，使其收敛稳定到尺寸真值。

进一步的，步骤2中，已知realsense相机内置参数，结合标定取得的单应性矩阵，求得相机坐标系到测量平台坐标系的转移矩阵其中m为相机的内参，h3和h1分别为标定所得单应性矩阵h的前三列和第四列。

进一步的，步骤3中，利用背景差分算法，从realsense相机采集的图像深度数据中分割出属于被测物品的部分，并转为点云数据，矩阵表示形如并利用位姿关系将点云数据从相机坐标系转换到测量平台坐标系，

下面通过实施例对本发明做进一步说明。

实施例

一种物品最小包装尺寸测量系统，主要包含四个部分，realsense相机、投影仪、测量平台和pc电脑。realsense相机和投影仪都通过usb接口与pc电脑相连，pc电脑通过usb控制投影仪，通过usb接收realsense相机采集的图像数据。当被测物体被放上测量平台，realsense相机能够迅速采集到视觉图像数据，并传送到pc端，利用pc端的软件算法进行进一步的数据处理，快速测量获得被测物体的包装尺寸。

按功能模块划分，本发明物品最小包装尺寸测量系统分为五个模块，投影仪控制模块、数据采集模块、数据处理模块、相机标定模块和机械承载模块。投影仪控制模块由pc电脑和投影仪组成，用于提供人机交互界面，控制投影仪打出标定所需的棋盘格，数据采集模块由realsense相机组成，用于采集测量所需的图像深度数据，数据处理模块由pc电脑组成，用于处理realsense相机传输来的数据，获取被测物品的包装尺寸，相机标定模块由投影仪和realsense相机组成，用于获取realsense相机的位姿，以便之后的数据处理；机械承载模块由测量平台和支架组成，测量平台用于承载被测物品和提供标定图案的载体，支架用于安装realsense相机和投影仪。

如图2所示，realsense相机的位姿可以灵活的变动，每次变化后，只需配合投影仪重新标定一次即可立即再次投入使用。

如图3所示，投影仪位于测量平台的正上方，光轴方向垂直于测量平台平面，离测量平台平面的高度可以自由调整，但必须保证棋盘格完整地投影在测量平台平面，同时保证，realsense相机能够完整地拍摄到投影仪投影在测量平台平面上的棋盘格。

如图4所示，相机坐标系和测量平台坐标系均为直角坐标系。

相机坐标系以相机光心作为原点，相机光轴作为z轴，并以相机正方向作为z轴正方向，以相机上下方向作为y轴，并以相机下方作为y轴正方向，以相机左右方向作为x轴，并以相机正向方右侧方向作为x轴正方向；

测量平台坐标系以投影仪投出的棋盘格最左上角点作为原点，以棋盘格矩形两边方向建立x轴和y轴，并作为x轴和y轴的正方向，同时建立测量平台坐标系z轴，以右手坐标系原则确定z轴正方向。

本发明物品最小包装尺寸测量系统设计了一种物品最小包装尺寸测量方法，方法流程如图5所示，包含以下步骤：

(1)使用投影仪在测量平台上投影棋盘格的方式对相机的位姿进行标定，获得相机与测量平台坐标系的单应性矩阵h；

(2)利用标定结果和realsense相机固有的内置参数，求得相机相对于测量平台的位姿，在已知realsense相机内置参数的情况下，结合标定取得的单应性矩阵，求得相机坐标系到测量平台坐标系的转移矩阵其中m为相机的内参，h3和h1分别为标定所得单应性矩阵h的前三列和第四列；

(3)利用背景差分算法，从realsense相机采集的图像深度数据中分割出属于被测物品的部分，并转为点云数据，矩阵表示形如并利用位姿关系将点云数据从相机坐标系转换到测量平台坐标系，

(4)利用转移后的点云数据的z轴分量获取高度尺寸；

(5)将点云数据映射到测量平台的平面，即x0y平面上，转为二维点云数据；

(6)对二维点云数据降采样，获得均匀的数据；

(7)将降采样后的二维点云数据平移到坐标轴原点，利用pca算法获取二维点云数据的主分量方向，并以此为标准，将二维点云数据旋转到与坐标轴对齐的位置。

(8)使用二维点云数据的x轴分量和y轴分量获取长度和宽度尺寸；

(9)在对同一物品的多次测量中，运用卡尔曼滤波算法，预测跟踪测量尺寸，使其收敛稳定到尺寸真值。

图6为本发明的一种应用示意图，配合条码识别装置进行流水线作业。