一种箱体大小的测量方法及测量设备与流程
本发明涉及图像识别领域，尤指一种箱体大小的测量方法及测量设备。
背景技术：
在互联网高速发展的今天，网购已经成为了人们生活的一部分。目前快递包裹的计费方式主要分为按重量计费或者体积计费。包裹的体积尺寸等会跟随该包裹的单号信息录入系统，方便后续的装车及库存安排。
当前传统的人工手动测量的方式存在速度慢、效率低的缺点，随着快递业务的不断增加，已经无法满足日常的需求；使用传感器测量方法一般是使用光幕传感器进行测量，但是这安装比较复杂，而且限定了使用场景，不灵活。深度相机满足灵活、易安装，能够简单重构显示场景的特点，成为了很多方案的首选。
为了使快递箱的体积测量更加快速高效，测量方法更为灵活简单，本发明提供了一种箱体大小的测量方法及测量设备。
技术实现要素：
本发明的目的是提供一种箱体大小的测量方法及测量设备，在测量箱体大小时具有高效、快速、使用灵活的优势。
本发明提供的技术方案如下：
本发明提供了一种箱体大小的测量方法，包括步骤：
采集包含箱体的二维图和深度图；从所述包含箱体的二维图中，获取所述箱体的多个顶点在二维图坐标系下的二维坐标；根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；根据所述箱体多个顶点的三维坐标，计算出所述箱体的体积大小。
本方案中，能够根据深度相机获取箱体的二维图和深度图，获取到箱体的顶点在空间坐标中的三维坐标，由此可以确定出箱体的长、宽、高，计算得到箱体的体积大小，相对于现有的人工测量方法，本方案具有高效、快速的优势；相对于现有技术通过光幕传感器的测量方法，本方案具有使用灵活的优势。
优选的，从所述包含箱体的二维图中，获取所述箱体的多个顶点在二维图坐标系下的二维坐标，此步骤具体包括：对所述包含箱体的二维图进行二值分割，得到包含所述箱体的二值标签图，并从所述二值标签图中获取所述箱体的轮廓；根据所述箱体在所述二值标签图中的轮廓，识别出箱体的六个顶点，并获取所述六个顶点在所述二维图坐标系上的二维坐标。
本方案中，通过二值分割含有箱体的二维图，能准确得到箱体的轮廓，便于提取出箱体的顶点位置，以及顶点的二维坐标。
优选的，根据所述箱体多个顶点的三维坐标，计算出所述箱体的体积大小，此步骤具体包括：根据所述箱体多个顶点的三维坐标计算出相邻两个顶点之间的距离，得到所述箱体的六条边长的长度；将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组；计算三个边长组中的两个边长的均值，得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
本方案中，只需提取出箱体六个顶点的三维坐标，即可计算得到箱体的长、宽、高，从而计算出箱体的体积，可达到计算量小，计算速度快的效果。
优选的，在对所述箱体的二维图进行二值分割之前，还包括采集包含所述箱体的箱体样本图，并将所述箱体样本图制作为二值标签图；根据所述箱体样本图和所述箱体样本图对应的所述二值标签图，训练得到二值分割模型，所述二值分割模型可对含有箱体的图片进行二值分割；所述对所述箱体的二维图进行二值分割，得到包含所述箱体的二值标签图具体为：根据所述二值分割模型对所述包含箱体的二维图进行二值分割，得到包含所述箱体的二值标签图。
优选的，采集包含所述箱体的箱体样本图，并将所述箱体样本图制作为二值标签图，此步骤具体包括：采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；标记所述箱体样本图中箱体的局部图，并根据所述箱体的局部图和所述背景样本图进行样本数据增强，得到多个箱体样本图，将所述箱体样本图制作为二值标签图。
本方案中，对训练和测试的样本进行数据增强，能够增加样本的多样性，使得训练得到的二值分割模型具有更好的泛化能力，能够有效避免复杂环境对二值分割时带来的干扰，使二维图中箱体的分割更加精确。
本发明还提供了一种箱体大小的测量设备，图像采集模块，用于采集包含箱体的二维图和深度图；坐标获取模块，与所述图像采集模块电连接，用于从所述包含箱体的二维图中，获取所述箱体的多个顶点在二维图坐标系下的二维坐标；坐标转换模块，与所述坐标获取模块、所述图像采集模块电连接，用于根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；体积计算模块，与所述坐标转换模块电连接，用于根据所述箱体多个顶点的三维坐标，计算出所述箱体的体积大小。
优选的，所述坐标获取模块具体包括：分割子模块，用于对所述包含箱体的二维图进行二值分割，得到包含所述箱体的二值标签图；轮廓提取子模块，与所述分割子模块电连接，用于从所述二值标签图中获取所述箱体的轮廓；顶点识别子模块，与所述轮廓提取子模块电连接，用于根据所述箱体在所述二值标签图中的轮廓，识别出箱体的六个顶点；坐标获取子模块，与所述顶点识别子模块电连接，用于获取所述六个顶点在所述二维图上的二维坐标。
优选的，所述体积计算模块，还用于根据所述箱体多个顶点的三维坐标计算出相邻两个顶点之间的距离，得到所述箱体的六条边长的长度；所述体积计算模块，还用于将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组，并计算三个边长组中的两个边长的均值，得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
优选的，所述测量设备还包括：样本采集模块，用于采集包含所述箱体的箱体样本图，并将所述箱体样本图制作为二值标签图；模型训练模块，与所述样本采集模块电连接，根据所述箱体样本图和所述箱体样本图对应的所述二值标签图，训练得到二值分割模型，所述二值分割模型可对含有箱体的图片进行二值分割；所述分割子模块，用于根据所述二值分割模型对所述包含箱体的二维图进行二值分割，得到包含所述箱体的二值标签图。
优选的，所述样本采集模块，还用于采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；数据增强模块，与所述样本采集模块电连接，用于标记所述箱体样本图中箱体的局部图，并根据所述箱体的局部图和所述背景样本图进行样本数据增强，得到多个箱体样本图；所述样本采集模块，还用于将所述箱体样本图制作为二值标签图。
通过本发明提供的一种箱体大小的测量方法及测量设备，能够带来以下至少一种有益效果：
本发明通过深度相机采集箱体的二维图和深度图，从二维图中获取出箱体的六个顶点的二维坐标，然后结合箱体的深度图和深度相机的内参矩阵，将六个顶点的二维坐标转换成为三维坐标，从而计算出箱体的体积。能够快速、准确地测量出箱体的体积。本发明的测量设备使用场景广泛，并且便于工作人员操作和携带。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种箱体大小的测量方法及测量设备的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种箱体大小的测量方法的一个实施例的流程图；
图2是本发明中对箱体的二维图进行分割后的二值标签图；
图3是本发明一种箱体大小的测量方法的另一个实施例的流程图；
图4是本发明中一种箱体样本图；
图5是本发明中一种合成后的箱体样本图；
图6是本发明一种箱体大小的测量方法的另一个实施例的流程图；
图7是本发明一种箱体大小的测量设备的一个实施例的结构示意图；
图8是本发明一种箱体大小的测量设备的另一个实施例的结构示意图；
附图标号说明：
1-图像采集模块、2-坐标获取模块、21-分割子模块、22-轮廓提取子模块、23-顶点识别子模块、24-坐标获取子模块、3-坐标转换模块、4-体积计算模块、5-样本采集模块、6-模型训练模块、7-数据增强模块。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
如图1所示，本发明提供了一种箱体大小的测量方法的一个实施例，包括：
s1采集包含箱体的二维图和深度图；
s2从所述包含箱体的二维图中，获取所述箱体的多个顶点在二维图坐标系下的二维坐标；
s3根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；
s4根据所述箱体多个顶点的三维坐标，计算出所述箱体的体积大小。
随着物流行业的发展，越来越多的快递需要运送，人们对快递运输的速度要求也越来越高。在获取快递箱体积信息时，现有技术一般通过人工手动测量，这种方式速度慢，效率低，已经无法满足当前快递行业的需求，现有技术中还有的使用光幕传感器进行测量，这种方法安装比较复杂，而且限定了使用场景，应用不够灵活。
为了使箱体大小的测量兼具高效、快速、使用灵活等优势，本实施例中可在测量设备中增设深度相机，实现箱体大小的测量，本实施例中的测量设备可以是手持终端，具有可携带，使用灵活的优势。
首先，当需要测量箱体大小时，s1步骤通过测量设备中内置的深度相机获取箱体的二维图和深度图，深度图中包括箱体的深度信息。
其次，测量设备中的处理器将对深度相机采集到箱体的二维图进行二值分割，得到如图2所示的箱体的二值轮廓。经过图像处理，可识别出二值轮廓中的突出点(即箱体的顶点)。以二维图左上角为圆点，建立二维图坐标系，根据每个顶点相对于二维图坐标系原点的位置关系，从而获取箱体顶点在二维图坐标系下的二维坐标。
再次，由于箱体的深度图中包含了箱体的深度信息，可得到箱体上某个点到相机所在平面的距离。结合深度相机的内参，即可将箱体顶点在二维图坐标系的二维坐标转化为世界坐标系下的三维坐标。
最后，求得箱体图像上多个顶点的三维坐标后，即可确定出箱体在空间中的位置，从而确定出箱体的体积大小。
通过本实施例，工作人员只需利用测量设备，采集箱体的二维图和深度图，通过测量设备的处理，即可高效、快速地获取到箱体的体积大小，使用也非常方便。
如图3所示，本发明还提供了一种箱体大小的测量方法的一个实施例，包括：
s01采集包含所述箱体的箱体样本图，并将所述箱体样本图制作为二值标签图；
s02根据所述箱体样本图和所述箱体样本图对应的所述二值标签图，训练得到二值分割模型，所述二值分割模型可对含有箱体的图片进行二值分割。
s1采集包含箱体的二维图和深度图；
s21通过二值分割模型对所述箱体的二维图进行二值分割，得到包含所述箱体的二值标签图，并从所述二值标签图中获取所述箱体的轮廓；
s22根据所述箱体在所述二值标签图中的轮廓，识别出箱体的六个顶点，并获取所述六个顶点在所述二维图坐标系上的二维坐标。
s3根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；
s41根据所述箱体多个顶点的三维坐标计算出相邻两个顶点之间的距离，得到所述箱体的六条边长的长度；
s42将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组；
s43计算三个边长组中的两个边长的均值，得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
本实施例中，为了能够对包含箱体的二维图进行精确的二值分割，需要训练二值分割模型，本实施例中的二值分割模型采用unet分割模块。具体训练算法如下：
首先，需要收集大量如图4所示的包含箱体的箱体样本图，并将所述箱体样本图制作为如图2所示的二值标签图，将每个箱体样本图和其对应的二值标签图作为一组，可得到多组由箱体样本图和其对应的二值标签图组成的样本。
其次，将基于tensorflow深度学习框架，构建unet分割网络。为了降低分割网络的大小，提升分割网络的效率，修改现有的轻量化mobilenet_v2网络结构，将其用于unet网络编码部分，unet解码部分使用简单的卷积神经网络。
再次，将多组由箱体样本图和其对应的二值标签图组成的样本按4:1的比例分成训练集和测试集，将训练集用于unet分割网络训练，验证集用于验证训练后unet分割网络的优劣，当unet网络在训练集和测试集上的iou(分割网络的标准度量)值都大于0.95时，则得到的unet分割模型可以用于包裹箱分割。
当通过深度相机获取到箱体的二维图和深度图之后，测量设备中的处理器会利用训练好的unet分割模型对箱体的二维图进行二值分割，得到如图2所示的二值标签图，从所述二值标签图中可获取所述箱体的轮廓，进而识别出箱体的六个顶点。以二维图的左上角为二维图坐标系的原点，可得到这六个顶点在二维图坐标系下的二维坐标。
深度相机采集到的深度图中包含有箱体上每个点的深度信息，结合深度相机的内参矩阵，可以将二维图上箱体六个顶点的二维坐标转换为在世界坐标系下的三维坐标。
在从二值标签图中提取箱体的六个顶点时，会按照一定的顺序进行提取，例如按照箱体图像的顺时针提取顶点，或者按照箱体图像的逆时针提取顶点。在每个顶点的三维坐标确定之后，可通过点与点之间距离的计算公式，计算出相邻两个顶点之间的距离，由此得到所述箱体的六条边长的长度；将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组；计算三个边长组中的两个边长的均值，即可得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
现有技术中，也有通过深度相机直接获取含有箱体的深度图，然后使用阈值分割和直方图统计，直接从深度图提取待测物体，并通过箱体的深度信息计算箱体大小。但是这种测量方法容易受到环境影响，当待测物体的首位存在形状相近的物体时，直接从深度图中提取待测物体会受到形状相近物体的干扰，导致提取出的待测物体不准确。而本发明并非直接从深度图中提取待测物体，而是从二维图中提取出待测物体，再结合深度图计算待测物体的大小，由于从二维图中获取待测物体时，抗干扰能力远高于从深度图中获取待测物体的能力，因此本发明中的箱体大小的测量精度要远优于现有技术。
如图6所示，本发明还提供了一种箱体大小的测量方法的一个实施例，包括：
s011采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；
s012标记所述箱体样本图中箱体的局部图，并根据所述箱体的局部图和所述背景样本图进行样本数据增强，得到多个箱体样本图，将所述箱体样本图制作为二值标签图。
s02根据所述箱体样本图和所述箱体样本图对应的所述二值标签图，训练得到二值分割模型，所述二值分割模型可对含有箱体的图片进行二值分割。
s1采集包含箱体的二维图和深度图；
s21通过二值分割模型对所述箱体的二维图进行二值分割，得到包含所述箱体的二值标签图，并从所述二值标签图中获取所述箱体的轮廓；
s22根据所述箱体在所述二值标签图中的轮廓，识别出箱体的六个顶点，并获取所述六个顶点在所述二维图坐标系上的二维坐标。
s3根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；
s41根据所述箱体多个顶点的三维坐标计算出相邻两个顶点之间的距离，得到所述箱体的六条边长的长度；
s42将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组；
s43计算三个边长组中的两个边长的均值，得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
本实施例中的二值分割模型采用unet分割模型，由于本发明的实际应用场景比较复杂，若是采集的箱体样本图的背景比较单一，训练出的unet分割模型的分割效果可能达不到分割要求。为了使unet分割模型能够更加准确地对二维图中的箱体进行分割，在训练时，可增加样本的多样性，将采集到的箱体样本图进行数据增强，提高模型的泛化能力。
具体的，首先采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；然后如图4所示，从箱体样本图中标记出箱体的局部图(即标记出箱体区域)，分离出箱体的局部图，并如图5所示，结合背景样本图合成新的箱体样本图，按照此方法得到大量不同背景和箱体局部图合成的新的箱体样本图，从而增加样本的多样性。将新的箱体样本图和采集到的现有的箱体样本图按照上一实施例的训练方法训练unet分割模型，使得训练的到的unet分割模型具有更好的分割能力。
通过深度相机获取到箱体的二维图和深度图后，利用训练好的unet分割模型对箱体的二维图进行二值分割，得到箱体的二值标签图，从二值标签图提取出箱体六个顶点的二维坐标之后，根据深度相机的内参矩阵，以及深度图中箱体的深度信息，求得这六个顶点在世界坐标系下的三维坐标。
如二维图中箱体的一个顶点坐标为
本发明只需获取箱体的六个顶点，并将箱体中的六个顶点的二维坐标转换成为世界坐标系下的三维坐标即可，降低了计算的难度，提高了计算的速度。
如图7所示，本发明提供了一种箱体大小的测量设备的一个实施例，包括：
图像采集模块1，用于获取包含箱体的二维图和深度图；
坐标获取模块2，与所述图像采集模块1电连接，用于从所述包含箱体的二维图中，获取所述箱体的多个顶点在二维图坐标系下的二维坐标；
坐标转换模块3，与所述坐标获取模块2、所述图像采集模块1电连接，用于根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；
体积计算模块4，与所述坐标转换模块3电连接，用于根据所述箱体多个顶点的三维坐标，计算出所述箱体的体积大小。
随着物流行业的发展，越来越多的快递需要运送，人们对快递运输的速度要求也越来越高。在获取快递箱体积信息时，现有技术一般通过人工手动测量，这种方式速度慢，效率低，已经无法满足当前快递行业的需求，现有技术中还有的使用光幕传感器进行测量，这种方法安装比较复杂，而且限定了使用场景，应用不够灵活。
为了使箱体大小的测量兼具高效、快速、使用灵活等优势，本实施例提供了一种测量设备，所述测量设备中的图像采集模块1可由深度相机组成，可采集箱体的二维图和深度图。
当需要测量箱体大小时，可通过测量设备控制深度相机获取箱体的二维图和深度图，深度图中包括箱体的深度信息。
测量设备中的处理器将对深度相机采集到箱体的二维图进行二值分割，得到如图2所示的箱体的二值轮廓。经过图像处理，可识别出二值轮廓中的突出点(即箱体的顶点)。以二维图左上角为圆点，建立二维图坐标系，根据每个顶点相对于二维图坐标系原点的位置关系，从而通过坐标获取模块2获取箱体顶点在二维图坐标系下的二维坐标。
由于箱体的深度图中包含了箱体的深度信息，可得到箱体上某个点到相机所在平面的距离，结合深度相机的内参，即可将箱体顶点在二维图坐标系的二维坐标转化为世界坐标系下的三维坐标。
求得箱体图像上多个顶点的三维坐标后，即可确定出箱体在空间中的位置，从而确定出箱体的体积大小。
通过本实施例，工作人员只需利用测量设备，采集箱体的二维图和深度图，通过测量设备的处理，即可高效、快速地获取到箱体的体积大小，使用也非常方便。
如图8所示，本发明还提供了一种箱体大小的测量设备的另一个实施例，所述测量设备包括：
样本采集模块5，用于采集包含所述箱体的箱体样本图，并将所述箱体样本图制作为二值标签图；
模型训练模块6，与所述样本采集模块5电连接，根据所述箱体样本图和所述箱体样本图对应的所述二值标签图，训练得到二值分割模型，所述二值分割模型可对含有箱体的图片进行二值分割；
图像采集模块1，获取箱体的二维图和深度图；
坐标获取模块2，与模型训练模块6、所述图像采集模块1电连接，用于从所述箱体的二维图中，获取箱体的多个顶点在二维图坐标系下的二维坐标；
所述坐标获取模块2具体包括：
分割子模块21，用于根据所述二值分割模型对所述包含箱体的二维图进行二值分割，得到包含所述箱体的二值标签图；
轮廓提取子模块22，与所述分割子模块21电连接，用于从所述二值标签图中获取所述箱体的轮廓；
顶点识别子模块23，与所述轮廓提取子模块22电连接，用于根据所述箱体在所述二值标签图中的轮廓，识别出箱体的六个顶点；
坐标获取子模块24，与所述顶点识别子模块23电连接，用于获取所述六个顶点在所述二维图上的二维坐标。
坐标转换模块3，与所述坐标获取模块2、所述图像采集模块1电连接，用于根据所述箱体的深度图以及相机的内参矩阵，将所述箱体多个顶点的二维坐标转换为世界坐标系下的三维坐标；
所述体积计算模块4，还用于计算出相邻两个顶点之间的距离，得到所述箱体的六条边长的长度；
所述体积计算模块4，还用于将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组，并计算三个边长组中的两个边长的均值，得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
本实施例中，为了能够对包含箱体的二维图进行精确的二值分割，需要训练二值分割模型，本实施例中的二值分割模型采用unet分割模块。具体训练算法如下：
首先，需要收集大量如图4所示的包含箱体的箱体样本图，并将所述箱体样本图制作为如图2所示的二值标签图，将每个箱体样本图和其对应的二值标签图作为一组，可得到多组由箱体样本图和其对应的二值标签图组成的样本。
其次，将基于tensorflow深度学习框架，构建unet分割网络。为了降低分割网络的大小，提升分割网络的效率，修改现有的轻量化mobilenet_v2网络结构，将其用于unet网络编码部分，unet解码部分使用简单的卷积神经网络。
再次，将多组由箱体样本图和其对应的二值标签图组成的样本按4:1的比例分成训练集和测试集，将训练集用于unet分割网络训练，验证集用于验证训练后unet分割网络的优劣，当unet网络在训练集和测试集上的iou(分割网络的标准度量)值都大于0.95时，则得到的unet分割模型可以用于包裹箱分割。
当通过深度相机获取到箱体的二维图和深度图之后，测量设备中的处理器会利用训练好的unet分割模型对箱体的二维图进行二值分割，得到如图2所示的二值标签图，从所述二值标签图中可获取所述箱体的轮廓，进而识别出箱体的六个顶点。以二维图的左上角为二维图坐标系的原点，可得到这六个顶点在二维图坐标系下的二维坐标。
深度相机采集到的深度图中包含有箱体上每个点的深度信息，结合深度相机的内参矩阵，可以将二维图上箱体六个顶点的二维坐标转换为在世界坐标系下的三维坐标。
在从二值标签图中提取箱体的六个顶点时，会按照一定的顺序进行提取，例如按照箱体图像的顺时针提取顶点，或者按照箱体图像的逆时针提取顶点。在每个顶点的三维坐标确定之后，可通过点与点之间距离的计算公式，计算出相邻两个顶点之间的距离，由此得到所述箱体的六条边长的长度；将六条边长中长度相差最小的两条边长作为一个边长组，得到三对边长组；计算三个边长组中的两个边长的均值，即可得到所述箱体的长、宽、高，从而计算出所述箱体的体积大小。
可选的，样本采集模块5，用于采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；
数据增强模块7，与所述样本采集模块5电连接，用于标记所述箱体样本图中箱体的局部图，并根据所述箱体的局部图和所述背景样本图进行样本数据增强，得到多个箱体样本图；
所述样本采集模块5，还用于将所述箱体样本图制作为二值标签图。
由于本发明的实际应用场景比较复杂，若是采集的箱体样本图的背景比较单一，训练出的unet分割模型的分割效果可能达不到分割要求。为了使unet分割模型能够更加准确地对二维图中的箱体进行分割，在训练时，可增加样本的多样性，将采集到的箱体样本图进行数据增强，提高模型的泛化能力。
具体的，首先采集包含所述箱体的箱体样本图以及不包含所述箱体的背景样本图；然后如图4所示，从箱体样本图中标记出箱体的局部图(即标记出箱体区域)，分离出箱体的局部图，并如图5所示，结合背景样本图合成新的箱体样本图，按照此方法得到大量不同背景和箱体局部图合成的新的箱体样本图，从而增加样本的多样性。将新的箱体样本图和采集到的现有的箱体样本图按照上一实施例的训练方法训练unet分割模型，使得训练的到的unet分割模型具有更好的分割能力。
通过深度相机获取到箱体的二维图和深度图后，利用训练好的unet分割模型对箱体的二维图进行二值分割，得到箱体的二值标签图，从二值标签图提取出箱体六个顶点的二维坐标之后，根据深度相机的内参矩阵，以及深度图中箱体的深度信息，求得这六个顶点在世界坐标系下的三维坐标。
如二维图中箱体的一个顶点坐标为
本发明只需对箱体中的六个顶点的二维坐标转换成为世界坐标系下的三维坐标即可，降低了计算的难度，提高了计算的速度。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！