一种物体测量方法和装置与流程

文档序号:15043695发布日期:2018-07-27 22:06阅读:128来源:国知局

本申请涉及图像处理技术领域,具体而言,涉及一种物体测量方法和装置。



背景技术:

在物流行业中,包裹的体积信息是重要的物流信息,而报过的体积信息对物流费用的估算、仓库的建设具有重要的意义。目前的包括体积测量系统有基于光栅测量和基于计算机视觉测量,基于光栅测量的成本高,精度也受到光栅的限制,基于视觉测量的成本低,但是,基于视觉测量主要包括双目测量、结构光测量和飞行时间(timeofflight,tof)测量。

基于双目视觉(包括主动双目)测量的方案,在分辨率上可以做到很高,但是当测量物体距离摄像头较远时深度的精度指数下降;结构光测量在近距离测量时,精度很高,但是结构光测量极易受到光照的影响,且对于远距离测量精度也是指数下降;tof测量方案在近距离测量和中远距离测量的深度精度较好,但是tof摄像头的分辨率大部分都很低,测量结果会有较大的误差。



技术实现要素:

有鉴于此,本申请的目的在于提供一种物体测量方法和装置,用于解决现有技术中在对物体进行测量时准确度低的问题。

第一方面,本申请实施例提供了一种物体测量方法,包括:

获取待测量物体的彩色图像和深度数据;

基于所述彩色图像的坐标系,对所述深度数据进行转换处理,得到深度图像;

识别所述彩色图像中待测量物体,得到所述彩色图像中对应待测量物体的彩色基准点;

基于设定的比例系数,对所述彩色基准点进行处理,得到所述深度图像中对应待测量物体的深度基准点;

对所述深度图像进行转换处理,并识别转换处理后的深度图像中的所述待测量物体,得到所述待测量物体的深度信息;

在处理后的深度图像中,构建与所述深度基准点对应的深度框;

统计所述深度基准点对应的深度框包含的深度信息,并计算统计的深度信息的平均深度信息,将该平均深度信息作为所述彩色图像中与所述深度基准点对应的彩色基准点的深度信息;

基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积。

可选地,计算统计的深度信息的平均深度信息,包括:

根据统计的所述深度信息的最大值和最小值,确定多个深度区间;

统计各深度区间包含的深度信息的数目;

按照数目由大到小的顺序,对各深度区间对应的深度信息进行排序;

取前n个深度区间对应的深度信息,并计算前n个深度区间对应的深度信息的占比;

判断所述平均值是否大于设定阈值;

若所述平均值小于所述设定阈值,则将n+1,返回取前n个深度区间对应的深度信息的步骤;

若所述平均值大于或等于所述设定阈值,则计算所述前n个深度区间对应的深度信息的平均深度信息。

可选地,所述计算前n个深度区间对应的深度信息的占比,包括:

计算前n个深度区间对应的深度信息的数目与深度信息的总数目的比值,将该比值作为前n个深度区间对应的深度信息的占比。

可选地,计算待测量物体的高度,包括:

基于得到的所述深度图像中对应待测量物体的深度基准点,确定对应所述待测量物体的外接框;

基于获取的未包含在所述外接框内的深度信息,确定所述待测量物体所在平面的平面计算方程;

基于所述外接框的重心点坐标,以及所述平面计算方程,确定所述平面的深度;

计算所述平面的深度与包含在所述外接框内部且靠近所述外接框的深度信息的差值,将上述差值作为所述待测量物体的高度。

可选地,所述基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积,包括:

对所述彩色基准点的深度信息进行转换处理,得到所述彩色基准点的坐标;

基于所述彩色基准点的坐标,确定所述彩色图像中待测量物体的面积;

计算确定的所述面积和高度的乘积,将该乘积值作为待测量物体的体积。

第二方面,本申请实施例提供了一种物体测量装置,包括:

获取模块,用于获取待测量物体的彩色图像和深度数据;

转换模块,用于基于所述彩色图像的坐标系,对所述深度数据进行转换处理,得到深度图像;

第一处理模块,用于识别所述彩色图像中待测量物体,得到所述彩色图像中对应待测量物体的彩色基准点;

第二处理模块,用于基于设定的比例系数,对所述彩色基准点进行处理,得到所述深度图像中对应待测量物体的深度基准点;

第三处理模块,用于对所述深度图像进行转换处理,并识别转换处理后的深度图像中的所述待测量物体,得到所述待测量物体的深度信息;

构建模块,用于在处理后的深度图像中,构建与所述深度基准点对应的深度框;

第四处理模块,用于统计所述深度基准点对应的深度框包含的深度信息,并计算统计的深度信息的平均深度信息,将该平均深度信息作为所述彩色图像中与所述深度基准点对应的彩色基准点的深度信息;

第五处理模块,用于基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积。

可选地,所述第四处理模块具体用于:

根据统计的所述深度信息的最大值和最小值,确定多个深度区间;

统计各深度区间包含的深度信息的数目;

按照数目由大到小的顺序,对各深度区间对应的深度信息进行排序;

取前n个深度区间对应的深度信息,并计算前n个深度区间对应的深度信息的占比;

判断所述平均值是否大于设定阈值;

若所述平均值小于所述设定阈值,则将n+1,返回取前n个深度区间对应的深度信息的步骤;

若所述平均值大于或等于所述设定阈值,则计算所述前n个深度区间对应的深度信息的平均深度信息。

可选地,所述第四处理模块还用于:

计算前n个深度区间对应的深度信息的数目与深度信息的总数目的比值,将该比值作为前n个深度区间对应的深度信息的占比。

可选地,所述第五处理模块具体用于:

基于得到的所述深度图像中对应待测量物体的深度基准点,确定对应所述待测量物体的外接框;

基于获取的未包含在所述外接框内的深度信息,确定所述待测量物体所在平面的平面计算方程;

基于所述外接框的重心点坐标,以及所述平面计算方程,确定所述平面的深度;

计算所述平面的深度与包含在所述外接框内部且靠近所述外接框的深度信息的差值,将上述差值作为所述待测量物体的高度。

可选地,所述第五处理模块还用于:

对所述彩色基准点的深度信息进行转换处理,得到所述彩色基准点的坐标;

基于所述彩色基准点的坐标,确定所述彩色图像中待测量物体的面积;

计算确定的所述面积和高度的乘积,将该乘积值作为待测量物体的体积。

本申请实施例提供的物体测量方法和装置,将获取的深度数据和彩色图像统一到统一坐标系下,利用深度数据确定待测量物体的深度信息,进一步将得到的深度信息转换为待测量物体的空间坐标,计算待测量物体的体积,避免了利用深度摄像头获取的深度图像的分辨率底下问题,利用获取的深度信息结合彩色图像的高分辨率,提高了测量物体的精确度。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种物体测量方法的流程示意图;

图2为本申请实施例提供的一种采集装置的示意图;

图3为本申请实施例提供的一种彩色图像的示意图;

图4为本申请实施例提供的一种深度图像的示意图;

图5为本申请实施例提供的一种物体测量装置的结构示意图;

图6为本申请实施例提供的一种计算机设备600的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

如图1所示,本申请实施例提供了一种物体测量方法,具体包括以下步骤:

s101,获取待测量物体的彩色图像和深度数据;

这里,通过rgb摄像头获取待测量物体的彩色图像,通过深度摄像头获取待测量物体的深度数据。在实际应用中,rgb摄像和深度摄像头的设置位置可以参考图2,在进行图像采集之前,分别对rgb摄像头和tof摄像进行标定,获得两个摄像头内参系数irgb,itof,内参系数的影响主要受到传感器的分辨率、摄像头装配时装配的角度偏差,正是因为时间情况与理想情况不一样,所以在摄像头出厂时会标定,估算像素颗粒能够表示现实长度的系数,x和y方向的焦距以及坐标原点在像素坐标的位置,再对两个摄像头进行联合标定获得两个摄像头坐标系位置关系:旋转矩阵rt-r,平移矩阵tt-r,上述旋转矩阵和平移矩阵描述的是两个坐标系的相对关系,空间中的物体在空间中的位置和形状是不会发生变化的,但是从不同的位置观察这个物体会有不同的坐标,旋转矩阵和平移矩阵可以将物体在两个不同坐标系下的坐标统一到同一个坐标系下。

s102,基于所述彩色图像的坐标系,对所述深度数据进行转换处理,得到深度图像;

这里,在基于彩色图像的坐标系对深度摄像头采集的数据进行转换时,得到深度图像是与彩色图像对齐的。

在具体实施中,利用旋转矩阵和平移矩阵将深度摄像头采集的深度设局旋转平移到rgb摄像头的坐标系下,利用内参系数itof将转换到彩色图像坐标系下的深度数据转换为深度图像。

s103,识别所述彩色图像中待测量物体,得到所述彩色图像中对应待测量物体的彩色基准点;

具体地,的数目一般根据待测量物体的形状确定。

在具体实施中,参考图3,运用卷积神经网络(mask-rcnn)或者图像分割等算法可以识别出彩色图像中待测量物体,并计算出待测量物体的外接矩形,矩形的四个顶点为a、b、c、d。其中,在彩色图像上识别待测量物体的外接矩形的算法,计算待测量物体的外接矩形的算法在现有技术已有详细的介绍,此处不再进行过多说明。

s104,基于设定的比例系数,对所述彩色基准点进行处理,得到所述深度图像中对应待测量物体的深度基准点;

具体地,基于设定的比例系数,对彩色基准点的像素坐标进行处理,得到深度基准点的像素坐标,比例系数的计算方式如下:

其中,pointrgb_x为彩色图像在x方向的像素分辨率;

pointdepth_x为深度图像在x方向的像素分辨率;

pointrgb_y为彩色图像在y方向的像素分辨率;

pointdepth_y为深度图像在y方向的像素分辨率;

γx为彩色图像与深度图像在x方向的分辨率的比;

γy为彩色图像与深度图像在y方向的分辨率的比。

在具体实施中,利用上述比例系数对彩色图像中的彩色基准点进行转换处理,得到深度图像中对应的深度基准点,例如,参考图3和4,彩色图像中的a点的像素为10*15pixel,γx为0.5,γy为0.5,由于15与0.5的乘积为7.5,因此,对该数值进行四舍五入处理,得到深度图像中的a点的像素为5*8pixel。

s105,对所述深度图像进行转换处理,并识别转换处理后的深度图像中的所述待测量物体,得到所述待测量物体的深度信息;

这里,将深度图像转换为伪彩色图像,进而从伪彩色图像识别待测量物体,得到待测量物体的深度信息,现有技术中已有详细的介绍,此处不再进行过多说明。

s106,在处理后的深度图像中,构建与所述深度基准点对应的深度框;

这里,以确定的深度基准点作为参考点,构建的深度框的形状可以为三角形、四边形等,优选地,为等腰三角形,具体可以根据实际情况确定。

s107,统计所述深度基准点对应的深度框包含的深度信息,并计算统计的深度信息的平均深度信息,将该平均深度信息作为所述彩色图像中与所述深度基准点对应的彩色基准点的深度信息;

可选地,计算统计的深度信息的平均深度信息,包括:

根据统计的所述深度信息的最大值和最小值,确定多个深度区间;

统计各深度区间包含的深度信息的数目;

按照数目由大到小的顺序,对各深度区间对应的深度信息进行排序;

取前n个深度区间对应的深度信息,并计算前n个深度区间对应的深度信息的占比;

判断所述平均值是否大于设定阈值;

若所述平均值小于所述设定阈值,则将n+1,返回取前n个深度区间对应的深度信息的步骤;

若所述平均值大于或等于所述设定阈值,则计算所述前n个深度区间对应的深度信息的平均深度信息。

其中,在计算前n个深度区间对应的深度信息的占比时,包括以下步骤:

计算前n个深度区间对应的深度信息的数目与深度信息的总数目的比值,将该比值作为前n个深度区间对应的深度信息的占比。

在具体实施中,参考图4,根据得到的4个深度基准点,可以得到待测量物体的外接矩形,确定出矩形的重心。以a、b、c、d作为基准点,针对每个基准点,沿着该基准点到中心的方形构建等腰三角形,并从该三角形中统计出包含在三角形内的待测量物体的深度信息,分别为dparea_a、dparea_b、dparea_c、dparea_d。

针对每个深度框,统计该深度框包括的深度信息的最大值和最小值,根据最大值和最小值将该范围划分成k个深度区间,并统计各个深度区间中包含的深度信息的数目。接着按照各个深度区间包含的深度信息的数数目由高到低排序,取前n个深度区间对应的深度信息,并计算前n个深度区间对应的深度信息的占比,如,计算每个深度区间包含的深度信息的数目的总和,计算该和值与深度框包含的深度信息的总数目的比值,得到上述占比。

若前n个深度区间的占比大于设定阈值,则计算前n个深度区间包含的深度信息的平均值,将该平均值作为平均深度信息,将该平均信息作为彩色基准点的平均深度信息。

s108,基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积。

在计算待测量物体的高度时,包括以下步骤:

基于得到的所述深度图像中对应待测量物体的深度基准点,确定对应所述待测量物体的外接框;

基于获取的未包含在所述外接框内的深度信息,确定所述待测量物体所在平面的平面计算方程;

基于所述外接框的重心点坐标,以及所述平面计算方程,确定所述平面的深度;

计算所述平面的深度与包含在所述外接框内部且靠近所述外接框的深度信息的差值,将上述差值作为所述待测量物体的高度。

在具体实施中,统计不在基于深度基准点确定的外界矩形框内的深度信息,拟合一个作为包裹放置的平面方程:z=a1x+a2y+a3,其中,z、x、y表示rgb摄像头坐标系下的三维坐标,a1、a2、a3均为常数。

将外接矩形框的重心坐标作为x和y的值带入上述平面方程,得到待测量物体的平面深度z。统计在外接矩形框中靠近外接矩形框的深度信息,计算统计的深度信息和平面深度z的差值,将该差值作为待测量物体的高度。

在得到待测量物体的高度后,基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积,包括:

对所述彩色基准点的深度信息进行转换处理,由rgb摄像头的内参矩阵可以得到内参系数fu,fv,u0,v0,根据z=depth,depth表示在外接矩形框中靠近外接矩形框的深度信息,得到所述彩色基准点的三维坐标(x,y,z);

基于所述彩色基准点的坐标,确定所述彩色图像中待测量物体的面积;

计算确定的所述面积和高度的乘积,将该乘积值作为待测量物体的体积。

在具体实施中,在得到彩色基准点的坐标后,利用空间距离计算公式,计算彩色图像中待测量物体的长度和宽度,进而利用上述得到的高度,计算长度、宽度和高度的乘积,将乘积值作为待测量物体的体积。

如图5所示,本申请实施例提供了一种物体测量装置,包括:

获取模块51,用于获取待测量物体的彩色图像和深度数据;

转换模块52,用于基于所述彩色图像的坐标系,对所述深度数据进行转换处理,得到深度图像;

第一处理模块53,用于识别所述彩色图像中待测量物体,得到所述彩色图像中对应待测量物体的彩色基准点;

第二处理模块54,用于基于设定的比例系数,对所述彩色基准点进行处理,得到所述深度图像中对应待测量物体的深度基准点;

第三处理模块55,用于对所述深度图像进行转换处理,并识别转换处理后的深度图像中的所述待测量物体,得到所述待测量物体的深度信息;

构建模块56,用于在处理后的深度图像中,构建与所述深度基准点对应的深度框;

第四处理模块57,用于统计所述深度基准点对应的深度框包含的深度信息,并计算统计的深度信息的平均深度信息,将该平均深度信息作为所述彩色图像中与所述深度基准点对应的彩色基准点的深度信息;

第五处理模块58,用于基于所述彩色基准点的深度信息,以及计算的待测量物体的高度,确定所述待测量物体的体积。

可选地,所述第四处理模块57具体用于:

根据统计的所述深度信息的最大值和最小值,确定多个深度区间;

统计各深度区间包含的深度信息的数目;

按照数目由大到小的顺序,对各深度区间对应的深度信息进行排序;

取前n个深度区间对应的深度信息,并计算前n个深度区间对应的深度信息的占比;

判断所述平均值是否大于设定阈值;

若所述平均值小于所述设定阈值,则将n+1,返回取前n个深度区间对应的深度信息的步骤;

若所述平均值大于或等于所述设定阈值,则计算所述前n个深度区间对应的深度信息的平均深度信息。

可选地,所述第四处理模块57还用于:

计算前n个深度区间对应的深度信息的数目与深度信息的总数目的比值,将该比值作为前n个深度区间对应的深度信息的占比。

可选地,所述第五处理模块58具体用于:

基于得到的所述深度图像中对应待测量物体的深度基准点,确定对应所述待测量物体的外接框;

基于获取的未包含在所述外接框内的深度信息,确定所述待测量物体所在平面的平面计算方程;

基于所述外接框的重心点坐标,以及所述平面计算方程,确定所述平面的深度;

计算所述平面的深度与包含在所述外接框内部且靠近所述外接框的深度信息的差值,将上述差值作为所述待测量物体的高度。

可选地,所述第五处理模块58还用于:

对所述彩色基准点的深度信息进行转换处理,得到所述彩色基准点的坐标;

基于所述彩色基准点的坐标,确定所述彩色图像中待测量物体的面积;

计算确定的所述面积和高度的乘积,将该乘积值作为待测量物体的体积。

如图6所示,本申请一实施例提供了一种计算机设备600,用于执行图1中应用于物体测量方法,该设备包括存储器601、处理器602及存储在该存储器601上并可在该处理器602上运行的计算机程序,其中,上述处理器602执行上述计算机程序时实现上述物体测量方法的步骤。

具体地,上述存储器601和处理器602能够为通用的存储器和处理器,这里不做具体限定,当处理器602运行存储器601存储的计算机程序时,能够执行上述物体测量方法,从而解决现有技术测量物体的准确度低的问题,将获取的深度数据和彩色图像统一到统一坐标系下,利用深度数据确定待测量物体的深度信息,进一步将得到的深度信息转换为待测量物体的空间坐标,计算待测量物体的体积,避免了利用深度摄像头获取的深度图像的分辨率底下问题,利用获取的深度信息结合彩色图像的高分辨率,提高了测量物体的精确度。

对应于图1中的物体测量方法,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述物体测量方法的步骤。

具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述物体测量方法,从而解决现有技术测量物体的准确度低的问题,将获取的深度数据和彩色图像统一到统一坐标系下,利用深度数据确定待测量物体的深度信息,进一步将得到的深度信息转换为待测量物体的空间坐标,计算待测量物体的体积,避免了利用深度摄像头获取的深度图像的分辨率底下问题,利用获取的深度信息结合彩色图像的高分辨率,提高了测量物体的精确度。

在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1