车厢载货体积的测量方法及装置与流程

本公开一般涉及图像处理领域，尤其涉及基于双目立体视觉的车厢载货体积的测量方法及装置。

背景技术：

在物流行业，还没有对中转场货车的载货体积进行智能测定的工具，大多用人眼估算，存在准确率低下等局限性。此外，现有的双目测深度工具的测量范围多为0.3米到2米，不符合物流场景中物体深度范围为2米到15米的测距要求。

技术实现要素：

鉴于现有技术中的上述缺陷或不足，期望提供一种智能实现基于双目立体视觉的车厢载货体积的测量方法及装置。

第一方面，提供一种基于双目立体视觉的车厢载货体积的测量方法，方法包括：

利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像；

根据第一图像和第二图像生成车厢区域视差图；

根据车厢区域视差图，确定车厢区域深度图，进而确定车厢载货体积。

第二方面，提供一种基于双目立体视觉的车厢载货体积的测量装置，装置包括：

图像采集单元，配置用于利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像；

车厢区域视差图生成单元，配置用于根据第一图像和第二图像生成车厢区域视差图；

确定体积单元，配置用于根据车厢区域视差图，确定车厢区域深度图，进而确定车厢载货体积。

根据本申请实施例提供的技术方案，通过车厢区域视差图计算车厢载货体积，能够解决现有用人工方式计算载货体积带来的低效率且低准确度的问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出了根据本申请实施例的基于双目立体视觉的车厢载货体积的测量方法的示例性流程图；

图2示出了基于双目视差测距的示例性原理图；

图3示出了根据本申请实施例的步骤s20的车厢区域视差图的提取方法示例性流程图；

图4示出了根据本申请实施例的步骤s21的车厢区域的提取方法示例性流程图；

图5示出了提取车厢区域的示例性示意图；

图6示出了根据本申请实施例的基于双目立体视觉的车厢载货体积的测量装置的示例性结构框图；

图7示出了根据本申请实施例的车厢区域提取单元221的示例性结构框图；

图8示出了根据本申请实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

请参考图1，示出了根据本申请实施例的基于双目立体视觉的车厢载货体积的测量方法的示例性流程图。如图所示，该方法包括：

步骤s10：利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像；

步骤s20：根据第一图像和第二图像提生成厢区域视差图；

步骤s30：根据车厢区域视差图，确定车厢区域深度图，进而确定车厢载货体积。

在物流中转场的装卸口的固定位置设置有双目摄像头，摄像头正对着装车卡口，当车辆驶入卡口位置时，车厢区域占据了拍摄区域的主要部分。装载指定货物后，利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像。根据第一图像和第二图像生成车厢区域的视差图。根据中转场的情况拍摄的图像中还包括非目标车辆、员工、地面等干扰信息。排除这些不需要的干扰信息后，获得目标车厢区域的视差图。又将车厢区域视差图转换为深度图，进而确定车厢载货体积，该深度图能够体现相机到车厢区域各像素点之间的距离即深度。需要说明的是，采集图像时车厢门是打开状态。

请参考图2，示出了基于双目视差测距的示例性原理图，即为视差图转换为深度图的理论依据。其中，对双目摄像头抓取到的左右视图进行图像校正，计算双目视差，获取视差图。双目测距原理如图2所示。在图2中，a为空间中的点，at和ar是点a在左右像平面上的成像点，ot和or是左右相机的光心，f是焦距。设xt和xr是两个成像点在左右两个像面上距离图像左中心线的距离，则可以定义视差为xt-xr。在图2中，用三角形的相似性原理，可以得到视差和物体深度的关系式如下：

其中，f是焦距，xt和xr是两个成像点在左右两个像面上距离图像左中心线的距离，b为左右相机光心(即ot和or)之间的距离，z为a点到光心平面的距离。

请参考图3，示出了根据本申请实施例的步骤s20的车厢区域视差图的提取方法示例性流程图。如图所示，该方法包括：

步骤s21：从第一图像提取车厢区域；

步骤s22：根据第一图像和第二图像生成原始视差图；

步骤s23：将车厢区域和原始视差图进行掩膜处理，生成车厢区域的视差图。

需要说明的是，该第一图像可以是双目摄像头中任一摄像头采集的图像，例如，将左边摄像头采集的图像为第一图像，则右边摄像头采集的图像为第二图像。在进行图像处理时，如果基于左边摄像头采集的第一图像进行了车厢区域的提取，则在生成原始视差图时，也应将该第一图像作为基准图像。相反，如果基于右边摄像头采集的第二图像进行了车厢区域的提取，则在生成原始视差图时，也应将该第二图像作为基准图像。原始视差图可采用sgbm(smei-globalblockmatching，半全局块匹配)算法生成。并将第一图像中提取的车厢区域和视差图进行掩膜处理，生成车厢区域的视差图。图像掩膜是用选定的图像、图形或物体，对待处理的图像进行遮挡来控制图像处理的区域或处理过程。本申请是通过第一图像中的车厢区域对待处理的原始视差图进行遮挡来提取车厢区域范围内的视差图。

图4示出了根据本申请实施例的步骤s21的车厢区域的提取方法示例性流程图，如图所示，该方法包括：

步骤s211：提取第一图像中的全部直线；

步骤s212：根据直线的特征，筛选出符合要求的直线，特征包括直线长度、直线位置、夹角和色彩；

步骤s213：将符合要求的直线围成的最大外接矩形作为车厢区域。

具体地，可采用lsd(linsegmentdetector)算法寻找第一图像的所有直线，并对这些直线进行筛选。筛选的依据是基于直线长度、直线位置、与图像中心线的夹角和色彩等特征，并将筛选后的直线围成的最大外接矩形作为车厢区域。

请参考图5，示出了提取车厢区域的示例性示意图。

在一些实施例中，步骤s213中提到的要求包括如下条件：

直线的长度符合设定长度要求；

直线的位置位于设定区域；

直线的颜色特征包括设定颜色。

具体地，该设定长度包括第一长度和第二长度；当直线与第一图像10长度方向中心线的夹角小于第一夹角时，直线的长度大于第一长度；当直线与第一图像10宽度方向中心线的夹角小于第一夹角时，直线的长度大于第二长度。直线通过与长度方向中心线或者宽度方向的中心线的夹角来确定根据哪个设定长度进行长度的判断。该夹角包括直线与宽度方向中心线31、长度方向中心线33形成的夹角，本实施例中取两者中的小角度的夹角，并判断其大小是否小于第一夹角。直线与长度方向中心线33的夹角小于第一夹角时，直线的长度应大于第一长度；直线与宽度方向中心线31的夹角小于第一夹角时，直线的长度应大于第二长度。

本实施例的第一夹角为10°，第一长度为图像长度，第二长度为图像宽度。

设定区域可设置为从图像宽度方向删除左右两边的图像宽度，并从图像长度方向删除上下两边图像长度，获得如图5所示的设定区域20。这里对设定区域的范围不做限定。

需要说明的是设定长度、第一夹角、设定区域的具体的取值均与车厢大小、摄像头的固定等诸多因素相关，这里不做限定，根据具体情况设定取值大小。

此外，监测的车型通常为特定的几种车型，这几种车型的车框可设置为黑色底上贴有红色、白色或黄色反光标识来提高识别的准确率。所以通过判断直线经过的区域的rgb值是否包括以上颜色来筛选直线。这里对设定颜色的数量和种类不做限定，可根据需要设置。

基于上述条件，对于图5所示的直线进行筛选。

直线11与长度方向中心线33的夹角小于10°且长度大于1/2图像长，且位于设定区域20以内，同时颜色特征中包括设定颜色，因此满足要求，被保留。同理判断直线14也满足要求。而直线16与长度方向的中线线33的夹角小于10°，但因长度小于1/2图像长，不满足条件，因此被排除在外。

直线12和直线13、与宽度方向中线线31的夹角小于10°且长度大于1/2图像宽，且位于设定区域20以内，同时颜色特征中包括设定颜色，因此满足要求，被保留。而直线15与宽度方向的中心线31的夹角大于10°，不满足条件，因此被排除在外。

经过上述条件的筛选，只有少数直线被保留。将这些直线所围成的矩形中，将最大外接矩形最为车厢区域，如图5所示，将直线11、直线12、直线13和直线14围成的矩形作为车厢区域。

在一些实施例中，还通过中值滤波算法对车厢区域视差图进行滤波去白噪声；将滤波后的车厢区域视差图转换为车厢区域深度图。滤波后，随机分布的白噪声被过滤。之后，经过公式1获得车厢区域深度图。

在一些实施例中，确定车厢区域的深度图之后通过闭操作，增加深度图的密集度。摄像机分辨率较低时获得的深度图上相邻点的实际距离相差较远或者不能满足计算的精度。闭操作具有填充细小空洞，平滑边界的作用。为了能够得到较准确的货物体积，需要获得更为密集的深度图。本申请利用形态学的闭操作，填满相邻点之间的空间并且填补深度图上没有深度的孔洞区域。需要说明的是，当采用高分辨率的双目摄像头时，该步骤根据应用场景的准确度要求可以省略。之后，对该密集深度图进行积分，就可以获得车厢中未载货空间的体积，从而根据空车体积计算载货体积。

本申请还提供一种基于双目立体视觉的车厢载货体积的测量装置。

图6示出了根据本申请实施例的基于双目立体视觉的车厢载货体积的测量装置200的示例性结构框图。如图所示，该装置包括：

图像采集单元210，配置用于利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像；

车厢区域视差图生成单元220，配置用于根据第一图像和第二图像生成车厢区域视差图；

确定体积单元230，配置用于根据车厢区域视差图，确定车厢区域深度图，进而确定车厢载货体积。

在一些实施例中，车厢区域的视差图生成单元220包括：

车厢区域提取单元221，配置用于从第一图像提取车厢区域；

原始视差图生成单元222，配置用于根据第一图像和第二图像生成原始视差图；

车厢区域的视差图生成单元220还配置用于将车厢区域和原始视差图进行掩膜处理，生成车厢区域的视差图。

请参考图7，示出了根据本申请实施例的车厢区域提取单元221的示例性结构框图。在一些实施例中，车厢区域提取单元221包括：

直线提取单元225，配置用于提取第一图像中的全部直线；

筛选单元226，配置用于根据直线的特征，筛选出符合要求的直线，特征包括直线长度、直线位置、与图像中心线的夹角和色彩；

车厢区域提取单元221还配置用于将符合要求的直线围成的最大外接矩形作为车厢区域。

在一些实施例中，要求包括如下条件中的一种或多种：

直线的长度符合设定长度要求；

直线的位置位于设定区域；

直线的颜色特征包括设定颜色；

其中，直线的长度符合设定长度要求包括：

设定长度包括第一长度和第二长度；

当直线与第一图像长度方向中心线的夹角小于第一夹角时，直线的长度大于第一长度；

当直线与第一图像宽度方向中心线的夹角小于第一夹角时，直线的长度大于第二长度。

在一些实施例中，确定体积单元230包括：

过滤单元231，配置用于通过中值滤波算法滤除车厢区域视差图的白噪声；

转换单元232，配置用于将滤波后的车厢区域视差图转换为车厢区域深度图。

在一些实施例中，还包括：

密集度增加单元240，配置用于通过闭操作，增加深度图的密集度。

下面参考图8，示出了根据本申请实施例提供的一种设备的结构示意图。

如图8所示，作为另一方面，本申请还提供了一种设备400，包括一个或多个中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)403中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。

以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本公开的实施例中包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行基于双目立体视觉的车厢载货体积的测量方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括车厢区域视差图生成单元、确定体积单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，根据所述第一图像和所述第二图像生成车厢区域视差图的车厢区域视差图生成单元”。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本申请的基于双目立体视觉的车厢载货体积的测量方法。

例如，所述电子设备可以实现如图1所示的：该方法包括：步骤s10：利用双目摄像头同步采集装载货物的车厢的第一图像和第二图像；步骤s20：根据第一图像和第二图像提生成厢区域视差图；步骤s30：根据车厢区域视差图，确定车厢区域深度图，进而确定车厢载货体积。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。