物体边缘提取方法、装置及电子设备与流程

本发明涉及图像技术领域，具体而言，涉及一种物体边缘提取方法、装置及电子设备。

背景技术：

图像的大部分信息都包含于图像中物体的边缘。图像中物体边缘主要表现为图像局部特征的不连续性，即图像中灰度变化比较剧烈的地方。物体边缘的提取在计算图像内显示规则的物体的体积非常实用。这使边缘提取在需要快速计算规则形状的物体的体积的行业(例如，快递运输等领域)凸显的非常重要。

现有的物体边缘提取依赖于边缘检测算子，例如基于灰度直方图的检测、基于梯度的检测、Canny边缘检测算子及Sobel边缘检测算子等。诸如此类的方法仅依靠图像中像素的灰度信息和空间信息，对于物理上的强边缘有较好的检测效果，检测速度较快，但与物体实际的边缘相比，稳定性不够，不能预测出符合人类认知的边缘所在位置。

技术实现要素：

为了解决上述问题，本发明实施例采用的技术方案如下：

本发明实施例提供一种物体边缘提取方法，所述方法包括：获取边缘提取模型；根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵；对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。

本发明实施例还提供一种物体边缘提取装置，所述装置包括获取模块、第一提取模块及第一处理模块。其中，所述获取模块用于获取边缘提取模型；第一提取模块，用于根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵；第一处理模块，用于对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。

本发明实施例还提供一种电子设备。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：获取边缘提取模型；根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵；对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。

与现有技术相比，本发明提供的一种物体边缘提取方法、装置及电子设备。其中，所述方法通过获取的边缘提取模型对待识别图像信息进行边缘提取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵。不依赖于待识别图像信息的空间信息及灰度信息，因此效果较传统方法更稳定。同时，利用边缘提取模型提取的轮廓概率矩阵并进行归一化处理后得到的边缘信息更准确且更符合人类对物体外轮廓的理解。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的电子设备的方框示意图。

图2示出了本发明实施例提供的物体边缘提取方法的步骤流程图。

图3为图2中步骤S101的子步骤流程图。

图4示出了本发明实施例提供的物体边缘提取装置的功能模块示意图。

图标：100-电子设备；111-存储器；112-存储控制器；113-处理器；114-外设接口；115-采集单元；116-输入输出单元；200-物体边缘提取装置；201-获取模块；202-第一提取模块；203-第一处理模块；204-第二处理模块；205-第二提取模块；206-第三提取模块；207-分类模块；208-筛选模块；209-第三处理模块；210-拟合模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

图1示出本发明较佳实施例提供的电子设备100的方框示意图。所述电子设备100可以是作为服务器的终端设备，也可以是作为客户端的终端设备。电子设备100可以是，但不限于是移动终端设备、台式电脑、平板电脑、笔记本电脑等。在本实施例中，优选为台式电脑。所述电子设备100包括物体边缘提取装置200、存储器111、存储控制器112、处理器113、外设接口114、采集单元115及输入输出单元116。另外，当本发明实施例应用于由多个终端设备构成的系统时，在本发明实施例中物体边缘提取装置200对应的各功能模块可以集成在系统中的一个终端中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个终端中。

所述存储器111、存储控制器112、处理器113、外设接口114、采集单元115及输入输出单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述物体边缘提取装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器111中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器113用于执行所述存储器111中存储的可执行模块，例如所述物体边缘提取装置200所包括的软件功能模块及计算机程序等。

其中，所述存储器111可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器111用于存储程序(包括操作系统程序)，处理器113在接收到执行指令后，执行所述程序。所述处理器113以及其他可能的组件对存储器111的访问可在所述存储控制器112的控制下进行。

所述处理器113可能是一种集成电路芯片，具有对信号的处理能力。上述的处理器113可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器113也可以是任何常规的处理器113等。

所述外设接口114将各种输入/输出装置(例如采集单元115、输入输出单元116)耦合至所述处理器113以及所述存储器111。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

所述采集单元115用于采集待测物体的图像信息。在本实施例中，所述采集单元115可以是摄像头。例如，采集单元115可以是，但不限于是是双目立体相机、结构光立体相机、光度立体相机、TOF立体相机及单目相机。

所述输入输出单元116用于提供给用户输入数据实现用户与所述电子设备100的交互。所述输入输出单元116可以是，但不限于，虚拟键盘、语音输入电路等。

作为图1中分离部件说明的单元可以是或者也可以不是物理上分开的，例如，作为输入输出单元116的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

请参考图2，图2为本发明较佳实施例提供的一种物体边缘提取方法的流程图。物体边缘提取方法包括以下步骤：

步骤S101，获取边缘提取模型。

在本实施例中，所述边缘提取模型可以是经过训练的深度学习网络中用于提取图像的基本特征信息的那几层。例如，边缘提取模型经过训练的(Richer Convolutional Features，RCF)特征提取网络结构，可以获取丰富的边缘特征。若边缘提取模型已经训练好并存储于电子设备100中，则直接获取该边缘提取模型；若电子设备100中并未存储有训练好的边缘提取模型，则如图3所示，步骤S101可以包括以下子步骤：

子步骤S1011，采集样本图片信息。

在本实施例中，可选地，采集样本图片信息可以是先通过网络爬虫程序从互联网上获取大量的第一初始样本图片信息。采集样本图片信息也可以是通过获取用户自行拍摄的第一初始样本图片信息。通过响应用户的标记操作给采集的第一初始样本图片信息进行标记，例如，标记为合格或标记为不合格。再利用预设的第二规则对第一初始样本图片信息进行筛选，进而获得大量的样本图片信息。预设的第二规则可以是根据所述第一初始样本图片信息的标记进行筛选，例如，预设的第二规则可以是筛除被标记为不合格的第一初始样本图片信息。可选地，采集样本图片信息还可以是通过采集单元115采集获取的第二初始样本图片信息，在响应用户的点选操作下，被标记为样本。再将该被标记为样本的第二初始样本图片信息进行样本扩张，以获得所述样本图片信息。具体地，进行样本扩张可以是将第二初始样本图片信息中的物体图像信息与背景图像信息分离，再将物体图像信息放进预先获得的不同的背景图像信息中，以获得大量的样本图片信息。可选地，采集样本图片信息还可以是同时采用上述介绍的两种方式。

子步骤S1012，响应用户操作，对所述样本图片信息设置对应的标注信息。

在本实施例中，对每一张样本图片信息均通过输入输出单元116采用人机交互的方式获取样本图片信息中物体的轮廓标注。例如，采用检测目的设计专门的标注软件，依据用户的点选位置确定样本图片信息中物体的轮廓，并将获取的轮廓作为标注信息与所述样本图片信息绑定。若多张样本图片数据信息是由同一张被标记为样本的第二初始样本图片信息扩张而来，则仅需响应用户操作提取其中一张样本图片信息的轮廓标注作为属于由同一张第二初始样本图片信息扩张而来的样本图片信息的标注信息。

子步骤S1013，根据所述样本图片信息及对应的标注信息建立训练集及测试集。

在本实施例中，将绑定了标注信息的所述样本图片信息随机划分进训练集及测试集。训练集的样本图片信息多于测试集中样本图片信息的数量。例如，训练集及测试集中的样本图片信息之间的比例可以是9:1。需要说明的是，9:1仅为举例，对其比例本实施例并不做限定。

子步骤S1014，利用所述训练集训练预设置的特征提取网络模型，以获得初始边缘提取模型。

在本实施例中，可以是选用的初始深度学习网络模型在已经配置好caffe等环境的电子设备100上设置参数，再将训练集中的样本图片信息输入该模型进行监督学习，以实现训练。这个训练过程可以为卷积神经网络常用的训练方式(例如，向前传播学习、向后传播学习)。训练完成后获取初始边缘提取模型。

子步骤S1015，利用所述测试集对所述初始边缘提取模型进行测试及调整以获得所述边缘提取模型。

步骤S102，根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵。

在本实施例中，输入一张待识别图像信息，边缘提取模型对该待识别图像信息进行识别并输出所述待识别图像信息中每个像素点对应的轮廓概率值。需要说明的是，轮廓概率矩阵可以是一张待识别图像信息中每一个像素点对应的轮廓概率值根据其在图像中的位置生成的矩阵。

步骤S103，对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。

在本实施例中，将所述轮廓概率矩阵归一化到0-255，就得到了对应图片的边缘信息。进而获得第一边缘二值图。利用概率值确定边缘轮廓在待识别图像信息上的位置信息，使确定的轮廓边缘更加准确，更符合人的视觉。

步骤S104，对所述第一边缘二值图进行去噪处理。

在本实施例中，输出的第一边缘二值图依然存在离散稀疏的噪点。故，对第一边缘二值图进行去噪处理，处理掉非轮廓边缘的离散稀疏的黑色像素点。以去除轮廓边缘外部的线条或点。

步骤S105，提取去噪处理后的第一边缘二值图中的最大的连通区域，以获得第二边缘二值图。

在本实施例中，提取第一边缘二值图的最大连通域作为第二边缘二值图，以便去除轮廓边缘内部一些被误判为边缘的线条，以使获得的轮廓边缘更加准确。例如，快递盒上贴制的快递单，在利用边缘提取模型进行提取快递盒上得轮廓边缘时，也会将快递单的边缘同时提取出来。而快递单的边缘在第一边缘二值图中位于快递盒的边缘线条内部，因此，通过提取第一边缘二值图的最大连通区域作为第二边缘二值图，则可将第一边缘二值图中的快递单的边缘筛除。可选地，可以是利用区域增长算法进行提取最大连通区域，也可以是借助预设的第三方软件(MATLAB)进行提取最大连通区域，在此并不做限定。

步骤S106，从所述第二边缘二值图中提取对应的边缘线条。

在本实施例中，可以是利用LSD直线提取第二边缘二值图中的边缘线条。即第二边缘二值图中所有的线条。需要说明的是，第二边缘二值图中所显示的每一条轮廓边缘都是由多条边缘线条组成。

步骤S107，根据所述边缘线条的斜率利用聚类算法对所述边缘线条进行分类。

在本实施例中，聚类算法可以是k-means聚类。按照预先设定的与物体形状对应的分类规则进行分类。例如，当提取边缘的物体为规则的长方体，则对应的预先设定的分类规则可以是将边缘线条划分为三个类别，即长、宽、高各一类。每一类的边缘线条之间的斜率差值不超过预设阈值。

步骤S108，分别将每个类别对应的边缘线条按照预设的第一规则进行筛选。

在本实施例中，预设的第一规则可以是将每个类别中的长度较短的边缘线条筛除。例如，先剔除每个类别中长度最短的边缘线条，再计算剩下的边缘线条长度的均值，最后将类别中长度小于均值的边缘线条筛除。以保留筛选出的边缘线条。

步骤S109，分别对筛选出的每条边缘线条进行延长处理及加粗处理，以获得第三边缘二值图。

在本实施例中，经过步骤S108后可能会出现边缘上线条的缺失，进而在筛选后的第二边缘二值图中显示的轮廓边缘会出现断口。分别将筛选出的边缘线条进行延长并加粗，以便补上缺口，获得第三边缘二值图。

步骤S110，提取所述第三边缘二值图中的最大的连通区域，以获得第四边缘二值图。

在本实施例中，由于第三边缘二值图中的线条均经过延长，势必超出实际边缘线条的长度，因此，在轮廓边缘外侧会出现非轮廓边缘的线条。通过将第三边缘二值图中的最大连通区域提出，去除新产生的非轮廓边缘的线条。以获得第四边缘二值图。由于经过步骤S108及步骤S109的精细化处理，第四边缘二值图相较于第二边缘二值图示出的轮廓边缘更为的精准。

步骤S111，根据所述第四边缘二值图，利用预设置的直线拟合算法生成物体边缘图。

在本实施例中，提取第四边缘二值图中的边缘线条，根据每个边缘线条的斜率及位置信息再次进行聚类分类。根据斜率进行分类的过程同前所述，根据斜率分完类别之后，再根据每个类别中边缘线条的不同位置信息再次进行分类。例如，当待识别图像信息中显示物体为规则的长方体时，则先根据斜率将边缘线条分为长宽高三类。再根据位置信息进行分类，由于图片中仅能显示三种不同位置的长、三种不同位置的高及三种不同位置的宽，因此，分别将属于长这一类的边缘线条分为三类、属于宽这一类的边缘线条分为三类及属于高这一类的边缘线条分为三类。最终得到n类边缘线条。分类完成后，利用直线拟合算法(例如，RANSAC直线拟合算法)从每个分类中各提取一条边缘线条作为最终轮廓边缘，以生成物体边缘图。经过实验验证，当采集到的图像中物体至少三个相邻面时(此时n＝9)，检测效果最理想。

第二实施例

请参照图4，图4为本发明实施例提供的物体边缘提取装置200的功能模块示意图。所述物体边缘提取装置200包括：获取模块201、第一提取模块202、第一处理模块203、第二处理模块204、第二提取模块205、第三提取模块206、分类模块207、筛选模块208、第三处理模块209及拟合模块210。

获取模块201，用于获取边缘提取模型。

在本发明实施例中，所述步骤S101、子步骤S1011、子步骤S1012、子步骤S1013、子步骤S1014及子步骤S1015均可以由获取模块201执行。

第一提取模块202，用于根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵。

在本发明实施例中，所述步骤S102可以由第一提取模块202执行。

第一处理模块203，用于对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。

在本发明实施例中，所述步骤S103可以由第一处理模块203执行。

第二处理模块204，用于对所述第一边缘二值图进行去噪处理。

在本发明实施例中，所述步骤S104可以由第二处理模块204执行。

第二提取模块205，提取去噪处理后的第一边缘二值图中的最大的连通区域，以获得第二边缘二值图。

在本发明实施例中，所述步骤S105可以由第二提取模块205执行。

第三提取模块206，用于从所述第二边缘二值图中提取对应的边缘线条。

在本发明实施例中，所述步骤S106可以由第三提取模块206执行。

分类模块207，用于根据所述边缘线条的斜率利用聚类算法对所述边缘线条进行分类。

在本发明实施例中，所述步骤S107可以由分类模块207执行。

筛选模块208，用于分别将每个类别对应的边缘线条按照预设的第一规则进行筛选。

在本发明实施例中，所述步骤S108可以由筛选模块208执行。

第三处理模块209，用于分别对筛选出的每条边缘线条进行延长处理及加粗处理，以获得第三边缘二值图。

在本发明实施例中，所述步骤S109可以由第三处理模块209执行。

第二提取模块205，还用于提取所述第三边缘二值图中的最大的连通区域，以获得第四边缘二值图。

在本发明实施例中，所述步骤S110可以由第二提取模块205执行。

拟合模块210，用于根据所述第四边缘二值图，利用预设置的直线拟合算法生成物体边缘图。

在本发明实施例中，所述步骤S111可以由拟合模块210执行。

综上所述，本发明实施例提供一种物体边缘提取方法及装置，应用于所述电子设备。其中，所述方法包括获取边缘提取模型；根据所述边缘提取模型获取待识别图像信息中每个像素点对应的轮廓概率值，以获得轮廓概率矩阵；对所述轮廓概率矩阵进行归一化处理，以生成第一边缘二值图。不依赖于待识别图像信息的空间信息及灰度信息，因此效果较传统方法更稳定。同时，利用边缘提取模型提取的轮廓概率矩阵并进行归一化处理后得到的边缘信息更准确且更符合人类对物体外轮廓的理解。市场价值很高，便于推广。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。