基于深度学习的快递单信息识别方法和系统与流程

本发明涉及图像识别技术领域，尤其涉及一种基于深度学习的快递单信息识别方法和系统。

背景技术：

随着新科技革命和信息化时代的到来，电子商务的发展变的日渐成熟，使得网购逐渐成为人们喜爱的购物方式甚至是主要购物方式；同时伴随着快递物流业的快速发展，导致快递单的大量增加，使得对分拣的速度要求变得越来越高，目前的分拣速度，已经从传统的人工拿扫描枪扫描快递单的方法，改良成可以通过架设相机，通过图像分析进行自动的扫描，并获取条形码和目的地的方法，采用传统数字图像和模式识别的方法对图像分析处理，虽然实现了图像识别功能，但是对图像的识别效率低，错误率高，严重影响分拣的速度和效率。

技术实现要素：

本发明的目的是提供一种基于深度学习的快递单信息识别方法和系统，不仅提高了图像的识别的效率，而且大大增加了图像的识别的准确性，特别是对快递单中目的地识别的准确性。

本发明提供了一种基于深度学习的快递单信息识别方法，包括以下步骤：

构建卷积神经网络，根据市场上所有类型的样本快递单图像对所述卷积神经网络进行训练，获得图像分类模型；

获取待发送快递的图像信息，对所述图像信息进行图像处理，获得目标快递单信息，所述目标快递单信息至少包括区域信息和轮廓信息；

根据所述轮廓信息和预设边长信息进行对比计算，根据对比计算结果对所述区域信息进行缩放，得到缩图图像；

将所述缩图图像输入到所述图像分类模型中，识别得到所述缩图图像中的条形码信息和目的地信息。

作为一种可实施方式，所述根据市场上所有类型的样本快递单图像对所述卷积神经网络进行训练，获得图像分类模型，包括以下步骤：

采集并缩放市场上所有类型的样本快递单图像，所述样本快递单图像至少包括条形码信息和目的地信息；

对所述条形码信息和所述目的地信息进行定位标识，并将定位标识结果进行分类存储，得到训练集和测试集；

根据所述训练集对所述卷积神经网络进行训练，并根据测试集对训练结果进行测试，得到图像分类模型。

作为一种可实施方式，所述识别得到所述缩图图像中的条形码信息和目的地信息，包括以下步骤：

根据所述图像分类模型对所述缩图图像进行回归定位，得到条形码区域信息和目的地区域信息；

对所述条形码区域信息进行识别，得到条形码信息；

对所述目的地区域信息进行字符分割，并对字符分割结果进行识别，得到目的地信息。

作为一种可实施方式，本发明提供的基于深度学习的快递单信息识别方法还包括以下步骤：

在根据对比计算结果对所述区域信息进行缩放之前，根据对比计算结果对所述缩图图像进行旋转。

作为一种可实施方式，本发明提供的基于深度学习的快递单信息识别方法还包括以下步骤：

在将所述缩图图像输入到所述图像分类模型中，对所述缩图图像存储生成缩图数据库，根据所述缩图数据库对所述卷积神经网络重新进行训练。

相应的，本发明还提供一种基于深度学习的快递单信息识别系统，包括构建训练模块、获取处理模块、计算缩放模块以及识别输出模块；

所述构建训练模块，用于构建卷积神经网络，根据市场上所有类型的样本快递单图像对所述卷积神经网络进行训练，获得图像分类模型；

所述获取处理模块，用于获取待发送快递的图像信息，对所述图像信息进行图像处理，获得目标快递单信息，所述目标快递单信息至少包括区域信息和轮廓信息；

所述计算缩放模块，用于根据所述轮廓信息和预设边长信息进行对比计算，根据对比计算结果对所述区域信息进行缩放，得到缩图图像；

所述识别输出模块，用于将所述缩图图像输入到所述图像分类模型中，识别得到所述缩图图像中的条形码信息和目的地信息。

作为一种可实施方式，所述构建训练模块包括采集单元、定位标识单元以及训练测试单元；

所述采集单元，用于采集并缩放市场上所有类型的样本快递单图像，所述样本快递单图像至少包括条形码信息和目的地信息；

所述定位标识单元，用于对所述条形码信息和所述目的地信息进行定位标识，并将定位标识结果进行分类存储，得到训练集和测试集；

所述训练测试单元，用于根据所述训练集对所述卷积神经网络进行训练，并根据测试集对训练结果进行测试，得到图像分类模型。

作为一种可实施方式，所述识别输出模块包括回归定位单元、识别单元以及识别分割单元；

所述回归定位单元，用于根据所述图像分类模型对所述缩图图像进行回归定位，得到条形码区域信息和目的地区域信息；

所述识别单元，用于对所述条形码区域信息进行识别，得到条形码信息；

所述识别分割单元，用于对所述目的地区域信息进行字符分割，并对字符分割结果进行识别，得到目的地信息。

作为一种可实施方式，本发明提供的基于深度学习的快递单信息识别系统还包括计算旋转模块；

所述计算旋转模块，用于在根据对比计算结果对所述区域信息进行缩放之前，根据对比计算结果对所述缩图图像进行旋转。

作为一种可实施方式，本发明提供的基于深度学习的快递单信息识别系统还包括存储训练模块；

所述存储训练模块，用于在将所述缩图图像输入到所述图像分类模型中，对所述缩图图像存储生成缩图数据库，根据所述缩图数据库对所述卷积神经网络重新进行训练。

与现有技术相比，本技术方案具有以下优点：

本发明提供的基于深度学习的快递单信息识别方法和系统，通过构建卷积神经网络，再利用市场上所有类型的样本快递单图像对卷积神经网络进行训练，获得图像分类模型；再通过对获取的待发送快递的图像信息进行图像处理，获得目标快递单信息，而目标快递单信息至少包括区域信息和轮廓信息；根据轮廓信息和预设边长信息进行对比计算的结果对区域信息进行缩放，并将缩放结果输入到图像分类模型中，识别得到条形码信息和目的地信息。本发明不仅提高了图像的识别的效率，而且大大增加了图像的识别的准确性，特别是对快递单中目的地识别的准确性。

附图说明

图1为本发明实施例一提供的基于深度学习的快递单信息识别方法的流程示意图；

图2为本发明实施例二提供的基于深度学习的快递单信息识别系统的结构示意图。

图中：100、构建训练模块；110、采集单元；120、定位标识单元；130、训练测试单元；200、获取处理模块；300、计算缩放模块；500、计算旋转模块；600、存储训练模块；400、识别输出模块；410、回归定位单元；420、识别单元；430、识别分割单元。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部实施例。

请参阅图1，本发明实施例一提供的基于深度学习的快递单信息识别方法，包括以下步骤：

s100、构建卷积神经网络，根据市场上所有类型的样本快递单图像对卷积神经网络进行训练，获得图像分类模型；

s200、获取待发送快递的图像信息，对图像信息进行图像处理，获得目标快递单信息，目标快递单信息至少包括区域信息和轮廓信息；

s300、根据轮廓信息和预设边长信息进行对比计算，根据对比计算结果对区域信息进行缩放，得到缩图图像；

s400、将缩图图像输入到图像分类模型中，识别得到缩图图像中的条形码信息和目的地信息。

需要说明的是，深度学习是在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。根据有无监督学习分为卷积神经网络(convolutionalneuralnetworks，简称cnns)和深度置信网(deepbeliefnets，简称dbns)。本申请采用构建有监督学习的卷积神经网络，根据市场上所有类型的样本快递单图像对卷积神经网络进行训练；这里的样本快递单图像包括了市场上所有流通的快递单类型，也会获取并根据市场上新生成的样本快递单对卷积神经网络进行训练，使得图像分类模型更加完善和准确。

对待发送快递的图像信息进行图像处理，的目的在于获得目标快递单信息，这样的图像处理方案有很多，例如：首先对图像信息进行灰度化，并对灰度化后的图像信息进行二值化，然后提取出灰度亮的快递单区域，对二值化后的图像信息进行区域搜索操作，提取区域信息和轮廓信息。对区域信息进行缩放是为了使区域信息的大小与图像分类模型中的样本快递单图像大小一致，提高识别的效率；而轮廓信息含有区域坐标信息和轮廓点信息。市场上的快递单通常是以方形的形式存在的，这里就以长方形为例对具体的缩放过程进行说明，根据轮廓信息提取快递单的四个直角点，四个直角点位置关系结合预设边长信息，就可以通过对比计算得到倾斜角度和缩放比例，根据缩放比例对轮廓信息进行缩放。而预设边长信息对于有边的快递单来说就是个个边长尺寸，对于圆形等带有弧度的快递单来说就是弧度的尺寸和周长尺寸。

本发明提供的基于深度学习的快递单信息识别方法，通过构建卷积神经网络，再利用市场上所有类型的样本快递单图像对卷积神经网络进行训练，获得图像分类模型；再通过对获取的待发送快递的图像信息进行图像处理，获得目标快递单信息，而目标快递单信息至少包括区域信息和轮廓信息；根据轮廓信息和预设边长信息进行对比计算的结果对区域信息进行缩放，并将缩放结果输入到图像分类模型中，识别得到条形码信息和目的地信息。本发明不仅提高了图像的识别的效率，而且大大增加了图像的识别的准确性，特别是对快递单中目的地识别的准确性。

具体的，步骤s100包括以下步骤：

s110、采集并缩放市场上所有类型的样本快递单图像，样本快递单图像至少包括条形码信息和目的地信息；

s120、对条形码信息和目的地信息进行定位标识，并将定位标识结果进行分类存储，得到训练集和测试集；

s130、根据训练集对卷积神经网络进行训练，并根据测试集对训练结果进行测试，得到图像分类模型。

上述的步骤s120和s130顺序不分先后。

样本快递单图像除了包括条形码信息和目的地信息之外，还能包括收件人信息、寄件人信息、包裹信息、正倒面信息等；包裹信息可以是包裹重量、包裹体积、包裹保价信息等和包裹有关的所有信息；也就是说根据样本快递单图像进行训练得到的图像分类模型除了可以对目标快递单信息识别条形码信息和目的地信息之外，还能识别收件人信息、寄件人信息、包裹信息、正倒面信息等信息。而样本快递单图像数量越多那么得到的图像分类模型越精确，一般来说前期需要提取20万个样本快递单图像，而且每个样本快递单图像都需要进行定位标识，也就是对条形码信息和目的地信息所在的坐标点进行定位标识，而分类存储得到训练集中的样本快递单图像个数要比测试集中的样本快递单图像个数多。于本实施例中，主要是采用caffe工具，对训练集和测试集的数据进行训练，将生成的图像分类模型进行保存。然而，本发明对此不做任何限定。

进一步，步骤s400包括以下步骤：

s410、根据图像分类模型对缩图图像进行回归定位，得到条形码区域信息和目的地区域信息；

s420、对条形码区域信息进行识别，得到条形码信息；

s430、对目的地区域信息进行字符分割，并对字符分割结果进行识别，得到目的地信息。

对条形码区域信息进行识别是通过以条形码的编码规则为依据，得到目标快递单信息中的条形码信息。而对目的地区域信息进行字符分割之前，还可以先将目的地区域信息进行投影，进行投影之后更加容易进行字符的分割，特别适用于一些快递单上的目的地区域信息中的信息是手写的。

进一步的，本发明实施例一提供的基于深度学习的快递单信息识别方法还包括以下步骤：

在根据对比计算结果对区域信息进行缩放之前，根据对比计算结果对缩图图像进行旋转。

在获取待发送快递的图像信息出现任意倾斜角度的情况，需要对图像信息进行旋转，减少前期对待发送快递的图像信息的处理。需要说明的是以具有任意倾斜角度的样本快递单图像对所述卷积神经网络进行训练，得到图像分类模型是可以对具有任意倾斜角度的待发送快递的图像信息识别的。但是这种图像分类模型的数据太过庞大，运行效率比较低。而对于需要进行旋转的缩图图像，实际上是可以先进行旋转再进行缩放得到缩图图。

进一步的，本发明实施例一提供的基于深度学习的快递单信息识别方法还包括以下步骤：

在将缩图图像输入到图像分类模型中，对缩图图像存储生成缩图数据库，根据缩图数据库对卷积神经网络重新进行训练。

缩图数据库中的缩图图像可以是存储到一定的数量，传输至卷积神经网络进行训练；也可以是直接将得到的缩图图像传输至卷积神经网络进行训练。而对卷积神经网络重新进行训练，提高图像分类模型对缩图图像识别的准确性。

下面对本发明的具体过程进行详细说明：

对获取的待发送快递的图像信息进行灰度图转换，对灰度图里像素值60以下的像素赋值为0，并用otsu算法对灰度图进行二值化。对二值化图像进行区域搜索操作，具体的区域搜索操作过程为：根据轮廓信息计算轮廓点的前10个像素的坐标均值和后10个像素的坐标均值。然后计算前均值坐标、当前点坐标和后均值坐标之间的夹角值。根据夹角值，判断该角是否是直角，如果是直角，就保存该点坐标。然后进行极大值抑制，只提取20个轮廓点内最大的夹角值。最后对获取的直角点进行判断，如果跟前一点直角点连接的直线长度跟规则线标注的长边长度一样长，跟后一个直角点的连接的直线长度跟规则线标注的短边长度一样长，或相反。就判断这三个点构成了一个目标的候选区域。直到遍历完所有的直角点。计算每个候选区域的长边跟短边在y轴上的角度a，然后对该区域进行a角度和180-a角度的旋转，把旋转后的两张区域图进行正面和倒面判断(根据正倒信息对卷积神经网络进行训练，获得的图像分类模型)，获取正面候选区域。对正面候选区域进行扩大二分之一后再进行缩图到64*96后，得到缩图图像，再进行目标快递单信息的外围四个角点的准确定位。在外围四点的区域内，提取上半部分进行条形码和目的地的点位，以获取准确的位置区域。

最后将缩图图像输入到图像分类模型中，根据条形码的编码规则，对条形码进行识别。对目的地的字符进行投影，并进行分割，获取每个字符的区域，并进行提取。对提取的字符进行识别，以获取准确的目的地。

基于同一发明构思，本发明实施例还提供一种基于深度学习的快递单信息识别系统，该系统的实施可参照上述方法的过程实现，重复之处不再冗述。

如图2所示，是本发明实施例二提供的基于深度学习的快递单信息识别系统的结构示意图，包括构建训练模块100、获取处理模块200、计算缩放模块300以及识别输出模块400；

构建训练模块100用于构建卷积神经网络，根据市场上所有类型的样本快递单图像对卷积神经网络进行训练，获得图像分类模型；

获取处理模块200用于获取待发送快递的图像信息，对图像信息进行图像处理，获得目标快递单信息，目标快递单信息至少包括区域信息和轮廓信息；

计算缩放模块300用于根据轮廓信息和预设边长信息进行对比计算，根据对比计算结果对区域信息进行缩放，得到缩图图像；

识别输出模块400用于将缩图图像输入到图像分类模型中，识别得到缩图图像中的条形码信息和目的地信息。

进一步的，构建训练模块100包括采集单元110、定位标识单元120以及训练测试单元130；

采集单元110，用于采集并缩放市场上所有类型的样本快递单图像，样本快递单图像至少包括条形码信息和目的地信息；

定位标识单元120，用于对条形码信息和目的地信息进行定位标识，并将定位标识结果进行分类存储，得到训练集和测试集；

训练测试单元130，用于根据训练集对卷积神经网络进行训练，并根据测试集对训练结果进行测试，得到图像分类模型。

进一步的，识别输出模块400包括回归定位单元410、识别单元420以及识别分割单元430；

回归定位单元410，用于根据图像分类模型对缩图图像进行回归定位，得到条形码区域信息和目的地区域信息；

识别单元420，用于对条形码区域信息进行识别，得到条形码信息；

识别分割单元430，用于对目的地区域信息进行字符分割，并对字符分割结果进行识别，得到目的地信息。

进一步的，本发明实施例二提供的基于深度学习的快递单信息识别系统还包括计算旋转模块500；

计算旋转模块500用于在根据对比计算结果对区域信息进行缩放之前，根据对比计算结果对缩图图像进行旋转。

进一步的，本发明实施例二提供的基于深度学习的快递单信息识别系统还包括存储训练模块600；

存储训练模块600用于在将缩图图像输入到图像分类模型中，对缩图图像存储生成缩图数据库，根据缩图数据库对卷积神经网络重新进行训练。

本发明提供的基于深度学习的快递单信息识别系统，通过构建卷积神经网络，再利用市场上所有类型的样本快递单图像对卷积神经网络进行训练，获得图像分类模型；再通过对获取的待发送快递的图像信息进行图像处理，获得目标快递单信息，而目标快递单信息至少包括区域信息和轮廓信息；根据轮廓信息和预设边长信息进行对比计算的结果对区域信息进行缩放，并将缩放结果输入到图像分类模型中，识别得到条形码信息和目的地信息。本发明不仅提高了图像的识别的效率，而且大大增加了图像的识别的准确性，特别是对快递单中目的地识别的准确性。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。