产品外包装信息化防差错系统的制作方法

1.本技术涉及企业信息化技术领域，且更为具体地，涉及一种产品外包装信息化防差错系统。


背景技术：

2.随着企业之间的竞争日趋激烈，人们逐渐发现，企业在降低生产成本方面的竞争似乎已经走到了尽头，产品质量的好坏也仅仅是一个企业能否进入市场参与竞争的敲门砖。这是，竞争的焦点开始从生产领域转向非生产领域，转向那些分散、孤立的，被视为辅助环节而不被重视的物流领域。
3.作为企业传统的两大利润源泉，生产和销售环节在物流活动方面一直缺乏有效的管理和控制。比如，产品的生产方面，进料、加工和配送等流水线作业内容缺乏物流操作详细记录，产品问题难以追查、责任到人。
4.因此，建立高效的畅通的物流信息管理平台是亟需的。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种产品外包装信息化防差错系统，首先，基于预定产品的产品信息生成外包装信息标签码，并将所述外包装信息标签码与所述预定产品相关联；然后，生成包括多个所述预定产品的批次的批次包装信息标签码，并对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；最后，对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验；特别的，在将所述外包装信息标签码与所述预定产品建立关联的环节中，对外包装信息标签码的贴附状态进行检测，从而确保外包装信息标签码能够与所述预定产品建立关联。
6.根据本技术的一个方面，提供了一种产品外包装信息化防差错系统，其包括：
7.外包装信息标签码生成单元，用于基于预定产品的产品信息生成外包装信息标签码；
8.外包装信息标签码关联单元，用于将所述外包装信息标签码与所述预定产品相关联；
9.批次包装信息标签码生成单元，用于生成包括多个所述预定产品的批次的批次包装信息标签码；
10.入库信息采集整理单元，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；以及
11.出库和物流信息采集整理单元，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。
12.在上述产品外包装信息化防差错系统中，所述外包装信息标签码关联单元，包括
贴附状态检测设备；
13.其中，所述贴附状态检测设备，包括：
14.图像采集模块，用于获取由摄像头采集的待检测外包装信息标签码的检测图像和参考图像，所述参考图像为所述外包装信息标签码被规范地贴附于产品的图像；
15.孪生检测模块，用于将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块；
16.差分模块，用于计算所述第一特征图和所述第二特征图之间的差分特征图；
17.通道划分模块，用于将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图；
18.特征分布优化模块，用于对所述第一局部差分特征图和所述第二局部差分特征图进行特征分布优化以得到优化第一局部差分特征图和优化第二局部差分特征图；
19.分类模块，用于将所述优化第一局部差分特征图和所述优化第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果；以及
20.贴附状态检测结果生成模块，用于基于所述第一分类结果和所述第二分类结果，确定所述待检测外包装信息标签码的贴附状态是否满足要求。
21.与现有技术相比，本技术提供的一种产品外包装信息化防差错系统，首先，基于预定产品的产品信息生成外包装信息标签码，并将所述外包装信息标签码与所述预定产品相关联；然后，生成包括多个所述预定产品的批次的批次包装信息标签码，并对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；最后，对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验；特别的，在将所述外包装信息标签码与所述预定产品建立关联的环节中，对外包装信息标签码的贴附状态进行检测，从而确保外包装信息标签码能够与所述预定产品建立关联。
附图说明
22.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
23.图1图示了根据本技术实施例的产品外包装信息化防差错系统的框图示意图。
24.图2图示了根据本技术实施例的产品外包装信息化防差错系统中外包装信息标签码关联单元的框图。
25.图3图示了根据本技术实施例的产品外包装信息化防差错系统中检测图像编码单元的框图。
26.图4图示了根据本技术实施例的产品外包装信息化防差错系统中参考图像编码单元的框图。
27.图5图示了根据本技术实施例的产品外包装信息化防差错方法的流程图。
28.图6图示了根据本技术实施例的产品外包装信息化防差错方法中，将所述外包装信息标签码与所述预定产品相关联的流程图。
29.图7图示了根据本技术实施例的产品外包装信息化防差错方法中，将所述外包装信息标签码与所述预定产品相关联的系统架构的示意图。
具体实施方式
30.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
31.场景概述
32.如上所述，作为企业传统的两大利润源泉，生产和销售环节在物流活动方面一直缺乏有效的管理和控制。比如，产品的生产方面，进料、加工和配送等流水线作业内容缺乏物流操作详细记录，产品问题难以追查、责任到人。因此，建立高效的畅通的物流信息管理平台是亟需的。
33.在本技术的技术方案中，本技术申请人通过对产品物流的经验观察和实践，发现可通过如下流程来进行信息化的物流信息管理：
34.输入信息：一物一码防伪数据采集设备扫抢扫描批包装上的指令单条码数据，指令单中生产批号、生产日期、产品名称信息自动输入到防伪采集设备，实时将以上数据同步传输给小字符喷码机上，避免人工手动操作小字符喷码机产生错误而产生的返工和顾客投诉。
35.贴标签：生产操作人员领取防伪二维码标签后安装到自动贴标机上，自动贴标机按照产品对应的数据采集口，逐一通过防伪数据采集区域。
36.采集：贴好防伪二维码的外盒通过采集设备，将对应产品信息和二维码对应的码值号段进行逐一关联并上传到云端保存。
37.装箱：每个单品按照装箱数量装满一箱后连接采集设备的打印机会自动打印一个箱贴，操作人员按照操作规程将箱贴贴到外箱的指定位置，此箱贴能使用扫抢扫到追踪到人，是谁制剂、灌装、包装的产品。
38.出车间：每批产品按照规程装满一个托盘后，在5分钟至30分钟内使用pda扫抢扫描此托盘中的任意不同方位的几个防伪二维码箱贴，显示出来此托产品正确的批号、产品名称、数量等信息后可以进行入库房。
39.入库：每一托的产品信息上传成功后可以进行入库，库房的库管员使用pda扫抢进行二次核验数据无误后进行办接收手续。
40.出库：库房操作人员使用pda扫抢扫描防伪二维码箱贴后，可选择整托、单元箱和单元盒等自定义出货单位，选择供应商可以进行扫码出库。
41.物流扫描：库房将产品出到电商物流中心后，物流中心按照客户线上购买面单产品明细进行分配拣货，分好订单产品后，操作人员使用旺店通pda扫抢先扫描面单，再对分配好的每个单品扫描防伪二维码贴进行验货核验，对产品数量、名称与面单信息核验后，扫描成功后即可打包封箱运送至每个客户。
42.因此，基于对上述信息化流程，在本技术的技术方案中，提出了一种产品外包装信
息化防差错系统，其包括：外包装信息标签码生成单元，用于基于预定产品的产品信息生成外包装信息标签码；外包装信息标签码关联单元，用于将所述外包装信息标签码与所述预定产品相关联；批次包装信息标签码生成单元，用于生成包括多个所述预定产品的批次的批次包装信息标签码；入库信息采集整理单元，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；以及，出库和物流信息采集整理单元，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。
43.这样，根据本技术的产品外包装信息化防差错系统能有效的避免产品信息手工输入错误的可能，规避质量事故发生，及时规避了之前市场中由于此种失误而导致的返厂所带来的经济损失。
44.进一步地，在将所述外包装信息标签码与所述预定产品相关联的步骤中，本技术的申请人发现在相关人员贴附外包装信息标签码于产品外包装时，包装信息标签码的贴附状态可能会不符合规范，例如，没有贴附于预定位置、贴歪了，部分区域被遮挡、部分区域被叠置等，上述问题会导致外包装信息标签码无法与所述预定产品建立关联，或者，在后续的环节中，此关联会因物理原因而被破坏。因此，在将所述外包装信息标签码与所述预定产品建立关联的环节中，期待对外包装信息标签码的贴附状态进行检测以确保其贴附状态满足预定要求，从而确保外包装信息标签码能够与所述预定产品建立关联，并且在后续的环节中，此关联不会因物理原因而被破坏。
45.具体地，在本技术的技术方案中，首先通过摄像头采集外包装信息标签码贴附于产品表面的检测图像和参考图像，所述参考图像为外包装信息标签码被规范地贴附于产品表面的图像。应可以理解，在本技术的技术方案中，关键在于比较检测图像和参考图像之间的差异，以此作为依据来判断外包装信息标签码的贴附状态是否符合预定要求。
46.应可以理解，两者之间的差异比较可以在图像源域端之间进行，例如，计算检测图像和参考图像之间的按位置像素差值，并基于按位置像素差值的统计特征来判断两者之间的差异。但是，如果在图像源域端进行图像差异比较时，图像的旋转、拍摄时的景深、检测图像与参考图像在图像内容端的差异都会对两者之间的比较产生较大的影响。应可以理解，在本技术的技术方案中，在对外包装信息标签码的贴附状态进行检测，重点关注参考图像和检测图像所表示的对象，以及，参考图像和检测图像中外包装信息标签码的形状，而对于外包装信息标签码中的内容、外包装信息标签码的尺寸等，并不需要给予过多的关注度。
47.基于上述考量，在本技术的技术方案中，将所述检测图像和所述参考图像通过深度神经网络模型进行特征映射，以将所述检测图像和所述参考图像从图像源域映射到深度特征空间中，并在深度特征空间中对两者差异进行评估。具体地，在本技术的技术方案中，将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块。也就是，在本技术的技术方案中，以具有相同结构的卷积神经网络模型作为特征映射器来分别将所述检测图像和所述参考图像从图像源域映射到深度特征空间中。
48.这里，本领域普通技术人员应知晓，卷积神经网络模型在提取图像特征方面具有
优异性能表面，并且，卷积神经网络模型在特征提取方面具有如下特征：一.特征位置不变性；二.其浅层提取的是形状、纹理和线条等特征；三.其深层提取的是更为抽象的本质特征，例如，表示对象的类型等。因此，在本技术的技术方案中，采用包含包含深浅特征融合模块的卷积神经网络模型，例如，在一个具体的示例中，可使用金字塔网络作为所述卷积神经网络模型。
49.进一步地，在深度特征空间中，计算所述第一特征图和所述第二特征图之间的差分特征图，以此来表示检测图像和参考图像在深度特征空间中的特征分布之间的差异。考虑到在进行浅层特征和深层特征融合时，通常采用沿通道方向级联的方式进行级联，因此，从所述差分特征图的通道维度来看，其前部分通道维度的特征矩阵更加聚焦于检测图像和参考图像在浅层特征方面的差异，包括形状、纹理和边缘级别的差异，而后部分通道维度的特征矩阵更加聚焦于检测图像和参考图像在深层特征方面的差异，例如，对象类型之间的差异等。
50.因此，为了使得检测图像和参考图像之间的比较更适配于本技术场景的需求，在本技术的技术方案中，将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图。然后，将所述第一局部差分特征图和所述第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果。也就是，以分类器来对所述第一局部差分特征图和所述第二局部差分特征图进行分类判断以得到第一分类结果和第二分类结果，其中，所述第一分类结果用于表示检测图像和参考图像在浅层特征空间中的差异是否满足预定要求，所述第二分类结果用于表示检测图像和参考图像在深层特征空间中的差异是否满足预定要求。进而，基于所述第一分类结果和所述第二分类结果，确定外包装信息标签码的贴附状态是否满足要求，也就是，响应于所述第一分类结果为检测图像和参考图像在浅层特征空间中的差异满足预定要求以及所述第二分类结果为检测图像和参考图像在深层特征空间中的差异满足预定要求，确定外包装信息标签码的贴附状态满足要求，而如果所述第一分类结果和所述第二分类结果中任一其中一个分类结果为否，则确定外包装信息标签码的贴附状态不满足要求。
51.特别地，在本技术的技术方案中，由于所述第一特征图和所述第二特征图之间的差分特征图是所述第一特征图和所述第二特征图的各个位置的特征值之间计算差分得到的，考虑到相对于作为标准贴附状态下的图像语义特征表达的第二特征图，第一特征图所表达的一般贴附状态下的图像语义特征会具有呈现出符合自然状态下的高斯分布的贴附差异，由此所述差分特征图的特征值分布也在一定程度上符合自然状态下的高斯分布，即检测图像和参考图像的图像差分特征的相对平均差分度具有最高的概率密度，而具有相对强差分度和相对弱差分度的概率密度都较低。这样，所获得的第一局部差分特征图和第二局部差分特征图均可能存在各个特征值之间在全局关联关系上的聚类效果不良的情况，从而弱化了影响分类结果的关键全局特征分布，影响所述第一局部差分特征图和所述第二局部差分特征图的分类效果。
52.基于此，对所述第一局部差分特征图和所述第二局部差分特征图进行特征聚类的去聚焦模糊优化，表示为：
[0053][0054][0055]
μ1和δ1分别是特征集合的均值和标准差，μ2和δ2分别是特征集合的均值和标准差，且和分别是所述第一局部差分特征图f1和所述第二局部差分特征图f2的第(i,j,k)位置的特征值。
[0056]
这里，所述特征聚类的去聚焦模糊优化通过将用于估计聚类度量值的聚焦堆栈表示进行基于统计信息的特征聚类索引，来补偿遵循高斯点分布的高频分布特征相对于整体特征分布的均一化表示的依赖相似度，从而避免由于该依赖相似度低而引起整体特征分布的聚焦模糊，这样，就提升了所述第一局部差分特征图和所述第二局部差分特征图的分类效果。
[0057]
基于此，本技术提供了一种产品外包装信息化防差错系统，其包括：外包装信息标签码生成单元，用于基于预定产品的产品信息生成外包装信息标签码；外包装信息标签码关联单元，用于将所述外包装信息标签码与所述预定产品相关联；批次包装信息标签码生成单元，用于生成包括多个所述预定产品的批次的批次包装信息标签码；入库信息采集整理单元，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；以及，出库和物流信息采集整理单元，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。
[0058]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0059]
示例性系统
[0060]
图1图示了根据本技术实施例的产品外包装信息化防差错系统的框图示意图。如图1所示，根据本技术实施例的所述产品外包装信息化防差错系统100，包括：外包装信息标签码生成单元110，用于基于预定产品的产品信息生成外包装信息标签码；外包装信息标签码关联单元120，用于将所述外包装信息标签码与所述预定产品相关联；批次包装信息标签码生成单元130，用于生成包括多个所述预定产品的批次的批次包装信息标签码；入库信息采集整理单元140，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；以及，出库和物流信息采集整理单元150，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。
[0061]
在本技术实施例中，所述外包装信息标签码生成单元110，用于基于预定产品的产品信息生成外包装信息标签码。具体地，可由一物一码的防伪数据采集设备使用扫抢扫描产品的批包装上的指令单条码数据，以将指令单中的生产批号、生产日期、产品名称等信息自动输入到防伪采集设备，并且实时将以上数据同步传输给小字符喷码机，以通过小字符
喷码机获得外包装信息标签码，例如防伪二维码标签，这样，可以避免人工手动操作小字符喷码机产生错误而产生的返工和顾客投诉。
[0062]
在本技术实施例中，所述外包装信息标签码关联单元120，用于将所述外包装信息标签码与所述预定产品相关联。具体的，在生成防伪二维码标签的情况下，可以直接通过将标签贴于产品外包装的方式来进行关联，更具体地，可由生产操作人员领取防伪二维码标签后安装到自动贴标机上，自动贴标机按照产品对应的数据采集口，逐一通过防伪数据采集区域。这样，贴好防伪二维码的外盒通过采集设备后，可以直接将对应产品信息和二维码对应的码值号段进行逐一关联，并可以上传到云端保存。
[0063]
在本技术实施例中，所述外包装信息标签码关联单元120，进一步包括贴附状态检测设备200，用于对所述外包装信息标签码的贴附状态进行检测。应可以理解，在将所述外包装信息标签码与所述预定产品相关联的步骤中，本技术的申请人发现在相关人员贴附外包装信息标签码于产品外包装时，包装信息标签码的贴附状态可能会不符合规范，例如，没有贴附于预定位置、贴歪了，部分区域被遮挡、部分区域被叠置等，上述问题会导致外包装信息标签码无法与所述预定产品建立关联，或者，在后续的环节中，此关联会因物理原因而被破坏。因此，在将所述外包装信息标签码与所述预定产品建立关联的环节中，期待对外包装信息标签码的贴附状态进行检测以确保其贴附状态满足预定要求，从而确保外包装信息标签码能够与所述预定产品建立关联，并且在后续的环节中，此关联不会因物理原因而被破坏。
[0064]
图2图示了根据本技术实施例的产品外包装信息化防差错系统中外包装信息标签码关联单元的框图。如图2所示，所述外包装信息标签码关联单元120，包括贴附状态检测设备200；其中，所述贴附状态检测设备200，包括：图像采集模块210，用于获取由摄像头采集的待检测外包装信息标签码的检测图像和参考图像，所述参考图像为所述外包装信息标签码被规范地贴附于产品的图像；孪生检测模块220，用于将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块；差分模块230，用于计算所述第一特征图和所述第二特征图之间的差分特征图；通道划分模块240，用于将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图；特征分布优化模块250，用于对所述第一局部差分特征图和所述第二局部差分特征图进行特征分布优化以得到优化第一局部差分特征图和优化第二局部差分特征图；分类模块260，用于将所述优化第一局部差分特征图和所述优化第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果；以及，贴附状态检测结果生成模块270，用于基于所述第一分类结果和所述第二分类结果，确定所述待检测外包装信息标签码的贴附状态是否满足要求。
[0065]
在本技术实施例中，所述图像采集模块210，用于获取由摄像头采集的待检测外包装信息标签码的检测图像和参考图像，所述参考图像为所述外包装信息标签码被规范地贴附于产品的图像。应可以理解，在本技术的技术方案中，通过比较检测图像和参考图像之间的差异，以此作为依据来判断外包装信息标签码的贴附状态是否符合预定要求。
[0066]
在本技术实施例中，所述孪生检测模块220，用于将所述检测图像和所述参考图像
分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块。应可以理解，两者之间的差异比较可以在图像源域端之间进行，例如，计算检测图像和参考图像之间的按位置像素差值，并基于按位置像素差值的统计特征来判断两者之间的差异。但是，如果在图像源域端进行图像差异比较时，图像的旋转、拍摄时的景深、检测图像与参考图像在图像内容端的差异都会对两者之间的比较产生较大的影响。应可以理解，在本技术的技术方案中，在对外包装信息标签码的贴附状态进行检测，重点关注参考图像和检测图像所表示的对象，以及，参考图像和检测图像中外包装信息标签码的形状，而对于外包装信息标签码中的内容、外包装信息标签码的尺寸等，并不需要给予过多的关注度。
[0067]
基于上述考量，在本技术的技术方案中，将所述检测图像和所述参考图像通过深度神经网络模型进行特征映射，以将所述检测图像和所述参考图像从图像源域映射到深度特征空间中。具体地，在本技术的技术方案中，将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块。也就是，在本技术的技术方案中，以具有相同结构的卷积神经网络模型作为特征映射器来分别将所述检测图像和所述参考图像从图像源域映射到深度特征空间中。应可以理解，使用相同结构的卷积神经网络模型可以使获得的特征图维度和大小统一，便于后续的在高维特征空间中的特征分布差异计算。
[0068]
同时，本领域普通技术人员应知晓，本技术之所以采用卷积神经网络模型，是由于在提取图像特征方面具有优异性能，即特征位置不变性、其能够在浅层提取到形状、纹理和线条等特征以及其能够深层提取到更为抽象的本质特征，例如，表示对象的类型等，但考虑到如果使用标准的卷积神经网络模型，随着其编码深度的加深，浅层的特征会变得模糊甚至丢失。因此，在本技术的技术方案中，采用包含包含深浅特征融合模块的卷积神经网络模型。
[0069]
图3图示了根据本技术实施例的产品外包装信息化防差错系统中检测图像编码单元的框图。如图3所示，在本技术一个具体的实施例中，所述孪生检测模块220，包括；检测图像编码单元221；其中，所述检测图像编码单元221，包括：第一浅层特征提取子单元2211，用于从所述第一卷积神经网络的浅层提取第一浅层特征图；第一深层特征提取子单元2212，用于从所述第一卷积神经网络的深层提取第一深层特征图；以及，第一融合子单元2213，用于将所述第一浅层特征图和所述第一深层特征图进行级联以得到所述第一特征图。
[0070]
在本技术一个具体的实施例中，所述第一卷积神经网络的浅层为所述第一卷积神经网络的1-6层，所述第一卷积神经网络的深层/浅层之间的比值大于等于10。
[0071]
图4图示了根据本技术实施例的产品外包装信息化防差错系统中参考图像编码单元的框图。如图4所示，在本技术一个具体的实施例中，所述孪生检测模块220，还包括；参考图像编码单元222；其中，所述参考图像编码单元222，包括：第二浅层特征提取子单元2221，用于从所述第二卷积神经网络的浅层提取第二浅层特征图；第二深层特征提取子单元2222，用于从所述第一卷积神经网络的深层提取第二深层特征图；以及，第二融合子单元
2223，用于将所述第二浅层特征图和所述第二深层特征图进行级联以得到所述第二特征图。
[0072]
在本技术实施例中，所述差分模块230，用于计算所述第一特征图和所述第二特征图之间的差分特征图。应可以理解，所述第一特征图包含有所述检测图像的浅层特征和深层特征，所述第二特征图包含有所述参考图像的浅层特征和深层特征。但两者的特征并未关联，也就是未在深度特征空间中对两者差异进行评估，因此，在本技术技术方案中，计算所述第一特征图和所述第二特征图之间的按位置差分以得到表征所述检测图像与所述参考图像在高维特征空间中的特征分布差异的差分特征图。
[0073]
在本技术一个具体的实施例中，所述差分模块230，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的差分特征图，包括：
[0074]
其中，所述公式为：
[0075][0076]
其中，fa表示所述第一特征图，表示按位置作差，fb表示所述第二特征图，且fn表示所述差分特征图。
[0077]
在本技术实施例中，所述通道划分模块240，用于将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图。应可以理解，在深度特征空间中，计算所述第一特征图和所述第二特征图之间的差分特征图，以此来表示检测图像和参考图像在深度特征空间中的特征分布之间的差异。考虑到在进行浅层特征和深层特征融合时，通常采用沿通道方向级联的方式进行级联，因此，从所述差分特征图的通道维度来看，其前部分通道维度的特征矩阵更加聚焦于检测图像和参考图像在浅层特征方面的差异，包括形状、纹理和边缘级别的差异，而后部分通道维度的特征矩阵更加聚焦于检测图像和参考图像在深层特征方面的差异，例如，对象类型之间的差异等。
[0078]
因此，为了使得检测图像和参考图像之间的比较更适配于本技术场景的需求，在本技术的技术方案中，将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图。其中，所述具有第一通道数的第一局部差分特征图包含有所述检测图像和所述参考图像在浅层特征空间中的特征分布差异信息，所述具有第二通道数的第二局部差分特征图包含有所述检测图像和所述参考图像在深层特征空间中的特征分布差异信息。
[0079]
在本技术实施例中，所述特征分布优化模块250，用于对所述第一局部差分特征图和所述第二局部差分特征图进行特征分布优化以得到优化第一局部差分特征图和优化第二局部差分特征图。在本技术的技术方案中，由于所述第一特征图和所述第二特征图之间的差分特征图是所述第一特征图和所述第二特征图的各个位置的特征值之间计算差分得到的，考虑到相对于作为标准贴附状态下的图像语义特征表达的第二特征图，第一特征图所表达的一般贴附状态下的图像语义特征会具有呈现出符合自然状态下的高斯分布的贴附差异，由此所述差分特征图的特征值分布也在一定程度上符合自然状态下的高斯分布，即检测图像和参考图像的图像差分特征的相对平均差分度具有最高的概率密度，而具有相对强差分度和相对弱差分度的概率密度都较低。这样，所获得的第一局部差分特征图和第二局部差分特征图均可能存在各个特征值之间在全局关联关系上的聚类效果不良的情况，
从而弱化了影响分类结果的关键全局特征分布，影响所述第一局部差分特征图和所述第二局部差分特征图的分类效果。基于此，对所述第一局部差分特征图和所述第二局部差分特征图进行特征聚类的去聚焦模糊优化。
[0080]
在本技术一个具体的实施例中，所述特征分布优化模块，包括：
[0081]
第一优化单元，用于以如下公式对所述第一局部差分特征图进行特征分布优化以得到所述优化第一局部差分特征图；
[0082]
其中，所述公式为：
[0083][0084]
其中，μ1和δ1分别是特征集合的均值和标准差，分别是所述第一局部差分特征图f1的第(i,j,k)位置的特征值，且是所述优化第一局部差分特征图f3的第(i,j,k)位置的特征值；以及
[0085]
第二优化单元，用于以如下公式对所述第二局部差分特征图进行特征分布优化以得到所述优化第二局部差分特征图；
[0086]
其中，所述公式为：
[0087][0088]
其中，μ2和δ2分别是特征集合的均值和标准差，分别是所述第二局部差分特征图f2的第(i,j,k)位置的特征值，且是所述优化第二局部差分特征图f4的第(i,j,k)位置的特征值。
[0089]
这里，所述特征聚类的去聚焦模糊优化通过将用于估计聚类度量值的聚焦堆栈表示进行基于统计信息的特征聚类索引，来补偿遵循高斯点分布的高频分布特征相对于整体特征分布的均一化表示的依赖相似度，从而避免由于该依赖相似度低而引起整体特征分布的聚焦模糊，这样，就提升了所述第一局部差分特征图和所述第二局部差分特征图的分类效果。
[0090]
在本技术实施例中，所述分类模块260，用于将所述优化第一局部差分特征图和所述优化第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果。也就是，以分类器来对所述第一局部差分特征图和所述第二局部差分特征图进行分类判断以得到第一分类结果和第二分类结果，其中，所述第一分类结果用于表示所述检测图像和所述参考图像在浅层特征空间中的差异是否满足预定要求，所述第二分类结果用于表示所述检测图像和所述参考图像在深层特征空间中的差异是否满足预定要求。
[0091]
在本技术一个具体的实施例中，所述分类模块，包括：第一分类单元，用于使用所述分类器以如下公式对所述优化第一局部差分特征图进行处理以获得第一分类结果；其中，所述公式为：o1＝softmax{(wc,bc)|project(f3)}，其中project(f3)表示将所述优化第一局部差分特征图投影为向量，wc为权重矩阵，bc表示偏置向量；以及，第二分类单元，用于
使用所述分类器以如下公式对所述优化第一局部差分特征图进行处理以获得第二分类结果；其中，所述公式为：o2＝softmax{(wc,bc)|project(f4)}，其中project(f4)表示将所述优化第一局部差分特征图投影为向量，wc为权重矩阵，bc表示偏置向量。
[0092]
在本技术实施例中，所述贴附状态检测结果生成模块270，用于基于所述第一分类结果和所述第二分类结果，确定所述待检测外包装信息标签码的贴附状态是否满足要求。也就是，响应于所述第一分类结果为检测图像和参考图像在浅层特征空间中的差异满足预定要求以及所述第二分类结果为检测图像和参考图像在深层特征空间中的差异满足预定要求，确定外包装信息标签码的贴附状态满足要求，而如果所述第一分类结果和所述第二分类结果中任一其中一个分类结果为否，则确定外包装信息标签码的贴附状态不满足要求。
[0093]
在本技术实施例中，所述批次包装信息标签码生成单元130，用于生成包括多个所述预定产品的批次的批次包装信息标签码。具体地，将所述预定产品的每个单品按照装箱数量装满一箱后连接采集设备的打印机，使得打印机自动打印一个箱贴，然后由操作人员按照操作规程将箱贴贴到外箱的指定位置，此箱贴能使用扫抢追踪到人，例如是谁制剂、灌装、包装的产品。
[0094]
在本技术实施例中，所述入库信息采集整理单元140，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理。具体地，在每批产品按照规程装满一个托盘后，在5分钟至30分钟内使用pda扫抢扫描此托盘中的任意不同方位的几个防伪二维码箱贴，显示出来此托产品正确的批号、产品名称、数量等信息后可以进行入库房。并且，每一托的产品信息上传成功后可以进行入库，库房的库管员使用pda扫抢进行二次核验数据无误后进行办接收手续。
[0095]
在本技术实施例中，所述出库和物流信息采集整理单元150，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。也就是，在出库时，库房操作人员可以使用pda扫抢扫描防伪二维码箱贴，选择整托、单元箱和单元盒等自定义出货单位，并选择供应商进行扫码出库。然后，在物流过程中，库房将产品出到电商物流中心后，物流中心可以按照客户线上购买面单产品明细进行分配拣货，分好订单产品后，操作人员使用旺店通pda扫抢先扫描面单，再对分配好的每个单品扫描防伪二维码贴进行验货核验，对产品数量、名称与面单信息核验后，扫描成功后即可打包封箱运送至每个客户。
[0096]
综上，基于本技术实施例的所述产品外包装信息化防差错系统，首先，基于预定产品的产品信息生成外包装信息标签码，并将所述外包装信息标签码与所述预定产品相关联；然后，生成包括多个所述预定产品的批次的批次包装信息标签码，并对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；最后，对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验；特别的，在将所述外包装信息标签码与所述预定产品建立关联的环节中，对外包装信息标签码的贴附状态进行检测，从而确保外包装信息标签码能够与所述预定产品建立关联。
[0097]
示例性方法
[0098]
图5图示了根据本技术实施例的产品外包装信息化防差错方法的流程图。如图5所
示，根据本技术实施例的所述产品外包装信息化防差错方法，包括：s110，基于预定产品的产品信息生成外包装信息标签码；s120，外包装信息标签码关联单元，用于将所述外包装信息标签码与所述预定产品相关联；s130，批次包装信息标签码生成单元，用于生成包括多个所述预定产品的批次的批次包装信息标签码；s140，入库信息采集整理单元，用于对待入库的多个批次的预定产品基于所述批次包装信息标签码进行信息采集和整理；以及，s150，出库和物流信息采集整理单元，用于对出库的产品进行基于所述入库信息、所述批次包装信息和所述外包装信息为单位的信息采集和整理，并在物流过程中对所述出库的产品进行核验。
[0099]
图6图示了根据本技术实施例的产品外包装信息化防差错方法中，将所述外包装信息标签码与所述预定产品相关联的流程图。如图6所示，所述将所述外包装信息标签码与所述预定产品相关联，包括对所述外包装信息标签码的贴附状态进行检测。其中，所述对所述外包装信息标签码的贴附状态进行检测，包括：s210，获取由摄像头采集的待检测外包装信息标签码的检测图像和参考图像，所述参考图像为所述外包装信息标签码被规范地贴附于产品的图像；s220，将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，其中，所述第一卷积神经网络和所述第二卷积神经网络具有相同的网络结构，所述第一卷积神经网络和所述第二卷积神经网络都包含深浅特征融合模块；s230，计算所述第一特征图和所述第二特征图之间的差分特征图；s240，将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图；s250，对所述第一局部差分特征图和所述第二局部差分特征图进行特征分布优化以得到优化第一局部差分特征图和优化第二局部差分特征图；s260，将所述优化第一局部差分特征图和所述优化第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果；以及，s270，基于所述第一分类结果和所述第二分类结果，确定所述待检测外包装信息标签码的贴附状态是否满足要求。
[0100]
图7图示了根据本技术实施例的产品外包装信息化防差错方法中，将所述外包装信息标签码与所述预定产品相关联的系统架构的示意图。如图7所示，在本技术实施例的所述将所述外包装信息标签码与所述预定产品相关联的系统架构的中，首先，获取由摄像头采集的待检测外包装信息标签码的检测图像，并将所述检测图像通过双重检测模型的第一卷积神经网络以得到第一特征图。同时，获取待检测外包装信息标签码的参考图像，并将所述参考图像通过双重检测模型的第二卷积神经网络以得到第二特征图。然后，计算所述第一特征图和所述第二特征图之间的差分特征图，并将所述差分特征图沿着通道维度进行切分以得到具有第一通道数的第一局部差分特征图和具有第二通道数的第二局部差分特征图。接着，对所述第一局部差分特征图进行特征分布优化以得到优化第一局部差分特征图，并将所述优化第一局部差分特征图通过分类器以得到第一分类结果。同时，对所述第二局部差分特征图进行特征分布优化以得到优化第二局部差分特征图，并将所述优化第二局部差分特征图通过分类器以得到第二分类结果。最后，基于所述第一分类结果和所述第二分类结果，确定所述待检测外包装信息标签码的贴附状态是否满足要求。
[0101]
在本技术一个具体的实施例中，所述将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征
图，包括：从所述第一卷积神经网络的浅层提取第一浅层特征图；从所述第一卷积神经网络的深层提取第一深层特征图；以及，将所述第一浅层特征图和所述第一深层特征图进行级联以得到所述第一特征图。
[0102]
在本技术一个具体的实施例中，所述第一卷积神经网络的浅层为所述第一卷积神经网络的1-6层，所述第一卷积神经网络的深层/浅层之间的比值大于等于10。
[0103]
在本技术一个具体的实施例中，所述将所述检测图像和所述参考图像分别通过包含第一卷积神经网络和第二卷积神经网络的双重检测模型以得到第一特征图和第二特征图，还包括；从所述第二卷积神经网络的浅层提取第二浅层特征图；从所述第二卷积神经网络的深层提取第二深层特征图；以及，将所述第二浅层特征图和所述第二深层特征图进行级联以得到所述第二特征图。
[0104]
在本技术一个具体的实施例中，所述计算所述第一特征图和所述第二特征图之间的差分特征图，包括：以如下公式计算所述第一特征图和所述第二特征图之间的差分特征图，包括：
[0105]
其中，所述公式为：
[0106][0107]
其中，fa表示所述第一特征图，表示按位置作差，fb表示所述第二特征图，且fn表示所述差分特征图。
[0108]
在本技术一个具体的实施例中，所述对所述第一局部差分特征图和所述第二局部差分特征图进行特征分布优化以得到优化第一局部差分特征图和优化第二局部差分特征图，包括：以如下公式对所述第一局部差分特征图进行特征分布优化以得到所述优化第一局部差分特征图；
[0109]
其中，所述公式为：
[0110][0111]
其中，μ1和δ1分别是特征集合的均值和标准差，分别是所述第一局部差分特征图f1的第(i,j,k)位置的特征值，且是所述优化第一局部差分特征图f3的第(i,j,k)位置的特征值；以及，以如下公式对所述第二局部差分特征图进行特征分布优化以得到所述优化第二局部差分特征图；
[0112]
其中，所述公式为：
[0113][0114]
其中，μ2和δ2分别是特征集合的均值和标准差，分别是所述第二局部差分特征图f2的第(i,j,k)位置的特征值，且是所述优化第二局部差分特征图f4的第(i,j,k)位置的特征值。
[0115]
在本技术一个具体的实施例中，所述将所述优化第一局部差分特征图和所述优化
第二局部差分特征图分别通过分类器以得到第一分类结果和第二分类结果，包括：使用所述分类器以如下公式对所述优化第一局部差分特征图进行处理以获得第一分类结果；其中，所述公式为：o1＝softmax{(wc,bc)|project(f3)}，其中project(f3)表示将所述优化第一局部差分特征图投影为向量，wc为权重矩阵，bc表示偏置向量；以及，使用所述分类器以如下公式对所述优化第一局部差分特征图进行处理以获得第二分类结果；其中，所述公式为：o2＝softmax{(wc,bc)|project(f4)}，其中project(f4)表示将所述优化第一局部差分特征图投影为向量，wc为权重矩阵，bc表示偏置向量。
[0116]
这里，本领域技术人员可以理解，上述产品外包装信息化防差错方法中的各个步骤的具体操作已经在上面参考图1到图4的产品外包装信息化防差错系统的描述中得到了详细介绍，并因此，将省略其重复描述。