残损人民币销毁前检测系统和检测方法与流程
本发明属于图像识别技术领域，具体涉及一种残损人民币销毁前检测系统和检测方法。
背景技术：
人民币销毁设备是针对残损人民币的销毁需要而研发的大型专用设备。人民银行钞票处理中心从商业银行回收的旧钞的生产处理过程包括清分、数数捆千、贴标、装箱、拆箱、数数二次复核、销毁等环节。在这些环节中，产品销毁生产过程分为机器自动销毁和人工销毁两条业务流程，自动销毁主要针对回收质量较好的产品。人工销毁是针对回收质量较差，无法进行机器自动销毁的产品，这些产品完全依靠人工进行清分、数数、捆千、销毁。在实际操作过程中数字安全极为重要，由于捆百条松动、散把等异常情况，捆百产品在捆千后不足10个，造成的数字风险，同时由于人为因素造成产品中夹杂金属硬币，这些产品在机器中粉碎时会造成的机器的损坏，同一品种中混杂其它品种的产品会造成数字安全，同时工艺规定对夹杂在产品中的信封必须进行人工确认。目前，在这些生产处理过程中，完全依靠各工位人工进行操作，因此存在着一定风险和数字安全隐患。所以非常有必要开发一套具备捆百条数量、产品中夹杂金属、产品品种、夹杂信封自动检测系统即钞票销毁数量稽核系统。
技术实现要素：
为解决上述技术问题，本发明提供一种残损人民币销毁前检测系统和检测方法，利用图像检测、自动控制等技术，对销毁产品状态进行实时监控，有利于提高产品的异常状态报警的及时性，有效的防范数字风险，同时降低异常销毁产品造成设备的损坏，实现残损人民币销毁前通过图像识别方法来监控产品数字安全。
为克服上述技术问题，本发明提供一种残损人民币销毁前检测系统，其包括：整袋数量检测模块、捆把检测模块和金属异物检测模块；
所述整袋数量检测模块通过图像采集子模块进行图像采集，将采集到的整袋人民币图像信息输入到图像采集子模块中；通过图像处理子模块采用人工神经网络算法去识别整袋产品中的人民币捆数量和人民币面额；
所述捆把检测模块通过图像采集子模块进行图像采集，将采集到的每捆人民币图像信息输入到图像采集子模块中，通过图像处理子模块采用的人工神经网络算法去检测每捆人民币产品捆把数量、捆中是否夹把、散把、夹带信封等；
所述金属异物检测模块通过图像采集子模块采集图像，将采集到的透射图像信息输入到图像采集子模块中，通过图像处理子模块采用图像分割算法检测每捆人民币产品中是否有金属物品。
本发明还提供一种采用上述残损人民币销毁前检测系统进行残损人民币销毁前检测方法，其具体包括：
第1步，整袋残损人民币捆数量检测、人民币面额检测；
第2步，整捆人民币捆把数量、夹把、散把以及夹带信封识别；
第3步，人民币产品中存在金属物体识别；
第4步，如果第1步至第3步任意一步发生异常情况，报警停机。
所述第4步进一步具体为对检测捆数量、捆面额、把数量与预期值不一致、夹把、散把、信封等异常情况给出相应的报警停机信号，对产品中夹带金属物体的异常情况给出相应的报警停机信号。
所述第1步进一步具体如下：
第1-1步，检测装置所采用的检测系统准备好；
第1-2步，整袋人民币准备好，人工触按整袋检测按钮触发面阵ccd相机对整袋产品进行拍照，整袋数量检测模块的图像处理子模块获取图像；
第1-3步，整袋数量检测模块的图像处理子模块自动检测整袋人民币捆的数量和每捆钱的面额；
第1-4步，图像处理子模块判断当前人民币捆数与面额是否与设定的预期值一致，出现异常通知plc逻辑控制模块；
第1-5步，图像处理子模块将检测结果与图像信息存储到数据库中；
第1-6步，在满足一定的条件下plc逻辑控制模块启动投料皮带，进入第2步的捆把检测环节。
所述第2步进一步具体如下：
第2-1步，投料传输带获取连续图像，输出判定为产品的整捆图像；
第2-2步，所述捆把检测模块的图像处理子模块识别整捆产品中把的数量；
第2-3步，所述图像处理子模块判定整捆产品中识别把结果正确性；
第2-4步，所述图像处理子模块判定当前捆是否存在夹把；
第2-5步，图像处理子模块判定当前捆是否散把；
第2-6步，图像处理子模块判定当前捆是否夹带信封；
第2-7步，数把图像处理子模块进行光电校验；
第2-8步，对步骤2-2～2-6出现异常情况通知plc逻辑控制模块；
第2-9步，图像处理子模块将检测结果与图像信息存储到数据库中。
所述第3步进一步具体如下：
第3-1步，光机皮带运转，产品经过光机检测光电触发x光发射器，ccd获取x光产生的图像，传输到所述金属异物检测模块的图像处理子模块；
第3-2步，图像处理子模块识别产品中是否夹杂金属物，具体通过对获取的图像进行滤波和二值化，然后对二值化后的图像进行连通域分析，满足阈值条件的识别为金属物；
第3-3步，数据传输子模块对出现夹带金属异常情况通知plc逻辑控制模块；
第3-4步，数据传输子模块把检测到存在金属图像传输到各检测站进行显示；
第3-5步，plc逻辑控制模块对异常情况启动报警停机信号；
第3-6步，存储模块将检测结果与图像信息存储到数据库中；
第3-7步，继续获取下一幅待检测图像。
其中，所述第1-3步进一步具体为：
第1-3-1步，整袋人民币图像进行预处理；
第1-3-2步，整袋数量检测模块的图像处理子模块对独立捆进行分割，识别捆数；
第1-3-3步，整袋数量检测模块的图像处理子模块通过对分割捆的标签或实际面额识别面额。
其中，所述第1-3-2步中图像处理子模块对独立捆进行分割，识别捆的步骤进一步具体如下：
第1-3-2-1步，对输入图像进行白场矫正；
第1-3-2-2步，对产品区域图像使用卷积神经网络算法识别产品的券别；
第1-3-2-3步，输出钱捆产品的数量及每个钱捆的面额。
其中，所述第2-2步图像处理子模块识别整捆产品中把的数量包括如下步骤：
第2-2-1步，对输入图像进行仿射变换，使产品旋转并居中；
第2-2-2步，对待选区使用人工神经网络算法处理确定钱捆中捆把条疑似的位置；
第2-2-3步，利用先验知识对捆把条的尺寸、位置、重叠率、填充率等信息进行判定确认捆把条的位置；
第2-2-4步，输出钱捆产品的捆把数量。
所述第2-4步，图像处理子模块判定当前捆是否存在夹把包括如下步骤：
第2-4-1步，输入原始图像、捆把条位置、钱捆位置；
第2-4-2步，对图像进行仿射校正；
第2-4-3步，图像预处理；
第2-4-4步，二值化图像；
第2-4-5步，边缘提取；
第2-4-6步，边界凸包检测；
第2-4-7步，判断凸包形态，满足相关条件的标识为夹把。
所述第2-5步，图像处理子模块判定当前钱捆是否散把包括如下步骤：
(2-5-1)输入原始图像、捆把条位置、钱捆位置；
(2-5-2)对图像进行仿射校正；
(2-5-3)图像预处理；
(2-5-4)二值化图像；
(2-5-5)对二值化图像进行连通域分析；
(2-5-6)根据捆把条位置信息和连通域位置信息，找出与捆把条位置对应的连通域区域；
(2-5-7)统计两个区域y方向覆盖率，根据y方向的整体覆盖率和整捆高度信息之间的比值进行散把判定，满足阈值条件的标识为散把。
所述第2-6步图像处理子模块判定当前捆是否存在信封包括如下步骤：
(2-6-1)输入原始图像、捆把条位置、钱捆位置；
(2-6-2)对图像进行仿射校正；
(2-6-3)图像预处理；
(2-6-4)统计捆把条位置的颜色信息；
(2-6-5)对图像进行颜色校正；
(2-6-6)二值化图像；
(2-6-7)对二值化图像进行连通域分析，包括连通域的面积，尺寸，满足阈值条件的标识为信封。
本发明提供一种残损人民币销毁前检测系统和检测方法，利用图像检测、自动控制等技术，设计了销毁产品输送系统，并在传输系统上安装产品信息、数量检测系统，并对销毁产品状态进行实时监控，有利于提高产品的异常状态报警的及时性，有效的防范数字风险，同时降低异常销毁产品造成设备的损坏，实现残损人民币销毁前通过图像识别方法来监控产品数字安全。
附图说明
图1是本发明残损人民币销毁前检测装置的总体硬件结构图。
图2是本发明残损人民币销毁前检测装置的总体硬件结构前视图。
图3是本发明残损人民币销毁前检测装置的总体硬件结构侧视图。
图4是本发明产品残损人民币销毁前检测装置的数量检测单元硬件结构示意图。
图5是本发明残损人民币销毁前检测装置的总体硬件布局示意图。
图6是整个检测装置的检测流程的流程图。
图7是检测方法第1步具体流程示意图。
图8是检测方法第2步具体流程示意图。
图9是检测方法第3步具体流程示意图。
图10是图像处理子模块输出异常通知plc逻辑控制模块流程示意图。
图11是第2步所在步骤2-2处理子模块识别钱捆数把算法流程示意图。
图12是第2步在步骤2-4处理模块识别钱捆夹把算法流程示意图。
图13是第2步在步骤2-5处理模块识别钱捆散把算法流程示意图。
图14是第2步在步骤2-6处理模块识别钱捆存在信封算法流程示意图。
具体实施方式
本发明提供一种残损人民币销毁前检测系统，其包括：整袋数量检测模块、捆把检测模块和金属异物检测模块；
所述整袋数量检测模块通过图像采集子模块采用面阵ccd相机和环形led光源进行图像采集，将采集到的整袋人民币图像信息输入到图像采集子模块中；通过图像处理子模块采用人工神经网络算法去识别整袋产品中的人民币捆数量和人民币面额。
所述捆把检测模块通过图像采集子模块采用线阵ccd相机和条形led光源进行图像采集，将采集到的每捆人民币图像信息输入到图像采集子模块中，通过图像处理子模块采用的人工神经网络算法去检测每捆人民币产品捆把数量、捆中是否夹把、散把、夹带信封等；
所述金属异物检测模块通过图像采集子模块采用硬件x射线发射装置对人民币进行照射，通过x射线接收装置接收穿过人民币的x射线，形成透射图像，将采集到的透射图像信息输入到图像采集子模块中，通过图像处理子模块采用图像分割算法检测每捆人民币产品中是否有金属物品。
使上述系统运行的残损人民币销毁前检测装置，其包括产品投料传输装置、检测成像装置、数据存储装置和plc控制系统装置；所述产品投料传输装置具体为传输带；所述数据存储装置具体为远程服务器，设有数据库，用于存储图像信息；所述检测成像装置包含四个独立的产品数量检测单元和一个金属异物检测单元，分别位于产品投料传输装置的不同位置，所述四个独立的产品数量检测单元均各自包括一个整袋数量检测单元和一个捆把检测单元，所述整袋数量检测单元和捆把检测单元都包括ccd相机、检测相机支架、led光源、相机光源支架和算法处理计算机；所述金属异物检测单元包括金属探测仪和和金属检测算法处理计算机。
所述整袋数量检测单元通过面阵ccd摄像机实现整袋人民币图像信息采集，图像处理子模块对采集到的图像识别整袋产品中的人民币捆包数量和对应面额，并将结果记录入数据库中。所述捆把检测单元通过线阵ccd摄像机实现每捆人民币图像信息采集，图像处理子模块对采集到的图像识别捆把、夹把、散把的把数，判断人民币产品中有无信封，并将结果记录入数据库中。所述金属异物检测单元通过x射线对人民币进行照射，通过ccd摄像机接收穿过人民币的x射线，形成图像，识别人民币中是否带有金属物体。
本发明还提供一种残损人民币销毁前检测方法，通过图像识别方法监控产品数字安全，其具体包括：
第1步，整袋残损人民币捆数量检测、人民币面额检测；
第2步，整捆人民币捆把数量、夹把、散把以及夹带信封识别；
第3步，人民币产品中存在金属物体识别；
第4步，如果第1步至第3步任意一步发生异常情况，报警停机。
第1步和第2步的识别过程均通过ccd相机对产品拍摄成像，通过图像处理及模式识别方法来实现识别过程。
所述第4步进一步具体为对检测捆数量、捆面额、把数量与预期值不一致、夹把、散把、信封等异常情况给出相应的报警停机信号，对产品中夹带金属物体的异常情况给出相应的报警停机信号。
所述第1步对整袋残损人民币捆数量检测、人民币面额检测，进一步具体如下：
第1-1步，准备好检测装置所采用的检测系统准备好；
第1-2步，整袋人民币准备好，人工触按整袋检测按钮触发面阵ccd相机对整袋产品进行拍照，整袋数量检测模块的图像处理子模块获取图像；
第1-3步，整袋数量检测模块的图像处理子模块自动检测整袋人民币捆的数量和每捆钱的面额；
第1-4步，图像处理子模块判断当前人民币捆数与面额是否与设定的预期值一致，出现异常通知plc逻辑控制模块；
第1-5步，图像处理子模块将检测结果与图像信息存储到数据库中；
第1-6步，在满足一定的条件下plc逻辑控制模块启动投料皮带，进入第2步的捆把检测环节。
所述第1-1步中需要确认好检测成像装置的软件和硬件系统是否都满足相应的条件，具体为：
检测成像装置的侦测ccd相机连接正常；
检测成像装置中的检测程序与plc通讯正常；
检测成像装置中的检测程序与数据库通讯正常；
检测软件系统成功从数据库获取正确的生产、人员等基础信息；
各机器急停按钮未按下；
检测成像装置与金属检测仪通讯正常；
授权现场管理人员、操作人员打卡完成；
传送带外壳密封装置所有门锁处于锁死状态。
所述传送带外壳密封装置，由透明的有机玻璃组装而成，罩在传送带外面，带有电磁锁，平时锁闭，当出现异常时，通过软件界面解锁按钮开启电磁锁，处理异常情况。
所述第1-2步中的步骤进一步具体为：
第1-2-1步，整袋人民币放置在工作台指定位置；
第1-2-2步，整袋拍照按钮按下；
第1-2-3步，plc接收到按钮信号，通过io模块触发ccd相机拍摄；
第1-2-4步，检测软件通过整袋数量检测模块的图像采集子模块获取整袋产品图像。
所述第1-3步进一步具体为：
第1-3-1步，整袋人民币图像进行预处理；
第1-3-2步，整袋数量检测模块的图像处理子模块对独立捆进行分割，识别捆数；
第1-3-3步，整袋数量检测模块的图像处理子模块通过对分割捆的标签或实际面额识别券别。
所述第1-3-2步中图像处理子模块对独立捆进行分割，识别捆的步骤进一步具体如下：
第1-3-2-1步，对输入图像进行白场矫正；
第1-3-2-2步，对产品区域图像使用卷积神经网络算法识别产品的券别；
第1-3-2-3步，输出钱捆产品的数量及每个钱捆的面额。
所述第1-3-2-2步进一步具体为：
第1-3-2-2-1步，对整箱残币的封签识别：通过神经网络技术，对封签图像进行特征提取，包括封签的颜色、形状、字符、二维码等特征信息，具体过程如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出用于对不同券别封签的分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型对现场的封签图像进行识别分类；
第1-3-2-2-2步，对整箱残币的票面识别：通过神经网络技术，对票面图像进行特征提取，该票面包括不同券别的残币正、反面，所提取的特征包括：颜色、图纹、数字、水印等特征信息；具体步骤如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出用于对不同票面的分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型对现场的整箱票面图像进行识别分类；
第1-3-2-2-3步，在得到票面或者封签的分类信息后，按照不同券别对图像中的整箱残币进行数量统计，根据用户设定的判断规则，给出对应的统计信息。
所述第1-6步所需要满足的条件包括：
整袋人民币检测捆数与预先设置整袋数量一致；
整袋人民币面额全部一致；
当前识别面额与销毁批次预先设置面额和顺序一致；
当前整袋识别面额，在已检测人民币该面额总金额小于预先设定金额。
所述第2步进一步具体包括：
第2-1步，投料传输带获取连续图像，输出判定为产品的整捆图像；
第2-2步，所述捆把检测模块的图像处理子模块识别整捆产品中把的数量；
第2-3步，所述图像处理子模块判定整捆产品中识别把结果正确性；
第2-4步，所述图像处理子模块判定当前捆是否存在夹把；
第2-5步，图像处理子模块判定当前捆是否散把；
第2-6步，图像处理子模块判定当前捆是否夹带信封；
第2-7步，数把图像处理子模块进行光电校验；
第2-8步，对步骤2-2～2-6出现异常情况通知plc逻辑控制模块；
第2-9步，图像处理子模块将检测结果与图像信息存储到数据库中。
所述第2-2步图像处理子模块识别整捆产品中把的数量包括如下步骤：
第2-2-1步，对输入图像进行仿射变换，使产品旋转并居中；
第2-2-2步，对待选区使用人工神经网络算法处理确定钱捆中捆把条疑似的位置；
第2-2-3步，利用先验知识对捆把条的尺寸、位置、重叠率、填充率等信息进行判定确认捆把条的位置；
第2-2-4步，输出钱捆产品的捆把数量。
所述第2-2-2步中的人工神经网络确定捆把条疑似位置的算法具体包括：
第2-2-2-1步通过人工神经网络自动提取捆把条的特征，包括：高度、宽度、填充度等信息，具体过程如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出不同捆把条分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型就可对捆把条进行识别分类；
第2-2-2-2步，对采集到的图像进行平场校正，公式为：
g(x,y)＝f(x,y)*δ(x,y)
其中f(x,y)表示原始图像，g(x,y)表示校正后的图像，δ(x,y)表示校正系数；其中校正系数由以下公式计算得到：
其中m为设定的校正目标值，n表示所用的模板图像数量；
第2-2-2-3步，对平场校正后的图像中的钱捆进行仿射变换，将其转成用户设定好的位置，其中变换公式为：
其中[xaya]'表示变换后的像素坐标，
第2-2-2-4步，将上述图像送入第2-2-2-1步中训练好的模型从而识别出图像中所有的疑似捆把条；
所述步骤2-3图像处理子模块判定整捆产品中识别把结果正确性包括如下步骤：
第2-3-1步，输入原始图像；
第2-3-2步，进行仿射变换将图像进行校正；
第2-3-3步，查找疑似捆把条位置；
第2-3-4步，将图像和疑似捆把条的位置信息输入结果过滤模块；
第2-3-5步，通过填充率、捆把条尺寸、位置、重叠率等信息对每个疑似捆把条进行综合判定，去除重复、误判、多余的捆把条，此数量为最终结果。
所述第2-4步，图像处理子模块判定当前捆是否存在夹把包括如下步骤：
第2-4-1步，输入原始图像、捆把条位置、钱捆位置；
第2-4-2步，对图像进行仿射校正；
第2-4-3步，图像预处理；
第2-4-4步，二值化图像；
第2-4-5步，边缘提取；
第2-4-6步，边界凸包检测；
第2-4-7步，判断凸包形态，满足相关条件的标识为夹把。
所述第2-4-3步中的图像预处理主要是指均值滤波，去除图像的噪点，其原理为：给定一副图像f(x,y)，用领域平均法平滑后的图像g(x,y)用下式表示
式子中s表示在点(x,y)领域内坐标的集合，不包括点(x,y)。m表示集合s内坐标点的总数，领域选择以点(x,y)为中心的区域，周围8个点就是s内坐标点总数。该方法滤波时间短，可以去除噪声带来的干扰。
所述第2-4-4步中的二值化图像主要是对图像进行阈值分割，其公示如下：
其中f(x,y)表示像素的灰度值，t为图像分割阈值。
所述第2-4-5步中边缘提取主要采用sobel算子，假设一幅灰度图像为f(x,y)，在位置(x,y)处的梯度可以表示成一个矢量，定义gx和gy分别为x和y两个方向的梯度分量，则梯度表示为：
▽f(x,y)＝gx,gy＝δf(x,y)δx,δf(x,y)δy
为了在计算过程中更加方便，通常把梯度的分量写成卷积算子的形式，sobel卷积算子如下式所示
所述第2-4-6步中边界凸包检测是指对捆把图像进行边界凸点进行搜索，并把搜索到的边界凸点连接起来构成一个边界凸包，用于指示人民币捆把的边界范围。
所述第2-4-7步中相关条件是指凸包最远点到边界的距离，超过一定阈值即判定为错误。
所述第2-5步，图像处理子模块判定当前钱捆是否散把包括如下步骤：
第2-5-1步，输入原始图像、捆把条位置、钱捆位置；
第2-5-2步，对图像进行仿射校正；
第2-5-3步，图像预处理；
第2-5-4步，二值化图像；
第2-5-5步，对二值化图像进行连通域分析；
第2-5-6步，根据捆把条位置信息和连通域位置信息，找出与捆把条位置对应的连通域区域；
第2-5-7步，统计两个区域y方向覆盖率，根据y方向的整体覆盖率和整捆高度信息之间的比值进行散把判定，满足阈值条件的标识为散把。
所述第2-5-3步中的图像预处理和所述第2-5-4步中二值化图像如第2-4步中所述。
所述第2-6步图像处理子模块判定当前捆是否存在信封包括如下步骤：
第2-6-1步，输入原始图像、捆把条位置、钱捆位置；
第2-6-2步，对图像进行仿射校正；
第2-6-3步，图像预处理；
第2-6-4步，统计捆把条位置的颜色信息；
第2-6-5步，对图像进行颜色校正；
第2-6-6步，二值化图像；
第2-6-7步，对二值化图像进行连通域分析，包括连通域的面积，尺寸，满足阈值条件的标识为信封。
所述第2-6-3步中的图像预处理和第2-6-6步中的二值化图像如第2-4步中所述。
所述第2-6-5步中对图像进行颜色校正的公式为：
g(x,y)＝f(x,y)*δ(x,y)
其中f(x,y)表示原始图像，g(x,y)表示校正后的图像，δ(x,y)表示校正系数；其中校正系数由以下公式计算得到：
其中m为设定的校正目标值，n表示所用的模板图像数量。
所述第2-8步图像处理子模块输出异常通知plc逻辑控制模块包括如下步骤：
第2-8-1步，检测软件系统工控机与plc通过以太网连接，使用tcp协议；
第2-8-2步，检测软件通过tcp协议向plc指定地址写入报警停机信息编码；
第2-8-3步，plc通过扫描读取指定地址内容，解码报警停机内容；
第2-8-4步，plc系统向plc输出模块指定的数据点输出高电平；
第2-8-5步，plc输出模块输出点连接报警器和皮带电机通断继电器，控制报警和停机。
所述第3步进一步具体包括：
第3-1步，光机皮带运转，产品经过光机检测光电触发x光发射器，ccd获取x光产生的图像，传输到所述金属异物检测模块的图像处理子模块；
第3-2步，图像处理子模块识别产品中是否夹杂金属物，具体通过对获取的图像进行滤波和二值化，然后对二值化后的图像进行连通域分析，满足阈值条件的识别为金属物；
第3-3步，数据传输子模块对出现夹带金属异常情况通知plc逻辑控制模块；
第3-4步，数据传输子模块把检测到存在金属图像传输到各检测站进行显示；
第3-5步，plc逻辑控制模块对异常情况启动报警停机信号；
第3-6步，存储模块将检测结果与图像信息存储到数据库中；
第3-7步，继续获取下一幅待检测图像。
第1步整袋检测和第2步捆把检测是用一个计算机完成的，分别为工作站1-4，第三步金属检测是单独的一个计算机进行采图和处理的，为工作站5，四个操作台分别连接的是工作站1-4，正常销毁时4个工人师傅分别在四个操作台进行操作，工作站5在后边的金属检测仪处，所以当金属检测仪出现异常情况，数据传输子模块的任务就是把结果处理传输到工作站1-4上面进行显示。
本发明提供的检测系统和检测方法可对整袋人民币产品进行数量及面额检测与识别实时记录销毁产品数量与面额，识别每捆钱把数量，识别产品是否夹带其它面额的把，判断钱捆是否散把，判定产品是否夹带金属物体，提供异常报警停机信息，并对所述检测结果与全过程产品的图像信息写入数据库中，可对销毁产品进行管理与追溯。
以下采用实施例和附图来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。
如图1至图4所示，本发明提供的残损人民币销毁前检测方法所采用的硬件系统主要包括产品投料传输装置、检测成像装置、数据存储装置和plc控制系统装置；
所述产品投料传输装置具体为传输带1；
所述数据存储装置远程服务器设有数据库，用于存储图像信息；
所述检测成像装置包含四个独立的产品数量检测单元2和一个金属异物检测单元3，如图2和图3所示，四个产品数量检测单元2分别位于产品投料传输装置的上下左右四个不同位置，所述四个独立的产品数量检测单元包括整袋数量检测单元、捆把检测单元，所述整袋数量检测单元和捆把检测单元都包括ccd相机、检测相机支架、led光源、相机光源支架和算法处理计算机；所述金属异物检测单元包括金属探测仪和和金属检测算法处理计算机。
如图4所示，整袋数量检测单元的光源采用环形led光源4和面阵ccd相机5，光源和相机使用同一个支架；捆把检测单元采用条形led光源和线阵ccd相机6，光源和相机使用不同支架。
所述整袋数量检测单元通过面阵ccd摄像机5实现整袋人民币图像信息采集，图像处理子模块对采集到的图像识别整袋产品中的人民币捆包数量和对应面额，并将结果记录入数据库中。所述捆把检测单元通过线阵ccd摄像机6实现每捆人民币图像信息采集，图像处理子模块对采集到的图像识别捆把、夹把、散把的把数，判断人民币产品中有无信封，并将结果记录入数据库中。
所述金属异物检测单元通过x射线对人民币进行照射，通过ccd摄像机接收穿过人民币的x射线，形成图像，识别人民币中是否带有金属物体。
如图5所示，在本发明中，整袋检测和捆把检测是用一个计算机完成的，分别为工作站1-4，第三步金属检测是单独的一个计算机进行采图和处理的，为工作站5，四个操作台分别连接的是工作站1-4，正常销毁时4个工人师傅分别在四个操作台进行操作，工作站5在后边的金属检测仪处，所以当金属检测仪出现异常情况，数据传输子模块的任务就是把结果处理传输到工作站1-4上面进行显示。
如图6所示，本发明提供的残损人民币销毁前检测方法，具体为：
检测前提条件按(1-1)检测系统准备好，系统检测硬件设备工作正常、系统各模块通讯正常，现场负责人在输入ic卡打卡机上打卡确认，投料员上岗打卡确认后，系统处于整袋产品待检测准备好状态；
依次经过整袋检测、数把检测和金属检测，如果最终的检测金额大于或等于预先设定的金额，则结束整个检测过程，否则重复进行检测。
如图7所示，整袋检测过程如下：
(1-2)整袋人民币准备好，人工触按整袋检测按钮触发面阵ccd相机对整袋产品进行拍照，整袋数量检测模块的图像处理子模块获取图像；
(1-3)整袋数量检测模块的图像处理子模块自动检测整袋人民币捆的数量和每捆钱的面额，具体为：
(1-3-1)整袋人民币图像进行预处理；
(1-3-2)整袋数量检测模块的图像处理子模块对独立捆进行分割，识别捆数；
(1-3-3)整袋数量检测模块的图像处理子模块通过对分割捆的标签或实际面额识别面额。
所述第1-3-2步中图像处理子模块对独立捆进行分割，识别捆的步骤进一步具体如下：
第1-3-2-1步，对输入图像进行白场矫正；
第1-3-2-2步，对产品区域图像使用卷积神经网络算法识别产品的券别；
第1-3-2-3步，输出钱捆产品的数量及每个钱捆的面额。
所述第1-3-2-2步进一步具体为：
第1-3-2-2-1步，对整箱残币的封签识别：通过神经网络技术，对封签图像进行特征提取，包括封签的颜色、形状、字符、二维码等特征信息，具体过程如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出用于对不同券别封签的分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型对现场的封签图像进行识别分类；
第1-3-2-2-2步，对整箱残币的票面识别：通过神经网络技术，对票面图像进行特征提取，该票面包括不同券别的残币正、反面，所提取的特征包括：颜色、图纹、数字、水印等特征信息；具体步骤如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出用于对不同票面的分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型对现场的整箱票面图像进行识别分类；
第1-3-2-2-3步，在得到票面或者封签的分类信息后，按照不同券别对图像中的整箱残币进行数量统计，根据用户设定的判断规则，给出对应的统计信息。
(1-4)图像处理系统判定当前产品面额与数量是否与设定的预期是否一致，出现异常情况通知plc逻辑控制模块；
(1-5)图像处理系统将检测结果与图像信息存储到数据库中；
(1-6)通知plc逻辑控制模块启动投料皮带，进入捆把检测环节；
plc逻辑控制模块接收到当前整袋检测完成指令，并控制电机启动投料皮带运转，等待钱捆通过；
投料皮带安装与其同步的编码器，编码器与相机相连，当皮带运转时，触发相机集采图像。
如图8所示，所述步骤(2)对每捆产品识别包括如下步骤：
(2-1)投料传输带获取连续图像，输出判定为产品的整捆图像；
(2-2)所述捆把检测模块的图像处理子模块识别整捆产品中把的数量；
(2-3)所述图像处理子模块判定整捆产品中识别把结果正确性；
(2-4)所述图像处理子模块判定当前捆是否存在夹把；
(2-5)图像处理子模块判定当前捆是否散把；
(2-6)图像处理子模块判定当前捆是否夹带信封；
(2-7)数把图像处理子模块进行光电校验；
(2-8)对步骤2-2～2-6出现异常情况通知plc逻辑控制模块；
(2-9)图像处理子模块将检测结果与图像信息存储到数据库中。
如图10所示，所述(2-8)对步骤(2-2)～(2-6)出现异常情况通知plc逻辑控制模块，检测模块与控制通过以太网相连，使用tcp协议进行通讯。采用omroncjmcpu31以太网plc控制系统接入网络，各个检测站报警、停机信号通过网络通讯传输到plc，由plc进行报警、停机控制，同时plc获取投料平台机器信号、各检测点设备状态、信号由plc按需要进行分发。
如图11所示，所述第2-2步图像处理子模块识别整捆产品中把的数量包括如下步骤：
(2-2-1)对输入图像进行仿射变换，使产品旋转并居中；
(2-2-2)对待选区使用人工神经网络算法处理确定钱捆中捆把条疑似的位置；
(2-2-3)利用先验知识对捆把条的尺寸、位置、重叠率、填充率等信息进行判定确认捆把条的位置；
(2-2-4)输出钱捆产品的捆把数量。
所述第2-2-2步中的人工神经网络确定捆把条疑似位置的算法具体包括：
第2-2-2-1步通过人工神经网络自动提取捆把条的特征，包括：高度、宽度、填充度等信息，具体过程如下：
(1)根据公式
构建卷积神经网络，其中hk表示输出的特征图对应位置的值，f为激活函数，xl表示上一层的输出，wk表示卷积核，bk表示偏置。该网络主要用于对图像信息进行自动编码，最后的图像特征表示为一个512维的特征向量；
(2)采集训练数据，送入网络进行训练直到收敛；
(3)根据上述特征，利用支持向量机训练出不同捆把条分类识别模型。在训练集上运用上述网络，可以得到训练集的图像的特征，送入svm训练器，在这里我们选用径向基函数作为核函数，将上述特征向量进一步映射至高维空间：
(4)通过上述训练好的模型就可对捆把条进行识别分类；
第2-2-2-2步，对采集到的图像进行平场校正，公式为：
g(x,y)＝f(x,y)*δ(x,y)
其中f(x,y)表示原始图像，g(x,y)表示校正后的图像，δ(x,y)表示校正系数；其中校正系数由以下公式计算得到：
其中m为设定的校正目标值，n表示所用的模板图像数量；
第2-2-2-3步，对平场校正后的图像中的钱捆进行仿射变换，将其转成用户设定好的位置，其中变换公式为：
其中[xaya]'表示变换后的像素坐标，
第2-2-2-4步，将上述图像送入第2-2-2-1步中训练好的模型从而识别出图像中所有的疑似捆把条。
所述步骤2-3图像处理子模块判定整捆产品中识别把结果正确性包括如下步骤：
(2-3-1)输入原始图像；
(2-3-2)进行仿射变换将图像进行校正；
(2-3-3)查找疑似捆把条位置；
(2-3-4)将图像和疑似捆把条的位置信息输入结果过滤模块；
(2-3-5)通过填充率、捆把条尺寸、位置、重叠率等信息对每个疑似捆把条进行综合判定，去除重复、误判、多余的捆把条，此数量为最终结果。
如图12所示，所述第2-4步，图像处理子模块判定当前捆是否存在夹把包括如下步骤：
(2-4-1)输入原始图像、捆把条位置、钱捆位置；
(2-4-2)对图像进行仿射校正；
(2-4-3)图像预处理；
(2-4-4)二值化图像；
(2-4-5)边缘提取；
(2-4-6)边界凸包检测；
(2-4-7)判断凸包形态，满足相关条件的标识为夹把。
所述第2-4-3步中的图像预处理主要是指均值滤波，去除图像的噪点，其原理为：给定一副图像f(x,y)，用领域平均法平滑后的图像g(x,y)用下式表示
式子中s表示在点(x,y)领域内坐标的集合，不包括点(x,y)。m表示集合s内坐标点的总数，领域选择以点(x,y)为中心的区域，周围8个点就是s内坐标点总数。该方法滤波时间短，可以去除噪声带来的干扰。
所述第2-4-4步中的二值化图像主要是对图像进行阈值分割，其公示如下：
其中f(x,y)表示像素的灰度值，t为图像分割阈值。
所述第2-4-5步中边缘提取主要采用sobel算子，假设一幅灰度图像为f(x,y)，在位置(x,y)处的梯度可以表示成一个矢量，定义gx和gy分别为x和y两个方向的梯度分量，则梯度表示为：
▽f(x,y)＝gx,gy＝δf(x,y)δx,δf(x,y)δy
为了在计算过程中更加方便，通常把梯度的分量写成卷积算子的形式，sobel卷积算子如下式所示
所述第2-4-6步中边界凸包检测是指对捆把图像进行边界凸点进行搜索，并把搜索到的边界凸点连接起来构成一个边界凸包，用于指示人民币捆把的边界范围。
所述第2-4-7步中相关条件是指凸包最远点到边界的距离，超过一定阈值即判定为错误。
如图13所示，所述第2-5步，图像处理子模块判定当前钱捆是否散把包括如下步骤：
(2-5-1)输入原始图像、捆把条位置、钱捆位置；
(2-5-2)对图像进行仿射校正；
(2-5-3)图像预处理；
(2-5-4)二值化图像；
(2-5-5)对二值化图像进行连通域分析；
(2-5-6)根据捆把条位置信息和连通域位置信息，找出与捆把条位置对应的连通域区域；
(2-5-7)统计两个区域y方向覆盖率，根据y方向的整体覆盖率和整捆高度信息之间的比值进行散把判定，满足阈值条件的标识为散把。
所述第2-5-3步中的图像预处理和所述第2-5-4步中二值化图像如第2-4步中所述。
如图14所示，所述第2-6步图像处理子模块判定当前捆是否存在信封包括如下步骤：
(2-6-1)输入原始图像、捆把条位置、钱捆位置；
(2-6-2)对图像进行仿射校正；
(2-6-3)图像预处理；
(2-6-4)统计捆把条位置的颜色信息；
(2-6-5)对图像进行颜色校正；
(2-6-6)二值化图像；
(2-6-7)对二值化图像进行连通域分析，包括连通域的面积，尺寸，满足阈值条件的标识为信封。
所述第2-6-3步中的图像预处理和第2-6-6步中的二值化图像如第2-4步中所述。
所述第2-6-5步中对图像进行颜色校正的公式为：
g(x,y)＝f(x,y)*δ(x,y)
其中f(x,y)表示原始图像，g(x,y)表示校正后的图像，δ(x,y)表示校正系数；其中校正系数由以下公式计算得到：
其中m为设定的校正目标值，n表示所用的模板图像数量。
如图10所示，所述第2-8步图像处理子模块输出异常通知plc逻辑控制模块包括如下步骤：
(2-8-1)检测软件系统工控机与plc通过以太网连接，使用tcp协议；
(2-8-2)检测软件通过tcp协议向plc指定地址写入报警停机信息编码；
(2-8-3)plc通过扫描读取指定地址内容，解码报警停机内容；
(2-8-4)plc系统向plc输出模块指定的数据点输出高电平；
(2-8-5)plc输出模块输出点连接报警器和皮带电机通断继电器，控制报警和停机；
异常报警停机后，在检测站主界面上，显示异常图像与文字信息，需要管理员进行打卡授权对异常信息进行确认，当确认完成后，通知控制系统启动皮带，系统会恢复正常检测状态，当数把检测单元检测数量达到整袋产品的数量时，检测单元通知控制系统本袋产品检测结束，这时plc逻辑控制模块停止投料皮带运转，进入整袋检测单元，等待下一袋产品检测。
前序4个检测站检测正常钱捆汇集到主输送皮带，钱捆通过主输送皮带传输到光机。
如图9所示，所述步骤(3)对经过光机产品检测包括如下步骤：
(3-1)光机皮带运转，产品经过光机检测光电触发x光发射器，ccd获取x光产生的图像，传输到图像处理模块；
(3-2)图像处理模块识别产品中是否夹杂金属物；
(3-3)数据传输模块对出现夹带金属异常情况通知plc逻辑控制模块；
(3-4)数据传输模块把检测到存在金属图像传输到各检测站进行显示；
(3-5)plc逻辑控制模块对异常情况启动报警停机信号；
(3-4)存储模块将检测结果与图像信息存储到数据库中；
(3-5)继续获取下一幅待检测图像；
所述(3-4)数据传输模块把检测到存在金属图像传输到各检测站进行显示，传输协议使用iocp进行图像数据传输到4台检测站，检测站接收异常图像后进行图像显示与异常信息记录；
所述(3-3)数据传输模块对出现夹带金属异常情况通知plc逻辑控制模块；plc逻辑控制模块收到报警停机信号后，同时停止主输送皮带和投料皮带，同时进行声光报警提示，需要管理员打卡确认后，系统才能恢复正常检测状态。
所有上述的首要实施这一知识产权，并没有设定限制其他形式的实施这种新产品和/或新方法。本领域技术人员将利用这一重要信息，上述内容修改，以实现类似的执行情况。但是，所有修改或改造基于本发明新产品属于保留的权利。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！