基于视觉识别的大输液软袋产品的检测方法、系统及装置与流程

1.本说明书涉及大输液软袋产品检测技术领域，特别涉及一种基于视觉识别的大输液软袋产品的检测方法、系统及装置和存储介质。


背景技术：

2.随着社会的发展和人民生活水平的提高，人们对于产品的质量要求越来越高，对产品的质量管控也越来越严，而更大规模的生产，需要更对的人力投入到产品的质量控制中。传统的人工筛选，不仅效率极低，由此而带来的管理成本、人力成本急剧上升，自动化检测替换人工检测，尤为重要。
3.因此，需要一种可以实现自动识别与检测的方案。


技术实现要素：

4.本说明书实施例之一提供一种基于视觉识别的大输液软袋产品的检测方法，包括以下步骤：采集传输线上的大输液软袋产品的图像；将采集的图像输入到预先建立的合格品识别模型中，合格品识别模型对获取的图像进行检测，检测到图像中存在异物时，则识别、并剔除该大输液软袋产品，否则，对该大输液软袋产品放行处理。
5.本说明书实施例之一提供一种基于视觉识别的大输液软袋产品的检测系统，其特征在于，包括：采集模块，用于采集传输线上的大输液软袋产品的图像；识别模块，用于将采集的图像输入到预先建立的合格品识别模型中，合格品识别模型对获取的图像进行检测，检测到图像中存在异物时，则识别、并剔除该大输液软袋产品，否则，对该大输液软袋产品放行处理。
6.本说明书实施例之一提供一种基于视觉识别的大输液软袋产品的检测装置，所述装置包括处理器以及存储器；所述存储器用于存储指令所述指令被所述处理器执行时，导致所述装置实现所述基于视觉识别的大输液软袋产品的检测方法对应的操作。
7.本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行所述基于视觉识别的大输液软袋产品的检测方法。
附图说明
8.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
9.图1是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测系统的应用场景图；
10.图2是根据本说明书一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图；
11.图3是根据本说明书一些实施例所示的可以在其上实现一个或以上终端的示例性移动设备的示例性硬件和/或软件组件的示意图；
12.图4是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测系统的模块构成示意图；
13.图5是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测方法的示例性流程图；
14.图6是根据本说明书一些实施例所示的识别模型的示意图。
具体实施方式
15.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
16.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
17.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
18.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
19.图1是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测系统的应用场景图100。如图1所示，基于视觉识别的大输液软袋产品的检测系统可以包括服务器110、图像采集设备120、终端设备130、网络140和存储设备150。
20.服务器110是指具有计算能力的系统，在一些实施例中，服务器110可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器110可以是分布式的系统)。在一些实施例中，服务器110可以是本地的，也可以是远程的。例如，服务器110可以经由网络140访问存储在用户终端130和/或存储设备150中的信息和/或数据。又例如，服务器110可以直接连接到用户终端130和/或存储设备150以访问存储的信息和/或数据。在一些实施例中，服务器110可以在云平台上实施。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器110可以在具有本技术中图2所示的一个或多个组件的计算设备200上实现。
21.在一些实施例中，服务器110可以包括处理引擎112。处理引擎112可以处理与大输液软袋产品160的信息和/或数据。例如，处理引擎112可以对获取到的大输液软袋产品的图像进行自动识别与判断，并得出该产品是否为合格产品的预估结果。在一些实施例中，处理
引擎112可以包括一个或以上处理引擎(例如，单核处理引擎或多核处理器)。仅作为示例，处理引擎112可以包括一个或以上硬件处理器，例如中央处理单元(cpu)、专用集成电路(asic)、专用指令集处理器(asip)、图形处理单元(gpu)、物理处理单元(ppu)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑设备(pld)、控制器、微控制器单元、精简指令集计算机(risc)、微处理器等或其任何组合。
22.图像采集设备120是指用于采集图像的装置。图像采集设备120可以是摄像机120-1、照相机120-2、摄像头120-3等中的任意一种或多种。在一些实施例中，图像采集设备120可以采集图片、视频等中的一种或多种。例如，图像采集设备120可以采集大输液软袋产品160在生产线上的生产中的视频或照片。
23.在一些实施例中，用户终端130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、台式计算机130-4等或其任意组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等，或其任何组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能摄像机、对讲机等，或其任意组合。在一些实施例中，可穿戴设备可以包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能配饰等或其任意组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(pda)、游戏设备、导航设备、销售点(pos)设备、膝上型计算机、台式机等，或任何它们的组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括googleglass
tm
、riftcon
tm
、fragments
tm
、gearvr
tm
等。
24.在一些实施例中，用户终端130可以是被配置为可采集大输液软袋产品160的信息和/或数据的移动终端。用户终端130可以经由用户接口向处理引擎112或安装在用户终端130中的处理器发送和/或接收大输液软袋产品160的信息和/或数据。例如，用户终端130可以经由用户接口将由安装在用户终端130捕获的大输液软袋产品160的视频或图片发送到安装在用户终端130中的处理引擎112或处理器。用户界面可以是在用户终端130上实现的用于识别大输液软袋产品160的应用程序的形式。在用户终端130上实现的用户界面可以促进用户与处理引擎112之间的通信。例如，用户可以经由用户界面输入和/或导入需要识别的图像数据。处理引擎112可以经由用户界面接收输入的图像数据。又例如，用户可以经由在用户终端130上实现的用户界面输入对大输液软袋产品160进行识别的请求。在一些实施例中，响应于识别请求，用户终端130可以基于由安装在本技术中其他地方所述的用户终端130中的图像采集装置，经由用户终端130的处理器直接处理大输液软袋产品160的图像数据。在一些实施例中，响应于识别请求，用户终端130可以将识别请求发送到处理引擎112，用于基于由图像采集设备120或安装在本技术的其他地方的图像采集装置来确定采集大输液软袋产品160的图像数据。在一些实施例中，用户界面可以促进呈现或显示从处理引擎112接收的与大输液软袋产品160识别有关的信息和/或数据。例如，信息和/或数据可以包括指示大输液软袋产品160的识别结果等。在一些实施例中，信息和/或数据可以被进一步配置为使用户终端130向用户显示结果。
25.网络140可以促进信息和/或数据的交换。在一些实施例中，应用场景100中的一个或以上组件(例如，服务器110、用户终端130、存储设备150和图像采集设备120)可以将信息
和/或数据通过网络140发送到应用场景100中的其他组件。例如，处理引擎112可以经由网络140向用户终端130发送识别结果。在一些实施例中，网络140可以是有线网络或无线网络等或其任意组合。仅作为示例，网络140可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、因特网、局域网(lan)、广域网(wan)、无线局域网(wlan)、城域网(man)、广域网(wan)、公共电话交换网(pstn)、bluetooth tm网络、zigbee网络、近场通信(nfc)网络或类似内容，或其任意组合。在一些实施例中，网络140可以包括一个或以上网络接入点。例如，网络140可以包括诸如基站和/或互联网交换点120-1、120-2，
…
之类的有线或无线网络接入点，应用场景100的一个或以上组件可以通过有线或无线网络接入点连接到网络140，以交换数据和/或信息。
26.存储设备150可以存储数据和/或指令。在一些实施例中，存储设备150可以存储从信息源150获得的数据。存储设备150可以存储处理引擎112可以执行或用来执行本技术中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备150可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(rom)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(ram)。示例性ram可包括动态随机存取内存(dram)、双倍数据速率同步动态随机存取内存(ddrsdram)、静态随机存取内存(sram)、晶闸管随机存取内存(t-ram)和零电容随机存取内存(z-ram)等。示例性rom可以包括掩模型只读内存(mrom)、可编程只读内存(prom)、可擦除可编程只读内存(eprom)、电可擦除可编程只读内存(eeprom)、光盘只读内存(cd-rom)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备150可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
27.在一些实施例中，存储设备150可以连接到网络140以与应用场景100中的一个或以上组件(例如，服务器110、用户终端130)通信。应用场景100中的一个或多个组件可以经由网络140访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接到应用场景100中的一个或以上组件或与之通信(例如，服务器110、用户终端130)。在一些实施例中，存储设备150可以是服务器110的一部分。
28.大输液软袋产品160是指用于实现大输液包装的产品，本技术中的大输液软袋产品160主要是指聚丙烯(pp)输液袋，在实际应用中，也可以将本方案的原理应用于其他大输液包装(如玻璃瓶,塑料瓶,非聚氯乙烯(pvc)输液袋等)甚至其他产品的识别上。在一些实施例中，大输液软袋产品160可以有多种不同的形式或设计(如160-1、160-2、160-3)，基于本方案可以实现不同设计的大输液软袋产品160的智能识别与检测。
29.图2是根据本技术的一些实施例所示的可以在其上实现处理引擎的示例性计算设备的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(i/o)230和通信端口240。
30.处理器210(例如，逻辑电路)可以执行计算机指令(例如，程序代码)并根据本文描述的技术执行处理引擎112的功能。在一些实施例中，处理器210可以被配置为处理与应用场景100的一个或以上组件有关的数据和/或信息。处理器210还可以将识别的信息或判定结果发送到服务器110。在一些实施例中，处理器210可以向相关联的用户终端130发送通知。
31.在一些实施例中，处理器210可以在其中包括接口电路210-a和处理电路210-b。接口电路可以被配置为从总线(图2中未示出)接收电信号，其中电信号对结构化数据和/或指令进行编码以供处理电路进行处理。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码成电信号。然后，接口电路可以经由总线从处理电路发送电信号。
32.计算机指令可以包括例如例程、程序、对象、组件、数据结构、过程、模块和功能，其执行本文描述的特定功能。例如，处理器210可以处理与从用户终端130、存储设备140和/或应用场景100的任何其他组件获得的大输液软袋产品相关的信息。在一些实施例中，处理器210可以包括一个或以上硬件处理器、诸如微控制器、微处理器、精简指令集计算机(risc)、专用集成电路(asic)、专用指令集处理器(asip)、中央处理器(cpu)、图形处理器(gpu)、物理处理器(ppu)、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、高级risc机器(arm)、可编程逻辑设备(pld)，能够执行一个或以上功能的任何电路或处理器等，或其任意组合。
33.仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应注意，本技术中的计算设备200还可以包括多个处理器，因此，如本技术中所述的由一个处理器执行的操作和/或方法步骤也可以由多个处理器联合或分开地执行。例如，如果在本技术中，计算设备200的处理器同时执行步骤a和步骤b，则应当理解，步骤a和步骤b也可以由计算设备200中的两个或以上不同处理器联合或分别执行(例如，第一处理器执行步骤a，第二处理器执行步骤b，或者第一处理器和第二处理器共同执行步骤a和b)。
34.存储器220可以存储从用户终端130、存储设备150和/或应用场景100的任何其他组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量内存装置、可移动内存装置、易失性读写内存器、只读内存器(rom)等或其任何组合。例如，大容量存储器可以包括磁盘、光盘、固态驱动器等。可移动存储设备可以包括闪存内存、软盘、光盘、存储卡、zip磁盘、磁带等。易失性读写内存可以包括随机存取内存(ram)。ram可以包括动态ram(dram)、双倍速率同步动态ram(ddrsdram)、静态ram(sram)、晶闸管ram(t-ram)和零电容器ram(z-ram)等。rom可以包括掩模rom(mrom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、光盘rom(cd-rom)和数字多功能盘rom等。在一些实施例中，存储器220可以存储一个或以上程序和/或指令以执行本技术中描述的示例性方法。例如，存储器220可以存储用于处理引擎112的用于确定大输液软袋产品的程序。
35.i/o230可以输入和/或输出信号、数据、信息等。在一些实施例中，i/o230可以使用户能够与处理引擎112进行交互。在一些实施例中，i/o230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等、或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(lcd)、基于发光二极管(led)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(crt)、触摸屏屏幕等，或其任意组合。
36.通信端口240可以连接到网络(例如，网络120)以促进数据通信。通信端口240可以在处理引擎112与用户终端130、信息源150或存储设备140之间建立连接。该连接可以是有线连接、无线连接、可以实现数据传输和/或接收的任何其他通信连接，和/或这些连接的任意组合。有线连接可以包括例如电缆、光缆、电话线等，或其任意组合。无线连接可以包括例如bluetoothtm链路、wi-fitm链路、wimaxtm链路、wlan链路、zigbee链路、移动网络链路(例
如，3g、4g、5g)等，或其任意组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如rs232、rs485等。
37.图3是根据本技术的一些实施例所示的可以在其上实现用户终端的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，图3所示的移动设备300可以由用户使用。用户可以是医药制造系统的管理人员、生产员工、质检人员或医疗采购监控人员等。
38.如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(gpu)330、中央处理单元(cpu)340、i/o350、内存360和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，可将移动操作系统370(例如，ios
tm
、android
tm
、windowsphone
tm
)和一个或以上应用380从存储器390加载到内存360中，以便由cpu340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理引擎112接收和渲染与图像处理有关的信息或其他信息。可以通过i/o350实现与信息流的用户交互，并通过网络120将其提供给处理引擎112和/或应用场景100的其他组件。
39.为了实施本技术描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(pc)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
40.本领域普通技术人员将理解，当应用场景100的元件执行时，该元件可以通过电信号和/或电磁信号来执行。例如，当处理引擎112处理诸如做出确定或识别信息的任务时，处理引擎112可以操作其处理器中的逻辑电路来处理该任务。当处理引擎112向用户终端130发送数据(例如，目标大输液软袋产品的当前预估信息)时，处理引擎112的处理器可以生成对数据进行编码的电信号。处理引擎112的处理器然后可以将电信号发送到输出端口。如果用户终端130通过有线网络与处理引擎112通信，则输出端口可以物理地连接至电缆，该电缆可以进一步将电信号传输至服务器110的输入端口。如果用户终端130通过无线网络与处理引擎112通信，则处理引擎112的输出端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在诸如用户终端130和/或服务器110之类的电子设备中，当其处理器处理指令，发出指令和/或执行动作时，该指令和/或动作是通过电信号进行的。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以向存储介质的读/写设备发送电信号，该读/写设备可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。在此，电信号可以指的是电信号、一系列电信号和/或一个或以上离散的电信号。
41.图4是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测系统的模块图。系统200可以由服务器110(如处理设备120)实现。
42.如图4所示，系统200可以包括采集模块410和识别模块420、训练模块430。
43.采集模块410可以用于获取图像采集设备得到的待检测图像；在一些实施例中，采集模块410进一步通过面阵3d相机获取图像，具体包括：面阵3d相机对大输液软袋产品进行拍照；在连续模式下，以最高帧率输出图像，上位机对输出图像像素点进行逐个读取作为获取的图像。
44.识别模块420可以用于将采集的图像输入到预先建立的合格品识别模型中，合格品识别模型对获取的图像进行检测，检测到图像中存在异物时，则识别、并剔除该大输液软袋产品，否则，对该大输液软袋产品放行处理。
45.在一些实施例中，识别模块420具体将所述将采集的图像输入到预先建立的合格品识别模型中，合格品识别模型对获取的图像进行检测包括：所述合格品识别模型从所述采集的图像中获取至少一个目标框；基于第一预设条件对所述至少一个目标框进行筛选，确定所述至少一个处理框；所述合格品识别模型对所述处理框进行检测；其中，对于所述至少一个目标框中的一个，所述第一预设条件与所述目标框的识别次数相关，所述识别次数是指所述识别模型对所述视频中至少一幅历史帧图像中的所述目标框的至少一个关联框进行识别的次数。
46.在一些实施例中，合格品识别模型的构建方式如下：获取多种合格品的俯视图像；将图像分别输入卷积神经网络中进行训练，分别设置训练神经网络时输入合格品的大小、每次训练样本的数目、合格品类别数、测试的准确率阈值；获得该种合格品对应的合格品识别子模型；将多个合格品识别子模型进行融合，形成合格品识别分类模型。
47.训练模块430是用于通过训练获取合格品识别模型。在一些实施例中，训练模块基于大量的样本区域图像及其对应的标签对初始模型进行训练，得到合格品识别模型。
48.应当理解，图4所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现。本技术的系统及其模块不仅可以有诸如超大规模集成电路或门阵列等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
49.需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本技术限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，采集模块410和识别模块420可以整合在一个模块中。又例如，各个模块可以共用一个存储设备，各个模块也可以分别具有各自的存储设备。诸如此类的变形，均在本技术的保护范围之内。
50.图5是根据本说明书一些实施例所示的基于视觉识别的大输液软袋产品的检测方法的示例性流程图。如图5所示，流程500包括以下步骤。
51.步骤510，采集传输线上的大输液软袋产品的图像。在一些实施例中，步骤510可以由采集模块410执行。
52.待检测图像是指采集到的包含大输液软袋产品160的视频或图片，在一些实施例中，采集模块410可以拍摄生产线上的视频，视频中包含多帧图像，视频中的图像中可以包含大输液软袋产品160，通过抽取各帧图像即可获得大输液软袋产品160的图像作为待检测图像。
53.步骤520，将采集的图像输入到预先建立的合格品识别模型中，合格品识别模型对
获取的图像进行检测。在一些实施例中，步骤520可以由识别模块420执行。
54.在一些实施例中，识别模块420可以处理从摄像头和/或存储设备获得的数据和/或信息。在一些实施例中，识别模块420对获取的图像进行检测的具体方法如下：所述合格品识别模型从所述采集的图像中获取至少一个目标框；基于第一预设条件对所述至少一个目标框进行筛选，确定所述至少一个处理框；所述合格品识别模型对所述处理框进行检测；其中，对于所述至少一个目标框中的一个，所述第一预设条件与所述目标框的识别次数相关，所述识别次数是指所述识别模型对所述视频中至少一幅历史帧图像中的所述目标框的至少一个关联框进行识别的次数。
55.基于目标框的方法是指从图像中获取至少一个目标框，基于第一预设条件对所述至少一个目标框进行筛选，确定处理框。
56.目标框是指图像中可能包括异物的区域。目标框可以是矩形，也可以是其他形状。在由目标框确定处理框时，识别模块可以进行形状变化或其他图像处理。
57.在一些实施例中，图像中也可以不包括目标框，此时识别模块可跳过当前帧图像。
58.在一些实施例中，识别模块可以调用其他包括了预设算法的模块获取目标框。
59.在一些实施例中，识别模块可以用粗识别的机器学习模型确定目标框，并将该机器学习模型确定的置信度符合特定条件的目标框作为处理框。粗识别是指所使用的机器学习模型具有对物体较低的识别精度但具有较高的执行效率。
60.在一些实施例中，识别模块可以在特定区域内使用粗识别的机器学习模型确定目标框。特定区域可以基于之前帧中目标框的位置确定，例如其邻近位置。特定区域也可以是基于之前帧中异物的位置所预测出的待测异物可能出现的位置，例如在袋体中部等。
61.识别模块也可以用其他方法获取目标框。第一预设条件是指用于从目标框中确定处理框的条件。在一些实施例中，第一预设条件可以是目标框的置信度(即，粗识别的机器学习模型确定的置信度)符合特定条件(例如大于某个阈值)。第一预设条件也可以包括其他方式。基于条件对目标框进行筛选，使得需要进行分类的图像区域的量明显减少，从而减少了计算量。
62.在一些实施例中，合格品识别模型为机器学习模型。例如，卷积神经网络模型(cnn)，或者其他可以进行物体识别的模型。
63.合格品识别模型的输入包括待检测图像。待检测图像可以是拍摄的生产线视频的视频帧也可以是拍摄的生产线图片。
64.在一些实施例中，合格品识别模型的输入还可以包括待检测图像对应的待检测目标在其他帧中的识别结果、识别结果的置信度、待检测目标在不同帧之间的位置关系等信息。更多的特征有利于合格品识别模型更有效地识别。例如，当一个待检测目标可能为产线上的大输液软袋产品160时，如果其在不同帧间的移动速度过快，则该目标是大输液软袋产品160的异物的可能性就应该相对较低。
65.在一些实施例中，合格品识别模型的输出包括对于待检测图像中待检测目标的分类结果。例如，分类结果可以是包含异物或不包含异物。
66.在一些实施例中，第一预设条件与目标框的识别次数相关，识别次数是指合格品识别模型对视频中至少一幅历史帧图像中的该目标框的至少一个关联框进行识别的次数。所述至少一幅历史帧图像是指所述视频中位于所述图像之前的帧图像，更为具体的，位于
所述目标框所在图像之前的帧图像。
67.识别模块420可以将多帧图像中的目标框建立对应关系。建立了对应关系的目标框可以被认为是相同的目标框。同一目标框在不同帧中，可能被合格品识别模型识别，也可能未经过合格品识别模型进行识别处理。换言之，对于某一帧的目标框，其关联框可能被识别模型识别，也可能未经过识别模型识别。
68.在一些实施例中，视频中包含根据时间顺序依次排列的多帧图像，图像中的目标框之间存在对应关系，为相同的目标框。识别模块420可以通过各种方式记录合格品识别模型对该目标框的关联框进行识别的次数。例如，计数数字0、1、2等代表目标框进入识别模型之前其关联框被识别的次数，或者处理设备对目标框进行处理时获取的该目标框的关联框被识别的次数。图像之前的图像中不存在目标框的关联框，或者即使存在也未被识别，因此，识别模块420对目标框进行处理时，获取到目标框的关联框识别次数计为。图像中的目标框未被识别模型识别，因此，识别模块420对目标框进行处理时，获取到目标框的关联框识别次数为。图像中目标框通过识别模型进行识别，因此，处理设备对目标框进行处理时，获取到目标框的关联框识别次数为1。
69.第一预设条件可以与上述识别次数相关。例如第一预设条件可以包括识别次数的阈值，当识别次数小于该阈值时则认为第一预设条件被满足，即合格品识别模型要优先识别之前较少经过识别的目标框。又例如第一预设条件可以包括识别次数与其他参数构成的公式。结合识别次数确定处理框，可以减少重复的识别，同时又可以保证识别的效果。
70.在一些实施例中，上述阈值可以相关于处理框的大小，不同大小的处理框使用不同的阈值。在一些实施例中，上述阈值还可以相关于处理框的位置，如果在较邻近的区域历史上所识别的不同处理框的次数较少，则处理设备可以设置较高的阈值，即认为该区域不经常出现待测异物，需要更充分地判断。
71.步骤530，给予识别结果判断图像中是否存在异物。在一些实施例中，步骤530可以由识别模块420执行。
72.在得到待测异物经常出现的区域数据后，即可对该区域的像素进行重点识别，例如，袋内所装物品的应为乳白色，其rgb值分别是255,251,240，但是分析得到该重点区域的rgb值分别是0,0,0，则可判断该区域出现了异物。同时，为了提升判断的准确性，可以设定累计异常区域的阈值，例如，当异常区域超过1个时，即将当前被测袋体判定为异常袋体。
73.步骤540，对存在异物及不存在异物的袋体进行不同的操作。在一些实施例中，步骤540可以由识别模块420执行，具体包括：
74.步骤541，剔除存在异物的大输液软袋产品。
75.步骤542，放行不存在异物的大输液软袋产品。
76.在一些实施例中，合格品识别模型的参数可以通过训练获得。训练模块可以基于训练样本训练初始合格品识别模型，以得到合格品识别模型。训练样本包括多个样本图像，样本图像可以包含存在异物的大输液软袋产品，也可以包含不存在异物的大输液软袋产品。样本图像可以包含一个异物或多个异物。当合格品识别模型输出包括分类结果时，训练样本的标签为样本图像的是否存在异物，若样本图像不包含异物时，则标签为“目标无法识别”或无异物。
77.图6所示为本说明书一些实施例所示的合格品识别模型的结构示意图。
78.合格品识别模型可以通过对输入的数据即采集到的图像610进行处理，输出识别结果630即图像中是否存在异物。在一些实施例中，输入的数据610可以包括视频帧图像，也可以包括拍摄的生产现场的图像。
79.合格品识别模型620通过结合大输液软袋产品的具体信息，以统一的标准对各个大输液软袋产品图像进行评估，并得到是否存在异物的识别结果。通过合格品识别模型可以快速、准确的确定各大输液软袋产品是否存在异物，以便确定其后续处理，如放行或剔除。
80.在一些实施例中，合格品识别模型可以包括但不限于支持向量机模型、logistic回归模型、朴素贝叶斯分类模型、高斯分布贝叶斯分类模型、决策树模型、随机森林模型、knn分类模型、神经网络模型等。
81.在一些实施例中，可以基于大量带有标识的训练样本训练合格品识别模型。具体的，将带有标识的训练样本输入合格品识别模型，通过训练更新合格品识别模型的参数。其中，训练样本可以包含存在异物的大输液软袋产品图像及不包含异物的大输液软袋产品图像。训练标签可以是各大输液软袋产品图像对应的异物存在情况。训练样本可以从任务处理系统的历史数据中获取，训练标签可以通过人工标注获取。
82.本说明书实施例还提供了一种基于视觉识别的大输液软袋产品的检测装置，包括处理器以及存储器；所述存储器用于存储计算机指令；所述处理器用于执行所述计算机指令中的至少部分指令以实现如前述的所述基于视觉识别的大输液软袋产品的检测对应的操作。
83.本说明书实施例还提供了一种计算机可读存储介质，所述存储介质存储计算机指令，当所述计算机指令被处理器执行时实现如前述的所述基于视觉识别的大输液软袋产品的检测对应的操作。
84.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
85.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
86.此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
87.同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明
实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
88.一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
89.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
90.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。