一种表面增强拉曼光谱与视觉识别的食品检测方法及系统与流程

1.本发明属于光谱与食品检测技术领域，具体涉及一种表面增强拉曼光谱与视觉识别的食品检测方法及系统。


背景技术：

2.拉曼光谱(ramanspectroscopy)是一种能够表征分子振动能级的光谱，具有极高的分子特异性，但其散射强度较弱。拉曼光谱散射截面是每个分子10-30
cm2，而荧光有效色散射为10-17
～10-16
cm2,因此易受荧光的干扰。fleischmann等人在粗糙银电极表面获得的拉曼散射信号，vanduyna等在fleischmann提出表面增强拉曼光谱(sers，surface enhanced raman spectroscopy)效应，即表效应与金属粗糙表关，这是拉光谱发展的里程碑。
3.sers技术快速、灵敏、无损，具备分子指纹专一性和单分子灵敏性等，能在分子水平上提供物质结构的信息，已逐渐成为化学、生物、环境、食品等一种强有力的检测手段。当目标分子被吸附到某些粗糙的金属表，它们的拉曼散射强度比常规增强104～10
14
倍。运用携式拉曼光谱仪及相应的纳米增强基底，实现了食品中多种物质的快速检测，并可进行半定量分析。目前，检测项目包括食品添加剂，如腐剂、色素、甜蜜素等；食品中的化学危害物，如非法添加物、农药残留、兽药残留等，均获得了较好的检测效果。但不同sers需要不同的特异性基底，导致sers


技术实现要素：

4.为提高表面增强拉曼光谱在食品检测过程中的通用性和可靠性的问题，在本发明的第一方面提供了一种表面增强拉曼光谱与视觉识别的食品检测方法及系统，包括：获取待检测食品样本的多个光谱图像，所述光谱图像包括可见光光谱图像；利用训练完成的transformer神经网络，识别待检测食品样本的缺陷大小、缺陷位置和新鲜程度指数；根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图像；基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果。
5.在本发明的一些实施例中，所述transformer神经网络包括第一transformer神经网络和第二transformer神经网络，所述第一transformer神经网络，用于识别待检测食品样本的缺陷大小、缺陷位置；所述第二transformer神经网络，用于识别待检测食品样本的新鲜程度指数。
6.进一步的，所述第一transformer神经网络为基于yolo5的transformer神经网络。
7.在本发明的一些实施例中，所述根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图像包括：若待测食品样本的缺陷的最大直径小于等于第一阈值，且新鲜程度指数低于第二阈值，则获取
待检测食品样本的表面增强拉曼光谱图像；若待测食品样本的缺陷的最大直径小于等于第三阈值，且新鲜程度指数低于第四阈值，则获取待检测食品样本的共焦显微镜图像。
8.进一步的，所述获取待检测食品样本的表面增强拉曼光谱图像包括：确定待检测食品样本的标记物质或微生物，并根据其确定表面增强拉曼光谱所需的一个或多个基底材料；根据所述一个或多个基底材料构建一个或多个特异性探针，利用一个或多个特异性探针获取待检测食品样本的表面增强拉曼光谱图像。
9.在上述的实施例中，所述基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果包括：通过待检测食品样本微生物的表面增强拉曼光谱图像的特征峰的定量计算，验证待检测食品样本的新鲜程度指数；通过待检测食品样本微生物的共焦显微镜图像，验证待测食品样本的缺陷大小。
10.本发明的第二方面，提供了一种表面增强拉曼光谱与视觉识别的食品检测系统，包括：获取模块，用于获取待检测食品样本的多个光谱图像，所述光谱图像包括可见光光谱图像；识别模块，用于利用训练完成的transformer神经网络，识别待检测食品样本的缺陷大小、缺陷位置和新鲜程度；判断模块，用于根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图像；输出模块，用于基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果。
11.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的表面增强拉曼光谱与视觉识别的食品检测方法。
12.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的表面增强拉曼光谱与视觉识别的食品检测方法。
13.本发明的有益效果是：
14.本发明结合光谱图像transformer神经网络，对检测食品样本进行初步检测，确定缺陷大小、缺陷位置和新鲜程度；再通过表面增强拉曼光谱和共焦显微镜图像，进一步对缺陷大小、缺陷位置和新鲜程度进行验证，从而提高检测结果的通用性和可靠性。
附图说明
15.图1为本发明的一些实施例中的表面增强拉曼光谱与视觉识别的食品检测方法的基本流程示意图；
16.图2为本发明的一些实施例中的transformer神经网络基本结构示意图；
17.图3为本发明的一些实施例中的transformer神经网络的具体基本结构示意图；
18.图4为本发明的一些实施例中的transformer神经网络中的卷积注意力模块的结构示意图；
19.图5为本发明的一些实施例中的transformer神经网络中的编码模块的结构示意图；
20.图6为本发明的一些实施例中的某水果的共焦显微镜图像；
21.图7为本发明的一些实施例中的表面增强拉曼光谱与视觉识别的食品检测系统的结构示意图；
22.图8为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
23.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
24.参考图1与图2，在本发明的第一方面，提供了一种表面增强拉曼光谱与视觉识别的食品检测方法及系统，包括：s100.获取待检测食品样本的多个光谱图像，所述光谱图像包括可见光光谱图像；s200.利用训练完成的transformer神经网络，识别待检测食品样本的缺陷大小、缺陷位置和新鲜程度；s300.根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图像；s400.基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果。
25.可以理解，在食品加工以及贮藏过程中可能会发生美拉德反应、酶促褐变以及非酶促褐变等化学反应导致食品颜色发生变化，因此可以通过视觉识别学习标准样本，建立颜色信息与食品新鲜程度指数。通过测定反射率、透射率、色差值、明度值、白度值以及不透明度等参数，表征食品颜色，可弥补色差仪测量质地不均匀或体积较小的物体时的不足。特别地，每种食品从新鲜到腐败的颜色变化规律不同，因此，需要对每一种食品建立颜色信息与食品新鲜程度指数关联关系。例如，猪肉主要表现为红色的颜色变化，柑橘类水果表现为黄色的颜色变化。
26.在本发明的一些实施例的步骤s100中，获取待检测食品样本的多个光谱图像，所述光谱图像包括可见光光谱图像。具体地，光谱图像检测的目标物包括食品添加剂、简加工类食品、深加工类食品以及农牧渔类：
27.1)食品添加剂
28.样品举例：防腐剂、甜味剂、增稠剂、护色剂、香精香料、抗氧化剂、乳化剂、保鲜剂、膨松剂、酸味剂、漂白剂、营养强化剂、水分保持剂、品质改良剂、酶制剂、稳定剂、消泡剂、抗结剂、干燥剂、被膜剂、增味剂、发酵剂、凝固剂、填充剂、食用色素、其它添加剂等。状态：液体，粉末；
29.2)简加工类
30.样品举例：米面类、蔬菜制品、肉类、糖类、淀粉类、食用油、加工水产品、加工水果、馅料、茶叶制品、冷冻食品、其他简加工食品等。状态：小颗粒，粉末，不规则，液体；
31.3)深加工类
32.样品举例：肉制品、乳制品、豆制品、蛋制品、调味品、饮料/饮品、酒类、方便食品、休闲食品、保健食品、罐头食品、提取物、香烟、宠物食品、其他食品等；
33.4)农牧渔类
34.样品举例：粮食、新鲜蔬菜、新鲜水果、干果/坚果、鲜活水产品、鲜活畜禽、蛋类、咖啡豆/可可、食用菌、其他农产品等。除上述分类外，可参考国家标准或其他国家标准提供的
标准食品样本作为参考，计算新鲜程度指数。
[0035][0036]
测量或获取可见光谱图像包括如下步骤：由于粉状产品的属性，在测量之前必须经过处理。样品必须置于透明比色皿或者样品杯中测量。由于其样品属性，样品受环境光、测量光程、背景的影响。推荐样品厚度必须一致(50mm),使用不透明光罩减少上述影响。样品为不均匀物质，必须多次测量取平均值。采用仪器：积分球d/8型如hunterlab etd0001、etd0002、etd0003；定向型如et04501、et45001(推荐使用环盘组件),等；测量模式：反射颜色标尺:cielab(d65/10)wi,yi指数等等；
[0037]
对于不透明不规则状的食品，如各种干果、豆类、水果干、薯片、饼干、宠物食品、面条、糖果、面包、月饼、大块饼干、奶酪、根茎等；由于大颗粒产品的属性，在测量之前必须经过处理。样品必须置于透明比样品杯中测量。由于样品为不均匀物质，颗粒较大，样品放置在样品杯中空隙较大，且每次放置样品，样品之间的空隙也不一样，对测量结果的影响较大。为了消除上述影响，使用大面积测量，并且多次测量取平均值。推荐仪器：定向型et4500ud、et04501、et45001，非接触型stht；测量模式：反射；推荐颜色标尺:cielab(d65/10)指数等。
[0038]
参考图3至图5，在本发明的一些实施例的步骤s200中，所述transformer神经网络包括第一transformer神经网络和第二transformer神经网络，所述第一transformer神经网络，用于识别待检测食品样本的缺陷大小、缺陷位置；所述第二transformer神经网络，用于识别待检测食品样本的新鲜程度指数。
[0039]
图3示出了本公开中的transformer神经网络的基本结构，该网络主要包括backbone(骨干网络)、neck(颈部网络)、tph(transformer prediction heads)；backbone包括focus、卷积、c3(3次卷积和cs pbottleneck)、spp(spatial pyramid pooling,空间金字塔池化)以及trans操作。
[0040]
进一步的，所述第一transformer神经网络为基于yolo5的transformer神经网络。具体地，继续参考图3至图5，上述transformer神经网络使用了一个transformer encoder来代替一些卷积和csp结构，将transformer在视觉中应用，也是目前的主流趋势，transformer具有独特的注意力机制。cbam(convolutional block attention module，卷积注意力模块)如图4所示，一张特征图被输入到下一个处理单元前，会先并行计算它的通道注意力和空间注意力，然后将其进行融合重塑，这样会让后面的处理单元更加注意到(focuson)有价值的目标区域(感兴趣区域region of interest，roi)。
[0041]
参考图5，每个transformer encoder将初始的embededpatches(样本特征或多维向量)经过layernorm(正则化)、multi-headattention(多头注意力)、dropout、layernorm(正则化)、mlp(多层感知)和dropout的操作，最终输出特征向量。
[0042]
可以理解，表面增强拉曼光谱图像需要待检测食品样本的标记物质或微生物，以确定待检测食品样本的腐烂程度(新鲜程度指数)，同时新鲜程度指数也可从可见光光谱反映；因此两者间构成了交叉验证的基础，从而提高了通用性。
[0043]
在本发明的一些实施例的步骤s300中，所述根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图像包括：s301.若待测食品样本的缺陷的最大直径小于等于第一阈值，且新鲜程度指数低于第二阈值，则获取待检测食品样本的表面增强拉曼光谱图像；s302.若待测食品样本的缺陷的最大直径小于等于第三阈值，且新鲜程度指数低于第四阈值，则获取待检测食品样本的共焦显微镜图像。进一步的，上述第一阈值、第二阈值、第三阈值和第四阈值需要根据不同检测食品具体确定。
[0044]
进一步的，所述获取待检测食品样本的表面增强拉曼光谱图像包括：确定待检测食品样本的标记物质或微生物，并根据其确定表面增强拉曼光谱所需的一个或多个基底材料；根据所述一个或多个基底材料构建一个或多个特异性探针，利用一个或多个特异性探针获取待检测食品样本的表面增强拉曼光谱图像。
[0045]
可以理解，基底材料包括但不限于金、银纳米颗粒，过渡金属材料如铂(pt)、钌(ru)、铑(rh)、钯(pd)、fe、钴(co)和镍(ni)或其他被证明具备高质量的sers增强现象的金属材料、非金属纳米材料、复合材料。
[0046]
参考图6，其示出了某食品在1000放大倍数下的共焦显微镜图像，从图中可以看出该食品一定程度的霉变(霉菌)。在上述的实施例的步骤s400中，所述基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果包括：通过待检测食品样本微生物的表面增强拉曼光谱图像的特征峰的定量计算，验证待检测食品样本的新鲜程度指数；通过待检测食品样本微生物的共焦显微镜图像，验证待测食品样本的缺陷大小。
[0047]
实施例2
[0048]
参考图7，本发明的第二方面，提供了一种表面增强拉曼光谱与视觉识别的食品检测系统，包括：获取模块1，用于获取待检测食品样本的多个光谱图像，所述光谱图像包括可见光光谱图像；识别模块2，用于利用训练完成的transformer神经网络，识别待检测食品样本的缺陷大小、缺陷位置和新鲜程度；判断模块3，用于根据待测食品样本的缺陷大小和新鲜程度指数，依次判断是否获取待检测食品样本的表面增强拉曼光谱图像和共焦显微镜图
像；输出模块4，用于基于所述待检测食品样本的可见光光谱图像、表面增强拉曼光谱图像和共焦显微镜图像，对所述transformer神经网络的识别结果进行交叉验证，并输出检测结果。
[0049]
进一步的，所述输出模块4包括：第一验证单元，用于通过待检测食品样本微生物的表面增强拉曼光谱图像的特征峰的定量计算，验证待检测食品样本的新鲜程度指数；第二验证单元，用于通过待检测食品样本微生物的共焦显微镜图像，验证待测食品样本的缺陷大小。
[0050]
实施例3
[0051]
参考图8，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的方法。
[0052]
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0053]
通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0054]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的
组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0055]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
[0056]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0057]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0058]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。