基于图像识别的三七质量评估方法、服务器和评估系统与流程

1.本公开涉及中医药技术领域，尤其涉及一种基于图像识别的三七质量评估方法、服务器和评估系统。


背景技术：

2.三七是我国重要的中药材，享有“参中之王”等美誉，对血液、心脑血管等疾病防治均有确切效用。
3.三七在采挖的过程中会出现不同程度的损伤，包括伤七、臭七、霉七以及灰碎等。为了避免损伤的三七对正常三七的影响，目前采用人工的方式将损伤三七挑选出来，拣选效率底下，易出错。
4.另外，市场在对三七的分类分级中，均是人为主观判断，不同人的判断标准不一致。容易产生同一批三七在不同人的严重评判等级不同，进而增加三七交易成本。
5.在过去几年里，深度学习在自然图像领域取得了巨大的成功，每年都有新的模型和架构提出来，图像分类、检测和分割的精度也不断的被刷新，在工业质检场景中也取得了不错的成果。因此，可以利用深度学习技术对三七分类、质量评估，促进三七的交易值。


技术实现要素：

6.为了解决上述问题，本技术提出一种基于图像识别的三七质量评估方法、服务器和评估系统。
7.本技术一方面，提出一种基于图像识别的三七质量评估方法，包括如下步骤：
8.构建并生成三七质量评估模型；
9.采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果；
10.统计并展示所述检测结果；
11.其中，所述三七质量评估模型包括三七检测模型、三七分类模型或三七伤臭检测模型中的至少一种。
12.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
13.构建三七检测数据集；
14.搭建模型，利用所述三七检测数据集训练所述模型，生成三七检测模型；
15.保存所述三七检测模型。
16.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
17.构建三七分类数据集；
18.搭建yolo v5s模型，利用所述三七分类数据集训练所述yolo v5s模型，得到三七分类初始模型，并在三七分类初始模型的分类网络中增加注意力模块cab，得到三七分类模型；
19.保存所述三七分类模型。
20.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
21.构建三七伤臭检测数据集；
22.搭建yolo v5s模型，利用所述三七伤臭检测数据集训练所述yolo v5s模型，得到三七伤臭检测初始模型，并将三七伤臭检测初始模型检测网络中的spp模块改为amm模块，得到三七伤臭检测模型；
23.保存所述三七伤臭检测模型。
24.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，包括：
25.对三七进行图像采集，得到三七图像；
26.对所述三七图像预处理，得到三七预处理图像；
27.利用所述三七质量评估模型中的三七检测模型，对所述三七预处理图像进行三七实时检测，将三七单个检测出来，得到三七原始图像。
28.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，还包括：
29.获取所述三七原始图像；
30.利用所述三七质量评估模型中的三七伤臭检测模型，对所述三七原始图像进行切片和卷积操作，得到特征图；
31.为所述特征图生成相应的空间权重，得到权重图，并将所述权重图和所述特征图进行融合，得到三七伤臭检测结果。
32.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，还包括：
33.获取所述三七原始图像；
34.利用所述三七质量评估模型中的三七分类模型，对所述三七原始图像进行特征标注，提取并得到特征图；
35.经过squeeze操作，通过全局平均池化方式获取所述特征图的聚合全局信息，并生成所述特征图的通道描述符；
36.基于所述三七分类模型中的注意力模块cab，对所述特征图的通道描述符进行通道权重标定，并根据不同权重，分别输出各个三七特征图的类别。
37.本技术另一方面，提出一种服务器，包括：
38.处理器；
39.用于存储处理器可执行指令的存储器；
40.其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于图像识别的三七质量评估方法。
41.本技术另一方面，还提出一种评估系统，用于三七质量评估，包括：
42.筛选机构，用于对三七进行筛选；
43.传送模块，设于所述筛选机构一侧，用于将筛选后的三七进行传输；
44.工业相机，设于所述传送模块上方，用于对传送模块上的三七进行拍照，采集三七图像；
45.服务器，设于所述传送模块一侧，用于基于上述所述的基于图像识别的三七质量
评估方法，对所述三七图像进行质量检测，得到检测结果，统计并输出所述检测结果；
46.控制器，设于所述传送模块上，用于对所述传送模块进行启动控制以及所述工业相机进行拍照控制；
47.所述工业相机通信连接所述服务器，所述筛选机构和所述传送模块分别电连接所述控制器。
48.作为本技术的一可选实施方案，可选地，还包括：
49.显示器，设于传送模块一侧，设于所述用于显示统计的所述检测结果；
50.所述显示器与所述服务器电连接。
51.本发明的技术效果：
52.本技术通过构建并生成三七质量评估模型；采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果；统计并展示所述检测结果。首先利用三七检测模型将三七先单个检测出来，然后在检测出来的区域中利用三七伤臭检测模型对单个三七进行伤臭检测，将yolo v5模型检测网络中的spp模块改为amm，使得网络有更好的信息抽取能力以及检测多尺度物体的能力，从而提高伤臭检测的准确性。以及在三七分类模型分类网络中每段特征提取后面增加注意力模块cab，对输入特征图的通道标定，从而提高三七分类的准确性。
53.利用该模型系统可以进行批次性的三七质量评估，实现流水线上的三七快速评估，提高三七质量评估的快捷型，实现三七的智能化数值产业。
54.根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
55.包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
56.图1示出为本发明三七质量评估方法的算法流程示意图；
57.图2示出为本发明改进的yolo v5s网络结构示意图；
58.图3示出为本发明focus结构示意图；
59.图4示出为本发明csp1-x、csp2-x和cbl结构的示意图；
60.图5示出为本发明amm结构的示意图；
61.图6示出为本发明三七分类算法的流程示意图；
62.图7示出为本发明cab模块的机制示意图；
63.图8示出为本发明评估系统的应用示意图。
具体实施方式
64.以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
65.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
66.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
67.实施例1
68.首先，本方案基于深度学习的方法，构建学习模型，得到对三七图像识别和判断的模型及对应的算法。模型主要集中在三七检测、三七分类、三七伤臭检测，基于各个模型的检测算法，将内置在服务器中，用于构建评估系统。
69.本实施例，建立模型的学习模型，将采用yolo v5系列模型，优选yolo v5s模型。因此，除了改进的yolo v5s模型结构，其他模型应用皆采用yolo v5s模型的原始功能网络结构。yolo v5系列模型的应用和结构，为现有技术，本实施例不作赘述。
70.如图1所示，本技术一方面，提出一种基于图像识别的三七质量评估方法，包括如下步骤：
71.构建并生成三七质量评估模型；
72.采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果；
73.统计并展示所述检测结果；
74.其中，所述三七质量评估模型包括三七检测模型、三七分类模型或三七伤臭检测模型中的至少一种。
75.本实施例，三七质量评估模型包括三七检测模型、三七分类模型和三七伤臭检测模型。
76.如图1所示，各个模型的构建方法，依次需要经过构建对应的数据集、搭建模型、利用数据集训练模型，生成对应的检测模型。比如利用构建的三七检测数据集训练yolo v5s模型，得到三七检测模型。以此类推，得到三七分类模型和三七伤臭检测模型。但是，本实施例，需要对三七分类模型和三七伤臭检测模型的网络结构进行调整，下面将具体说明。
77.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
78.构建三七检测数据集；
79.搭建模型，利用所述三七检测数据集训练所述模型，生成三七检测模型；
80.保存所述三七检测模型。
81.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
82.构建三七分类数据集；
83.搭建yolo v5s模型，利用所述三七分类数据集训练所述yolo v5s模型，得到三七分类初始模型，并在三七分类初始模型的分类网络中增加注意力模块cab，得到三七分类模型；
84.保存所述三七分类模型。
85.作为本技术的一可选实施方案，可选地，构建并生成三七质量评估模型，包括：
86.构建三七伤臭检测数据集；
87.搭建yolo v5s模型，利用所述三七伤臭检测数据集训练所述yolo v5s模型，得到三七伤臭检测初始模型，并将三七伤臭检测初始模型检测网络中的spp模块改为amm模块，得到三七伤臭检测模型；
88.保存所述三七伤臭检测模型。
89.经过上述模型构建，得到对应的模型并将模型保存在服务器中。
90.使用时，采集流水线上的三七图像，首先采用三七检测模型将三七以及一些灰碎检测出来，做进一步的分析。上述模型的构建方法，本实施例不再说明。其中：
91.基于yolo v5s模型生成的三七分类模型中，在其分类网络中增加了注意力模块cab，用于对使得网络更关注重要的特征通道，对不重要的特征通道给予小的权重；
92.基于yolo v5s模型生成的三七伤臭检测模型，在其检测网络中，将其spp模块改为了amm模块，用于过自适应池化层获得不同尺寸(β1×
s，β2×
s，β3×
s)的上下文特征。
93.一、三七检测模型对流水线上的三七采集图像，进行初步图像识别和预处理
94.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，包括：
95.对三七进行图像采集，得到三七图像；
96.对所述三七图像预处理，得到三七预处理图像；
97.利用所述三七质量评估模型中的三七检测模型，对所述三七预处理图像进行三七实时检测，将三七单个检测出来，得到三七原始图像。
98.流水线上的三七，进行图像采集后，利用服务器中的三七检测算法对图像进行识别，将三七单个检测出来，得到三七原始图像。
99.三七检测算法主要将三七以及一些灰碎检测出来，做进一步的分析，本发明所用的三七检测算法为yolo v5s模型，检测出来之后对单个三七进行分析。图像预处理方法，可以是图像灰度处理或者边界处理等，本实施例不做限制。
100.二、三七伤臭检测模型，利用其算法对单个三七进行伤臭检测。
101.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，还包括：
102.获取所述三七原始图像；
103.利用所述三七质量评估模型中的三七伤臭检测模型，对所述三七原始图像进行切片和卷积操作，得到特征图；
104.为所述特征图生成相应的空间权重，得到权重图，并将所述权重图和所述特征图进行融合，得到三七伤臭检测结果。
105.如图2所示，三七伤臭检测算法所用的网络为改进的yolo v5s模型，其结构如如图2所示。其中focus操作将原始608*608*3的图像采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图，如图3所示。其中图4为csp和cbl结构图，图5为amm结构。
106.其中，amm模块的输入尺寸为s＝h
×
w。通过自适应池化层获得不同尺寸(β1×
s，β2×
s，β3×
s)的上下文特征。每钟尺度的特征经过一个1
×
1的卷积获得同样的256通道维度，然后经过双线性插值到s尺寸。空间注意力机制通过concat将三种上下文特征进行融合，然后依次经过1
×
1卷积层，relu激活层，3
×
3卷积层，然后经过一个sigmoid激活层，为每个特征图生成相应的空间权重，然后将权重图和特征图进行hadamard乘积运算，然后将特征进行分离再和输入s进行相加，最后得到的特征有丰富的多尺度上下文信息，这在一定程度上减小了信息的损失。
107.三、三七分类模型对单个三七的拍照图像，进行特征标注和分类
108.作为本技术的一可选实施方案，可选地，采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果，还包括：
109.获取所述三七原始图像；
110.利用所述三七质量评估模型中的三七分类模型，对所述三七原始图像进行特征标注，提取并得到特征图；
111.经过squeeze操作，通过全局平均池化方式获取所述特征图的聚合全局信息，并生成所述特征图的通道描述符；
112.基于所述三七分类模型中的注意力模块cab，对所述特征图的通道描述符进行通道权重标定，并根据不同权重，分别输出各个三七特征图的类别。
113.三七分类模型对单个三七图像进行标注，将三七标注为精品条七、普通条七、精品团七、普通团七、长条、普通三七、灰碎，得到特征图。其中分类模型如图6所示。
114.如图7所示的cab模块，将每一阶段经过卷积处理后再经过一个cab模块。其中cab是一个通道注意力模块，使得网络更关注重要的特征通道，对不重要的特征通道给予小的权重。输入为x，其维度为r
h*w*c
,h、w和c分别表示特征图的高、宽和通道数。首先经过squeeze操作，沿着空间维度r
h*w
通过全局平均池化方式来聚合全局信息，生成一个r
1*1*c
维度的通道描述符。为了充分利用squeeze聚合的全局信息，再经过excitation操作，来捕获特征图各通道之间的相互依赖关系。该操作先经过一个全连接层，把通道数由c缩小为c/r,然后经过relu函数，参数r可以控制se模块的计算量，r的大小设置不同，对网络性能影响效果也会不同。然后再经过一个全连接层，通道数由c/r扩大为c，紧接着是一个sigmoid函数。至此，生成一个r
1*1*c
维度的向量，然后将其和输入x进行逐通道相乘，就完成了对输入特征图的通道标定。经过特征重标定后的特征图不同通道重要性不同，重要的信息被放大，不重要的信息被减弱，从而提高三七分类的准确性。
115.经过上述伤臭检测和分类，可以得到这批三七各个类别的占比，以及伤臭情况，工作人员可以根据具体情况对三七进行评估给出合理价格。
116.因此，本技术可以利用该模型系统可以进行批次性的三七质量评估，实现流水线上的三七快速评估，提高三七质量评估的快捷型，实现三七的智能化数值产业。
117.上述的三七分类模型进而三七伤臭检测模型，也可以单独使用，具体结合应用场景使用即可。
118.需要说明的是，尽管以yolo v5s模型作为示例介绍了如上模型训练方法，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据实际应用场景灵活设定模型的深度学习训练方法，只要可以按照上述技术方法实现本技术的技术功能即可。
119.实施例2
120.基于实施例1的实施原理，一种基于图像识别的三七质量评估装置，包括如下步骤：
121.评估模型构建模块，用于构建并生成三七质量评估模型；
122.质量检测模块，用于采集三七图像，并利用所述三七质量评估模型对所述三七图像进行质量检测，得到检测结果；
123.展示模块，用于统计并展示所述检测结果；
124.其中，所述三七质量评估模型包括三七检测模型、三七分类模型或三七伤臭检测模型中的至少一种。
125.上述模块具体功能参见实施例1。
126.显然，本领域的技术人员应该明白，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
127.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成的，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
128.实施例3
129.更进一步地，本技术另一方面，提出一种服务器，包括：
130.处理器；
131.用于存储处理器可执行指令的存储器；
132.其中，所述处理器被配置为执行所述可执行指令时实现上述所述的基于图像识别的三七质量评估方法。
133.本公开实施例的服务器包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于图像识别的三七质量评估方法。
134.此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的服务器中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
135.存储器作为一计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于图像识别的三七质量评估方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行服务器的各种功能应用及数据处理。
136.输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
137.实施例4
138.如图8所示，本技术另一方面，还提出一种评估系统，用于三七质量评估，包括：
139.筛选机构1，用于对三七进行筛选；可以是筛网；
140.传送模块2，设于所述筛选机构1一侧，用于将筛选后的三七进行传输；可以是伺服
驱动的传送带；
141.工业相机3，设于所述传送模块2上方，用于对传送模块2上的三七进行拍照，采集三七图像；通过支架，悬空在传送带上方，镜头朝下，对三七拍照；
142.权利要求8所述的服务器5，设于所述传送模块2一侧，用于基于上述所述的基于图像识别的三七质量评估方法，对所述三七图像进行质量检测，得到检测结果，统计并输出所述检测结果；服务器5内置上述实施例1只能够的各个模型以及对应模型的算法；
143.控制器6，设于所述传送模块2上，用于对所述传送模块2进行启动控制以及所述工业相机3进行拍照控制；固定在传送带底部；
144.所述工业相机3通信连接所述服务器5，所述筛选机构1和所述传送模块2分别电连接所述控制器6。
145.作为本技术的一可选实施方案，可选地，还包括：
146.显示器4，传送模块2一侧，设于所述用于显示统计的所述检测结果；
147.所述显示器4与所述服务器5电连接。
148.其中筛选机构1用于对三七进行筛选，使得小于一定尺寸的石子和灰碎被过滤，传送模块2用于将过滤后的三七进行传输，工业相机3用于对传送模块2上的三七进行拍照，控制器6对传送带以及摄像机进行拍照控制，并通过服务器5对三七整体批次图像进行分析，将分析结果展现在显示屏4上。
149.具体实施时，三七无重叠的放在筛选机构1上，筛选机构1将微小的石子和灰碎筛选掉后，经传送模块2的传送带传输，然后进行传送，当经过工业相机3的摄像头下时进行拍照，将拍完的照片上传至内置算法的计算分析服务器5(服务器端或者边缘计算单元)中进行分析，当这批三七全部传送完之后，显示器4显示这批三七的结果，为这批三七的价格提供参考。
150.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。