一种中药饮片图像的自动识别方法

1.本发明属于中药及图像目标识别领域，尤其是涉及一种中药饮片图像的自动识别方法。


背景技术：

2.中药产业的快速发展使得社会对中医药服务的需求不断增加。中药饮片是中医临床方剂和中成药的基本组成部分，是在中医药理论指导下，根据辩证施治及调剂、制剂的需要，对中药材进行特殊加工炮制后的中药特色产品，其独特的使用方式需要中药配方、校对、煎制等许多复杂环节，这些环节中用药正确无误以及饮片质量优劣直接关系到中药汤剂的疗效。因此，对中药饮片的识别和辨认是中医药治疗、配方和煎制等工作中非常重要的内容。对其真伪、级别、质量鉴定，以及对其验收、调剂、复核等相关操作需要专业的知识和技术才能完成，目前这些环节都几乎完全依靠人工完成，严重依赖于人的经验水平和工作熟练度，效率低下且难以统一标准，单凭肉眼难以长时间高效准确地对其识别与分类。
3.随着互联网的快速发展和计算机技术的不断成熟和进步，计算机技术中的图像处理技术得到了广泛的应用。在医学图像识别领域，深度学习也已经有了广泛的应用。
4.如公开号为cn109754081a的中国专利文献公开了一种基于深度学习的腔镜医学影像识别系统，通过自主数据库对采集得到的原始图像进行模式识别得到识别图像，然后通过图像分割模块进行图像分割并通过数据计算模块进行回归分析计算得到识别结果图像进行输出，解决了人工目测腔镜医学影像时易导致计算出的原始测量物的面积大小出现极大偏差的问题。
5.公开号为cn110321946a的中国专利文献公开了一种基于深度学习的多模态医学影像识别方法及装置，利用医疗影像设备采集医学影像数据；影像增强算法对采集的影像进行增强处理；提取程序提取采集影像特征；利用识别程序对提取的特征进行识别；利用转换程序对不同模态医学影像进行转换操作；打印机将采集的影像进行打印操作；利用显示器显示采集医学影像数据信息。
6.然而，对于中药饮片的识别和辨认，并没有采用计算机进行自动识别的相关记载，识别过程还是完全依靠人工完成。


技术实现要素：

7.本发明提供了一种中药饮片图像的自动识别方法，可将传统人工识别和检测的方法替代为机器自动完成，解决了传统方法效率低下，准确率不高，成本较高等问题。
8.一种中药饮片图像的自动识别方法，包括以下步骤：
9.(1)分类别采集常用中药饮片数据图像；
10.(2)对采集的图像进行分割，得到单个饮片图像；
11.(3)对所得单个饮片图像进行预处理，构建常见中药饮片数据库；
12.(4)构建基于resnest的识别模型，所述的识别模型对resnest卷积神经网络模型
进行修改，在基数组内split attention操作中的global pooling之前增加最大池化(max pooling)操作，同时在通道间注意力之后添加空间注意力；
13.(5)将预处理后的饮片图像数据集输入识别模型进行模型训练；
14.(6)模型训练完毕后，将待识别的中药饮片图像输入训练后的识别模型进行识别。
15.进一步地，步骤(1)中，所述的中药饮片数据图像通过图像采集设备采集自专业中药饮片生产销售机构，中药饮片为中药材经过遵循中国药典、中药炮制规范的炮制加工后所得。
16.步骤(2)中，得到的单个饮片图像覆盖了在外观、数量、纹理、状态上各有差异的饮片图像。
17.步骤(3)中，所述的预处理包括缩放和归一化等处理。
18.步骤(4)中，对resnest卷积神经网络模型进行修改，具体包括:
19.(4-1)在split attention操作中的global pooling之前增加最大池化(max pooling)操作，可以准确的获得全局上下文信息，从好更好的保留和提取纹理特征，该层的具体表示方式如下：g(f)＝maxpool(f)；
20.(4-2)在split attention操作中添加空间注意力(spatial attention),具体步骤如下：
21.(4-2-1)特征图经过max pooling和global avg pooling两个池化层来讲聚合特征图的通道信息，更好的保留和提取纹理特征，其公式如下：g1(f)＝[avgpool(f),maxpool(f)]；
[0022]
(4-2-2)特征图经过3个3*3的卷积核，来获得一个开阔的感受野来决定空间区域的重要性，其公式如下：g2(f)＝f
3*3
(f
3*3
(f
3*3
(f)))；
[0023]
(4-2-3)特征图经过sigmoid函数，生成最终空间注意力的权重系数,sigmoid函数的具体公式如下：
[0024]
(4-2-4)将获得的最终空间注意力的权重系数加权到原始特征图中去，具体公式如下：g4(f)＝w*f。
[0025]
步骤(5)中，进行模型训练时，具体包括：
[0026]
(5-1)对不同的迭代周期进行实验，确定其对识别率结果的影响，最终确定固定迭代周期(epoch＝150)；
[0027]
(5-2)对不同的学习速率和批尺寸进行网格搜索，确定其对图像识别率的影响，综合考虑识别率与训练时长，确定学习速率(lr＝0.001)和批尺寸(batch-size＝64)，以得到训练后的模型。
[0028]
进一步地，步骤(5-1)中，固定迭代周期是通过分析对最终识别率的影响而择优确定的。
[0029]
步骤(5-2)中，确定学习速率和批尺寸时，考虑到了模型的收敛程度和速度。
[0030]
与现有技术相比，本发明具有以下有益效果：
[0031]
1、本发明通过对resnest卷积神经网络模型进行调整，在基数组内split attention操作中的global pooling之前增加最大池化(max pooling)操作，同时在通道间注意力之后添加空间注意力；从而使得训练后的识别模型在进行中药饮片图像识别时具有
较高的准确率和效率。
[0032]
2、本发明的方法有助于将中药识别的传统经验描述转化为量化的评价指标，有助于提高中药生产装置设备的自动化和智能化水平。
附图说明
[0033]
图1为本发明一种中药饮片图像的自动识别方法流程图；
[0034]
图2为本发明采用的resnest模型中改进后的split attention详细结构图；
[0035]
图3为本发明提供的融合通道和空间注意力的结构图；
[0036]
图4为本发明提供的空间注意力spatial attention的结构图。
具体实施方式
[0037]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0038]
如图1所示，一种中药饮片图像的自动识别方法，包括建立中药饮片图像的识别模型和使用该模型识别中药饮片图像两个步骤，具体包括以下步骤：
[0039]
步骤s100，分类别采集常用中药饮片数据图像。
[0040]
具体地，中药饮片图像指，通过专业加工炮制后获得的人为加工后所的图像，包括通过人为切、铡、压等各种对中药材进行操作后形成的块状、片状、杆状、粒状等形状的中药饮片的图像。
[0041]
步骤s200，对采集的图像进行分割，得到单个饮片图像。
[0042]
单个饮片图像指通过图像采集设备获取的一组多样本图像，经过图像分割方法将图像剪切分割后包括只含有1个样本的图像。
[0043]
步骤s300，对所得单个饮片图像进行缩放、归一化等预处理，构建常见中药饮片数据库。
[0044]
本步骤中，对所得大小不一的单个饮片图像经过缩放、变形等处理获得大小一致的图像。
[0045]
步骤s400，构建中药饮片图像的识别模型，识别模型基于resnest，对resnest卷积神经网络模型进行调整，在基数组内split attention操作中的global pooling之前增加最大池化(max pooling)操作，同时在通道间注意力之后添加空间注意力。
[0046]
图2为本发明采用的resnest模型中改进后的split attention详细结构图；图3为本发明提供的融合通道和空间注意力的结构图；图4为本发明提供的空间注意力spatial attention的结构图。
[0047]
(4-1)在split attention操作中的global pooling之前增加最大池化(max pooling)操作，可以准确的获得全局上下文信息，从好更好的保留和提取纹理特征，该层的具体表示方式如下：g(f)＝maxpool(f)；
[0048]
(4-2)在split attention操作中添加空间注意力(spatial attention),如图3所示，将通道注意力模块和空间注意力模块顺序排列，如图4所示，空间注意力模块的具体结构步骤如下：
[0049]
(4-2-1)特征图经过max pooling和global avg pooling两个池化层来讲聚合特
征图的通道信息，更好的保留和提取纹理特征，其公式如下：g1(f)＝[avgpool(f),maxpool(f)]；
[0050]
(4-2-2)特征图经过3个3*3的卷积核，来获得一个开阔的感受野来决定空间区域的重要性，其公式如下：g2(f)＝f
3*3
(f
3*3
(f
3*3
(f)))；
[0051]
(4-2-3)特征图经过sigmoid函数，生成最终空间注意力的权重系数,sigmoid函数的具体公式如下：
[0052]
(4-2-4)将获得的最终空间注意力的权重系数加权到原始特征图中去，具体公式如下：g4(f)＝w*f。
[0053]
步骤s500，将预处理后的饮片图像数据集输入调整后的resnest卷积神经网络模型以训练模型。
[0054]
步骤s600，对不同的迭代周期进行实验，确定其对识别率结果的影响，最终确定固定迭代周期(epoch＝150)。
[0055]
本步骤中，在训练中经过调整学习率、批尺寸，确定合适的固定迭代周期。
[0056]
步骤s700，对不同的学习速率和批尺寸进行网格搜索，确定其对图像识别率的影响，综合考虑识别率与训练时长，确定学习速率(lr＝0.001)和批尺寸(batch-size＝64)，以得到训练后的模型。
[0057]
步骤s800，将欲识别的中药饮片图像输入训练后的resnest模型进行识别，得到识别结果输出。
[0058]
以上对本发明所提供的一种中药饮片图像识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。