中草药识别方法及装置与流程

本发明涉及中药技术领域，具体而言，涉及一种中草药识别方法及装置。

背景技术：

中药主要由植物药(根、茎、叶、果)、动物药(内脏、皮、骨、器官等)和矿物药组成。因植物药占中药的大多数，所以中药也称中草药。中国各地使用的中药已达5000种左右，把各种药材相配伍而形成的方剂，更是数不胜数。

中药学已有数千年的历史，是中国人民长期同疾病作斗争的极为丰富的经验总结，对于中华民族的繁荣昌盛有着巨大的贡献。但由于中药的很多药材外形相似，但功能迥异，很多时候差之毫厘失之千里。能分辨中草药有很多好处。例如，在野外意外受伤或者中毒情况下，身边没有应急药品时，能分辨出野外的中草药，还能救人一命。不能准确的分辨中药，很容易造成用错药，会对用药者的身体造成极大的损伤。现如今分辨中草药主要靠人工，但人工分辨工作量大且需要有专业的知识及多年的经验积累。这样很有可能造成用药者在继续选择用药时得不到专业的帮助。进而造成不必要的损失。

技术实现要素：

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明实施例提供一种中草药识别方法，应用于中草药识别系统，所述系统包括相互之间通信连接的服务器与用户终端，所述服务器包括中草药深度学习模型，所述方法包括：所述用户终端获取输入的中草药的图像信息，并将中草药的图像信息发送给服务器；所述服务器采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

本发明实施例还提供一种中草药识别方法，应用于用户终端，所述用户终端包括中草药深度学习模型，所述方法包括：获取输入的中草药的图像信息；所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

本发明实施例还提供一种中草药识别装置，应用于中草药识别系统，所述系统包括相互之间通信连接的服务器与用户终端，所述服务器包括中草药深度学习模型，所述装置包括：发送模块，用于所述用户终端获取输入的中草药的图像信息，并将中草药的图像信息发送给服务器；获得模块，用于所述服务器采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息；建立模块，用于建立中草药深度学习模型；训练模块，用于利用深度学习方法，对所述中草药深度学习模型进行训练；显示模块，用于所述用户终端接收并显示所述服务器发送的中草药的信息。

本发明实施例还提供一种中草药识别装置，应用于用户终端，所述用户终端包括中草药深度学习模型，所述装置包括：获取模块，用于获取输入的中草药的图像信息；及所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

与现有技术相比，本发明提供的一种中草药识别方法及装置。所述用户终端获取输入的中草药的图像信息，并将中草药的图像信息发送给服务器；所述服务器采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。进而帮助无中草药专业的知识及多年经验的人准确的区分出不同的中草药，且获得其药效和作用。避免服用者误服，造成不必要的损失。且节省了大量的人力成本。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明较佳实施例提供的中草药识别系统的示意图。

图2为本发明较佳实施例提供的用户终端的方框示意图。

图3为本发明第一实施例提供的中草药识别装置的功能模块示意图。

图4为图3中训练模型的功能子模块示意图。

图5为图3中获得模块的功能子模块示意图。

图6为本发明较佳实施例中用户终端显示中草药的信息的示意图。

图7为本发明第三实施例提供的中草药识别方法的流程图。

图8为图7中步骤S102的子步骤的流程图。

图9为图7中步骤S104的子步骤的流程图。

图10为本发明第四实施例提供的中草药识别方法的流程图。

图标：100-中草药识别系统；110-服务器；200-中草药识别装置；300-网络；120-用户终端；121-存储器；122-存储控制器；123-处理器；124-外设接口；125-显示单元；126-输入单元；500-中草药识别装置；201-预设模块；202-训练模块；2021-第一提取子模块；2022-第一分类子模块；2023-计算子模块；2024-迭代子模块；203-发送模块；204-获得模块；2041-检测子模块；2042-第二提取子模块；2043-第二分类子模块；2044-获得子模块；205-显示模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本发明较佳实施例提供的中草药识别方法及装置可应用于如图1所示的中草药识别系统100。如图1所示，中草药识别系统100包括服务器110及用户终端120。服务器110及用户终端120位于网络300中，网络300包括无线网络或有线网络，通过网络300，服务器110与用户终端120进行数据交互。

本发明较佳实施例提供的中草药识别方法及装置还可应用于如图2示出的用户终端120。图2为本发明较佳实施例提供的用户终端120的方框示意图。所述用户终端120可以是平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。所述用户终端120包括中草药识别装置500、存储器121、存储控制器122、处理器123、外设接口124、显示单元125、输入单元126。

所述存储器121、存储控制器122、处理器123、外设接口124、显示单元125、输入单元126各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述中草药识别装置500包括至少一个可以软件或固件(firmware)的形式存储于所述存储器121中或固化在所述用户终端120的操作系统(operating system，OS)中的软件功能模块。所述处理器123用于执行存储器121中存储的可执行模块，例如所述中草药识别装置500包括的软件功能模块或计算机程序。

其中，存储器121可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器121用于存储程序，所述处理器123在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器123中，或者由处理器123实现。

处理器123可以是一种集成电路芯片，具有信号的处理能力。上述的处理器123可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器123也可以是任何常规的处理器123等。

所述外设接口124将各种输入/输出装置耦合至处理器123以及存储器121。在一些实施例中，外设接口124，处理器123以及存储控制器122可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

显示单元125在所述用户终端120与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元125可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器123进行计算和处理。

输入单元126用于提供给用户输入图像信息。所述输入单元126可以是，但不限于，摄像头、电子绘画板、数据接口及键盘等，键盘可以是虚拟键盘。

第一实施例

请参考图3，图3是本发明较佳实施例提供的应用于图1所示的中草药识别系统100的中草药识别装置200。其中，所述服务器110包括一中草药深度学习模型。

本实施例中，中草药识别装置200包括预设模块201、训练模块202、发送模块203、获得模块204及显示模块205。

预设模块201，用于预设深度学习模型。需要说明的是，深度学习模型包括卷积神经网络层。卷积神经网络层包括多个隐藏层。本实施例中，通过预设置每个隐藏层的参数，获得深度学习模型的框架。进而，完成预设深度学习模型。其中，参数可以但不限于是包括每个隐藏层的权重值、偏置值、结构、输出层节点个数、卷积核的大小及卷积核的数量等。

在其他实施例中，还可以通过初始化成熟的深度学习模型获得成熟的深度学习模型的框架，并将成熟的深度学习模型的架构作为预设的深度学习模型的框架。具体地，成熟的深度学习模型可以但不限于是，GoogleNet或VGG。

训练模块202，用于根据多个种类的已知信息的中草药的图像，利用深度学习方法，对所述深度学习模型进行训练，获得中草药深度学习模型。在本实施例中，根据大量的多种类的已知信息了的中草药的图像建立训练集。利用深度学习模型对训练集中每一个样本(即已知信息的中草药的图像)进行识别分类。其中，已知信息可以但不限于包括该类中草药的名称、性能功效及实际特征根据等。并根据分类结果的误差不断迭代调整深度学习模型中卷积神经网络层的框架，获得中草药深度学习模型。具体地，在训练过程中，训练模块202还利用超参数自动优化方法调整训练过程的超参数。需要说明的是，超参数的配置直接影响深度模型的训练效果，因此需要找到适当的超参数配置来进行训练才能得到最好的结果。本实施例中，超参数包括隐藏层节点个数、激活函数选择、无监督或有监督过程、训练因子、训练次数及稀疏系数等。具体地，超参数自动优化方法根据当前训练结果和训练历史自动在超参数空间中搜寻最优超参数配置。

本实施例中，如图4所示，训练模块202包括第一提取子模块2021、第一分类子模块2022、计算子模块2023及迭代子模块2024。

第一提取子模块2021，用于利用所述预设深度学习模型，提取所述已知信息的中草药的特征。第一提取子模块2021根据获得的训练集中的每一个样本(即已知信息的中草药的图像)的底层特征(例如中草药在图像中直接展现出来的形状、颜色及纹路等)，并利用预设深度学习模型进行处理并生成该样本对应的中草药的特征。具体地，深度学习模型可以通过组合底层特征，形成更加抽象的高层次的特征。本实施例中，深度学习模型中的卷积神经网络层的多个隐藏层将获得的中草药底层特征进行多层次的组合、运算，以得到抽象的高层次的特征。

第一分类子模块2022，用于根据所述特征，利用所述预设深度学习模型，对所述特征进行分类。具体地，预设的深度学习模型还包括全连接层。全连接层利用分类器算法对中草药的特征进行分类。

计算子模块2023，用于根据分类结果及代价函数，获得模型响应误差。例如，可以选用平方误差函数作为代价函数，具体公式为：

其中，Eⁿ为根据第n个样本的分类结果计算出的模型响应误差；c代表输出层节点个数；代表第n个样本理论上该从输出层第k个节点输出的正确结果；代表第n个样本实际上从输出层第k个节点输出的正确结果。其中可从已知信息的中草药的已知信息中获取。

迭代子模块2024，用于根据所述模型响应误差，利用反向传播，对所述深度学习模型进行迭代更新，获得所述中草药学习模型。具体地，根据模型响应误差及超参数选择的激活函数，获得卷积神经网络层的每一层的权重梯度。根据权重梯度、训练因子及卷积神经网络层的每层的权重值，迭代更新，获取卷积神经网络层的每层的更新后权重值。通过不停的迭代，获得中草药学习模型。中草药学习模型通过训练集中大量的样本的训练迭代后，识别的更加的精准。

发送模块203，用于所述用户终端120将获取到的待识别的中草药的图像信息发送给服务器110。具体地，用户终端120可以通过输入单元126获取到中草药的图像信息。例如，可以但不限于是，通过摄像头拍摄的中草药图像信息、通过电子画板获得的中草药图像信息或通过数据接口接收到的中草药图像信息。

获得模块204，用于所述服务器110采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。深度学习模型通过提取中草药的图像信息的特征，在进行分析后，匹配出该中草药所属分类，进而获得中草药的信息。需要说明的是，服务器110内还包括中草药数据库，中草药数据库内存储有与每种中草药分类对应的中草药的信息。其中，中草药信息可以但不限于包括：该中草药的名称、所属科、毒性、药效、作用及用法等。本实施例中，如图5所示，获得模块204包括检测子模块2041、第二提取子模块2042、第二分类子模块2043及获得子模块2044。

检测子模块2041，用于将所述中草药的图像信息划分为多个图像数据。具体为，将图像分成若干个特定的、具有独特性质的区域。每个区域对应一个分割后的图像数据。以便于获得更多的底层特征。

第二提取子模块2042，用于根据所述图像数据利用所述中草药深度学习模型提取所述中草药的特征。具体地，根据图像数据获得底层特征。根据底层特征，利用卷积神经网络层提取出所述中草药的特征。

第二分类子模块2043，用于根据所述中草药的特征，利用所述中草药深度学习模型匹配出所述特征所属的分类。具体地，根据所属中草药的特征，通过中草药深度学习模型的全连接层，利用分类器算法进行分类。

获得子模块2044，用于根据所述所属的分类得到中草药的信息。根据分类结果，从中草药数据库中匹配出与分类结果对应的中草药的信息。

显示模块205，用于所述用户终端120接收并显示所述服务器110发送的中草药的信息。具体地，显示模块205接收到中草药信息后，如图6所示，通过显示单元125将该中草药的信息显示出来。

第二实施例

本发明还提供一种中草药识别装置500，应用于用户终端120，所述用户终端120包括中草药深度学习模型，所述装置包括获取模块。

获取模块，用于获取输入的中草药的图像信息。及还用于所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

第三实施例

请参考图7，图7为本发明较佳实施例提供的中草药识别方法的流程图。中草药识别方法包括以下步骤：

步骤S101，预设深度学习模型。

在本发明实施例中，步骤S101可以由预设模块201执行。

步骤S102，根据多个种类的已知信息的中草药的图像，利用深度学习方法，对所述深度学习模型进行训练，获得中草药深度学习模型。

在本发明实施例中，步骤S102可以由训练模块202执行。请参考图8，步骤S102还包括一下子步骤：

子步骤S1021，利用所述预设深度学习模型，提取所述已知信息的中草药的特征。

在本发明实施例中，子步骤S1021可以由第一提取子模块2021执行。

子步骤S1022，根据所述特征，利用所述预设深度学习模型，对所述特征进行分类。

在本发明实施例中，子步骤S1022可以由第一分类子模块2022执行。

子步骤S1023，根据分类结果及代价函数，获得模型响应误差。

在本发明实施例中，子步骤S1023可以由计算子模块2023执行。

子步骤S1024，根据所述模型响应误差，利用反向传播，对所述深度学习模型进行迭代更新，获得所述中草药学习模型。

在本发明实施例中，子步骤S1024可以由迭代子模块2024执行。

步骤S103，所述用户终端120将获取到的待识别的中草药的图像信息发送给服务器110。

在本发明实施例中，步骤S103可以由发送模块203执行。

步骤S104，所述服务器110采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

在本发明实施例中，步骤S104可以由获得模块204执行。请参考图9，步骤S104还包括一下子步骤：

子步骤S1041，将所述中草药的图像信息划分为多个图像数据。

在本发明实施例中，子步骤S1041可以由检测子模块2041执行。

子步骤S1042，根据所述图像数据利用所述中草药深度学习模型提取所述中草药的特征。

在本发明实施例中，子步骤S1042可以由第二提取子模块2042执行。

子步骤S1043，根据所述中草药的特征，利用所述中草药深度学习模型匹配出所述特征所属的分类。

在本发明实施例中，子步骤S1043可以由第二分类子模块2043执行。

子步骤S1044，根据所述所属的分类得到中草药的信息。

在本发明实施例中，子步骤S1044可以由获得子模块2044执行。

步骤S105，所述用户终端120接收并显示所述服务器110发送的中草药的信息。

在本发明实施例中，步骤S105可以由显示模块205执行。

第四实施例

请参考图10，本实施例提供一种中草药识别方法，应用于用户终端120，所述用户终端120包括中草药深度学习模型，所述方法包括以下步骤：

步骤S201，获取输入的中草药的图像信息。

在本发明实施例中，步骤S201可以由获取模块执行。

步骤S202，所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。

在本发明实施例中，步骤S202可以由获取模块执行。

综上所述，本发明提供的一种中草药识别方法及装置。所述用户终端获取输入的中草药的图像信息，并将中草药的图像信息发送给服务器；所述服务器采用所述中草药深度学习模型对所述中草药的图像信息进行识别，得到中草药的信息。进而帮助无中草药专业的知识及多年经验的人准确的区分出不同的中草药，且获得其药效和作用。避免服用者误服，造成不必要的损失。且节省了大量的人力成本。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。