一种舌象检测方法、装置、客户端、服务器及系统与流程

本发明涉及医疗器械技术领域，尤其涉及的是一种舌象检测方法、装置、客户端、服务器及系统。

背景技术：

舌诊是中医临床的基本诊断方法之一，医生通过舌诊可以分析人体脏腑气血的盛衰、病邪所在的脏腑及病情的变化，对中医处方用药及判断疾病预后有重要的参考意义。

为了实现中医诊断的定量化和标准化，舌象仪应运而生。舌象仪是遵循中医舌诊原理，采用先进的数码相机和计算机技术研发，对舌象特征信息提取与处理，对舌象分析，实现客观量化的仪器。

相关技术中的舌象仪在出厂后一般是各家医院独立使用，其辅助医疗水平受制于固化在设备中的软件算法。由于出厂后的舌象仪缺乏产品更新机制，不利于舌象仪的推广和普及。

技术实现要素：

本发明实施例所要解决的技术问题是提供一种舌象检测方法、装置、客户端、服务器及系统，能够在舌象检测系统的使用过程中不断提高舌象检测系统的准确度。

根据本申请的第一方面，本发明实施例提供一种舌象检测方法，应用于舌象检测客户端，包括：

获取舌象图像，利用图像分析模型对所述舌象图像进行识别，生成标记信息并显示；

在获取到所述标记信息的更正信息后，根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息；

利用辅助诊断模型对所述舌象图像以及最终的标记信息进行分析，生成辅助诊断结果。

根据本申请的第二方面，本发明实施例提供一种舌象检测方法，应用于舌象检测服务器，包括：

从舌象检测客户端获取舌象图像和标记信息；

根据所述舌象图像和标记信息生成训练数据，根据所述训练数据更新图像分析模型和辅助诊断模型。

根据本申请的第三方面，本发明实施例提供一种舌象检测装置，应用于舌象检测客户端，包括：

图像获取及分析模块，用于获取舌象图像，利用图像分析模型对所述舌象图像进行识别，生成标记信息并显示；

标记信息处理模块，用于在获取到所述标记信息的更正信息后，根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息；

辅助诊断模块，用于利用辅助诊断模型对所述舌象图像以及最终的标记信息进行分析，生成辅助诊断结果；

根据本申请的第四方面，本发明实施例提供一种舌象检测装置，应用于舌象检测服务器，包括：

信息接收模块，用于从舌象检测客户端获取舌象图像和标记信息；

模型更新模块，用于根据所述舌象图像和标记信息生成训练数据，根据所述训练数据更新图像分析模型和辅助诊断模型。

根据本申请的第五方面，本发明实施例提供一种舌象检测客户端，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的舌象检测程序，所述舌象检测程序被所述处理器执行时实现上述应用于舌象检测客户端的舌象检测方法的步骤。

根据本申请的第六方面，本发明实施例提供一种舌象检测服务器，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的舌象检测程序，所述舌象检测程序被所述处理器执行时实现上述应用于舌象检测服务器的舌象检测方法的步骤。

根据本申请的第七方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有舌象检测程序，所述舌象检测程序被处理器执行时实现上述应用于舌象检测客户端的舌象检测方法的步骤。

根据本申请的第八方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有舌象检测程序，所述舌象检测程序被处理器执行时实现上述应用于舌象检测服务器的舌象检测方法的步骤。

与相关技术相比，本发明实施例提供的一种舌象检测方法、装置、客户端、服务器及系统，舌象检测客户端获取舌象图像，利用图像分析模型对所述舌象图像进行识别，生成标记信息并显示，在获取到所述标记信息的更正信息后，根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息；利用辅助诊断模型对所述舌象图像以及最终的标记信息进行分析，生成辅助诊断结果。上述舌象检测客户端通过不断地自学习医生对标记信息的更正信息，从而能够在舌象检测系统的使用过程中不断提高舌象检测系统的准确度。

附图说明

图1为本发明实施例1的一种舌象检测方法流程图(舌象检测客户端)；

图2为本发明实施例2的一种舌象检测方法流程图(舌象检测服务器)；

图3为本发明实施例3的一种舌象检测装置示意图(舌象检测客户端)；

图4为本发明实施例4的一种舌象检测装置示意图(舌象检测服务器)；

图5为本发明实施例5的一种舌象检测系统示意图；

图6为本发明示例1的舌象仪示意图；

图7为本发明示例2的舌象检测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

实施例1

如图1所示，本发明实施例提供了一种舌象检测方法，应用于舌象检测客户端，包括：

步骤s110，获取舌象图像，利用图像分析模型对所述舌象图像进行识别，生成标记信息并显示；

步骤s120，在获取到所述标记信息的更正信息后，根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息；

步骤s130，利用辅助诊断模型对所述舌象图像以及最终的标记信息进行分析，生成辅助诊断结果；

在一种实施方式中，所述方法还包括：

根据提供所述更正信息的医生id获取所述医生的历史更正评分，根据所述医生的历史更正评分确定所述更正信息对应的准确度。

其中，医生的历史更正评分越高，所述医生提供的更正信息对应的准确度越高；

在一种实施方式中，所述方法还包括：

根据医生的最新更正信息与图像分析模型生成的标记信息的比对结果更新所述医生的更正评分。

其中，所述根据医生的最新更正信息与图像分析模型生成的标记信息的比对结果更新所述医生的更正评分，包括：

如果医生的最新更正信息与图像分析模型生成的标记信息的相似度大于或等于阈值，则提高所述医生的更正评分；如果医生的最新更正信息与图像分析模型生成的标记信息的相似度小于阈值，则降低所述医生的更正评分；

在一种实施方式中，所述标记信息包括以下至少一种：舌色、舌苔、舌形、是否存在舌裂纹；

其中，舌色可以包括以下任意一种：淡红舌、淡白舌、红舌、绛舌、紫舌、青舌；

舌形可以包括以下任意一种：老嫩、胖大、瘦薄、芒刺、裂纹、齿痕；

舌苔可以包括以下任意一种：白苔、黄苔、灰苔、黑苔、绿苔；

在一种实施方式中，所述根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息，包括：

当所述更正信息对应的准确度大于或等于置信阈值时，判定采纳所述更正信息，将标记信息和标记信息的更正信息进行结合，生成最终的标记信息；当所述更正信息对应的准确度小于置信阈值时，判定不采纳所述更正信息，将原始的标记信息作为最终的标记信息；

在一种实施方式中，所述方法还包括：

将所述舌象图像和最终的标记信息上传给舌象检测服务器供所述舌象检测服务器更新图像分析模型和辅助诊断模型。

在一种实施方式中，所述方法还包括：

从舌象检测服务器下载更新后的图像分析模型和辅助诊断模型。

其中，所述舌象检测客户端可以定期从舌象检测服务器下载更新后的图像分析模型和辅助诊断模型。

在一种实施方式中，所述舌象检测服务器包括以下至少一种：本地服务器或云端服务器。其中，所述本地服务器可以是医院内部的服务器。

实施例2

如图2所示，本发明实施例提供了一种舌象检测方法，应用于舌象检测服务器，包括：

步骤s210，从舌象检测客户端获取舌象图像和标记信息；

步骤s220，根据所述舌象图像和标记信息生成训练数据，根据所述训练数据更新图像分析模型和辅助诊断模型。

在一种实施方式中，所述舌象检测服务器包括以下至少一种：本地服务器或云端服务器。其中，所述本地服务器可以是医院内部的服务器。

在一种实施方式中，所述标记信息包括以下至少一种：舌色、舌苔、舌形、是否存在舌裂纹；

其中，舌色可以包括以下任意一种：淡红舌、淡白舌、红舌、绛舌、紫舌、青舌；

舌形可以包括以下任意一种：老嫩、胖大、瘦薄、芒刺、裂纹、齿痕；

舌苔可以包括以下任意一种：白苔、黄苔、灰苔、黑苔、绿苔。

实施例3

如图3所示，本发明实施例提供了一种舌象检测装置，应用于舌象检测客户端，包括：

图像获取及分析模块301，用于获取舌象图像，利用图像分析模型对所述舌象图像进行识别，生成标记信息并显示；

标记信息处理模块302，用于在获取到所述标记信息的更正信息后，根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息；

辅助诊断模块303，用于利用辅助诊断模型对所述舌象图像以及最终的标记信息进行分析，生成辅助诊断结果；

在一种实施方式中，标记信息处理模块302，还用于根据提供所述更正信息的医生id获取所述医生的历史更正评分，根据所述医生的历史更正评分确定所述更正信息对应的准确度。

其中，医生的历史更正评分越高，所述医生提供的更正信息对应的准确度越高；

在一种实施方式中，所述装置还包括：评分模块304；

所述评分模块304，用于根据医生的最新更正信息与图像分析模型生成的标记信息的比对结果更新所述医生的更正评分。

其中，所述评分模块304，用于采用以下方式根据医生的最新更正信息与图像分析模型生成的标记信息的比对结果更新所述医生的更正评分：如果医生的最新更正信息与图像分析模型生成的标记信息的相似度大于或等于阈值，则提高所述医生的更正评分；如果医生的最新更正信息与图像分析模型生成的标记信息的相似度小于阈值，则降低所述医生的更正评分。

在一种实施方式中，所述标记信息包括以下至少一种：舌色、舌苔、舌形、是否存在舌裂纹；

其中，舌色可以包括以下任意一种：淡红舌、淡白舌、红舌、绛舌、紫舌、青舌；

舌形可以包括以下任意一种：老嫩、胖大、瘦薄、芒刺、裂纹、齿痕；

舌苔可以包括以下任意一种：白苔、黄苔、灰苔、黑苔、绿苔；

在一种实施方式中，标记信息处理模块302，用于采用以下方式根据所述更正信息对应的准确度判定是否采纳所述更正信息并生成最终的标记信息：当所述更正信息对应的准确度大于或等于置信阈值时，判定采纳所述更正信息，将标记信息和标记信息的更正信息进行结合，生成最终的标记信息；当所述更正信息对应的准确度小于置信阈值时，判定不采纳所述更正信息，将原始的标记信息作为最终的标记信息；

在一种实施方式中，所述装置还包括：信息上传模块305；

所述信息上传模块305，用于将所述舌象图像和最终的标记信息上传给舌象检测服务器供所述舌象检测服务器更新图像分析模型和辅助诊断模型；

在一种实施方式中，所述装置还包括：模型下载及更新模块306；

所述模型下载及更新模块306，用于从舌象检测服务器下载更新后的图像分析模型和辅助诊断模型。

其中，所述舌象检测客户端可以定期从舌象检测服务器下载更新后的图像分析模型和辅助诊断模型。

在一种实施方式中，所述舌象检测服务器包括以下至少一种：本地服务器或云端服务器。其中，所述本地服务器可以是医院内部的服务器。

实施例4

如图4所示，本发明实施例提供了一种舌象检测装置，应用于舌象检测服务器，包括：

信息接收模块401，用于从舌象检测客户端获取舌象图像和标记信息；

模型更新模块402，用于根据所述舌象图像和标记信息生成训练数据，根据所述训练数据更新图像分析模型和辅助诊断模型。

在一种实施方式中，所述舌象检测服务器包括以下至少一种：本地服务器或云端服务器。其中，所述本地服务器可以是医院内部的服务器。

在一种实施方式中，所述标记信息包括以下至少一种：舌色、舌苔、舌形、是否存在舌裂纹；

其中，舌色可以包括以下任意一种：淡红舌、淡白舌、红舌、绛舌、紫舌、青舌；

舌形可以包括以下任意一种：老嫩、胖大、瘦薄、芒刺、裂纹、齿痕；

舌苔可以包括以下任意一种：白苔、黄苔、灰苔、黑苔、绿苔。

实施例5

本发明实施例提供了一种舌象检测客户端，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的舌象检测程序，所述舌象检测程序被所述处理器执行时实现上述实施例1中所述舌象检测方法的步骤。

实施例6

本发明实施例提供了一种舌象检测服务器，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的舌象检测程序，所述舌象检测程序被所述处理器执行时实现上述实施例2中所述舌象检测方法的步骤。

实施例7

如图5所示，本发明实施例提供了一种舌象检测系统，包括：一个或多个舌象检测客户端，以及舌象检测服务器。

实施例8

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有舌象检测程序，所述舌象检测程序被处理器执行时实现上述实施例1中舌象检测方法的步骤。

实施例9

本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有舌象检测程序，所述舌象检测程序被处理器执行时实现上述实施例2中舌象检测方法的步骤。

示例1

如图6所述，本示例提出一种新型的舌象仪(包含舌象检测客户端)，包括：屏幕显示系统、图像采集系统、图像处理及标记系统、辅助诊断系统、传输系统、数据库和打印系统。

其中，屏幕显示系统，用于人机交互；比如，播放舌象仪测量的操作流程和使用注意事项。

图像采集系统，用于在一定光照条件下，采集患者的舌象图像。

图像处理及标记系统，用于对舌象图像进行图像识别、自动标记、手动更正。对舌象图像进行图像识别前，还可以先对舌象图像进行预处理。预处理包括去除噪声等处理。图像识别包括对舌色、舌苔、舌形等舌象特征进行识别。手动更正功能用于自动识别的舌象特征与患者实际的舌相出现偏差时，由医生进行手动校正。

辅助诊断系统，用于根据舌象图像和标记信息进行疾病诊断。

传输系统，主要包括有线传输子系统和无线传输子系统。有线传输子系统用于与pc机连接的传输，无线传输子系统用于与移动平台相连接，用于无线传输数据。其中，有线传输子系统主要用于舌象仪与医院内设备的连接，无线传输子系统主要用于舌象仪与患者手机的连接，比如，患者可以直接通过手机得到舌象诊断结果等。

数据库，用于保存舌象图像、标记信息、医生的手动更正信息、辅助诊断结果、医生的标记准确度分值等数据。

打印系统，用于打印舌象图像和诊断结果。

示例2

本示例提出一种舌象检测方法，包括以下步骤：

步骤s101，舌象仪在屏幕上播放舌象仪操作和注意事项视频。

患者可以通过观看屏幕上的视频，了解操作细则；

步骤s102，舌象仪采集患者的舌象图像；

其中，依据操作事项，患者伸舌头至标准位置，进行舌象采集。比如，按照操作视频的要求，采集的舌象图片大小应满足≥6cm*5cm，其中舌头的大小应占舌象图片的面积比≥60％。

步骤s103，舌象仪通过图像分析模型得出舌象图像的基本特征，如舌色、舌形、舌苔和舌裂纹等特征，生成自动标记信息；

其中，舌象仪通过图像分析模型进行图像特征的提取和分析。

步骤s104，舌象仪向舌象仪操作人员(比如医生)提供舌象图像和自动标记信息；

步骤s105，舌象仪获取舌象仪操作人员(比如医生)对舌象基本特征(如舌色、舌形、舌苔和舌裂纹等特征)的手工标记；

步骤s106，舌象仪根据医生的标记准确度确定是否采纳医生的手工标记并生成最终的标记信息。

比如，若医生为首次标记，则默认其标记准确度满足要求，采纳其手工标记信息，结合所述手工标记信息和自动标记信息生成最终的标记信息；

若医生不是首次标记，则根据医生id获取所述医生的历史标记准确度，根据所述医生的历史标记准确度确定是否采纳医生的手工标记并生成最终的标记信息：当医生的历史标记准确度大于或等于置信阈值时，判定采纳所述医生的手工标记信息，将自动标记信息和手工标记信息进行结合，生成最终的标记信息；当医生的历史标记准确度小于置信阈值时，判定不采纳所述医生的手工标记信息，将自动标记信息作为最终的标记信息；

步骤s107，舌象仪利用辅助诊断模型对所述舌象图像和标记信息进行分析，生成辅助诊断结果。

步骤s108，舌象仪向医生和/或患者提供辅助诊断结果；

步骤s109，舌象仪根据医生的最新手工标记信息与图像分析模型生成的自动标记信息的比对结果更新所述医生的标记准确度。

其中，如果医生的最新手工标记信息与图像分析模型生成的自动标记信息的相似度大于或等于阈值，则提高所述医生的标记准确度；如果医生的最新手工标记信息与图像分析模型生成的自动标记信息的相似度小于阈值，则降低所述医生的标记准确度；

步骤s110，舌象仪向舌象检测服务器上传舌象图像和最终的标记信息；

步骤s111，舌象检测服务器根据所述舌象图像和标记信息生成训练数据，根据所述训练数据更新图像分析模型和辅助诊断模型；

步骤s112，舌象仪定期从舌象检测服务器下载软件补丁，自动更新图像分析模型和辅助诊断模型。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

需要说明的是，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。