具有分布式用户终端的舌苔图像获取与分析系统的制作方法
【专利摘要】一种具有分布式用户终端的舌苔图像获取与分析系统，其优点包括：具有分布式的用户应用端，这些应用端能够稳定工作于各种移动终端（如三星、联想、小米、摩托罗拉、HTC等各品牌的Android手机，具有类似配置级别的其它手机，具有通讯功能的智能照相机或智能摄像机等），没有额外的硬件资源投入，因而真正走进寻常百姓的生活；升级工作主要集中于中央单元一端，因而整个系统易于升级且使用户不受任何影响；因为移动终端与人之间的特定联系，系统能够提供连续的个体化舌象分析，为用户个性化地监控健康状况、预防疾病发生或监控疾病发展与治疗过程提供一种参考。
【专利说明】具有分布式用户终端的舌苔图像获取与分析系统
【技术领域】
[0001]本发明涉及一种具有分布式用户终端的舌苔图像获取与分析系统。
【背景技术】
[0002]中国传统医学，沉淀了中国人民与生理疾病数千年的斗争经验，有着其特有的理论基础和哲学观，是我国传统文化的一大瑰宝。作为中医传统诊断方法的四诊——望闻问切一中“望”的重要内容，望舌苔通过观察舌象了解人体生理和病理状态，是中医辨证诊疗的重要依据之一，对疾病的诊断有着至关重要的作用。然而望舌苔有较大的主观性，对舌苔的诊断依赖于医生的经验。随着数字图像技术、图像处理技术、模式识别技术的进步，计算机辅助舌苔分析系统被普遍认为能够实现客观的、标准的自动化舌诊，因而吸引了越来越多的业者参与到其研发与应用之中。
[0003]完整的计算机辅助舌苔分析系统应当包括舌象采集和舌象分析两方面，现有仪器通常分为两类:1)仅具有采集功能的“舌象采集仪”，如图1(a)所示；2)完整包括两方面功能的“舌苔仪”，如图1(b)所示。
[0004]虽然现有仪器经过十多年的发展，克服种种困难达到今天的水平，但是它们仍具有一些显著的缺点，包括:1)配置、操作、使用过于专业:虽然计算机辅助诊疗系统设计的目的是能够进行自动化诊疗，但现有的仪器使用时均需要有专业人员指导用户并操作仪器；2)升级不便:现有仪器的硬件系统和软件系统有很强的耦合，因此很难直接在已有仪器上进行升级；3)通讯不便:现有仪器都是以工作站的形式进行单机工作，通讯功能较差，因此不论是传送舌苔图像分析过程还是舌苔图像分析结果都较为困难；4)过于昂贵:考虑以上因素，每一台仪器集成了所有功能，其价格因素也使普通用户无法在家自由地进行自动化的舌苔图像获取和分析，而需要前往医院或研究机构；
[0005]综上所述，现有仪器的缺点主要体现在资源的浪费和分散(不集中)上:其专业性导致需要额外职业人员在现场进行操作，造成了人力浪费；其功能全面化则导致了硬件资源和计算资源的浪费。
【发明内容】
[0006]为了克服这些缺点，本发明人经过深入研究，提出了一种具有分布式用户终端的舌苔图像获取与分析系统，其优点包括(但不限于):
[0007]它具有分布式的应用端，这些应用端能够稳定工作于各种移动终端(如三星、联想、小米、摩托罗拉、HTC等各品牌的Android手机，具有类似配置级别的其它手机，具有通讯功能的智能照相机或智能摄像机等)，没有额外的硬件资源投入，因而真正走进寻常百姓的生活；
[0008]升级工作主要集中于中央单元一端，因而整个系统易于升级且使用户不受任何影响；
[0009]因为移动终端与人之间的特定联系，系统能够提供连续的个体化舌象分析，为用户监控健康状况提供参考并预防疾病发生，或者为监控疾病发展与治疗过程提供资料。
[0010]根据本发明的一个方面，提供了一种具有分布式用户终端的舌苔图像获取与分析系统，其特征在于包括:
[0011]多个用户终端，
[0012]包括一个或多个节点的中央单元，
[0013]其中
[0014]各用户终端包括:
[0015]用户辨识模块，用于确认用户身份以使舌苔分析结果具有特定性、连续性；
[0016]拍摄模块，用于调用移动终端的摄像头完成舌苔图像拍摄；
[0017]上传模块，用于利用用户终端上的通讯组件将舌苔图像上传至中央单元，并随后等待和接收中央单元的回复；
[0018]分析结果展示模块，用于在上传模块接收到所述回复后被调用以展示对所述舌苔图像的分析结果，
[0019]所述中央单元包括:
[0020]模型训练系统，用于根据样本情况，定期更新预测模型；
[0021]舌苔图像分析系统，其始终运行在后台，用于监听、回应新的舌苔图像分析请求；
[0022]样本管理模块，用于用户标识、信息和样本数据库的管理，是模型训练系统和舌苔图像分析系统的共有模块。
[0023]根据本发明的另一个方面，提供了上述系统中的所述用户终端。
[0024]根据本发明的又一个方面，提供了上述系统中的所述中央单元。
[0025]根据本发明的又一个方面，提供了一种基于舌苔图像获取与分析方法，其特征在于:
[0026]所述方法基于多个上述用户终端和包括一个或多个节点的上述中央单元，
[0027]且所述方法包括:
[0028]确认用户身份以使舌苔分析结果具有特定性、连续性；
[0029]完成舌苔图像拍摄；
[0030]利用用户终端上的通讯组件将舌苔图像上传至中央单元，并随后等待和接收中央单元的回复；
[0031]在所述用户终端展示对所述舌苔图像的分析结果；
[0032]根据样本情况，定期更新预测模型；
[0033]监听、回应新的舌苔图像分析请求；
[0034]进行用户标识、信息和样本数据库的管理。
【专利附图】
【附图说明】
[0035]图1是现有技术的一种舌苔图像拍摄/分析仪外观图。
[0036]图2 (a)和2 (b)分别是根据本发明的两种实施例的舌苔图像获取与分析系统的构成示意图。
[0037]图3是根据本发明的一个实施例的舌苔图像获取与分析系统的运行示意图。
[0038]图4显示了根据本发明的一个实施例的舌苔图像获取与分析系统的用户终端和中央单元的系统模块图。
[0039]图5显示了根据本发明的一个实施例的用户终端的主操作流程。
[0040]图6显示了根据本发明的一个实施例的用户辨识模块流程图。
[0041]图7显示了根据本发明的一个实施例的拍摄模块流程图。
[0042]图8示例显示了根据本发明的一个实施例的拍摄模块界面示意图。
[0043]图9显示了根据本发明的一个实施例的上传模块流程图。
[0044]图10示例显示了根据本发明的一个实施例的分析结果展示模块界面示意图。
[0045]图11显示了根据本发明的一个实施例的模型训练系统的主操作流程。
[0046]图12显示了根据本发明的一个实施例的诊断服务系统的主操作流程。
[0047]图13显示了根据本发明的一个实施例的样本管理模块的操作流程。
[0048]图14显示了根据本发明的一个实施例的舌苔识别模块的操作流程。
[0049]图15显示了根据本发明的一个实施例的舌苔特征提取模块的操作流程。
[0050]图16显示了根据本发明的一个实施例的预测建模模块的操作流程。
[0051]图17显示了根据本发明的一个实施例的请求处理模块的操作流程。
[0052]图18显示了根据本发明的一个实施例的分析预备模块的操作流程。
[0053]图19显示了根据本发明的一个实施例的分析模块的操作流程。
[0054]图20显示了根据本发明的一个实施例的分析结果发布模块的操作流程。
【具体实施方式】
[0055]一些术语的说明:
[0056]-舌苔图像:包含舌头、舌苔以及背景、人脸的其他部分等的图像，需要强调时可用“原始舌苔图像”；
[0057]-舌象:从“舌苔图像”中提取、识别出来的，用于舌苔特征提取的舌头一舌苔图像部分；
[0058]-舌苔图像分析:指包含舌苔图像的预处理、舌象的提取和/或识别、舌苔特征提取、预测的整个过程；
[0059]-预测:模式识别中的概念，与训练相对应，特指根据从某舌苔图像提取出的特征，得出分析结果的过程。
[0060]如图2所示，根据本发明的一个实施例的舌苔图像获取与分析系统包括多个(分布式)用户终端，各用户终端包括摄像头(201)和通讯功能模块(202):利用前者拍摄舌苔图像再通过通讯功能模块将舌苔图像无线(或有线)上传至中央单元；考虑到移动终端上的图像较小，常用的蓝牙、红外、Wif1、3G都可以在用户能够容忍的时间内完成通讯工作。可选的光源组件(203)的主要任务是提供辅助光，在光照良好的情况下无需该组件。
[0061]中央单元可以包括单个的计算节点，也可以包括通讯节点和多个计算节点，以应对更多的并发请求。各计算节点包括通讯组件(204)和计算单元(205)。单个节点上经常需要处理并发请求，因此对计算节点的通讯组件(204)的要求会较移动终端的通讯功能模块(202)更苛刻一些，通讯组件(204) —般应采用以太网级别或以上；计算单元(205)的能力要求与后续将讲述的算法直接相关，但通常主流配置的个人电脑便能达到要求。在大型中央单元的实施例中，通讯节点往往需要专门的存储单元(206)，以为所有其他的计算单元提供存储服务，在这样的中央单元中对存储单元(206)的读写寿命和响应速度也会有特殊要求。
[0062]考虑到我们对移动终端的硬件要求并不高，因而智能手机、智能相机、平板电脑等等都可以作为移动终端，实现舌苔图片的获取、上传等功能，如图3所示。
[0063]如图4所示，移动终端包括用户辨识模块(401)、拍摄模块(402)、上传模块(403)和分析结果展示模块(404)四个部分。用户辨识模块401负责确认用户身份以使舌苔分析结果具有特定性、连续性，同时也负责保护用户隐私；拍摄模块402负责调用移动终端的摄像头(201)完成舌象拍摄工作；上传模块403利用终端上的通讯组件(202)将舌苔图像进行一定处理后压缩上传至中央单元后等待中央单元回复；接收到中央单元回复后，分析结果展示模块404被调用以展示舌苔分析结果。
[0064]中央单元包括两大系统一模型训练系统(411)和舌苔图像分析系统(412)。样本管理模块(413)负责用户标识、信息和样本数据库的管理，是两个系统的共有模块。
[0065]模型训练系统411包括舌苔识别模块(414)、舌苔特征提取模块(415)、预测建模模块(416)、以及共有的样本管理模块(413)。模型训练系统411根据样本情况，定期更新预测模型。更新时，首先由样本管理模块(413)为无标签的新样本建立索引和人工分类；再由舌苔识别模块(414)将舌象部分从每个包含背景、人脸等其他部分的原始舌苔图像中提取出来，由舌苔特征提取模块(415)从舌象的像素信息中提取出有信息量的特征；最后根据提取出的特征和人工给予的标签，由预测建模模块(416)建立预测模型，供舌苔图像分析系统(412)使用。
[0066]舌苔图像分析系统412包括请求处理模块(417)、分析预备模块(418)、分析模块(419)、分析结果发布模块(420)、以及共有的样本管理模块(413)。舌苔图像分析系统412始终运行在后台，负责监听、回应新的舌苔图像分析请求和提供舌苔图像分析结果浏览服务。当有新的舌苔图像分析请求到来时，请求处理模块(417)将接收到的舌苔图像以合适的格式存储至本地；分析预备模块(418)根据接收到的其他加密信息，查找并对应上该用户，预备好程序环境，并根据存储在中央单元上的标准分析流程，针对该用户进行适当修改形成专用的分析程序；分析模块(419)调用专用分析程序实质性地完成了整个舌苔图像分析流程，预测过程中会显式地调用舌苔识别模块(414)和舌苔提取模块(415);分析结果发布模块(420)在分析模块工作完成后被调用，用于将舌苔图像分析结果返回至移动终端和/或同时发布在中央单元提供的浏览服务上。
[0067]以上模块的具体流程将分别在后文中介绍。
[0068]移动终端的主要任务是用户身份识别、舌苔图像获取和与中央单元交换数据，其基本流程如图5所示。
[0069]下面就具体每个模块的细节进行阐述。
[0070]用户辨识模块
[0071]用户辨识模块用于管理该移动终端上的用户数据:包括添加、存储新用户，读取老用户信息和以往舌苔图像分析结果，与本地的数据库交互，并用于保护用户隐私，其流程如图6和图5所示。
[0072]模块在应用启动后被调用(601)，用户首先要登陆已有用户或注册新用户(602)以确认用户身份。若是新用户，用户还可通过选择快速注册(603)直接根据设备标识(如设备序号等，是设备的唯一标识)向中央单元上的服务器端程序申请用户标识(UID)，若申请成功则以该新申请的UID登录应用(606)否则返回重新申请(604)。用户选择完全注册时，需要填写用户基本信息(621)，如姓名、年龄、手机号等(若移动终端为手机，则用户使用的手机号系统可以直接获得)，这一部分的信息用户完全可以选择性填写，而且这部分信息系统有对应机制进行隐私保护；填写完成后，应用将通过加密方式将这些基本信息和设备标识发送至服务器端获取WD ;剩余部分同快速注册。在用户申请成功后(605)，新用户的信息和UID都将存入用户数据库。
[0073]在一个具体实施例中，服务器返回的UID是本系统其余部分中唯一有效的用户标识，除非要进行修改用户基本信息，之后的通讯中都以UID代表用户，以避免泄露用户隐私。
[0074]若是老用户，则模块需要从用户数据库(610)中读取已有用户的UID和信息，显示供用户进行选择(611)。这一用户数据库(610)的具体实现可以具体根据移动终端的特性决定，如可利用加密的数据库实现，也可直接以加密文本的形式实现。选择用户后，用户可以通过选择(612)修改这一用户的基本信息并加密上传至服务器更新(613)，更新成功或者不需要修改则用户以这一身份的UID登录应用，模块结束(606)。
[0075]拍摄模块
[0076]在获得UID后，应用正式进入核心模块——拍摄模块。该模块的流程如图7所示。
[0077]进入拍摄模块后(701)，第一步要考虑的是摄像头(201)的选择(702)。对于只有一个镜头的移动终端，在这一步只需要启动该镜头即可；对于有多个镜头的终端，如一些有前镜头的智能手机，就需要用户选择合适的镜头:为自己拍摄则启动前镜头，为他人拍摄则启动后镜头。
[0078]对于有光源(203)的移动终端，开启镜头后还需要根据光线条件选择调整光源(703)。这一部分可以自动实现或让用户调整，如智能手机闪光灯的自动档和开关档等。
[0079]系统所采用的移动终端与现有技术的舌象仪器的不同之一体现在拍摄时的距离上。现有技术的舌象仪器通常有一个固定在最佳位置的采相位置，如图1(a)用于搁置下巴的托盘，而移动终端做不到这一点。为了保证舌苔图像的采相效果，且考虑到移动终端的镜头分辨率一般较低，故往往希望舌头离镜头较近；但另一方面，舌头离镜头太近难以成像和进行整体观测。因此需要进行距离控制(704)。
[0080]距离控制分为主动型和被动型两类。主动型距离控制是通过算法实时给出反馈信息，并实时指导用户如何改进距离，如对整个图像进行人脸识别后通过控制脸部大小所占比例来控制距离。这一类方法对移动终端的计算能力要求稍强，但也在大多数的移动终端上均可实现。被动型距离控制则是在拍摄预览上给出一些指示性的标识，让用户自己对比这些标识改变距离，如下文结合图8所说明的。
[0081]在完成距离控制后，用户就可以进行舌苔图像的拍摄(705)，拍摄后的图像被送入上传模块(707);可选地，用户可在例如图像被送入上传模块(707)之前预览(706)图像，若用户对图像不满意，则返回至拍摄环节(705)。
[0082]图8 Ca)和8 (b)是根据本发明的一个实施例的运行于Android2.2版本以上智能手机应用的拍摄模块界面，可以看到这里采用的是被动式的距离控制方法。这一笑脸图标提供了脸部和舌部的基准标识，有利于产生标准化的舌苔图像数据和提高之后舌部的提取成功率。
[0083]上传模块
[0084]上传模块的核心任务是将拍摄的舌苔图像上传至中央单元上。根据本发明的一个实施例的上传模块流程如图9所示。
[0085]图9所示流程的第一步骤是图像预处理与压缩(902)，移动终端上的预处理主要任务是对图像进行适当裁剪和缩放，在满足后续算法的需要的前提下减少图像大小，以减少上传时间和流量耗费。图像的压缩也是同样的目的。
[0086]常用的网络连接协议有很多，而在根据本发明的实施例的系统中因为通讯部分是封装的，不需要用户有过多参与，而且通讯格式也非常固定，主要内容是以二进制编码的图像文件。所以系统采用最基本的套接字通讯方式，简单稳定而且节约通讯流量。用户只需要通过制定IP来选择中央单元服务器(或直接使用默认IP地址)，应用会尝试与中央单元(月艮务器端)建立起套接字连接(903)。若建立失败，则给予用户相应的错误提示，如没有网络连接、服务器未响应、服务器拒绝等，模块结束(908);若建立成功，模块首先要把当前用户的UID告之中央单元(904)，然而将压缩后的舌苔图像上传至服务器(905)，等待直至结果返回(906 )。将接收到的舌苔图像分析结果、存储至本地数据库(907 )后，模块结束(908 )。
[0087]分析结果展示模块
[0088]模块的主要用于以移动终端支持的形式，展示最终舌苔图像分析的结果。因此分析结果展示模块的两个要点是展示的形式和展示的内容。
[0089]展示形式的选择要基于移动终端的性能，作为本发明的各实施例的常用形式包括:
[0090]一文本形式:对移动终端性能的要求最低，展示效果较差，具体显示的文本需要预先写入应用或者由中央单元返回；
[0091]一网页形式:较通用的一种形式，而且可以跨平台展示，即用户可以通过电脑在同一网址查看到相同的内容；
[0092]一复杂形式:结合图像和文字等说明，以更加人性化的排版展示结果。该形式实现起来因不同的移动终端所支持的功能而异，因此当形式复杂到一定程度时，很难保证各种终端上的效果相同。
[0093]当中央单元返回有效结果时，展示内容要因使用情景而定，包括:
[0094]一调试情景:在调试情景下，用户可以看到整个舌苔图像分析的流程，即包含舌苔识别、特征提取等的全部过程，中间结果都会予以显示，而最终舌苔图像分析结果的显示较为简单，并不是重点；
[0095]一单次情景:该情景是默认情景，仅展示上次上传的舌苔图像分析结果，展示内容是舌象的特点、分类和对用户身体健康状态的估计，并应该出一些建议和帮助，严重时还应提醒用户如往医院进一步检查；
[0096]一连续情景:用户使用数次之后，用户查看完单次情景后可以切换至连续情景翻看之前几次的结果。应用可以根据用户舌象持续的变化，给出更加具体的建议和帮助。连续情景的结果展示需要调用该用户的一些个人信息和往期舌苔图像分析结果，因而需要有用户数据库(610)的参与。
[0097]若中央单元返回的是错误信息，则本模块会给用户对应的一些提示，这一部分内容可以参看中央单元中的分析预备模块。
[0098]图10 (a)和10 (b)是根据本发明的一个实施例的系统分别在Android手机和电脑上调试情景下网页形式的展示结果界面。该图展示了网页形式结果展示具有的跨平台性
[0099]中央单元在系统模块一节中，已经介绍了中央单元包括模型训练(411)和舌苔图像分析服务(412)两大系统。这两个系统分别拥有各自独立的流程，分别如图11和图12所
/Jn ο
[0100]每一次增加训练样本，无论是从线下采集而来或者是由舌苔图像分析系统收集而来，都可以用来更新预测模型，以提高预测准确率。考虑效率因素，通常这一系统会根据新增的样本数量，定期被启动。
[0101]下面就具体每个模块的细节进行阐述。
[0102]样本管理模块
[0103]样本管理模块(413)同时参与模型训练(411)和舌苔图像分析服务(412)两个系统的工作，负责新用户注册、用户信息管理、舌象样本库管理等重要职责。该模块主要流程有两个，新用户注册和新增训练样本，如图13所示。
[0104]使用移动终端应用时的第一步是注册新用户。中央单元收到新用户注册请求后(1301)，会与移动终端建立起通讯，以接受设备标识和用户注册信息(1302)。根据设备标识，模块会在中央单元内的用户数据库(1307)内查询该设备已注册的用户(1303)，并根据这所有的信息通过一定的算法生成新用户的用户标识(1304)。模块将新用户标识返回移动终端(1305)的同时，还会将该用户的基本信息和对应标识存入用户数据库(1307)。
[0105]无论是通过线下途径，如医院、研究机构等，获得的新的原始训练样本，或是从舌苔图像分析系统处收集而来的新增训练样本，要用于建立预测模型，都需要经过样本管理模块的新增训练样本流程(1310)。对于每个新的训练样本，首先需要多个经过专业训练的人员对它进行判断(1311)，判断时的选项与期望系统可能的舌苔图像分析结果直接对应。根据众数原则，从多个结果中投票产生最终结果，若平票或最终结果是未识别则计为分类失败，将该样本舍弃掉(1315);否则计为分类成功，将舌苔图像和对应标签正式加入样本库之中(1314)。
[0106]样本管理模块的管理职责在模型训练时还有一个重要的体现:生成样本索引。存储不同批次的原始训练图像和由舌苔图像分析服务而来的不同用户不同时间的图像和它们对应的标签，在数量较大时会有一定复杂性。而管理模块专门负责管理这些路径，并为后续程序提供一个包含舌苔图像路径、标签、用户标识的列表。
[0107]舌苔识别模块
[0108]舌苔识别的本质是对舌苔图像的处理，即从舌象中提取出舌头的图像，再在舌头图像的基础上进行舌苔的提取。因此广义上说，舌苔识别流程就是这两个步骤，然而它可以有多种具体的实现。图14是根据本发明的一个实施例的系统中舌苔识别模块的流程图。
[0109]在根据本发明的实施例中，针对于舌头图像的提取，分为三个部分:一是对整个图像进行合理分割，确保舌头部位不被割断；二是对分割后的图像进行识别，找出舌头；三是对舌头图像进行一些必要的规范化处理，如平滑边缘、去除噪声等等。因而，根据本发明的一个实施例，将整个舌苔识别的过程分为了四个部分:
[0110]?基于Meanshift算法的图像分割(1402)；
[0111]?基于PCA算法的舌头提取(1403);
[0112]?对于提取的舌头图像的规范化处理(1404)；
[0113]?提取舌苔(1405)。
[0114]基于Meanshift算法的图像分割
[0115]Meanshift算法(D.Comaniciu, P.Meer, 〃Mean Shift:A Robust Approach TowardFeature Space Analysis, ^IEEE Trans.Pattern Analysis and Machine Intelligence,vol.24，n0.5，pp.603-619, May.2002)是一个在图像分割中非常有效的一个算法，它通过迭代来寻找基于图像的坐标和颜色的概率密度模态来对图像进行聚类分割。
[0116]Meanshift算法首先对均值x做一个估计，然后计算核概率密度函数K (X),然后计算m(x)替代之前的X，直到其收敛。
V K(X1-X)Xs
[0117]m(x) =......-
Y K(X1-X)
[0118]这里N(X)表示X的近邻。
[0119]通过固定相应的图像的尺寸大小，对Meanshift算法中的参数进行调节，我们可以得到一组较好的参数，可以将大部分的舌头图像都进行正确的分割。
[0120]基于PCA算法的舌头提取
[0121]舌头提取，可以看作是一个分类问题，即对于每一张图像而言，如何将上一步中聚类分割后的M个聚类结果分别标记上“O”和“ I”的类标(“ I”表示舌头，“O”表示非舌头，且有且仅有I个“I”)。
[0122]根据本发明人对原始训练集中图像的观察和其它先验知识，舌头图像大体呈现为椭圆形。在Wentao Xu，2011年提出的利用椭圆拟合来提取目标的方法(Wentao Xu etal, 〃An Automatic Tongue Detect1n and Segmentat1n Framework for Computer-AidedTongue Image Analysis",201lIEEE13th Internat1nal Conference on e-HealthNetworking, Applicat1ns and Services)的基础上,本发明人对此作了修改。本发明用椭圆方程对聚类结果进行拟合，把拟合程度作为分类特征。针对每一个聚类结果，本发明使用PCA找出其第一主成分和第二主成分。根据PCA的结果，可以得到椭圆方程。
[0123]用于舌头提取这一分类问题的特征主要包括:椭圆拟合程度，椭圆长短半轴比例，面积大小，面积相对大小和质心位置等。根据本发明的一种替代实施例，使用分类器来对其进行分类。但在主要目的是根据舌苔进行寒热证的分类的情况下，则在本发明的实施例中依据Occam’s razor原则，使用经验式的分类方法(根据面积大小、位置信息进行过滤，然后根据椭圆拟合程度判断其类别)。这种方法在训练数据集上效果较好。
[0124]对于提取的舌头图像的规范化处理
[0125]基于前2个步骤得到的舌头图像虽然包含的大部分的舌头信息，但也存在一些问题，有些边缘很粗糙，有些夹杂了嘴唇、喉咙、下巴等噪声，这些都是需要进行剔除的。根据本发明的实施例中，采用了开运算的办法对图像进行平滑、去噪。
[0126]膨胀和腐蚀是两种最基本的形态学运算。数学上，膨胀定义为集合运算A被结构元素B膨胀，记为AB。其原理如下:在平移结构元素的过程中，使得结构原点到所有可能的图像像素点来检测图像，当结构元素和像素值为I像素点重叠时，即结构元素击中图像，则输出1，否则输出O。在图像处理中，我们习惯令AB的第一个操作数为图像，而第二个操作数为结构元素，结构元素往往比图像小得多。腐蚀的原理为:在结构元素在整个图像区域平移的过程中，结构元素的原点到所有可能的图像像素点检查图像，当结构元素与图像的前景部分完全匹配时，即结构元素适合图像，则输出1，否则输出O。A被结构元素B的形态学开运算是指A被B腐蚀后再用B来膨胀被腐蚀结果，它具有平滑边界，滤掉比结构元素小的斑点、突刺，断开狭长连接等作用。
[0127]舌苔提取
[0128]舌苔是舌头的一部分，是舌背上的一层薄白而润的苔状物。为了从舌头上提取舌苔，本发明的实施例中采用了 H.Shen2008年提出的modified specular-free (修正的去镜面反射，MSF)算法(H.Shen, H.Zhang, S.Shao, and J.H.Xin, ^Chromaticitybasedseparat1n of reflect1n components in a single image, "Pattern Recognit1n, vol? 41，n0.8，pp.2461-2469，2008.)?
[0129]I)对于每一像素点p，记I (p) = (R (p)，G (P)，B (P))，表示红绿蓝的成分。
[0130]specular-free: Isf (p) =I (p) -1min(p)
[0131]modified specular-free:1msf (p) =Isf (p) +Mean (Imin (p))
[0132]其中Mean(Imin(p))表示对所有像素点P求均值。通过这一公式，得到MSF图像(1405)。
[0133]2)获得MSF图像后，分别针对红绿蓝三个成分来选取舌苔，即通过选取一个合适的阀值来确定哪部分是舌苔(1406)。选取阀值时，根据本发明的一个实施例中使用了 Otsu算法(N.0tsu, 〃A threshold select1n method from gray-level histograms, ^IEEETransact1ns on Systems, Man, and Cy-bernetic, vol.9, n0.1, pp.62-66，1979.X
[0134]通过多次调试，本发明确定，根据红色成分进行的MSF方法能够更好的将舌苔从舌头中分离出来。
[0135]舌苔特征提取模块
[0136]舌苔特征提取模块的主要任务是利用舌苔识别模块的结果，从舌象中提取出有利于做出舌苔图像分析的特征量。可选取的特征量非常广泛，常用的主要是色彩空间信息和纹理信息(Ratchadaporn Kanawong, TayoObafem1-Ajayi, TaoMa, Dong Xu, Shao Li, andYe Duan.“Automated Tongue Feature Extract1n for ZHENG Classificat1n inTradit1nal ChineseMedicine，，，Evidence-Based Complementary and Alternative Medicine, vol.2012, nolO, March, 2012.)。图15是根据本发明的一个实施例的舌苔特征提取模块的流程图，其中，将每个像素点(1502)分别转换至RGB、HSV、YIQ, Y’ CbCr, XYZ、Lab、Luv, CMYK等七种色彩空间(1503)，然后对每个色彩空间内的所有像素的每种分量求取均值和方差(1504)，共提取出100维色彩特征(7种色彩空间共25个分量，针对舌体、舌苔和均值、方差的组合，共100维)。对于纹理特征，计算[O, 1]> [_1，1]、[-1,0], [-1,-1]四个方向上的灰度共生矩阵(1505)，然后对这四个矩阵计算对比度、自相关、熵、均一性等四个指标(1506)，形成16维纹理特征。每张图像共提取出116维度的特征。
[0137]预测建模模块
[0138]根据本发明的一个实施例，在由舌苔特征提取模块产生的特征矩阵和样本管理模块给出的标签矩阵后，用任意一种已有的模式识别方法建立预测模型，如Adaboost、决策树、最近邻等等。在系统最初建立时，可以尝试多种方法，利用交叉验证、留一法等方法验证，从中选取最佳结果，以后都利用该方法生成预测模型。之后每次生成模型的流程的一个实施例如图16所示，其中，模块开始后(1601 )，采用事先确定的方法建立模型(1602)，然后进行参数粗调(1603)和参数细调(1604)。
[0139]在根据本发明的一个实施例所实现的系统中，采用了 SVM的方法，利用网格法进行参数优化，所实现系统的分类测试准确率约为85%。
[0140]请求处理模块
[0141]根据本发明的舌苔图像分析系统始终运行于中央单元的后台，一旦收到舌苔图像分析请求，请求处理模块便被首先调用，其流程如图17所示；其中，请求到来后(1701)，模块予以应答，建立与移动终端应用相连的套接字通讯(1702)。请求处理模块从套接字通讯中接收用户标识(1703)后，将所有接收的二进制数据作为图像数据(1704)直至收到约定的结束符(1705)。模块判断收到信息的有效后(1706)，以标准格式存储图像(1707)并记录在用户数据库(1307)，已建立起的套接字通讯将保留直到结果发布模块；若信息无效，模块会直接关闭套接字通讯(1709),不再继续后续流程。
[0142]分析预备模块
[0143]分析预备模块的主要任务是对通过图像进行一定程度的预处理，为正式分析做准备，其一个实施例的流程如图18所示，其中，模块开始后(1801)，首先要对舌苔图像图像进行一定程度的预处理(1802)。与移动终端上上传模块(403)中的图像预处理(902)不同，这里的预处理不是为了通讯的目的，而是要通过分析图像，估计移动终端在拍摄该图像时的环境光源和辅助光源，对它们的光谱、色温等特性进行一定程度的补偿，以减小舌苔图像分析结果可能的偏差。
[0144]预处理后，该模块要为之后正式运行的分析程序准备运行环境(1803)，包括申请中间文件存储，生成结果文件存放路径等等。
[0145]标准预测程序是系统管理人员定下的标准预测流程，通常是脚本语言编写的。为了简化分析模块的调用，同时也是为了留下可追踪的中间文件，根据本发明的一个实施例的系统会为每一次分析生成专用的分析程序(1804)。该步骤是主要将标准程序中的一些变量赋值为环境准备过程(1803)中得到的环境变量来实现。
[0146]分析模块
[0147]分析模块流程的一个实施例如图19所示，该模块与之前介绍的舌苔识别模块(414)、舌苔特征提取模块(415)和预测建模模块(416)紧密相关。该模块开始时(1901 )，首先通过调用舌苔识别和特征提取模块完成对舌苔图像的处理，然后根据具体选取的模式识别方法和预测建模模块(416)得出的预测模型(1904)，获得预测结果(1902)。
[0148]分析结果发布模块
[0149]分析结果发布模块的实现与移动终端上的分析结果展示模块(404)的实现紧密相关，根据一个实施例的该模块的流程如图20所示；其中，
[0150]模块开始时(2001)，首先根据分析模块(419)得出的预测结果(通常只是一个数字标签)和一些中间量，生成完整的舌苔图像分析报告(2002)，再将这一报告发送至移动终端(2003 )，关闭套接字通讯(2004 )后结束。
[0151 ] 若还希望用户能够以其他方式查看到舌苔图像分析报告，还需要将报告发布至中央单元上提供舌苔图像分析结果浏览服务的服务器上(2006)。值得注意的是，发布时的浏览地址可进行加密，以避免被他人浏览到用户隐私。
【权利要求】
1.一种具有分布式用户终端的舌苔图像获取与分析系统，其特征在于包括: 多个用户终端， 包括一个或多个节点的中央单元， 其中 各用户终端包括: 用户辨识模块(401)，用于确认用户身份以使舌苔分析结果具有特定性、连续性； 拍摄模块(402)，用于调用移动终端的摄像头(201)完成舌苔图像拍摄； 上传模块(403)，用于利用所述用户终端上的通讯组件(202)将舌苔图像上传至中央单元，并随后等待和接收中央单元的回复； 分析结果展示模块(404)，用于在上传模块(403)接收到所述回复后被调用以展示对所述舌苔图像的分析结果， 所述中央单元包括: 模型训练系统(411)，用于根据样本情况，定期更新预测模型； 舌苔图像分析系统(412)，其始终运行在后台，用于监听、回应新的舌苔图像分析请求； 样本管理模块(413)，用于用户标识、信息和样本数据库的管理，是模型训练系统(411)和舌苔图像分析系统(412)的共有模块。
2.根据权利要求1的系统，其特征在于 所述模型训练系统(411)包括舌苔识别模块(414)、舌苔特征提取模块(415)、预测建模模块(416)、以及共有的样本管理模块(413), 所述舌苔图像分析系统(412)包括请求处理模块(417)、预测准备模块(418)、预测模块(419)、分析结果发布模块(420)、以及共有的样本管理模块(413)， 其中 当模型训练系统(411)进行所述预测模型更新时， 首先，样本管理模块(413)为无标签的新样本建立索引和人工分类， 随后，舌苔识别模块(414)将舌象部分从每个包含背景、人脸等其他部分的原始舌苔图像中提取出来， 舌苔特征提取模块(415)从舌象的像素信息中提取出有信息量的特征，然后根据提取出的特征和人工给予的标签， 预测建模模块(416)建立预测模型，供舌苔图像分析系统(412)使用， 当有新的舌苔图像分析请求来到舌苔图像分析系统(412)时， 请求处理模块(417)将接收到的舌苔图像存储至本地， 预测准备模块(418)根据接收到的其他加密信息，查找并对应上该用户，预备好程序环境，并根据存储在中央单元上的标准计算流程，针对该用户进行适当修改形成专用程序， 预测模块(419)进行舌苔图像分析，在预测过程中显式地调用舌苔识别模块(414)和舌苔提取模块(415)， 分析结果发布模块(420)在预测模块工作完成后被调用，用于将舌苔图像分析结果返回至上述用户终端和/或同时发布在中央单元提供的浏览服务上。
3.根据权利要求1或2的系统，其特征在于 用户辨识模块(401)包括: 处理新用户的注册申请的部分，用于在用户申请成功后(605)，把新用户的用户信息和用户标识(UID)存入用户数据库， 用于从用户数据库(610)中读取已有用户的用户标识和用户信息的部分， 用于显示所述用户标识和信息以供用户进行选择(611)的部分， 用于接收用户对所述用户标识和用户信息的修改和/或更新并上传至服务器的部分， 所述拍摄模块包括: 进行距离控制(704)的部分， 用于进行舌苔图像拍摄(705)的部分， 上传模块(403)包括: 进行图像预处理与压缩(902)的部分，用于对舌苔图像进行适当裁剪和缩放，在满足后续算法的需要的前提下减少图像大小，以减少上传时间和流量耗费， 用于与中央单元建立起套接字连接(903)的部分， 用于在套接字连接(903)建立成功时把当前用户的UID告之所述计算节点(904)并预处理与压缩后的舌苔图像上传至中央单元(905)的部分， 用于将接收到的舌苔图像分析结果存储至本地数据库(907)的部分。
4.根据权利要求3的系统，其特征在于 所述舌苔识别模块包括: 对整个图像进行合理分割的部分，用于确保舌头部位不被割断； 对分割后的图像进行识别的部分，用于找出图像中的舌头部分； 对舌头图像进行规范化处理的部分， 舌苔提取部分，用于提取舌苔。
5.根据权利要求4的系统，其特征在于舌苔特征提取模块包括 色彩特征提取部分，用于将每个像素点(1502)分别转换至RGB、HSVJIQ、Y’ CbCr、XYZ、Lab、Luv、CMYK七种色彩空间(1503)，然后对每个色彩空间内的所有像素的每种分量求取均值和方差(1504)，共提取出100维色彩特征，其中，7种色彩空间共25个分量，针对舌体、舌苔和均值、方差的组合，共100维， 纹理特征形成部分，用于计算[0，1]、[-1，1]、[-1，0]、[-1，-1]四个方向上的灰度共生矩阵(1505)，然后对这四个矩阵计算对比度、自相关、熵、均一性四个指标(1506)，形成16维纹理特征。
6.根据权利要求1至5之一所述的系统中的所述用户终端。
7.根据权利要求6所述的用户终端，其特征在于所述用户终端被整合和/或安装在下述装置之一中: 智能手机， 平板式便携电脑， 笔记本电脑， 智能照相机， 智能摄像机， 谷歌眼镜， 所述手机、平板式便携电脑、笔记本电脑、智能照相机、智能摄像机、谷歌眼镜均包括照相和/或摄影装置。
8.根据权利要求1至5之一所述的系统中的所述中央单元。
9.一种基于舌苔图像获取与分析方法，其特征在于: 所述方法基于多个用户终端和包括一个或多个节点的中央单元， 且所述方法包括: 通过所述用户终端的用户辨识模块(401)，确认用户身份以使舌苔分析结果具有特定性、连续性； 通过所述用户终端的拍摄模块(402)，调用移动终端的摄像头(201)完成舌苔图像拍摄; 通过所述用户终端的上传模块(403)，利用用户终端上的通讯组件(202)将舌苔图像上传至中央单元，并随后等待和接收中央单元的回复； 通过所述用户终端的分析结果展示模块(404)，在上传模块(403)接收到所述回复后，展示对所述舌苔图像的分析结果； 通过所述中央单元的模型训练系统(411)，根据样本情况，定期更新预测模型； 通过所述中央单元的舌苔图像分析系统(412)，监听、回应新的舌苔图像分析请求；通过所述中央单元的样本管理模块(413)，进行用户标识、信息和样本数据库的管理，其中所述样本管理模块(413)是模型训练系统(411)和舌苔图像分析系统(412)的共有模块。
10.根据权利要求9的方法，其特征在于 所述模型训练系统(411)包括舌苔识别模块(414)、舌苔特征提取模块(415)、预测建模模块(416)、以及共有的样本管理模块(413), 所述舌苔图像分析系统(412)包括请求处理模块(417)、预测准备模块(418)、预测模块(419)、分析结果发布模块(420)、以及共有的样本管理模块(413)， 且所述方法进一步包括: 当模型训练系统(411)进行所述预测模型更新时， 首先，通过样本管理模块(413)为无标签的新样本建立索引和人工分类， 随后，通过舌苔识别模块(414)将舌象部分从每个包含背景、人脸等其他部分的原始舌苔图像中提取出来， 通过舌苔特征提取模块(415)从舌象的像素信息中提取出有信息量的特征，然后根据提取出的特征和人工给予的标签， 通过预测建模模块(416)建立预测模型，供舌苔图像分析系统(412)使用， 当有新的舌苔图像分析请求来到舌苔图像分析系统(412)时， 通过请求处理模块(417)将接收到的舌苔图像存储至本地， 通过预测准备模块(418)根据接收到的其他加密信息，查找并对应上该用户，预备好程序环境，并根据存储在中央单元上的标准计算流程，针对该用户进行适当修改形成专用程序， 通过预测模块(419)进行舌苔图像分析，在预测过程中显式地调用舌苔识别模块(414)和舌苔提取模块(415)， 通过分析结果发布模块(420)在预测模块工作完成后被调用，用于将舌苔图像分析结果返回至上述用户终端和/或同时发布在中央单元提供的浏览服务上。
11.根据权利要求9或10的方法，其特征在于进一步包括: 通过用户辨识模块(401) 处理新用户的注册申请，在用户申请成功后(605)，把新用户的用户信息和用户标识(WD)存入用户数据库， 从用户数据库(610)中读取已有用户的用户标识和用户信息， 显示所述用户标识和信息以供用户进行选择(611)， 接收用户对所述用户标识和用户信息的修改和/或更新并上传至服务器， 通过所述拍摄模块 进行距离控制(704)， 进行舌苔图像拍摄(705)。 以及 通过上传模块(403) 进行图像预处理与压缩(902)，对舌苔图像进行适当裁剪和缩放，在满足后续算法的需要的前提下减少图像大小，以减少上传时间和流量耗费， 与中央单元(服务器端)建立起套接字连接(903)， 在套接字连接(903)建立成功时把当前用户的UID告之所述计算节点(904)并预处理与压缩后的舌苔图像上传至中央单元(905)， 将接收到的舌苔图像分析结果存储至本地数据库(907 )。
12.根据权利要求11的方法，其特征在于进一步包括: 通过所述舌苔识别模块 对整个图像进行合理分割，确保舌头部位不被割断； 对分割后的图像进行识别，找出图像中的舌头部分； 对舌头图像进行规范化处理， 提取舌苔。
13.根据权利要求12的方法，其特征在于 通过舌苔特征提取模块 将每个像素点(1502)分别转换至RGB、HSV、YIQ, Y’ CbCr、XYZ、Lab、Luv、CMYK七种色彩空间(1503)，然后对每个色彩空间内的所有像素的每种分量求取均值和方差(1504)，共提取出100维色彩特征，其中，7种色彩空间共25个分量，针对舌体、舌苔和均值、方差的组合，共100维， 计算[ο, 1]、[-1，1]、[-1，0]、[-1，-1]四个方向上的灰度共生矩阵(1505)，然后对这四个矩阵计算对比度、自相关、熵、均一性四个指标(1506)，形成16维纹理特征。
【文档编号】G06T7/00GK104298983SQ201310302483
【公开日】2015年1月21日 申请日期:2013年7月15日 优先权日:2013年7月15日
【发明者】李梢, 谭艾迪 申请人:清华大学