一种高空间分辨率的多光谱舌象采集系统

1.本发明涉及舌像采集技术领域，特别是涉及一种高空间分辨率的多光谱舌象采集系统。


背景技术：

2.舌诊是中医“望、闻、问、切”四诊之首的望诊的重要手段，医生可以通过观察舌头的颜色、齿痕、裂纹和胖瘦等外观来确定病人的身体状况。舌诊依靠医生的目视观察进行诊断分析，缺乏客观化和定量化的手段，成为制约舌诊标准化的因素。
3.舌诊仪作为舌象诊断的仪器装备，使用光学传感器进行图像记录和数据采集，一定程度上可以辅助传统中医，是中医舌诊信息化的重要手段。现有舌诊仪，一般采用rgb相机进行彩色图像的采集，主要从小型化、光源模拟自然光、图像的三维采集、测试条件标准化以及不同的图像处理算法等方面进行创新。由于rgb相机只采集三个波长的图像，存在光谱上“看不全”的问题，无法实现中医舌苔与舌质的特征波长图像采集和色差分辨率低的问题。为了解决这个问题，多光谱或高光谱舌诊仪成为舌诊采集系统新的研究方向，然而目前的多光谱舌诊仪存在空间分辨率低，高光谱舌诊仪采集时间长及数据冗余的问题，影响舌苔和舌质的形状和纹理信息的获取及分析，在目前中医药信息化的大趋势下，成为中医舌诊推广和应用待解决的问题。
4.基于rgb相机、多光谱和高光谱舌诊仪存在的问题，以及中医舌诊对于舌苔与舌质的颜色、形状、纹理以及特征波长图像信息的迫切需求，需要对光谱舌象采集系统进行深入研发。


技术实现要素：

5.本发明所要解决的技术问题是提供一种高空间分辨率的多光谱舌象采集系统，通过在舌像采集装置中设置rgb相机与多光谱相机对目标进行同视场采集，可得到高空间分辨率多光谱舌象。
6.本发明解决其技术问题所采用的技术方案是：提供一种高空间分辨率的多光谱舌象采集系统，包括舌像采集装置和终端设备，所述舌像采集装置和终端设备相连，所述舌像采集装置包括至少一个暗箱，所述暗箱内部设置有rgb图像采集模块、多光谱图像采集模块、光源辐射机构和光学分光机构，所述暗箱开设有与采集者舌头位置相对应的采集端口；所述终端设备控制光源辐射机构照射采集者的舌头，舌头的反射光在光学分光机构处分为反射光和透射光，所述透射光透过光学分光机构传递给rgb图像采集模块，所述反射光透过光学分光机构传递给多光谱图像采集模块，所述rgb图像采集模块和多光谱图像采集模块将获采集到的图像数据发送至终端设备，所述终端设备根据将接收到的图像数据进行图像配准和图像融合后得到高空间分辨率的多光谱图像。
7.所述暗箱在采集端口的下方还设置有与采集端口相对应的采集对象固定装置，所述采集对象固定装置包括用于支撑采集者下巴的下巴托和设置于所述下巴托底部的升降
台，所述升降台用于调节下巴托的高度，以使采集者的舌头固定于采集端口中。
8.所述终端设备设置有数据采集装置，所述数据采集装置包括用于控制光源辐射机构开关的光源控制模块、用于对所述rgb图像采集模块和多光谱图像采集模块采集到的图像数据进行获取的图像获取模块、用于将所述图像获取模块获取到的图像数据进行图像配准和图像融合的图像融合模块、用于将所述图像融合模块融合后的图像数据进行识别处理以获取特征信息的识别处理模块，以及用于根据所述识别处理模块得到的特征信息进行诊断的分析模块。
9.所述图像融合模块包括图像配准单元和图像融合单元，所述图像配准单元用于将所述rgb图像采集模块和多光谱图像采集模块采集到的图像数据进行图像配准，所述图像融合单元用于将图像配准后的图像数据进行图像融合以获得高空间分辨率的多光谱图像。
10.所述图像配准单元采用的算法包括基于特征的配准方法和深度学习算法；所述图像融合单元采用的算法包括hsv变换、brovey变换、乘积运算、pca变换、gram
‑
schmidt或pansharpening。
11.所述光源辐射机构为高角度环形无影光源辐射机构，所述光源辐射机构的辐射角度为30
°
～60
°
、光照度为500lx～13000lx、色温为3000k～7000k，以及波长为400nm～760nm。
12.所述光学分光机构为平板分束器、偏振分束器或非偏振分束器；所述光学分光机构与成像光路之间夹角为45
°
。
13.所述光源辐射机构位于采集端口和光学分光机构之间。
14.所述暗箱的内表面进行发黑处理。
15.有益效果
16.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明提出的舌象采集系统通过在舌像采集装置中设置rgb图像采集模块(rgb相机)与多光谱图像采集模块(多光谱相机)对目标进行同视场采集，最后可得到高空间分辨率多光谱舌象，共光轴图像采集方案可有效提高多光谱相机的空间分辨率，结构紧凑和成本可控，特别适合于需要高空间分辨率的颜色或特征波长图像检测领域；本发明获得的高空间分辨率的多光谱舌象能够提供更丰富的舌象光谱特征，有利于实现对中医诊断的定量化分析。
附图说明
17.图1是本发明实施方式的舌象采集系统示意图；
18.图2是本发明实施方式的舌像采集装置结构示意图；
19.图3是本发明实施方式的采集对象固定装置结构示意图；
20.图4是本发明实施方式的数据采集装置示意图。
具体实施方式
21.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
22.本发明的实施方式涉及一种高空间分辨率的多光谱舌象采集系统，特别适合于需要高空间分辨率的颜色或特征波长图像检测领域，请参阅图1和图2，该系统包括舌像采集装置200和终端设备100，所述舌像采集装置200和终端设备100通过线缆进行通信，所述舌像采集装置200包括至少一个暗箱23，所述暗箱23的内表面进行发黑处理以抑制杂散光，所述暗箱23内部设置有rgb图像采集模块(rgb相机)21、多光谱图像采集模块(多光谱相机)22、光源辐射机构24和光学分光机构25，所述暗箱23开设有与采集者舌头位置相对应的采集端口26，所述光源辐射机构24位于采集端口26和光学分光机构25之间；所述终端设备100控制光源辐射机构24照射采集者的舌头，舌头的反射光在光学分光机构25处分为反射光和透射光，所述透射光透过光学分光机构25传递给rgb图像采集模块21，所述反射光透过光学分光机构25传递给多光谱图像采集模块22，所述rgb图像采集模块21和多光谱图像采集模块22将获采集到的图像数据发送至终端设备100，终端设备100根据接收到的图像数据经过处理后得到高空间分辨率的多光谱图像，并实现对舌苔与舌质的分析，最终获得诊断结果。
23.进一步地，多光谱图像采集模块22成像光路和rgb图像采集模块21成像光路为共轴采集光路，并且基于光学分光机构25以实现rgb图像采集模块21与多光谱图像采集模块22的同视场采集，目标对象的rgb图像和多光谱图像采集后通过终端设备100实现图像配准和图像融合，可获得高空间分辨率的多光谱舌象；多光谱相机为单镜头工作模式，多光谱相机通过片上集成滤光片、滤光片转盘以及可变滤光片实现光学分光。
24.进一步地，所述光源辐射机构24为高角度环形无影光源辐射机构(包括但不限于led灯、荧光灯和白炽灯)且数量至少为一个，所述光源辐射机构24的辐射角度为30
°
～60
°
、光照度为500lx～13000lx、色温为3000k～7000k，以及波长为400nm～760nm。
25.进一步地，所述光学分光机构25为平板分束器、偏振分束器或非偏振分束器；所述光学分光机构25与成像光路之间夹角为45
°
。
26.请参阅图3，所述暗箱23在采集端口26的下方还设置有与采集端口26相对应的采集对象固定装置，采集对象固定装置起到位置调节功能，可以调整目标对象相对于采集端口26的位置。所述采集对象固定装置包括用于支撑采集者下巴的下巴托262和设置于所述下巴托262底部的升降台263，所述升降台263用于调节下巴托262的高度，以使采集者的舌头固定于采集端口26中，并且采集者的舌头可以灵活地从采集端口26进入和退出，有利于测试距离和光照条件的标准化；所述升降台263的底部还设置有固定板261。
27.请参阅图4，所述终端设备100设置有数据采集装置，数据采集装置与舌像采集装置200交互，数据采集装置通过获取到的图像数据实现对舌苔与舌质的分析，最终获得诊断结果。所述数据采集装置包括用于控制光源辐射机构24开关的光源控制模块410、用于对所述rgb图像采集模块21和多光谱图像采集模块22采集到的图像数据进行获取的图像获取模块420、用于将所述图像获取模块420获取到的图像数据进行图像配准和图像融合的图像融合模块430、用于将所述图像融合模块430融合后的图像数据进行识别处理以获取特征信息的识别处理模块440，以及用于根据所述识别处理模块440得到的特征信息进行诊断的分析模块450。数据采集装置的工作模式具体为：光源控制模块410用于控制光源辐射机构24的点亮和熄灭，光源辐射机构24点亮后，图像获取模块420实时同步触发rgb相机和多光谱相机拍摄rgb图像和多光谱图像，图像融合模块430用于将采集的rgb图像与多光谱图像进行图像配准和图像融合，获得具有rgb图像空间分辨率的多光谱图像，识别处理模块440用于
对融合后的图像进行分割、波段运算、特征提取等识别处理，获取目标对象的颜色、形状、纹理等特征信息，分析模块450根据诊断模型和中医舌象特征集，对采集的舌象特征信息进行分析得到目标对象的诊断结果。
28.进一步地，图像融合模块430的功能包括图像配准和图像融合，通过图像配准和图像融合后可获得高空间分辨率的多光谱图像，为中医舌诊提供更精确的颜色特征；其中，图像配准采用的算法包括但不限于基于特征的配准方法和深度学习算法，图像融合采用的算法包括但不限于hsv变换、brovey变换、乘积运算、pca变换、gram
‑
schmidt和pansharpening。本实施方式可通过polynomial算法进行像素级图像配准，再通过pca变换进行图像融合，从而获得高空间分辨率的多光谱图像。
29.由此可见，本发明提出的舌象采集系统通过在舌像采集装置中设置rgb相机与多光谱相机对目标进行同视场采集，最后可得到高空间分辨率多光谱舌象，有利于实现对中医诊断的定量化分析。