一种基于高光谱相机的高精度颜色显示系统

1.本发明涉及一种基于高光谱相机的高精度颜色显示系统，适用于高光谱成像技术、显示技术等领域。


背景技术：

2.颜色是可见光作用于人眼后所产生的一种心理感受，按照物理机制可分为光源色、物体色、荧光色。为了表征颜色，国际照明委员会（cie）根据通过大量人眼实验，规定了一系列颜色空间，这些颜色空间精确的表示了独立于设备之外的人眼对色彩的接收。目前对彩色场景的记录大多是利用rgb三色数码相机完成的，然而rgb三色数码相机只有三个光谱通道，它无法获取可见光波段的全部光谱信息，因此本质上无法得到准确的色彩，无法分辨某些相近的颜色，且不同的彩色相机使用不同的rgb滤光片，内置算法也不尽相同，通过普通数码相机拍摄的场景的真实色彩不可避免引入色差，这可能会对开展后续的研究工作造成不利影响。
3.高光谱成像技术结合了光谱技术与成像技术的优点，可以同时获得待测物体的二维空间信息和一维光谱信息。因此图谱结合的高光谱技术能够获得物体更丰富的信息，已广泛应用在航天、医学、农业、食品安全等领域。按照工作原理高光谱成像技术可分为扫描式、凝视式和快照式。扫描式高光谱成像一般基于光栅分光原理，可对大视场成像，光谱维度精度高，一般的扫描式高光谱对面成像系统需要花费大量时间进行机械扫描，并且需要考虑高光谱成像系统的体积、机械稳定性等方面的问题；凝视式高光谱成像系统一般采用可调谐滤波片，包括可调谐滤波器、声光可调谐滤波器等等，它通过改变滤波片的状态来获得不同光谱波段的信息，因此它需要寻找一个光谱分辨率和时间上的平衡点；快照式高光谱成像系统仅需单次曝光即可成像，但是它在光谱分辨率和空间分辨率上的固有矛盾是无法调和的。


技术实现要素：

4.本发明旨在针对传统数码相机记录场景时的信息缺失，以及后续显示时产生的颜色失真问题，提出了一种基于高光谱相机的高精度颜色显示系统。
5.为解决上述技术问题，本发明拟采用的技术方案为：一种基于高光谱相机的高精度颜色显示系统，包括高光谱成像模块、标定模块、设备控制和真彩色图像复原的程序模块；所述高光谱成像模块用于记录场景的空间、光谱信息，并存储数据；所述标定模块用于标定当次采集时的环境光源，并对后续场景的光谱信息作归一化处理；所述设备控制和真彩色图像复原的程序模块用于协调各模块按照逻辑运行，完成标定、数据采集、颜色重建，输出三维光谱立方体和真彩色图像。
6.进一步设有照明模块，在弱光环境下均匀照明需要成像的部位。
7.所述高光谱成像模块的结构包括单色cmos相机、光谱提取单元、成像镜头。
8.所述光谱提取单元是基于可调谐滤波器的凝视式高光谱成像装置或利用光栅展开光谱原理的高光谱成像装置；所述利用光栅展开光谱原理的高光谱成像装置是基于运动部件的扫描式高光谱面成像装置或不依赖运动部件的高光谱线成像装置。
9.所述高光谱成像模块的成像方式包括面成像方式和线成像方式。
10.所述标定模块通过拍摄放置在物面的标准白板获取光源的光谱信息。
11.所述设备控制和真彩色图像复原的程序模块包括设备控制单元与光谱成像单元；所述设备控制单元包括设备连接子单元、图像预览子单元、参数设置子单元、数据采集与存储子单元；所述光谱成像单元包括光源标定子单元、三维光谱立方体提取子单元、归一化与颜色复原子单元。
12.所述参数设置子单元用于设置相机曝光参数、图片位深度参数、图片保存格式参数、可调谐滤波器波长范围参数、可调谐滤波器波长间隔参数、运动台的速度、运动台的运动范围；所述数据采集与存储子单元用于改变可调谐滤光片或运动台的状态与相机数据的保存。
13.所述三维光谱立方体提取子单元根据已有高光谱图像数据，提取出三维光谱立方体；所述归一化与颜色复原子单元对三位光谱立方体进行归一化，提取出场景的反射谱。
14.所述归一化与颜色复原子单元选择复原不同光源照明条件下场景的cie1931 xyz标准色度系统的三刺激值，进而换算到srgb或非srgb颜色空间的颜色坐标，显示该照明条件下的场景的真色彩图片；利用色刺激函数和照射光源i（λ），将和i（λ）的波长坐标设置为一致，根据下式求得cie1931 xyz色度系统的三刺激值：其中λ1、λ2分别是波长的下限和上限，以上积分公式进一步离散化为：
求得xyz三刺激值后保存该值，为在不同的设备上显示进一步求在srgb颜色空间下的色度坐标；首先求得srgb颜色空间下的线性值rgb：其次求得srgb颜色空间下的非线性值rgb：求出srgb的色度坐标的数值范围为0-1，将该值保存到该像素点对应的矩阵元素中，按照以上步骤求得场景图片的所有像素点的srgb颜色空间的色度坐标，复原场景的颜色信息并用于显示；针对不同于srgb的颜色空间，先求得m矩阵获得相应颜色空间的线性值，步骤如下：
①
获得该色度空间色度坐标（xr，yr），（xg，yg）和（xb，yb）以及参考白点（xb，yb，zw）；
②
利用公式：
求得线性值后，进行γ矫正得到非线性值。
15.本发明的有益效果：本发明提出了一种基于高光谱相机的高精度颜色显示系统，与现有技术相比，高光谱相机采集数据，获取物体的光谱信息，解决了“拍不全”的问题，且由于每个光谱必然对应一个确定的颜色，能够完美解决普通rgb数码相机带来的色差问题，图像光谱数据可作为标准存储。此外，求得的cie1931 xyz标准色度系统下的三刺激值是各个颜色空间互相转换的媒介，利用该参数能够将拍摄的场景显示在任何色域的显示器上，极大促进了颜色领域的相关研究。
附图说明
16.图1是本发明基于高光谱相机的高精度颜色显示系统的一种结构示意图。
17.图2是本发明基于高光谱相机的高精度颜色显示系统在弱光工作环境下的一种结构示意图。
18.图3是本发明一种基于高光谱相机的高精度颜色显示系统的高光谱成像模块的一
种结构示意图。
19.图4是本发明的基于液晶可调谐滤光片的凝视式高光谱成像模块的一种光路图。
20.图5是本发明的利用光栅展开光谱原理的高光谱成像模块的一种结构示意图。
21.图6是本发明利用光栅展开光谱原理的高光谱成像模块的一种光路图。
22.图7是本发明中设备控制和真彩色图像复原的程序模块的一种原理框图。
23.图中，单色cmos相机1、光谱提取单元2、成像镜头3、标定模块4、照明模块5、液晶可调谐滤波器及其转换控制子单元6、成像子单元7、物面8、聚焦透镜9、楔形棱镜10、光栅11、准直透镜12、狭缝13。
具体实施方式
24.下面结合附图和实施例对本发明做进一步说明。
25.如图1所示，一种基于高光谱相机的高精度颜色显示系统，包括高光谱成像模块（单色cmos相机1、光谱提取单元2、成像镜头3）、标定模块4、设备控制和真彩色图像复原的程序模块（图1中未示出）。
26.所述高光谱成像模块用于记录场景的空间、光谱信息，并存储数据，可根据不同的工作场景选择不同结构或者成像方式的高光谱成像模块；所述标定模块4用于标定当次采集时的环境光源，标定当次采集时的环境光源，并对后续场景的光谱信息作归一化处理。
27.所述设备控制和真彩色图像复原的程序模块用于协调各模块按照逻辑运行，完成标定、数据采集、颜色重建，输出三维光谱立方体和真彩色图像。
28.所述基于高光谱相机的高精度颜色显示系统在弱光环境下需要引入照明模块（如图2所示），均匀照明需要成像的部位，照明模块为同轴照明系统，其在弱光环境下均匀照明需要成像的部位以减少高光谱相机的曝光时间，避免因记录场景的时间过长而产生画面抖动的问题。
29.所述高光谱成像模块的结构包括单色cmos相机1、光谱提取单元2、成像镜头3，可根据不同的工作场景选用不同光谱提取单元的结构。
30.所述高光谱成像模块的成像方式包括面成像方式和线成像方式，可根据不同的工作场景选用不同的成像方式。
31.所述光谱提取单元2是基于可调谐滤波器的凝视式高光谱成像装置或利用光栅展开光谱原理的高光谱成像装置；所述用光栅展开光谱原理的高光谱成像装置是基于运动部件的扫描式高光谱面成像装置或不依赖运动部件的高光谱线成像装置。凝视式高光谱成像装置较扫描式高光谱成像装置速度快、较快照式高光谱成像装置不牺牲空间分辨率，能够相对快速采集场景的空间、光谱信息，并且在非弱光环境下采集时间可以压缩到数秒。
32.凝视式高光谱成像装置包括单色cmos相机、液晶可调谐滤光器及其转换控制子单元和成像子单元、成像镜头，成像子单元包括中继成像等结构。其中由中继成像等结构构成的成像子单元将成像镜头所成的像经由可调谐滤波器成像至cmos的感光芯片上，可调谐滤波片改变状态，由单色相机记录不同状态的滤光片下的单色图像；利用光栅展开光谱原理的扫描式高光谱面成像装置的优势在于可以获取更高精度的光谱信息，它包括运动台、单色cmos相机、聚焦透镜、pgp分光结构、准直透镜、狭缝和成像镜头等结构。运动台一般通过移动高光谱相机或者移动样品实现高光谱面成像装置的扫描。成像镜头将目标成像于狭缝
上，狭缝只透过一条线区域的像，随后被准直为平行光入射到pgp结构上，经过pgp结构分光之后聚焦透镜将不同波长或角度的光聚焦于相机感光芯片的不同位置；利用光栅展开光谱原理的高光谱线成像装置较利用光栅展开光谱原理的扫描式高光谱面成像装置没有运动部件，因此只可对线成像，大幅度牺牲空间分辨率的情况下可以达到极高的时间分辨率，只适用于某些特定场合。
33.所述标定模块通过拍摄放置在物面的标准白板获取光源的光谱信息，每次采集场景数据时应首先进行标定，以去除相机、成像镜头、环境等因素对场景光谱信息的影响。
34.所述设备控制和真彩色图像复原的程序模块包括设备控制单元与光谱成像单元。
35.如图7所示，所述设备控制单元包括相机及可调谐滤波器或运动台设备连接子单元、图像预览子单元、参数设置子单元、数据采集与存储子单元。
36.如图7所示，所述光谱成像单元包括光源标定子单元、三维光谱立方体提取子单元、归一化与颜色复原子单元。
37.所述参数设置子单元包括设置相机曝光参数、图片位深度参数、图片保存格式参数、可调谐滤波器波长范围参数、可调谐滤波器波长间隔参数、运动台的速度、运动台的运动范围。
38.所述数据采集与存储子单元包括改变可调谐滤光片或运动台的状态与相机数据的保存。
39.所述三维光谱立方体提取子单元根据已有高光谱图像数据，提取出三维光谱立方体。
40.所述归一化与颜色复原子单元首先提取标定的光源光谱，对三位光谱立方体进行归一化，三维光谱立方体数据是在与标定光源的同一曝光条件下采集的，因此可直接通过二者相除求得反射率谱线，提取出场景的反射谱r（λ）。
41.所述归一化与颜色复原子单元选择复原不同光源照明条件下场景的cie1931 xyz标准色度系统的三刺激值，进而换算到srgb等颜色空间的颜色坐标，显示该照明条件下的场景的真色彩图片。利用色刺激函数 和照射光源i（λ），将和i（λ）的波长坐标设置为一致，可根据下式求得cie1931 xyz色度系统的三刺激值：
其中λ1、λ2分别是波长的下限和上限。由于数据是离散化的，以上积分公式可进一步离散化为：求得xyz三刺激值后保存该值，为在不同的设备上显示进一步求在srgb颜色空间下的色度坐标。首先求得srgb颜色空间下的线性值rgb：其次求得srgb颜色空间下的非线性值rgb：求出srgb的色度坐标的数值范围为0-1，将该值保存到该像素点对应的矩阵元素中，按照以上步骤求得场景图片的所有像素点的srgb颜色空间的色度坐标，复原场景的颜
色信息并用于显示。
42.针对不同于srgb的颜色空间，可先求得m矩阵获得相应颜色空间的线性值，步骤如下：
①
获得该色度空间色度坐标（xr，yr），（xg，yg）和（xb，yb）以及参考白点（xb，yb，zw）；
②
利用公式：求得线性值后，进行γ矫正得到非线性值。
43.所述设备控制和真彩色图像复原的程序模块执行标定光源工作时的程序工作逻辑（图6实线箭头）为：（1）光谱提取单元为凝视式高光谱成像装置：
①
调用设备连接子单元连接相机和可调谐滤光片；
②
调用图像预览子单元，观察像；
③
调用参数设置子单元，扫描可调谐滤波器，设置相机曝光时间，不产生过曝图像；
④
调用数据采集与存储子单元，保存标准白板高光谱数据；
⑤
调用光源标定子单元，计算并应用此次标定的光源光谱。
44.（2）光谱提取单元为利用光栅展开光谱原理的高光谱面成像装置：
①
调用设备连接子单元连接相机和运动台；
②
调用图像预览子单元，观察像；
③
调用参数设置子单元，设置运动台运动范围、速度，设置相机曝光时间，不产生过曝图像；
④
调用数据采集与存储子单元，保存标准白板高光谱数据；
⑤
调用光源标定子单元，计算并应用此次标定的光源光谱。
45.光谱提取单元为利用光栅展开光谱原理的高光谱线成像装置
①
调用设备连接子单元连接相机；
②
调用图像预览子单元，观察像；
③
调用参数设置子单元，设置相机曝光时间，不产生过曝图像；
④
调用数据采集与存储子单元，保存标准白板高光谱数据；
⑤
调用光源标定子单元，计算并应用此次标定的光源光谱。
46.所述设备控制和真彩色图像复原的程序模块执行采集场景数据工作时的程序工作逻辑（图6虚线箭头）为：
①
调用图像预览子单元，观察像；
②
调用数据采集与存储子单元，保存场景高光谱数据；
③
调用三维光谱立方体提取子单元，根据已有图像数据生成三维光谱立方体；
④
调用归一化与颜色复原子单元，生成最终真彩色图像。
47.实施例1如图1、2、3、4所示，基于高光谱相机的高精度颜色显示系统包括单色cmos相机1、光谱提取单元2、成像镜头3、标定模块4、照明模块5、设备控制和真彩色图像复原的程序模块（程序模块，图1-4中未示出）；其中，单色coms相机1、光谱提取单元2、成像镜头3顺次相连。本实施例中光谱提取单元2由液晶可调谐滤波器及其转换控制子单元6和成像子单元7构成，成像子单元7是中继成像结构；标定模块4为标准白板；照明模块5为同轴照明系统，只在弱光环境下引入。
48.本实施例通过调制液晶可调谐滤波器的电压，改变滤波器的透过率。
49.本实施例中基于高光谱相机的高精度颜色显示系统利用基于液晶可调谐滤波器的凝视式高光谱成像装置，在数秒内采集面部、舌苔（物面8）的高光谱数据，得到无色差图像，可用于辅助中医线上面诊、舌诊的诊断。
50.本实施例的实施步骤如下：
①
将液晶可调谐滤波器和单色cmos相机连接在电脑上，打开程序模块，调用设备连接子单元连接设备；
②
将标准白板放置在物面上，首先调用图像预览子单元查看是否有图像，移动标准白板的位置使像在图片的中间并且成清晰的像；
③
调用参数设置子单元，扫描液晶可调谐滤波器的波段，并调整相机曝光值，确保没有过曝的图片，设置好其他相机参数；
④
调用数据采集与存储子单元，保存标准白板的高光谱数据；
⑤
调用光源标定子单元，计算经由标准白板标定的光源光谱信息；
⑥
移走标准白板，将人脸固定装置放置在物面上，调用图像预览子单元保证人脸或者舌头在图片的中间并且成清晰的像；
⑦
调用数据采集与存储子单元，存储人脸或者舌苔高光谱数据，此过程持续数秒，过程中患者应保持不动；
⑧
调用三维光谱立方体提取子单元，处理高光谱相机采集的图片数据；
⑨
调用归一化与颜色复原子单元，生成真彩色图像；
⑩
保存三维光谱立方体和真彩色图像数据，供中医线上诊断使用。
51.实施例2如图1、2、5、6所示，基于高光谱相机的高精度颜色显示系统包括单色cmos相机1、光谱提取单元2、成像镜头3、标定模块4、照明模块5、设备控制和真彩色图像复原的程序模块（程序模块，图1、2、5、6中未示出）、运动台和棋盘格（图1、2、5、6中未示出）；其中，单色coms相机1、光谱提取单元2、成像镜头3顺次相连。本实施例中光谱提取单元2由聚焦透镜9、楔形棱镜10、光栅11、准直透镜12和狭缝13构成；标定模块4为标准白板；照明模块5为同轴照明系统，只在弱光环境下引入。
52.本实施例通过连接并同时运行运动台和高光谱相机，扫面整个标本物面的空间光谱信息。
53.本实例中基于高光谱相机的高精度颜色显示系统利用基于光栅展开光谱原理的扫描式高光谱面成像装置，对静态的标本进行高精度的图谱扫描与颜色记录。
54.本实例的实施步骤如下：
①
将运动台和单色cmos相机连接在电脑上，打开程序模块，调用设备连接子单元连接设备；
②
将棋盘格放置在物面上，首先调用图像预览子单元查看是否有图像，移动棋盘格的位置使像在图片的中间并且成清晰的像；
③
将棋盘格换成标准白板，调用参数设置子单元，运行运动台，并调整相机曝光值，确保没有过曝的图片，设置好其他相机参数；
④
调用数据采集与存储子单元，保存标准白板的高光谱数据；
⑤
调用光源标定子单元，计算经由标准白板标定的光源光谱信息；
⑥
移走标准白板，将标本放置在物面上，调用图像预览子单元查看像；
⑦
调用数据采集与存储子单元，存储标本数据，此过程持续数十秒，过程中确保物面物体不移动；
⑧
调用三维光谱立方体提取子单元，处理高光谱相机采集的图片数据；
⑨
调用归一化与颜色复原子单元，生成真彩色图像；
⑩
保存三维光谱立方体和真彩色图像数据。
55.实施例3如图1、2、5、6所示，基于高光谱相机的高精度颜色显示系统包括单色cmos相机1、光谱提取单元2、成像镜头3、标定模块4、照明模块5、设备控制和真彩色图像复原的程序模块（程序模块，图1、2、5、6中未示出）和棋盘格（图1、2、5、6中未示出）；其中，单色coms相机1、光谱提取单元2、成像镜头3顺次相连。本实施例中光谱提取单元2由聚焦透镜9、楔形棱镜
10、光栅11、准直透镜12和狭缝13构成；标定模块4为标准白板；照明模块5为同轴照明系统，只在弱光环境下引入。
56.本实施例通过基于光栅展开光谱原理的高光谱线成像相机记录试管轴向的一维空间的线光谱，快速对试管中的溶液进行高精度的光谱扫描与颜色记录，可用于后续液体均匀度、成分组成等方面的研究。
57.本实例的实施步骤如下：
①
将单色cmos相机连接在电脑上，打开程序模块，调用设备连接模块连接子单元；
②
将棋盘格放置在物面上，首先调用图像预览子单元查看是否有图像，移动棋盘格的位置使像在图片中有清晰的像；
③
将棋盘格换成标准白板，调用参数设置子单元，运行运动台，并调整相机曝光值，确保没有过曝的图片，设置好其他相机参数；
④
调用数据采集与存储子单元，保存标准白板的高光谱数据；
⑤
调用光源标定子单元，计算经由标准白板标定的光源光谱信息；
⑥
移走标准白板，将试管放置在物面上，调用图像预览子单元查看像；
⑦
调用数据采集与存储子单元，存储数据；
⑧
调用三维光谱立方体提取子单元，处理高光谱相机采集的图片数据；
⑨
调用归一化与颜色复原子单元，生成真彩色图像；
⑩
保存三维光谱立方体和真彩色图像数据。
58.以上所述仅为本发明的实施案例，凡在本发明的思想和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。