用于快照光谱成像的设备和方法_2

文档序号:9731858阅读:来源:国知局
型的小型化摄影机。这里所使用的"数字摄影机"可以仅包括在像素 化图像传感器上获得来源对象的图像所需要的成像部分的基本元件和功能。因此,例如存 在于智能电话摄影机中的耦合到图像处理器的透镜/传感器组合应当被视为用于这里所阐 述的目的的成像部分。
[0041 ] 设备100在原理上类似于US 20130194481中所公开的设备(例如其中的设备200), 其不同之处在于处理器110被配置成实施2D CS-SCR而不是US 20130194481中所公开的ID CS-SCR。后面提供2D CS-SCR处理的一个详细的实现实例。可选的是,设备100可以包括被配 置成实施这里所公开的2D CS-SCR的一部分或全部的附加的外部(摄影机外部)数字处理器 105〇
[0042]图IB提供了设备100的更加详细的视图。除了前面的组件之外,摄影机100包括具 有孔径114的成像透镜112以及可选地还有带通滤波器116 AIP漫射器104可以位于成像透 镜112的入射光瞳处或其附近。正如在US 20130194481中详细描述的那样,对象106通过RIP 漫射器104和透镜112的成像提供图像传感器108处的快照DD图像118。与图像118相关联的 图像数据由处理器110处理,其可以被配置成还实现其他功能,比如控制各种摄影机功能和 操作。
[0043]光学系统的数学模型
[0044]将参照如图1和2中的单透镜SSI设备来描述下面的模型。如果摄影机的整个光学 系统被视为具有从所有透镜的组合导出的有效焦距的单个透镜,则这样的设备的基本原理 同样适用于多透镜摄影机。所述模型具有若干阶段:
[0045] 将漫射图像表示成原始图像与点扩散函数(PSF)之间的卷积
[0046]假设所获得的来源对象的理想原始图像(在不使用漫射器或随机化器的情况下) 具有强度分布I〇(x,y;A),其是波长λ处的数据立方体的剖面。RIP漫射器具有复传递函数P:
[0048]其中,穸是波长λ处的漫射器的相位函数。当被安装到光学系统中时,RIP 漫射器把原始图像转换成DD图像,这是因为成像系统不再是理想的。DD图像的形状和特性 可以作为P和原始图像的函数来计算。所述系统的相干点扩散函数可以被计算成P的傅立叶 变换:
[0050]并且其在电磁场的复幅度中描述了对应于输入处的δ函数的所述系统的脉冲响 应,其中R是从出射光瞳到成像系统的图像传感器的距离。如果光是不相干的,则可以仅测 量由图像传感器接收到的光的强度。相应地,通过由下式给出的不相干PSF hMy' ;λ)来描 述系统在强度中的脉冲响应:
[0051] hiCy7 ;λ)|2λ2 (3)
[0052] 空间偏移不变模型成像系统把DD图像强度提供成理想("非发散")图像I与不相干 PSF In之间的ID卷积
[0053] I7 (x,y7 ;A)=Jhi(y/-y;A)I(x,y;A)dy (4)
[0054] 其中,I(Xd^1)是在不使用漫射器或随机化器的情况下由成像系统在波长心处获 得的空间不相干来源对象的理想图像的强度,并且x,y是图像传感器处的笛卡尔坐标。应当 提到的是,对于理想图像的每一个坐标X单独计算ID卷积。
[0055] 将DD或随机化图像、数据立方体和PSF表示成矩阵
[0056] 由于DD图像是利用像素化图像传感器取得的,因此其实际上被采样,并且可以被 表示成每一个像素中的强度的矩阵。不相干PSF还可以通过表示卷积等式(4)的Toeplitz矩 阵来表示。图像传感器自然地具有离散像素化结构,其由2D空间间距δ χΧδγ、像素数目Nx,Ny 以及每个像素的比特数目Nb表征。在一个实施例中,成像变焦被选择成使得由RIP漫射器导 致的图像模糊使得发散-漫射图像在图像传感器处占据每一列中的所有N y个像素以及每一 行中的所有Nx个像素。相应地,在没有RIP漫射器的情况下在相同的变焦下获得的"未漫射-未发散图像"在图像传感器处仅占据位于每一列的中心部分处的更少数目的N<N y个像素 以及每一行中的所有Nx个像素。数据立方体被定义成尺寸为Nx X N X L的3D阵列,其中NX、N是 空间维度,L是光谱维度,也就是光谱图像中的光谱带或波长的数目。尽管所感知到的像素 的数目N xXNy(即实验数据的维度)可能远小于具有维度NxXNXL的目标3D数据立方体中的 体素的数目,但是我们建议了一种通过求诸于CS方法并且利用图像数据中的隐含的冗余性 的针对3D数据立方体的解决方案。所建议的解决方案提供了数据压缩率NXL/N y。
[0057] 遵循CS中的离散标记管理,我们定义以下索引范围:在数据立方体和传感器像素 的y方向上延伸的范围
在数据立方体和传感器像素的X方向上延伸 的范围
以及在数据立方体的λ方向上延伸的范围
,传感器的像素的中 心具有以下笛卡尔坐标:
[0059]数据立方体的体素共享传感器的空间间距但是具有不同的索引范围,因此其索引 被如下偏移:
[0061] 并且其笛卡尔坐标是xdP漫射器的平面处的笛卡尔坐标被标记成Y, /。具有透明孔径的线性维度Du' Xiv的Rip漫射器(参见图3B和3C)包括:
[0062] Nd = DvVAV (6)
[0063] 即平行于Y轴延伸的垂直直线条带,其具有宽度Δ /和中心:
[0065]因此,可以通过仅取决于坐标V的复分段恒定光瞳函数来描述RIP漫射器:
[0068] 其中,是RIP漫射器上的第k个条带的宽度Δ /内的相位常数,
是光谱带编号
的中心波长,并且L是光谱带的总数目。
[0069] 对应于不相干PSF的等式(2)和(3)提供离散卷积内核以作为对应于每一个波长的 Toeplitz卷积矩阵:
!:
[0071]其中,卷积内核为如下:
[0074]并且Pkl由等式(9)定义。应当提到的是,对应于固定的
的阵列具有 范围
因此包括Ny+N-1个元素。数据立方体的体素可以被表 达成:
[0076]数据立方体的每一个光谱带:
中的理想图像强度的离散版本由一个NxXN X L阵列表不:
[0078] 换句话说,X是表示空间-光谱数据立方体的矩阵。
[0079] 假设光学系统仅允许ID发散,从而使得图像的两个空间维度x,y不会被混合,并且 DD图像的每一列可以被单独考虑。每一列包括图像数据(对应于图像矩阵)和相应的转移函 数(PSF矩阵)。此外,由于发散仅仅是ID的,因此PSF的各列完全相同,从而允许丢弃对应于 PSF的列索引j。因此,在每一个波长处,连续ID卷积的等式(4)可以被重写成对于Nx个图像 列当中的每一个单独应用的离散ID卷积。具有单个波长光对于DD图像的各个离散像素 的贡献可以通过离散形式被如下表达:
[0081]其中,j是DD图像中以及数据立方体中的列编号,并且K1'-U是Toeplitz "卷积矩 阵"的元素。等式(15)表明,在单个光谱带中,由成像透镜形成在图像传感器上的光强度被 描述成通过等式(10)和(11)定义的数据立方体与Toeplitz矩阵的各个元素的离散卷积。 [0082]具有随机化器的SSI设备
[0083]图2A示意性地示出了基于数字摄影机202的另一个SSI设备的编号为200的一个实 施例,所述数字摄影机202具有RIP漫射器104以及通过配置作为数字摄影机202的一部分的 数字处理器210而实施的SW随机化器220。在图2B中示出了设备200的更多细节。设备实施例 100和200所共有的元件由相同的附图标记标示,其具有类似的功能并且因此不作详细描 述。设备200还包括SW随机化器220 JW随机化器220是操作在图像传感器平面处的软件实施 的随机化器"功能"。所述随机化器在图像传感器108上提供经过漫射、发散和随机化的图像 118'。数字处理器210'被配置成在随机化图像上实施2D-CS SCR。随后从经过漫射、发散和 随机化的图像118'重建光谱图像。
[0084]图2C示意性地示出了基于具有RIP漫射器和HW随机化器的数字摄影机的另一个 SSI设备的编号为200'的一个实施例。在图2D中示出了设备200'的更多细节。设备实施例 100和200'所共有的元件由相同的附图标记标示,其具有类似的功能并且因此不作详细描 述。设备200'包括HW随机化器220'。所述随机化器在图像传感器108上提供随机化图像 204'。数字处理器210'被配置成在随机化图像上实施2D-CS SCR。随后从随机化图像重建光 谱图像。
[0085]图2的实施例中的RIP漫射器被显示成位于成像透镜之前(在从来源对象到图像传 感器的光径中)。在其他实施例中,RIP漫射器可以位于成像透镜内部或之后,并且优选地位 于成像透镜的入射光瞳处。 _] 随机化器的贡献
[0087]随机化器对初始测量矩阵的Toeplitz结构进行随机化,并且对于合理地稀疏的真 实图像允许重建。随机化器可以被表示成具有随机元素 u的2D矩阵,其中
^其 与波长无关,并且仅影响传感器上的信号的幅度。其对于每一个波长处的所测量的光强度 具有相同的效果。这一效果是每一个DD图像像素处的光强度V (Xpy1' ;λ〇乘以相应的元素 以获得随机化的DD图像。随机化器的插入通过添加逐个像素的乘法改动等式(15): 9
7 -
[0089]其中,对于DD图像的每一列仅使用随机化矩阵
的单个列
通过设定<〇K>,这里所开发的数学等式同样适用于不 具有随机化器的系统:
[0091]在一个实施例中,随机化器可以被实施成用于照片或视频摄影机的数字处理器或 者处于摄影机膝上型或台式计算机外部的数字处理器的算法和软件代码。在另一个实施例 中,随机化器可以被实施成硬件,特别是被实施成位于照片或视频摄影机的成像透镜与图 像传感器之间的光学元件,其优选地紧邻图像传感器或者被安放在图像传感器上。
[0092]在用于光谱成像的CS中,具有整个波长集合的光对于DD图像的各个离散像素的贡 献被标示成
并且可以被表达成在每一个图像传感器像素处的所有波长上的DD图像的 强度的总和,从而获得感知强度:
[0094]非负数字^(在我们的计算机仿真中低于^ = 1)表征波长\:处的图像传感器的相 对光谱灵敏度,并且系1
描述RIP漫射器与随机化器R1' u的组合效果:
[0097] 因此,随机化器打破每一个波长处的感知矩阵的Toeplitz结构,从而产生对应于 信号的甚至更加随机的结构。其随机地改变由每一个图像传感器像素接收到的幅度,从而 改进满足RIP条件的能力。
[0098] 在具有随机化器的单个版本("单项随机化"动作
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1