信号处理方法、信号处理装置及摄像系统与流程

1.本公开涉及信号处理方法、信号处理装置及摄像系统。


背景技术：

2.通过灵活利用各自为窄带的多个带例如数十个带的谱信息，能够掌握在以往的rgb图像中无法掌握的对象物的详细物性。将取得这样的多波长的信息的相机称为“高光谱相机”。高光谱相机在食品检查、生物体检查、医药品开发及矿物的成分分析等各种领域中得到利用。
3.专利文献1及专利文献2公开了利用压缩感知来取得高光谱图像的摄像装置的例子。专利文献1及专利文献2所公开的摄像装置在将被摄体与图像传感器连结的光路上具备透射谱相互不同的多个滤光器的阵列。在专利文献1中，主要使用单模干涉滤光器阵列进行空间的压缩感知。另一方面，在专利文献2中，使用多模干涉滤光器阵列进行波长信息的压缩感知。专利文献1及专利文献2所公开的方法在根据包括压缩后的高光谱信息的压缩图像生成高光谱图像这点上具有特征。这种方法在分辨率及摄像所需的时间上与其他方式相比具有优势。
4.在先技术文献
5.专利文献
6.专利文献1：国际公布第2016/012980号说明书
7.专利文献2：美国专利第9599511号说明书


技术实现要素：

8.本发明所要解决的课题
9.本公开提供用于进一步减小生成高光谱图像所需的计算量及时间的技术。
10.用于解决课题的手段
11.本公开的一个方式所涉及的信号处理方法由计算机执行。所述信号处理方法包括：取得表示包括高光谱信息且通过将所述高光谱信息压缩而得到的二维图像的第1压缩图像数据，该高光谱信息是关于对象波段所包含的至少4个波带中的各个波带的亮度信息；从所述第1压缩图像数据提取部分图像数据；以及根据所述部分图像数据，生成与第1波带对应的第1二维图像数据、以及与第2波带对应的第2二维图像数据。
12.本公开的概括性或者具体性的方式也可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录盘等记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合实现。计算机可读取的记录介质例如可以包括cd-rom(紧凑盘只读存储器(compact disc-read only memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。
13.发明效果
14.根据本公开的一个方式，能够减小生成高光谱图像所需的计算量及时间。
附图说明
15.图1a是示意性地表示例示性的高光谱摄像系统的图。
16.图1b是示意性地表示例示性的高光谱摄像系统的第1变形例的图。
17.图1c是示意性地表示例示性的高光谱摄像系统的第2变形例的图。
18.图1d是示意性地表示例示性的高光谱摄像系统的第3变形例的图。
19.图2a是示意性地表示滤光器阵列的例子的图。
20.图2b是表示对象波段所包含的多个波带w1、w 2
、
···
、w n
各自的光的透射率的空间分布的一例的图。
21.图2c是表示图2a所示的滤光器阵列所包含的区域a1的分光透射率的例子的图。
22.图2d是表示图2a所示的滤光器阵列所包含的区域a2的分光透射率的例子的图。
23.图3a是表示对象波段w与其包含的多个波带w1、w2、
···
、wn之间的关系的一例的图。
24.图3b是表示对象波段w与其包含的多个波带w1、w2、
···
、wn之间的关系的其他例的图。
25.图4a是用于说明滤光器阵列的某区域中的分光透射率的特性的图。
26.图4b是表示按每个波带w1、w2、
···
、wn对图4a所示的分光透射率进行平均化而得到的结果的图。
27.图5是表示由高光谱相机取得的压缩图像的例子的图。
28.图6是表示通过基于压缩感知的运算而生成的高光谱图像的误差与像素数的关系的例子的图。
29.图7是表示本公开的例示性的实施方式中的摄像系统的构成的图。
30.图8是表示摄像系统的动作的流程图。
31.图9是表示用于输入摄像条件的gui的画面的例子的图。
32.图10是表示用于设定提取对象的区域的gui的例子的图。
33.图11a是用于说明屏蔽数据的编辑处理的图。
34.图11b是用于说明屏蔽数据的编辑处理的图。
35.图12是表示第1变形例中的摄像系统的动作的流程图。
36.图13a是表示错误画面的例子的图。
37.图13b是用于说明区域扩大处理的图。
38.图13c是用于说明区域扩大处理的图。
39.图14是表示第2变形例中的摄像系统的动作的流程图。
40.图15是表示错误画面的例子的图。
41.图16是用于说明通过边缘检测来决定应该从压缩图像提取的区域的例子的图。
42.图17a是用于说明基于颜色判别的结果决定应该从压缩图像提取的区域的例子的图。
43.图17b是用于说明基于颜色判别的结果决定应该从压缩图像提取的区域的例子的
图。
具体实施方式
44.以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置、位置及连接方式、步骤及步骤的顺序是一例，其主旨不在于限定本公开的技术。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，针对在实质上相同或者相似的构成要素赋予相同的标记。有时省略或者简化重复的说明。
45.在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(ic)或者包含lsi(large scale integration：大规模集成电路)的1个或者多个电子电路执行。lsi或者ic既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为lsi或者ic，但根据集成的程度而叫法改变，也可以是被称为系统lsi、vlsi(very large scale integration：超大规模集成电路)或ulsi(ultra large scale integration：特大规模集成电路)的电路。在lsi的制造后被编程的现场可编程逻辑门阵列(fpga、field programmable gate array)或者能够重构lsi内部的接合关系或者设置lsi内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
46.进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者动作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个rom、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置、以及所需的硬件设备例如接口。
47.首先，说明本公开的实施方式所涉及的高光谱摄像系统的构成例、以及本发明人们所想到的见识。
48.图1a是示意性地表示例示性的高光谱摄像系统的图。该系统具备摄像装置100和信号处理装置200。摄像装置100具备与专利文献2所公开的摄像装置同样的构成。摄像装置100具备光学系统140、滤光器阵列110和图像传感器160。滤光器阵列110具有与专利文献2所公开的“编码元件”同样的构造及功能。光学系统140及滤光器阵列110被配置在从作为被摄体的对象物70入射的光的光路上。滤光器阵列110被配置在光学系统140与图像传感器160之间。
49.在图1a中，例示了苹果作为对象物70的一例。对象物70不限于苹果，可以是任意的物体。图像传感器160生成将多个波带的信息作为二维的黑白图像压缩而得到的压缩图像120的数据。信号处理装置200基于图像传感器160所生成的压缩图像120的数据，生成对象波段所包含的多个波带各自的图像数据。在本说明书中，将该生成的多个波带的图像数据称为“高光谱图像数据”。在此，将对象波段所包含的波带的数量设为n(n为4以上的整数)。在以下的说明中，将生成的多个波带的图像数据称为高光谱图像220w1、220w2、
···
、220wn，将其总称为高光谱图像220。在本说明书中，有时将表示图像的信号、即表现各像素
的像素值的信号的集合简称为“图像”。
50.滤光器阵列110是以行及列状排列的具有透光性的多个滤光器的阵列。多个滤光器包括分光透射率即光透射率的波长依赖性相互不同的多个种类的滤光器。滤光器阵列110按每个波长对入射光的强度进行调制并输出。在本说明书中将滤光器阵列110所进行的该过程称为“编码”。
51.在图1a所示的例中，滤光器阵列110被配置在图像传感器160的附近或者紧上方(正上)。在此，“附近”意味着：以来自光学系统140的光的像在某种程度上以鲜明的状态被形成在滤光器阵列110的面上的程度接近。“紧上方(正上)”意味着两者以几乎没有间隙的程度接近。滤光器阵列110及图像传感器160也可以一体化。
52.光学系统140包括至少1个透镜。在图1a中将光学系统140作为1个透镜表示，但光学系统140也可以是多个透镜的组合。光学系统140经由滤光器阵列10在图像传感器160的摄像面上形成像。
53.滤光器阵列110也可以与图像传感器160相离配置。图1b至图1d是表示滤光器阵列110与图像传感器160相离配置的摄像装置100的构成例的图。在图1b的例中，滤光器阵列110被配置在光学系统140与图像传感器160之间且与图像传感器160相离的位置。在图1c的例中，滤光器阵列110被配置在对象物70与光学系统140之间。在图1d的例中，摄像装置100具备2个光学系统140a及140b，在它们之间配置有滤光器阵列110。也可以像这些例子那样在滤光器阵列110与图像传感器160之间配置有包括1个以上的透镜的光学系统。
54.图像传感器160是具有以二维排列的多个光检测元件(在本说明书中也称为“像素”)的黑白类型的光检测器。图像传感器160例如可以是ccd(电荷耦合器件(charge-coupled device))、cmos(互补金属氧化物半导体(complementary metal oxide semiconductor))传感器、红外线阵列传感器、太赫兹阵列传感器或者毫米波阵列传感器。光检测元件例如包括光电二极管。图像传感器160不一定必须是黑白类型的传感器。例如也可以使用具有r/g/b、r/g/b/ir或者r/g/b/w的滤光器的彩色类型的传感器。通过使用彩色类型的传感器，能够增加与波长相关的信息量，能够提高高光谱图像220的重构精度。作为取得对象的波长范围可以任意地决定，不限于可视的波长范围，也可以是紫外、近红外、中红外、远红外、微波/电波的波长范围。
55.信号处理装置200是具备处理器和存储器等存储介质的计算机。信号处理装置200基于由图像传感器160取得的压缩图像120，生成分别包括多个波带的信息的多个高光谱图像220w1、220w2、
···
220wn的数据。
56.图2a是示意性地表示滤光器阵列110的例子的图。滤光器阵列110具有以二维排列的多个区域。在本说明书中，有时将该区域称为“单元”。在各区域中，配置有具有个别设定的分光透射率的滤光器。在将入射光的波长设为λ时，分光透射率由函数t(λ)表现。分光透射率t(λ)可以取0以上且1以下的值。
57.在图2a所示的例中，滤光器阵列110具有以6行8列排列的48个矩形区域。这不过是例示，在实际用途中，可以设置比其更多的区域。其数量例如也可以与图像传感器160的像素数量为相同程度。滤光器阵列110所包括的滤光器数量例如在数十至数千万的范围中根据用途决定。
58.图2b是表示对象波段所包含的多个波带w1、w2、
···
、wn各自的光的透射率的空
间分布的一例的图。在图2b所示的例中，各区域的浓淡的差异表现了透射率的差异。越淡的区域则透射率越高，越浓的区域则透射率越低。如图2b所示，光透射率的空间分布根据波带而不同。
59.图2c及图2d分别是表示图2a所示的滤光器阵列110所包含的区域a1及区域a2的分光透射率的例子的图。区域a1的分光透射率与区域a2的分光透射率相互不同。像这样，滤光器阵列110的分光透射率根据区域而不同。但是，并不一定需要全部区域的分光透射率都不同。在滤光器阵列110中，多个区域中的至少一部分区域的分光透射率相互不同。滤光器阵列110包括分光透射率相互不同的2个以上的滤光器。在某例中，滤光器阵列110所包含的多个区域的分光透射率的模式的数量，可以与对象波段所包含的波带的数量n相同，或者为其以上。滤光器阵列110也可以被设计为半数以上的区域的分光透射率不同。
60.图3a及图3b是用于说明对象波段w与其包含的多个波带w1、w2、
···
、wn之间的关系的图。对象波段w可以根据用途而设定为各种范围。对象波段w例如可以是大致400nm至大致700nm的可见光的波段、大致700nm至大致2500nm的近红外线的波段、或者大致10nm至大致400nm的近紫外线的波段。或者，对象波段w也可以是中红外、远红外、太赫兹波、或者毫米波等电波段。像这样，使用的波段不限于可见光域。在本说明书中，为了方便，不限于可见光而将近紫外线、近红外线及电波等非可见光也称为“光”。
61.在图3a所示的例中，将n设为4以上的任意的整数，将对象波段w被n等分而成的各个波段设为波带w1、w2、
···
、wn。但是不限定于这样的例子。对象波段w所包含的多个波带也可以任意地设定。例如，也可以使带宽根据波带而不均。也可以在相邻的波带之间具有间隙或者重叠。在图3b所示的例中，带宽根据波带而不同，而且在相邻的2个波带之间具有间隙。像这样，多个波带只要相互不同即可，其决定方法是任意的。
62.图4a是用于说明滤光器阵列110的某区域中的分光透射率的特性的图。在图4a所示的例中，分光透射率关于对象波段w内的波长，具有多个极大值p1至p5、以及多个极小值。在图4a所示的例中，对象波段w内的光透射率以最大值为1且最小值为0的方式被归一化。在图4a所示的例中，在波带w2及波带w
n-1
等波段中，分光透射率具有极大值。像这样，各区域的分光透射率在多个波带w1至wn之中的至少2个的多个波段中具有极大值。在图4a的例中，极大值p1、p3、p4及p5为0.5以上。
63.如上，各区域的光透射率根据波长而不同。因此，滤光器阵列110使入射的光之中的某波段的成分较多地透射，而使其他波段的成分不那么多地透射。例如可以是，n个波带之中的k个波带的光的透射率比0.5大，剩余的n-k个波段的光的透射率小于0.5。k是满足2≤k＜n的整数。假如在入射光是均等地包含全部可见光的波长成分的白色光的情况下，滤光器阵列110按每个区域将入射光调制为关于波长具有离散的多个强度的峰的光，并将这些多波长的光重叠并输出。
64.图4b是作为一例表示按每个波带w1、w2、
···
、wn对图4a所示的分光透射率进行平均化而得到的结果的图。通过按每个波带对分光透射率t(λ)进行积分并除以该波带的带宽，能够得到平均化的透射率。在本说明书中，将像这样按每个波带进行了平均化的透射率的值设为该波带中的透射率。在该例中，在取极大值p1、p3及p5的3个波段中，透射率突出地变高。特别是，在取极大值p3及p5的2个波段中，透射率超过0.8。
65.在图2a至图2d所示的例中，设想为各区域的透射率可以取0以上且1以下的任意值
的灰阶的透射率分布。但是，不一定需要设为灰阶的透射率分布。例如，也可以采用各区域的透射率可以取大致0或者大致1中的某一个值的二进制标度的透射率分布。在二进制标度的透射率分布中，各区域使对象波段所包含的多个波段之中的至少2个波段的光的大部分透射，而使剩余的波段的光的大部分不透射。在此“大部分”是指大致80％以上。
66.也可以将全部单元之中的一部分、例如一半的单元置换为透明区域。这样的透明区域使对象波段w所包含的全部波带w1至wn的光以相同程度的高透射率、例如80％以上的透射率透射。在这样的构成中，多个透明区域例如能够配置为棋盘(checkerboard)状。即，在滤光器阵列110中的多个区域的2个排列方向上，光透射率根据波长而不同的区域与透明区域可以交替地排列。
67.表示这样的滤光器阵列110的分光透射率的空间分布的数据基于设计数据或者实测校准而事先取得，并存放于信号处理装置200所具备的存储介质。该数据在后述的运算处理中被利用。
68.滤光器阵列110例如可以通过使用多层膜、有机材料、衍射栅格构造或者包含金属的微细构造来构成。在使用多层膜的情况下，例如可以使用介电体多层膜或者包含金属层的多层膜。在该情况下，形成为各多层膜的厚度、材料及层叠顺序中的至少1个按每个滤光器而不同。由此，能够实现根据滤光器而不同的分光特性。通过使用多层膜，能够实现分光透射率的尖锐的升高及降低。通过使所含有的颜料或者染料根据滤光器而不同，或者使不同种类的材料层叠，可以实现使用有机材料的构成。通过按每个滤光器设置不同的衍射间距或者深度的衍射构造，可以实现使用衍射栅格构造的构成。在使用包含金属的微细构造的情况下，可以利用基于等离激元效应的分光来制作。
69.接下来，说明信号处理装置200的信号处理的例子。信号处理装置200基于从图像传感器160输出的压缩图像120、以及滤光器阵列110的按每个波长的透射率的空间分布特性，重构多波长的高光谱图像220。在此，多波长意味着例如比由通常的彩色相机取得的rgb这3色的波段更多的波段。该波段的数量例如可以是4至100左右的数量。将该波段的数量称为带数。根据用途，带数也可以超过100。
70.想要求出的数据是高光谱图像220的数据，将该数据设为f。如果将带数设为n，则f是将各带的图像数据f1、f2、
···
、fn综合而得到的数据。在此，如图1a所示，将图像的横向设为x方向，将图像的纵向设为y方向。如果将想求出的图像数据的x方向的像素数设为n，将y方向的像素数设为m，则图像数据f1、f2、
···
、fn分别是n
×
m像素的二维数据。因此，数据f是元素数n
×m×
n的三维数据。将该三维数据称为“高光谱图像数据”或者“高光谱数据立方体”。另一方面，由滤光器阵列110进行编码及复用而取得的压缩图像120的数据g的元素数是n
×
m。数据g能够通过下式(1)表现。
71.[数1]
[0072][0073]
在此，f1、f2、
···
、fn各自是具有n
×
m个元素的数据。因此，右边的矢量严密地说
是n
×m×
n行1列的一维矢量。矢量g被变换为n
×
m行1列的一维矢量来表现并计算。矩阵h表现按每个波带以不同的编码信息(以下也称为“屏蔽信息”)对矢量f的各成分f1、f2、
···
、fn进行编码及强度调制、并将其相加的变换。因此，h是n
×
m行n
×m×
n列的矩阵。
[0074]
如果给出了矢量g和矩阵h，则通过对式(1)的反演问题求解，应该能够计算f。但是，要求出的数据f的元素数n
×m×
n比取得数据g的元素数n
×
m更多，因此该问题是不适定问题，无法直接求解。于是，信号处理装置200利用数据f所包含的图像的冗余性，利用压缩感知的方法求解。具体而言，通过对下式(2)进行求解，估计要求出的数据f。
[0075]
[数2]
[0076][0077]
在此，f’表现估计出的f的数据。上式的括号内的第1项表现估计结果hf与取得数据g的偏差量、即所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等设为残差项。括号内的第2项是正则化项或者稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。信号处理装置200通过回归的迭代运算使解收敛，能够计算最终的解f’。
[0078]
式(2)的括号内的第1项意味着求出取得数据g与通过矩阵h对估计过程中的f进行变换而得到的hf之差的平方和的运算。第2项的φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。该函数具有使估计数据平滑或者稳定的效果。正则化项例如可以通过f的离散余弦变换(dct)、小波变换、傅立叶变换或者总变分(tv)等表现。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声影响的稳定的推测数据。各个正则化项的空间中的对象物70的稀疏性根据对象物70的纹理而不同。也可以选择使得对象物70的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为使得f以某种程度收敛而且不过度压缩的适度的值。
[0079]
此外，在图1b及图1c的构成中，由滤光器阵列110编码的像在图像传感器160的摄像面上以模糊的状态被取得。因此，通过预先持有该模糊信息，并使该模糊信息反映至上述的矩阵h中，能够重构高光谱图像220。在此，模糊信息由点扩散函数(point spread function：psf)表现。psf是规定点像向周边像素的扩散程度的函数。例如，在图像上相当于1个像素的点像由于模糊而扩散至该像素周围的k
×
k像素的区域的情况下，psf可以作为表示对该区域内的各像素的亮度造成的影响的系数群即矩阵来规定。通过使基于psf的编码模式的模糊的影响反映至矩阵h，能够重构高光谱图像220。滤光器阵列110被配置的位置是任意的，可以选择使得滤光器阵列110的编码模式不会过度扩散而消失的位置。
[0080]
通过以上的处理，能够根据由图像传感器160取得的压缩图像120构成高光谱图像220。在上述的例中，信号处理装置200针对压缩图像120整体适用压缩感知算法来生成高光谱图像220。在该情况下，如果压缩图像120的分辨率高，则用于生成高光谱图像220的计算量及时间增大。
[0081]
于是，在本公开的实施方式中，使用了从取得的压缩图像120仅提取所需的区域进行复原的方法。以下，说明本公开的实施方式的概要。
[0082]
本公开的例示性的实施方式所涉及的信号处理方法由计算机执行。所述信号处理方法包括：取得表示包括高光谱信息且通过将所述高光谱信息压缩而得到的二维图像的第1压缩图像数据，该高光谱信息是关于对象波段所包含的至少4个波带中的各个波带的亮度信息；从所述第1压缩图像数据提取部分图像数据；以及根据所述部分图像数据，生成与第1波带对应的第1二维图像数据、以及与第2波带对应的第2二维图像数据。
[0083]
在此，“高光谱信息”意味着关于预定的对象波段所包含的4个以上的波带中的各个波带的亮度信息。压缩图像数据例如如上所述，可以通过使用包括具有相互不同的透射谱的多个种类的滤光器的滤光器阵列进行摄像而取得。在压缩图像数据的各像素的数据中，例如可以重叠4个以上的多个波带的信息。在各像素的数据中，也可以根据用途重叠有10个以上或者100个以上的波带的信息。另外，压缩图像数据各自也可以包括在空间上被编码的多个波带的信息。部分图像数据例如可以基于图像识别或者来自用户的指示被提取。根据上述的方法，根据从压缩图像数据提取的部分图像数据，生成关于多个波带的多个二维图像数据。因此，与根据压缩图像整体生成关于多个波带的多个二维图像数据的情况相比，能够减小计算量及计算时间。此外，二维图像数据也可以无需关于对象波段所包含的全部波带生成，而仅关于一部分波带生成。二维图像数据例如可以通过将如上所述的压缩感知算法适用于部分图像数据而生成。
[0084]
所述第1压缩图像数据包括多个像素的数据，
[0085]
所述多个像素各自的数据包括相互重叠的第1信息及第2信息，
[0086]
所述第1信息及所述第2信息各自也可以与所述至少4个波带中的1个波带对应。
[0087]
所述第1压缩图像数据包括在空间上被编码的第1信息以及在空间上被编码的第2信息，
[0088]
所述第1信息及所述第2信息各自也可以与所述至少4个波带中的1个波带对应。
[0089]
所述方法也可以还包括：判断所述部分图像数据是否适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据。在该情况下，与所述判断的结果相应地执行不同的处理。
[0090]
即，所述方法也可以还包括：
[0091]
在所述部分图像数据被判断为适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的情况下，执行第1处理，
[0092]
在所述部分图像数据被判断为不适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的情况下，执行与所述第1处理不同的第2处理。
[0093]
可以基于所述部分图像数据的像素数，判断所述部分图像数据是否适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据。例如，也可以仅在部分图像数据的像素数超过规定的阈值的情况下生成所述多个二维图像数据。
[0094]
所述第2处理也可以使所述部分图像数据的所述像素数增加。
[0095]
即，所述方法也可以还包括：在所述部分图像数据被判断为不适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的情况下，使从所述压缩图像数据提取的所述部分图像数据的所述像素数增加。在该情况下，所述多个二维图像数据可以根据所述像素数增加后的所述部分图像数据生成。
[0096]
所述第1压缩图像数据例如可以由摄像装置生成，该摄像装置具备：滤光器阵列，
包括分光透射率相互不同的多个种类的滤光器；以及图像传感器，取得由经过了所述滤光器阵列的光形成的像。
[0097]
所述第2处理使所述摄像装置通过将与所述部分图像数据对应的区域扩大并进行摄像从而生成第2压缩图像数据，
[0098]
所述第1二维图像数据及所述第2二维图像数据也可以基于所述第2压缩图像数据生成。
[0099]
即，所述方法也可以还包括：在所述部分图像数据被判断为不适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的情况下，使所述摄像装置将与所述部分图像数据对应的区域扩大并进行摄像，从而生成新的压缩图像数据。所述第1二维图像数据及所述第2二维图像数据可以基于所述新的压缩图像数据生成。
[0100]
所述方法也可以还包括：取得反映出所述滤光器阵列的所述分光透射率的空间分布的屏蔽数据。所述第1二维图像数据及所述第2二维图像数据可以基于所述屏蔽数据之中的与所述部分图像数据对应的部分的数据、以及所述部分图像数据生成。
[0101]
所述第2处理也可以是使显示装置显示错误。
[0102]
即，所述方法也可以还包括：在所述部分图像数据被判断为不适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的情况下，使显示装置显示错误。
[0103]
所述方法也可以还包括：使显示装置显示供用户指定所述二维图像之中的被作为所述部分图像数据提取的区域的图形用户界面(gui)。
[0104]
所述方法也可以还包括：对所述二维图像的边缘进行检测。所述部分图像数据可以基于被检测出的所述边缘被提取。
[0105]
所述方法也可以还包括：从所述第1压缩图像数据提取特定的波长成分的亮度信息。所述部分图像数据可以基于所述亮度信息被提取。
[0106]
所述方法也可以还包括：使显示装置显示供用户输入用于判断所述部分图像数据是否适于根据所述部分图像数据生成所述第1二维图像数据及所述第2二维图像数据的阈值数据的图形用户界面。
[0107]
在所述方法中，所述阈值数据也可以包括与像素数或者亮度误差关联的参数。
[0108]
本公开的其他实施方式所涉及的信号处理装置具备：处理器、以及存放了由所述处理器执行的计算机程序的存储器。所述计算机程序使所述处理器执行：取得表示包括高光谱信息且通过将所述高光谱信息压缩而得到的二维图像的压缩图像数据，该高光谱信息是关于对象波段所包含的至少4个波带中的各个波带的亮度信息；从所述压缩图像数据提取部分图像数据；以及根据所述部分图像数据，生成与第1波带对应的第1二维图像数据、以及与第2波带对应的第2二维图像数据。
[0109]
本公开的其他实施方式所涉及的摄像系统具备所述信号处理装置、以及生成所述压缩图像数据的摄像装置。
[0110]
本公开的其他实施方式所涉及的计算机程序使计算机执行：取得表示包括高光谱信息且通过将所述高光谱信息压缩而得到的二维图像的压缩图像数据，该高光谱信息是关于对象波段所包含的至少4个波带中的各个波带的亮度信息；从所述压缩图像数据提取部分图像数据；以及根据所述部分图像数据，生成与第1波带对应的第1二维图像数据、以及与
第2波带对应的第2二维图像数据。
[0111]
本公开的其他实施方式所涉及的能够由计算机读取的非易失性记录介质存放计算机程序，该计算机程序在由计算机执行时使所述计算机执行：取得表示包括高光谱信息且通过将所述高光谱信息压缩而得到的二维图像的压缩图像数据，该高光谱信息是关于对象波段所包含的至少4个波带中的各个波带的亮度信息；从所述压缩图像数据提取部分图像数据；以及根据所述部分图像数据，生成与第1波带对应的第1二维图像数据、以及与第2波带对应的第2二维图像数据。
[0112]
以下，说明本公开的更具体的实施方式。其中，有时省略过于详细的说明。例如，有时省略已经公知的事项的详细说明及针对实质上相同的构成的重复说明。这是为了避免以下的说明过于冗长，而使得本领域技术人员易于理解。此外，发明人们为了使本领域技术人员充分理解本公开而提供了附图及以下的说明，其意图不在于通过这些对权利要求书所记载的主题进行限定。在以下的说明中，针对相同或者相似的构成要素附加相同的参照标记。在以下的说明中，使用在图中表示的xyz坐标。在本说明书中，有时将表示图像的数据简称为“图像”。
[0113]
(实施方式)
[0114]
首先，参照图5说明作为本公开的实施方式所涉及的摄像系统的例子的高光谱相机的利用场景。图5是表示由高光谱相机取得的压缩图像120的例子的图。在该例中，多个蔬菜作为被摄体被摄影。信号处理装置200从图像传感器160取得压缩图像120，并针对压缩图像120进行上述的运算处理从而生成高光谱图像220。
[0115]
在此，考虑在包含多个对象物的压缩图像120之中，仅针对处于区域121内的特定的对象需要高光谱图像的情况。这样的状况例如可能在筛选蔬果、检查工业产品或者检查建筑物的外观等广泛的场景中发生。在这样的情况下，本实施方式的高光谱相机从压缩图像120提取一部分区域121，仅针对该区域121进行基于压缩感知的运算处理，从而生成高光谱图像。通过这样的处理，与针对压缩图像120的整个区域进行运算处理来生成高光谱图像的情况相比，能够减小所需的计算量。由此，能够提高运算速度以及削减所需的运算处理装置(例如存储器及cpu等)的成本。
[0116]
另一方面，根据本发明人们的探讨，可知随着减小运算对象的区域，生成的高光谱图像的颜色容易产生误差。关于该课题，参照图6进行说明。
[0117]
图6是表示通过上述的基于压缩感知的运算而生成的高光谱图像的误差与像素数的关系的例子的图。图6所示的图表关于图6的部分(a)至(d)所示的4个图像，分别表示生成的高光谱图像与实际的图像之间的平均亮度误差对于像素数的依赖性。在此，平均亮度误差是：关于全部像素及全部波带对生成的高光谱图像的像素的亮度值与实际的图像的对应的像素的亮度值之差的绝对值进行平均化而得到的值，再除以最大亮度值而得到的值的百分率。根据图6可知，随着压缩图像的像素数减少，确认到生成的高光谱图像中产生的亮度误差变大。在图6的例中，随着像素数减少，亮度误差可能大到例如超过5％。在此，亮度误差为5％，意味着在图像的各像素的亮度值例如由10比特(即1024色阶)表现的情况下，关于某波带的某像素的亮度值被计算为相对于本来的值偏差50左右。像这样，如果压缩图像的像素数少，则生成的高光谱图像容易产生伪色。例如可能发生如下等现象：在本来关于某波带应该信号极小的像素中产生了无法忽略的大小的信号，反而，在本来信号应该较大的像素
中未检测出信号。这样的现象例如在检查异物或者检查外观等用途中有可能引起错误的结论。
[0118]
于是，本实施方式中的摄像系统在从压缩图像提取特定的区域并生成高光谱图像的处理中，判断被提取的区域是否具有足够取得亮度误差小的高光谱图像的大小，在被提取的区域不具有足够的大小的情况下，执行将被提取的区域扩大或者输出错误的动作。通过导入这样的动作，能够抑制从通过摄像而生成的压缩图像提取的部分区域的分辨率或者像素数不足所引起的伪色的发生，避免生成与实际的图像大为不同的高光谱图像。
[0119]
以下，更具体地说明本实施方式的摄像系统的构成及动作。
[0120]
图7是表示本实施方式的摄像系统的构成的图。本系统具备摄像装置100、信号处理装置200、显示装置300和输入用户界面(ui)400。
[0121]
摄像装置100具备图像传感器160、以及对图像传感器160进行控制的控制电路150。在图7中虽未图示，摄像装置100如图1a至图1d所示，还具备滤光器阵列110及至少1个光学系统140。滤光器阵列110及光学系统140的配置可以是图1a至图1d中的任一种配置。滤光器阵列110包括分光透射率相互不同的多个种类的滤光器。图像传感器160取得基于由滤光器阵列110按每个区域对强度进行调制后的光的黑白图像。在该黑白图像的各像素的数据中，重叠有对象波段w内的多个波带的信息。由此，该黑白图像可以说是将对象波段w内的高光谱信息压缩为二维图像而得到的图像。这样的黑白图像是“压缩图像”的一例。在本说明书中，将表示压缩图像的数据称为“压缩图像数据”。
[0122]
此外，在上述的压缩图像的例子中，由于在各像素的数据中重叠有多个波带的信息，另外各波带的亮度在空间上被编码，因此可以说高光谱信息在波长方向及空间方向上被压缩。压缩图像不限定于这样的例子，例如也可以是如专利文献1公开的将各波带的信息仅在空间方向上编码而得到的二维图像。
[0123]
信号处理装置200具备信号处理电路250、以及ram及rom等存储器210。信号处理电路250基于从图像传感器160输出的压缩图像数据进行复原处理。该复原处理与图1a至图1d所示的信号处理装置200所进行的处理基本相同，但在本实施方式中，依照从输入ui400输入的复原条件进行复原处理。信号处理电路250仅关于压缩图像之中的被指定的部分区域进行基于压缩感知算法的运算，从而生成关于该部分区域的高光谱图像。由此，能够缩短计算量及计算时间。
[0124]
高光谱图像的数据包括空间二维和波长一维的共计三维的信息。在本说明书中，将表示高光谱图像的数据也称为“三维高光谱数据”。
[0125]
显示装置300具备图像处理电路320和显示器330。图像处理电路320对由信号处理电路250复原后的图像实施所需的处理之后使其显示在显示器330上。显示器330例如可以是液晶或者有机led等任意的显示器。
[0126]
输入ui400包括用于设定摄像条件及复原条件等各种条件的硬件及软件。摄像条件例如可以包括分辨率、增益及曝光时间等条件。复原条件例如可以包括：表示是否从压缩图像提取特定的区域的信息、用于指定被提取的部分区域的信息、以及计算次数等条件。被输入的摄像条件向摄像装置100的控制电路150发送。控制电路150依照摄像条件，使图像传感器160执行摄像。由此，图像传感器160生成将对象波段w内的多个波带的信息重叠而成的压缩图像。被输入的复原条件向信号处理电路250发送并记录。信号处理电路250依照被设
定的复原条件进行复原处理，生成关于被指定的部分区域的三维高光谱数据。图像处理电路320使显示器330显示三维高光谱数据所表示的多个波带的图像。
[0127]
信号处理电路250在复原时，依照由输入ui400输入的复原条件，根据需要对存储器210中预先记录的屏蔽数据进行编辑并使用。屏蔽数据是反映了滤光器阵列110的分光透射率的空间分布的数据，相当于上述的式(2)中的矩阵h。信号处理电路250使用从屏蔽数据中提取与指定的部分区域对应的部分而得到的部分屏蔽数据，生成关于该部分区域的高光谱图像。被生成的高光谱图像由图像处理电路320根据需要进行处理。图像处理电路320例如在进行了决定画面内的配置、与带信息建立关联、或者与波长对应的着色等处理之后，使显示器330显示高光谱图像。
[0128]
图8是表示本实施方式的系统的动作的流程图。在本实施方式中，首先，用户经由输入ui400输入摄像条件及复原条件(步骤s101)。表示被输入的摄像条件的数据向控制电路150发送。表示被输入的复原条件的数据向信号处理电路250发送。接下来，摄像装置100依照摄像条件对对象物进行摄像，从而取得压缩图像(步骤s102)。
[0129]
如果取得了压缩图像，则信号处理电路250判断是否需要从压缩图像提取特定的区域(步骤s103)。是否需要从压缩图像提取特定的区域，例如可以基于用户所输入的复原条件来判断。信号处理电路250也可以基于压缩图像的内容自动地判别是否需要提取区域。例如，在压缩图像内检测出特定的形状的情况下，也可以提取除了该区域以外的区域。例如在对陈列货架中的蔬果进行筛选的用途中，这样的处理相当于从压缩图像去除直线多的货架的部分的处理。信号处理电路250也可以通过大致的颜色判别对区域进行限制。例如，在建筑物的外观检查中，能够进行将天空的蓝色部分去除等处理。
[0130]
在判断为无需提取特定的区域的情况下，信号处理电路250基于压缩图像和屏蔽数据，通过上述的方法生成高光谱图像(步骤s104)。图像处理电路320使显示器330显示被生成的高光谱图像(步骤s130)。
[0131]
在步骤s103中判断为需要从压缩图像提取特定的区域的情况下，信号处理电路250决定要提取的区域的候选(步骤s111)。信号处理电路250例如将用户所指定的区域决定为候选。或者，信号处理电路250也可以从压缩图像或者与其相当的图像中，通过检测边缘或者检测特定的波长成分的亮度信息等方法，决定要提取的区域的候选。与压缩图像相当的图像，例如可以是根据压缩图像将r(红)、g(绿)、b(蓝)的三原色复原而生成的彩色图像、或者对压缩图像乘以整个波带的屏蔽数据所表示的透射率分布的倒数而去噪后的黑白图像等。
[0132]
信号处理电路250判断要提取的区域的候选是否具有足够进行复原运算的分辨率，即空间的信息量是否足够(步骤s112)。在此，要提取的区域的候选是否具有足够进行复原运算的分辨率，例如可以基于该区域的候选的像素数是否超过预先设定的阈值来判断。阈值也可以根据复原运算的对象而不同。摄像系统也可以构成为用户能够经由输入ui400设定阈值。在此，用户也可以输入像素数作为阈值，但不限定于此。例如也可以是，用户输入亮度误差作为阈值，摄像系统基于图6所示的关系将输入的亮度误差变换为像素数。在空间的信息量不足的情况下，信号处理电路250扩大要提取的区域的候选(步骤s113)。例如，通过将与步骤s111中决定的区域的最外周部相邻的全部像素追加至区域的候选，可以扩大要提取的区域的候选。由此，补充空间的信息量并决定新的提取区域的候选。反复进行步骤
s111至s113的处理，直到在步骤s112中判断为被决定的区域的候选的大小足够为止。
[0133]
通过以上的动作，决定具有足够进行复原运算的分辨率的提取区域，并从压缩图像提取部分图像。信号处理电路250从存储器210中存放的屏蔽数据中，切取与被提取的区域对应的数据，由此进行编辑(步骤s121)。接下来，信号处理电路250使用从压缩图像提取的部分图像、以及被切取的屏蔽数据，生成高光谱图像(步骤s122)。生成高光谱图像的运算与参照式(1)及(2)说明的运算是同样的。图像处理电路320使显示器330显示被生成的高光谱图像(步骤s130)。
[0134]
上述的提取及运算的处理既可以针对压缩图像中的单一区域进行，也可以针对多个区域进行。在针对多个区域进行上述的处理的情况下，可以针对各个区域个别地执行上述的处理。
[0135]
接下来，参照图9及图10，说明通过进行上述的信息处理的程序而显示的图形用户界面(gui)的例子。用于实现这些gui的图像由信号处理电路250及图像处理电路320生成，并被显示在显示器330上。
[0136]
图9表示了用于输入摄像条件的gui的画面的例子。在该例中，用户在进行高光谱摄像之前，设定分辨率、增益、曝光时间及帧率。分辨率表现被显示的图像的纵横的像素数。分辨率例如可以通过用户从下拉菜单中选择vga、hd、4k等名称、或者直接输入纵横的像素数来指定。增益也可以利用0以上的有理数来指定，通过有理数彼此的加减乘除来输入。例如，在输入了8/3的情况下，增益可以被设定为2.6666
……
db。曝光时间及帧率不需要双方都输入。用户也可以输入曝光时间及帧率中的至少一方，在发生了冲突的情况下(例如曝光时间为100ms而帧率为30fps等)优先某一方。除了上述4个条件的输入，也可以设置自动地调整增益、曝光时间及帧率的功能。例如，也可以自动地进行调整以使平均亮度成为最大亮度的1/2。如图9所示的例子那样，用于输入摄像条件的gui也可以具备对被设定的摄像条件进行保存及加载的功能。另外，gui也可以具备实时地显示以被设定的摄像条件取得的压缩图像120的功能。在此，不一定必须显示压缩图像自身。也可以显示在该时刻以被设定的摄像条件取得的任意的图像。例如，也可以配置仅输出红(r)、绿(g)、蓝(b)的值的像素，并显示仅使用这些像素的值取得的rgb图像。另外，例如也可以通过后述的单位带的合成处理，进行将400nm至500nm作为第1带、将500nm至600nm作为第2带、将600nm至700nm作为第3带的基于3个带的复原，并将复原结果显示为rgb图像。
[0137]
图10是表示用户能够手动设定要提取的区域的gui的例子的图。在该gui中，能够从显示的压缩图像120或者与其相当的图像中，例如利用拖放或者坐标输入等方法，指定应该提取的区域121。运算对象的区域例如可以利用重叠显示由点线包围的具有1％以上的透射率的图形等方法显示在gui上。由用户指定的区域也可以被自动修正。例如，也可以自动地将手写的圆修正为正圆或者椭圆。图10表示了指定单一区域作为运算对象的情况下的例子，但也可以设为能够将多个区域指定为运算对象。像这样，信号处理电路250使显示装置300显示供用户指定作为部分图像被提取的图像区域的gui。
[0138]
在利用如图10所示的方法决定了应该提取的区域的候选之后，信号处理电路250基于被决定的区域的像素数，判断是否包括了足够进行运算处理的量的空间的信息。运算处理所需的像素数的最小值根据观察对象或者允许的亮度误差而变化。信号处理电路250在判断为被决定的区域中未包括运算处理所需的像素数的情况下，将该区域的候选的周边
部扩大，并得到运算处理所需的像素数。例如，通过反复进行将与该区域的候选的周边部相邻的全部像素加入该区域的候选的处理，能够将区域扩大。
[0139]
图11a及图11b是用于说明图8的步骤s121中的屏蔽数据的编辑处理的图。如图11a所示，考虑提取压缩图像120内包括的区域121并生成高光谱图像的情况。在此，压缩图像120设为通过具有如图11b所示的透射率信息170的滤光器阵列进行摄影而取得。使用透射率信息170之中的与区域121对应的区域的透射率信息171，进行关于区域121的高光谱图像的生成运算。像这样，步骤s121中的屏蔽数据的编辑，可以包括仅切取屏蔽数据所包括的d透射率信息的一部分并生成用于运算的屏蔽数据。
[0140]
像这样，根据本实施方式，信号处理电路250从作为包括高光谱信息的二维的黑白图像的压缩图像提取部分图像，并使用压缩感知算法，根据部分图像生成高光谱图像。信号处理电路250基于部分图像的像素数，判断能否根据部分图像生成高光谱图像。在判断为能够根据部分图像生成高光谱图像的情况下，信号处理电路250基于该部分图像生成高光谱图像。另一方面，在判断为不能根据部分图像生成高光谱图像的情况下，信号处理电路250使从压缩图像提取的部分图像的像素数增加，并基于像素数增加后的部分图像生成高光谱图像。
[0141]
通过以上的处理，能够减小生成高光谱图像所需的计算量，进而能够抑制高光谱图像中的伪色的发生。
[0142]
接下来说明本实施方式的变形例。
[0143]
图12是表示替代图8中的步骤s113而执行步骤s114及s115的动作的例子的流程图。在该例中，在步骤s112中，在判断为被提取的区域的候选的大小不足够的情况下，信号处理电路250使显示装置300显示错误(步骤s114)。信号处理电路250指示摄像装置100以使其将被提取的区域的周边扩大并进行摄影(步骤s115)。摄像装置100接受该指示，生成与上次相比将对象物的区域扩大的新的压缩图像。在接下来的步骤s111中，根据该新的压缩图像，决定应该提取的区域的候选。
[0144]
图13a是表示步骤s114中显示的错误画面的例子的图。在该例中，显示表示被提取的区域过小以及将对象区域周边扩大并再次进行摄影的错误消息。在此，“将对象区域周边扩大并再次进行摄影”例如是指，相对于如图13b所示的原压缩图像120a，生成将提取区域121的周边扩大的如图13c所示的新的压缩图像120b。摄像装置100例如使用缩放功能，生成将对象区域的周边扩大的压缩图像。
[0145]
此外，在图12的例中，自动地生成被扩大的压缩图像，但也可以由用户通过手动进行操作从而生成压缩图像。在该情况下，用户在观察到错误消息后，对摄像装置100进行操作，进行摄影以使图像中的对象物被更加扩大。由此，生成将对象区域的周边扩大的压缩图像，并基于该压缩图像生成高光谱图像。
[0146]
图14是表示在步骤s112中判断为被提取的区域不具有足够进行运算的大小时，在步骤s114中显示了错误之后，结束处理并促使重新设定提取区域的变形例的流程图。
[0147]
图15是表示被显示的错误画面的例子的图。在该例中，显示表示由于提取区域过小而无法构成高光谱数据并将处理中断的错误消息。也可以替代这样的消息，而显示促使用户将对象区域的周边扩大并再次进行摄影的消息。
[0148]
图16是用于说明在图8、12、14中的步骤s111中根据压缩图像或者与其相当的图
像，通过边缘检测决定应该提取的区域的例子的图。在该例中，在步骤s111中，信号处理电路250对压缩图像内的边缘进行检测，并基于检测出的边缘决定应该提取的区域的候选。在图16的例中，对由直线包围的构造进行检测，由此判别建筑物201及202。也可以使用户判断是否针对通过边缘检测而提取的区域进行复原运算。例如，也可以在如图10所示的gui上，利用点线或者具有1％以上的透射率的图形来显示被检测出的区域，并使得用户能够以手动决定将该区域设为提取对象。像这样，在图16的例中，信号处理电路250对压缩图像数据所表示的二维图像内的边缘进行检测，并基于检测出的边缘提取部分图像数据。
[0149]
图17a及图17b是用于说明在图8、12、14中的步骤s111中基于大致的颜色判别的结果提取区域的例子的图。在该例中，在步骤s111中，信号处理电路250从压缩图像或者与其相当的图像中提取特定的波长成分的亮度信息，并基于该特定的波长成分的亮度信息提取部分图像。例如在生成如图17a所示的果园中生长的葡萄的高光谱图像的情况下，考虑蓝色或者紫色的果实被绿色的叶子及茶色的枝干包围而生长的状况。在该情况下，通过提取较多地具有紫至蓝的波段的亮度信息的位置，如图17b所示，能够筛选出具有葡萄的果实的信息的区域并生成高光谱图像。在这样的情况下，无需在对象波段的整体中生成各波带的图像，也可以仅生成一部分波带(例如与紫至蓝对应的带)的图像。像这样，在图17a及图17b所示的例中，信号处理电路250从压缩图像数据提取特定的波长成分的亮度信息，并基于该特定的波长成分的亮度信息提取部分图像数据。
[0150]
此外，摄像装置的构成、高光谱信息的压缩方法及三维高光谱数据的重构算法不限于上述的实施方式。例如，滤光器阵列110、光学系统140及图像传感器160的配置不限定于图1a至图1d所示的配置，也可以适宜地变形。另外，滤光器阵列110的特性不限于参照图2a至图4b所例示的特性，能够根据用途或者目的使用最佳的特性的滤光器阵列110。
[0151]
工业实用性
[0152]
本公开的技术例如在取得多波长的图像的相机及测定设备中是有用的。本公开的技术例如也能够应用于面向生物体/医疗/美容的传感、食品的异物/残留农药检查系统、遥感系统及车载传感系统。
[0153]
附图标记说明：
[0154]
70
ꢀꢀ
对象物
[0155]
100 摄像装置
[0156]
110 滤光器阵列
[0157]
120 压缩图像
[0158]
140 光学系统
[0159]
150 控制电路
[0160]
160 图像传感器
[0161]
200 信号处理装置
[0162]
210 存储器
[0163]
220 高光谱图像
[0164]
250 信号处理电路
[0165]
300 显示装置
[0166]
320 图像处理电路
[0167]
330 显示器
[0168]
400 输入ui