图像处理方法、图像处理装置以及信息系统与流程

[0001]
本发明涉及图像处理方法、图像处理装置以及信息系统。


背景技术：

[0002]
在智能手机等信息终端所具备的应用等中，进行将通过信息终端所具备的rgb相机拍摄到的rgb图像显示在信息终端所具备的显示器中或者使用打印机印刷为印刷物即照片。
[0003]
近年来，提出了一种图像处理方法，通过叠加在不同的波长区域中拍摄到的两个rgb图像，将该rgb图像显示为高清晰度的图像(例如，参照专利文献1)。
[0004]
专利文献1：日本特开2013-258455号公报


技术实现要素：

[0005]
然而，如上所述，在通过叠加两个rgb图像而获得待显示的图像的图像处理方法中，由于用于叠加的图像均是rgb图像，所以会产生如下技术问题：在原本被认为通过rgb图像不容易获取到的波长区域中，难以以高清晰度显示图像。
[0006]
本发明是为了解决上述技术问题而提出的，能够作为以下的应用例来实现。
[0007]
本发明的应用例的图像处理方法，其特征在于，包括：拍摄工序，拍摄应拍摄的对象的rgb图像且在规定的波长区域中拍摄所述对象的分光图像，从而获取所述波长区域中的所述对象所具有的固有的分光信息；以及显示工序，显示补全图像，所述补全图像是通过对所述rgb图像叠加所述分光信息而补全后的图像。
附图说明
[0008]
图1是示出作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的整体面貌的表侧的俯视图。
[0009]
图2是示出作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的整体面貌的背侧的俯视图。
[0010]
图3是图2所示的智能手机的a-a线剖视图。
[0011]
图4是图2所示的智能手机的b-b线剖视图。
[0012]
图5是示出图1、图2所示的智能手机的概略结构的框图。
[0013]
图6是示出将图1、图2所示的智能手机的分光测量部所具备的分光部具有的波长可变干涉滤波器应用于法布里-珀罗标准具滤波器的一例的纵剖视图。
[0014]
图7是示出通过图1、图2所示的智能手机获取拍摄对象的图像的图像处理方法的流程图。
[0015]
图8是用于说明通过图1、图2所示的智能手机所具备的分光测量部对拍摄对象进行拍摄而获得的、拍摄对象所具有的固有的分光信息的概略图。
[0016]
图9是示出应用了本发明的信息系统的第二实施方式的智能手机和相机的概略结
构的框图。
[0017]
图10是示出应用了本发明的信息系统的第三实施方式的智能手机和外部显示部的概略结构的框图。
[0018]
图11是示出应用了本发明的信息系统的第四实施方式的智能手机、相机和外部显示部的概略结构的框图。
[0019]
图12是示出应用了本发明的信息系统的第五实施方式的智能手机和服务器的概略结构的框图。
[0020]
图13是示出应用了本发明的信息系统的第六实施方式的智能手机和服务器的概略结构的框图。
[0021]
附图标记说明
[0022]1…
智能手机；10
…
分光测量部；11
…
rgb图像获取部；12
…
相机；15
…
显示部；16
…
输入部；17
…
存储部；18
…
外部显示部；19
…
收发部；21
…
拍摄元件；22
…
拍摄元件；31
…
光源；41
…
分光部；45
…
静电致动器；51
…
电路基板；52
…
电路基板；60
…
控制部；70
…
显示器；81
…
分光部侧光学系统；83
…
拍摄元件侧光学系统；85
…
拍摄元件侧光学系统；851
…
入射出射透镜；100
…
服务器；117
…
存储部；119
…
收发部；160
…
控制部；161
…
数据获取部；162
…
收发控制部；163
…
合成处理部；410
…
固定基板；411
…
固定反射膜；412
…
固定电极；413
…
槽；414
…
接合膜；415
…
反射膜设置部；420
…
可动基板；421
…
可动反射膜；422
…
可动电极；423
…
槽；425
…
反射膜设置部；601
…
光源控制部；602
…
分光控制部；603
…
图像获取部；604
…
合成处理部；605
…
显示控制部；606
…
收发控制部；811
…
入射透镜；812
…
投射透镜；831
…
入射出射透镜；x
…
拍摄对象。
具体实施方式
[0023]
下面，基于附图所示的优选实施方式对本发明的图像处理方法、图像处理装置以及信息系统进行详细说明。
[0024]
此外，下文中，在说明本发明的图像处理方法以及图像处理装置之前，对本发明的信息系统进行说明。
[0025]
信息系统
[0026]
第一实施方式
[0027]
图1是示出作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的整体面貌的表侧的俯视图，图2是示出作为应用了本发明的信息系统的第一实施方式的信息终端的智能手机的整体面貌的背侧的俯视图，图3是图2所示的智能手机的a-a线剖视图，图4是图2所示的智能手机的b-b线剖视图，图5是示出图1、图2所示的智能手机的概略结构的框图，图6是示出将图1、图2所示的智能手机的分光测量部所具备的分光部具有的波长可变干涉滤波器应用于法布里-珀罗标准具滤波器的一例的纵剖视图，图7是示出通过图1、图2所示的智能手机获取拍摄对象的图像的图像处理方法的流程图，图8是用于说明通过图1、图2所示的智能手机所具备的分光测量部对拍摄对象进行拍摄而获得的、拍摄对象所具有的固有的分光信息的概略图。
[0028]
下面，对在本实施方式中将本发明的信息系统应用于作为信息终端的一种的智能手机1(sp)的情况、即通过单个作为信息终端的智能手机1来实现本发明的信息系统以及本
发明的图像处理装置的情况进行说明。
[0029]
智能手机1是具备拍摄应拍摄的拍摄对象x、即对象的拍摄功能的便携式的信息终端之一，智能手机1具有：对拍摄对象x的rgb图像进行拍摄的rgb相机、通过在规定的波长区域中对拍摄对象x的分光图像进行拍摄而获取上述波长区域中的拍摄对象x所具有的固有的分光信息的分光相机、存储rgb图像和分光信息的存储部17、以及能够显示rgb图像和分光信息的显示部15，在本发明中，显示部15构成为显示通过对rgb图像叠加分光信息而补全后的补全图像(補完画像)。
[0030]
在该智能手机1中，在本实施方式中，分光相机由通过对拍摄对象x的分光图像进行拍摄而获取拍摄对象x所具有的固有的分光信息的分光测量部10构成，rgb相机由对拍摄对象x的rgb图像进行拍摄的rgb图像获取部11构成。
[0031]
在该结构的智能手机1中，通过对由rgb相机即rgb图像获取部11获取到的rgb图像叠加由分光相机即分光测量部10获取到的规定的波长区域中的分光信息，获得通过分光信息补全了rgb图像的补全图像。因此，能够在显示部15中将该补全图像显示为更高清晰度的图像。
[0032]
此外，由分光相机即分光测量部10获取的规定的波长区域并不限于选自可见光区域，还可以选自红外线区域、紫外线区域等。
[0033]
下面，对具备这样的rgb相机以及分光相机、即rgb图像获取部11以及分光测量部10的智能手机1的各部分的结构进行说明。
[0034]
显示部15及输入部16
[0035]
在智能手机1中，显示器70兼具显示部15和输入部16双方的功能，显示部15例如由液晶显示器、有机el显示器等各种图像显示装置构成。如图1所示，该显示部15设置于智能手机1的表侧，显示可视化图像，该可视化图像中，拍摄到的拍摄对象x的图像是必须有的，并且还包含其他信息。此外，在本发明中，显示部15和输入部16也可以分别单独设置。
[0036]
作为由显示部15显示的可视化图像，除了拍摄到的拍摄对象x的图像即补全图像之外，例如还可列举拍摄到拍摄对象x的日期、拍摄对象x的种类等信息等。此外，在图1中，作为拍摄对象x，显示了拍摄到苹果时的补全图像。
[0037]
另外，输入部16例如设置于显示部15的表面，由具备触摸感应面和用于检测与该触摸感应面的接触的强度的传感器的触摸面板构成。对输入用户(操作者)的操作指示、即对拍摄对象x进行拍摄时的模式即条件等进行受理。
[0038]
存储部17
[0039]
存储部17由rom、ram等各种存储装置(存储器)构成，存储智能手机1的控制、特别是分光测量部10以及rgb图像获取部11的控制所需要的各种数据，还存储由分光测量部10以及rgb图像获取部11分别获取到的分光图像以及rgb图像等。
[0040]
对于该数据，除了例如用于实现控制部60所具备的各功能的应用、程序等之外，还可列举示出相对于驱动电压的透射光的波长的相关数据v-λ数据等，其中驱动电压是向分光测量部10具有的分光部41的法布里-珀罗标准具滤波器所具备的静电致动器45施加的驱动电压。
[0041]
分光测量部10
[0042]
分光测量部10作为所谓的分光相机发挥作用，在通过接受由拍摄对象x所反射的
反射光并进行分光而获得选择出的特定波长或特定波长区域(下文中，以“特定波长”为代表进行说明)的光之后，对具有该特定波长的光进行拍摄，从而获取分光图像。
[0043]
该分光测量部10在本实施方式中具备：光源31，向拍摄对象x、即拍摄对象照射光；拍摄元件21，拍摄基于在拍摄对象x反射后的反射光的分光图像；以及分光部41，从入射光选择性地射出规定的波长的光，且能够变更射出的射出光的特定波长。
[0044]
在这样的分光测量部10中，如图2所示，在使光源31、拍摄元件21在智能手机1的背面侧朝向同一方向的方式配置的状态下，分光部41配置于拍摄元件21与拍摄对象x之间。通过将光源31、分光部41和拍摄元件21按这样的位置关系配置，能够通过这些，将分光测量部10以后分光方式的分光相机构成。在这样的后分光方式的分光相机中，通过扫描某一测定范围(规定区域)的波长，能够获取特定波长、光谱形状并掌握拍摄对象x的特性。因此，属于在测定即拍摄特定波长不明确的拍摄对象x时有效的方式。
[0045]
此外，分光测量部10也可以构成使分光部41配置于光源31与拍摄对象x之间的、前分光方式的分光相机。在构成该结构的前分光方式的分光相机中，是能够通过照射特定波长的光而掌握拍摄对象x的特性的方式。因此，属于在测定特定波长变得明确的拍摄对象x时有效的方式，从比后分光方式更减少信息量来看，是具有可实现测量时间的缩短这一优点的方式。
[0046]
下面，对分光相机即分光测量部10所具备的各部分的结构进行说明。
[0047]
光源31
[0048]
光源31是朝向拍摄对象x照射照明光的光元件。
[0049]
如图2、图4所示，光源31在配置于智能手机1的壳体内的电路基板51上，以能够朝向拍摄对象x照射照明光的方式配置于智能手机1的背面侧。
[0050]
在该光源31与拍摄对象x之间未配置有分光部，由此，对拍摄对象x直接照射从光源31射出的光。
[0051]
这样的光源31可列举例如led光源、oled光源、疝气灯、卤素灯等，优选使用在通过由波长可变干涉滤波器构成的分光部41进行分光测定的波长区域的整体上具有光强度的光源、即能够在可见光区域整体上照射具有光强度的白色光的光源。另外，除白色光源以外，光源31还优选具备例如能够照射红外光等规定波长的光的光源。由此，能够增大由拍摄元件21获取的分光图像所具有的特定波长的选择幅度。
[0052]
此外，该光源31的照明光不仅在通过分光测量部10获取分光图像时被利用，而且还在通过rgb图像获取部11获取rgb图像时被利用，光源31并不限定于像本实施方式那样由分光测量部10来具备，也可以是由rgb图像获取部11来具备。
[0053]
拍摄元件21
[0054]
拍摄元件21作为检测部发挥作用，通过对基于在拍摄对象x反射后的反射光的图像进行拍摄而检测在拍摄对象x反射后的反射光。
[0055]
如图2、图3所示，拍摄元件21在配置于智能手机1的壳体内的电路基板51上，以能够接受在拍摄对象x反射后的反射光的方式，配置于智能手机1的背面侧。
[0056]
并且，在该拍摄元件21与拍摄对象x之间配置有分光部41。由此，选择性地射出从拍摄对象x入射到分光部41的入射光之中具有特定波长的射出光，且该射出光被拍摄元件21拍摄为分光图像。
[0057]
这样的拍摄元件21例如由单色拍摄元件构成，该单色拍摄元件由ccd、cmos等构成，以检测在分光部41射出的具有特定波长的射出光的强度。
[0058]
分光部41
[0059]
分光部41使作为特定波长的分光波长的光从入射光选择性地射出，且能够变更射出的射出光的波长区域。即，使特定波长的光作为射出光从入射光朝向拍摄元件21射出。
[0060]
如图3所示，分光部41在配置于智能手机1的壳体内的电路基板52上配置。
[0061]
该分光部41配置在拍摄元件21与拍摄对象x之间、即它们之间的光轴上。由此，将从拍摄对象x入射到分光部41的入射光之中具有特定波长的射出光朝向拍摄元件21选择性地射出。
[0062]
这样的分光部41以能够变更射出的射出光的波长区域的方式由波长可变干涉滤波器构成。作为该波长可变干涉滤波器，并无特别限定，可列举例如通过静电致动器调整两个滤波器(反射镜)间的间隙的大小而控制要透射的反射光的波长的、波长可变型的法布里-珀罗标准具滤波器、声光可调滤波器(aotf)、线性渐变滤波器(lvf)、液晶可调滤波器(lctf)等，其中，优选为法布里-珀罗标准具滤波器。
[0063]
法布里-珀罗标准具滤波器利用基于两个滤波器的多重干涉来提取期望波长的反射光。因此，能够使厚度尺寸极小，具体而言，能够设定在2.0mm以下。因此，能够使分光部41进而使具备分光测量部10的智能手机1更小型化。因此，使用法布里-珀罗标准具滤波器作为波长可变干涉滤波器，从而能够实现分光测量部10的进一步小型化。
[0064]
下面，参照图6对应用了波长可变型的法布里-珀罗标准具滤波器作为波长可变干涉滤波器的分光部41进行说明。
[0065]
法布里-珀罗标准具滤波器在俯视观察下是矩形板状的光学构件，具备固定基板410、可动基板420、固定反射膜411、可动反射膜421、固定电极412、可动电极422和接合膜414。并且，在层叠有固定基板410和可动基板420的状态下，隔着接合膜414被一体地接合。
[0066]
固定基板410通过在厚度方向上进行蚀刻而形成有槽413，该槽413以在固定基板410中央部形成反射膜设置部415的方式包围该中央部。在该结构的固定基板410中，在反射膜设置部415的靠可动基板420侧设置有由固定反射膜411构成的固定光学反射镜，在槽413的靠可动基板420侧设置有固定电极412。
[0067]
另外，可动基板420通过在厚度方向进行蚀刻而形成有作为槽423的保持部，该槽423以在可动基板420中央部形成作为反射膜设置部425的可动部的方式包围该中央部。在该结构的可动基板420中，在反射膜设置部425的靠固定基板410侧、即下表面侧设置有由可动反射膜421构成的可动光学反射镜，在槽423的靠固定基板410侧设置有可动电极422。
[0068]
与反射膜设置部425相比，该可动基板420的槽423的厚度尺寸形成得更小，由此，槽423作为通过向固定电极412以及可动电极422间施加了电压时的静电引力而挠曲的隔膜发挥作用。
[0069]
这些固定基板410和可动基板420只要是0.1mm以上且1.0mm以下左右的厚度便能够实现制作。因此，能够将作为法布里-珀罗标准具滤波器的整体的厚度设定在2.0mm以下，因此能够实现分光测量部10的小型化。
[0070]
在这样的固定基板410与可动基板420之间，固定反射膜411和可动反射膜421在固定基板410以及可动基板420的大致中央部隔着间隙对置配置。另外，固定电极412和可动电
极422在包围上述中央部的槽部隔着间隙对置配置。通过它们之中的固定电极412和可动电极422构成对固定反射膜411与可动反射膜421之间的间隙的大小进行调整的静电致动器45。
[0071]
通过向构成静电致动器45的固定电极412和可动电极422间施加电压而产生的静电引力，在作为槽423的保持部产生挠曲。其结果，能够使固定反射膜411与可动反射膜421之间的间隙的大小即距离发生变化。并且，通过适当设定该间隙的大小，能够选择要透射的光的波长，能够使期望的波长(波长区域)的光从入射光选择性地射出。另外，通过改变固定反射膜411以及可动反射膜421的结构，能够控制要透射的光的半值宽度、即法布里-珀罗标准具滤波器的分辨率。
[0072]
此外，固定基板410以及可动基板420分别由例如纯碱玻璃、结晶性玻璃、石英玻璃、铅玻璃、钾玻璃、硼硅玻璃、无碱玻璃等各种玻璃、水晶等构成，接合膜414由例如以硅氧烷为主要材料的等离子聚合膜等构成，另外，固定反射膜411以及可动反射膜421除了由例如ag等的金属膜、ag合金等的合金膜等构成之外，还由具备tio2作为高折射层、具备sio2作为低折射层的电介质多层膜构成，进一步地，固定电极412以及可动电极422由各种导电性材料构成。
[0073]
光学系统81、83
[0074]
另外，如图5所示，分光测量部10在本实施方式中为具有由各种光学部件构成的光学系统81、83的结构。
[0075]
分光部侧光学系统81配置于拍摄对象x与分光部41之间，具备作为入射光学系统的入射透镜811和投射透镜812，将在拍摄对象x反射后的反射光向分光部41引导。
[0076]
另外，拍摄元件侧光学系统83配置于分光部41与拍摄元件21之间，具备入射出射透镜831，将由分光部41射出的射出光引导至拍摄元件21。
[0077]
通过由分光测量部10具备这样的光学系统81、83之中的至少一种，能够实现提高反射拍摄对象x的反射光的基于拍摄元件21的聚光率。
[0078]
此外，考虑到基于拍摄元件21的上述聚光率，也可以省略光学系统81、83它们之中的至少一个。
[0079]
另外，分光部侧光学系统81除了采用上述那样的配置的情况(参照图5)之外，还可以采用配置于分光部41与拍摄元件侧光学系统83之间的结构。
[0080]
rgb图像获取部11
[0081]
rgb图像获取部11作为所谓的rgb相机发挥作用，直接接受由拍摄对象x所反射的反射光而不对其进行分光，并拍摄该反射光的整个波长区域中的光，从而通过一次拍摄来获取全彩色的rgb图像。
[0082]
该rgb图像获取部11在本实施方式中具备对基于在拍摄对象x反射后的反射光的rgb图像进行拍摄的拍摄元件22。
[0083]
拍摄元件22
[0084]
拍摄元件22作为检测部发挥作用，对基于在拍摄对象x反射后的反射光的图像进行拍摄，从而检测在拍摄对象x反射后的反射光。
[0085]
如图2、图3所示，拍摄元件22在配置于智能手机1的壳体内的电路基板51上，以能够接受在拍摄对象x反射后的反射光的方式配置于智能手机1的背面侧。
[0086]
由此，拍摄元件22以与分光测量部10所具备的光源31在智能手机1的背面侧朝向同一方向的方式配置。因此，由拍摄对象x反射对拍摄对象x直接照射的来自光源31的光，由拍摄元件22接受该被反射的反射光并进行拍摄，从而获取拍摄对象x的rgb图像。
[0087]
这样的拍摄元件22例如由rgb拍摄元件构成，该rgb拍摄元件由ccd、cmos等构成，使得直接接受由拍摄对象x所反射的反射光而不对其进行分光，并能够通过一次拍摄就以全彩色拍摄该反射光的整个波长区域中的光。
[0088]
拍摄元件侧光学系统85
[0089]
另外，如图5所示，rgb图像获取部11在本实施方式中为具有由光学部件构成的拍摄元件侧光学系统85的结构。
[0090]
该拍摄元件侧光学系统85配置于拍摄对象x与拍摄元件22之间，具备入射出射透镜851，将在拍摄对象x反射后的反射光引导至拍摄元件22。
[0091]
通过由rgb图像获取部11具备这样的拍摄元件侧光学系统85，能够实现提高在拍摄对象x反射的反射光的基于拍摄元件22的聚光率。
[0092]
此外，考虑到基于拍摄元件22的上述聚光率，也可以省略拍摄元件侧光学系统85。
[0093]
控制部60
[0094]
控制部60设置于智能手机1所具备的壳体内，由例如将cpu、存储器等组合而成的处理器构成，对光源31、拍摄元件21、分光部41以及拍摄元件22等各部分的动作、即分光测量部10以及rgb图像获取部11的整体或各部分的动作进行控制，并且对显示部15的动作以及对存储部17的数据的输入输出进行控制。在分别控制分光测量部10以及rgb图像获取部11的动作这一点上，可以说控制部60相当于“分光测量部控制部”以及“rgb图像获取部控制部”或内含它们，对分光测量部10即分光相机以及rgb图像获取部11即rgb相机的动作分别进行控制。
[0095]
更具体而言，控制部60基于输入到输入部16的用户的操作指示、即用于对拍摄对象x进行拍摄的条件即模式来读入存储于存储部17的程序等软件，从而控制光源31、分光部41、拍摄元件21以及拍摄元件22的动作。即，控制分光测量部10以及rgb图像获取部11的动作。并且，通过它们的动作来获取分光信息和rgb图像。这之后，在显示部15中显示通过叠加这些分光信息和rgb图像而获取的、补全了rgb图像的补全图像。
[0096]
如图5所示，该控制部60在本实施方式中具备光源控制部601、分光控制部602、图像获取部603、合成处理部604和显示控制部605。
[0097]
光源控制部601基于输入到输入部16的用户的操作指示、具体而言是对拍摄对象x进行拍摄时的条件即模式等来控制光源31的点亮、熄灭。
[0098]
分光控制部602基于存储于存储部17的v-λ数据，获取与射出的分光波长、即特定波长对应的驱动电压的电压值(输入值)。然后，输出指令信号，以使获取到的电压值施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45。即，分光控制部602控制分光测量部10所具备的分光部41的动作，确定从分光部41射出的光的特定波长的大小。另外，分光控制部602基于存储于存储部17的各种数据，进行测定波长的变更定时(timing)的检测、测定波长的变更、与测定波长的变更相对应的驱动电压的变更、以及测定结束的判断等，并基于该判断来输出指令信号。
[0099]
图像获取部603通过拍摄元件21获取(拍摄)在分光测量部10中基于在拍摄对象x
反射后的反射光的光量测定数据(受光量)来作为分光图像，这之后，使获取到的分光图像存储于存储部17。此外，图像获取部603在使分光图像存储于存储部17时，使获取到该分光图像的测定波长也一并与分光图像一起存储于存储部17。
[0100]
另外，图像获取部603通过拍摄元件22获取在rgb图像获取部11中基于在拍摄对象x反射后的反射光的r成分、g成分以及b成分的每个颜色的光量测定数据(受光量)来作为rgb图像，这之后，使获取到的rgb图像存储于存储部17。
[0101]
合成处理部604获取存储于存储部17的拍摄对象x的分光信息和拍摄对象x的rgb图像，这之后，对rgb图像叠加分光信息，从而合成通过分光信息补全了rgb图像的补全图像。
[0102]
此外，通过合成处理部604进行的分光图像、其测定波长以及rgb图像的获取，也能够不经由存储部17而从图像获取部603直接实施。
[0103]
显示控制部605将在合成处理部604中通过分光信息和rgb图像的叠加而合成的拍摄对象x的补全图像作为可视化图像显示于显示部15。
[0104]
此外，在该结构的控制部60中，通过光源控制部601、分光控制部602以及图像获取部603来构成控制光源31、分光部41以及拍摄元件21的动作、即分光测量部10的动作的分光测量部控制部，通过图像获取部603来构成控制拍摄元件22的动作、即rgb图像获取部11的动作的rgb图像获取部控制部。
[0105]
使用以上那样的智能手机1、即具备rgb相机和分光相机的智能手机1，进行拍摄对象x的拍摄，获得对rgb图像叠加了分光信息的补全图像，从而能够将在显示部15中显示的图像显示为更高清晰度的图像。下面，对使用智能手机1将补全图像显示于显示部15的显示方法、即应用了本发明的图像处理方法的显示方法进行说明。
[0106]
补全图像的显示方法
[0107]
使用该智能手机1的补全图像的显示方法包括：拍摄工序，对拍摄对象x的rgb图像进行拍摄且在规定的波长区域中对拍摄对象x的分光图像进行拍摄，从而获取上述波长区域中的拍摄对象x所具有的固有的分光信息；以及显示工序，显示通过对rgb图像叠加分光信息而补全后的补全图像。
[0108]
<1>首先，用户在通过输入部16的操作来启动使用智能手机1获取拍摄对象x的图像的应用之后，按照该应用的指示，根据需要进行对拍摄对象x进行拍摄时的模式等条件的选择(s1)。
[0109]
此外，作为按照应用的指示而输入的条件，除了上述模式之外，还可列举快门速度、拍摄区域以及光源是否点亮等。这样，通过输入上述模式等条件来设定获取为了补全rgb图像而拍摄的分光信息的波长区域，即选择由分光测量部10获取的分光信息的规定的波长区域，在下面说明其详细情况。
[0110]
<2>接着，用户通过输入部16的操作进行由智能手机1、即分光测量部10以及rgb图像获取部11对拍摄对象x进行拍摄的输入指示。即，用户按下智能手机1的快门。
[0111]
基于该输入指示，控制部60控制分光测量部10以及rgb图像获取部11的动作，进行拍摄对象x的拍摄、即基于分光测量部10的分光图像以及基于rgb图像获取部11的rgb图像的获取。
[0112]
下面，依次说明<2a>基于分光测量部10的分光图像的获取和<2b>基于rgb图像获
取部11的rgb图像的获取。
[0113]
<2a>首先，分光测量部10基于在上述工序<1>中由用户输入的模式等条件，在规定的波长区域中对拍摄对象x的分光图像进行拍摄，从而获取上述波长区域中的拍摄对象x所具有的固有的分光信息。
[0114]
<2a-1>首先，按照输入部16中的用户对拍摄对象x的拍摄的输入指示，光源控制部601使光源31点亮(s2)。
[0115]
通过该光源31的点亮而对拍摄对象x照射从光源31射出的照明光。并且，所照射的光被拍摄对象x反射，且该被反射的光作为入射光入射到分光部41。
[0116]
此外，通过该光源31的点亮而从光源31射出的照明光，除了被利用于基于分光测量部10的分光图像的获取之外，还在后述的基于rgb图像获取部11的rgb图像的获取<2b>时被利用。
[0117]
<2a-2>接着，分光控制部602基于存储于存储部17的v-λ数据，获取与射出的分光波长、即特定波长对应的驱动电压的电压值(输入值)。并且，输出指令信号，以使获取到的电压值被施加至作为分光部41的法布里-珀罗标准具滤波器的静电致动器45(s3a)。
[0118]
由此，从拍摄对象x作为入射光入射到分光部41的光之中具有特定波长的光，被作为射出光而选择性地朝向拍摄元件21侧射出。
[0119]
此外，优选分光控制部602在通过分光部41射出具有特定波长的光之前实施进行分光部41的校准的调整处理。由此，获取光源31的分光光谱s
ref
。
[0120]
<2a-3>接着，图像获取部603控制拍摄元件21的动作，从而通过拍摄元件21获取作为射出光从分光部41射出的具有特定波长的光来作为分光图像。即，通过拍摄元件21获取在拍摄对象x反射后的反射光之中具有特定波长的光中的光量测定数据(受光量)来作为分光图像。并且，图像获取部603使获取到的分光图像和与该分光图像对应的测定波长、即特定波长一起存储于存储部17(s4a)。
[0121]
在这样的分光图像的获取方法中，分光部41在拍摄对象x与拍摄元件21之间配置在拍摄元件21的受光光的光轴上。由此，通过分光部41仅透射由拍摄对象x所反射的光所具有的特定波长的光，通过拍摄元件21使该特定波长中的光的强度作为分光图像而对其进行分光测定。
[0122]
<2a-4>接着，在获取具有第一次的特定波长的光中的分光图像之后，基于在上述工序<1>中由用户选择出的条件等来判定是否需要获取具有与第一次的特定波长不同的第二次的特定波长的光中的分光图像。即，判定是否需要继续获取具有与第一次的特定波长不同的第二次的特定波长的光中的分光图像(s5a)。
[0123]
在该判定(s5a)中，在需要获取具有第二次的特定波长的光中的分光图像的情况下，代替具有第一次的特定波长的光，而对具有第二次的特定波长的光反复实施上述工序<2a-2>～本工序<2a-4>。即，在使施加于静电致动器45的固定电极412与可动电极422之间的电压值发生变化并设定为第二次的特定波长之后，反复实施上述工序<2a-2>～本工序<2a-4>。由此，获取具有第二次的特定波长的光中的分光图像。从第1次、第2次到第n次反复实施具有这样的第二次的特定波长、即不同的特定波长的光中的分光图像的获取。正如上述那样，反复实施上述工序<2a-2>～本工序<2a-4>，获取特定波长不同的多个分光图像，这之后，通过叠加这些分光图像，能够获得分光信息来作为光谱信息s
sam
，该光谱信息s
sam
是示出
与分光图像所包含的各像素对应的、各特定波长与光强度的关系的信息。
[0124]
换言之，例如在图8中，在将规定的波长区域设为作为可见光的波长区域的400nm以上且760nm以下的波长区域的情况下，在该400nm以上且760nm以下的波长区域中，分光信息即光谱信息s
sam
被表示为示出n分割后的各特定波长与光强度的关系的图表，获得该图表、即光谱信息以m行
×
n列的每个像素具有的合计的分光信息。
[0125]
另外，根据在上述工序<1>中选择出的模式等条件来设定获取光谱信息s
sam
的波长区域、即由分光测量部10拍摄的分光图像的波长区域。
[0126]
具体而言，例如在上述工序<1>中，在选择出高画质的模式的情况下，将由分光测量部10拍摄的分光图像的波长区域设定为包含黄色的可见光区域的区域、即570nm以上且590nm以下左右。由此，变成对具有r成分、g成分以及b成分的rgb图像叠加具有y成分的分光信息，因此能够将从它们获得的补全图像合成为高画质、即高清晰度的图像。
[0127]
另外，在上述工序<1>中，在选择出对星空进行摄影的模式的情况下，将由分光测量部10拍摄的分光图像的波长区域设定为包含近红外区域的区域，优选设定为hα线的波长即656.28nm左右。由此，变成对具有r成分、g成分以及b成分的rgb图像叠加具有近红外区域中的成分的分光信息，因此能够将从它们获得的补全图像合成为能够识别星座、进一步地还能够识别星云的图像。
[0128]
另一方面，在不需要获取具有下一波长的光中的分光图像的情况下，结束基于分光测量部10的分光图像的获取，同时图像获取部603使分光信息即光谱信息s
sam
存储于存储部17，这之后，转移到下一工序<3>。
[0129]
<2b>接下来，rgb图像获取部11对拍摄对象x的rgb图像进行拍摄。
[0130]
<2b-1>首先，在上述工序<2a-1>中，对拍摄对象x照射通过点亮而从光源31射出的照明光(s2)。
[0131]
并且，所照射的光被拍摄对象x反射，在该拍摄对象x反射后的光作为入射光入射到拍摄元件22。
[0132]
<2b-2>接着，图像获取部603控制拍摄元件22的动作，从而基于作为入射光而从拍摄对象x入射到拍摄元件22的光，通过拍摄元件22获取rgb图像。即，通过拍摄元件22获取在拍摄对象x反射后的反射光的整个波长区域中的光量测定数据(受光量)来作为包含r成分、g成分以及b成分的rgb图像。然后，图像获取部603使获取到的rgb图像存储于存储部17(s3b)。
[0133]
<2b-3>接着，判定在上述工序<2b-2>中获取到的rgb图像是否存储于存储部17(s4b)。
[0134]
在该判定(s4b)中，在因某种原因而导致rgb图像未存储于存储部17的情况下，反复实施上述工序<2b-2>～本工序<2b-3>。这样，通过构成为对在本工序<2b-3>中存储于存储部17的rgb图像进行确认，能够可靠地获取rgb图像。
[0135]
另一方面，在确认到存储部17中存储有rgb图像的情况下，结束基于rgb图像获取部11的rgb图像的获取，转移到下一工序<3>。
[0136]
通过以上那样的工序<2a>以及工序<2b>，构成如下拍摄工序：对拍摄对象x的rgb图像进行拍摄且在规定的波长区域中对拍摄对象x的分光图像进行拍摄，从而获取上述波长区域中的拍摄对象x所具有的固有的分光信息。
[0137]
此外，上述工序<2a>中的基于分光测量部10的分光图像的获取、和上述工序<2b>中的基于rgb图像获取部11的rgb图像的获取的定时，通常需要在上述工序<2a>中通过分光测量部10获取多个分光图像。因此，优选设为在实施上述工序<2a>的时间内包含实施上述工序<2b>的时间的定时。由此，能够抑制或防止在获得的补全图像中产生由于手抖动等导致的图像偏差。
[0138]
<3>接着，合成处理部604获取存储于存储部17的分光信息即光谱信息s
sam
和rgb图像，这之后，通过对rgb图像叠加分光信息，合成由分光信息补全了rgb图像的补全图像(s6)。
[0139]
<3-1>首先，合成处理部604获取存储于存储部17的分光信息、即光谱信息s
sam
，这之后，将该光谱信息s
sam
转换为由国际照明委员会cie规定的三刺激值即x、y、z值。并且，使用与显示部15对应的监视器配置文件，将该x、y、z值转换为r、g、b值。此外，下面在本说明书中，有时也将该r、g、b值称为“r、g、b值(i)”。
[0140]
<3-2>接着，合成处理部604获取存储于存储部17的rgb图像，这之后，将该rgb图像转换为由国际照明委员会cie规定的三刺激值即x、y、z值。并且，使用与显示部15对应的监视器配置文件，将该x、y、z值转换为r、g、b值。此外，下面在本说明书中，有时也将该r、g、b值称为“r、g、b值(ii)”。
[0141]
<3-3>接着，合成处理部604通过对基于rgb图像获取到的r、g、b值(ii)叠加基于分光信息获取到的r、g、b值(i)，合成叠加后的r、g、b值(iii)即补全图像。
[0142]
在此，在将3行
×
3列中的位置g(3，3)处的补全图像r、g、b值(iii)设为r’(3，3)、g’(3，3)、b’(3，3)时，例如如以下方式求出它们。
[0143]
首先，在rgb图像获取部11具有的拍摄元件22是bayer阵列的rgb拍摄元件的情况下，位置g(3，3)处的基于rgb图像获取到的r、g、b值(ii)的各成分能够由r(3，3)＝(r(2，3)+r(4，3))/2、g(3，3)、b(3，3)＝(b(3，2)+b(3，4))/2来表示。
[0144]
并且，使用位置g(3，3)处的基于分光信息获取到的r、g、b值(i)的各成分，算出用于分别校正r成分、g成分、b成分的校正系数α、β、γ。这之后，能够求出这些校正系数与r、g、b值(ii)的各成分之积，即算出r’(3，3)＝αr(3，3)、g’(3，3)＝βg(3，3)、b’(3，3)＝γb(3，3)并求出位置g(3，3)处的补全图像r、g、b值(iii)。
[0145]
另外，除了如上述那样合成补全图像的情况之外，在上述工序<3-1>中在将相对于显示部15的获取波长的rgb输出灵敏度分别设为r、g、b，将校正系数设为p，将位置g(3，3)处的光谱信息s
sam
设为s(3，3)的情况下，也能够使用下述式(1)求出补全图像r、g、b值(iii)。
[0146]
[数学式1]
[0147][0148]
根据以上那样的工序<3-1>～工序<3-3>，能够在下一工序<4>中将应由显示部15显示的补全图像作为r、g、b值(iii)获取。因此，在下一工序<4>中，作为显示图像的显示部15而准备具有通过rgb显示来显示补全图像的结构的显示部，从而能够将作为补全图像而获得的r、g、b值(iii)显示为高清晰度的图像。
[0149]
此外，在上述工序<1>中，在选择出对星空进行摄影的模式的情况下，由分光测量
部10拍摄的分光图像的波长区域被设定为包含近红外区域的区域。因此，由于r、g、b值(i)为单独地包含r成分的值，因此r、g、b值(iii)为r、g、b值(ii)的r成分被r、g、b值(i)的r成分校正过的值。即，能够称为补全图像是使用分光信息对rgb图像的r成分进行校正而获得的图像。
[0150]
另外，在上述工序<1>中，在选择出高画质的模式的情况下，由分光测量部10拍摄的分光图像的波长区域被设定为包含黄色的可见光区域的区域。因此，由于r、g、b值(i)为包含r成分和g成分的值，因此r、g、b值(iii)为r、g、b值(ii)的r成分以及g成分分别被r、g、b值(i)的r成分以及g成分校正过的值。即，能够称为补全图像是使用分光信息对rgb图像的r成分以及g成分进行校正而获得的图像。
[0151]
更具体而言，为了求出3行
×
3列中的作为位置g(3，3)处的补全图像r、g、b值(iii)的、r’(3，3)、g’(3，3)、b’(3，3)之中的r’(3，3)、g’(3，3)，而基于r、g、b值(i)算出校正系数α、β。并且，使用这些校正系数α、β，根据r’(3，3)＝αr(3，3)、g’(3，3)＝βg(3，3)，算出r’(3，3)、g’(3，3)。另外，在r、g、b值(i)中，在没有b成分的灵敏度的情况下，作为γ＝1、即b’(3，3)＝b(3，3)，算出b’(3，3)。
[0152]
进一步地，在下一工序<4>中，作为显示图像的显示部15，并不限于通过rgb显示来显示补全图像的结构，也可以是通过rgby显示来显示补全图像的结构。这样，显示部15为通过rgby显示来显示补全图像的结构，进一步地，在上述工序<1>中，在选择出高画质的模式的情况下，也能够以如下所示的方式来合成补全图像。
[0153]
即，在上述工序<3-1>中，合成处理部604通过使用与显示部15对应的监视器配置文件，使基于光谱信息s
sam
获取到的x、y、z值转换为y值，而不转换为r、g、b值。并且，在本工序<3-3>中，合成处理部604也可以通过对基于rgb图像获取到的r、g、b值<ii>叠加基于分光信息获取到的y值而合成叠加后的r、g、b、y值即补全图像。
[0154]
<4>接着，显示控制部605使在上述工序<3>中合成的补全图像显示于具备显示部15的显示器70(s7)。
[0155]
以可由显示部15显示为高清晰度的图像的方式，在上述工序<3>中基于rgb图像和分光信息合成该补全图像。因此，能够将在显示部15中显示的图像提供为高清晰度的图像。
[0156]
此外，除了使补全图像如上述那样显示于具备显示部15的显示器70的情况之外，还可以显示为通过使用智能手机1的通信功能而可通信地连接的打印机等所印刷的印刷物。
[0157]
在该情况下，将在上述工序<3-1>、上述工序<3-2>中准备的监视器配置文件设为与所使用的打印机对应的配置文件，获取应通过印刷物显示的补全图像作为c、m、y、k值。由此，能够通过cmy显示而在印刷的印刷物中以高清晰度显示补全图像。
[0158]
通过以上那样的工序<3>以及工序<4>，构成显示通过对rgb图像叠加分光信息而补全后的补全图像的显示工序。
[0159]
经过以上那样的工序<1>～工序<4>，实施使用智能手机1的拍摄对象x的拍摄。
[0160]
另外，在本实施方式中，对分光测量部10具备光源31、分光部41和拍摄元件21的情况进行了说明，但分光测量部10也可以省略它们之中的光源31。在该情况下，在通过分光测量部10拍摄分光图像的上述工序<2a>以及通过rgb图像获取部11拍摄rgb图像的上述工序<2b>中，通过太阳、室内照明等的外来光实施对拍摄对象x的光的照射。
[0161]
进一步地，在本实施方式中，本发明的信息系统作为通过信息终端单独地完成的系统而以智能手机1为一例进行了说明，但作为这样的信息终端，并不限定于智能手机1，例如也可以是平板终端、笔记本式电脑、数码相机、数码摄像机、行车记录仪等。此外，如本实施方式那样，由于通过将本发明的信息系统设为由信息终端单独地完成的结构而能够实现离线下的使用，因此即使在通信状况不稳定的场所也能够利用。
[0162]
另外，在本实施方式中，对由触摸面板构成输入部16的情况进行了说明，但并不限定于此，输入部16可以是设置于智能手机1的壳体的操作用按钮，可以是利用声音通过智能手机1所具备的麦克风来进行输入，也可以是对它们进行了组合。
[0163]
第二实施方式
[0164]
接下来，对本发明的信息系统的第二实施方式进行说明。
[0165]
图9是示出应用了本发明的信息系统的第二实施方式的智能手机和相机的概略结构的框图。
[0166]
下面，以与上述第一实施方式的信息系统的不同点为中心对第二实施方式的信息系统进行说明，关于相同事项不再赘述。
[0167]
图9所示的第二实施方式的信息系统，除了作为信息终端的智能手机1之外还进一步地独立地具备具有分光测量部10和rgb图像获取部11的相机12，除该相机12具备的分光测量部10发挥作为分光相机的功能、rgb图像获取部11发挥作为rgb相机的功能以外，与上述第一实施方式的信息系统是同样的。即，在第二实施方式的信息系统中，本发明的信息系统不是通过作为信息终端的智能手机1单独地完成，而是具有作为信息终端的智能手机1和兼具作为分光相机以及rgb相机的功能的相机12。
[0168]
在第二实施方式的信息系统中，如图9所示，智能手机1省略了内部的分光测量部10以及rgb图像获取部11的配置，取而代之，分光测量部10以及rgb图像获取部11作为兼具分光相机以及rgb相机的功能的相机12而独立地设置于智能手机1的外部，并构成为能够通过智能手机1来控制其动作。此外，基于智能手机1与相机12的电连接的、由智能手机1对相机12的控制、即对分光测量部10以及rgb图像获取部11的控制，也可以通过有线以及无线中的任一方。
[0169]
在该结构的第二实施方式的信息系统中，能够独立地实施基于相机12获取包含拍摄对象x的图像和基于智能手机1的用于合成包含拍摄对象x的补全图像的操作等。因此，能够实现信息系统的操作性的提高。
[0170]
另外，对智能手机1安装应用，同时连接具备分光测量部10和rgb图像获取部11的相机12，从而能够利用本发明的信息系统，由于可使用不具备相机12的智能手机1，因此通用性优异。
[0171]
进一步地，通过将本发明的信息系统设为由智能手机1和相机12来完成的结构，从而除智能手机1和相机12的通信以外，还能够实现离线下的使用，因此即使在通信状况不稳定的场所也能够利用。
[0172]
通过这样的第二实施方式的信息系统，也能获得与上述第一实施方式同样的效果。
[0173]
另外，在本实施方式中，对本发明的信息系统具有作为信息终端的智能手机1、和兼具作为分光相机以及rgb相机的功能的相机12的情况进行了说明，但本发明的信息系统
可以代替智能手机1而由平板终端等构成信息终端，也可以由服务器等构成智能手机1、即信息终端。
[0174]
第三实施方式
[0175]
接下来，对本发明的信息系统的第三实施方式进行说明。
[0176]
图10是示出应用了本发明的信息系统的第三实施方式的智能手机和外部显示部的概略结构的框图。
[0177]
下面，以与上述第一实施方式的信息系统的不同点为中心对第三实施方式的信息系统进行说明，关于相同事项不再赘述。
[0178]
图10所示的第三实施方式的信息系统，除了作为信息终端的智能手机1之外还进一步地独立地具备外部显示部18，除该外部显示部18发挥作为智能手机1的外部的显示部的功能以外，与上述第一实施方式的信息系统是同样的。即，在第三实施方式的信息系统中，本发明的信息系统不是通过作为信息终端的智能手机1单独地完成，而是具有作为信息终端的智能手机1和外部显示部18。
[0179]
如图10所示，第三实施方式的信息系统除了智能手机1所具备的显示部15之外还进一步地具备独立地设置于智能手机1的外部的外部显示部18，并构成为能够通过智能手机1来控制外部显示部18的动作。此外，基于智能手机1与外部显示部18的电连接的、由智能手机1对外部显示部18的控制，也可以通过有线以及无线的任一方。
[0180]
在该结构的第三实施方式的信息系统中，由于能够独立地实施外部显示部18中的图像的基于操作者的确认、和基于智能手机1的用于确定拍摄对象x的条件的设定等的操作，因此能够实现信息系统的操作性的提高。
[0181]
另外，通过将本发明的信息系统设为由智能手机1和外部显示部18来完成的结构，从而除智能手机1和外部显示部18的通信以外，由于还能够实现离线下的使用，因此即使在通信状况不稳定的场所也能够利用。
[0182]
另外，作为外部显示部18，可列举移动式笔记本(mobile notebook)pc、平板终端以及平视显示器(hud)、头戴式显示器(hmd)等，其中，优选为头戴式显示器。根据头戴式显示器，在增强现实(ar)中，例如能够显示确定拍摄对象x的结果、被推测为存在拍摄对象x的位置等，进一步地，由于能够实现免提(
ハンズフリー
)下的利用，因此能够实现信息系统的操作性的进一步的提高。
[0183]
通过这样的第三实施方式的信息系统，也能获得与上述第一实施方式同样的效果。
[0184]
第四实施方式
[0185]
接下来，对本发明的信息系统的第四实施方式进行说明。
[0186]
图11是示出应用了本发明的信息系统的第四实施方式的智能手机、相机和外部显示部的概略结构的框图。
[0187]
下面，以与上述第一实施方式的信息系统的不同点为中心对第四实施方式的信息系统进行说明，关于相同事项不再赘述。
[0188]
图11所示的第四实施方式的信息系统，除了作为信息终端的智能手机1之外还进一步地独立地具备相机12和外部显示部18，相机12具有分光测量部10和rgb图像获取部11，除它们之中分别是分光测量部10发挥作为分光相机的功能、rgb图像获取部11发挥作为rgb
相机的功能、外部显示部18发挥作为智能手机1的外部的显示部的功能以外，与上述第一实施方式的信息系统是同样的。即，在第四实施方式的信息系统中，本发明的信息系统不是通过作为信息终端的智能手机1单独地完成，而是具有作为信息终端的智能手机1、兼具作为分光相机以及rgb相机的功能的相机12、和外部显示部18。
[0189]
在第四实施方式的信息系统中，如图11所示，智能手机1省略了内部的分光测量部10以及rgb图像获取部11的配置，取而代之，分光测量部10以及rgb图像获取部11作为兼具分光相机以及rgb相机的功能的相机12而独立地设置于智能手机1的外部，并构成为能够通过智能手机1来控制其动作。进一步地，除了智能手机1具备的显示部15之外，还进一步地具备独立地设置于智能手机1的外部的外部显示部18，并构成为能够通过智能手机1来控制外部显示部18的动作。
[0190]
此外，基于智能手机1与相机12的电连接的、由智能手机1对相机12的控制、即对分光测量部10以及rgb图像获取部11的控制、以及基于智能手机1与外部显示部18的电连接的、由智能手机1对外部显示部18的控制，也可以分别通过有线以及无线的任一方。
[0191]
在该结构的第四实施方式的信息系统中，由于能够独立地实施基于相机12获取包含拍摄对象x的图像、外部显示部18中的图像的基于操作者的确认、和基于智能手机1的用于合成包含拍摄对象x的补全图像的操作等，因此能够实现信息系统的操作性的提高。
[0192]
另外，对智能手机1安装应用，同时连接相机12和外部显示部18，从而能够利用本发明的信息系统，由于可使用不具备相机12和外部显示部18的智能手机1，因此通用性优异。
[0193]
进一步地，通过将本发明的信息系统设为由智能手机1、相机12和外部显示部18来完成的结构，从而除智能手机1、相机12和外部显示部18的通信以外，由于还能够实现离线下的使用，因此即使在通信状况不稳定的场所也能够利用。
[0194]
另外，作为外部显示部18，可列举移动式笔记本pc、平板终端以及平视显示器(hud)、头戴式显示器(hmd)等，其中，优选为头戴式显示器。根据头戴式显示器，在增强现实(ar)中，由于能够进行免提下的利用，因此能够实现信息系统的操作性的进一步的提高。
[0195]
通过这样的第四实施方式的信息系统，也能获得与上述第一实施方式同样的效果。
[0196]
另外，在本实施方式中，对本发明的信息系统具有作为信息终端的智能手机1、具备分光测量部10以及rgb图像获取部11的相机12、和头戴式显示器那样的外部显示部18的情况进行了说明，但本发明的信息系统可以代替智能手机1而具备平板终端等作为信息终端，也可以代替智能手机1、即信息终端而具备服务器等。
[0197]
另外，在本实施方式中，如图11所示，示出了本发明的信息系统分体地独立地具备相机12和外部显示部18的情况，但并不限定于此，也可以使相机12和外部显示部18一体地形成。
[0198]
第五实施方式
[0199]
接下来，对本发明的信息系统的第五实施方式进行说明。
[0200]
图12是示出应用了本发明的信息系统的第五实施方式的智能手机和服务器的概略结构的框图。
[0201]
下面，以与上述第一实施方式的信息系统的不同点为中心对第五实施方式的信息
系统进行说明，关于相同事项不再赘述。
[0202]
图12所示的第五实施方式的信息系统，除了作为信息终端的智能手机1之外还进一步地独立地具备服务器100，除此以外，与上述第一实施方式的信息系统是同样的。即，在第五实施方式的信息系统中，本发明的信息系统不是通过作为信息终端的智能手机1单独地完成，而是具有作为信息终端的智能手机1和服务器100。
[0203]
在第五实施方式的信息系统中，如图12所示，智能手机1进一步地具有收发部19，另外，在控制部60中，具有控制该收发部19的动作的收发控制部606。
[0204]
另外，服务器100具有存储部117、送发信部119和控制部160，控制部160具有分别控制存储部117以及送发信部119的动作的数据获取部161以及收发控制部162。
[0205]
在这样的本实施方式的信息系统中，在智能手机1具备的存储部17中，省略了用于确定拍摄对象x的数据库的存储，取而代之，使该数据库存储于服务器100具备的存储部117。
[0206]
并且，智能手机1具备的收发部19和服务器100具备的收发部119实施数据库的传送。即，收发部19向收发部119发送来自存储部117的数据库的获取请求，从服务器100通过收发部119接收数据库。另外，收发部119接收基于收发部19的来自存储部117的数据库的获取请求，通过收发部19向智能手机1发送数据库。此外，收发部19与收发部119之间的数据库的传送，可以经由有线以及无线的任一方来实施，另外，在为无线的情况下，也可以经由互联网来实施。
[0207]
另外，智能手机1在控制部60中所具备的收发控制部606对收发部19的动作进行控制，通过收发部119从服务器100收取数据库，分光控制部602从收发控制部606收取该数据库，并基于此来控制分光测量部10的动作，拍摄分光图像。
[0208]
进一步地，服务器100在控制部160所具备的数据获取部161，在根据获取请求获取到存储于存储部117的数据库之后，向收发控制部162传送。并且，收发控制部162控制收发部119的动作，通过收发部19从服务器100向智能手机1传送该数据库。
[0209]
在该结构的第五实施方式的信息系统中，信息系统不是通过作为信息终端的智能手机1单独地完成，而是进一步地具备服务器100，在该服务器100具有的存储部117中保存数据库，并在拍摄分光图像时使该数据库通过收发部19、119发送至智能手机1。由此，能获得如下这样的优点：不再需要使智能手机1所具备的存储部17存储大量的数据。另外，在信息系统具备多个智能手机1的情况下，能够实现数据库的共享化。进一步地，仅通过对服务器100的存储部117所具备的数据库进行更新，最终能够使在各智能手机1中利用的数据库为最新的数据库。
[0210]
进一步地，在本发明的信息系统中，在离线时在实施基于智能手机1的拍摄对象x的确定的情况下，只要在离线时先使所需要的数据库从服务器100具备的存储部117存储于智能手机1具备的存储部17即可。由此，即使在离线时也能够实施基于智能手机1的拍摄对象x的确定。
[0211]
通过这样的第五实施方式的信息系统，也能获得与上述第一实施方式同样的效果。
[0212]
另外，在本实施方式中，对本发明的信息系统具有作为信息终端的智能手机1和服务器100的情况进行了说明，但本发明的信息系统可以代替智能手机1而由平板终端等构成
信息终端，也可以由数码相机、数码摄像机、平视显示器(hud)、头戴式显示器(hmd)等构成智能手机1、即信息终端。
[0213]
进一步地，在本实施方式中，智能手机1所具备的控制部60与上述第一实施方式同样地，具备光源控制部601、分光控制部602、图像获取部603、合成处理部604和显示控制部605，但它们之中的至少一个也可以是由服务器100具有的控制部160所具备的。
[0214]
第六实施方式
[0215]
接下来，对本发明的信息系统的第六实施方式进行说明。
[0216]
图13是示出应用了本发明的信息系统的第六实施方式的智能手机和服务器的概略结构的框图。
[0217]
下面，以与上述第一实施方式的信息系统的不同点为中心对第六实施方式的信息系统进行说明，关于相同事项不再赘述。
[0218]
图13所示的第六实施方式的信息系统，除了作为信息终端的智能手机1之外还进一步地独立地具备服务器100，除此以外，与上述第一实施方式的信息系统是同样的。即，在第六实施方式的信息系统中，本发明的信息系统不是通过作为信息终端的智能手机1单独地完成，而是具有作为信息终端的智能手机1和服务器100。
[0219]
在第六实施方式的信息系统中，如图13所示，智能手机1不具有存储部以及控制部60中的合成处理部，与此相对，智能手机1进一步地具有收发部19，另外，在控制部60中，具有控制该收发部19的动作的收发控制部606。
[0220]
另外，服务器100具有存储部117、收发部119和控制部160，控制部160具有分别控制存储部117以及收发部119的动作的数据获取部161以及收发控制部162、和进行补全图像的合成的合成处理部163。
[0221]
在这样的本实施方式的信息系统中，省略了智能手机1中的存储部的配置，取而代之，服务器100具备存储部117。该存储部117与上述第一实施方式的智能手机1所具备的存储部17同样地存储有各种数据。
[0222]
另外，省略了智能手机1所具备的控制部60中的合成处理部的配置，取而代之，服务器100所具备的控制部160具备合成处理部163。该合成处理部163与上述第一实施方式的智能手机1具备的合成处理部604同样地，通过对rgb图像叠加分光信息，从而合成由分光信息补全了rgb图像的补全图像。
[0223]
并且，智能手机1具备的收发部19和服务器100具备的收发部119实施各种数据的传送。具体而言，例如，收发部19将由智能手机1获取到的拍摄对象x所具有的固有的分光信息即分光光谱以及拍摄对象x的rgb图像发送至收发部119，从服务器100通过收发部119接收通过分光信息补全了rgb图像的补全图像。另外，收发部119从智能手机1通过收发部19接收由智能手机1获取到的拍摄对象x具有的固有的分光信息即分光光谱以及拍摄对象x的rgb图像，并通过收发部19向智能手机1发送由分光信息补全了rgb图像的补全图像。此外，收发部19与收发部119之间的各种数据的传送，可以经由有线以及无线的任一方来实施，另外，在为无线的情况下，也可以经由互联网来实施。
[0224]
另外，智能手机1在控制部60中所具备的收发控制部606对收发部19的动作进行控制，使在图像获取部603中获取到的拍摄对象x的分光光谱即分光信息、和拍摄对象x的rgb图像通过收发部119向服务器100具备的合成处理部163发送。并且，合成处理部163通过对
rgb图像叠加分光信息，从而合成由分光信息补全了rgb图像的补全图像。
[0225]
进一步地，服务器100在控制部160中所具备的收发控制部162对收发部119的动作进行控制，通过收发部19从服务器100向智能手机1传送由合成处理部163合成的拍摄对象x的补全图像。
[0226]
在该结构的第六实施方式的信息系统中，信息系统不是通过作为信息终端的智能手机1单独地完成，而是进一步地具备服务器100，在该服务器100具有的存储部117中保存数据库。并且，在服务器100具有的合成处理部163中，进行由分光信息补全了rgb图像的补全图像的合成，这之后，通过收发部19、119向智能手机1发送合成的补全图像。由此，能获得如下这样的优点：不再需要对智能手机1施加较大的计算负荷。另外，通过使合成处理部163在处理能力上优异，从而能够合成更高清晰度的补全图像。
[0227]
另外，在信息系统具备多个智能手机1的情况下，能够实现数据库的共享化。
[0228]
通过这样的第六实施方式的信息系统，也能获得与上述第一实施方式同样的效果。
[0229]
另外，在本实施方式中，对本发明的信息系统具有作为信息终端的智能手机1和服务器100的情况进行了说明，但本发明的信息系统可以代替智能手机1而由平板终端等构成信息终端，也可以由数码相机、数码摄像机、平视显示器(hud)、头戴式显示器(hmd)等构成智能手机1、即信息终端。
[0230]
进一步地，在本实施方式中，智能手机1所具备的控制部60与上述第一实施方式同样地，具备光源控制部601、分光控制部602、图像获取部603和显示控制部605，但它们之中的至少一个也可以是服务器100具有的控制部160所具备的。
[0231]
以上，基于图示的实施方式对本发明的图像处理方法、图像处理装置以及信息系统进行了说明，但本发明并不限定于这些。
[0232]
例如，在本发明的信息系统中，各结构能够置换为可发挥同样的功能的任意的结构，或者能够附加任意的结构。
[0233]
另外，在本发明的信息系统中，也可以组合在上述第一至第六实施方式中示出的任意的两种以上的结构。
[0234]
另外，在本发明的图像处理方法中，也可以追加任意工序。