本发明涉及根据照明光校正关于来自物体的反射光的信息的信息处理装置。
背景技术：
来自物体的反射光源于在物体表面上反射和散射的照明光(illuminationlight)。因此，即使对于具有相同的反射/散射特性的两个物体，当照明光不同时，反射光也改变。由于反射光随着照明光改变而改变，因此，难以精确地获得物体的反射/散射特性。这对利用多带图像和超谱图像的远程感测造成严重问题。为了解决该问题，必须估计照明光并减少其影响。
日本专利no.(jp)5950117公开了用于通过使用基于图像拾取时的天气信息确定的权重系数使自然光的直接光分量和散射光分量相互合成的方法作为照明光估计方法。
在jp5950117中公开的方法可基于作为天气信息的多云程度和物体对直接光分量(directlightcomponent)的遮蔽/非遮蔽，在诸如晴天天气、多云天气和阴天的图像拾取环境下估计照明光。但是，云浓度依赖于多云程度，并且即使对于相同的云量，照明光也根据云是否遮蔽太阳而改变。因此，在jp5950117中公开的方法难以精确地估计照明光。
在户外摄影时，物体由来自空中各方向的光照明，但是各照明根据物体的取向而不同。但是，在jp5950117中公开的方法难以根据物体的取向估计照明光。
技术实现要素：
本发明提供可精确地获取物体的特性的信息处理方法和信息处理装置。
根据本发明的一个方面的信息处理方法包括以下步骤：基于照明光的空间分布信息和物体的取向信息，计算关于用于照明物体的物体照明光的信息；和基于关于物体照明光的信息和关于来自物体的反射光的信息，校正关于反射光的信息以减少物体照明光的影响。存储能够实现上述信息处理方法的程序的计算机可读非暂时性存储介质也构成本发明的一个方面。
根据本发明的另一方面的信息处理装置包括：照明信息输入器，被配置为输入照明光的空间分布信息；物体取向信息输入器，被配置为输入物体的取向信息；物体照明光计算器，被配置为基于照明光的空间分布信息和物体的取向信息计算关于用于照明物体的物体照明光的信息；反射光信息输入器，被配置为输入关于物体上的反射光的信息；和反射光校正器，被配置为基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息以减少照明光的影响。
从参照附图对示例性实施例的以下描述，本发明的其它特征将变得清晰。
附图说明
图1是根据第一实施例的信息处理方法的流程图。
图2是根据第一实施例的照明光估计方法的说明图。
图3a～3d是根据第一实施例的物体照明光的计算方法的说明图。
图4a～4d是根据第二实施例的物体照明光的计算方法的说明图。
图5是根据第三实施例的信息处理装置的框图。
图6是根据第四实施例的信息处理装置的配置图。
图7是根据各实施例的在物体上反射的照明光的模型。
图8是根据各实施例的光线的单位矢量的计算方法的说明图。
具体实施方式
将参照附图给出本发明的实施例的详细描述。根据实施例的信息处理方法包括：基于照明光的空间分布信息和物体的取向信息计算或获取关于物体的信息的处理，基于关于物体照明光的信息和关于来自物体的反射光的信息校正关于反射光的信息的处理。以下将给出各处理的详细描述。
(物体照明光的计算方法)
现在参照图7，将描述用于照明物体的物体照明光的计算方法。图7示出物体上的照明光的反射模型。
在照明光的空间分布信息和照明光下的物体的取向信息均已知的情况下，如下式(1)那样计算用于照明物体的物体照明光ei(λ)。
在式(1)中，ωi是放置物体的半球空间，dωi是半球空间ωi内的极微小或微分立体角。bi(λ，ωi)是入射到物体的照明光的沿角度ωi的方向从极微小立体角dωi到达物体的光的辐射，θi是来自物体的反射光的中心轴与物体的表面法线之间的角度。照明线的空间分布信息已知意味着辐射bi(λ，ωi)是已知的。物体的取向信息已知意味着角度θi是已知的。因此，可基于照明光的空间分布信息和物体的取向信息根据物体的取向计算物体照明光ei(λ)(关于物体照明光的信息)。
(物体照明光的影响的校正方法)
如式(2)那样表达来自被物体照明光ei(λ)照明的物体的反射光r(λ)。
在式(2)中，brdf(ωi→ωr)是作为从角度ωi的方向入射到物体的光的亮度与沿角度ωr的方向的物体上的反射/散射光的亮度的比的双向反射率分布函数。另外，dωi是测量反射/散射光的极微小或微分立体角，θr是角度ωr(来自物体的反射光的角度信息)与物体的表面法线之间的角度。
如式(2)所示，反射光r(λ)受到辐射bi(λ，ωi)或物体照明光ei(λ)的影响。因此，为了进行用于减少物体照明光ei(λ)的影响的校正以及计算物体自身的反射率，必须将由式(2)表达的反射光r(λ)除以物体照明光ei(λ)。在s(λ)是物体照明光ei(λ)的影响得到校正的物体的真实反射率(或反射)特性的情况下，如下式(3)那样计算反射率特性(反射特性)s(λ)。
在式(3)中，brdfideal(ωi→ωr)是反射/散射特性的角度特性的形状等于brdf(ωi→ωr)且反射率为1的理想物体的双向反射率分布函数。由于物体的brdf(ωi→ωr)通常是未知的，因此难以计算brdfideal(ωi→ωr)。但是，在物体具有完全漫射表面(perfectlydiffusingsurface)的情况下，brdfideal(ωi→ωr)＝1/π，并且，式(3)可因此被表达如下。
该配置可通过使用物体照明光ei(λ)和角度θr(反射光的取向信息)计算被校正以减少物体照明光ei(λ)的影响的反射率特性s(λ)(关于来自物体的真实反射光的信息)。
当多带照相机获得来自物体的反射光时，可以计算物体的反射率特性(反射特性)，其中，物体照明光的影响被校正如下。最初，具有n个带的多带照相机的各带亮度值ik可表达如下。
在式(5)中，c是比例常数，r(λ)是由式(2)表达的反射光，l(λ)是用于图像拾取的光学系统中的光谱透射率。另外，
式(5)中的反射光r(λ)通过式(2)受到辐射bi(λ，ωi)的影响。此时，作为照明光的影响得到校正的物体的反射率特性(反射特性)的sk表达如下。
与式(4)类似，式(6)假定物体具有完全漫射表面。通过使用式(6)，计算物体照明光的影响得到校正的物体的反射率特性sk。由于式(4)和(6)，可基于在照明光(ei(λ))下获得的来自物体的反射光获得物体的绝对反射率。
另一方面，在照明光(ei(λ))下获得的物体的反射光(r(λ)，ik)被如下转换成在其它照明光(e′i(λ))下获得的物体的反射光(r′(λ)，i′k)。
在这种情况下，可以不使用反射光的取向信息(角度θr)。
(照明光的空间分布信息的获取方法)
下面描述照明光的空间分布信息的获取方法。这里，将描述基于天空中的半天球图像(halfcelestialsphereimage)的照明光的空间分布信息的获取方法。
顺便提及，作为先决条件，自然光b(λ)被近似如下。
b(λ)＝f(λ)t(λ)[a0+a1(λ/λ0)-1+a2(λ/λ0)-4](9)
在式(9)中，f(λ)是地球外辐射光谱(extraterrestrialradiationspectrum)，t(λ)是大气透射率，λ是波长，λ0是基准波长。另外，a0是代表直接光分量的系数，a1是代表瑞利(rayleigh)散射分量的系数，a2是代表通过大气气溶胶粒子的米氏(mie)散射分量的系数。由于f(λ)和t(λ)可使用事先观察结果，因此自然光b(λ)由三个变量a0、a1和a2确定。自然光b(λ)根据太阳位置、天气条件、大气状态等改变，但是可通过改变系数a0、a1和a2的值表达受影响的自然光b(λ)。
下面描述用于基于天空的半天球图像获取照明光的空间分布信息的方法。虽然本实施例示例性地使用三带或rgb带图像，但是本发明不限于本实施例并且适用于具有至少三个带的多带图像。当天空被成像时的rgb值被表达如下。
在式(10)中，l(λ)是用于图像拾取的光学系统的光谱透射率，
当将式(9)代入式(10)时，可以获得下式(11)。可以如式(12)那样表达式(11)中的i0k、i1k、i2k。另外，如式(13)那样限定b0、b1、b2。
b0＝ca0
b1＝ca1
b2＝ca2(13)
式(12)的值可被事先计算。由此，可以用rgb值通过下式(14)计算系数a0、a1和a2。
因此，可以通过将计算的系数a0、a1和a2代入式(9)基于天空中的特定区域获得照明光。可基于天空中的半天球图像对图像中的各点计算系数a0、a1和a2。由此，可基于天空中的半天球图像获得照明光的空间分布信息。
本实施例使用三带图像，但是，只要带的数量等于或大于自然光近似模型中的变量的数量，本发明就不限于本实施例。例如，可以使用四带图像，并且，作为式(14)的替代，可以通过最小二乘方法等计算变量。虽然本实施例使用rgb图像，但是，只要式(14)所示的逆矩阵中的阶数等于或大于自然光近似模型中的变量的数量，本发明就不限于rgb带。例如，作为可见范围红色波长带r的替代，可以使用近红外波长带ir。另外，通过式(9)中的近似模型计算的自然光不限于可见波长带，并且本实施例可利用从紫外线(300nm)到近红外区域(2.5μm)的范围。另外，可以使用式(9)以外的近似模型。
(物体的取向信息的获取方法)
本实施例中的物体的取向信息对应于物体的表面法线矢量、物体面的方位角和仰角、或者两个方向上的物体面的倾斜度中的任一个，但是本发明不限于本实施例。物体的取向信息可由用户手动输入。另外，可基于三维测量信息计算物体的表面法线矢量等。可通过立体声方法(stereomethod)、主动立体声方法(activestereomethod)、光激光(lightlaser)方法等获取三维测量信息。
当目标物体包括多个物体时，多个物体(多个局部物体)中的一个可被视为是一个物体，并且可以计算物体的取向信息。例如，在水稻田中，多个水稻作物可被视为一个物体，并且可以计算物体的取向信息。并且，当物体具有表面结构时，可通过将表面结构的取向信息(局部取向信息)平均化来计算物体的取向信息。
现在将描述本发明的各实施例。
第一实施例
现在参照图1～3d，将描述根据本发明的实施例的信息处理方法。图1是根据本实施例的信息处理方法的流程图。例如，通过根据第三或第四实施例的信息处理装置(测量系统)，执行图1中的各步骤。图2是图1中的步骤s11处的照明光估计方法的说明图。图3a～3d是图1中的步骤s12处的物体照明光计算方法的说明图。
在图1中的步骤s11处，信息处理装置估计照明光的空间分布信息。在步骤s11处，信息处理装置通过使用具有180度的整体视角的圆形鱼眼图像(用鱼眼透镜拍摄的图像)来估计照明光的空间分布信息。通过使用具有等于或大于180度的整体视角的圆形鱼眼图像，可以获取从天空中的各点入射到物体的各照明光的空间分布信息。本实施例使用但不限于rgb图像。
图2中的上部示出天空中的圆形鱼眼图像(拍摄图像)。本实施例使用rgb三带图像，并且，r(i,j)、g(i,j)和b(i,j)分别代表r带图像、g带图像和b带图像。这里，i和j代表水平方向和垂直方向的像素编号，水平方向和垂直方向的像素数量nh和nv满足1≤i≤nh和1≤j≤nv。
在精确估计照明光时，本实施例可以使用通过对入射光具有线性灵敏度特性的图像传感器获得的具有光电转换值的图像数据。当在晴天天气时拍摄包含太阳的天空时，光电转换值饱和，并且，输出值丢失对入射光的线性，但是，可以使用合成通过改变曝光拍摄的多个图像的所谓的高动态范围图像。当用于通过使用图像传感器估计照明光的前处理可执行校正在光学系统中以及由传感器产生的遮蔽的遮蔽校正和校正光学系统中的畸变的畸变校正时，照明光可被精确地估计。当使用式(9)时，不能在天空区域以外的区域中从多带图像估计照明光。在这种情况下，可提供掩盖图像中的天空区域以外的区域的掩盖处理。
图2的中部的图像是通过可视化直接光分量系数a0(i,j)、瑞利散射分量系数a1(i,j)和米氏散射系数a2(i,j)形成的。a0(i,j)、a1(i,j)和a2(i,j)的值可以用式(14)计算。图2中的下部将天空中的各点的辐射b(i,j,k)可视化。在k是波长分割数且nl是波长数的情况下，满足1≤k≤nl。辐射b(i,j,k)代表第k波长λk的辐射的空间分布。如上所述，可基于rgb图像获得照明光的空间分布信息(照明光谱估计)。
然后，在步骤s12中，信息处理装置基于在步骤s11中估计的照明光的空间分布信息和物体的表面法线信息(物体的取向信息)计算用于照明物体的物体照明光ei(λ)。
图3a示出照明光下的物体的布置。在图3a中，n、e、s和w代表方向(北、东、南和西)，并且物体反射表面op指向正上。这里，nobj代表物体反射表面op的表面法线矢量。另外，nlay代表从角度ωi的方向入射到物体反射表面op的光线的单位矢量，并且，取向被定义为与光行进方向相反。可通过使用图像的投影方法计算单位矢量nlay。本实施例使用通过等立体角投影的光学系统拍摄的图像。在这种情况下，可以用图8所示的关系通过下式(15)～(17)表达单位矢量nlay。
φ(i，j)＝tan-1{y(i，j)/x(i，j)}(16)
nlay(i，j)＝[sinθp(i，j)cosφ(i，j)，sinθp(i，j)sinφ(i，j)，cosθp(i，j)](17)
在式(15)～(17)中，f是光学系统的焦距，x(i,j)和y(i,j)是像素(x,y)处图像传感器上的x方向和y方向的距离。
图3b将从角度ωi的方向的极微小立体角dωi到达物体的第k波长λk的辐射b(i,j,k)可视化。图3c将式(1)中的cosθ分布可视化。可基于表面法线矢量nobj和单位矢量nlay之间的内积计算cosθ(i,j)。图3d示出基于式(1)用图3b和图3c计算的物体照明光ei(λ)。在图3d中，横轴表示波长，纵轴表示辐射。当光学系统的投影方法是等立体角投影时，对应于图像中的各像素的立体角相等，因此，可使得极微小立体角dωi恒定并且有利于积分。该配置可精确地计算图像拾取时的物体照明光。
最后，在步骤s13处，信息处理装置校正关于在照明光下测量的反射光的信息(通过照相机获得的数据)以减少物体的照明光的影响。具体而言，信息处理装置基于在步骤s12处计算的物体照明光(关于物体照明光的信息)、来自在照明光下测量的物体的反射光(关于反射光的信息)和反射光的取向信息校正关于反射光的信息。例如，如式(4)表达的那样，信息处理装置校正关于反射光的信息并且计算物体的反射率特性。
第二实施例
现在参照图4a～4d，将描述根据本发明的第二实施例的信息处理方法。图4a～4d解释图1中的步骤s12(物体照明光的计算)。根据本实施例的物体反射表面op的表面法线矢量nobj面向s(南)方的信息处理方法与表面法线矢量nobj面向正上的第一实施例不同。除此以外，本实施例的信息处理方法与参照图1描述的第一实施例类似，并且将省略其描述。
图4a示出照明光下的物体的布置。在图4a中，物体反射表面op面向正侧面(s(南)方向)。图4b将从角度ωi的方向的极微小立体角dωi到达物体的第k波长λk的辐射b(i,j,k)可视化，并且具有与图3d相同的值。图4c将式(1)中的cosθ分布可视化。如图4c所示，物体反射表面的表面法线矢量不同，并因此具有与第一实施例不同的分布。图4d示出基于式(1)用图4b和图4c计算的物体照明光ei(λ)。
如上所述，本实施例事先具有照明光的空间分布信息，因此，可根据物体取向精确地计算物体照明光。
第三实施例
现在参照图5，将描述根据本发明的第三实施例的信息处理装置(测量系统)。图5是信息处理装置100的框图。信息处理装置100包括信息处理器10、照明信息获取器21、物体取向信息获取器31和反射光信息获取器41。
信息处理器10执行例如根据第一和第二实施例的信息处理方法。信息处理器10包括照明信息输入器(第一输入器)11、物体取向信息输入器(第二输入器)12、物体照明光计算器13、反射光信息输入器(第三输入器)14、反射光取向信息输入器(第四输入器)15和反射光校正器16。照明信息获取器(第一获取器)21包含照明光拍摄器22和照明光估计器23。物体取向信息获取器(第二获取器)31包含三维测量单元32和物体取向信息计算器33。
照明光拍摄器(图像拍摄器)22拍摄天空中的半球图像。照明光估计器23通过使用由照明光拍摄器22拍摄的图像、诸如用鱼眼透镜拍摄的图像数据来估计照明光(照明光的空间分布信息)。估计的照明光的空间分布信息被输入到照明信息输入器11中。三维测量单元(测量单元)32测量物体的三维信息。物体取向信息计算器(第二计算器)33基于通过三维测量单元32测量的三维信息(三维测量信息)计算作为物体的取向信息的表面法线信息(表面法线矢量nobj)。通过物体取向信息计算器33计算的物体的表面法线信息被输入到物体取向信息输入器12中。物体照明光计算(第一计算器)13通过使用输入到照明信息输入器11中的照明光的空间分布信息和输入到物体取向信息输入器12中的物体的表面法线信息并且基于例如式(1)计算物体照明光ei(λ)。
反射光信息获取器(第三获取器)41为例如照相机，并且，获得关于来自用于拍摄半球图像的照明光下的物体的反射光的信息(通过照相机获得的数据)。通过反射光信息获取器41获取的关于来自物体的反射光的信息被输入到反射光信息输入器14中。反射光的取向信息被输入到反射光取向信息输入器15中。反射光的取向信息包含关于来自物体的反射光的中心轴与物体的表面法线之间的角度θr的信息。本实施例基于来自附着到反射光信息获取器41的角度传感器的信息获取反射光的取向信息。
反射光校正器16基于例如式(4)和(6)校正关于来自物体的反射光的信息。换句话说，反射光校正器16基于通过物体照明光计算器13计算的关于物体照明光的信息、输入到反射光信息输入器14中的关于来自物体的反射光的信息和输入到反射光取向信息输入器15中的反射光的取向信息校正关于反射光的信息。反射光校正器16基于通过物体照明光计算器13计算的关于物体照明光的信息和输入到反射光信息输入器14中的关于来自物体的反射光的信息通过使用式(7)和(8)校正关于物体的反射光的信息。通过反射光校正器16校正的关于反射光的信息(关于被校正的反射光的信息)被例如输出到外部装置，并且存储于信息处理装置100中的存储器或内存中，或者显示于显示单元上。
第四实施例
现在参照图6，将描述根据本实施例的信息处理装置(测量系统)。根据本实施例的信息处理装置包括与参照图5描述的根据第三实施例的信息处理装置100的配置类似的配置。图6示出照明光拍摄器22和反射光信息获取器41。照明光拍摄器22包括对于所有的方位具有180度或更大的整体视角2θp的全周鱼眼透镜(光学系统)。由此，根据本实施例的信息处理装置即使在有周围障碍的图像拾取环境中也可在较高的位置处拍摄图像，并且获取整个天空的照明信息。
根据本实施例的照明光拍摄器22和反射光信息获取器41中的每一个包括具有rgb或三个带的多带照相机，所述rgb或三个带具有共同的光谱灵敏度特性。各光学系统被设定，使得照明光拍摄器22中的光学系统的光谱透射率l(λ)和反射光信息获取器41中的光学系统的光谱透射率l(λ)可相等。因此，在通过使用根据本实施例的信息处理装置计算从来自物体的反射光减少或去除物体照明光的影响的反射特性时，式(5)与在反射光信息获取器41中获得的rgb值等价。式(6)中的右侧的分母的值等于通过用在照明光拍摄器22中获得的r(i,j)、g(i,j)和b(i,j)的值替代式(1)中的b(i,j)得到的值。
因此，当照明光拍摄器22和反射光信息获取器41具有相同的光学系统光谱透射率和相同的多带照相机光谱灵敏度特性时，可以计算反射特性，其中，物体照明光的影响在没有照明估计处理的情况下减少或消除。另外，在这种情况下，在不使用在式(9)中表达的近似模型的情况下，通过使用实际测量值计算物体照明光，并且可有利地更精确地计算物体照明光。由于不使用在式(9)中表达的近似模型，因此可以考虑从天空区域以外的区域入射到物体的照明光的影响。例如，可通过结构区域中的多带图像的积分值精确地表达在结构上反射的照明光。在这种情况下，图2所示的掩盖处理变得不必要。虽然本实施例对一个照明光拍摄器22设置一个反射光信息获取器41，但是由于在照明光拍摄器22中拍摄的天空的多带图像在接近的区域中是大致相同的，因此，多个反射光信息获取器41可共享一个照明光拍摄器22。
其它实施例
也可通过读出并执行记录于存储介质(也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能并且/或者包含用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，应用特定集成电路(asic))的系统或装置的计算机，以及，通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或更多个的功能并且/或者控制一个或更多个电路以执行上述实施例中的一个或更多个的功能执行的方法，实现本发明的实施例。计算机可包括一个或更多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包含例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储器、光盘(诸如紧致盘(cd)、数字万用盘(dvd)或蓝光盘(bd)tm)、快擦写存储器设备和记忆卡等中的一个或更多个。
不管日照条件、天气和物体取向如何，各实施例都可精确地估计照明光并且基于来自物体的反射光校正照明光的影响。因此，各实施例可提供能够精确地获取物体的特性的信息处理方法和信息处理装置。
虽然已参照示例性实施例描述了本发明，但应理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽的解释以包含所有这样的修改以及等同的结构和功能。