专利名称：光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率 ...的制作方法
技术领域：
本发明涉及一种对在一般环境下拍摄图像、处理图像以及合成图像之际很重要的拍摄图像时光源的位置、方向、亮度、矢量、色彩等光源信息进行推定的技术，以及利用光源信息进行图像的高分辨率化处理的技术。
背景技术：
随着带相机的手机、数码相机的普及，对图像进行处理的重要性也就越来越高。作为这样的图像处理有图像的高分辨率化、识别人的脸等对焦等识别处理、以及将用假想物体即Computer-Graphics制作的图像叠加在现实的图像上后再表示出来的扩张现实等，都作为广为人知的数字变焦距。
这些图像处理，是基于利用图像摄像记录在摄像元件中的被摄物的“外观”进行的。来自光源的光在被摄物表面反射后，摄像元件再接收该反射光，即可得到该物体的外观。
因此，光源信息在进行图像处理时是非常重要的。也就是说，取得光源信息，再在拍摄图像时、处理图像时利用该光源信息，是非常有效的。例如，在专利文献1中，在将假想物体重叠并显示在真实世界中之际，通过测量真实世界的光源环境，即可附加上映入在假想物体上的照射光带来的反射光、由假想物体生成的影子。
光源信息不仅有益于图像处理，在进行摄像行为的主体即摄像者利用摄像装置拍摄图像之际也很有益。例如，在专利文献2中，检光源位置，再利用该信息，将顺光状态、逆光状态显示给摄像者，这样一来，就是在一般人特别是不具有专门知识的情况下，也能够很容易地拍摄下良好地利用了光、影子的逆光(半逆光)肖像照片等。
专利文献1日本公开专利公报特开平11—175762号公报
专利文献2日本公开专利公报特开平8—160507号公报
发明内容
发明要解决的技术问题
为取得这样的光源信息，就需要拍摄了光源的图像，也就是说，光源图像。优选光源图像为 (1)从与被摄物不同的方向进行拍摄且 (2)是接近全天候、范围广的图像。
其理由如下。
(1)大多数情况，是照明的街灯、室内照明都是从上方照射一般的被摄物例如人的。在光源与被摄物在同一个方向的情况下，光源成为逆光状态，被摄物就有变黑的可能性。因此，摄像者都想避免被摄物与光源进入同一张图像中。
(2)对摄像者而言，光源在什么地方有多少个是未知的。
因此，在上述专利文献1和专利文献2中，为取得光源信息，利用的是让光轴朝上向着天空且安装了鱼眼镜头的摄像装置。
但是，为了这样让鱼眼透镜朝向与被摄物不同的方向进行摄像，就需要与拍摄被摄物的摄像装置不同的第二摄像装置。这样成本就成了一个很大的负担。再就是，尤其是带相机的手机，因为小型化要求非常强烈，所以在现在的基础上再增加摄像装置，从大小这一方面来看也会成为问题。
因为拍摄被摄物的摄像装置与拍摄光源的摄像装置不同，所以需要在两个摄像装置之间进行对位(标定)。这是因为在推定光源信息之际，被摄物与光源的位置关系特别重要之故。也就是说，在用不同的摄像装置拍摄被摄物与光源的情况下，需要让它们对应起来，但该操作非常麻烦。
本发明正是为解决上述问题而研究开发出来的，其目的在于在例如带相机的手机等装置中，不用安装附加的摄像装置，就能够取得光源被拍摄下来的光源图像，从而能够对光源信息进行推定。
为解决技术问题所采用的技术方案
本发明作为光源推定装置及方法是这样的，判断摄像装置的状态是否适合取得光源信息，当判断出适合时，便由所述摄像装置拍摄图像，再取得该拍摄图像作光源图像，取得表示已取得光源图像时所述摄像装置的状况的第一摄像装置信息，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。
根据本发明，判断摄像装置的状况是否适合取得光源信息，当判断为适合时，便有该摄像装置取得光源图像。此时，也取得表示摄像装置的状况的第一摄像装置信息。之后，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，利用光源图像及所述第一、第二摄像装置信息推定光源信息。也就是说，光源图像的取得是在利用用于摄像时的摄像装置，判断出该摄像装置的状况适合取得光源信息的时候进行的。因此，不用安装附加的摄像装置，就能够取得光源图像，对光源信息进行推定。
本发明作为光源推定装置及方法是这样的，由摄像装置拍摄图像，取得该拍摄图像作光源图像，取得表示已取得光源图像时所述摄像装置的状况的第一摄像装置信息，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。并且，在所述摄像装置的光轴方向已由光轴方向改变机构改变了的状态下，取得多张光源图像。
根据本发明，在所述摄像装置的光轴方向已由光轴方向改变机构改变了的状态下，由该摄像装置取得多张光源图像。此时，也取得了表示摄像装置的状况的第一摄像装置信息。之后，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，利用光源图像及所述第一、第二摄像装置信息推定光源信息。也就是说，光源图像的取得是在利用用于摄像时的摄像装置，该摄像装置的光轴方向改变了的状态下进行的。因此，不用安装附加的摄像装置，就能够取得范围较广的光源图像，对光源信息进行推定。
本发明作为图像高分辨率化装置及方法是这样的，由摄像装置拍摄图像，利用本发明所涉及的光源推定方法，对含有照射被摄物的光源的方向与位置中的至少一个的光源信息进行推定，取得所述被摄物的表面的法线信息或三维位置信息作形状信息，利用所述光源信息与形状信息将在已拍摄的图像高分辨率化。
发明的效果
根据本发明，在带相机的手机那样的安装有摄像装置的机器中，不用安装用于拍摄被摄物以外的附加摄像装置，就能够取得被摄物周围的光源图像，对光源信息进行推定。而且还能够利用已推定到的光源信息实现图像的高分辨率化。
附图的简单说明
[
图1]图1是显示本发明第一实施方式所涉及的光源推定装置的构成的方框图。
[图2]图2是显示内装有本发明的光源推定装置的手机的构成的示意图。
[图3]图3是显示带相机的手机合上后的状态的图。
[图4]图4是显示摄像装置状况判断部和光源图像取得部的处理流程的流程图。
[图4A]图4A是显示摄像装置状况判断部和光源图像取得部的处理流程的流程图。
[图5]图5是显示存储在存储器中的信息的一部分的示意图。
[图6]图6是用以说明滚转、倾斜、偏航角(roll-pitch-yaw)表现的示意图。
[图7]图7是用以说明光源像素的抽取处理的示意图。
[图8]图8是用以说明相机坐标轴和图像坐标轴的关系的示意图。
[图9]图9是示意图，用以说明是如何利用摄像装置的移动对光源的三维位置进行推定的处理。
[图10]图10是用以说明利用垂锤和接触传感器检测光轴方向的方法的示意图。
[图11]图11是显示内装有垂锤和接触传感器的带相机的翻盖式手机的示意图。
[图12]图12是显示图11中的带相机的翻盖式手机的放置状态的示意图。
[图13]图13是显示光轴方向和接触传感器的接触/非接触关系的图。
[图14]图14是显示安装有垂锤和接触传感器的数码静态相机的放置状态的示意图。
[图15]图15是显示本发明第二实施方式所涉及的光源推定装置的构成的方框图。
[图16]图16是用以说明全景光源图像的合成方法的示意图。
[图17]图17是显示将多张光源图像合成，使看上去的视野范围扩大的处理的示意图。
[图18]图18是用以说明在利用长方体作投影面时全景光源图像的合成方法的示意图。
[图19]图19是显示本发明第三实施方式所涉及的光源推定装置的构成的方框图。
[图20]图20是安装了本发明第三实施方式所涉及的光源推定装置的带相机的翻盖式手机的外观图。
[图21]图21是显示当打开、关闭开关被按下时图20所示的带相机的手机的移动情况的示意图。
[图22]图22是显示本发明第三实施方式所涉及的光源推定装置的其它构成的方框图。
[图23]图23是用以说明振动机构导致的振动角的示意图。
[图24]图24是显示本发明第三实施方式所涉及的光源推定装置的其它构成的方框图。
[图25]图25是显示本发明第四实施方式所涉及的光源推定系统的构成的方框图。
[图26]图26是显示分离为扩散反射图像和镜面反射图像之例的图。
[图27]图27是显示本发明的一个实施方式所涉及的图像高分辨率化装置的构成的方框图。
[图28]图28是显示安装有本发明的一个实施方式所涉及的图像高分辨率化装置的带相机的手机的图。
[图29]图29是曲线图，示出了在照射直线偏振光之际使偏振滤光器旋转时反射光强度的变化情况。
[图30]图30是流程图，示出了利用偏振滤光器进行镜面反射图像和扩散反射图像的分离处理的流程。
[图31]图31是用以说明反射光的偏振方向对每一个像素都不同的摄像装置的示意图。
[图32]图32是用以说明如何利用光度立体视觉法法求出被摄物的距离、三维位置的处理的示意图。
[图33]图33是用以说明如何利用反射光的偏振特性进行形状信息的取得处理的示意图。
[图34]图34是曲线图，示出了照射自然光之际让偏振滤光器旋转时的反射光强度的变化情况。
[图35]图35是示意图，显示以纹理基元(texton)为基础进行的高分辨率化处理的概念。
[图36]图36是概念图，用以说明如何以利用了线性矩阵变换的纹理基元为基础进行高分辨率化处理。
[图37]图37是PAD图，显示在以纹理基元为基础的高分辨率化处理中的学习处理的流程。
[图38]图38是示意图，用以说明在以纹理基元为基础的高分辨率化处理中的学习处理。
[图39]图39是显示二维离散定常小波变换的处理的图。
[图40]图40是一显示在测试图像中实施二维离散定常小波变换的情况下所得到的图像结果之例。
[图41]图41是PAD图，显示在以纹理基元为基础的高分辨率化处理中执行时的处理流程。
[图42]图42是示意图，用以说明在以纹理基元为基础的高分辨率化处理中执行时的处理。
[图43]图43是显示二维离散定常逆小波变换的处理的图。
[图44]图44是用以说明常数Sr的示意图，该常数Sr表现扩散反射成分和镜面反射成分的亮度值的不同。
[图45]图45是显示对本发明的一个实施方式中的镜面反射图像进行的参数推定处理的流程的图。
[图46]图46是概念图，用以说明表示入射照明度的式中的各个参数。
[图47]图47是显示利用单体法(simplex method)进行的参数推定处理的流程的流程图。
[图48]图48是显示单体法中的参数更新处理的流程的流程图。
[图49]图49是用以说明极坐标表现的示意图。
[图50]图50是显示对本发明第一实施方式中的扩散反射图像进行的参数推定处理的流程的图。
[图51]图51是示出了在利用似反射率的情况下存储在存储器中的数据的图。
符号说明
101摄像装置状况判断部 102光源图像取得部 103第一摄像装置信息取得部 104第二摄像装置信息取得部 105光源信息推定部 106光源图像合成部 201图像拍摄部 203 光源信息推定部 204 形状信息取得部 217 图像高分辨率化部 1001 摄像装置 1026 振动机构(光轴方向改变机构) 1031 打开、关闭机构(光轴方向改变机构) 1100 通信终端 1101 服务器
具体实施例方式
在本发明的第一方面提供一种光源推定装置。该光源推定装置包括摄像装置状况判断部，判断摄像装置的状态是否适合取得光源信息，光源图像取得部，当由摄像装置状况判断部判断出适合取得光源信息时，由所述摄像装置拍摄图像，再取得该拍摄图像作光源图像，第一摄像装置信息取得部，取得表示光源图像已由所述光源图像取得部取得时所述摄像装置的状况的第一摄像装置信息，第二摄像装置信息取得部，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，以及光源信息推定部，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。
在本发明的第二方面中提供一种所述摄像装置状况判断部，检测所述摄像装置的光轴方向，当光轴朝向上方的时候，判断为适合取得光源信息的所述第一方面的光源推定装置。
在本发明的第三方面中，提供一种所述光源图像取得部，在确认所述摄像装置不是根据所述摄像者的操作拍摄图像之后，取得光源图像的所述第一方面的光源推定装置。
在本发明的第四方面中，提供一种所述光源信息推定部，除了对光源方向与位置中的至少一个进行推定以外，还对光源的亮度、色彩以及光谱信息中的至少一个进行推定的所述第一方面的光源推定装置。
在本发明的第五方面中提供上述第一方面的光源推定装置，即，所述光源图像取得部，取得多张所述光源图像；当已由所述光源图像取得部取得各光源图像时，所述第一摄像装置信息取得部分别取得所述第一摄像装置信息；所述光源推定装置包括光源图像合成部，该光源图像合成部利用由所述第一摄像装置信息取得部取得的多张第一摄像装置信息，按照由所述光源图像取得部取得的多张光源图像合成全景光源图像；所述光源信息推定部利用所述全景光源图像与所述第二摄像装置信息推定光源信息。
在本发明的第六方面中提供上述第一方面的光源推定装置，即，包括使所述摄像装置的光轴方向改变的光轴方向改变机构；所构成的光源推定装置，在所述摄像装置的光轴方向由于所述光轴方向改变机构的作用而改变的状态下，由所述光源图像取得部取得多张光源图像。
在本发明的第七方面中提供上述第六方面的光源推定装置，即，所述光源推定装置安装在翻盖式手机中，所述光轴方向改变机构是打开、关闭所述翻盖式手机的打开、关闭机构。
在发明的第八方面中提供上述第六方面的光源推定装置，即，所述光轴方向改变机构是振动机构。
在本发明的第九方面提供了一种光源推定装置。该光源推定装置包括光源图像取得部，由摄像装置拍摄图像，再取得该拍摄图像作光源图像，第一摄像装置信息取得部，取得表示光源图像已由所述光源图像取得部取得时所述摄像装置的状况的第一摄像装置信息，第二摄像装置信息取得部，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，光源信息推定部，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息，以及光轴方向改变机构，使所述摄像装置的光轴方向改变；所构成的光源推定装置，在所述摄像装置的光轴方向由于所述光轴方向改变机构的作用而改变的状态下，由所述光源图像取得部取得多张光源图像。
在本发明的第十方面中提供了一种对光源信息进行推定的光源推定系统。该光源推定系统包括通信终端，具有权利要求1所述的摄像装置状况判断部、光源图像取得部、第一摄像装置信息取得部以及第二摄像装置信息取得部，发送由所述光源图像取得部取得的光源图像、由所述第一摄像装置信息取得部取得的第一摄像装置信息以及由所述第二摄像装置信息取得部取得的第二摄像装置信息，以及服务器，具有权利要求1所述的光源信息推定部，接收从所述通信终端发送来的所述光源图像及所述第一、第二摄像装置信息，再将已接收的所述光源图像及所述第一、第二摄像装置信息供给所述光源信息推定部。
在本发明的第十一方面中提供一种光源推定方法。该光源推定方法包括第一步骤，判断摄像装置的状态是否适合取得光源信息，第二步骤，当在所述第一步骤判断出适合取得光源信息时，由所述摄像装置拍摄图像，再取得该拍摄图像作光源图像，第三步骤，取得表示在所述第二步骤已取得光源图像时所述摄像装置的状况的第一摄像装置信息，第四步骤，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，以及第五步骤，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。
在本发明的第十二方面中提供一种光源推定方法。该光源推定方法包括第一步骤，由摄像装置拍摄图像，再取得该拍摄图像作光源图像，第二步骤，取得表示在所述第一步骤已取得光源图像时所述摄像装置的状况的第一摄像装置信息，第三步骤，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，第四步骤，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息，以及第五步骤，在所述第一步骤，利用所述光轴方向改变机构使所述摄像装置的光轴方向改变，在所述摄像装置的光轴方向已改变的状态下，取得多张光源图像。
在本发明的第十三方面中提供一种图像高分辨率化装置。它包括图像拍摄部，由所述摄像装置拍摄图像，光源信息推定部，利用所述第十一方面或第十二方面中所述的光源推定方法，推定含有照射被摄物的光源的方向与位置中的至少一个的光源信息，形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作形状信息，以及图像高分辨率化部，利用所述光源信息与形状信息将由所述图像拍摄部拍摄的图像高分辨率化。
本发明的第十四方面中提供一种所述第十三方面的图像高分辨率化装置，所述图像高分辨率化部，将由所述图像拍摄部拍摄的图像分离为扩散反射成分和镜面反射成分，再分别将已分离的扩散反射成分和镜面反射成分高分辨率化。
本发明的第十五方面中提供一种所述第十三方面的图像高分辨率化装置，所述图像高分辨率化部，将由所述图像拍摄部拍摄的图像进行分解为参数，再分别将已分解出的参数高分辨率化。
本发明的第十六方面提供一种图像高分辨率化方法，包括第一步骤，由摄像装置拍摄图像，第二步骤，利用所述第十一方面或第十二方面所述的光源推定方法，对含有照射被摄物的光源的方向与位置中的至少一个的光源信息进行推定，第三步骤，取得所述被摄物的表面的法线信息或三维位置信息作形状信息，以及第四步骤，利用所述光源信息与形状信息将在所述第一步骤已拍摄的图像高分辨率化。
下面，参考附图对本发明的实施方式进行说明。
(第一实施方式) 图1是显示本发明第一实施方式所涉及的光源推定装置的结构的方框图。在图1中，1001是由CCD、CMOS等构成的摄像装置、1002是进行摄像行为的主体即摄像者指示摄像装置1001进行拍摄的摄像开关。摄像装置1001中安装有3轴的角度传感器1025。
101，是判断摄像装置1001的状况是否适于取得光源信息的摄像装置状况判断部；102，是当由摄像装置状况判断部101判断出适于取得光源信息的时候，由摄像装置1001进行摄像，并将所拍摄的该图像作为光源图像取得的光源图像取得部；103，是当由光源图像取得部102取得光源图像的时候，取得表示摄像装置1001的状况的第一摄像装置信息的第一摄像装置信息取得部；104，是当根据摄像者的操作由摄像装置1001拍摄了图像的时候，取得表示摄像装置的状况的第二摄像装置信息的第二摄像装置信息取得部；最后，105，是基于由光源图像取得部102取得的光源图像、由第一摄像装置信息取得部103取得的第一摄像装置信息、以及由第二摄像装置信息取得部104取得的第二摄像装置信息，推定摄像时光源的方向与位置中至少一方的光源信息推定部。
此外，这里，假定摄像装置状况判断部101、光源图像取得部102、第一摄像装置信息取得部103、第二摄像装置信息取得部104以及光源信息推定部105是通过让CPU1209执行程序来实现的。但是，由硬件实现这些功能的全部或者一部分也无妨。存储器1028将由光源图像取得部102取得的光源图像、由第一摄像装置信息取得部103取得的第一摄像装置信息存储起来。
图2示出了安装有该实施方式所涉及的光源推定装置的带相机的翻盖式手机1000的结构之例。在图2中，与图1一样的构成要素用与图1一样的符号来表示。此外，在图2中的带相机的翻盖式手机1000中，偏振滤光器1016设在摄像装置1001中，还设有用以让该偏振滤光器1016旋转的马达1026a、用以检测其旋转角的编码器1027a。此外，还设有用以驱动翻盖机构的马达1026b和用以检测其旋转角的编码器1027b。还设有礼貌模式开关1034。
图3是显示图2中的带相机的手机1000合上以后的状态的图。在图3中，1005表示摄像装置1001的光轴方向，1006表示摄像装置1001的视野范围。
下面，对该实施方式所涉及的光源推定装置的各个构成要素的动作进行说明。
摄像装置状况判断部101判断摄像装置1001的状况是否适于取得光源信息。一般认为家庭里最普通的光源是照明，屋外最普通的光源是街灯或太阳等。因此，在摄像装置1001的拍摄方向，亦即光轴的方向朝向上方的情况下，摄像装置状况判断部101就能够判断出处于摄像装置1001适合取得光源信息的状态。于是，摄像装置状况判断部101利用安装在摄像装置1001上的角度传感器1025的输出，检测摄像装置1001的光轴方向，当光轴朝向上方时则判断为适于取得光源信息。此时，摄像装置状况判断部101将促进拍摄的信号发送给光源图像取得部102。
当光源信息取得部102从摄像装置状况判断部101接收到促进拍摄的信号的时候，也就是说，当由摄像装置状况判断部101判断出摄像装置1001的状况适于取得光源信息的时候，摄像装置1001便进行拍摄，光源信息取得部102取得所拍摄的该图像作为光源图像。已取得的光源图像被存储到存储器1028中。
此时，优选确认出没有按照摄像者的操作进行拍摄以后，光源信息取得部102取得光源图像。例如，当确认得知摄像开关1002未被按下以后，拍摄光源图像即可。
光源信息取得部102，考虑摄像者的摄像意图，利用尚未进行拍摄的期间拍摄光源图像。在该实施方式所涉及的光源推定装置中，利用拍摄被摄物的摄像装置1001拍摄光源图像。因此，万一在摄像者就要拍摄被摄物以前拍摄了光源图像，便不能在摄像者就要拍摄的瞬间将被摄物拍摄下来，摄像者的拍摄意图就给忽视了。
因此，在该实施方式中，为考虑摄像者的摄像意思，在假定摄像者不拍摄的时间段内，例如摄像装置被放在桌子上等的那段时间内拍摄光源图像。例如，在图3中带相机的翻盖式手机1000放在桌子等上的情况下，一般认为光轴方向1005朝向上方。若是该状态，则能够拍摄最佳的光源图像。
图4是显示摄像装置状况判断部101及光源图像取得部102的处理之例的流程图。首先，摄像装置状况判断部101检测摄像装置1001的光轴方向，判断该光轴方向是否朝向上方(步骤S121)。当光轴方向不是朝向上方的时候(步骤S121中为“否”)，重复地对光轴方向进行检查，直到检查出该光轴方向朝向上方为止。另一方面，当光轴方向朝向上方的时候(步骤S122中为“是”)，则由光源信息取得部102对摄像开关1002进行检查(步骤S122)。在为进行自动聚焦(AF)等处理摄像开关1002被按下的情况(步骤S122中为“否”)下，因为摄像的可能性很高，所以不拍摄光源图像。另一方面，在摄像开关1002未被按下的情况下(步骤S122中为“是”)，则由摄像装置1001进行拍摄，由光源信息取得部102取得光源图像(步骤S123)。
这里，假定根据对摄像开关的检查判断摄像是否是按照摄像者的操作进行的，但确认摄像者是否具有拍摄意图的方法并不限于此。例如，还可以在屏幕上显示“正在拍摄吗？”这样的确认是否拍摄的表示，当摄像者表示出“不”这样的意思以后，或者是没有任何反应的时候，则判断摄像者没有摄像的意思。
利用加速度传感器等，当摄像装置1001静止的时候拍摄光源图像也无妨。也就是说，当摄像装置1001静止时，则能够判断为摄像者还没有将摄像装置1001拿在手中，摄像装置1001放置在桌子上。因此，在该情况下，摄像者不拍摄的可能性很高。另一方面，在摄像者为进行拍摄而拿着摄像装置1001的情况下，加速度传感器能够感知到摄像装置的颤动等的影响。此时，只要不让光源信息取得部102进行拍摄即可。
利用礼貌模式确认摄像者是否具有拍摄的意思也无妨，对该处理进行详细的叙述。
图4A是在利用礼貌模式确认摄像者是否具有拍摄的意思的情况下，显示摄像装置状况判断部101及光源图像取得部102的处理之例的流程图。首先，摄像装置状况判断部101检测摄像装置1001的光轴方向，判断该光轴方向是否朝向上方(步骤S121)。当光轴方向不是朝向上方的时候(步骤S121中为“否”)，以一定的时间间隔对光轴方向进行检查，直到检查出该光轴方向朝向上方为止。另一方面，当光轴方向是朝向上方的时候(步骤S121中为“是”)，则由光源信息取得部102对礼貌模式进行检查(步骤S124)。在礼貌模式开关1034被设定为“断开”的情况下(步骤S124中为“否”)，因为摄像的可能性很高，所以不拍摄光源图像。另一方面，。在礼貌模式开关1034被设定为“接通”的情况下(步骤S124中为“是”)，则由摄像装置1001进行拍摄，由光源信息取得部102取得光源图像(步骤S123)。
此时，在驱动模式被设定为礼貌模式的情况下，认为摄像者正在移动，所以使不拍摄光源图像也无妨。也就是说，当是无声模式时，要拍摄光源图像；而当是驱动模式时，则不拍摄光源图像。
在已由光源图像取得部102取得光源图像的时候，第一摄像装置信息取得部103取得表示摄像装置1001的状况的第一摄像装置信息。具体而言，例如，取得角度传感器1025的输出和摄像装置的焦点距离信息作为第一摄像装置信息。图5是显示保存在存储器1028中的信息的一部分的示意图。针对某一光源图像，角度传感器的输出和焦点距离被作为第一摄像装置信息存储起来。
利用角度传感器1025的输出，摄像装置1001的姿势信息被表现为以下的3×3矩阵Rlight。
(数学式1) (式1)
称表示摄像装置1001的姿势信息的该3×3矩阵Rlight为相机姿势矩阵。这里，(α、β、γ)是用安装在相机中的传感器的输出的滚转、倾斜、偏航角表现的值，用从某一个基准点的移动量来表现。如图6所示，用是绕z轴的旋转的滚转、是绕新的y轴的旋转的倾斜、最后是绕新的x轴旋转的偏航角这三个阶段的旋转来表示任意的旋转。
Rx(α)、Ry(β)、Rz(γ)是从滚转、倾斜、偏航角向x轴旋转、y轴旋转、z轴旋转变换的矩阵。用以下各式来表示。
(数学式2)
在摄像装置1001的焦距可变的情况下，其变焦信息也被作为焦点距离信息取得。在摄像装置1001是固定焦点的情况下，其焦点距离信息也被取得。焦点距离信息，是通过进行在图像处理领域所广泛使用的相机标定来取得的。
这样的从安装在相机上的角度传感器、角速度传感器取得相机的姿势信息的方法采用已知的手法即可(例如，「岡谷貴之，“メカニカルセンサとイメ—ジセンサの融合による3次元形状復元”，情報処理学会研究報告会，2005—CVIM147，pp.123-130，2005」)。
在摄像装置1001根据摄像者的操作进行拍摄的拍摄时，第二摄像装置信息取得部104取得表示摄像装置1001的状况的第二摄像装置信息。这里也是和上述第一摄像装置信息取得部103一样，取得角度传感器1025的输出和摄像装置1001的焦点距离信息作为第二摄像装置信息。此时，将从角度传感器1025的输出(α、β、γ)求得的姿势矩阵Rnow称为现在的姿势矩阵。
光源信息推定部105，利用已存储在存储器1028中的光源图像和第一摄像装置信息、已由第二摄像装置信息取得部104取得的第二摄像装置信息，推定根据摄像者的操作进行拍摄时的光源信息。这里，假定对光源方向进行推定。
首先，在光源图像中，抽取亮度值非常大的像素作为拍摄的光源的像素，亦即光源像素。图7是用以说明该处理的示意图。在图7中，具有视野范围1006的摄像装置1001对光源1007进行拍摄。此时，在所拍摄的图像1008中，已拍摄下光源的区域1009的亮度值变得非常高。于是，利用阈值处理抽取亮度值比规定的阈值高的像素作为光源图像。
根据这样求得的光源像素推定光源方向。为进行该处理，需要摄像装置的像素位置(u、v)与被称为图像坐标系的摄像元件上的实际尺寸位置(xf、yf)的关系式。若考虑透镜的变形等的影响，则像素位置(u、v)与实际尺寸位置(xf、yf)的关系能够用下式求出。
(数学式3) uu＝u+Du vu＝v+Dv Du＝u(κ1r2+κ2r4) Dv＝v(κ1r2+k2r4) 河 (式2) 式中，(Cx、Cy)是像素中心位置，s是标度因子(scale factor)，(dx、dy)是摄像元件一个像素的尺寸(mm)，Ncx是x方向上的摄像元件数，Nfx是x方向上的有效像素数，κ1和κ2是表示透镜的变形的变形参数。
以图8所示的摄像装置的焦点位置为原点，以其光轴方向作为Z轴的相机坐标系(x，y，z)和图像坐标系(xf、yf)的关系能够用下式求出。
(数学式4) (式3) 这里，f表示摄像装置的焦点距离。也就是说，若已知相机参数(Cx、Cy)、s、(dx、dy)、Ncx、Nfx、f、κ1和κ2，则能够利用(式2)和(式3)进行像素位置(u、v)和相机坐标系(x，y，z)的变换。
通常情况下，只要摄像元件已确定，Ncx、Nfx就是已知的，而且，(Cx、Cy)、s、(dx、dy)、κ1、κ2、f通过进行所谓的相机标定也成为已知的(例如，Roger Y.Tsai，＂An Efficient AndAccurate Camera Calibration Technique For 3D MachineVision＂，Proceedings of IEEE Conference on Computer Visionand Pattern Recognition，MiamiBeach，FL，1986，pp.364-374)。即使摄像装置的位置、姿势变化，这些参数也不变化。这样的参数被称为相机的内部参数。
于是，在进行拍摄以前进行相机的摄像标定，将相机内部参数(Cx、Cy)、s、(dx、dy)、Ncx、Nfx、f、κ1、κ2确定下来。这些值利用购买摄像装置时所附带的值也无妨。在相机不是固定焦点，而是焦距可变的情况下，先分别求出各个焦距下的焦点距离f放着，做到必要的时候能够进行选择即可。而且，只要与已经拍摄了焦点距离f的图像一起保存好即可。
利用以上信息由光源像素推定光源方向。若假定光源像素的像素位置为(ulight，vlight)，则光源方向Light能够按照下式表现。
(数学式5) (数学式6) 但是，因为Light是用已经拍摄了光源图像的相机坐标系表现的，所以要用现在的相机坐标系Lnow重新进行表现。这能够用下式表现。
(数学式7) Lnow＝Rnow-1·Rlight·Llight (式4) 进行以上处理推定光源方向矢量Lnow。这样光源方向便被推定出来了。
可以这样的，利用摄像装置1001的移动，不仅求出光源的方向，也将三维位置求出来。
图9是用以说明该处理的示意图。在图9中，1001A、1010A显示的是时刻t＝t1的摄像装置和已推定出的光源方向矢量，1001B、1010B显示的是时刻t＝t2的摄像装置和已推定出的光源方向矢量。这里，若知道时刻t1和t2下摄像装置的相对位置关系和姿势，则光源就应该存在于将光源方向矢量1010A、1010B延长后所得到的交点上。也就是说，光源的三维位置的求法如下。
时刻t1的摄像装置的姿势矩阵、摄像装置的相对三维位置以及已推定出的光源方向矢量分别用R1、P1、L1表示，时刻t2的摄像装置的姿势矩阵和已推定出的光源方向矢量分别用R2、L2表示。不过，假定在时刻t2摄像装置的位置是原点O(0，0，0)。此时，光源位置Plight满足下式。
(数学式8) Plight＝m·R2-1·R1·L1+P1 (式5) (数学式9) Plight＝s·L2 (式6) 式中，s、m是任意的常数。如果所有的推定值都正确，不存在噪音，则作为与s和m有关的连立方程式对(式5)和(式6)求解，即可求出光源位置Plight。但因为通常情况下，噪音有影响，所以利用最小二乘法求光源位置。
首先，考虑以下函数f(m，s)。
(数学式10) f(m，s)＝{(m·R2-1·R1·L1+P1)-s·L2}2 式中，m，s满足以下关系式。
(数学式11) (数学式12) 也就是说，利用
(数学式13) (R2-1·R1·L1)2·m-(R2-1·R1·L1)T·L2·s+(R2-1·R1·L1)T·P1＝0 (式7) (数学式14) (L2T·R2-1·R1·L1)·m-L22·s+L2T·P1＝0 (式8) 作为与s和m有关的连立方程式对(式7)和(式8)求解，并将求出的s和m代入(式5)或(式6)，即可求出光源位置Plight。这样光源的位置便被推定出来了。
此外，能够利用光学流程(optical flow)求出时刻t1的摄像装置的相对三维位置P1(时刻t1和t2下的摄像装置的相对位置关系)，光学流程是将对应于被摄物的某一点的、时间上连续的两个图像上的点连接起来后所得到的矢量，换句话说，将相对应的点连接起来后所得到的矢量。几何学上的约束方程在对应点和相机的移动情况之间成立。于是，在对应点满足一定条件的情况下能够计算出相机的移动量。
已知由光学流程求出不同时刻下的摄像装置的相对位置关系的手法(“A Computer Algorithm For Reconstructing A SceneFrom Two Projections”，Nature，vol.293，pp.133-135，1981)之一，就是例如被称为“8点法”的手法。该手法是根据两个图像之间的静止的八个以上的对应点的组算出相机的移动。而且，因为这样的求两个图像之间的对应点的手法是广泛应用的手法，所以省略对它的详细说明(for example，Carlo Tomasi and Takeo Kanade，“Detection And Tracking Of Point Features”，CarnegieMellon University Technical Report，CMU-CS-91-132，April1991)。
通过求光源像素的亮度值、RGB值，便能够求出光源的亮度和色彩。通过用多光谱相机取得图像，检测光源的光谱也无妨。已知通过这样取得光源的光谱，在后述的图像的高分辨率化、虚拟现实中就能够合成色彩再现性很高的图像(例如，内山俊郎，土田勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源
境
測とスペクトルに基づく画像生成”，電子情報通信学会技術研究報告PRMU2005-138，pp.7-12，2006)。
光源信息推定部105，取得光源的照明度信息作为光源信息也无妨。这时只要利用光轴方向与摄像装置1001一致的照度计即可。作为照度计，利用将微安培计连接在光电池上，读出由入射光产生的光电流的光电池照度计即可。
如上所述，根据该实施方式中的光源推定装置，当判断出摄像装置的状况适于取得光源信息的时候，由该摄像装置取得光源图像，再利用取得光源图像时的第一摄像装置信息、摄像者进行拍摄时的第二摄像装置信息推定摄像时的光源信息。因此，在带相机的手机等中，无需安装附加的摄像装置，便能够对被摄物周围的光源信息进行推定。
此外，在上述实施方式中，为了由摄像装置状况判断部101检测出摄像装置1001的光轴方向，利用角度传感器1025的输出进行检测。但除此以外，例如还可以采取用垂锤和接触传感器进行检测的方法(参考日本公开专利公报特开平4—48879号公报)、用加速度传感器进行检测的方法(参考日本公开专利公报特开昭63—219281号公报)等已知方法。
这里，对利用垂锤和接触传感器进行的方法加以说明。图10是显示垂锤和接触传感器的结构的图。在图10(a)中，1003是一个被吊起的垂锤，总是保持铅锤方向，基端部被支承而能够进行摆动，1004A、1004B是接触传感器。1005表示摄像装置的光轴方向。如图10(b)所示，设置接触传感器1004A、1004B，做到若设摄像装置的光轴方向1005与水平面所成的角度为θ，则当光轴方向1005从水平方向倾斜规定角度θ1、θ2时，接触传感器1004A、1004B便能够碰到垂锤1003。
图11是显示将图10所示的垂锤和接触传感器安装到带相机的翻盖式手机中的情况下的构成例。在将图11中的带相机的翻盖式手机放置成摄像装置1001在下的情况下，垂锤1003碰到接触传感器1004A，接触传感器1004A被接触(图12(a))。另一方面，在将图11中的带相机的翻盖式手机放置成摄像装置1001在上的情况下，垂锤1003碰到接触传感器1004B，接触传感器1004B被接触(图12(b))。
图13是显示光轴方向和接触传感器的接触/非接触关系的图。也就是说，当接触传感器1004A接触，接触传感器1004B不接触的时候，能够推定为光轴从水平方向朝下倾斜了+θ1以上。而且，当接触传感器1004B接触，接触传感器1004A不接触的时候，能够推定光轴从水平方向朝上倾斜了—θ2以上。另一方面，在接触传感器1004A、1004B双方都不接触的情况下，—θ2<θ<+θ1，能够推定光轴方向基本上水平。
这样，利用垂锤和接触传感器就能够检测出摄像装置1001的光轴方向。
此外，这里，以带相机的翻盖式手机为例进行了说明，当然，数码静态相机、数码摄像机等也能够利用垂锤和接触传感器检测摄像装置的光轴方向。图14是显示将垂锤和接触传感器安装到数码静态相机中时的构成例。如图14(a)所示，当摄像装置1001的光轴朝下时，垂锤1003碰到接触传感器1004A，另一方面，如图14(b)所示，当摄像装置1001的光轴朝上时，垂锤1003碰到接触传感器1004B。
在上述实施方式中，是由摄像装置状况判断部101检测摄像装置1001的光轴方向，并判断摄像装置1001的状况是否适于取得光源信息。但可以采取例如检测被拍摄的图像的亮度值进行判断的做法，代替检测光轴方向的做法。
在光源映入所拍摄的图像中的情况下，已拍下光源的像素的亮度值变得非常高。于是，在由摄像装置1001拍摄图像，且在所拍摄的图像中存在阈值以上的亮度值的情况下，能够判断为光源被拍摄下来，处于适合取得光源信息的状况。因为此时光源的亮度值被认为非常高，所以优选摄像装置1001进行拍摄时，尽量地缩短曝光时间。
或者是，为了判断摄像装置1001的状况是否适于取得光源信息，采用检测在相机的视野范围内是否存在遮挡物的做法也无妨。这是因为当存在遮挡物时，光源被遮住，不能拍摄光源的可能性提高之故。
检测是否存在遮挡物的方法有利用距离信息进行的方法、利用图像信息进行的方法。前者的情况下可以这样做，例如利用用在相机的自动聚焦等上的测距传感器的输出，在例如在1m以内存在被摄物的情况下，判断为该被摄物是遮挡物即可。后者的利用图像信息的方法是这样的，例如用摄像装置1001拍摄图像，再利用图像处理检测该图像中是否有人存在。在有人被拍摄下来的情况下，判断为该人就是遮挡物。这是因为都认为在相机附近将光源遮住的最普通的被摄物就是人。从图像中检测人的存在与否，只要利用广泛应用的图像识别技术即可，例如利用色彩信息检测出肤色区域等技术。
优选在由光源图像取得部102取得光源图像之际，不让闪烁灯闪烁就进行拍摄。这是因为在引起象镜子一样的镜面反射的被摄物存在于摄像装置1001的视野内的情况下，闪烁灯被反射，而错误地将它推定为光源像素之故。于是，优选利用冷却CCD照相机、多重曝光摄像等能够拍摄较广的动态范围的摄像装置。而且，在由光源图像取得部102取得光源图像之际，若曝光量不足，只要将曝光时间加长即可。如上所述，这仅在利用加速度传感器，摄像装置1001静止时取得光源图像的情况下特别有效。
(第二实施方式) 图15是显示本发明第二实施方式所涉及的光源推定装置的构成的方框图。在图15中，用与图1相同的符号表示与图1通用的构成要素，这里省略详细说明。
图15的构成，在图1的构成中又追加上了光源图像合成部106。光源图像合成部106利用由第一摄像装置信息取得部103取得的多个第一摄像装置信息从由光源图像取得部102取得的多个光源图像合成全景光源图像。全景光源图像指已拍下大范围的场景(scene)的光源图像。利用全景光源图像一次就能够取得很广范围的场景下的光源信息。
在该实施方式中，摄像装置状况判断部101、光源图像取得部102以及第一摄像装置信息取得部103重复地执行处理，取得多张光源图像，同时，取得对应于每一张光源图像的多个第一摄像装置信息。这多组光源图像和第一摄像装置信息被存储在存储器1028中。
此时，例如，在光源图像取得部102取得了新光源图像时，将该新光源图像与已经拍摄下的光源图像进行比较，只有在该差很大的情况下，第一摄像装置信息取得部103取得第一摄像装置信息即可；在该差很小的情况下，第一摄像装置信息取得部103将该光源图像废掉即可。或者是，利用加速度传感器、角度传感器，当摄像装置1001移动时，取得光源图像与第一摄像装置信息并存储起来亦可。
光源图像合成部106利用存储在存储器1028中的多组光源图像和第一摄像装置信息合成一张大范围的全景光源图像。
图16是用以说明全景光源图像的合成方法的示意图。在图16中，1001表示摄像装置，1006表示视野范围，1011表示用以将图像投影在其上的投影面，1012表示已投影有已拍摄的光源图像的投影图像。首先，利用与存储在存储器1028中的光源图像相对应的第一摄像装置信息将该光源图像投影到投影面1011上。这里，假定投影面为半球形状。若假定安装在摄像装置1001内的角度传感器1025的输出(α，β，γ)是 (数学式15) α＝α0、β＝β0、γ＝γ0 (式9) 时的相机坐标系(x，y，z)为(Xw，Yw，Zw)，则投影面能够用下式表示。
(数学式16) Xw2+Yw2+Zw2＝rprj2(式10) 式中，rprj是投影面1011即半球的半径。例如，在屋外，假想一街灯，半球的半径是10m；在屋内，假想的是设在天棚上的照明，设半球的半径为2.5m左右。例如可以通过由摄像者切换屋内摄像模式和屋外摄像模式在这样的屋外、屋内之间进行切换。
由(式4)和(式10)可得出，所有的像素都能够根据下式投影到投影面1011上。
(数学式17) (式11) R0是能够从(式1)和(式9)求出的姿势矩阵。
利用(式11)，将已拍摄的所有的光源图像投影到投影面1011上，制作出投影图像1012。此时，有时候，两个以上的光源图像会被投影到投影面上的同一个区域。在该情况下，例如可以优先考虑新拍摄的光源图像，将由在这之前拍摄的光源图像得到的投影图像1012废掉即可。
这样将多张光源图像合并，合成投影图像后，就能够将看上去的视野范围扩大。图17是表示这一情况的示意图。在图17中，1001表示摄像装置，1005、1006分别表示改变了摄像装置1001的姿势之际的光轴方向和视野范围，1013表示将改变姿势所拍摄的图像合并后得到的看上去的视野范围。这样将改变光轴方向所拍摄的图像合并而全景图像化以后，就能够将视野范围扩大。
投影面1011无需是半球形状，例如若在屋内，则可如图18所示，是长方体。在该情况下，若设相机坐标系(x，y，z)为(Xw，Yw，Zw)，则投影面即长方体的各个面能够用下式表示。
(数学式18) aXw+bYw+cZw＝d (式59)
式中，a、b、c是常数，表示图18的长方体上的投影面。因此，与(式11)一样，通过求(式4)和(式59)的交点，所有的像素便能够用下式投影到投影面1011上。
(数学式19) 式中，R0是能够从(式1)和(式9)求出的姿势矩阵。
此外，也可以利用光源像素的色彩在屋外、屋内之间进行切换。也就是说，利用从已拍摄的光源像素的RGB成分求出的色彩，辨别是太阳光，还是荧光灯，还是电灯泡。当是太阳光时，则判断为屋外；当是荧光灯或电灯泡时，则判断为屋内。在该情况下，只要保持好摄像装置的RGB各自的波长特性和电压换算值的变化相对图像的亮度的变化之比即灰度系数值即可。
光源信息推定部105利用光源图像合成部106已合成的全景光源图像推定光源信息。这里，对光源位置作为光源信息被推定的方法进行说明。
首先，利用在第一实施方式中所述的方法从全景光源图像中抽出光源像素。这样抽出的光源像素的位置是摄像装置1001的姿势是(式9)时的位置。利用由第二摄像装置信息取得部104取得的第二摄像装置信息，通过下式推定由摄像者进行拍摄时相机坐标下的光源位置(Xl_now，Yl_now，Zl_now)。
(数学式20)
如上所述，根据该实施方式的光源推定装置，因为由全景光源图像推定出了光源信息，所以一次就能够取得大范围场景下的光源信息。
(第三实施方式) 图19是表示本发明第三实施方式所涉及的光源推定装置的构成的方框图。在图19中，用与图1相同的符号表示与图1通用的构成要素，这里省略详细说明。
图19的构成以光源推定装置安装在翻盖式手机中为前提。在该构成中，包括打开、关闭翻盖式手机的打开、关闭机构1031、让打开、关闭机构1031执行打开、关闭动作的打开、关闭开关1014。若打开、关闭开关1014一被按下，打开、关闭机构1031就进行打开、关闭动作，则安装在翻盖式手机中的摄像装置1001的光轴方向就伴随着该打开、关闭动作而变化。也就是说，打开、关闭机构1031具有摄像装置1001的光轴方向变化的光轴方向改变机构的功能。
当打开、关闭开关1014被按下时，光源图像取得指示部110首先指示光源图像取得部102取得光源图像。此时，优选摄像装置1001连续摄像拍摄活动图像。摄像装置1001开始摄像后，光源图像取得指示部110就指示打开、关闭机构1031执行打开、关闭动作。这样一来，在打开、关闭机构1031执行打开、关闭动作的时间内，换句话说，在摄像装置1001的光轴方向由于光轴方向改变手段的作用下而变化的状态下，由光源图像取得部102取得光源图像。如图17所示，这样一来，就能够在大区域的视野范围内拍摄多张光源图像。
图20是安装了该实施方式所涉及的光源推定装置的带相机的翻盖式手机1000的外观图。在图20中，1001A和1001B表示摄像装置，1002表示摄像开关，1014表示翻盖式手机的打开、关闭开关。摄像装置1001A和1001B上的箭头表示光轴方向。翻盖式手机在不通话、不摄像之际，通常是象图20(b)所示的那样折叠起来，以保护液晶显示部，提高携带方便性。
在图20(b)所示的状态下，若按下打开、关闭开关1014，则翻盖式手机1000就会按照图21(a)→(b)→(c)→(d)→(e)这样的顺序自动打开。在图21中，1006A、1006B分别表示由安装在翻盖式手机1000中的两个摄像装置(图20中的1001A、1001B)拍摄下的视野范围。由图21可知，利用带相机的翻盖式手机1000的打开、关闭开关1014，就能够改变摄像装置1001A和1001B的光轴方向。
能够利用例如弹簧、锁紧机构等来实现打开、关闭机构1031(参考例如日本公开特许公报特开平7—131850号公报)。还可以在翻盖式手机的铰链部设置马达。此时，只要将因设置了马达而设置了它的旋转编码器作角度传感器1025用，取得摄像装置1001的姿势信息即可。
对图19中的构成的动作进行说明。首先，打开、关闭开关1014一被按下，光源图像取得指示部110就将这一情况检测出来，并指示光源图像取得部102取得光源图像。而且，打开、关闭开关1014被按下时，作为光源方向改变机构的打开、关闭机构1031就执行翻盖式手机的自动打开、关闭动作。在打开、关闭机构1031工作的时间内，从光源图像取得指示部110接收了指示的光源图像取得部102利用摄像装置1001拍摄多张光源图像。以后的动作与第一实施方式一样。
在该实施方式中，因为一边让摄像装置1001移动，一边拍摄光源图像，所以优选尽可能使曝光时间短一些。也可以导入颤动补正处理后，即使摄像装置1001移动，也做到无颤动地拍摄光源图像。
若假定没有导入颤动补正处理时的曝光时间为TE，则该曝光时间TE能够用下式表示。
(数学式21) (式60) 式中，M表示按下打开、关闭开关1014后旋转的光轴的旋转速度(度/秒)，θs表示摄像装置1001的纵向视野角(度)，Lx表示摄像装置1001的纵向像素数。例如，M＝180度/秒，θs＝80度，Lx＝1000，则成为 (数学式22) 使曝光时间为1/4000秒左右即可。
也可以根据(式60)决定光轴的旋转速度M。例如，若θs＝40度，Lx＝1000，TE＝0.0005秒， 则成为 M<40度/秒 与通常的打开、关闭动作相比，慢慢地让打开、关闭机构1031动作即可。
因为光源环境伴随着时间变化，所以优选在尽量接近实际拍摄被摄物的时间的那一时刻取得光源图像。因为通常情况下，打开、关闭开关1014大多都是在就要进行摄像以前被按下，所以根据该实施方式，能够取得就要进行拍摄前的光源图像的可能性提高，所以非常有效。
还可以故意拍摄模糊的图像作光源图像。拍摄模糊的图像以后，就能够一边保持摄像镜头中人物的私人秘密，一边拍摄下光源图像。这能够通过例如加长曝光时间来实现。
如上所述，在不满足(式60)的情况下，伴随着由打开、关闭机构1031造成的光轴移动，会产生移动抖动，拍摄的就是模糊的图像。这里，只要决定满足例如下式的曝光时间、旋转速度即可。
(数学式95) 式中，TB表示决定模糊量的常数。在例如，TB＝8，θs＝40度，Lx＝1000，M＝40度/秒的情况下，设定为曝光时间TE＝0.008即可。
还可以利用投票处理由多张光源图像推定光源方向。这样就能够使光源方向的推定精度提高。例如在由某一光源图像求光源位置的结果表明，该光源位置与其它光源图像中的光源位置之间存在很大的不同的情况下，或其它光源图像中不存在相应的光源的情况下，则判断该光源位置的推定失败了，从光源推定结果中将它废掉即可。
在光源图像没被好好地拍摄的情况下，可以督促再次进行拍摄。例如，在将由已推定出的光源信息推定的图像与实际拍摄的光源图像进行比较，其差值很大的情况下，判断为光源未被拍摄在光源图像中，光源推定失败即可。督促摄像的方法例如有利用声音传达“请再次拍摄光源”，或者在显示屏幕上显示“请再次拍摄光源”即可。
图22是显示该实施方式所涉及的光源推定装置的其它构成的方框图。图22中，用与图1和图19一样的符号表示与图1和图19通用的构成要素，这里详细说明就省略不提了。
图22的构成中包括第一实施方式中所示的摄像装置状况判断部101，还包括例如为实现手机的振动功能的振动机构1026。振动功能指手机处于礼貌模式时等利用振动通知已来了信件或电话的功能。若在已设定为振动功能的的状态下，振动机构1026执行振动动作，则安装在手机中的摄像装置1001的光轴方向就随着该振动动作而变化。也就是说，振动机构1026具有改变摄像装置1001的光轴方向的光轴方向改变机构的功能。
象在第一实施方式中所说明的那样，摄像装置状况判断部101判断摄像装置1001的状况是否适于取得光源信息。当由摄像装置状况判断部101判断出适于取得光源信息时，光源图像取得指示部110就下命令让振动机构1026执行振动动作，同时让光源图像取得部102取得光源图像。这样一来，在振动机构1026执行振动动作的那段时间内，换句话说，在摄像装置1001的光轴方向已由光轴方向改变机构改变了的状态下，由光源图像取得部102去取得光源图像。于是，如图17所示，就能够在广阔的视野范围拍摄多张光源图像。在该情况下，因为摄像装置1001没有静止，所以优选使曝光时间短一些。
此时，若用θs表示摄像装置1001的视野角，用θv(图23中的振动角)表示振动机构1026带来的手机的振动角度，则扩大的视野角θt能够用下式表示。
(数学式23) θt＝θs+2θv 从该式可知，只要摄像装置1001的θs和用于推定光源的视野角θt已决定，就能够计算出所需要的振动量。例如，若摄像装置1001的视野角θs是80度，推定光源需要90度的视野角，则振动角就成为5度左右。这是通过让一个高度11cm的某个手机振动9mm便能够实现的值。
此外，为取得光源图像让振动机构1026动作之际，例如可以从喇叭播送出与接收信件、电话时不同的响声。这样一来就能够将取得光源图像时与接收信件、电话时区别开来。在取得光源图像之际，可以让LED、接口用液晶显示屏幕闪亮，告知利用者。
当然，利用响声、LED、显示屏告知后，再让振动机构1026动作取得光源图像也无妨。
图24是显示该实施方式所涉及的光源推定装置的其它构成例的方框图。图24中，用与图1和图22一样的符号表示与图1和图22通用的构成要素，这里详细说明就省略不提了。
与图22相比较，在图24的构成中，设有邮件接收检测部1032，省略了摄像装置状况判断部101。假定已设定为振动模式，则当邮件接收检测部1032检测到已接收了邮件的时候，振动机构1026就进行振动动作。而且，此时，光源图像取得指示部110接收来自邮件接收检测部1032的信号，指示光源图像取得部102取得光源图像。在这样的动作下，在振动机构1026执行振动动作的那段时间内，换句话说，在摄像装置1001的光轴方向由光轴方向改变机构改变了的状态下，由光源图像取得部102取得光源图像。
根据该结构，因为能够利用接收邮件后即动作的振动功能，在摄像装置的光轴方向已变化了的状态下取得多张光源图像，所以优点就是无需进行多余的振动。
如上所述，根据该实施方式，因为在摄像装置的光轴方向由光轴方向改变机构改变了的状态下能够取得光源图像，所以能够取得被摄物周围大范围的光源图像。结果是，能够高精度地推定光源信息。
此外，在上述各个构成中，可以设置在第二实施方式所示的光源图像合成部106，由多张光源图像生成全景光源图像。
此外，在该实施方式中，是利用翻盖式手机的打开、关闭机构，振动功能等实现光轴方向改变机构的，但本发明并不限于此，只要是能够改变摄像装置的光轴方向的机构即可。例如，可以在摄像装置本身设置专用的驱动机构。
(第四实施方式) 图25是显示本发明第四实施方式所涉及的光源推定系统的构成的方框图。在图25中，用与图1相同的符号表示与图1通用的构成要素，这里省略详细说明。
在图25中，例如在由带相机的手机构成的通信终端1100中设有图1所示的各个构成要素中光源信息推定部105以外的构成要素。光源信息推定部105设在离通信终端1100有一段距离经由网络(network)相连接的外部装置即服务器1101上。也就是说，在该实施方式中，在通信终端1100一侧，不是进行所有的处理，而是仅取得光源图像与摄像装置信息；光源信息推定处理在服务器1101一侧执行。
如在第一实施方式中所述的那样，在通信终端1100一侧，由光源图像取得部102取得光源图像，由第一摄像装置信息取得部103取得在取得光源图像时的第一摄像装置信息，由第二摄像装置信息取得部104取得实际拍摄时的第二摄像装置信息。由信息发送部108将这些光源图像以及第一、第二摄像装置信息发送出去。而且，此时还可以对光源信息推定的内容进行指示。
在服务器1101一侧，信息接收部109接收从通信终端1100经由网络发送的信息，即光源图像以及第一、第二摄像装置信息。已接收的光源图像以及第一、第二摄像装置信息施给了光源信息推定部105。如在第一实施方式中所述，光源信息推定部105进行光源信息的推定。当对光源信息推定的内容接受了指示的时候，根据该指示进行光源信息的推定。
这样将光源信息推定部105设在服务器1101中，进行光源信息推定处理以后，就能够使通信终端1100一侧的计算负荷减轻。
(利用了光源信息的图像的高分辨率化) 本发明的光源推定装置对被公认为数字变焦的图像的高分辨率化特别有效。因为图像的高分辨率化能够对已拍摄的图像任意地进行放大处理，所以图像的高分辨率化在图像拍摄后的编辑处理中很重要。本来这样的图像的高分辨率化是通过插值处理等进行的，但在合成2×2倍以上的放大图像的情况下，曾经出现的问题是，合成的图像模糊了，图像质量下降了。利用本发明的光源推定方法，能够实现图像质量下降少的图像的高分辨率化。对该方法进行说明。
首先，对该处理的概念进行说明。本发明的高分辨率化处理利用以下的四个输入信息。
○被摄物的扩散反射图像 ○被摄物的镜面反射图像 ○被摄物的三维形状信息 ○光源位置、色彩、照明度
这里，扩散反射图像是仅将输入图像中的粗糙(mat)反射成分即扩散反射成分图像化后得到的图像，同样，镜面反射图像是仅将输入图像中的发亮部(shine)即镜面反射成分图像化后得到的图像。这里，扩散反射成分，是象在无光泽的物体表面所发生的反射那样，朝着所有方向一样地散射的成分。另一方面，镜面反射成分，是象在镜面进行反射那样，在入射光的相对法线的反方向上强烈地反射的成分。若假定二色性反射模型，则物体的亮度表现为扩散反射成分和镜面反射成分之和。如下所述，镜面反射图像和扩散反射图像，能够通过边让例如偏振滤光器旋转边拍摄被摄物取得。
图26(a)显示的是用摄像装置拍摄的被光源照射的被摄物(平底的大型杯子)的图像。可知，图的上部出现的是发亮部即镜面反射。另一方面，图26(b)和图26(c)是用后述的方法将图26(a)的图像分离为扩散反射图像和镜面反射图像后的结果。在扩散反射图像中，亮部被除去，表面的纹理信息变得很鲜明，但却失去了立体感。另一方面，镜面反射图像中微小的形状信息鲜明地显现出来了，相反却失去了纹理信息。换句话说，输入图像是含有这两个完全不同的信息的两张图像的叠加。通过将图像分离为扩散反射图像和镜面反射图像，并分别进行处理，则能够进行更加精细的高分辨率化处理。
高分辨率化处理利用学习基础的手法。学习基础就是事先准备好低分辨率和高分辨率的图像组，对其对应进行学习。此时，为了在所准备的图像以外的图像中也进行高分辨率化处理，不是学习该图像，而是学习从图像中抽出的特征量。
图27是显示本发明的一个实施方式所涉及的图像高分辨率化装置的构成的方框图。图27中的图像高分辨率化装置包括图像摄像部201，利用摄像装置进行摄像；光源信息推定部203，利用上述光源推定方法，对照射被摄物的光源方向、位置、亮度、色彩、矢量信息等光源信息进行推定；形状信息取得部204，取得被摄物的表面的法线信息或三维位置信息作为形状信息；以及图像高分辨率化部217，利用由光源信息推定部203推定出的光源信息、由形状信息取得部203取得的形状信息对由图像拍摄部201拍摄的图像进行高分辨率化。由扩散反射、镜面反射分离部202将由图像拍摄部201拍摄的图像分离为扩散反射成分和镜面反射成分，图像高分辨率化部217对已分离的扩散反射成分和镜面反射成分分别进行高分辨率化。下面对各种处理进行说明。
图像摄像部201利用CCD、CMOS等摄像装置对被摄物进行摄像。这样拍摄下的图像，优选亮度变得非常高的镜面反射成分和扩散反射成分不饱和地同时被记录下来。因此，优选利用冷却CCD照相机、多重曝光摄像等能够拍摄下较广的动态范围的摄像装置。如下所述，
扩散反射、镜面反射分离部202将由图像拍摄部201拍摄的图像分离为扩散反射成分和镜面反射成分。
首先，对物体的反射特性进行说明。若假定是二色性反射模型，则物体的亮度能够用下式表现为扩散反射成分和镜面反射成分之和。
(数学式24) I＝Ia+Id+Is (式12) 式中，I是摄像装置所拍摄的被摄物的亮度值，Ia是环境光成分，Id是扩散反射成分，Is是镜面反射成分。环境光成分是光源的光被物体等散射后的间接光。它被散射到空间的任何一个地方，对直接光到不了的影子部分也施加微量的亮度。因此，一般情况下常常被作为噪音处理。
若假想环境光成分十分小，作为噪音可以忽略不计，图像就能够被分离为扩散反射成分和镜面反射成分。如上所述，扩散反射成分依赖于纹理信息，而镜面反射图像则依赖于细小的形状信息，这些成分显示出了非常不同的特性。因此，为了将图像高分辨率化，将输入的图像分离为扩散反射图像和镜面反射图像，并利用不同的方法将各个图像进行高分辨率化，便能够得到高度精细的高分辨率化图像。因此，首先，有分离为扩散反射图像和镜面反射图像的必要性。
到目前为止，提出了各种各样的分离方法。例如， ·利用镜面反射和扩散反射的偏振度的不同而使用偏振滤光器进行分离的方法(例如日本专利公报特许第3459981号公报) ·让对象物旋转，利用多谱相机分离出镜面反射区域的方法(例如日本公开专利公报特开2003—85531号公报) ·利用光源从各个方向照来的对象物的图像，合成不发生镜面反射的理想状态下的图像即线性化图像，再利用该线性化图像分离出镜面反射、影子区域的方法(例如，石井育规、福井孝太郎、向川康博、尺长健，“光学現象の分
に基づく画像の
形化”(“基于光学现象的分类的图像线性化”)、情报处理学会论文志vol.44，no.SIG5(CVIM6)，pp.11-21，2003)等。
这里，采用的是使用偏振滤光器进行分离的方法。图28示出了安装有该实施方式所涉及的图像高分辨率化装置的带相机的手机1000。如图28所示，摄像装置1001中设有带旋转机构(未示)的直线偏振滤光器1016A。还设有安装了直线偏振滤光器1016B的照明装置1007。1017是供使用者观看用的液晶显示屏。
摄像装置1001，一边利用旋转机构让直线偏振滤光器1016A，一边对被安装有直线偏振滤光器1016B的照明装置1007照射的被摄物拍摄多张图像。这里，若注意到照明被直线偏振这一事实，反射光强度则会象图29所示的那样相对于偏振滤光器1016的旋转角φ变化。这里，若设反射光的扩散反射成分为Id，镜面反射成分为Is，则反射光强度的最大值Imax和最小值Imin能够用以下各式表示。
(数学式25) (数学式26) 也就是说，反射光的扩散反射成分Id、镜面反射成分Is可由下式求出。
(数学式27) Id＝2Imin(式13) (数学式28) Is＝Imax-Imin (式14)
图30示出了该处理的流程。首先，利用旋转机构让偏振滤光器1016A旋转(步骤S301)，将图像拍摄下来，并保存到存储器中(步骤S302)。接着，确认已保存到存储器中的图像是否拍摄了规定的张数(步骤S303)。若此时还没有拍摄到足以检测反射光亮度的最小值和最大值的张数(步骤S303“否”)，便再次让偏振滤光器旋转(步骤S301)，重复进行拍摄。另一方面，若拍摄的张数已经足够多(步骤S303“是”)，则利用已拍摄下的图像数据，检测反射光亮度的最小值和最大值(步骤S304)。利用(式13)和(式14)，将扩散反射成分和镜面反射成分分离(步骤S305)。该处理由多张图像对每一个像素求出最小值和最大值也无妨，但这里，运用正弦函数来进行处理。对该处理进行说明。
图29所示的相对偏振滤光器角φ的反射光亮度I，能够象下述那样用正弦函数进行近似。
(数学式29) I＝A·sin2(ψ-B)+C (式15) 式中，A、B、C是常数，由(式13)、(式14)得出 (数学式30) Id＝2(C-A) (式16) (数学式31) Is＝2A (式17) 也就是说，通过求出(式15)中的A、B、C，便能够从已拍摄的图像中分离出扩散反射成分和镜面反射成分。
(式15)还能够象以下那样展开。
(数学式32) I＝a·sin2φ+b·cos2φ+C 但这里，(数学式33) (式18)
也就是说，求出使以下的评价式成为最小的A、B、C，就能够将扩散反射成分和镜面反射成分加以分离。
(数学式34) 式中，Ii表示偏振滤光器角度φi时的反射光强度。这里，若利用最小二乘法，则各个参数被推定如下。
(数学式35)(式19) (数学式36) (式20) (数学式37) (式21) (数学式38) (式22) (数学式39) (式23) 如上所述，利用(式16)～(式23)将扩散反射成分和镜面反射成分分离开。在该情况下，因为未知参数有三个，所以至少拍摄3张改变了偏振滤光器的旋转角的图像即可。
因此，利用对每一个像素反射光的偏振方向都不同的摄像装置代替直线偏振滤光器1016A的旋转机构也无妨。图31示意地显示这样的摄像装置的像素。这里，1022表示各个像素，各个像素内的直线表示反射光的偏振方向。也就是说，该摄像装置具有0°、45°、90°、135°四种偏振方向的像素。如图31中的粗线1023所示，象拜耳排列(Bayar arrangment)将四种像素作为一个像素处理，便能够同时拍摄下四种偏振方向不同的图像。例如只要利用光子晶体装置(photonic crystal device)等作这样的摄像装置用即可。
用已发生偏振的照明例如液晶显示屏作照明装置1007也无妨。例如，只要利用安装在手机1000上的液晶显示屏1017即可。在该情况下，优选的做法是，使液晶显示屏1017的亮度值比利用者观看时亮度值高。
当然，让照明装置1007的偏振滤光器1016B旋转来代替让摄像装置1001的偏振滤光器1016A旋转也无妨。而且，仅在摄像装置这一侧设置偏振滤光器代替在摄像装置1001和照明装置1007双方设置偏振滤光器，利用独立成分分析将扩散反射成分和镜面反射成分分离开也无妨(参看例如日本专利公报特许3459981号公报)。
光源信息推定部203利用上述的光源推定方法取得光源的方向、色彩以及照明度信息。
形状信息取得部204，取得被摄物的形状信息即被摄物的表面的法线信息或被摄物的三维位置信息。可以利用例如狭缝光投影法(slit ray projection method)、图像光投影法(pattern projectionmethod)、激光雷达法(laser radar method)等已知手法作为取得被摄物的形状信息的手段。
当然，形状信息的取得并不限于上述手法。还可以利用以下各种方法。例如，利用多个相机进行的立体视觉法、利用相机的移动进行的移动立体视觉法、利用一边改变光源的位置一边拍摄下的图像进行的光度立体视觉法、利用毫米波或超声波测量与被摄物的距离的方法、以及利用反射光的偏振特性进行的方法(例如，美国专利第5028138号、“宫琦大辅，池内克史，“
振レイトレ—シング法による透明物体の表面形状の推定手法”，電子情報通信学会
文
，vol.J88-D-II，No.8，pp.1432-1439，2005)。这里，对光度立体视觉法和利用光的偏振特性进行的方法做说明。
光度立体视觉法，是一种利用光源方向不同的三张以上的图像推定被摄物的法线方向和反射率的手法。(例如，在“H.Hayakawa，“Photometric Stereo under a light source with arbitrarymotion”，Journal of the Optical Society of America A，vol.11，pp.3079-89，1994”)中公开了这样的方法，即，通过取得图像上六点以上的反射率相等的点作为已知信息，并作为约束条件使用，则即使光源的位置信息是未知的，也能够推定出以下参数。
·被摄物信息图像上各点的法线方向和反射率 ·光源信息在被摄物的观察点的光源方向和照明度
这里，所进行的是仅利用了借助上述的扩散反射、镜面反射分离手法分离出的扩散反射图像的光度立体视觉法法。因为本来该手法假定被摄物进行完全扩散反射，所以在存在镜面反射的被摄物会产生很大的误差。但是，仅利用已分离的扩散反射图像则能够消除由于镜面反射的存在所造成的推定误差。当然，如下所述，利用已在影子去除部205去除了影子区域的扩散反射图像进行处理也无妨。
象下式那样用亮度矩阵Id表现光源方向不同的扩散反射图像。
(数学式40)
(式24) 式中，idf(p)表示光源方向f上的扩散反射图像的像素p的亮度值。图像的像素数是P像素，在不同的光源方向拍摄的图像张数是F张。但是，应用朗伯模型(Lambertian model)则能够用下式表示扩散反射图像的亮度值。
(数学式41) if(p)＝(ρp·np)·(tf·Lf)(式25) 式中，ρp表示像素p的反射率，np表示像素p的法线方向矢量，tf表示光源f的入射照明度，Lf表示光源f的方向矢量。
从(式24)和(式25)推导出以下各式。
(数学式42) I＝R·N·L·T＝S·M (式26) 这里， (数学式43)
(数学式44) (数学式45) (数学式46)
(数学式47)(式27) (数学式48) 这里，R称为表面反射矩阵，N称为表面法线矩阵，L称为光源方向矩阵，T称为光源强度矩阵，S称为表面矩阵，M称为光源矩阵。
这里，若利用奇特值分解，则(式26)能够象以下所示的那样展开。
(数学式49) I＝U·∑·v (式28) (数学式50) U＝[U′U＂] 这里， (数学式51) UT·U＝VT·V＝V·VT＝E E表示单位矩阵。U’是P×3矩阵，U”是P×(F-3)矩阵，∑’是3×3矩阵，∑”是(F-3)×(F-3)矩阵，V’是3×F矩阵，V”是(F-3)×F矩阵。这里，认为U”、V”是信号成分即U’、V’的正交基，也就是说，U”、V”是噪音成分。这里，若利用奇特值分解，则能够将(式28)变形如下。
(数学式52) (式29) (数学式53)
也就是说，解(式29)，就能够同时取得形状信息和光源信息，但却留下以下的3×3矩阵A的不确定性。
(数学式54) (式30) (数学式55) (式31) 这里，A是任意的3×3矩阵。为取得形状信息和光源信息需要求出该矩阵A。例如，只要已知画面上六点以上反射率相等即可。例如，假定任意六点k1～k6的反射率相等，则 (数学式56) (sk1)2＝(sk2)2＝(sk3)2＝(sk4)2＝(sk5)2＝(sk6)2＝1 (式32) 由(式27)、(式30)以及(式32)，对 (数学式57) (式33) (数学式58) B＝A·AT (式34)求解，则(式33)成为下式。
(数学式59) (式35) 这里，因为由(式34)求出矩阵B是对称矩阵，所以矩阵B的未知数是6。也就是说，若已知画面上六点以上的反射率相等，则能够将(式35)解出来。
若矩阵B已知，则能够对(式34)进行奇特值分解将矩阵A解出来。
进一步由(式30)和(式31)取得形状信息和光源信息。
如上所述，在反射率相等的六点以上的像素已知的被摄物中，通过一边改变光源方向，一边拍摄三张以上的图像，便能够得到以下的信息。
·被摄物信息图像上各点的法线方向矢量和反射率 ·光源信息在被摄物的观察点的光源方向矢量和放射照明度
不过，在上述处理中求得的被摄物的反射率和光源的放射亮度是相对的，要想求出绝对值，还需要例如已知在画面上六点以上的反射率等，与上述不同的已知信息。
在光源和摄像装置的位置关系已知的情况下，采用求出摄像装置与被摄物的距离、三维位置的做法也无妨。利用图来对它进行说明。
图32是用以说明该处理的示意图。在图32中，1001表示摄像装置，1007A及1007B表示光源，1015表示被摄物的观察点O，1010A及1010B表示在被摄物的观察点O各光源的光源方向，1021表示在被摄物的观察点O摄像装置的视线方向。
首先，因为已知光源和摄像装置的位置关系，所以摄像装置1001和光源1007A、1007B的三维位置关系La、Lb是已知的。假定摄像装置1001已被标定，则摄像装置1001的视线方向1021也是已知的。由此可知，被摄物的观察点O1015存在于该视线方向1021上。利用上述光度立体视觉法在被摄物的观察点O各个光源的光源方向1010A、1010B是已知的。若设摄像装置1001与观察点O1015的距离Lv是正(Lv>0)，则就只存在一个满足这样的位置关系的观察点O。因此，知道了观察点O1015的位置，求出了摄像装置1001与观察点O1015的距离Lv。
例如象数码相机的闪光灯一样，光源设在摄像装置中的情况下，光源和摄像装置的位置关系能够从设计信息中求出。
形状信息取得部204利用反射光的偏振特性，取得被摄物的表面法线方向也无妨。利用图33对该处理进行说明。
在图33中，1001表示摄像装置，1007表示光源，1015表示观察点O，1016表示带马达等旋转机构(未示)的直线偏振滤光器，1019表示法线方向。在自然光作为光源进行照射的状态一边利用旋转机构让偏振滤光器1016旋转一边摄像了的情况下，该反射光强度成为周期π的正弦函数，如图34所示。
这里，考虑一下测量该反射光强度的最大值Imax和最小值Imim的偏振滤光器的角度
假设包括摄像装置1001和光源1017、观察点O1015的平面为入射面，被摄物的镜面反射成分处于支配地位，
就是偏振滤光器1016的偏振方向垂直于入射面的方向，
就是偏振滤光器1016的偏振方向平行于入射面的方向，这已为众人所知。
如上所述，在光源是偏振光源的情况下，在反射光成分中具有偏振特性的成分，是在观察点O的表面反射的镜面反射成分；非偏振成分是扩散反射成分。由此可知，反射光强度的最大值Imax和最小值Imim的强度差所产生的观察点O是镜面反射成分很强的观察点，也就是说，光发生正常反射的点(观察点O的法线方向1019是从观察点O开始的光源方向和从观察点O开始的摄像装置方向的二等分线方向)。于是，法线方向1019也存在于入射面内。因此，通过推定
或
便能够推定出法线方向1019存在于以下的平面内。
○通过摄像装置1001、且含有偏振滤光器1016的偏振方向
(或
的垂直方向)的平面。
这里，
或
通过进行上述正弦函数的代入处理来推定。
改变摄像装置1001的位置并进行同样的处理，就能够推定出含有法线方向1019的两个不同的平面。通过求已推定的两个平面的交线推定法线方向1019。此时，需要推定摄像装置1001的移动量，利用上述的“八点法”等推定摄像装置1001的移动量即可。
当然，与扩散反射、镜面反射分离部202一样，对每一个像素使用偏振方向不同的摄像装置也无妨。
当然，求法线方向1019时，不是改变摄像装置1001的位置，而是设置多台摄像装置1001也无妨。
如上所述，在利用了光度立体视觉法法和光的偏振特性的方法下，取得被摄物表面的法线信息。另一方面，在狭缝光投影法、立体视觉法等手法下，取得被摄物的三维位置信息。被摄物表面的法线信息，是在被摄物的三维位置信息的微小空间的斜率信息。无论哪一个都是被摄物的形状信息。
经过以上处理，形状信息取得部204取得被摄物的形状信息即被摄物表面的法线信息或被摄物的三维位置信息。
经过以上处理，取得以下信息。
○被摄物的扩散反射图像 ○被摄物的镜面反射图像 ○被摄物的三维形状信息 ○光源位置、照明度
影子去除部205对图像中的影子区域进行推定，进行影子去除处理。已提出了各种各样的方法来进行这样的影子去除以及影子区域推定处理，例如，利用影子区域的亮度值低这一特征，将亮度值在阈值以下的像素推定为影子区域即可。
在利用形状信息取得部204取得三维形状信息的情况下，利用在计算机图形学(Computer—Graphics)领域中所广泛使用的绘制手法(rendering method)即光线追踪法(ray tracing method)也无妨。图形绘制，是通过计算与物体的坐标数据、光源、视点的位置等环境有关的数据而进行的，光线追踪是相反地寻找到达视点的光线而进行描绘。因此，利用光线跟踪便能够计算出在哪里生成了何种程度的影子。
接下来，利用各自不同的方法将由扩散反射、镜面反射分离部202分离出的扩散反射图像和镜面反射图像高分辨率化。首先，对扩散反射图像的高分辨率化进行说明。
反射率推定部206利用由扩散反射、镜面反射分离部202分离出的扩散反射图像，推定被摄物的反射率。因为反射率不受光源信息的影响，所以通过利用反射率图像进行处理，便能够实现抗光源变动的处理。
对该处理进行说明。由(式25)得知在扩散反射成分中以下关系成立。
(数学式60) (式36) 这里，θi表示被摄物的法线方向矢量和光源方向矢量所成的角度。这里，由光源信息推定部203和形状信息取得部204角度θi是已知的。而且，如下所述，因为也能够推定光源的入射照明度tf，所以从(式36)求被摄物的反射率rp。
此时，当cosθi的值小于等于0时，也就是说，是附加上的影子(attached shadow)时，从(式36)可知，反射率rp成为负值，或者说因为分母是0，而无意义。但是，因为由上述影子去除部205去除这样的像素，所以不会出现问题。
当然，不是求被摄物的反射率，而是利用下式求在镜面反射图像的最大亮度值下将反射率正规化后所得到的似反射率rp，并利用它也无妨。
(数学式61)
式中，isf_max表示镜面反射图像的最大亮度值。在由光源信息推定部203无法取得光源的放射亮度(照明度)的情况下，这样的似反射率很有效。在利用似反射率图像的情况下，将已用于正规化的镜面反射图像的最大亮度值isf_max保存到存储器中保存好。图51示出了在反射率推定部206利用似反射率的情况下存储在存储器中的数据。已制作的似反射率图像和用于正规化的镜面反射图像的最大亮度值isf_max被保存起来
镜面反射参数在被摄物的很宽的区域内是一样的。假定在被摄物表面存在多个方向的法线，则只要光源位于相对相机照射被摄物的位置，就存在产生正常反射的正常反射像素。因此，镜面反射图像的最大亮度值isf_max成为正常反射像素的亮度值
在反射特性一样，视线方向1021大致一样的情况下，在某一光源位置下的正常反射像素的亮度值与在其它的光源位置下的正常反射像素的亮度值之比大致等于在各个光源下的光源的放射亮度比。因此，仅用
除以扩散反射图像的亮度值idf(p)会残留有光源的放射亮度的影响，但若进一步利用已经用正常反射像素的亮度值即镜面反射图像的最大亮度值isf_max进行正规化的似反射率图像，则在得不到光源的放射亮度的情况下，也能够制作出不受光源影响的扩散成分图像。
不是利用镜面反射图像的最大亮度值isf_max进行正规化，而是用扩散反射图像的最大亮度值、输入图像的最大亮度值进行正规化来制作似反射率图像也无妨。
接下来，对这样求得的反射率图像的高分辨率化进行说明。
反射率高分辨率化部207，将已经由反射率推定部206推定出的反射率图像高分辨率化。对该处理进行详细的说明。
如上所述，反射率图像是不依赖于光的镜面反射、阴影等光学现象的表现被摄物固有的反射率特性的图像。因为被摄物信息是不可缺少的，所以该实施方式的高分辨率化基于对被摄物的事先学习情况。这里利用的是基于纹理基元(图像的纹理特征量)的高分辨率化。
图35是显示基于纹理基元的高分辨率化的概念的图。因为要使像素数与目标像素数一致，所以执行时已输入的低分辨率图像(LR图像、像素数N×N)被插值并放大到M×M。将该像素数MN×MN图像称为exLR图像。exLR图像中图像的高频成分失去了，成为模糊的图像。能够将该模糊的图像锐化的只有高分辨率化，没有别的选择。
接下来，利用多重分辨率变换WT将exLR图像的亮度值以像素为单位变换为基于多重分辨率的T维纹理基元。该变换应用了小波变换、金字塔结构分解等处理。结果是，给exLR图像的各个像素生成了合计MN×MN个的T维纹理基元矢量。接着，为提高通用性，对纹理基元矢量进行了群集处理，选择出并产生了L个输入代表纹理基元矢量。对这些L个纹理矢量利用事先已经学习的数据库的信息进行变换，生成T维高分辨率化纹理矢量。该变换使用了表读出、T维的多维特征矢量空间内的线性及非线性变换。利用逆小波变换、金字塔结构再构成等逆变换IWT，使高分辨率化纹理矢量返回到图像亮度值，即制成了高分辨率图像HR。
在该处理中，需要花费很多时间来进行MN×MN个T维纹理基元矢量的群集处理中的探索和表读出处理，活动图像等高速化对应很困难。于是，进行了以下改良，1)利用LR图像进行群集处理，2)将表读出变更为线性矩阵变换。在该处理中，利用LR图像的一个像素对应于HR图像的M×M像素的单元这一事实，便能够以单元为单位进行从T维到T维的线性矩阵变换来维持在单元内部的空间连续性。而且所利用的线性矩阵可以从群集的结果中做出最佳的选择。在单元边界的不连续性成为问题的情况下，可以追加使矩阵处理单位的块(block)有一部分重叠等处理。
图36是示意地描绘出上述各个改良点的图。对LR图像进行WT变换，并以它作为T维特征量空间中的L(这里L＝3)个的代表特征矢量。各个特征矢量附带有不同的线性矩阵。保存了该状态的就是高分辨率化数据库，而不会是别的地方。
下面，以对N＝32、M＝4，也就是说，32×32像素的低分辨率图像进行4×4倍的高分辨率化为例，对图像处理手法进行详细的说明。假定反射率图像是RGB彩色图像，但假定彩色图像是从RGB变换为亮度色差(YCrCB)，并作为独立的色彩成分图像处理的。通常情况下，在2×2倍率左右下，只进行亮度Y成分的高分辨率，色彩成分保持着低分辨率的色差信号追加，也不会有什么别扭的感觉，但4×4倍率以上的话，色彩信号也必须进行高分辨率化，各个成分要进行同样的处理。下面，说明的是仅对彩色图像的一个成分图像进行的处理。
(学习时) 图37是说明学习处理的流程的PAD图。图38是用以说明学习处理中被处理的图像的处理对象像素和处理对象单元之间的关系的图。下面，交替着使用图37和图38进行说明。
首先，在S311～S313中，输入低分辨率图像(LR图像)、高分辨率图像(HR图像)以及低分辨率图像的放大图像(exLR图像)。这些图像都是从HR图像生成的，且处于无摄像中的像素偏移(pixel shift)的状态。从LR图像生成exLR图像的时候采用双三次插值法。在图38中，准备HR图像(像素数128×128)、LR图像(像素数32×32)、以及仅让LR的像素数与HR的像素数一致而而得到的exLR图像(像素数128×128)三种图像。
在步骤S314，将LR图像纹理基元化。具体而言，进行利用了Haar基的二维离散定常小波变换(Discrete stationary wavelettransformSWT变换)。假定STW变换的层次是2层次(2-step)，则会生成六维的LRW图像(像素数32×32＝1024)。本来，在2层次的二维离散定常小波变换中会成为七维特征矢量，但最低频率的LL成分图像接近图像的平均亮度信息，为将它保存起来仅利用剩下的6个成分。
在步骤S315，将已纹理基元化的LRW图像的合计1024个的六维矢量群集到Cmax个。这里，利用k-means法群集到例如Cmax＝512个。将该512个的结果纹理基元矢量的集合称为群集C。不进行群集处理，将1024个纹理基元全部利用起来也没有问题。
在步骤S316，对已经判断出属于群集C的同一群集的LR像素进行判定。具体而言，LR图像的像素值被置换为群集C的各个纹理基元号码。
在步骤S317，一边对群集C的所有纹理基元重复地进行处理，一边探索对应于该纹理基元的exLR的像素单元和HR图像的像素单元，并将该单元号码存储起来。该探索仅利用LR图像的像素数即可，在高倍率的情况下探索时间会大大地缩短。
这里，利用图38对LR图像的像素与exLR图像、HR图像的像素单元的对应关系进行说明。在图38中，假定在LR图像上，2001和2002这两个像素被判断为是属于C的同一个群集(群集号码Ci＝0)。于是，可以认为在保持这样的位置关系并被放大的exLR图像上2003、2004、在HR图像上2001和2002这样的像素单元相对应。这两个地方的单元位置的号码被作为具有该纹理基元的号码存储起来。包含在像素单元内的像素数与放大率4×4＝16相等。
接下来，在步骤S318，用exLR图像和HR图像的对这些像素单元群进行纹理基元化。具体而言，进行二维离散定常小波变换，生成exLRW图像和HRW图像。
在步骤S319和步骤S320，从上述HRW图像和exLRW图像得到的纹理基元的对以矩阵的形式聚集起来。形式都是6×Data_num的矩阵。这里，Data_num成为(一单元的像素数)×(被探索的单元数)，在上面的Ci＝0的例子中，因为探索到了两个单元，所以成为16×2＝32。
在S321中，利用最小二乘法由属于被聚集的两者的合计2×4×4＝128个特征矢量算出6×6个矩阵M，在步骤S322中，使群集号码K＝0，同时将它存储并累积在数据库CMat(K)中。S322中的最小二乘法，首先，将在S319和S320中聚集起来的exLR和HR的纹理基元的矩阵分别假定为Lf和Hf(尺寸6×Data_num)，若将要求出的矩阵设定为M(6×6)，则能够象下述那样地执行。
(数学式62) M＝Hf·LfT(Lf·LfT)-1
接下来，对群集号码K＝1重复地进行同样的处理，一直进行到K＝511为止。也就是说，CMat是对每一个群集号码规定的6×6变换矩阵的群。
最后，在S323和S324，将已经使用的群集C和已被学习的变换矩阵CMat输出。将这样求出的群集C和已被学习的变换矩阵CMat累积在反射率DB208中。
图39是一显示如何进行二维离散定常小波变换之处理的图。在通常的小波变换中，滤波器组(filter bank)的构成相同不变，分解的层次每深入一个层次，图像便跟着缩小，但在二维离散定常小波变换中，即使分解的层次深入，变换图像的尺寸也保持不变，尺度函数F和小波函数G的两种滤波器被增采样(upsampling↑)，进行2的乘方而变长，从而来进行多重分辨率分析。在Haar基中，F和G的具体数值与增采样的情况示于表1。
表1
在是LL成分的cA图像深入一个层次来进行小波分解的情况下，交替地对F和G的滤波器进行一维的旋转来生成图39所示的四种图像。1)行方向上是F，列方向上是FcA图像(LL成分)、2)行方向上是F，列方向上是GcDh图像(LH成分)3)行方向上是G，列方向上是FcDv图像(HL成分)、4)行方向上是G，列方向上是GcDd图像(HH成分)。
图40是一显示在对测试图像实施二维离散定常小波变换的情况下所得到的图像结果之例。纹理基元矢量，指的是将对应于这些小波的1—层次和2—层次的变换图像的每一个像素的值连接起来后得到的，将成为 (数学式63) (cDh1，cDv1，cDd1，cDh2，cDv2，cDd2，cA2) 的七维矢量。但是，除了是2—层次的LL成分的cA2以外，仅使用六维矢量部分进行高分辨率变换，cA2成分保存起来。
此外，这里假定在S314和S318任一个步骤中小波变换的层次数都是2—层次。该层次数变得越大，越能够用纹理基元表现到图像的大致特征。在本发明中，层次数可变，但在是用以进行LR图像的群集处理的步骤S314的情况下，有时候，1—层次作为周边的像素状况不会成为足够的信息，所以设定为2—层次。另一方面，通过实验确认得知，在是生成将exLR图像高分辨率化的纹理基元的步骤S318的情况下，例如在8×8倍率中，所得到的图像是3—层次比2—层次更加良好。因此，优选根据与倍率的关系决定层次数。
(高分辨率化处理的执行时) 图41是一显示执行时的处理流程的PAD图。图42是一显示执行时的处理与像素单元的关系的图。
首先，在S331和S332，输入LR图像和将LR图像放大后得到的exLR图像。与学习时一样，假定LR图像的像素数＝32×32，exLR图像的像素数＝128×128。这里，在图37所示的S313中，与生成学习图像的exLR图像的方法一样，exLR图像的生成方法也是采用双三次插值法。
接下来，在步骤S333和S334中，从反射率DB208中读出并输入学习时所得到的群集C和变换矩阵CMat。
在S335中，将LR图像纹理基元化。具体而言，如图42所示，进行利用了Haar基的二维离散定常小波变换(Discrete stationarywavelet transformSWT变换)。假定STW变换的层次是2层次(2-step)，则会生成六维LRW图像(像素数32×32＝1024)。本来，在2层次的二维离散定常小波变换中会成为七维特征矢量，但最低频率的LL成分图像接近图像的平均亮度信息，为将它保存起来仅利用剩下的6个成分。
接下来，在步骤S336，对各个纹理基元探索群集C(Cmax个纹理基元)内的最短距离的纹理基元矢量来得到纹理基元号码(Ci)。在图42中，这就相当于将C0、C1、...Cn等纹理基元号码加给LR图像的一列(line)上的各个像素2011、2012、...2013。
接下来，进入S337。这之后，按照扫描线顺序对HR图像的各个单元进行处理，重复进行。具体而言，在图42中，若对exLR图像的单元2014、2015、...2016进行处理，则所对应的HR图像的单元2023、2024、...2025依序被高分辨率化。
在S337中，exLR图像的该单元区域被纹理基元化。具体而言，进行二维离散定常小波变换(Discrete stationary wavelettransformSWT变换)，生成exLRW图像。生成单元2017、2018、...2019等。
在S338中，从纹理基元号码中抽取变换矩阵CMat来确定该单元中的变换矩阵M。该处理象图42所示的那样进行。LRW图像中已经这样分配好了纹理基元号码，即像素2011＝C0、像素2012＝C1、...像素2013＝Cn。将它应用到已经保存了位置关系的exLRW图像的单元2017、2018...2019中，便能够在各个单元中，将C0、C1...Cn作为纹理基元号码从Mat选择出各自的6×6变换矩阵M。
在S339中，让变换矩阵M对各个单元发挥作用。只要对单元内的所有纹理基元LTi(i＝1～16)进行以下计算即可。
(数学式64) HTi＝M·LTi 重复进行该计算，从exLRW图像的单元2017、2018...2019分别生成HRW图像的单元2020、2021、...2022。
接下来，将exLRW图像的2—层次的LL成分附加到这些已被高分辨率化的单元内的六维纹理基元中，生成七维纹理基元。
在S340中，对各个单元内七维纹理基元进行逆SWT变换，变换为图像。对exLR图像的所有单元重复进行以上的处理。
逆SWT(ISWT)变换能够用图43所示的信号流(signal flow)来实现。表现基本上和图39一样。在通常的小波逆变换中，滤波器组的构成相同不变，分解的层次每深入一个层次，图像便跟着放大。相对于此，在该逆变换中，即使分解的层次深入，变换图像的尺寸也保持不变，尺度函数F和小波函数G1两种滤波器被减采样(downsampling↓)，进行2的乘方运算而变短，从而来进行多重分辨率解析。在Haar基，F和G1的具体数值与减采样的情况显示于表2。
表2
如上所述，反射率图像的一个成分被高分辨率化。对所有的反射率图像进行该处理，即合成高分辨率的反射率图像。
此时，可以进行图像的正规化处理，做到即使包含在反射率图像中的被摄物的大小、姿势、方向发生变化也能够进行该处理。一般认为在反射率图像的大小、姿势相对学习数据不同的情况下，利用纹理基元进行的高分辨率化处理高分辨率化的精度不能充分地发挥出来。于是，准备多组反射率图像解决该问题。也就是说，每一次让反射率图像旋转30度，并将多次旋转30度后所得到的多张图像合成，再对所有的图像进行高分辨率化，来适应姿势、方向的变化。在该情况下，只要在上述的“高分辨率化处理的执行时”的PAD图，即图41中的步骤S336中，在探索最短距离的纹理基元之际，对从已经进行了旋转处理的各个图像求出的多张LR图像的纹理基元分别探索最短距离的纹理基元，探索到最短的距离的纹理基元，得到纹理基元号码(Ci)即可。
为与大小的变化相对应，可以对图像的大小已经被改变了的反射率图像进行合成。
而且，以实际的大小为基准进行放大缩小处理，例如5cm×5cm的图像一定成为8×8像素，并对该图像制作纹理基元也无妨。因为由形状信息取得部204得知被摄物的大小是已知的，所以“学习时”及“高分辨率化处理的执行时”都可以用同样大小的图像制作纹理基元，来适应大小的变化。
而且，还可以不是让“高分辨率化处理的执行时”的反射率图像旋转，而是让“学习时”的反射率图像旋转，制作多组纹理基元，将群集C和已经被学习的变换矩阵CMat累积在反射率DB208中。
还可以进一步地推定被输入的被摄物是什么，且进行姿势推定，推定已被推定的被摄物如何旋转。这样的处理利用被广泛使用的图像认识技术即可。这样做即可，例如，该被摄物设置一个RFID那样的标识符，识别该标识符确认该被摄物是什么，进一步从标识符信息推定被摄物的形状信息，再从图像、被摄物的信息进行姿势推定(参考例如日本公开专利公报特开2005—346348号公报)。
扩散反射图像高分辨率化部209，从由反射率高分辨率化部207合成的高分辨率反射率图像合成高分辨率扩散反射图像。对该处理进行说明。
如上所述，反射率图像是用光源方向矢量和被摄物的法线方向矢量的内积去除扩散反射图像而得到的。因此，把反射率图像与由光源信息推定部203推定的光源方向矢量、由形状信息高密度化部211求出的被摄物的高密度法线方向矢量的内积相乘，合成高分辨率扩散反射图像。在由光源信息推定部203推定出多个光源的情况下，对各个光源分别合成高分辨率扩散反射图像，再将这些图像加起来，合成一张高分辨率扩散图像。
在利用的不是反射率图像而是似反射率图像的情况下，把似反射率图像、与由光源信息推定部203推定的光源方向矢量和由形状信息高密度化部211求出的被摄物的高密度法线方向矢量之内积相乘，再进一步乘上为用于正规化的镜面反射图像的最大亮度值isf_max，合成高分辨率扩散反射图像。因为在正规化中所利用的镜面反射图像的最大亮度值isf_max利用反射率推定部206累积到存储器中，所以只要读出该信息即可。当然，在利用扩散反射图像的最大亮度值、输入图像的最大亮度值进行正规化的情况下，不是乘以镜面反射图像的最大亮度值isf_max，而是乘以用于进行正规化的扩散反射图像的最大亮度值、输入图像的最大亮度值。
通过以上处理，能够合成已被高分辨率化的扩散图像。这里，高分辨率化处理是利用反射率图像进行的，但可以不利用反射率图像，直接对扩散图像进行高分辨率化。在该情况下，只要利用扩散图像进行学习处理即可。
接下来，对镜面反射图像的高分辨率化处理进行说明。这里，将图像分解为参数，对每一个参数进行高密度化。按顺序对该处理进行说明。
参数推定处理部210，利用由形状信息取得部204取得的被摄物的法线信息、由扩散反射、镜面反射分离部202分离出的扩散反射图像和镜面反射图像推定表现该被摄物的参数。这里，对利用了在计算机图形学(Computer—Graphics)领域中广泛使用的Cook—Torrance模型的方法进行说明。
在Cook—Torrance模型中，镜面反射图像被按照下式模型化。
(数学式65) Is＝Ksρs，λ (式37) (数学式66) (式38) (数学式67)(式39) (数学式68) (式40) (数学式69) c＝L·H (式41) (数学式70) (式42) (数学式71) (式43) (数学式72) (式44) (数学式73)(式45)
式中，Ei表示入射照明度，ρs，λ表示波长λ下的镜面反射成分的双向反射率，n表示被摄物的法线方向矢量，V表示视线矢量，L表示光源方向矢量，H表示视线矢量和照明方向矢量的中间矢量，β表示中间矢量H和法线方向矢量n所成的角度。Fλ是从菲涅耳(fresnel)方程式求出的来自介质表面的反射光之比即菲涅耳系数，D表示微面(microfacet)分布函数，G是几何衰减率，表示由于物体表面的凹凸造成的遮光的影响。nλ是被摄物的折射率，m是表示被摄物表面的粗糙度的系数，Ij是入射光的放射亮度。ks是镜面反射成分的系数。
若利用(式25)的朗伯模型，(式12)便被展开如下。
(数学式74) I＝Ia+Id+Is＝Ia+KD+Ksρs，λ (式46) 这里， (数学式75) (式47) (数学式76) (式48) 式中，ρd表示扩散反射成分的反射率，dpx、dpy表示摄像装置的一个像素的x方向、y方向上的长度，r表示摄像装置离观察点O的距离。kd是满足以下关系式的系数。
(数学式77) kd+ks＝1 (式49) Sr是用以表现扩散反射成分和镜面反射成分的亮度值的不同的常数，表示扩散反射成分从被摄物朝着所有方向反射能量。图44是用以说明该常数Sr的示意图。在图44中，在观察点O被反射的扩散反射成分能量扩展成为半球形状。这里，因为摄像装置1001离开观察点O的距离是r，所以到达摄像装置1001的一个摄像单元的能量与在观察点O反射的总能量之比Sr用(式48)表达。
由上述可知，参数推定处理部210从(式37)到(式45)、(式46)、(式47)以及(式48)中推定参数。
总结一下上述关系式，用以进行参数推定的已知参数和应该推定的参数如下。
(已知参数) o环境光成分Ia ○扩散反射成分Id ○镜面反射成分Is ○被摄物的法线方向矢量n ○光源方向矢量L ○视线矢量V ○中间矢量H ○中间矢量H与法线方向矢量n所成的角度β ○摄像装置1001的一个像素在x方向、y方向上的长度dpx、dpy ○摄像装置1001与观察点O的距离r (应该推定的参数) ○入射照明度Ei ○镜面反射成分的系数ks ○被摄物表面的粗糙度m ○被摄物的折射率ηλ 这里，扩散反射成分的系数kd与扩散反射成分的反射率ρd也是未知的参数，但因为仅推定镜面反射成分的参数，所以这里不进行推定处理。
图45是一显示参数推定处理部210的处理流程的图。处理分以下两个步骤进行。
首先，使用光源信息求入射照明度Ei(步骤S351)。这里，利用由光源信息推定部203取得的光源的位置信息、由形状信息取得部204求出的摄像装置与被摄物之间的距离信息以及由光源信息推定部203求出的光源照明度。从下式求出。
(数学式78) (式50) 式中，Ii表示由设在摄像装置1001的照度计1018测量的光源1007的入射照明度，R1表示摄像装置1001与光源1007之间的距离，R2表示光源1007与观察点O之间的距离，θ1表示在观察点O法线方向1019与光源方向1010C所成的角度，θ2表示摄像装置1001中的光轴方向1005与光源方向1010A所成的角度(参考图46)。这里，在认为被摄物的大小比光源1007与观察点O之间的距离R2大很多的情况下，距离R2在被摄物上的所有观察点O都相等。于是，在(式50)中，(R1/R2)成为常数，无需实际测量。
接下来，利用单体(simplex)法推定未知参数m、ηλ以及ks(步骤S352)。单体法，是一种在被称为单体的图形的顶点配上变量，改变单体的大小和形状进行函数的最佳化的方法(大田登，“色再現光学の基礎”，pp.90-92，コロナ社)。单体是n维空间的(n+1)个点的集合。n是要推定的未知数的个数，这里是“3”。因此，单体是四面体。用矢量xi表示单体的顶点，新的矢量便被决定如下。
(数学式79)(式51) (数学式80) (数学式81) (数学式82) (式52) 这里， (数学式83) (数学式84) 分别表示使各个函数f(xi)成为最大、最小的xi。
而且，在该方法中所使用的三种操作象下述那样决定出来。
1.镜像 (数学式85) xr＝(1+α)x0-αxh (式53) 2.扩张 (数学式86) xe＝βxr+(1-β)xh (式54) 3.收缩 (数学式87) xc＝γxh+(1-γ)x0 (式55) 式中，α(α>0)、β(β>1)、γ(1>γ>0)是系数。
单体法是基于以下期待的方法，该期待是选择单体的顶点中函数值最大的那个顶点，该镜像中的函数值会变小。若该期待正确，则通过重复进行同样的处理便可求出函数的最小值。也就是说，通过三种操作更新已被给予初始值的参数，直到与评价函数所显示的目标的误差小于阈值为止。这里，利用m、ηλ、ks作参数，利用了由(式56)表示评价函数，从(式37)算出的镜面反射图像与在扩散反射、镜面反射分离部202求出的镜面反射成分图像之差ΔIs。
(数学式88) (式56) 式中，is(i，j)′和is(i，j)分别是计算出的镜面反射图像的推定值Is’和在扩散反射、镜面反射分离部202求出的镜面反射成分图像Is的像素(i，j)的亮度值，Ms(i，j)是当像素(i，j)具有镜面反射成分的时候取1，而当像素(i，j)不具有镜面反射成分的时候则取0的函数。
对该处理进行详细的说明。图47是用以说明该处理的流程的流程图。
首先，将0代入将重复运算的更新次数存储起来的计数器n和k中，进行初始化(步骤S361)。这里，计数器n是存储初始值被更新了多少次的计数器，k是将针对某一初始值利用单体对候补参数进行了多少次更新的更新次数存储起来的计数器。
接下来，利用随机数决定推定参数的候补参数m’、ηλ’、ks’的初始值(步骤S362)。此时，根据各个参数的物理约束条件决定出初始值的产生范围如下。
(数学式89) m≥0 ηλ≥1.0 0≤ks≤1.0 0≤Fλ≤1.0 0≤D(式57)
接下来，将这样求得的候补参数代入(式37)中，求镜面反射图像的推定值Is’(步骤S363)。再利用(式56)求出已算出的镜面反射图像的推定值Is’与在扩散反射、镜面反射分离部202求出的镜面反射成分图像之差ΔIs，并以它作为单体法的评价函数(步骤S364)。在这样求得的ΔIs十分小的情况下(步骤S365中为“是”)，则认为参数推定成功了，选择候补参数m’、ηλ’、ks’作推定参数m、ηλ、ks并结束处理。另一方面，在ΔIs非常大的情况下(步骤S365中为“否”)，则利用单体法将候补参数更新。
在更新候补参数以前对更新次数进行评价。首先，将存储了更新次数的计数器k加1(步骤S366)，判断计数器k的大小(步骤S367)。在计数器非常大的情况下(步骤S367中为“否”)，重复运算进行得非常充分，但因为落入了区域最小，所以判断为即使这样重复更新也达不到最佳值，将初始值更新，谋求从区域最小脱离出去。于是，将计数器n加1，将0输入计数器k(步骤S371)中。这里，对计数器n的值是否比阈值高进行判断，并决定是这样继续进行处理，还是作为不能处理来结束处理(步骤S372)。这里，当n大于阈值的时候(步骤S372中为“否”)，该图像便被视作不可能推定而结束处理。另一方面，当n小于阈值的时候(步骤S372中为“是”)，便再次在(式57)的范围内从随机数中重新选出初始值(步骤S362)，重复进行处理。对这样的k的阈值，例如只要选择100等即可。
另一方面，在步骤S367中，当计数器k在阈值以下时(步骤S367中为“是”)，利用(式53)～(式55)对候补参数进行变更(步骤S368)。后面将对该处理进行论述。
接下来，判断被这样变形的候补参数作为解是否有意义(步骤S369)。也就是说，因为重复进行单体法，已被变形的参数就有可能成为物理上没有意义的值(例如粗糙度参数m是负值等)，所以需要将它去除。可以这样做，例如，给予以下的条件，当满足该条件时，判断为是具有某种意义的参数，当不满足该条件时，则判断为是没有意义的参数。
(数学式90) 0≤m 1.0≤ηλ 0.0≤ks≤1.0 0.0≤D 0.0≤Fλ≤1.0(式58) 这些值能够从被摄物求出。例如，折射率ηλ就是由被摄物的材质决定的值。例如，因为已知若是塑料，则该值是1.5～1.7；若是玻璃，则该值是1.5～1.9，所以只要利用这些值即可。换句话说，在被摄物是塑料体的情况下，将折射率ηλ设定为1.5～1.7即可。
因为在已变形的参数满足(式58)的情况下(步骤S369中为“是”)，便认为该候补参数是具有某种意义的值，所以将它作为新的候补参数设定下来(步骤S370)，重复进行更新处理(步骤S363)。另一方面，因为在已变形的参数不满足(式58)的情况下(步骤S369中为“否”)，便结束对该初始值的更新处理，利用新的初始值进行更新(步骤S371)。
这里，对在步骤S368中进行的变形处理进行详细的说明。图48是一显示该处理流程的流程图。这里，候补参数m’、ηλ’、ks’用矢量表现，并将它决定为参数x。也就是说， (数学式91)
首先，利用(式51)、(式52)、(式53)对进行了镜像操作的参数xr进行计算，利用(式56)计算在xr下的与镜面反射成分图像之差ΔIs(xr)(步骤S381)。接下来，对这样求得的ΔIs(xr)和评价函数第二个不好的ΔIs(xs)进行比较(步骤S382)。这里，当ΔIs(xr)小于ΔIs(xs)时(步骤S382中为“是”)，对已经进行了镜像操作的评价值ΔIs(xr)和现在评价值最好的ΔIs(xl)进行比较(步骤S383)。这里，当ΔIs(xr)较大时(步骤S383中为“否”)，则将评价值最低的xh变更为xr(步骤S384)，结束处理。
另一方面，当ΔIs(xr)小于ΔIs(xl)时(步骤S383中为“是”)，则利用(式54)进行扩张处理，计算参数xe与在xe下的镜面反射成分图像之差ΔIs(xe)(步骤S385)。接下来，对这样求得的ΔIs(xe)和由镜像操作得到的ΔIs(xr)进行比较(步骤S386)。这里，当ΔIs(xe)小于ΔIs(xr)时(步骤S386中为“是”)，则将评价值最坏的xh变更为xe(步骤S387)，结束处理。
另一方面，当ΔIs(xe)大于ΔIs(xr)时(步骤S386中为“否”)，则将评价值最坏的xh变更为xr(步骤S387)，结束处理。
在步骤S382，当ΔIs(xr)大于ΔIs(xs)时(步骤S382中为“否”)，对已经进行了镜像操作的评价值ΔIs(xr)和现在评价值最不好的ΔIs(xh)进行比较(步骤S388)。这里，当ΔIs(xr)小于ΔIs(xh)时(步骤S388中为“是”)，则将评价值最坏的xh变更为xr(步骤S389)，利用(式55)计算已进行了收缩操作的参数xc与在xc下的镜面反射成分图像之差ΔIs(xc)(步骤S390)。另一方面，当ΔIs(xr)大于ΔIs(xh)时(步骤S388中为“否”)，则计算已经进行了收缩操作的xc和在xc下的镜面反射成分图像之差ΔIs(xc)，却不改变xh(步骤S390)。
接着，对这样求出的ΔIs(xc)和评价值最坏的ΔIs(xh)进行比较(步骤S391)。这里，当ΔIs(xc)小于ΔIs(xh)时(步骤S391中为“是”)，则将评价值最坏的xh变更为xc(步骤S392)，让处理结束。
另一方面，当ΔIs(xc)大于ΔIs(xh)时(步骤S391中为“否”)，按照下式对所有候补参数xi(i＝1，2，3，4)进行变更，让处理结束。
(数学式92)
重复进行以上处理，推定出镜面反射图像中的未知参数即m、ηλ、ks。
通过以上处理，能够将所有的未知参数推定出来。
另外，用于参数推定的模型，并非一定要是Cook—Torrance模型，还可以是例如Torrance—Sparrow模型、Phong模型、简易Torrance—Sparrow模型等(例如，K.Ikeuchi and K.Sato，＂Determining Reflectance Properties Of An Object UsingRange And Brightness Images＂，IEEE Transactions on PatternAnalysis and Machine Intelligence，vol.13，no.11，pp.1139-1153，1991).
参数推定方法，并不一定非要是单体法，利用例如勾配法、最小二乘法等一般的参数推定手法也无妨。
可以对每一个像素进行以上处理，也可以进行区域分割，再对每一个区域推定出相等的参数组。在对每一个像素进行处理的情况下，优选通过移动光源、摄像装置或者被摄物，取得被摄物的法线方向矢量n、光源方向矢量L或者视线矢量V等已知参数已变动了的样品。在对每一个区域进行处理的情况下，优选改变区域分割使对每一个区域求得的参数的偏差变小，从而进行最佳的参数推定。
形状信息高密度化部211将在形状信息取得部204取得的表面的法线信息高密度化。这将象下述那样来实现。
首先，将在形状信息取得部204取得的表面的法线信息向由图像摄像部201取得的图像投影，求出对应于图像内各个像素的法线方向。这样的处理能够通过现有的相机标定处理(例如，運天弘樹，池内克史，“実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”，CVIM-149-34，pp.301-316，2005)实现。
此时，用极坐标表现法线矢量np，将其值设定为θp、φp(参看图49)。通过以上处理制作法线成分即θ、φ的图像。利用与上述反射率高分辨率化部207一样的手法将这样求得的θ图像和φ图像高分辨率化推定高密度的形状信息。此时，在进行高密度化处理以前进行学习处理，将对法线的θ、φ成分的群集C和已经被学习的变换矩阵CMat累积到法线DB212中。
优选以上处理仅在影子除去部205中作为影子未被去除的区域进行。这样做是为了防止参数推定处理由于影子的存在而产生误差。
在参数推定部210中，利用设在摄像装置附近的能够控制的光源也无妨。该光源可以是数码相机的闪光灯。在该情况下，可以在时间上连续地拍摄打开闪光灯而拍摄的闪光图像、和未打开闪光灯而拍摄的非闪光图像，再利用该差分图像进行参数推定。摄像装置和是光源的闪光灯的位置关系是已知的，而且，事先也能够将闪光灯的光源信息即三维位置、色彩、强度测量好。还有，因为摄像装置和闪光灯被设置在非常近的地方，所以能够拍摄下影子少的图像。于是，能够对图像内几乎所有的像素推定出参数。
参数高密度化部213将由参数推定部210求得的参数高密度化。这里，进行单纯的线性插值将所有的参数高密度化。当然，利用进行了上述反射率高分辨率化部207那样的学习的高密度化手法也无妨。
可以对不同的参数采用不同的高密度化方法。例如，一般认为即使高密度化，推定参数即被摄物的折射率ηλ的值也不变化，所以，可以利用单纯插值法将被摄物的折射率ηλ高密度化，而对于扩散反射成分的系数kd、镜面反射成分的系数ks、以及扩散反射成分的反射率ρd可以进行利用了学习的高密度化处理。
镜面反射图像高分辨率化部214，利用由法线信息高密度化部211推定的高密度法线信息和由参数高分辨率化部214高密度化的参数，合成高分辨率镜面反射图像。将已高密度化的参数代入(式37)～(式45)中来合成高分辨率化镜面反射图像。
这里，也可以例如在仅推定出入射照明度Ei的值上乘以系数1(例如1＝2)，使亮度值比实际的镜面反射图像高。这是为了提高镜面反射图像的亮度值，使被摄物的质感提高之故。同样，以被摄物表面的粗躁度m作为大于推定值的值，合成发亮部比实际强的镜面反射图像也无妨。
影子生成部215，合成与由扩散反射图像高分辨率化部209和镜面反射图像高分辨率化部214生成的高分辨率扩散反射图像和高分辨率镜面反射图像重叠在一起的影子图像。这只要利用在影子除去部205中所利用的的光线跟踪进行即可。
这里，假定图像高分辨率化部217具有有关成为摄像对象的被摄物的三维形状的知识。影子生成部215取得被摄物的三维形状数据，从摄影图像中被摄物的外观(appearance)推定被摄物的三维姿势与三维位置。在被摄物是人的眼睛的角膜的情况下，从外观推定三维位置与三维姿势的例子公开在“K.Nishino and S.K.Nayar，＂The World in an Eye＂，in Proc.of Computer Vision andPattern Recognition CVPR′04，vol.I，pp444-451，Ju1.，2004”中。能够从外观推定三维位置与三维姿势的被摄物是有限的，但只要是那样的被摄物上述文献中的方法就适用。
被摄物的三维姿势和三维位置被推定出来，就能够算出在被摄物上的任意位置上被摄物表面的法线信息。对所拍摄的图像重复进行以上处理，算出被摄物表面的法线信息。而且，通过利用在法线信息高密度化部211推定的高密度法线信息将被摄物的法线信息高密度化，便能够将被摄物的三维形状高密度化。通过利用这样求得的高密度三维形状和由参数高分辨率化部213高密度化的参数进行射线追踪，来进行高分辨率影子图像的推定。
再现部216，将已由扩散反射图像高分辨率化部209合成的高分辨率扩散反射图像、已由镜面反射图像高分辨率部214合成的高分辨率镜面反射图像、已由影子生成部215合成的影子图像合成后，再合成高分辨率的输出图像。
如上所述，利用上述的光源推定方法进行高分辨率的数字变焦处理。换句话说，在将图像高分辨率化的时候，光源信息是对影子去除部205、反射率推定部206、扩散反射图像高分辨率化部209、参数推定部210、镜面反射图像高分辨率化部214、影子生成部215所需要的信息，非常重要。因此，能够正确地取得光源信息的本发明的光源推定方法，是图像的高分辨率化中非常重要的处理。
在上述说明中，利用参数推定仅对镜面反射图像进行了高分辨率化，但还可以对扩散反射图像进行参数推定，并进行高分辨率化。
对该处理进行说明。如上所述，扩散反射图像的未知参数是以下两个。
○扩散反射成分的系数kd ○扩散反射成分的反射率ρd 这里，对这些参数进行推定。图50是显示扩散反射图像的参数推定处理的流程的图。该处理，是在图45所示的镜面反射图像的参数推定部210所进行的处理以后，又进行了以下两个阶段的处理。
首先，利用(式49)和镜面反射图像的参数推定求出的ks，由下式推定kd(步骤S353)。
(数学式93) kd＝1-ks
进一步利用(式47)，由下式推定扩散反射图像的反射率ρd(步骤S354)。
(数学式94)
经过以上处理，所有的未知参数都能够推定出来。可以利用与参数高密度化部213一样的手法将这样求出的参数高密度化，将扩散反射图像高密度化。
另外，本发明的光源推定方法，不仅对图像处理很有效，对例如图像的拍摄也很有效。例如，在利用偏振滤光器的情况下，能够将它设置在最佳的角度上。对该处理进行说明。
为了除去水面、窗户玻璃等镜面反射光，利用被称为PL滤光器的偏振滤光器。但是，偏振滤光器所带来的效果由于偏振滤光器的偏振轴和入射面(含有对被摄物的入射光线和反射光线的平面)的不同而不同。因此，如图28所示，在一边利用旋转机构让偏振滤光器1016A旋转，一边摄像的情况下，旋转角不同，所拍摄的图像也就大大地不同。例如，在效果最大的情况是偏振轴与入射面平行的情况。利用本发明的光源推定方法，因为光源位置已知，所以能够确定出被摄物的入射面。结果是，只要控制旋转机构，使得偏振滤光器相对已推定的入射面平行即可。
如上所述，利用本发明的光源推定方法，能够进行高分辨率数字变焦处理等图像处理，进行有效的图像摄像。
根据本发明，不安装附加的摄像装置，就能够取得光源图像，推定出光源信息。因此，例如在带相机的手机、数码相机、数码摄像机中进行图像的高分辨率化等图像处理时，本发明非常有用。
权利要求
1、一种光源推定装置，包括
摄像装置状况判断部，判断摄像装置的状态是否适合取得光源信息，
光源图像取得部，当由摄像装置状况判断部判断为适合取得光源信息时，由所述摄像装置拍摄图像，再取得该拍摄图像作光源图像，
第一摄像装置信息取得部，取得表示光源图像已由所述光源图像取得部取得时所述摄像装置的状况的第一摄像装置信息，
第二摄像装置信息取得部，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，以及
光源信息推定部，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。
2、根据权利要求1所述的光源推定装置，其特征在于
所述摄像装置状况判断部，检测所述摄像装置的光轴方向，当光轴朝向上方的时候，判断为适合取得光源信息。
3、根据权利要求1所述的光源推定装置，其特征在于
所述光源图像取得部，在确认所述摄像装置不是根据所述摄像者的操作拍摄图像之后，取得光源图像。
4、根据权利要求1所述的光源推定装置，其特征在于
所述光源信息推定部，除了对光源方向与位置中的至少一个进行推定以外，还对光源的亮度、色彩以及光谱信息中的至少一个进行推定。
5、根据权利要求1所述的光源推定装置，其特征在于
所述光源图像取得部，取得多张所述光源图像；
当已由所述光源图像取得部取得各光源图像时，所述第一摄像装置信息取得部分别取得所述第一摄像装置信息；
所述光源推定装置包括光源图像合成部，该光源图像合成部利用由所述第一摄像装置信息取得部取得的多张第一摄像装置信息，按照由所述光源图像取得部取得的多张光源图像合成全景光源图像；
所述光源信息推定部利用所述全景光源图像与所述第二摄像装置信息推定光源信息。
6、根据权利要求1所述的光源推定装置，其特征在于
包括使所述摄像装置的光轴方向改变的光轴方向改变机构；
所构成的光源推定装置，在所述摄像装置的光轴方向由于所述光轴方向改变机构的作用而改变的状态下，由所述光源图像取得部取得多张光源图像。
7、根据权利要求6所述的光源推定装置，其特征在于
所述光源推定装置安装在翻盖式手机中，
所述光轴方向改变机构是打开、关闭所述翻盖式手机的打开、关闭机构。
8、根据权利要求6所述的光源推定装置，其特征在于
所述光轴方向改变机构是振动机构。
9、一种光源推定装置，包括
光源图像取得部，由摄像装置拍摄图像，再取得该拍摄图像作光源图像，
第一摄像装置信息取得部，取得表示光源图像已由所述光源图像取得部取得时所述摄像装置的状况的第一摄像装置信息，
第二摄像装置信息取得部，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，
光源信息推定部，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息，以及
光轴方向改变机构，使所述摄像装置的光轴方向改变；
所构成的光源推定装置，在所述摄像装置的光轴方向由于所述光轴方向改变机构的作用而改变的状态下，由所述光源图像取得部取得多张光源图像。
10、一种推定光源信息的光源推定系统，包括
通信终端，具有权利要求1所述的摄像装置状况判断部、光源图像取得部、第一摄像装置信息取得部以及第二摄像装置信息取得部，发送由所述光源图像取得部取得的光源图像、由所述第一摄像装置信息取得部取得的第一摄像装置信息以及由所述第二摄像装置信息取得部取得的第二摄像装置信息，以及
服务器，具有权利要求1所述的光源信息推定部，接收从所述通信终端发送来的所述光源图像及所述第一、第二摄像装置信息，再将已接收的所述光源图像及所述第一、第二摄像装置信息供给所述光源信息推定部。
11、一种光源推定方法，包括
第一步骤，判断摄像装置的状态是否适合取得光源信息，
第二步骤，当在所述第一步骤判断为适合取得光源信息时，由所述摄像装置拍摄图像，再取得该拍摄图像作光源图像，
第三步骤，取得表示在所述第二步骤已取得光源图像时所述摄像装置的状况的第一摄像装置信息，
第四步骤，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，以及
第五步骤，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息。
12、一种光源推定方法，包括
第一步骤，由摄像装置拍摄图像，再取得该拍摄图像作光源图像，
第二步骤，取得表示在所述第一步骤已取得光源图像时所述摄像装置的状况的第一摄像装置信息，
第三步骤，取得表示由所述摄像装置根据摄像者的操作拍摄图像的摄像时所述摄像装置的状况的第二摄像装置信息，
第四步骤，利用所述光源图像及所述第一、第二摄像装置信息推定含有所述摄像时光源方向与位置中的至少一个的光源信息，以及
第五步骤，在所述第一步骤，利用所述光轴方向改变机构使所述摄像装置的光轴方向改变，在所述摄像装置的光轴方向已改变的状态下，取得多张光源图像。
13、一种图像高分辨率化装置，包括
图像拍摄部，由所述摄像装置拍摄图像，
光源信息推定部，利用权利要求11或12所述的光源推定方法，推定含有照射被摄物的光源的方向与位置中的至少一个的光源信息，
形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作形状信息，以及
图像高分辨率化部，利用所述光源信息与形状信息将由所述图像拍摄部拍摄的图像高分辨率化。
14、根据权利要求13所述的图像高分辨率化装置，其特征在于
所述图像高分辨率化部，将由所述图像拍摄部拍摄的图像分离为扩散反射成分和镜面反射成分，再分别将已分离的扩散反射成分和镜面反射成分高分辨率化。
15、根据权利要求13所述的图像高分辨率化装置，其特征在于
所述图像高分辨率化部，将由所述图像拍摄部拍摄的图像进行分解为参数，再分别将已分解出的参数高分辨率化。
16、一种图像高分辨率化方法，包括
第一步骤，由摄像装置拍摄图像，
第二步骤，利用权利要求11或12所述的光源推定方法，对含有照射被摄物的光源的方向与位置中的至少一个的光源信息进行推定，
第三步骤，取得所述被摄物的表面的法线信息或三维位置信息作形状信息，以及
第四步骤，利用所述光源信息与形状信息将在所述第一步骤已拍摄的图像高分辨率化。
全文摘要
摄像装置状况判断部(101)判断摄像装置(1001)的状态是否适合取得光源信息。当判断为适合取得光源信息时，光源图像取得部就取得由摄像装置(1001)拍摄的光源图像。第一摄像装置信息取得部103取得表示取得光源图像时摄像装置(1001)的状况的第一摄像装置信息。第二摄像装置信息取得部(1004)取得表示实际摄像时摄像装置(1001)的状况的第二摄像装置信息。光源信息推定部(105)利用光源图像及第一、第二摄像装置信息推定摄像时的光源信息。
文档编号H04N5/232GK101422035SQ20078001313
公开日2009年4月29日 申请日期2007年5月28日 优先权日2006年5月29日
发明者佐藤智, 金森克洋, 本村秀人 申请人:松下电器产业株式会社