专利名称：图像高分辨率化装置、图像高分辨率化方法、图像高分辨率化程序以及图像高分辨率化系统的制作方法
技术领域：
本发明涉及一种图像处理技术，特别涉及一种将图像高分辨率化的技术。
背景技术：
随着带相机的手机、数码相机的普及，图像处理的重要度也越来越高。这样的图像处理之一就是广为人知的数字变焦距这一图像的高分辨率化。图像的高分辨率化用于将所摄像的图像任意地放大的放大处理，在图像摄像完后的编辑处理中很重要。
各种各样的方法已被提出来去进行图像的高分辨率化。例如，普通的手法有双线性法(线性插值处理)、双三次插值法等插值法(非专利文献1)。但是，因为在利用插值的情况下，只能生成抽样数据的中间值，所以当合成2×2倍以上的放大图像时，有边缘等的锐度恶化，成为模糊图像的倾向。于是，有人提出了以下方法，即，利用插值图像作初期放大图像，之后再抽取边缘部，仅仅强调边缘(专利文献1、非专利文献2)。但是，在该方法的情况下，难以将边缘部和噪音分离开，在强调边缘部的同时，噪音也被强调了，从而导致图像质量恶化。
于是，作为一边抑制图像质量恶化一边进行图像放大的方法又有人提出了利用数据库进行的方法。换句话说，首先，利用高精细相机等事先摄像下高分辨率图像，再在相同的环境下取得与已经拍摄下高分辨率图像的被摄物是同一个被摄物的低分辨率图像。只要采用例如以下手法等取得低分辨率图像即可，即，使用不同的相机拍摄，利用变焦距透镜(镜头)拍摄高分辨率图像并改变其变焦值，让高精细图像通过低通滤波器来进行子采样。然后，将这样的低分辨率图像和高分辨率图像组成组，并准备多组这样的组，让数据库将这一关系作为图像放大方法进行学习。利用该数据库来实现图像的高分辨率化。
因为在利用该数据库进行的方式下，不需要进行上述的强调处理，所以能够实现图像质量恶化较小的图像放大。已知作为这样的处理方法有例如将图像块化，再对已块化的图像进行学习(例如专利文献2)。
专利文献1美国特许5717789号(图5)
专利文献2日本专利公报特许第3278881号公报
非专利文献1荒屋真二著、《明解三次元コンピユ一タグラフイツクス》(《明解 三维计算机制图》)、共立出版、pp.144-146、2003年9月25日
非专利文献2中静真等、“多重スケ一ル輝度こう配平面にぉける画像高分辨率化”(“多尺度亮度倾斜平面上的图像高分辨率化”)、电子情报通信学会论文志D-II Vol.J81-D-II No.10pp.2249-2258、1998年10月
发明内容
发明要解决的技术问题
但是，在利用数据库进行的图像的高分辨率化过程中存在以下问题。也就是说，在学习数据库的时候和在进行图像拍摄的时候，若光源环境不同，则被高分辨率后的图像质量并不一定能够得到保证，而有导致图像质量恶化的可能性。
本发明正是为了解决上述问题而研究开发出来的，其目的在于在利用数据库进行图像的高分辨率化处理的过程中，在输入了其光源环境与制作数据库时不同的图像的情况下，也能够不导致图像质量恶化，同时还能够实现高分辨率化。
为解决技术问题所采用的技术方案
在本发明中，利用反射率图像(albedo image)或者似反射率图像实现利用数据库进行的图像的高分辨率化。反射率图像，指的是不依赖光的镜面反射、阴影等光学现象，所表现的是被摄物固有的反射率特性的图像。似反射率图像指的是，例如利用镜面反射图像的最大亮度值等规定值将反射率图像归一化(normalization)了的图像。
所述被摄物的反射率图像或似反射率图像，能够利用光源信息和被摄物的形状信息从所拍摄的原图像制作出来。事先准备好累积有用于对反射率图像或似反射率图像进行高分辨率化的变换规则的数据库，再利用该数据库对被摄物的反射率图像或似反射率图像进行高分辨率化处理。之后，再利用光源信息和被摄物的形状信息从已被高分辨率化的反射率图像或似反射率图像制作已将原图像高分辨率化的高分辨率图像。
发明的效果
根据本发明，在利用数据库进行图像的高分辨率化处理的过程中，利用反射率图像或似反射率图像进行高分辨率化处理。因为反射率图像或似反射率图像是表现被摄物固有的反射率特性的图像，不含有与光源环境有关的成份，所以，在学习数据库时和摄像时光源环境不同的情况下，在进行高分辨率化时也不会产生图像质量的恶化。因此，根据本发明，在输入了在制作数据库时没有想到的光源环境下的图像的情况下，也能够适当地实现图像的高分辨率化。
附图的简单说明
[
图1]图1是一显示本发明第一实施方式所涉及的图像高分辨率化装置的构成的方框图。
[图2]图2是一显示本发明第一实施方式所涉及的图像高分辨率化装置的构成的方框图。
[图3]图3是一显示本发明第一实施方式所涉及的图像高分辨率化方法的处理流程的流程图。
[图4]图4是一装有本发明的第一及第二实施方式所涉及的图像高分辨率化装置的相机的构成例。
[图5]图5是一显示将图像分离为扩散反射图像和镜面反射图像之例的图。
[图6]图6是一显示装有本发明的第一实施方式所涉及的图像高分辨率化装置的带相机的手机的图。
[图7]图7是一曲线图，示出了在照射直线偏振光之际使偏振滤光器旋转时的反射光强度的变化情况。
[图8]图8是一流程图，示出了利用偏振滤光器进行镜面反射图像和扩散反射图像的分离处理的流程。
[图9]图9是一用以说明反射光的偏振方向对每一个像素都不同的摄像装置的示意图。
[图10]图10是一相机、和安装有偏振滤光器和旋转装置的交换透镜的构成例。
[图11]图11是一相机、和安装有偏振滤光器和旋转装置的交换透镜的示意图。
[图12]图12是一用以说明利用镜面球体进行光源推定的光源推定方法的示意图。
[图13]图13是一用以说明如何利用光度立体法求出被摄物的距离、三维位置的处理的示意图。
[图14]图14是一用以说明如何利用反射光的偏振特性进行形状信息的取得处理的示意图。
[图15]图15是一曲线图，示出了照射自然光之际让偏振滤光器旋转时的反射光强度的变化情况。
[图16]图16是一显示在利用似反射率图像的情况下保持在存储器中的数据的图。
[图17]图17是一示意图，显示以纹理基元(texton)为基础进行的高分辨率化处理的概念。
[图18]图18是一概念图，用以说明如何以利用了线性矩阵变换的纹理基元为基础进行高分辨率化处理。
[图19]图19是一PAD图，显示在以纹理基元为基础的高分辨率化处理中的学习处理的流程。
[图20]图20是一示意图，用以说明在以纹理基元为基础的高分辨率化处理中的学习处理。
[图21]图21是一显示二维离散平稳小波变换的处理的图。
[图22]图22是一显示在测试图像中实施二维离散平稳小波变换的情况下所得到的图像结果之例。
[图23]图23是一PAD图，显示在以纹理基元为基础的高分辨率化处理中执行时的处理流程。
[图24]图24是一示意图，用以说明在以纹理基元为基础的高分辨率化处理中执行时的处理。
[图25]图25是一显示二维离散平稳逆小波变换的处理的图。
[图26]图26是一用以说明常数Sr的示意图，该常数Sr表现扩散反射成份和镜面反射成份的亮度值的不同。
[图27]图27是一显示对本发明的第一实施方式中的镜面反射图像进行的参数推定处理的流程的图。
[图28]图28是一概念图，用以说明表示入射照度的表达式中的各个参数。
[图29]图29是一显示利用单体法(simplex method)进行的参数推定处理的流程的流程图。
[图30]图30是一显示单体法中的参数更新处理的流程的流程图。
[图31]图31是一用以说明极坐标表现的示意图。
[图32]图32是进行了学习处理后的被摄物的图像。
[图33]图33是进行了8×8倍图像高分辨率化后的图。
[图34]图34是进行了8×8倍图像高分辨率化后的图。
[图35]图35是一显示对本发明第一实施方式中的扩散反射图像进行的参数推定处理的流程的图。
[图36]图36是一显示其它光源信息推定处理所涉及的光源推定装置的构成的方框图。
[图37]图37是一显示安装有其它光源信息推定处理所涉及的光源推定装置的手机的构成的示意图。
[图38]图38是一显示带相机的手机合上以后的状态的图。
[图39]图39是一显示摄像装置状况判断部和光源图像取得部的处理流程的流程图。
[图40]图40是一显示存储在存储器中的信息的一部分的示意图。
[图41]图41是一用以说明滚转、倾斜、偏航角(roll-pitch-yaw)表现的示意图。
[图42]图42是一用以说明光源像素的抽取处理的示意图。
[图43]图43是一用以说明相机坐标轴和图像坐标轴的关系的示意图。
[图44]图44是一示意图，用以说明如何利用摄像装置的移动来进行推定光源的三维位置的处理。
[图45]图45是一用以说明利用垂锤和接触传感器检测光轴方向的方法的示意图。
[图46]图46是一显示安装有垂锤和接触传感器的带相机的翻盖式手机的示意图。
[图47]图47是一显示图46中的带相机的翻盖式手机被放置的状态的示意图。
[图48]图48是光轴方向和接触传感器的接触/非接触关系的图。
[图49]图49是一显示安装有垂锤和接触传感器的数码静态相机被放置的状态的示意图。
[图50]图50是显示本发明第二实施方式所涉及的图像高分辨率化装置的构成的方框图。
[图51]图51是显示本发明第二实施方式中的图像高分辨率化判别部和反射率高分辨率化部的处理流程的流程图。
[图52]图52是显示本发明第三实施方式所涉及的图像高分辨率化系统的构成的方框图。
符号说明
201 图像摄像部 202 扩散反射、镜面反射分离部 203 光源信息推定部 204 形状信息取得部 206 反射率推定部 207 反射率高分辨率化部 208 反射率数据库 217 图像高分辨率化部 223 图像高分辨率化判断部 501 通信终端 502 服务器
具体实施例方式
在本发明的第一方面中提供的是这样的一种图像高分辨率化装置，包括图像摄像部，利用摄像装置对被摄物进行摄像；光源信息推定部，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定；形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息；反射率推定部，利用所述光源信息与形状信息从由所述图像摄像部拍摄的原图像制作所述被摄物的反射率图像；反射率数据库，累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则；反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已利用所述反射率推定部制作的反射率图像高分辨率化，以及图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
在本发明的第二方面中提供的是上述第一方面的图像高分辨率化装置，包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；所述反射率推定部，从由所述扩散反射、镜面反射分离部分离出的扩散反射图像制作反射率图像，来代替从所述原图像制作反射率图像。
在本发明的第三方面中提供的是上述第一方面的图像高分辨率化装置，该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；所述图像摄像部取得所述被摄物的光的偏振状态；所述扩散反射、镜面反射分离部利用已由所述图像摄像部取得的光的偏振状态进行所述分离。
在本发明的第四方面中提供的是上述第一方面的图像高分辨率化装置，所述反射率数据库所累积的变换规则是通过学习处理求出的，所述学习处理是利用分辨率与所述原图像相同的反射率图像和分辨率比所述原图像高的反射率图像进行的。
在本发明的第五方面中提供的是上述第一方面的图像高分辨率化装置，该图像高分辨率化装置包括图像高分辨率化判断部，对遵照累积在所述反射率数据库中的变换规则对由所述反射率推定部制作的反射率图像进行的高分辨率化的可靠性进行评价；当由所述图像高分辨率化判断部评价出可靠性低的时候，所述反射率高分辨率化部则不利用已累积在所述反射率数据库中的变换规则，进行所述反射率图像的高分辨率化。
在本发明的第六方面中提供的是这样的一种图像高分辨率化装置，包括图像摄像部，利用摄像装置对被摄物进行摄像；光源信息推定部，对含有照射所述被摄物的光源的方向以及位置中至少一方的光源信息进行推定；形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息；反射率推定部，利用所述光源信息与形状信息从由所述图像摄像部拍摄的原图像制作所述被摄物的似反射率图像；反射率数据库，累积有将低分辨率似反射率图像变换为高分辨率似反射率图像的变换规则，反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已由所述反射率推定部制作的似反射率图像高分辨率化，以及图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率似反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
在本发明的第七方面中提供的是上述第六方面的图像高分辨率化装置，该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；所述反射率推定部，从由所述扩散反射、镜面反射分离部分离出的扩散反射图像制作似反射率图像，来代替从所述原图像制作似反射率图像。
在本发明的第八方面中提供的是上述第六方面的图像高分辨率化装置，该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；所述图像摄像部取得所述被摄物的光的偏振状态；所述扩散反射、镜面反射分离部利用已由所述图像摄像部取得的光的偏振状态进行所述分离。
在本发明的第九方面中提供的是上述第六方面的图像高分辨率化装置，所述反射率数据库所累积的变换规则是通过学习处理求出的，所述学习处理是利用分辨率与所述原图像相同的似反射率图像和分辨率比所述原图像高的似反射率图像进行的。
在本发明的第十方面中提供的是上述第六方面的图像高分辨率化装置，该图像高分辨率化装置包括图像高分辨率化判断部，对遵照累积在所述反射率数据库中的变换规则对由所述反射率推定部制作的似反射率图像进行的高分辨率化的可靠性进行评价；当由所述图像高分辨率化判断部评价出可靠性低的时候，所述反射率高分辨率化部则不利用已累积在所述反射率数据库中的变换规则，进行所述似反射率图像的高分辨率化。
在本发明的第十一方面中提供的是上述第一或第六方面的图像高分辨率化装置，该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；所述图像高分辨率化部将由所述扩散反射、镜面反射分离部分离出的镜面反射图像高分辨率化，并利用所述已高分辨率化的镜面反射图像制作所述高分辨率图像。
在本发明的第十二方面中提供的是上述第十一方面的图像高分辨率化装置，所述图像高分辨率化部利用对所述形状信息进行的高密度化处理将所述镜面反射图像高分辨率化。
在本发明的第十三方面中提供的是这样的一种图像高分辨率化方法，包括以下步骤第一步骤，取得拍摄被摄物而形成的原图像，第二步骤，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定，第三步骤，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息，第四步骤，利用所述光源信息与形状信息从所述原图像制作所述被摄物的反射率图像，第五步骤，从累积有将低分辨率图像变换为高分辨率图像的变换规则的反射率数据库取得变换规则，再遵照该变换规则将所述反射率图像高分辨率化，以及第六步骤，利用在所述第五步骤中得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
在本发明的第十四方面中提供的是图像高分辨率化程序，该程序通过让计算机执行以下几个步骤来实现。第一步骤，利用含有照射被摄物的光源的照度、方向以及位置中至少一方的光源信息和是所述被摄物的表面的法线信息或三维位置信息的形状信息，从摄像所述被摄物而形成的原图像制作所述被摄物的反射率图像；第二步骤，从累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则的反射率数据库取得变换规则，再遵照该变换规则将所述反射率图像高分辨率化，以及第三步骤，利用在所述第二步骤中得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
在本发明的第十五方面中提供的是一种图像高分辨率化系统，具有通信终端和服务器，将图像高分辨率化。所述通信终端包括图像摄像部，利用摄像装置对被摄物进行摄像；光源信息推定部，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定；以及形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息。所述通信终端发送由所述图像摄像部拍摄的原图像、由所述光源信息推定部推定出的光源信息与由所述形状信息取得部取得的形状信息。所述服务器接收从所述通信终端发送来的所述原图像、光源信息与所述形状信息，且所述服务器包括反射率推定部，利用所述光源信息与形状信息从所述原图像制作所述被摄物的反射率图像；反射率数据库，累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则；反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已由所述反射率推定部制作的反射率图像高分辨率化；以及图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
下面，参考附图对本发明的实施方式进行说明。
(第一实施方式) 图1和图2示出了该实施方式所涉及的图像高分辨率化装置的构成。图3是显示该实施方式所涉及的图像高分辨率化方法的处理流程的流程图。图4示出了装有该实施方式所涉及的图像高分辨率化装置的相机的构成例。
图1所示的图像高分辨率化装置包括图像摄像部201，利用摄像装置拍摄被摄物；光源信息推定部203，对与照射被摄物有关的光源信息进行推定；形状信息取得部204，取得被摄物的形状信息；反射率推定部206，利用光源信息与形状信息从由所述的冷冻装置图像摄像部201拍摄的原图像制作被摄物的反射率图像；反射率数据库(DB)208，累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则；反射率高分辨率化部207，从反射率数据库DB208中取得变换规则，再根据该变换规则将已由反射率推定部206制作的反射率图像高分辨率化，以及图像高分辨率化部217，利用由反射率高分辨率化部207得到的高分辨率反射率图像、光源信息与形状信息制作已将原图像高分辨率化的高分辨率图像。
光源信息推定部203所推定的光源信息含有光源的照度、方向以及位置中至少之一。被摄物信息推定部204取得被摄物的表面的法线信息或三维位置信息作为形状信息。
图2所示的图像高分辨率化装置以图1的构成为基础，将原图像分离为扩散反射图像和镜面反射图像，也就是说，对扩散反射图像进行利用了反射率图像的高分辨率化；而对镜面反射图像则进行根本不利用反射率图像的高分辨率化。从原图像去除影子区域以后，进行高分辨率化，高分辨率化以后再附加上影子区域。
换句话说，除了图1的结构以外，还包括将由图像摄像部201拍摄下的原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部202，以及从分离后的图像推定影子区域的影子去除部205。反射率推定部221利用光源信息与形状信息从由扩散反射、镜面反射分离部202分离出的扩散反射图像制作反射率图像，来代替由图像摄像部201拍摄的原图像制作反射率图像。
图像高分辨率化部217包括扩散反射图像高分辨率化部209、参数推定部210、形状信息高密度化部211、参数高密度化部213、镜面反射图像高分辨率化部214、影子生成部215以及再现部216。扩散反射图像高分辨率化部209，利用由反射率高分辨率化部207得到的高分辨率反射率图像制作高分辨率扩散反射图像；参数推定部210，利用由形状信息取得部204取得的形状信息和由扩散反射、镜面反射分离部202分离出的扩散反射图像和镜面反射图像，对表现被摄物的参数进行推定；形状信息高密度化部211，将由形状信息取得部204取得的形状信息高密度化；参数高密度化部213，利用累积有将低分辨率反射率图像变换为高密度形状信息的变换规则的法线数据库(DB)212将由参数推定部210求得的参数高密度化；镜面反射图像高分辨率化部214，利用已由形状信息高密度化部211推定的高密度形状信息和已由参数高分辨率化部213高密度化的参数来合成高分辨率镜面反射图像；生成影子区域的影子生成部215以及再现部216。
下面，根据图2的结构说明在各个构成要素中所进行的处理。此外，在图2的结构下，采用的是以下做法，从原图像去除影子区域以后进行高分辨率化，高分辨率化以后再附加上影子区域。但在本发明中，并非一定需要在去除和附加上影子区域。还有，在图2的结构下，采用的是以下做法，将原图像分离为扩散反射图像和镜面反射图像，对扩散反射图像进行利用了反射率图像的高分辨率化；而对镜面反射图像进行根本不利用反射率图像的高分辨率化。但在本发明中，并非一定需要将扩散反射图像和镜面反射图像分离。例如，在认为原图像仅仅由扩散反射成份构成的情况下，则不需要进行对扩散反射图像和镜面反射图像的分离，只要对原图像进行利用了反射率图像的高分辨率化即可。在该情况下，装置的结构如图1所示。
图像摄像部201利用CCD、CMOS等摄像装置对被摄物进行摄像(步骤S401)。优选的做法是，这样拍摄下的图像，亮度非常高的镜面反射成份和扩散反射成份同时被记录下来，而且达不到饱和。因此，优选的做法是，利用冷却CCD照相机、多重曝光摄像等能够拍摄下较广的动态范围的摄像装置。如下所述，优选的做法是，图像摄像部201利用偏振滤光器进行摄像。这样一来，便能够取得被摄物的反射光的偏振状态，扩散反射、镜面反射分离部202能够利用由图像摄像部201取得的偏振状态进行分离。
扩散反射、镜面反射分离部202将由图像摄像部201拍摄的原图像分离为扩散反射图像和镜面反射图像(步骤S402)。这里，扩散反射图像是仅将输入图像中的粗糙(mat)反射成份即扩散反射成份图像化后得到的图像，同样，镜面反射图像是仅将输入图像中的发亮部(shine)即镜面反射成份图像化后得到的图像。这里，扩散反射成份，是象在没有光泽的物体表面所发生的反射那样，朝着所有方向一样地散射的成份。另一方面，镜面反射成份，是象镜面反射那样，在入射光的相对法线的反方向上强烈地反射的成份。假定是二色性反射模型，则物体的亮度表现为扩散反射成份和镜面反射成份之和。如下所述，镜面反射图像和扩散反射图像，能够通过边让例如偏振滤光器旋转边拍摄被摄物来取得。
图5(a)显示的是用摄像装置拍摄的被光源照射的被摄物(平底的大型杯子)的图像。可知，图的上部出现的是发亮部即镜面反射。另一方面，图5(b)和图5(c)是用后述的方法将图5(a)的图像分离为扩散反射图像和镜面反射图像后的结果。在扩散反射图像中，亮部被去除，表面的纹理信息变得很鲜明，但却失去了立体感。另一方面，镜面反射图像中微小的形状信息鲜明地显现出来了，相反却失去了纹理信息。换句话说，输入图像是含有这两个完全不同的信息的两张图像的叠加。通过将图像分离为扩散反射图像和镜面反射图像，并分别进行处理，则能够进行更加精细的高分辨率化处理。
如上所述，若假定是二色性反射模型，则物体的亮度用下式表现为扩散反射成份和镜面反射成份之和。
I＝Ia+Id+Is(表达式12)
这里，I是摄像装置所拍摄的被摄物的亮度值，Ia是环境光成份，Id是扩散反射成份，Is是镜面反射成份。环境光成份是光源的光被物体等散射后的间接光。它被散射到空间的任何一个地方，对直接光不到达的影子部分也给予了微量的光。因此，它一般情况下常常被作为噪音处理。
若假想环境光成份十分小，作为噪音可以忽略不计，则图像能够被分离为扩散反射图像和镜面反射图像。如上所述，扩散反射成份依赖于纹理信息，而镜面反射图像则依赖于微细的形状信息，这些成份显示出了非常不同的特征。因此，为了对图像进行高分辨率化处理，将输入的图像分离为扩散反射图像和镜面反射图像，并利用不同的方法将各个图像进行高分辨率化，便能够得到非常高精细的高分辨率化图像。因此，首先，有分离为扩散反射图像和镜面反射图像的必要性。
到目前为止，提出了各种各样的分离方法。例如， ·利用镜面反射和扩散反射的偏振度的不同而使用偏振滤光器进行分离的方法(例如日本专利公报特许第3459981号公报) ·让对象物旋转，利用多谱相机分离出镜面反射区域的方法(例如日本公开专利公报特开2003-85531号公报) ·利用接收了从各个方向照射来的光源的对象物的图像，合成不发生镜面反射的理想状态下的图像即线性化图像，再利用该线性化图像分离出镜面反射、影子区域的方法(例如，“石井育规、福井孝太郎、向川康博、尺长健，“光学現象の分類に基づく画像の線形化”(“基于光学现象的分类的图像线性化”)、情报处理学会论文志vol.44，no.SIG5(CVIM6)，pp.11-21，2003”等。
这里，采用的是使用偏振滤光器进行分离的方法。图6示出了安装有该实施方式所涉及的图像高分辨率化装置的带相机的手机1000。如图6所示，摄像装置1001中设有带旋转机构(未示)的直线偏振滤光器1016A。还设有安装了直线偏振滤光器1016B的照明装置1007。1017是供使用者观看用的液晶显示屏。
摄像装置1001，一边利用旋转机构让直线偏振滤光器1016A，一边给被安装有直线偏振滤光器1016B的照明装置1007照射的被摄物拍摄多张图像。这里，若注意到照明被直线偏振这一事实，反射光强度则会象图7所示的那样相对于偏振滤光器1016的旋转角φ变化。这里，若设反射光的扩散反射成份为Id，镜面反射成份为Is，则反射光强度的最大值Imax和最小值Imin由以下各式表示。
也就是说，反射光的扩散反射成份Id、镜面反射成份Is可由下式求出。
Id＝2Imin (表达式13) Is＝Imax-Imin (表达式14)
图8示出了该处理的流程。首先，利用旋转机构让偏振滤光器1016A旋转(步骤S301)，将图像拍摄下来，并保存到存储器中(步骤S302)。接着，确认已保存到存储器中的图像是否拍摄了规定的张数(步骤S303)。若此时还没有拍摄到足以检测反射光亮度的最小值和最大值的张数(步骤S303“否”)，便再次让偏振滤光器旋转(步骤S301)，重复进行拍摄。另一方面，若拍摄的张数已经足够多，(步骤S303“是”)，则利用已拍摄下的图像数据，检测反射光亮度的最小值和最大值(步骤S304)。利用(表达式13)和(表达式14)，将扩散反射成份和镜面反射成份分离(步骤S305)。该处理从多张图像对每一个像素求出最小值和最大值也无妨，但这里，运用正弦函数来进行处理。对该处理进行说明。
图7所示的相对偏振滤光器角φ的反射光亮度I，能够象下述那样用正弦函数进行近似。
I＝A·sin2(ψ-B)+C(表达式15) 这里，A、B、C是常数，由(表达式13)、(表达式14)得出 Id＝2(C-A) (表达式16) Is＝2A (表达式17) 也就是说，通过求出(表达式15)中的A、B、C，便能够从已拍摄的图像中分离出扩散反射成份和镜面反射成份。
还能够将(表达式15)这样展开。
I＝a·sin 2φ+b·cos 2φ+C 但这里， (表达式18) 也就是说，通过求出使以下的评价式成为最小的A、B、C，即能够将扩散反射成份和镜面反射成份加以分离。
这里，Ii表示偏振滤光器角度φi时的反射光强度。这里，若利用最小二乘法，则各个参数被推定为如下。
(表达式19) (表达式20)
(表达式21) (表达式22) (表达式23)
如上所述，利用(表达式16)～(表达式23)来分离扩散反射成份和镜面反射成份分离。在该情况下，因为未知参数有三个，所以至少拍摄3张改变了偏振滤光器的旋转角的图像即可。
因此，利用对每一个像素而言反射光的偏振方向都不同的摄像装置来代替直线偏振滤光器1016A也无妨。图9示意地显示这样的摄像装置的像素。这里，1022表示各个像素，各个像素内的直线表示反射光的偏振方向。也就是说，该摄像装置具有0°、45°、90°、135°四种偏振方向的像素。如图9中的粗线1023所示，通过让四种不同的图像构成拜耳排列(Bayar arrangment)并作为一个像素来处理，便能够同时拍摄下四种光的偏振方向不同的图像。例如只要利用光子晶体装置(photonic crystal device)等来作这样的摄像装置即可。
这样的偏振滤光器和旋转装置可以不是相机本身所具有的，而是能够将这样的偏振滤光器和旋转装置安装到相机上并能够从相机上卸下来。例如，将偏振滤光器和旋转装置安装在单镜头反光相机的交换透镜上也无妨。图10示出了安装有这样的图像高分辨率化装置的相机与交换透镜的构成例。相机1101中备有信号发送装置1045，该信号发送装置1045用以将指示直线偏振滤光器1016旋转的信号发送给交换透镜1102。交换透镜1102包括直线偏振滤光器116；接收从信号发送装置1045发送来的信号的信号接收装置1046；当信号接收装置1046接收了指示指示直线偏振滤光器1016旋转的信号的时候，让直线偏振滤光器1016旋转的马达1044。
图11是安装有这样的图像高分辨率化装置的相机和交换透镜的示意图。在相机1101中设有发送电信号的接点1103，在交换透镜1102中设有接收电信号的接点1104。在相机1101和交换透镜1102由框架1105相联结的时候，两个接点1103、1104会接触。这样一来，便能够将信号从相机1101发送给交换透镜1102。能够从相机1101发送出指示直线偏振滤光器1016旋转的信号，能够利用马达1044让直线偏振滤光器1016旋转。
以已被偏振的照明例如液晶显示屏作照明装置使用也无妨。例如，只要利用安装在手机1000上的液晶显示屏1017即可。在该情况下，优选的做法是，使液晶显示屏1017的亮度值比利用者观看时亮度值高。
当然，让照明装置1007的偏振滤光器1016B旋转来代替让摄像装置1001的偏振滤光器1016A旋转也无妨。而且，仅在摄像装置这一侧设置偏振滤光器来代替在摄像装置1001和照明装置1007双方却设置偏振滤光器也无妨，在仅在摄像装置这一侧设置偏振滤光器的情况下，利用独立成份分析使扩散反射成份和镜面反射成份分离开也无妨(参看例如日本专利公报特许3459981号公报)。
光源信息推定部203进一步取得光源的方向、颜色信息、照度信息作为光源信息(步骤S403)。可以这样做，例如，在被摄物附近设置用以推定光源信息的形状既知的镜面等，再从利用图像摄像部201拍摄的那个镜面的图像进行推定(例如，“神原诚之，横矢直和，“光源環境の実時間推定による光学的整合性を考慮したビジヨンベ一ス拡張現実感”，電子情報通信学会技術研究報告，パタ一ン認識·メデイア理解，PRMU2002-190，pp.7-12，2003”。对该处理进行详细的说明。
光源信息推定部203利用图12所示的被看作镜面的球3001进行推定。将镜面球3001放置在被摄物附近，假定其位置、法线方向已知。利用图像摄像部201对该镜面球3001进行拍摄。此时，拍摄环境映入镜面球3001中。产生映入的位置是视线方向与朝向映入对象的方向相对该镜面球上的法线方向成为正常反射(regularreflection)关系的位置。因此，若镜面球的位置与法线方向已知，则能够从镜面上的映入图像检测出映入对象的方向。而且，若考虑到光源的亮度值很高这一事实，则通过从已拍摄的镜面球的图像来检测出高亮度的像素，便能够取得光源的方向。再就是，若镜面的反射率已知，也能够取得光源的颜色信息、反射亮度等光源照度信息。
当然，不仅是取得光源的方向作为光源信息，还取得光源的位置信息来作光源信息也无妨，或者是代替光源的方向取得光源的位置信息作光源信息也无妨。可以这样做，例如，利用两个上述镜面球进行在图像处理领域广泛应用的立体处理即可。而且，在到光源的距离已知的情况下，通过利用上述方法推定光源方向，即能够推定出光源的位置。
当然，不是一直拍摄这样的镜面球，而是利用以前拍摄并已求出的光源信息也无妨。这在象室内的监视相机那样光源环境不变化的情况下很有效。在这样的情况下，只要在设置相机之际对镜面球进行拍摄，取得光源信息即可。
形状信息取得部204，取得被摄物的表面的法线信息或被摄物的三维位置信息作被摄物的形状信息(步骤S404)。可以利用例如狭缝光投影法(slit ray projection method)、图像光投影法(pattern projection method)、激光雷达法(laser radar method)等已知手法作为取得被摄物的形状信息的手段。
当然，形状信息的取得并不限于上述手法。还可以利用以下各种方法，例如，利用多个相机进行的立体视、利用相机的移动进行的移动立体法、利用一边改变光源的位置一边拍摄下的图像进行的光度立体法、利用毫米波或超声波测量与被摄物的距离的方法、以及利用反射光的偏振特性进行的方法(例如，美国专利第5028138号、“宫琦大辅，池内克史，“偏振レイトレ一シング法による透明物体の表面形状の推定手法”，電子情報通信学会論文誌，vol.J88-D-II，No.8，pp.1432-1439，2005)。这里，对光度立体法和利用光的偏振特性进行的方法做说明。
光度立体法，是一种利用光源方向不同的三张以上的图像来推定被摄物的法线方向和反射率的手法。例如，在“H.Hayakawa，”Photometric Stereo under a light source with arbitrarymotion”，Journal of the Optical Society of America A，vol.11，pp.3079-89，1994”中公开了这样的方法，即，通过取得图像上六点以上的反射率相等的点作为已知信息，并作为约束条件使用，则即使光源的位置信息是未知的，也能够推定出以下参数。
·被摄物信息图像上各点的法线方向和反射率 ·光源信息在被摄物的观察点的光源方向和亮度
这里，所进行的是仅利用了借助上述的扩散反射、镜面反射分离手法分离出的扩散反射图像的光度立体法。因为本来该手法假定被摄物进行完全扩散反射，所以存在镜面反射的被摄物产生很大的误差。但是，仅利用已分离的扩散反射图像则能够消除由于镜面反射的存在所造成的推定误差。当然，如下所述，在已在影子去除部205去除了影子区域的扩散反射图像进行处理也无妨。
如下所示，用亮度矩阵Id表现光源方向不同的扩散反射图像。
(表达式24) 这里，idf(p)表示光源方向f上的扩散反射图像的像素p的亮度值。图像的像素数是P，在不同的光源方向拍摄的图像张数是F张。但是，应用朗伯模型(Lambertian model)则能够用以下的表达式来表示扩散反射图像的亮度值。
if(p)＝(ρp·np)·(tf·Lf)(表达式25) ρp表示像素p的反射率，np表示像素p的法线方向矢量，tf表示光源f的入射照度，Lf表示光源f的方向矢量。
从(表达式24)和(表达式25)推导出以下各式。
I＝R·N·L·T＝S·M(表达式26) 这里，
(表达式27) 这里，R称为表面反射矩阵，N称为表面法线矩阵，L称为光源方向矩阵，T称为光源强度矩阵，S称为表面矩阵，M称为光源矩阵。
这里，若利用特异值分解，则(表达式26)能够这样展开。
I＝U·∑·V(表达式28) U＝[U′U″] 这里， UT·U＝VT·V＝V·VT＝E E表示单位矩阵。U’是P×3矩阵，U”是P×(F-3)矩阵，∑’是3×3矩阵，∑”是(F-3)×(F-3)矩阵，V’是3×F矩阵，V”是(F-3)×F矩阵。这里，认为U”、V”是信号成份即U’、V’的正交基，也就是说，U”、V”是噪音成份。这里，若利用特异值分解，则能够将(表达式28)变形如下。
(表达式29)
也就是说，通过解(表达式29)，则能够同时取得形状信息和光源信息，但以下的3×3矩阵A的不确定性却残留下来了。
(表达式30) (表达式31) 这里，A是任意的3×3矩阵。为取得形状信息和光源信息需要求出该矩阵A。例如，只要已知画面上六点以上的反射率相等即可。例如，假定任意六点k1～k6的反射率相等，则 (sk1)2＝(sk2)2＝(sk3)2＝(sk4)2＝(sk5)2＝(sk6)2＝1 (表达式32)
由(表达式27)、(表达式30)以及(表达式32)， (表达式33) 进一步，因为 B＝A·AT(表达式34) 则(表达式33)如下所示。
(表达式35) 这里，因为由(表达式34)求出矩阵B是对称矩阵，所以矩阵B的未知数是6。也就是说，若已知画面上六点以上的反射率相等，则能够将(表达式35)解出来。
若矩阵B已知，则能够通过特异值分解应用到(表达式34)中来将矩阵A解出来。
由(表达式30)和(表达式31)取得形状信息和光源信息。
如上所述，在反射率相等的六点以上的像素已知的被摄物中，通过一边改变光源方向，一边拍摄三张以上的图像，便能够得到以下的信息。
·被摄物信息图像上各点的法线方向矢量和反射率 ·光源信息在被摄物的观察点的光源方向矢量和放射亮度
不过，在上述处理中求得的被摄物的反射率和光源的放射亮度是相对的，要想求出绝对值，还需要例如已知在画面上六点以上的反射率等，与上述不同的已知信息。
在光源和摄像装置的位置关系已知的情况下，采用求出摄像装置与被摄物的距离、三维位置等做法也无妨。利用图来对它进行说明。
图13是用以说明该处理的示意图。在图13中，1001表示摄像装置，1007A及1007B表示光源，1015表示被摄物的观察点O，1010A及1010B表示各光源在被摄物的观察点O的光源方向，1021表示摄像装置在被摄物的观察点O的视线方向。
首先，因为已知光源和摄像装置的位置关系，所以摄像装置1001和光源1007A、1007B的三维位置关系La、Lb也是已知的。假定摄像装置1001已被校正，则摄像装置1001的视线方向1021也是已知的。由此可知，被摄物的观察点O 1015存在于该视线方向1021上。利用上述光度立体法，各个光源在被摄物的观察点O的光源方向1010A、1010B是已知的。若设摄像装置1001与观察点O1015的距离Lv是正(Lv＞0)，则就只存在一个满足这样的位置关系的观察点O。因此，知道了观察点O1015的位置，求出了摄像装置1001与观察点O1015的距离Lv。
例如象数码相机的闪光灯一样，光源设在摄像装置中的情况下，光源和摄像装置的位置关系能够从设计信息中求出。
形状信息取得部204利用反射光的偏振特性，取得被摄物的表面法线方向也无妨。利用图14对该处理进行说明。
在图14中，1001表示摄像装置，1007表示光源，1015表示观察点O，1016表示带马达等旋转机构(未示)的直线偏振滤光器，1019表示法线方向。在自然光作为光源进行照射的状态下，一边利用旋转机构让偏振滤光器1016旋转，一边摄像的情况下，如图15所示，该反射光强度成为周期π的正弦函数。
这里，对测量该反射光强度的最大值Imax和最小值Imim的偏振滤光器的角度φmax、φmin进行考虑。假设包括摄像装置1001和光源1017、观察点O1015的平面为入射面，被摄物的镜面反射成份处于支配地位，则知道φmax就是偏振滤光器1016的偏振方向垂直于入射面的方向，φmin就是偏振滤光器1016的偏振方向平行于入射面的方向。
如上所述，在光源是偏振光源的情况下，在反射光成份中具有偏振特性的成份，是在观察点O的表面反射的镜面反射成份；非偏振成份是扩散反射成份。由此可知，反射光亮度的最大值Imax和最小值Imim的强度差所产生的观察点O是镜面反射成份很强的观察点，也就是说，光发生正常反射的点(观察点O1015的法线方向1019是从观察点O1015开始的光源方向和从观察点O1015开始的摄像装置方向的二等分线方向)。于是，法线方向1019也存在于入射面内。因此，通过推定φmax或φmin ，便能够推定出法线方向1019存在于以下的平面内。
该平面是通过摄像装置1001、且含有偏振滤光器1016的偏振方向φmin(或φmax的垂直方向)的平面。
这里，φmax或φmin，通过进行上述适用正弦函数的处理来推定。
通过改变摄像装置1001的位置并进行同样的处理，则能够推定含有法线方向1019的两个不同的平面。通过求已推定的两个平面的交线来推定法线方向1019。此时，需要推定摄像装置1001的移动量，利用上述的八点法等即可推定出摄像装置1001的移动量。
当然，与扩散反射、镜面反射分离部202一样，对每一个像素使用偏振方向不同的摄像装置也无妨。
当然，求法线方向1019时，不是改变摄像装置1001的位置，而是设置多条摄像装置1001来求也无妨。
如上所述，在利用了光度立体法和光的偏振特性的方法下，取得被摄物表面的法线信息。另一方面，在狭缝光投影法、立体视等手法下，取得被摄物的三维位置信息。被摄物表面的法线信息，是在被摄物的三维位置信息的微小空间的斜率信息。无论哪一个都是被摄物的形状信息。
经过以上处理，形状信息取得部204取得被摄物表面的法线信息或被摄物的三维位置信息作为被摄物的形状信息。
影子去除部205对图像中的影子区域进行推定，进行影子去除处理(步骤S405)。已提出了各种各样的方法来进行这样的影子去除以及影子区域推定处理，例如，利用影子区域的亮度值低这一特征，将亮度值在阈值以下的像素推定为影子区域也无妨。
在利用形状信息取得部204取得三维形状信息的情况下，利用在计算机图形学(Computer-Graphics)领域中所广泛使用的再现手法，即射线跟踪法(ray tracing method)也无妨。再现，是通过计算与物体的坐标数据、光源、视点的位置等环境有关的数据而进行的，射线跟踪是相反地寻找到达视点的光线而描绘出图像来。因此，利用射线跟踪便能够计算出在哪里生成了何种程度的影子。
接下来，利用各自不同的方法将由扩散反射、镜面反射分离部202分离出的扩散反射图像和镜面反射图像高分辨率化。也就是说，对扩散反射图像进行利用了反射率图像的高分辨率化；而对镜面反射图像进行根本不利用反射率图像的高分辨率化。首先，对扩散反射图像的高分辨率化进行说明。
(扩散反射图像的高分辨率化) 反射率推定部206利用由扩散反射、镜面反射分离部202分离出的扩散反射图像，推定被摄物的反射率，制作被摄物的反射率图像(步骤S406)。因为反射率不受光源信息的影响，所以通过利用反射率图像进行处理，便能够实现对光源变动很强的处理。
对该处理进行说明。由(表达式25)得知在扩散反射成份中以下关系成立。
(表达式36)
这里，θi表示被摄物的法线方向矢量和光源方向矢量所成的角度。这里，通过光源信息推定部203和形状信息取得部204已知角度θi。而且，如下所述，因为也能够推定光源的入射照度tf，所以从(表达式36)求被摄物的反射率rp。
此时，当cosθi的值小于等于0时，也就是说，是附加上的影子(attached shadow)时，从(表达式36)可知，反射率rp成为负值，或者说因为分母是0，所以是无意义的。但是，因为由上述影子去除部205去除这样的像素，所以不会出现问题。
当然，不是求被摄物的反射率，而是利用下式求在镜面反射图像的最大亮度值下将反射率归一化后所得到的似反射率rp，并利用它也无妨。
这里，isf_max表示镜面反射图像的最大亮度值。在由光源信息推定部203无法取得光源的放射亮度(照度)的情况下，这样的似反射率很有效。在利用似反射率图像的情况下，将已用于归一化的镜面反射图像的最大亮度值isf_max保存到存储器中保存好。图16示出了在反射率推定部206利用似反射率的情况下存储在存储器中的数据。已制作的似反射率图像和用于归一化的镜面反射图像的最大亮度值isf_max被保存起来。
镜面反射参数在被摄物的很宽的区域内是一样的。假定在被摄物表面存在多个方向的法线，则只要光源位于相对相机照射被摄物的位置，就存在产生正常反射的正常反射像素。因此，镜面反射图像的最大亮度值isf_max成为正常反射像素的亮度值。
在反射特性一样，视线方向1021大致一样的情况下，在某一光源位置下的正常反射像素的亮度值与在另一个光源位置下的正常反射像素的亮度值之比大致等于各个光源下的光源的放射亮度比。因此，仅用θi除以扩散反射图像的亮度值idf(p)会残留有光源的放射亮度的影响，若进一步利用已经用正常反射像素的亮度值即镜面反射图像的最大亮度值isf_max进行归一化的似反射率图像，则在得不到光源的放射亮度的情况下，也能够制作不受光源影响的扩散反射图像。
不是利用镜面反射图像的最大亮度值isf_max进行归一化，而是用扩散反射图像的最大亮度值、输入图像的最大亮度值进行归一化来制作似反射率图像也无妨。
接下来，对这样求得的反射率图像的高分辨率化进行说明。
反射率高分辨率化部207，利用累积有将低分辨率似反射率图像变换为高分辨率似反射率图像的变换规则的反射率DB208，将已经由反射率推定部206制作的反射率图像高分辨率化(步骤S407)。对该处理进行详细的说明。
如上所述，反射率图像是不依赖于光的镜面反射、阴影等光学现象的表现被摄物固有的反射率特性的图像。因为被摄物信息是不可缺少的，所以这里的高分辨率化以事先学习被摄物为基础。这里利用的是以纹理基元(图像的纹理特征量)为基础的高分辨率化。
图17是显示以纹理基元为基础的高分辨率化的概念的图。因为要使像素数与目标像素数一致，所以执行时已输入的低分辨率图像(LR图像、像素数N×N)被插值并放大到M×M。将该像素数MN×MN称为exLR图像。exLR图像中失去了图像的高频成份，成为模糊的图像。能够将该模糊的图像锐化的只有高分辨率化，没有别的选择。
接下来，利用多重分辨率变换WT将exLR图像的亮度值以像素为单位变换为基于多重分辨率的T维纹理基元。该变换应用了小波变换、金字塔结构分解等处理。结果是，给exLR图像的各个像素生成了合计MN×MN个的T维纹理基元矢量。接着，为提高通用性，对纹理基元矢量进行了群集处理，选择出并产生了L个输入代表纹理基元矢量。对这些L个纹理矢量利用事先已经学习的数据库的信息进行变换，生成T维高分辨率化纹理矢量。该变换使用了表读出、T维的多维特征矢量空间内的线性及非线性变换。利用逆小波变换、金字塔结构再构成等逆变换IWT，使高分辨率化纹理矢量返回到图像亮度值，而完成高分辨率图像(HR图像)。
在该处理中，需要花费很多时间来进行MN×MN个T维纹理基元矢量的群集处理中的探索和表读出处理，活动图像等很难应付高速化。于是，进行了以下改良，1)利用LR图像进行群集处理，2)将表读出变更为线性矩阵变换。在该处理中，利用LR图像的一个像素对应于HR图像的M×M像素的单元这一事实，便能够以单元为单位进行从T维到T维的线性矩阵变换来维持单元内部的空间连续性。而且所利用的线性矩阵可以从群集的结果中做出最佳的选择。在单元边界的不连续性成为问题的情况下，可以追加使矩阵处理单位的块有一部分重叠等处理。
图18是示意地描绘出上述各个改良点的图。对LR图像进行WT变换，并以它作为T维特征量空间中的L(这里L是3)个的代表特征矢量。各个特征矢量附带有不同的线性矩阵。保持了该状态的就是高分辨率化数据库，而不会别的地方。
下面，以对N＝32、M＝4，也就是说，32×32像素的低分辨率图像进行4×4倍的高分辨率化为例，对图像处理手法进行详细的说明。假定反射率图像是RGB彩色图像，但假定彩色图像是从RGB变换为亮度色差(YCrCB)，并作为独立的颜色成份图像处理的。通常情况下，在2×2倍率左右下，只进行亮度Y成份的高分辨率即可，颜色成份保持着低分辨率的色差信号进行追加，也不会有什么别扭的感觉，但因为4×4倍率以上的话，颜色信号就必须进行高分辨率化，所个成份都要进行同样的处理。下面，说明的是仅对彩色图像的一个成份图像进行的处理。
(学习时) 图19是说明学习处理的流程的PAD图。图20是用以说明学习处理中被处理的图像的处理对象像素和处理对象单元之间的关系的图。下面，交替着使用图19和图20进行说明。
首先，在S311～S313中，输入低分辨率图像(LR图像)、高分辨率图像(HR图像)以及低分辨率图像的放大图像(exLR图像)。这些图像都是从HR图像生成的，且处于无摄像中的像素偏移(pixel shift)的状态。从LR图像生成exLR图像的时候采用双三次插值法。在图20中，准备HR图像(像素数128×128)、LR图像(像素数32×32)、以及从LR图像仅使像素数与HR图像一致而得到的exLR图像(像素数128×128)三种图像。LR图像是分辨率与利用图像摄像部201拍摄的原图像相等的反射率图像，HR图像是分辨率比利用图像摄像部201拍摄的原图像高的反射率图像。
在步骤S314，将LR图像纹理基元化。具体而言，进行利用了Haar基底的二维离散常数小波变换(Discrete stationary wavelettransformSWT变换)。假定STW变换的层次是2层次(2-step)，则会生成六维LRW图像(像素数32×32＝1024)。本来，在2层次的二维离散常数小波变换中会成为七维特征矢量，但最低频率的LL成份图像接近图像的平均亮度信息，为将它保存起来仅利用剩下的6个成份。
在步骤S315中，将已纹理基元化的LRW图像的合计1024个的六维矢量群集到Cmax个。这里，利用k-means法群集到例如Cmax＝512个。将该512个的结果纹理基元矢量的集合称为群集C。不进行群集，将1024个纹理基元全部利用起来也没有问题。
在步骤S316，对已经判断出属于群集C的同一群集的LR像素进行判定。具体而言，LR图像的像素值被置换为群集C的各个纹理基元号码。
在步骤S317，一边对群集C的所有纹理基元重复地进行处理，一边探索对应于该纹理基元的exLR的像素单元和HR图像的像素单元，并将该单元号码存储起来。该探索仅利用LR图像的像素数便可以了，在高倍率的情况下探索时间会大大地缩短。
这里，利用图20对LR图像的像素与exLR图像、HR图像的像素单元的对应关系进行说明。在图20中，假定在LR图像上，2001和2002这两个像素被判断为属于C的同一个群集(群集号码Ci＝0)。于是，可以认为在保持这样的位置关系并被放大的exLR图像上，2003、2004这样的像素单元与2001和2002相对应，而在HR图像上2005、2006这样的像素单元与2001和2002相对应。这两个地方的单元位置的号码被作为具有该纹理基元的号码存储起来。包含在像素单元内的像素数与放大率4×4＝16相等。
接下来，在步骤S318，以exLR图像和HR图像为一对对这些像素单元群进行纹理基元化。具体而言，进行了二维离散常数小波变换，生成了exLRW图像和HRW图像。
在步骤S319和步骤S320，从上述HRW图像和exLRW图像得到的纹理基元的对以矩阵的形式聚集起来。形式都是6×Data_num的矩阵。这里，Data_num成为(一单元的像素数)×(被探索的单元数)，在上面的Ci＝0的例子中，因为探索到了两个单元，所以成为16×2＝32。
在S321中，利用最小二乘法从属于被聚集的两者的合计2×4×4＝128个特征矢量算出6×6个矩阵M，在步骤S322中，使群集号码成为0，同时将它存储并累积在数据库CMat(K)中。S322中的最小二乘法，首先，将在S319和S320中聚集起来的exLR和HR的纹理基元的矩阵分别假定为Lf和Hf(尺寸6×Data_num)，若将要求出的矩阵设定为M(6×6)，则能够象下述那样地执行。
M＝Hf·LfT(Lf·LfT)-1
接下来，对群集号码＝1重复地进行同样的处理，一直进行到K＝511为止。也就是说，CMat是对每一个群集号码规定的6×6变换矩阵的群。
最后，在S323和S324，将已经使用的群集C和已被学习的变换矩阵CMat输出。将这样求出的群集C和已被学习的变换矩阵CMat作为将低分辨率反射率图像变换为高分辨率反射率图像的变换规则累积在反射率DB208中。
图21是一显示如何进行二维离散常数小波变换之处理的图。在通常的小波变换中，滤波器组(filter bank)的构成相同不变，分解的层次每深入一个层次，图像便跟着缩小，但在二维离散常数小波变换中，即使分解的层次深入，变换图像的尺寸也保持不变，尺度函数F和小波函数G两种滤波器被上行取样(upsampling↑)，进行2的乘方而变长，从而来进行多重分辨率分析。在Haar基底中，F和G的具体数值与上行取样的情况显示于表1。
表1
在是LL成份的cA图像深入一个层次来进行小波分解的情况下，交替地对F和G的滤波器进行一维的旋转来生成图21所示的四种图像。1)行方向上是F，列方向上是FcA图像(LL成份)、2)行方向上是F，列方向上是GcDh图像(LH成份)3)行方向上是G，列方向上是FcDv图像(HL成份)、4)行方向上是G，列方向上是GcDd图像(HH成份)。
图22是一显示在对测试图像实施二维离散平稳小波变换的情况下所得到的图像结果之例。纹理基元矢量，指的是将对应于这些小波的1-层次和2-层次的变换图像的每一个像素的值连接起来后得到的，将成为 (cDh1，cDv1，cDd1，cDh2，cDv2，cDd2，cA2) 的七维矢量。但是，除了是2-层次的LL成份的cA2，仅使用六维矢量部分进行高分辨率变换，cA2成份保存起来。
此外，这里假定在S314和S318任一个步骤中小波变换的层次数都是2-层次。该层次数变得越大，越能够用纹理基元表现到图像的大致特征。在本发明中，层次数可变，但在是用以进行LR图像的群集C的步骤S314的情况下，在1-层次，有作为周边的像素状况不会成为充分的信息的时候，所以设定为2-层次。另一方面，通过实验确认得知，在是生成为将exLR图像高分辨率化的纹理基元的步骤S318的情况下，例如在8×8倍率中，所得到的图像是3-层次比2-层次更加良好。因此，优选的做法是，根据与倍率的关系决定层次数。
当然，在反射率推定部206中，不推定反射率图像，而是推定似反射率图像的情况下，上述学习处理就是利用似反射率图像进行的。如上所述，因为似反射率图像是不受光源影响的扩散成份图像，所以能够制作不受光源变动影响的变换规则。而且，在进行学习时，无需保持制作似反射率图像时用于归一化的规定值，例如，镜面反射图像的最大亮度值isf_max。
(高分辨率化处理的执行时) 图23是一显示执行时的处理流程的PAD图。图24是一显示执行时的处理与像素单元的关系的图。
首先，在S331和S332中，输入LR图像和将LR图像放大后得到的exLR图像。与学习时一样，假定LR图像的像素数＝32×32，exLR图像的像素数＝128×128。这里，在图19所示的S313中，与生成学习图像的exLR图像一样，exLR图像的生成方法利用的是双三次插值法。
接下来，在步骤S333和S334中，从反射率DB208中读出并输入学习时所得到的群集C和变换矩阵CMat。
在S335中，将LR图像纹理基元化。具体而言，如图24所示，进行利用了Haar基底进行的二维离散常数小波变换(Discretestationary wavelet transformSWT变换)。假定STW变换的层次是2层次(2-step)，则会生成六维LRW图像(像素数32×32＝1024)。本来，在2层次的二维离散常数小波变换中会成为七维特征矢量，但最低频率的LL成份图像接近图像的平均亮度信息，为将它保存起来仅利用剩下的6个成份。
接下来，在步骤S336，对各个纹理基元探索群集C(Cmax个纹理基元)内的最短距离的纹理基元矢量来得到纹理基元号码(Ci)。在图24中，这就相当于将C0、C1、...Cn等纹理基元号码加给LR图像的一列上的各个像素2011、2012、...2013。
接下来，进入S337。这之后，按照扫描线顺序对HR图像的各个单元进行处理，重复进行。具体而言，在图24中，若对exLR图像的单元2014、2015、...2016进行处理，则所对应的HR图像的单元2023、2024、...2025依序被高分辨率化。
在S337中，exLR图像的该单元区域被纹理基元化。具体而言，进行二维离散常数小波变换(Discrete stationary wavelettransformSWT变换)，生成exLRW图像。生成单元2017、2018、...2019等。
在S338中，从纹理基元号码中抽取变换矩阵CMat来确定该单元中的变换矩阵M。该处理象图24所示的那样进行。LRW图像中已经这样分配好了纹理基元号码，即像素2011＝C0、像素2012＝C1、...像素2013＝Cn。将它应用到已经保存了位置关系的exLRW图像的单元2017、2018...2019中，便能够在各个单元中，将C0、C1...Cn作为纹理基元号码从Mat选择出各自的6×6变换矩阵M。
在S339中，让变换矩阵M对各个单元中发挥作用。只要对单元内的所有纹理基元LTi(i＝1～16)进行以下计算即可。
HTi＝M·LTi 重复进行该计算，从exLRW图像的单元2017、2018...2019分别生成HRW图像的单元2020、2021、...2022。
接下来，将exLRW图像的2-step的LL成份附加到这些已被高分辨率化的单元内的六维纹理基元中，来生成七维纹理基元。
在S340中，通过对各个单元内的七维纹理基元进行逆SWT变换来将它变换为图像。对exLR图像的所有单元重复进行以上的处理。
逆SWT(ISWT)变换能够用图25所示的信号流(signal flow)来实现。表现基本上和图21一样。在通常的小波逆变换中，滤波器组的构成相同不变，分解的层次每深入一个层次，图像便跟着放大。相对于此，在该逆变换中，即使分解的层次深入，变换图像的尺寸也保持不变，尺度函数F和小波函数G1两种滤波器被下行取样(downsampling↓)，进行2的乘方运算而变短，从而来进行多重分辨率分析。在Haar基底中，F和G1的具体数值与下行取样的情况显示于表2。
表2
如上所述，反射率图像的一个成份被高分辨率化。对所有的反射率图像进行该处理，来合成高分辨率的反射率图像。
此时，进行图像的归一化处理，以便做到即使包含在反射率图像中的被摄物的大小、姿势、方向发生变化也能够进行该处理。这样做也无妨。一般认为在反射率图像的大小、姿势相对学习数据不同的情况下，利用纹理基元进行的高分辨率化处理，高分辨率化的精度不能充分地发挥出来。于是，准备多组反射率图像来解决该问题。也就是说，每一次让反射率图像旋转30度，并将多次旋转30度后所得到的多张图像合成，再对所有的图像进行高分辨率化，来适应姿势、方向的变化。在该情况下，这样做即可，在上述的“高分辨率化处理的执行时”的PAD图，即图23中的步骤S336中，在探索最短距离的纹理基元之际，对从已经进行了旋转处理的各个图像求出的多张LR图像的纹理基元分别探索最短距离的纹理基元，探索到最短的距离的纹理基元以后，来得到纹理基元号码(Ci)。
为与大小的变化相对应，对图像的大小已经被改变了的反射率图像进行合成，这样做也无妨。
而且，以实际的大小为基准进行放大缩小处理，例如5cm×5cm的图像一定成为8×8像素，并对该图像制作纹理基元也无妨。因为由形状信息取得部204被摄物的大小是已知的，所以“学习时”及“高分辨率化处理的执行时”都是对同样大小的图像制作纹理基元，从而来适应大小的变化，这样做也无妨。
而且，不是让“高分辨率化处理的执行时”的反射率图像旋转，而是让“学习时”的反射率图像旋转，来制作多组纹理基元，将群集C和已经被学习的变换矩阵CMat累积在反射率DB208中也无妨。
进一步地推定被输入的被摄物是什么，还进行姿势推定，推定已被推定的被摄物如何旋转也无妨。这样的处理利用被广泛使用的图像认识技术即可。这样做即可，例如，将RFID那样的标识符设置在被摄物中，通过认识该标识符来确认该被摄物是什么，进一步从标识符信息推定被摄物的形状信息，再从图像、被摄物的信息进行姿势推定(参考例如日本公开专利公报特开2005-346348号公报)。
(镜面反射图像的高分辨率化) 接下来，对镜面反射图像的高分辨率化进行说明。这里，利用已推定出的参数的高密度化处理和形状信息的高密度化处理。
参数推定处理部210，利用由形状信息取得部204取得的被摄物的表面法线信息、由扩散反射、镜面反射分离部202分离出的扩散反射图像和镜面反射图像来推定表现被摄物的参数(S408)。这里，对利用了在计算机图形学(Computer-Graphics)领域中广泛使用的Cook-Torrance模型的方法进行说明。
在Cook-Torrance模型中，镜面反射图像被按照下式模型化。
Is＝Ksρs，λ (表达式37) (表达式38) (表达式39) (表达式40) c＝L·H (表达式41) (表达式42) (表达式43) (表达式44) (表达式45)
这里，Ei表示入射照度，ρs，λ表示波长λ下的镜面反射成份的双方向反射率，n表示被摄物的法线方向矢量，V表示视线矢量，L表示光源方向矢量，H表示视线矢量和照明方向矢量的中间矢量，β表示中间矢量H和法线方向矢量n所成的角度。Fλ是从菲涅耳(fresnel)方程式求出的来自介质表面的反射光之比即菲涅耳系数，D表示微面(microfacet)分布函数，G是几何衰减率，表示由于物体表面的凹凸造成的遮光的影响。nλ是被摄物的折射率，m是表示被摄物表面的粗糙度的系数，Ij是入射光的放射亮度。ks是镜面反射成份的系数。
若利用(表达式25)的朗伯模型，(表达式12)便象以下那样被展开。
I＝Ia+Id+Is＝Ia+KD+Ksρs，λ (表达式46)
这里， (表达式47) (表达式48) 这里，ρd表示扩散反射成份的反射率，dpx、dpy表示摄像装置的一个像素的x方向、y方向上的长度，r表示摄像装置离观察点O的距离。
kd是满足以下关系式的系数。
kd+ks＝1(表达式49) Sr是用以表现扩散反射成份和镜面反射成份的亮度值不同的常数，表示扩散反射成份从被摄物朝着所有方向反射能量。图26是用以说明该常数Sr的示意图。在图26中，在观察点O被反射的扩散反射成份能量扩展成为半球形状。这里，因为摄像装置1001离开观察点O的距离是r，所以到达摄像装置1001的一个像素单元的能量与在观察点O反射的总能量之比Sr被用(表达式48)来表达。
由上述可知，参数推定处理部210从(表达式37)到(表达式45)、(表达式46)、(表达式47)以及(表达式48)中推定参数。
总结一下上述关系式，用以进行参数推定的已知参数和应该推定的参数如下。
(已知参数) ο环境光成份Ia ο扩散反射成份Id ο镜面反射成份Is ο被摄物的法线方向矢量n ο光源方向矢量L ο视线矢量V ο中间矢量H ο中间矢量H与法线方向矢量n所成的角度β ο摄像装置1001的一个像素在x方向、y方向上的长度dpx、dpy ο摄像装置1001与观察点O的距离r (应该推定的参数) ο入射照度Ei ο镜面反射成份的系数ks ο被摄物表面的粗糙度m ο被摄物的折射率ηλ 这里，扩散反射成份的系数kd、扩散反射成份的反射率ρd也是未知的参数，但因为仅推定镜面反射成份的参数，所以这里不进行推定处理。
图27是一显示参数推定处理部210的处理流程的图。处理分以下两个阶段进行。
首先，使用光源信息求入射照度Ei(步骤S351)。这里，利用由光源信息推定部203取得的光源的位置信息、由形状信息取得部204求出的摄像装置与被摄物之间的距离信息、以及在光源信息推定部203求出的光源照度。
(表达式50) 这里，Ii表示由设在摄像装置1001的照度计1018测量的光源1007的入射照度，R1表示摄像装置1001与光源1007之间的距离，R2表示光源1007与观察点O之间的距离，θ1表示在观察点O的法线方向1019与光源方向1010C所成的角度，θ2表示摄像装置1001中的光轴方向1005与光源方向1010A所成的角度(参考图28)。这里，在认为被摄物的大小比光源1007与观察点O之间的距离R2大很多的情况下，距离R2在被摄物上的所有观察点O都相等。于是，在(表达式50)中，(R1/R2)成为常数，实际上也就不需要进行测量了。
接下来，利用单体(simplex)法推定未知参数m、ηλ以及ks(步骤S352)。单体法，是一种在被称为单体的图形的顶点配上变量，改变单体的大小和形状来进行函数的最佳化的方法(大田登，“色再現光学の基礎”，pp.90-92，コロナ社)。单体是n维空间的(n+1)个点的集合。n是推定的未知数的个数，这里是“3”。因此，单体是四面体。用矢量xi表示单体的顶点，新的矢量便象下述那样被决定出来了。
(表达式51) i≠h，i＝1，2，...，n+1 (表达式52) 这里， 分别表示使各个函数f(xi)成为最大、最小的xi。
而且，在该方法中所使用的三种操作象下述那样决定出来。
1.镜像 xr＝(1+α)x0-αxh (表达式53)
2.扩张 xe＝βxr+(1-β)xh (表达式54)
3.收缩 xc＝γxh+(1-γ)x0 (表达式55) 这里，α(α＞0)、β(β＞1)、γ(1＞γ＞0)是系数。
单体法以以下的期待为基础，该期待是，通过选择单体的顶点中函数值最大的那个顶点，该镜像中的函数值会变小。若该期待正确，则通过重复进行同样的处理便可求出函数的最小值。也就是说，一边通过三种操作将被给予了初始值的参数进行更新，一边重复进行该参数的更新，直到与评价函数所显示的目标的误差成为阈值未满为止。这里，利用m、ηλ、ks作参数，利用了由(表达式56)表示评价函数，从(表达式37)算出的镜面反射图像与在扩散反射、镜面反射分离部202求出的镜面反射成份图像之差ΔIs。
(表达式56) 这里，is(i，j)′和is(i，j)分别是计算出的镜面反射图像的推定值Is’和在扩散反射、镜面反射分离部202求出的镜面反射成份图像Is的像素(i，j)的亮度值，Ms(i，j)是当像素(i，j)具有镜面反射成份的时候取1，而当像素(i，j)不具有镜面反射成份的时候则取0的函数。
对该处理进行详细的说明。图29是一用以说明该处理的流程的流程图。
首先，将0代入将重复运算的更新次数存储起来的计数器n和k中，进行初始化(步骤S361)。这里，计数器n是存储初始值被更新了多少次的计数器，k是将针对某一初始值利用单体对候补参数进行了多少次更新的更新次数存储起来的计数器。
接下来，利用随机数决定推定参数的候补参数m’、ηλ’、ks’的初始值(步骤S362)。此时，根据各个参数的物理约束条件来象下述那样将初始值的产生范围决定下来。
m≥0 ηλ≥1.0 0≤ks≤1.0 0≤Fλ≤1.0 0≤D(表达式57)
接下来，将这样求得的候补参数代入(表达式37)中，求镜面反射图像的推定值Is’(步骤S363)。再利用(表达式57)求出已算出的镜面反射图像的推定值Is’与在扩散反射、镜面反射分离部202求出的镜面反射成份图像之差ΔIs，并以它作为单体法的评价函数(步骤S364)。在这样求得的ΔIs十分小的情况下(步骤S365中为“是”)，则认为参数推定成功了，选择候补参数m’、ηλ’、ks’作推定参数m、ηλ、ks并结束处理。另一方面，在ΔIs非常大的情况下(步骤S365中为“否”)，则利用单体法将候补参数更新。
在更新候补参数以前对更新次数进行评价。首先，将存储了更新次数的计数器k加1(步骤S366)，判断计数器k的大小(步骤S367)。当计数器非常大的情况下(步骤S367中为“否”)，重复运算进行得非常充分，但因为落入了区域最小，所以做出即使这样重复更新也达不到最佳值这样的判断，将初始值更新，谋求从区域最小脱离出去。于是，将计数器n加1，将0输入计数器k(步骤S371)中。这里，对计数器n的值是否比阈值高进行判断，并决定是这样继续进行处理，还是作为不能处理来将处理结束(步骤S372)。这里，当n大于阈值的时候(步骤S372中为“否”)，该图像便被视作不可能推定而结束处理。另一方面，当n小于阈值的时候(步骤S372中为“是”)，便再次在(表达式57)的范围内从随机数中重新选出初始值(步骤S362)，重复进行处理。对这样的k的阈值，例如只要选择100等即可。
另一方面，在步骤S367中，当计数器k在阈值以下时(步骤S367中为“是”)，利用(表达式53)～(表达式55)对候补参数进行变更(步骤S368)。后面将对该处理进行论述。
接下来，判断这样被变形的候补参数作为解是否有意义(步骤S369)。也就是说，因为通过重复进行单体法，而使已被变形的参数有可能成为物理上没有意义的值(例如粗糙度参数m是负值等)，所以需要将它去除。可以这样做，例如，给予以下的条件，当满足该条件时判断为是具有某种意义的参数，当不满足该条件时则判断为是没有意义的参数。
0≤m 1.0≤ηλ 0.0≤ks≤1.0 0.0≤D 0.0≤Fλ≤1.0 (表达式58) 这些值能够通过被摄物求出。例如，若是折射率ηλ，则是由被摄物的材质决定的值。例如，因为已知若是塑料，则该值是1.5～1.7；若是玻璃，则该值是1.5～1.9，所以只要利用这些值即可。换句话说，在被摄物是塑料的情况下，将折射率ηλ设定为1.5～1.7即可。
因为在已变形的参数满足(表达式58)的情况下(步骤S369中为“是”)，便认为该候补参数是具有某种意义的值，所以将它作为新的候补参数设定下来(步骤S370)，重复进行更新处理(步骤S363)。另一方面，因为在已变形的参数不满足(表达式58)的情况下(步骤S369中为“否”)，便使对该初始值的更新处理结束，利用新的初始值进行更新(步骤S371)。
这里，对步骤S368的变形处理进行详细的说明。图30是一显示该处理流程的流程图。这里，候补参数m’、ηλ’、ks’用矢量表现，并将它决定为参数x。也就是说， x＝[m′ηs，λ′ks′]T
首先，利用(表达式51)、(表达式52)、(表达式53)对进行了镜像操作的参数xr进行计算，利用(表达式56)计算在xr下的与镜面反射成份图像之差ΔIs(xr)(步骤S381)。接下来，对这样求得的ΔIs(xr)和评价函数第二个不好的ΔIs(xs)进行比较(步骤S382)。这里，当ΔIs(xr)小于ΔIs(xs)时(步骤S382中为“是”)，对已经进行了镜像操作的评价值ΔIs(xr)和现在评价值最好的ΔIs(x1)进行比较(步骤S383)。这里，当ΔIs(xr)较大时(步骤S383中为“否”)，则将评价值最低的xh变更为xr(步骤S384)，让处理结束。
另一方面，当ΔIs(xr)小于ΔIs(x1)时(步骤S383中为“是”)，则利用(表达式54)进行扩张处理，计算参数xe与在xe下的镜面反射成份图像之差ΔIs(xe)(步骤S385)。接下来，对这样求得的ΔIs(xe)和由镜像操作得到的ΔIs(xr)进行比较(步骤S386)。这里，当ΔIs(xe)小于ΔIs(xr)时(步骤S386中为“是”)，则将评价值最坏的xh变更为xe(步骤S387)，让处理结束。
另一方面，当ΔIs(xe)大于ΔIs(xr)时(步骤S386中为“否”)，则将评价值最坏的xh变更为xr(步骤S387)，让处理结束。
在步骤S382，当ΔIs(xr)大于ΔIs(xs)时(步骤S382中为“否”)，对已经进行了镜像操作的评价值ΔIs(xr)和现在评价值最不好的ΔIs(xh)进行比较(步骤S388)。这里，当ΔIs(xr)小于ΔIs(xh)时(步骤S388中为“是”)，则将评价值最坏的xh变更为xr(步骤S389)，利用(表达式55)计算已进行了收缩操作的参数xc与在xc下的镜面反射成份图像之差ΔIs(xc)(步骤S390)。另一方面，当ΔIs(xr)大于ΔIs(xh)时(步骤S388中为“否”)，则计算已经进行了收缩操作的xc和在xc下的镜面反射成份图像之差ΔIs(xc)，却不改变xh(步骤S390)。
接着，对这样求出的ΔIs(xc)和现在评价值最不好的ΔIs(xh)进行比较(步骤S391)。这里，当ΔIs(xc)小于ΔIs(xh)时(步骤S391中为“是”)，则将评价值最坏的xh变更为xc(步骤S392)，让处理结束。
另一方面，当ΔIs(xc)大于ΔIs(xh)时(步骤S391中为“否”)，按照下式对所有候补参数xi(i＝1，2，3，4)进行变更，让处理结束。
重复进行以上处理来推定出镜面反射图像中的未知参数即m、ηλ、ks。
通过以上处理，能够将所有的未知参数推定出来。
另外，用于参数推定的模型，并非一定要是Cook-Torrance模型，还可以是例如Torrance-Sparrow模型、Phong模型、简易Torrance-Sparrow模型等(例如，for example，K.Ikeuchi andK.Sato，″Determining Reflectance Properties Of An ObjectUsing Range And Brightness Images″，IEEE Transactions onPattern Analysis and Machine Intelligence，vol.13，no.11，pp.1139-1153，1991).
参数推定方法，并不一定非要是单体法，利用例如勾配法、最小二乘法等一般的参数推定手法也无妨。
以上处理对每一个像素进行也可以，进行区域分割，再对每一个区域推定出相等的参数组也无妨。在对每一个像素进行处理的情况下，优选的做法是，通过移动光源、摄像装置或者被摄物，取得被摄物的法线方向矢量n、光源方向矢量L或者视线矢量V等已知参数已变动了的取样。在对每一个区域进行处理的情况下，优选的做法是，改变区域分割来使得对每一个区域求得的参数的偏差变小，从而进行最佳的参数推定。
形状信息高密度化部211将在形状信息取得部204取得的被摄物的形状信息高密度化(步骤S409)。这将象下述那样来实现。
首先，将在形状信息取得部204取得的表面的形状信息向由图像摄像部201取得的图像投影，求出对应于图像内各个像素的法线方向。这样的处理能够通过现有的相机校正处理(例如，「運天弘樹，池内克史，“実物体の仮想化のための3次元幾何モデルのテクスチャリング手法”，CVIM-149-34，pp.301-316，2005)来实现。
此时，用极坐标表现法线方向矢量np，将其值设定为θp、φp(参看图31)。通过以上处理来制作法线成份即θ、φ的图像。利用与上述反射率高分辨率化部207一样的手法将这样求得的θ图像和φ图像高分辨率化来推定高密度的形状信息。此时，在进行高密度化处理以前进行学习处理，将对法线的θ、φ成份的群集C和已经被学习的变换矩阵CMat累积到法线DB212中。
优选的做法是，以上处理是在影子除去部205中仅对没有被作为影子去除的区域进行。这样做是为了防止参数推定处理由于影子的存在而产生误差。
在参数推定处理部210中，利用设在摄像装置附近的能够控制的光源也无妨。该光源可以是数码相机的闪光灯。在该情况下，可以在时间上连续地拍摄打开闪光灯后而拍摄的闪光图像、和未打开闪光灯而拍摄的非闪光图像，再利用该差分图像进行参数推定。摄像装置和是光源的闪光灯的位置关系是已知的，而且，事先也能够将闪光灯的光源信息即三维位置、颜色、强度测量好。还有，因为摄像装置和闪光灯被设置在非常近的地方，所以能够拍摄下影子少的图像。于是，能够对图像内几乎所有的像素推定出参数。
参数高密度化部213将由参数推定处理部210求得的参数高密度化(步骤S410)。这里，进行单纯的线性插值来将所有的参数高密度化。当然，利用进行了上述反射率高分辨率化部207那样的学习的高密度化手法也无妨。
可以对不同的参数采用不同的高密度化方法。例如，一般认为即使高密度化，推定参数即被摄物的折射率ηλ的值也不变化，所以被摄物的折射率ηλ可以利用单纯插值法来进行高密度化，而对于扩散反射成份的系数kd、镜面反射成份的系数ks、以及扩散反射成份的反射率ρd进行利用学习而进行的高密度化处理也无妨。
镜面反射图像高分辨率化部214，利用由形状信息高密度化部211推定的高密度形状信息和由参数高分辨率化部214高密度化的参数，来合成高分辨率镜面反射图像(步骤S411)。将已高密度化的参数代入(表达式37)～(表达式45)中来合成高分辨率化镜面反射图像。
这里，可以这样做，例如仅对入射照度Ei在被推定出的值上乘以系数l(例如l＝2)来使亮度值比实际的镜面反射图像高。这是为了通过提高镜面反射图像的亮度值来使被摄物的真物感提高之故。同样，以被摄物表面的粗躁度m作为大于推定值的值，来合成发亮部比实际强的镜面反射图像也无妨。
扩散反射图像高分辨率化部209，从由反射率高分辨率化部207合成的高分辨率反射率图像合成高分辨率扩散反射图像(步骤S412)。对该处理进行说明。
如上所述，反射率图像是用光源方向矢量和被摄物的法线方向矢量的内积除扩散反射图像而得到的。因此，通过对反射率图像、与由光源信息推定部203推定的光源方向矢量和由形状信息高密度化部211求出的被摄物的高密度法线方向矢量之内积进行乘法运算，来合成高分辨率扩散反射图像。在由光源信息推定部203推定多个光源的情况下，对各个光源分别合成高分辨率扩散反射图像，再将这些图像加起来，即可合成一张高分辨率扩散图像。
在利用的不是反射率图像而是似反射率图像的情况下，通过对似反射率图像、与由光源信息推定部203推定的光源方向矢量和由形状信息高密度化部211求出的被摄物的高密度法线方向矢量之内积进行乘法运算，再进一步乘上为用于归一化的镜面反射图像的最大亮度值isf_max来合成高分辨率扩散反射图像。因为在归一化中所利用的镜面反射图像的最大亮度值isf_max是利用反射率推定部206累积到存储器中的，所以只要读出该信息即可。当然，在利用扩散反射图像的最大亮度值、输入图像的最大亮度值进行归一化的情况下，不是对镜面反射图像的最大亮度值isf_max进行乘法运算，而是对用于进行归一化的扩散反射图像的最大亮度值、输入图像的最大亮度值进行乘法运算。
通过以上处理，能够合成已被高分辨率化的扩散反射图像。这里，高分辨率化处理是利用反射率图像进行的，但不利用反射率图像，而是直接利用扩散图像进行高分辨率化也无妨。在该情况下，只要利用扩散图像进行学习处理即可。
影子生成部215，合成与由扩散反射图像高分辨率化部209和镜面反射图像高分辨率化部214生成的高分辨率扩散反射图像和高分辨率镜面反射图像重叠在一起的影子图像(步骤S413)。这只要利用在影子除去部205中所利用的的射线追踪进行即可。
这里，假定图像高分辨率化部217具有有关成为摄像对象的被摄物的三维形状的知识。影子生成部215取得被摄物的三维形状数据，从摄影图像中被摄物的外观(appearance)推定被摄物的三维姿势与三维位置。在被摄物是人的眼睛的角膜的情况下，从外观推定三维位置与三维姿势的例子公开在“K.Nishino and S.K.Nayar，″The World in an Eye″，in Proc.of Computer Vision andPattern Recognition CVPR′04，vol.I，pp444-451，Jul.，2004”中。能够从外观推定三维位置与三维姿势的被摄物是有限的，但只要是那样的被摄物上述文献中的方法就适用。
只要被摄物的三维姿势和三维位置被推定出来，就能够算出在被摄物上的任意位置上的被摄物表面的形状信息。对所拍摄的图像重复进行以上处理，算出被摄物表面的形状信息。而且，通过利用在形状信息高密度化部211推定的高密度形状信息将被摄物的形状信息高密度化，便能够将被摄物的三维形状高密度化。通过利用这样求得的高密度三维形状和由参数高分辨率化部214高密度化的参数进行射线追踪，来进行高分辨率影子图像的推定。
再现部216，将已由扩散反射图像高分辨率化部209合成的高分辨率扩散反射图像、已由镜面反射图像高分辨率部214合成的高分辨率镜面反射图像、以及已由影子生成部215合成的影子图像合成后，再制作将原图像高分辨率化后而得到的高分辨率图像(步骤S414)。
图32～图34示出了利用该实施例中的利用似反射率进行的图像高分辨率化方法将图像高分辨率化为8×8倍的结果。图32示出了用于学习的图像。用假面具作了被摄物。利用这样的学习数据对图33(a)中的图像进行了高分辨率化。该图像是与图32的学习数据一样的被摄物，但光源的位置却不同。
为进行比较，以在反射率高分辨率化部207所利用的纹理基元为基础的高分辨率化，不是对反射率图像进行的，而是对由图像摄像部201拍摄的图像进行的。该结果示于图33(b)。而且，图33(c)是该实施例中的利用似反射率进行的图像高分辨率化的结果。图34(a)、图34(b)是将图33(b)、图33(c)右侧上部所示的矩形区域内放大后得到的图。可知通过利用这些结果，该实施例的图像高分辨率化方法能够将图像高分辨率化为8×8倍，而不会导致图像质量恶化。
若仔细分析一下被摄物右侧上部的遮挡边缘，则知道在图34(a)中，边缘模糊了。是这样认为的，因为学习时和高分辨率化处理时的光源环境不同，而区别不出背景和已经学习的被摄物，这就导致了图像质量恶化。另一方面，在该实施例的图像高分辨率化方法中，因为利用形状信息，所以遮蔽边缘很自然地表现出来。也就是说，通过利用反射率图像或者似反射率图像以及被摄物的形状信息，能够表现适当的遮蔽边缘，从而能够实现更适当的图像的高分辨率化。
在上述说明中，利用参数推定仅对镜面反射图像进行了高分辨率化，但对扩散反射图像进行参数推定，并进行高分辨率化也无妨。
对该处理进行说明。如上所述，扩散反射图像的未知参数是以下两个。
ο扩散反射成份的系数kd ο扩散反射成份的反射率ρd 这里，对这些参数进行推定。图35是一显示扩散反射图像的参数推定处理的流程的图。该处理，是在图27所示的镜面反射图像的参数推定部210所进行的处理以后，又进行了以下两个阶段的处理。
首先，利用(表达式49)和镜面反射图像的参数推定求出的ks，由下式推定kd(步骤S353)。
kd＝1-ks
进一步利用(表达式47)，利用下式推定扩散反射图像的反射率ρd(步骤S354)。
经过以上处理，所有的未知参数都能够推定出来。利用与参数高密度化部213一样的手法将这样求出的参数高密度化，来将扩散反射图像高密度化即可。
在上述说明中，光源信息推定部203利用镜面球求出了光源信息，但从图像直接推定也无妨。对该处理进行详细的说明。
(光源信息推定处理) 图36是一显示本处理所涉及的光源推定装置的结构的方框图。在图36中，1001是由CCD、CMOS等构成的摄像装置、1002是进行摄像行为的主体即摄像者指示摄像装置1001进行拍摄的摄像开关。摄像装置1001中安装有3轴的角度传感器1025。
101，是判断摄像装置1001的状况是否适于取得光源信息的摄像装置状况判断部；102，是当由摄像装置状况判断部101判断出适于取得光源信息的时候，由摄像装置1001进行摄像，并将所拍摄的该图像作为光源图像取得的光源图像取得部；103，是当由光源图像取得部102取得光源图像的时候，取得表示摄像装置1001的状况的第一摄像装置信息的第一摄像装置信息取得部；104，是当根据摄像者的操作由摄像装置1001拍摄了图像的时候，取得表示摄像装置的状况的第二摄像装置信息的第二摄像装置信息取得部；最后，105，是以由光源图像取得部102取得的光源图像、由第一摄像装置信息取得部103取得的第一摄像装置信息、以及由第二摄像装置信息取得部104取得的第二摄像装置信息为基础，来推定摄像时光源的方向与位置中至少一方的光源信息推定部。
此外，这里，假定摄像装置状况判断部101、光源图像取得部102、第一摄像装置信息取得部103、第二摄像装置信息取得部104以及光源信息推定部105是通过让CPU1209执行程序来实现的。但是，由硬件实现这些功能的全部或者一部分也无妨。存储器1028将由光源图像取得部102取得的光源图像、由第一摄像装置信息取得部103取得的第一摄像装置信息存储起来。
图37示出了安装有本处理所涉及的光源推定装置的带相机的翻盖式手机1000的结构之例。在图37中，和图36一样的构成要素用和图36一样的符号来表示。此外，在图37中的带相机的翻盖式手机1000中，偏振滤光器1016设在摄像装置1001中，还设有用以让该偏振滤光器1016旋转的马达1026a、用以检测其旋转角的编码器1027a。此外，还设有用以驱动翻盖机构的马达1026b和用以检测其旋转角的编码器1027b。
图38是一显示图37中的带相机的手机1000合上以后的状态的图。在图38中，1005表示摄像装置1001的光轴方向，1006表示摄像装置1001的视野范围。
下面，对本处理所涉及的光源推定装置的各个构成要素的动作进行说明。
摄像装置状况判断部101判断摄像装置1001的状况是否适于取得光源信息。一般认为最普通的光源就是家庭内的照明、屋外街上的灯光、太阳等。因此，在摄像装置1001的拍摄方向，亦即光轴的方向朝向上方的情况下，能够做出处于适合由摄像装置1001取得光源信息的状态的判断。于是，便由摄像装置状况判断部101利用安装在摄像装置1001上的角度传感器1025的输出，检测摄像装置1001的光轴方向，当光轴朝向上方的时候，做出适合于取得光源信息的判断。此时，摄像装置状况判断部101将促进拍摄的信号发送给光源图像取得部102。
当光源信息取得部102从摄像装置判断部接收到促进拍摄的信号的时候，也就是说，当由摄像装置状况判断部101判断出摄像装置1001的状况适合于取得光源信息的时候，便由摄像装置1001进行拍摄，再由光源信息取得部102取得所拍摄的该图像作为光源图像。已取得的光源图像被存储到存储器1028中。
此时，优选的做法是，由光源信息取得部102确认出拍摄没有按照摄像者的操作进行以后，便由光源信息取得部102取得光源图像。例如，判断出摄像开关1002未被按下以后，即可拍摄光源图像。
光源信息取得部102，是考虑摄像者的摄像意图，利用尚未进行拍摄的期间来拍摄光源图像的。在本处理所涉及的光源推定装置中，利用用来拍摄被摄物的摄像装置1001拍摄光源图像。因此，万一，在摄像者就要拍摄被摄物之前拍摄了光源图像，则不能在摄像者即将进行摄像的瞬间将被摄物拍摄下来，而将摄像者的拍摄意图给忽视了。
因此，在该处理中，为了将摄像者的摄像意思考虑在内，在假定摄像者不进行拍摄的那段时间内，例如摄像装置被放置在桌子上等的那段时间内拍摄光源图像。例如，在图38中带相机的翻盖式手机1000被放置在桌子等上的情况下，一般认为光轴方向1005是朝向上方的。若是该状态，则能够拍摄最佳的光源图像。
图39是一显示摄像装置状况判断部101及光源图像取得部102的处理之例的流程图。首先，摄像装置状况判断部101检测摄像装置1001的光轴方向，判断该光轴方向是否朝向上方(步骤S121)。当光轴方向不朝向上方的时候(步骤S121中为“否”)，重复地对光轴方向进行检查，直到检查出该光轴方向朝向上方为止。另一方面，当光轴方向朝向上方的时候(步骤S122中为“是”)，则由光源信息取得部102对摄像开关1002进行检查(步骤S122)。万一处于为进行自动聚焦(AF)等处理，摄像开关1002被按下的情况(步骤S122中为“否”)，则因为摄像的可能性很高，所以不拍摄光源图像。另一方面，在摄像开关1002未被按下的时候(步骤S122中为“是”)，则由摄像装置1001进行拍摄，由光源信息取得部102取得光源图像(步骤S123)。
另外，这里，假定的是借助对摄像开关的检查来做出是否根据摄像者的操作进行摄像的判断，但确认摄像者是否具有拍摄意图的方法并不限于此。例如，还可以这样做，将“正在拍摄吗？”这样确认是否拍摄的表示显示于屏幕上，当摄像者表示出“不”这样的意思以后，或者是没有任何反应的时候，则做出摄像者没有摄像的意思的判断。
利用加速度传感器等，当摄像装置1001静止的时候拍摄光源图像也无妨。也就是说，当摄像装置1001静止时，则能够做出摄像者还没有将摄像装置1001拿在手中，摄像装置1001是放置在桌子上的判断。因此，在该情况下，摄像者不拍摄的可能性很高。另一方面，摄像者为进行拍摄而拿着摄像装置1001的情况下，加速度传感器能够感知到手的颤动等影响。此时，只要不让光源信息取得部102进行拍摄即可。
当由光源信息取得部102取得光源图像的时候，第一摄像装置信息取得部103则取得表示摄像装置1001的状况的第一摄像装置信息。具体而言，例如，取得角度传感器1025的输出和摄像装置1001的焦点距离信息作为第一摄像装置信息。已取得的第一摄像装置信息被存储到存储器1028中。图40是一显示保存在存储器1028中的信息的一部分的示意图。针对某一光源图像，角度传感器的输出和焦点距离被作为第一摄像装置信息存储起来。
利用角度传感器1025的输出，摄像装置1001的姿势信息被表现为以下的3×3矩阵Rlight。
(表达式1)
称摄像装置1001的表示姿势信息的、该3×3矩阵Rlight为相机姿势矩阵。这里，(α、β、γ)是用安装在相机中的传感器的输出的滚转、倾斜、偏航角表现的值，用从某一个基准点的移动量来表现。如图41所示，用是绕z轴的旋转的滚转、是绕新的y轴的旋转的倾斜、最后是绕新的x轴旋转的偏航角这三个阶段的旋转来表示任意的旋转。
Rx(α)、Ry(β)、Rz(γ)是从滚转、倾斜、偏航角向x轴旋转、y轴旋转、z轴旋转变换的矩阵。用以下各式来表示。
在摄像装置1001的焦距可变的情况下，其变焦信息也被作为焦点距离信息取得。当摄像装置1001的焦点固定不变的情况下，其焦点距离信息也被取得。焦点距离信息，是通过进行在图像处理领域所广泛使用的相机校正来取得的。
作为这样的从安装在相机上的角度传感器、角速度传感器取得相机的姿势信息的方法，只要采用已知的手法即可(例如，岡谷貴之，“メカニカルセンサとイメ一ジセンサの融合による3次元形状復元”，情報処理学会研究報告会，2005-CVIM147，pp.123-130，2005)。
在摄像装置1001根据摄像者的操作进行拍摄的拍摄时，第二摄像装置信息取得部104取得表示摄像装置1001的状况的第二摄像装置信息。这里也是和上述第一摄像装置信息取得部103一样，取得角度传感器1025的输出和摄像装置1001的焦点距离信息作为第二摄像装置信息。此时，将从角度传感器1025的输出(α、β、γ)求得的姿势矩阵Rnow称为现在的姿势矩阵。
光源信息推定部105，利用存储在存储器1028中的光源图像和第一摄像装置信息、由第二摄像装置信息取得部104取得的第二摄像装置信息，推定在根据摄像者的操作进行拍摄时的光源信息。这里，假定对光源方向进行推定。
首先，在光源图像中，抽取亮度值非常大的像素来作为对光源进行拍摄的像素，亦即光源图像。图42是一用以说明该处理的示意图。在图42中，具有视野范围1006的摄像装置1001对光源1007进行拍摄。此时，在所拍摄的图像1008中，光源被拍摄的区域1009的亮度值变得非常高。于是，利用阈值处理，将亮度值比规定的阈值高的像素作为光源图像抽取。
从这样求得的光源像素推定光源方向。为进行该处理，需要摄像装置的像素位置(u、v)与被称为图像坐标系的摄像元件上的实际尺寸位置(xf、yf)的关系式。若考虑透镜的变形等的影响，则像素位置(u、v)与实际尺寸位置(xf、yf)的关系能够用下式求出。
uu＝u+Du vu＝v+Dv Du＝u(κ1r2+κ2r4) Dv＝v(κ1r2+κ2r4) (表达式2)
这里，(Cx、Cy)是像素中心位置，s是标度因子(scale factor)，(dx、dy)是摄像元件一个像素的尺寸(mm)，Ncx是x方向上的摄像元件数，Nfx是x方向上的有效像素数，к1和к2是表示透镜的变形的变形参数。
以图43所示的摄像装置的焦点位置为原点，以其光轴方向作为Z轴的相机坐标系(x，y，z)和图像坐标系(xf、yf)的关系能够用下式求出。
(表达式3) 这里，f表示摄像装置的焦点距离。也就是说，若已知相机参数(Cx、Cy)、s、(dx、dy)、Ncx、Nfx、f、к1和к2，则能够利用(表达式2)和(表达式3)进行像素位置(u、v)和相机坐标系(x，y，z)的变换。
通常情况下，只要摄像元件已经确定，Ncx、Nfx就是已知的，而且，(Cx、Cy)、s、(dx、dy)、к1、к2、f通过进行所谓的相机校正也成为已知的(例如，Roger Y.Tsai，″An Efficient AndAccurate Camera Calibration Technique For 3D MachineVision″，Proceedings of IEEE Conference on Computer Visionand Pattern Recognition，Miami Beach，FL，1986，pp.364-374)。即使摄像装置的位置、姿势变化，这些参数也不变化。这样的参数被称为相机内部参数。
于是，在进行拍摄以前对相机进行校正，将相机内部参数(Cx、Cy)、s、(dx、dy)、Ncx、Nfx、f、к1、к2确定下来。这些值利用购买摄像装置时所附带的值也无妨。在相机不是固定焦点，而是焦距可变的情况下，先分别求出各个焦距下的焦点距离f放着， 做到必要的时候能够进行选择即可。而且，只要与已经拍摄了焦点距离f的图像一起保存好即可。
利用以上信息从光源像素推定光源方向。若假定光源像素的像素位置为(ulight，vlight)，则光源方向Light能够按照下式表现。
但是，因为Light是用已经拍摄了光源图像的相机坐标系表现的，所以要用现在的相机坐标系Lnow重新进行表现。这能够用下式表现。
Lnow＝Rnow-1·Rlight·Llight (表达式4) 借助以上处理推定光源方向矢量Lnow。这样做光源方向便被推定出来了。
可以这样的，利用摄像装置1001的移动，不仅求出光源方向，也将三维位置求出来。
图44是一用以说明该处理的示意图。在图44中，1001A、1010A显示的是时刻t＝t1的摄像装置和光源方向矢量，1001B、1010B显示的是时刻t＝t2的摄像装置和光源方向矢量。这里，若知道时刻t1和t2下摄像装置的相对位置关系和姿势，那么，光源就理应存在于将光源方向矢量1010A、1010B延长后所得到的交点上。也就是说，象下述那样求出光源的三维位置。
将在时刻t1的摄像装置的姿势矩阵、摄像装置的相对三维位置以及已推定出的光源方向矢量分别设定为R1、P1、L1，将在时刻t2的摄像装置的姿势矩阵和已推定出的光源方向矢量分别设定为R2、L2。但是，假定在时刻t2，摄像装置的位置是原点O(0，0，0)。此时，光源位置Plight满足下式。
Plight＝m·R2-1·R1·L1+P1 (表达式5) Plight＝s·L2 (表达式6) 不过，s、m是任意的常数。如果所有的推定值都正确，不存在噪音，则通过以(表达式5)和(表达式6)作为与s和m有关的连立方程式求解，求出光源位置Plight。但是，因为通常情况下，有噪音的影响，所以利用最小二乘法求光源位置。
首先，考虑以下函数f(m，s)。
f(m，s)＝{(m·R2-1·R1·L1+P1)-s·L2}2 这里，m，s满足以下关系式。
也就是说， (R2-1·R1·L1)2·m-(R2-1·R1·L1)T·L2·s+(R2-1·R1·L1)T·P1＝0 (表达式7) (L2T·R2-1·R1·L1)·m-L22·s+L2T·P1＝0(表达式8) 结果是，以(表达式7)和(表达式8)作为与s和m有关的连立方程式解出，并将求出的s和m代入(表达式5)或(表达式6)，来求出光源位置Plight。这样光源的位置便被推定出来。
此外，利用光学流程求出时刻t1的摄像装置的相对三维位置P1(时刻t1和t2下的摄像装置的相对位置关系)，光学流程是将对应于被摄物的某一点的、时间上连续的两个图像上的点连接起来后所得到的矢量，换句话说，将相对应的点连接起来后所得到的矢量。几何学上的约束式在对应点和相机的移动情况之间成立。于是，在对应点满足一定条件的情况下能够计算出相机的移动量。
已知，例如被称为8点法的手法能够作为从光学流程求出不同时刻下的摄像装置的相对位置关系的手法(“A ComputerAlgorithm For Reconstructing A Scene From Two Projections”，Nature，vol.293，pp.133-135，1981)。该手法是从两个图像之间的静止的八个以上的对应点的组算出相机的移动。而且，因为这样的求两个图像之间的对应点的手法是被广泛应用的手法，所以省略对它的详细说明(for example，Carlo Tomasi and Takeo Kanade，“Detection And Tracking Of Point Features”，CarnegieMellon University Technical Report，CMU-CS-91-132，April1991)。
通过求光源像素的亮度值、RGB值，便能够求出光源的亮度和颜色。还有，通过用多光谱相机求图像来检测光源的光谱也无妨。已知通过这样取得光源的光谱，则在图像的高分辨率化、虚拟现实中，能够合成颜色再现性很高的图像(例如，内山俊郎，土田 勝，山口雅浩，羽石秀昭，大山永昭，“マルチスペクトル撮影による光源環境計測とスぺクトルに基づく画像生成”，電子情報通信学会技術研究報告PRMU2005-138，pp.7-12，2006)。
光源信息推定部105，取得光源的照度信息作为光源信息也无妨。这时只要光轴方向与利用摄像装置1001一致的照度计即可。只要用将微安培计连接在光电池上，读出由入射光产生的光电流的光电池照度计作照度计即可。
如上所述，根据本处理的光源推定装置，当判断出摄像装置的状况适于取得光源信息的时候，由该摄像装置取得光源图像，利用取得光源图像时的第一摄像装置信息、由摄像者进行拍摄时的第二摄像装置信息，推定摄像时的光源信息。因此，在带相机的手机等中，无需安装附加的摄像装置，便能够对被摄物周围的光源信息进行推定。
此外，在上述处理中，为了由摄像装置状况判断部101检测出摄像装置1001的光轴方向，采取的是利用角度传感器1025的输出进行检测的做法，但除此以外，例如，还可以采取用垂锤和接触传感器进行检测的方法(参考日本公开专利公报特开平4-48879号公报)、用加速度传感器进行检测的方法(参考日本公开专利公报特开昭63-219281号公报)等已知方法。
这里，对利用垂锤和接触传感器进行的方法加以说明。图45是显示垂锤和接触传感器的结构的图。在图45(a)中，1003是一个总是被保持为垂直方向的、基端部受到支承而能够进行摆动的下垂的垂锤，1004A、1004B是接触传感器。1005表示摄像装置的光轴方向。优选的做法是，如图45(b)所示，若设摄像装置的光轴方向1005与水平面所成的角度为θ，则接触传感器1004A、1004B被设置成当光轴方向1005从水平方向倾斜规定角度θ1、θ2时，接触传感器1004A、1004B能够碰到垂锤1003。
图46是一显示将图45所示的垂锤和接触传感器安装到带相机的翻盖式手机中的情况下的构成例。在将图46中的带相机的翻盖式手机中放置成摄像装置1001在下的情况下，垂锤1003碰到接触传感器1004A，接触传感器1004A被接触(图47(a))。另一方面，在将图46中的带相机的翻盖式手机中放置成摄像装置1001在上的情况下，垂锤1003碰到接触传感器1004B，接触传感器1004B被接触(图47(b))。
图48是一显示光轴方向和接触传感器的接触/非接触关系的图。也就是说，当接触传感器1004A接触，接触传感器1004B不接触的时候，能够做出这样的推定，即，光轴从水平方向朝下倾斜+θ1以上。而且，当接触传感器1004B接触，接触传感器1004A不接触的时候，能够做出这样的推定，即，光轴从水平方向朝上倾斜-θ2以上。另一方面，在接触传感器1004A、1004B双方都不接触的情况下，-θ2＜θ＜+θ1，能够做出光轴方向基本上水平的推定。
这样一来，利用垂锤和接触传感器就能够检测出摄像装置1001的光轴方向。
此外，这里，以带相机的翻盖式手机为例进行了说明，当然，就是数码静态相机、数码摄像机等，也能够利用垂锤和接触传感器检测出摄像装置的光轴方向。图49是一显示将垂锤和接触传感器安装到数码静态相机的情况下的构成例。如图49(a)所示，当摄像装置1001的光轴朝下的时候，垂锤1003碰到接触传感器1004A，另一方面，如图49(b)所示，当摄像装置1001的光轴朝上的时候，垂锤1003碰到接触传感器1004B。
在上述处理中采用的做法是，由摄像装置状况判断部101检测摄像装置1001的光轴方向，并判断摄像装置1001的状况是否适于取得光源信息。但可以代替检测光轴方向的方法，而是采用例如检测被拍摄的图像的亮度值来进行判断的做法。
在光源映入所拍摄的图像中的情况下，光源已被拍摄的像素的亮度值变得非常高。于是，在由摄像装置1001拍摄图像，且在所拍摄的图像中存在阈值以上的亮度值的情况下，能够做出光源被拍摄，处于适合取得光源信息的状况的判断。因为此时光源的亮度值被认为非常高，所以优选的做法是，摄像装置1001进行拍摄时，尽量地缩短曝光时间。
或者是，为了做出摄像装置1001的状况是否适于取得光源信息的判断，采用检测相机的视野范围内是否存在遮挡物的做法也无妨。这是因为当存在遮挡物的时候，光源被遮住，不能拍摄光源的可能性就提高之故。
检测是否存在遮挡物的方法有利用距离信息进行的方法、利用图像信息进行的方法。前者的情况下可以这样做，例如利用用在相机的自动聚焦等上的测距传感器的输出，当例如被摄物在1m以内的距离范围内的情况下，做出该被摄物是遮挡物地判断即可。后者的利用图像信息的方法是这样的，例如用摄像装置1001进行摄像，再利用图像处理检测该图像中是否有人存在。在有人被拍摄下来的情况下，做出该人就是遮挡物的判断。这是因为一般都这么认为在相机附近将光源遮挡起来的最一般的被摄物就是人之故。从图像中检测人的存在与否，只要利用被广泛使用的图像认识技术即可，例如利用颜色信息来检测出肤色区域等技术。
优选的做法是，在由光源图像取得部102取得光源图像的时候，闪烁灯不闪就进行拍摄。这是因为，在引起象镜子那样的镜面反射的被摄物存在于摄像装置1001的视野内的情况下，闪烁灯被反射，而错误地将它推定为光源像素之故。于是，优选的做法是，利用冷却CCD照相机、多重曝光摄像等能够拍摄下较广的动态范围的摄像装置。而且，在由光源图像取得部102取得光源图像的时候，若曝光量不足，则只要将曝光时间加长即可。如上所述，取得光源图像的时候，只有在利用加速度传感器，摄像装置1001静止的时候，才是特别有效的。
如上所述，根据该实施方式，在利用数据库进行的图像的高分辨率化中，在输入了光源环境与制作数据库时不同的被摄物的情况下，也能够一边抑制图像质量的恶化，一边进行图像的高分辨率化。
(第二实施方式) 图50示出了本实施方式所涉及的图像高分辨率化装置的构成。
在图50中，用和图1一样的符号表示与图1共用的构成要素，这里详细说明就省略不提了。而且，图4是装有该实施方式所涉及的图像高分辨率化装置的相机的构成例，和第一实施方式一样。
与第一实施方式不同之处是在该第二实施方式中设置了图像高分辨率化判断部223。该图像高分辨率化判断部223，仅在遵循累积在反射率DB208中的变换规则对由反射率推定部221制作的反射率图像进行高分辨率化的情况下，对可靠性进行评价。当由图像高分辨率化判断部223评价出可靠性低的时候，反射率高分辨率化部207则不用累积在反射率DB208中的变换规则，将反射率图像高分辨率化。换句话说，在利用了反射率DB208时的高分辨率反射率图像的可靠性低的情况下，将反射率高分辨率化处理进行切换。
图51是显示该实施方式中的图像高分辨率化判断部223和反射率高分辨率化部207的流程的流程图。图像高分辨率化判断部223，判断由反射率推定部221制作的反射率图像是否与在制作反射率DB208时的学习数据相似(步骤S451)。只要利用将已输入的反射率图像纹理基元化后得到的纹理基元与群集C内的距离最短的纹理基元矢量之间的距离进行这里的图像的相似度计算即可。在纹理基元的距离比阈值Th_TX小的情况下(步骤S451中为“是”)，和第一实施方式一样，从反射率DB208取得变换规则来将反射率图像高分辨率化(步骤S452)。另一方面，在纹理基元的距离比阈值Th_TX大的情况下(步骤S451中为“否”)，做出用反射率DB208中所保存的变换规则不能进行高精度的高分辨率化的判断，则进行例如以单纯的线性插值处理为基础的高分辨率化处理(步骤S453)。通过实验来决定这样的阈值Th_TX即可，例如，在输入图像是各色的256灰度的彩色图像的情况下，将该阈值Th_TX设定为0.01即可。
当然，十分相似的学习数据不存在的情况下的处理方法并不限于线性插值处理，利用例如双三次插值法、样条插值法等皆可。
这里的图像相似度计算法，并不限于利用将已输入的反射率图像纹理基元化后得到的纹理基元与群集C内的距离最短的纹理基元矢量之间的距离进行的方法，利用例如对亮度柱状图(illumancehistogram)进行比较的方法也无妨。在该情况下，不仅将群集C和已经学习的变换矩阵CMat累积到反射率DB208中，也将已用于学习的图像累积到反射率DB208中。在上述的利用纹理基元间的距离进行的方法下，反射率高分辨率化处理的切换是针对每一个像素进行的，而在该手法中，反射率高分辨率化处理是针对每一个图像进行的。
为了评价由反射率高分辨率化部207制作的高分辨率反射率图像的可靠性，图像高分辨率化判断部223，可以不利用反射率图像，而是利用已由反射率高分辨率化部207高分辨率化的高分辨率反射率图像进行评价。在该情况下，只要评价已对由反射率高分辨率化部207高分辨率化的高分辨率反射率图像进行了低分辨率化的图像、与由反射率推定部221制作的反射率图像的相似度即可。进行这里的低分辨率化时，只要让高分辨率反射率图像通过低通滤波器再进行子采样即可。
在高精度地进行高分辨率化的情况下，这两个反射率图像成为同一个图像；当高分辨率化失败的时候则成为不同的图像。于是，在这两个反射率图像的相似度十分高的情况下，和第一实施方式一样，从反射率DB208取得变换规则来将反射率图像高分辨率化。另一方面，在这两个反射率图像的相似度不十分高的情况下，做出靠反射率DB208所累积的变换规则不能高精度地进行高分辨率化的判断，进行以例如单纯的线性插值处理为基础的高分辨率化。
如上所述，根据该实施方式，对与学习数据不相似的被摄物，不是利用累积在反射率DB中的变换规则，而是利用例如单纯的线性插值处理，就能够进行抑制了图像质量恶化的高分辨率化处理。
(第三实施方式) 图52是一显示本发明第三实施方式所涉及的图像高分辨率化系统的构成的方框图。在图52中，用和图1一样的符号表示与图1共用的构成要素，这里详细说明就省略不提了。
在图52中，在例如由带相机的手机构成的通信终端501中，设有图1所示的各个构成要素中的图像摄像部201、光源信息推定部203以及形状信息取得部204。反射率推定部206、反射率DB208、反射率高分辨率化部207以及图像高分辨率化部217设在服务器502中，该服务器502，是一个离开通信终端501经由网络连接的外部装置。也就是说，在该实施方式中，在通信终端501一侧，不是进行所有的处理，而是仅拍摄图像、取得光源信息及形状信息。在服务器502一侧进行图像高分辨率化处理。
象在第一实施方式中所叙述的那样，在通信终端501，由图像摄像部201拍摄原图像，由光源信息推定部203对光源信息进行推定，由形状信息取得部204取得被摄物的形状信息。这些原图像、光源信息以及形状信息由信息发送部224负责发送。
在服务器502，信息接收部225接收从通信终端501经由网络发送来的信息，也就是说，接收原图像、光源信息以及形状信息。所接收的原图像、光源信息以及形状信息被送给反射率推定部206。象在第一实施方式中所叙述的那样，反射率推定部206利用光源信息以及形状信息从原图像制作被摄物的反射率图像。反射率高分辨率化部207，从累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则的反射率DB208中取得变换规则，来对反射率图像进行高分辨率化。图像高分辨率化部217利用由反射率高分辨率化部207得到的高分辨率反射率图像、光源信息以及形状信息，制作已将原图像高分辨率化的高分辨率图像。
这样一来，通过将反射率推定部206、反射率DB208、反射率高分辨率化部207以及图像高分辨率化部217设在服务器502中，并使其进行图像高分辨率化处理，便能够减少通信终端501一侧的计算负荷。
另外，在上述第二及第三实施方式中，当然可以象在第一实施方式中所说明的那样，将原图像分离为扩散反射图像和镜面反射图像，对扩散反射图像进行利用了反射率图像的高分辨率化；而对镜面反射图像进行根本不利用反射率图像的高分辨率化。
另外，通过让计算机执行记录在能够例如读取计算机的记录媒体中的程序，即可实现上述各个实施方式所涉及的高分辨率化方法。
本发明所涉及的图像高分辨率化装置，在利用数据库进行的图像的高分辨率化的过程中，在输入的是光源环境与制作数据库时不同的被摄物的情况下，也能够实现抑制了图像质量恶化的图像高分辨率化处理，所以对例如数码相机的数字变焦处理很有用。
权利要求
1、一种图像高分辨率化装置，其特征在于
包括
图像摄像部，利用摄像装置对被摄物进行摄像，
光源信息推定部，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定，
形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息，
反射率推定部，利用所述光源信息与形状信息从由所述图像摄像部拍摄的原图像制作所述被摄物的反射率图像，
反射率数据库，累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则，
反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已利用所述反射率推定部制作的反射率图像高分辨率化，以及
图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
2、根据权利要求1所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；
所述反射率推定部，从由所述扩散反射、镜面反射分离部分离出的扩散反射图像制作反射率图像，来代替从所述原图像制作反射率图像。
3、根据权利要求1所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；
所述图像摄像部取得所述被摄物的光的偏振状态；
所述扩散反射、镜面反射分离部利用已由所述图像摄像部取得的光的偏振状态进行所述分离。
4、根据权利要求1所述的图像高分辨率化装置，其特征在于
所述反射率数据库所累积的变换规则是通过学习处理求出的，所述学习处理是利用分辨率与所述原图像相同的反射率图像和分辨率比所述原图像高的反射率图像进行的。
5、根据权利要求1所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括图像高分辨率化判断部，对遵照累积在所述反射率数据库中的变换规则对由所述反射率推定部制作的反射率图像进行的高分辨率化的可靠性进行评价；
当由所述图像高分辨率化判断部评价出可靠性低的时候，所述反射率高分辨率化部则不利用已累积在所述反射率数据库中的变换规则，进行所述反射率图像的高分辨率化。
6、一种图像高分辨率化装置，其特征在于
包括
图像摄像部，利用摄像装置对被摄物进行摄像，
光源信息推定部，对含有照射所述被摄物的光源的方向以及位置中至少一方的光源信息进行推定，
形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息，
反射率推定部，利用所述光源信息与形状信息从由所述图像摄像部拍摄的原图像制作所述被摄物的似反射率图像，
反射率数据库，累积有将低分辨率似反射率图像变换为高分辨率似反射率图像的变换规则，
反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已由所述反射率推定部制作的似反射率图像高分辨率化，以及
图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率似反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
7、根据权利要求6所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；
所述反射率推定部，从由所述扩散反射、镜面反射分离部分离出的扩散反射图像制作似反射率图像，来代替从所述原图像制作似反射率图像。
8、根据权利要求6所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；
所述图像摄像部取得所述被摄物的光的偏振状态；
所述扩散反射、镜面反射分离部利用已由所述图像摄像部取得的光的偏振状态进行所述分离。
9、根据权利要求6所述的图像高分辨率化装置，其特征在于
所述反射率数据库所累积的变换规则是通过学习处理求出的，所述学习处理是利用分辨率与所述原图像相同的似反射率图像和分辨率比所述原图像高的似反射率图像进行的。
10、根据权利要求6所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括图像高分辨率化判断部，对遵照累积在所述反射率数据库中的变换规则对由所述反射率推定部制作的似反射率图像进行的高分辨率化的可靠性进行评价；
当由所述图像高分辨率化判断部评价出可靠性低的时候，所述反射率高分辨率化部则不利用已累积在所述反射率数据库中的变换规则，进行所述似反射率图像的高分辨率化。
11、根据权利要求1或6所述的图像高分辨率化装置，其特征在于
该图像高分辨率化装置包括将所述原图像分离为扩散反射图像和镜面反射图像的扩散反射、镜面反射分离部；
所述图像高分辨率化部将由所述扩散反射、镜面反射分离部分离出的镜面反射图像高分辨率化，并利用所述已高分辨率化的镜面反射图像制作所述高分辨率图像。
12、根据权利要求11所述的图像高分辨率化装置，其特征在于
所述图像高分辨率化部利用对所述形状信息进行的高密度化处理将所述镜面反射图像高分辨率化。
13、一种图像高分辨率化方法，其特征在于
包括以下步骤
第一步骤，取得拍摄被摄物而形成的原图像，
第二步骤，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定，
第三步骤，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息，
第四步骤，利用所述光源信息与形状信息从所述原图像制作所述被摄物的反射率图像，
第五步骤，从累积有将低分辨率图像变换为高分辨率图像的变换规则的反射率数据库取得变换规则，再遵照该变换规则将所述反射率图像高分辨率化，以及
第六步骤，利用在所述第五步骤中得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
14、一种图像高分辨率化程序，用以让计算机执行以下步骤，其特征在于
第一步骤，利用含有照射被摄物的光源的照度、方向以及位置中至少一方的光源信息和是所述被摄物的表面的法线信息或三维位置信息的形状信息，从摄像所述被摄物而形成的原图像制作所述被摄物的反射率图像；
第二步骤，从累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则的反射率数据库取得变换规则，再遵照该变换规则将所述反射率图像高分辨率化，以及
第三步骤，利用在所述第二步骤中得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
15、一种图像高分辨率化系统，具有通信终端和服务器，将图像高分辨率化，其特征在于
所述通信终端包括
图像摄像部，利用摄像装置对被摄物进行摄像，
光源信息推定部，对含有照射所述被摄物的光源的照度、方向以及位置中至少一方的光源信息进行推定，以及
形状信息取得部，取得所述被摄物的表面的法线信息或三维位置信息作为形状信息；
所述通信终端发送由所述图像摄像部拍摄的原图像、由所述光源信息推定部推定出的光源信息与由所述形状信息取得部取得的形状信息；
所述服务器接收从所述通信终端发送来的所述原图像、光源信息与所述形状信息，且所述服务器包括
反射率推定部，利用所述光源信息与形状信息从所述原图像制作所述被摄物的反射率图像，
反射率数据库，累积有将低分辨率反射率图像变换为高分辨率反射率图像的变换规则，
反射率高分辨率化部，从所述反射率数据库取得变换规则，再遵照该变换规则将已由所述反射率推定部制作的反射率图像高分辨率化，以及
图像高分辨率化部，利用由所述反射率高分辨率化部得到的高分辨率反射率图像、所述光源信息与形状信息制作已将所述原图像高分辨率化的高分辨率图像。
全文摘要
本发明公开了一种图像高分辨率装置。反射率推定部(206)利用由光源信息推定部(203)推定的光源信息与由形状信息取得部(204)得到的被摄物的形状信息从由图像摄像部(201)摄像下的原图像制作被摄物的反射率图像。反射率高分辨率化部(207)根据从反射率DB(208)取得的变换规则将反射率图像高分辨率化。图像高分辨率化部(217)利用已被高分辨率化的反射率图像、光源信息与形状信息制作已将原图像高分辨率化的高分辨率图像。
文档编号G06T1/00GK101356546SQ20078000126
公开日2009年1月28日 申请日期2007年5月28日 优先权日2006年5月29日
发明者佐藤智, 金森克洋, 本村秀人 申请人:松下电器产业株式会社