专利名称：图像处理方法、图像处理装置、图像处理程序以及图像文件格式的制作方法
技术领域：
本发明涉及图像处理技术，特别涉及用以进行例如动画高解像度化等解像度转换的技术。
背景技术：
由于数码映像机器网络的普及，在各种输入、输出机器中使用不同规格形式的数码图像已经成为非常普遍的现象。特别是在图像的尺寸中存在有从低解像度到超高解像度那样的多种种类。在静止图像中，民生用数码静像摄影机的摄像元件的像素多为500万像素以上，现在还有超过1000万像素的产品，正在逐步对数码相片印刷实现充分的高解像度化。
不过，能够想像出作为今后的数码图像的用途，为了生成逼真的CG，而切出实际照片图像的一部分，将其放大或者变形来进行纹理变换(mapping)这样的用途将会得到发展。并且，在电子商业交易和医疗等用途中，还存在有将商品和患部出示在显示器上时，可自由地将感兴趣的图像区域进行放大显示这样的交互式(interactive)显示用途。由于在某种程度上实现了静止图像的高解像度化，因此能够预测到今后对动画增大解像度，特别是对如电影那样，将帧图像的每一个作为静止图像通用那样的高解像度动画的需求将会增大。
从而，要求更高的图像数码的高解像度化。但为了响应此要求，不仅要求摄像元件的进一步发展，而且必须使数码图像处理高度化。
作为图像高解像度化的应用领域，具有摄影机那样的输入图像的领域和电视机那样的显示图像的领域。本发明主要涉及对输入图像类的应用。
本领域的现有技术是一边使用低解像度的摄影元件，一边用光学变焦机构来最终获得高视角、高解像度的静止图像的技术。
例如，在专利文献1中，公开有在考虑到变焦率的情况下，将边进行连续的光学变焦，边拍摄的动画一个接一个加在图像缓冲器上来生成一张广视角/高解像度静止图像的摄影机。并且，在专利文献2中，公开有逐步让变焦镜头从远距侧(telephoto side)的最大变焦位置移到广角(wide-angle)侧的最小变焦位置，将各位置中的多个图像写入磁带，在读出时对各图像进行缩小或放大，将其转换为相同倍率的图像之后，再重叠起来，在主存储器上生成高解像度的图像的技术。而且，在专利文献3中，公开有边调整光学变焦图像的位置，边将其相互贴在一起，来生成一张高解像度静止图像，组合为异质结构的金字塔形式的技术。
并且，在专利文献4中，公开有不用光学变焦，从低解像度和高解像度的图像中生成高解像度的动画的技术。即，从用低解像度、高速帧速率的摄影机进行的连续的动画中的对应点信息中，找出用低解像度、低速摄影机进行的较少帧数的动画内的对应点，利用时间方向的插补(interpolate)技术，来从高解像度图像中生成高解像度的连续帧的动画。
并且，在专利文献5中，公开有从低解像度和高解像度的图像中生成高解像度的动画的技术。在上述专利文献4中，将动作附加在高解像度的静止图像上，来使其动画化，而在该专利文献5的技术中，在每个取样时间中，使低解像度动画的一个帧和高解像度静止图像相对应，在空间上插补动画，实现高解像度化。
专利文献1特开平11—252428号公报(图3) 专利文献2特开平8—25177号公报(图2) 专利文献3美国专利第6681056号说明书 专利文献4特开2003—203237号公报(图1) 专利文献5专利第3240339号公报(图14) 不过，在现有技术中存在有下述问题。
首先，在专利文献1～3中所示的那样的用光学变焦来生成高解像度图像的技术中，存在有所生成的高解像度图像被限定为静止图像的问题。事实上数码动画的解像度与数码静止图像相比较低，非常期望实现数码动画的高解像度化。
对于动画的高解像度，在现有技术中存在有下述3个问题。第一、当将专利文献1～3使用在动画中时，必须执行录象过程和图像取得过程这两个过程，该录象过程是通过按照摄影者的意图的摄影技巧(camera work)来拍摄动画的过程，该图像取得过程是通过光学变焦取得部分图像的过程。当在不同的时间内进行了这两个过程时，高解像度图像和低解像度图像的各区域的对应关系变得不明确。并且，为了对图像内的各区域求出空间对应关系，必须对各区域进行用光学变焦取得图像的过程，但是这样做会造成反复执行选择画面内的微小区域、让其光学变焦这样的工作，使作业变得复杂，要通过人来实现它是很不现实的。
第二、专利文献4所公开的是通过时间上的插补技术来让高解像度静止图像的帧速率提高的技术，由于用运动向量将动作附加在静止图像上，因此生成的动画不会强于静止图像的连续。特别是虽然在动画中通过平移(panning)、俯仰(tilting)、变焦(zooming)等这样的摄影技巧、和让被摄物自身变形及旋转等能够产生平稳变化的各种场景，但是却难以通过静止图像的插补技术生成所有的高解像度图像。
第三、专利文献5所公开的是从低解像度的动画来生成空间上高解像度动画的技术。具体地说，由于用时间轴上的分散点来使动画和静止图像相对应，因此通过对没有存在对应信息的动画帧，使用对应关系已被判明的帧信息，探索类似的信号电平的边缘(edge)，认为它就是同一被摄物的移动，来决定在空间上插补的像素。这样一来，不仅存在有探索处理的负担太重这样的问题，而且当与被摄物的距离发生变化，或产生了被摄物变形时，不能实现对应关系，造成难以获得高解像度化的可能性很高。
发明内容
鉴于上述问题，本发明的目的在于作为进行动画的高解像度化那样的图像解像度转换的技术，能够实现处理量较少且精度较高的解像度转换。
本发明通过从对被摄物取得的解像度彼此不同的多个图像中，对每个被摄物特性学习解像度转换规则，根据被摄物特性对所取得的原图像进行区域分割，将所学习的与对应于上述区域的被摄物特性有关的解像度转换规则使用在被分割的区域中，来转换原图像的解像度。
根据本发明，首先，对于被摄物，从解像度彼此不同的多个图像中，对每个被摄物特性学习解像度转换规则。并且，根据被摄物特性对成为解像度转换对象的原图像进行区域分割。将所学习的与对应于上述区域的被摄物特性有关的解像度转换规则使用在被分割的区域中，来转换原图像的解像度。即，由于原图像的解像度转换是通过每个被摄物特性的解像度转换规则来执行的，因此能够实现反映出被摄物特性的精度较高的解像度转换。并且，由于不管在原图像上的位置如何，对被摄物特性相同的区域使用相同的解像度转换规则，因此大幅度降低了图像处理的处理量。
(发明的效果) 根据本发明，能够用较少的图像处理量实现反映出被摄物特性的精度较高的解像度转换。因此，本发明适用于使低解像度的动画高解像度化的情况。由于能够用可从各像素算出的光学特性来作为被摄物特性，因此还能够很容易地使用于通过复杂的摄影技巧、或与被摄物的距离发生变化、变形、旋转等进行平稳变化的各种场景，能够生成高质量的动画。并且，由于本发明并不限定于高解像度化，还能够使用于一般的解像度转换，因此能够有效地利用于携带电话那样的用以对低解像度显示类的图像进行显示的低解像度图像的生成。
图1为表示本发明的第一实施例所涉及的图像处理方法中的学习过程的流程图。
图2为表示本发明的第一实施例所涉及的图像处理方法中的录象过程的流程图。
图3为表示本发明的第一实施例所涉及的图像处理方法中的高解像度化过程的流程图。
图4为表示学习过程和录象过程的例子的示意图。
图5为表示本发明的第二实施例所涉及的图像处理方法中的学习过程的流程图。
图6为表示将图像转换为纹理特征量的转换方法的一个例图。
图7为表示转换后的纹理特征量的图。
图8为用以说明学习结束材质的记录的图。
图9为用以说明目标区域和光学变焦的关系图。
图10为用以具体说明生成电码本(code book)的图。
图11为用以具体说明生成电码本的图。
图12为表示变焦图像和电码本关系的图。
图13为表示本发明的第二实施例所涉及的图像处理方法中的录象过程的流程图。
图14为表示材质图像的一个例子的示意图。
图15为表示本发明的第二实施例中的图像文件格式的图。
图16为表示本发明的第二实施例所涉及的图像处理方法中的高解像度化过程的流程图。
图17为表示本发明的第三实施例所涉及的图像处理装置的方块图。
图18为学习结束区域显示部的显示例。
图19为学习结束区域显示部的学习之后的显示例。
图20为表示可见光/光谱摄影部的结构例的图。
图21为表示光谱图像中的各频带(band)的波长感度的坐标图。
图22为表示本发明的第四实施例所涉及的图像处理装置的方块图。
图23为表示光轴变焦机构的一个例子的示意图。
图24为表示本发明的第四实施例所涉及的摄影机的利用例和目标区域的设定例的图。
图25为表示本发明的第四实施例中的学习过程的流程图。
图26为表示本发明的第四实施例中的学习过程和录象过程的时间关系的时间图。
图27为表示本发明的第五实施例所涉及的图像处理装置的方块图。
图28为表示本发明的第五实施例中的图像录象过程的流程图。
图29为表示本发明的第五实施例中的低解像度及高解像度图像、和被摄物特性空间的关系的概念图。
图30为表示本发明的第六实施例所涉及的图像处理装置的结构的方块图。
图31为表示本发明的第六实施例中的低解像度及高解像度图像、和被摄物特性空间关系的概念图。
图32为表示本发明的第六实施例中的高解像度图像的摄影时间的例图。
图33为表示本发明的第六实施例中的低解像度图像和高解像度图像的对应关系图。
图34为表示本发明的第六实施例中的录象过程的流程图。
图35为表示本发明的第六实施例中的图像文件格式的图。
图36为表示本发明的第六实施例中的高解像度化的例子的示意图。
图37为表示本发明的第七实施例所涉及的图像处理装置的结构的方块图。
图38为本发明的第七实施例中的表面反射分割图像的显示例。
图39为表示本发明的第七实施例中的镜面反射/扩散反射分离摄影部的结构例图。
图40为表示本发明的第七实施例中的学习过程的图。
图41为表示本发明的第七实施例中的动画记录过程的图。
图42为表示本发明的第七实施例中的高解像度化过程的图。
图43为表示本发明的第八实施例所涉及的图像处理装置的结构的方块图。
图44为表示本发明的第八实施例中的学习过程的图。
图45为表示本发明的第八实施例中的动画记录过程的图。
图46为表示本发明的第八实施例中的高解像度化过程的图。
(符号的说明) TA1—目标区域；IMa、IMb、IMc—图像；301—变焦镜头；302—变焦控制部；303—可见光/光谱摄影部；304—光谱图像生成部；305—可见光图像生成部；306—材质图像生成部；307—纹理特征转换部；308—学习结束区域分割部；309—学习结束区域显示部(显示部)；311—纹理特征学习部；313—学习按钮；401—光轴可变焦机构；402—光轴可变焦控制部；404—摄影机工作显示部；406—照明推定部；407—录象许可部；603—低解像度摄影元件；604—高解像度摄影元件；701—镜面反射/扩散反射分离摄影部；711—镜面/扩散比例图像；728—镜面反射图像；729—扩散反射图像；1501—图像数据；1502—区域分割图像数据；1503—高解像度化参数数据；3501—高解像度化参数数据。
具体实施例方式 在本发明的第一方面，提供一种包括第一步骤、第二步骤和第三步骤的图像处理方法，在该第一步骤中，对被摄物取得解像度彼此不同的多个图像，针对每个被摄物特性从该多个图像中学习解像度转换规则；在该第二步骤中，取得原图像，根据被摄物特性对该原图像进行区域分割；在该第三步骤中，通过对在上述第二步骤中所分割的区域，使用在上述第一步骤中所学习的、与对应于上述区域的被摄物特性相关的解像度转换规则，来转换上述原图像的解像度。
在本发明的第二方面，提供一种上述被摄物特性是不受摄影距离约束的光学特性的第一方面的图像处理方法。
在本发明的第三方面，提供一种上述光学特性是从图像的光谱反射率数据或红外线光谱放射率数据中取得的第二方面的图像处理方法。
在本发明的第四方面，提供一种上述被摄物特性是被摄物表面的材质的第一方面的图像处理方法。
在本发明的第五方面，提供一种上述被摄物特性是被摄物表面的反射状态的第一方面的图像处理方法。
在本发明的第六方面，提供一种上述解像度转换规则是描述具有不同解像度的图像之间的纹理特征向量的对应关系的规则的第一方面的图像处理方法。
在本发明的第七方面，提供一种包括决定被摄物的目标区域的步骤；取得与上述目标区域有关的具有不同解像度的第一及第二图像的步骤；生成使上述第一及第二图像相互对应的解像度转换规则的步骤；取得上述目标区域中的被摄物特性的步骤；以及使上述解像度转换规则和被摄物特性相对应，并且将相对应的解像度转换规则和被摄物特性记录在存储设备中的步骤。
在本发明的第八方面，提供一种包括下述步骤的图像处理方法，这些步骤是取得被摄物的静止图像或活动图像的步骤；以及根据被摄物特性对所取得的图像进行区域分割的步骤。
在本发明的第九方面，提供一种包括下述步骤的图像处理方法，这些步骤是取得原图像、和表示上述原图像中的根据被摄物特性所分割的区域的区域分割信息的步骤；以及通过对上述区域分割信息所表示的区域，使用对应于上述区域的被摄物特性所涉及的解像度转换规则，来转换上述原图像的解像度的步骤。
在本发明的第十方面，提供一种包括取得部、规则生成部和区域分割图像生成部的图像处理装置，该取得部构成为能够对被摄物的目标区域取得具有不同解像度的第一及第二图像、和表示被摄物特性的第三图像；该规则生成部从上述第一及第二图像中生成使该第一及第二图像相互对应的解像度转换规则；该区域分割图像生成部从上述第三图像中生成根据被摄物特性而被区域分割了的区域分割图像。
在本发明的第十一方面，提供一种上述取得部将由被摄物的光谱信息构成的光谱图像作为上述第三图像取得的第十方面的图像处理装置。
在本发明的第十二方面，提供一种上述取得部将表示被摄物表面的镜面反射成分和扩散反射成分的比例的镜面/扩散比例图像作为上述第三图像取得的第十方面的图像处理装置。
在本发明的第十三方面，提供一种上述取得部分别对镜面反射图像和扩散反射图像取得具有不同解像度的第一及第二图像的第十方面的图像处理装置。
在本发明的第十四方面，提供一种上述取得部具有变焦镜头，利用光学变焦法取得上述第一及第二图像的第十方面的图像处理装置。
在本发明的第十五方面，提供一种包括用以从装置的外部指示生成解像度转换规则的学习按钮的第十方面的图像处理装置。
在本发明的第十六方面，提供一种包括用以显示上述区域分割图像的显示部的第十方面的图像处理装置。
在本发明的第十七方面，提供一种上述取得部具有光轴可变焦机构，利用该光轴可变焦机构对所指定的目标区域进行光学变焦，取得上述第一及第二图像的第十方面的图像处理装置。
在本发明的第十八方面，提供一种具有静止图像摄影功能和自拍机构，当进行使用了上述自拍机构的静止图像摄影时，在摄影之前的计时器工作期间，上述取得部进行上述第一、第二及第三图像的取得的第十七方面的图像处理装置。
在本发明的第十九方面，提供一种包括摄影功能、和检测照明环境变化的照明推定部，当在摄影期间，由上述照明推定部检测出照明环境的变化时，将要重新生成解像度转换规则的必要性通知给摄影者的第十方面的图像处理装置。
在本发明的第二十方面，提供一种包括摄影功能；以及在需要生成解像度转换规则时禁止摄影的功能的第十方面的图像处理装置。
在本发明的第二十一方面，提供一种包括动画录象功能，上述取得部构成为能够与动画录象并行地执行上述第一及第二图像的取得的第十方面的图像处理装置。
在本发明的第二十二方面，提供一种当使上述第一及第二图像中的上述第一图像的解像度较高时，上述取得部在动画录象期间，将静止图像拍摄为上述第一图像，并且，将录下的活动图像取为上述第二图像的第二十一方面的图像处理装置。
在本发明的第二十三方面，提供一种上述取得部当从上述第三图像中认出了未学习的被摄物特性时，进行上述第一及第二图像的取得的第二十二方面的图像处理装置。
在本发明的第二十四方面，提供一种上述取得部每经过规定的时间，就进行上述第一及第二图像的取得的第二十二发明的图像处理装置。
在本发明的第二十五方面，提供一种上述取得部包括用以拍摄上述第一及第二图像的具有不同解像度的多个摄影元件的第十方面的图像处理装置。
在本发明的第二十六方面，提供一种让计算机执行第一步骤、第二步骤和第三步骤的图像处理程序，该第一步骤是从对被摄物所取得的具有不同解像度的多个图像中，针对每个被摄物特性学习解像度转换规则的步骤，该第二步骤是根据被摄物特性对所取得的原图像进行区域分割的步骤，该第三步骤是通过对在上述第二步骤中所分割的区域，使用在上述第一步骤中所学习的、与对应于上述区域的被摄物特性相关的解像度转换规则，来转换上述原图像的解像度的步骤。
在本发明的第二十七方面，提供一种包括图像数据、区域分割图像数据和高解像度化参数数据的图像文件格式，该图像数据表示原图像，该区域分割图像数据表示上述原图像中的根据被摄物特性所分割的区域，该高解像度化参数数据是为了使上述原图像高解像度化，而对每个被摄物特性求出的。
在本发明的第二十八方面，提供一种上述高解像度化参数数据是上述原图像中的位置与时间的函数的第二十七方面的图像文件格式。
以下，参照附图对本发明的实施例加以详细地说明。
(第一实施例) 图1～图3为表示本发明的第一实施例所涉及的图像处理方法的流程图。图1表示学习过程，在此，对被摄物取得解像度彼此不同的多个图像，针对每个被摄物特性，从该多个图像中学习解像度转换规则。图2表示录象过程，在此，将被摄物的静止图像或动态图像作为原图像取得，并且，根据被摄物特性对该原图像进行区域分割。图3表示高解像度化过程，在此，通过将与对应于上述区域的被摄物特性相关的解像度转换规则使用在被分割的区域中，来转换原图像的解像度。在此，为了将所记录的原图像以高解像度显示在显示器上，而进行高解像度化。
此时的被摄物特性例如能够从被摄物的光谱信息中获得。光谱信息依存于被摄物的材质。这里所说的材质不仅包含被摄物自身的材料性质，还包含被摄物表面的粗燥度等表面状态。另外，本发明的被摄物特性不是仅限定于光谱信息，只要是不受摄影距离约束的光学特性的话，可以是任何特性。例如，即使对于被摄物表面的反射特性(BRDFbi directionaldistribution function)、和镜面反射成分与扩散反射成分的比例那样的物理反射特性，也能够将光的偏振光成分与图像同时取得，作为被摄物特性使用。
在图1的学习过程中，首先，在为被摄物的感兴趣区域的目标区域中，取得解像度不同的图像(S101)。例如，取得低解像度图像和高解像度图像。并且，对目标区域取得被摄物特性(S102)。然后，从解像度不同的图像中学习解像度转换规则，将其作为被摄物特性，同时，记录在存储装置中(S103)。接着，对所有的目标区域执行这样的处理(S104)。
在步骤S103中，例如，对低解像度图像和高解像度图像分别求出纹理特征量，使该纹理特征量之间的对应关系参数化，将该参数定为解像度转换规则。另外，在本案说明书中同时也将该参数称为高解像度化参数数据。
在此，纹理特征量为与上述被摄物特性完全不同的概念。被摄物特性是例如从光谱信息中获得，反映了被摄物的材质等的光学特性，纹理特征量是图像自身的像素型样(pixel pattern)的信息。
在图2的录象过程中，不是将局部的目标区域，而是将一般的动画和静止图像作为原图像取得(S201)。同时，识别被摄物特性，根据该被摄物特性进行图像区域分割，生成区域分割图像，且将其记录下来(S202)。
在图3的高解像度化过程中，首先，取得在录象过程中所记录的原图像及区域分割图像、和在学习过程中所学习的每个被摄物特性的解像度转换规则(S301)。然后，取得原图像的像素(S302)，对该像素所属的区域的被摄物特性判断解像度转换规则的学习是否结束(S303)，当判断为学习已结束时(在S303中，为“Yes”的情况)，使用该被摄物特性所涉及的解像度转换规则，进行高解像度化(S304)，如果判断为未学习时(在S303中，为“No”的情况)，施行通常的插补处理，进行高解像度化(S305)。对成为解像度转换对象的所有像素执行这样的处理(S306)。
在本发明中，使用被摄物特性，进行解像度转换规则的对应关系和图像区域的分割。在此，不用纹理等图像自身的特征，而是使用了被摄物特性的理由如下。
第一，是因为当使用了图像特征时，难以用高精度施行区域分割，而且处理量也会变多。能够预测到特别是难以用实时(real-time)对动画进行区域分割。第二，是因为图像特征因图像自身的模糊和摄影距离的不同造成难以识别的时候较多。另一方面，由于基本上能够从一个像素所具有的信息中取得被摄物特性，因此识别处理较简单，即使对于摄影距离和图像的模糊也具有较强的处理能力。即，即使图像模糊到失去图像特征的程度，被摄物特性作为信息留下来的可能性也会较高。并且，在动画中，被摄物一般不会处于静止状态，而是在画面内移动，此时，当使用了图像特征时，必须要从图像内探索该部分，但是当使用了被摄物特性时，探索就变得非常简单。
另外，虽然最典型的是用学习过程、录象过程、高解像度化过程这样的顺序来施行图1～图3所示的各过程，但是也可以在时间上并行施行学习过程和录象过程。
(第二实施例) 在本发明的第二实施例中，以上述第一实施例为基础，对具体的图像处理方法加以说明。在此，为了取得解像度不同的图像而使用光学变焦方法。并且，用被摄物的光谱信息作为被摄物特性，用高解像度化参数即表示图像的纹理特征量之间的对应关系的参数来作为解像度转换规则。
图4为表示学习过程和录象过程的例子的概念图。如图4(a)所示，在对人物进行动画摄影时，在学习过程中，预先设定目标区域TA1(图中的人物的脸)，将摄影机CA的光轴朝向该目标区域TA1，进行光学变焦。然后，如图4(b)所示，进入到录象过程中。在此，由于人物虽然多少有一点活动，但是几乎为静止状态，因此能够对录象的被摄物施行学习过程。这有望提高高解像度化的质量。当然，未必一定要对例如只发生一次的现象，以这样的顺序来执行过程。此时，在进行了录象过程之后，如果在时间上还有富余的话，就可执行学习过程。并且，还能够考虑同时进行两个过程，以后再对这种情况加以说明。
图5为表示本实施例中的学习过程的流程图。在图5中，摄影者设定目标区域(S501)，摄影机CA的光学变焦按照摄影者的指示同步工作(S502)。由此，取得目标区域的高解像度图像和低解像度图像。具体地说，生成可见光图像和光谱图像(S503、S504)。这里，可见光图像为与人的视觉特性一致的彩色图像和单色图像，光谱图像为用具有狭窄带域(band)特征的过滤器将彩色成分分光之后的信息，用于更有效地识别为被摄物的特性的材质。然后，将可见光图像转换为纹理特征量，在目标区域中使高解像度纹理特征量和低解像度纹理特征量的对应关系参数化(S506)。在本案说明书中，同时将该参数化的过程称为学习。
图6为表示将利用小波转换进行的多重解像度解析的方法，作为将图像转换为纹理特征量向量的手法的一个例子。在图6中，使用了3阶段比例缩放(scale)的小波(wavelet)转换。在第一阶段(比例缩放)中，通过X、Y方向的小波转换将输入图像IN分解为与输入图像IN尺寸相同的4个成分的图像H1H1、H1L1、L1H1、L1L1。在第二阶段(比例缩放)中，虽然进一步分解已被分解的4个成分中的X、Y双方向的高频成分H1H1以外的成分，但仅将L1L1再次分解成X、Y这两个方向，将H1L1和L1H1仅朝一个方向分解，合计为8个成分。并且，在第三阶段(比例缩放)中，分解H2H2以外的成分，同样仅使L2L2朝X、Y这两个方向分解，其它的朝一个方向分解，使其分解为12个成分。在此，能够通过以后的合成来生成用增加比例缩放的方法被再次分解为两个、4个的(图中用虚线表示)。如图7所示，通过这样的小波转换的分解，来将输入图像IN的各像素分解成16次元的成分。将这些16个成分汇在一起的向量是像素位置PP中的纹理特征量TF1。
如上所述，分别将低解像度图像和高解像度图像转换成纹理特征量，学习它们之间的相互关系，生成分析码本(code book)和再生码本。即，在阿部淑人、菊池久和、佐佐木重信、渡边弘道、齐藤义明的“使用了多重解像度向量量子化的轮廓协调”电子信息通讯学会论文杂志Vol.J79A1996/5(1032—1040页)等中对这样的处理进行了详细地说明，在此，将该详细说明加以省略。此时，步骤S506中的参数化相当于生成分析码本及再生码本。
其次，在步骤S507中，从光谱图像中求出目标区域的被摄物特性，将其作为学习结束材质记录下来。具体地说，如图8所示，通过特征向量量子化处理将用低解像度取得的光谱图像的彩色信息生成为一个特征量，将其作为代表一个固有材质的代表向量记录下来。
在步骤S508中，当对其它目标区域进行学习时，又一次设定目标区域，反复进行步骤S503～S507。当不是对其它目标区域进行学习时，结束图像的取得(学习过程)。
在此，用图9对目标区域和光学变焦的关系加以说明。
图9(a)为变焦之前的状态，用广角拍摄成为被摄物的人物。此时，如图4(a)所示，在将目标区域设定为人物的脸部时，设定以目标区域为中心的基准帧(reference frame)FL1。该基准帧FL1在光学变焦的最大倍率中相当于将画面摄满的狭窄视角的范围。纹理特征量等图像处理是在将该基准帧FL1正规化为光学变焦的最大倍率的图像尺寸的基础上执行的。
因此，摄影者朝着目标区域即基准帧FL1让高解像度图像取得过程启动。与此同步进行光学变焦。图9(b)为表示光学变焦的途中过程的图，对基准帧FL1区域继续变焦。然后，最终能够获得如图9(c)所示的那样的在整个用最大倍率进行光学变焦的基准帧FL1内的高解像度的狭窄视角的图像。
IMa、IMb、IMc分别为图9(a)～图9(c)的状态中的基准帧FL1内的图像，为将尺寸正规化之后的图像。由于在图像IMa中，对不充分的像素尺寸进行数码插补，仅让图像尺寸一致，因此产生了大幅度的模糊不清。同样，虽然光学变焦途中的图像IMb的解像度高于图像IMa，但是因插补的影响，因此多少有些模糊也是没有办法的。并且，利用光学最大变焦倍率拍摄的图像IMc为鲜明的高解像度图像。因而，对于为基准帧FL1的中心部的目标区域TA1，即使在图像IMa中呈现出非常模糊的纹理，但在图像IMb中纹理处于两者之间，在图像IMc中为非常鲜明的纹理。在图5的步骤S506中，使这些纹理特征之间的对应关系作为使用了小波转换的多重解像度向量之间的关系来参数化。
其次，对参数化加以说明。在此，参数化是通过向量量子化、和分析码本及再生码本这两种对应表的生成来实现的。
对每个100像素的像素位置，将模糊图像和鲜艳化图像转换为多重解像度向量。使其为U1～U100、V1～V100。由于在向量U1～U100与向量V1～V100之间存在有像素位置相同的关系，因此只要将码本生成为在输入了U时，输出对应的V即可。不过，实际上，通过向量量子化将多重解像度向量分类为代表向量。
在图10的例子中，向量U被量子化为UA和UB两种，向量V被量子化为VA和VB两种。解析码本和再生码本的量子化索引(quantizationindexes)意味着标注在这些被量子化的向量集合中的号码。并且，翻开码本是指一输入向量号码V，就会获得作为被量子化的向量集合的号码的1、2这样的号码。并且，对量子化集合VA附带有代表向量Z1，对量子化集合VB附带有代表向量Z2。这些代表向量是通过求出属于量子化集合中的向量的平均值和代表值等方法计算的。
其次，如图11所示，从向量号码中生成输出量子化索引(1或2)的解析码本CB1、和输入量子化索引(1或2)且输出再生向量的再生码本CB2。能够通过将藉此方法生成的解析码本和再生码本结合起来使用，来将模糊图像的多重解像度向量转换成鲜艳图像的多重解像度向量。
在上述例子中，将一对低解像度图像和高解像度图像分别量子化来进行学习，其次，对利用低解像度图像到高解像度图像的多个图像取样集合来进行学习的例子加以说明。
例如，当在后述的录象过程中顺利地进行了光学变焦时，为了进行高解像度显示，必须要对所有如从1×1到2×2、3×3、4×4…那样地进行了变焦的过程中的图像都进行高解像度化。例如，为了将这样的变焦图像以高解像度化显示在具有两倍像素数的显示装置中，必须要对变焦过程中的所有图像执行2×2高解像度化。
如图12所示，为了实施上述2×2高解像度化的学习的一对图像是对于光学变焦率为1×1的图像IM1，光学变焦率为2×2的图像IM2，对于光学变焦率为2×2的图像IM2，光学变焦率为4×4的图像IM4。作为学习样本，一般必须到解像度化的倍率M、和被拍摄的图像自身的光学变焦倍率N的积为M×N的光学变焦图像为止。不过，个别执行这些学习会成为很大的负担，另外，在显示过程中将使用不同的高解像度化参数，而产生本来光滑的光学变焦映像在每个帧变动的可能性。
所以，在学习过程中，施行M×N倍为止的光学变焦，且将这些尺寸的图像正规化，求出多重解像度向量的集合，来生成共同的分析码本CB。在码本CB中，使Z1～Z3为图像IM1的量子化向量，使Z2～Z6为图像IM2的量子化向量，使Z5～Z9为止为图像IM4的量子化向量。并且，为了生成再生码本，根据成为一对的各图像的像素对应来决定分析码本CB内的对应。根据对该对的学习，来在图像IM1时生成Z1与Z2的对应，Z2与Z3的对应，Z3与Z4的对应，由此生成再生码本。
如上所述，高解像度化用的特征向量从一连串的光学变焦图像群IM1～IM4中一次性生成。因而，虽然有可能限制所用的量子化向量的变化，但由于提高了利用的向量的共通性，因此能够维持动画平稳的光学变焦，同时，实现高解像度化。另外，为了在变焦动画中实现更加平稳的高解像度化，也可以采用在时间上对分散的再生码本进行插补的方法。
图13为表示本实施例中的录象过程的流程图。在录象过程中，如图4(b)所示，例如，对处于动态中的人物进行动画摄影，此时的视角为广视角状态到光学变焦状态这样的各种状态。在取得图像之后，与图5所示的学习过程一样，用动画帧速率进行可见光图像的生成(S601)及光谱图像的生成(S602)、和纹理特征量转换。并且，通过从光谱图像中，将光谱信息量子化，来计算出表现材质的被摄物特性(S603)，参照已被记录的学习结束材质，对图像区域进行分割，对同一材质区域进行加标(labeling)，来生成材质图像(S604)。并且，将该材质图像、和为被录象的可见光图像的录象动画记录下来，存储起来，且传送出去(S605)。
图14为材质图像的一个例子的模式图，在图4的状况中，为将人物脸部的皮肤部分作为目标区域学习、记录时的材质图像的例子。在图14的图像中，将标注了斜线的部分识别为与皮肤同质的材质区域。
图15为示意地表示在本实施例中所存储/所传送的图像文件格式图。在图15中，1501为表示在录象过程中所记录的原图像的图像数据，这里，为辉度图像或RGB图像的活动图像，将二次元的位置和时间的函数表示为I(x、y、t)。与用现有的动画摄影机功能所取得的图像并没有什么特别的不同，例如，也可以是DV和MPEG等被压缩的活动图像文件。1502为表示在录象过程中所生成的、根据原图像中的被摄物特性所分割的区域的区域分割图像数据，这也作为动画表示为Mi(x、y、t)。在图15的图像数据1502中，仅表示了与人物的皮肤材质相同的材质的区域，在记录有多种材质时，为表示已被学习记录的各材质的区域和未学习的区域的图像。1503为在图像学习过程中对每个被摄物特性所学习的高解像度化参数数据，包含上述分析码本AC(Mi)及再生码本SC(Mi)。
即可以在摄影机装置中，将图15所示的信息一起记录在存储器卡等中，也可以经由网络进行传送。并且，也可以将图15的信息全部定义为一个图像文件，将其传送到显示系统。这样一来，没有将数据量非常多的高解像度动画照原样传送出去的情况，能够在显示侧实现自由自在的高解像度化。
图16为表示本实施例中的在高解像度化过程即显示侧的处理的流程图。首先，接收图15那样的存储传送数据，取得记录动画(活动图像1501)、材质区域分割图像1502及高解像度化参数(参数文件1503)(S701)。然后，取得为了依次处理的记录动画的一个帧的各像素(S702)。参照材质区域分割图像，判断该像素对应于被学习的哪一种材质(S703)。当判断为对应于学习结束材质时，将像素转换为纹理特征量(S704)，使用对应于纹理特征量的材质所涉及的高解像度化参数，生成高解像度纹理特征量(S705)。然后，进行将高解像度纹理特征转换为图像的相反转换(S706)。这只要进行图6及图7所述的处理的相反转换即可。另一方面，对于被判断为不是对应于学习结束材质的图像，进行现有的插补处理(S707)。结果是显示高解像度动画。
(第三实施例) 图17为本发明的第三实施例所涉及的图像处理装置，为表示将本发明应用在视频电影摄影机(video movie camera)中的例子的方块图。图17的图像处理装置包括变焦镜头301、变焦控制部302、可见光/光谱摄影部303、生成由被摄物的光谱信息构成的作为第三图像的光谱图像的光谱图像生成部304、可见光图像生成部305、材质图像生成部306、纹理特征转换部307、学习结束区域分割部308、显示器等作为显示部的学习结束区域显示部309、材质区域分割图像记录部310、纹理特征学习部311、高解像度化参数记录部312、学习按钮313、记录按钮314及图像记录部315。由变焦镜头301、变焦控制部302、可见光/光谱摄影部303、光谱图像生成部304及可见光图像生成部305构成取得部，该取得部构成为能够对于被摄物的目标区域取得解像度不同的第一及第二图像、和表示被摄物特性的作为第三图像的光谱图像。由纹理特征转换部307及纹理特征学习部311构成规则生成部，该规则生成部从取得部取得的第一及第二图像中生成使该第一及第二图像相互对应的解像度转换规则。由材质图像生成部306及学习结束区域分割部308构成区域分割图像生成部，该区域分割图像生成部从光谱图像中生成根据被摄物特性进行了区域分割的区域分割图像。
摄影者在动画记录过程之前，执行图像学习过程。首先，决定被摄物的目标区域，将摄影机朝着所对应的地方，按下学习按钮313。在收到该信号之后，变焦控制部302让变焦镜头301动作，可见光/光谱摄影部303取得目标区域的低解像度图像和高解像度图像。通过光谱图像生成部304及可见光图像生成部305将所取得的图像分为光谱图像、和解像度不同的作为第一及第二图像的可见光图像。纹理特征转换部307将可见光图像转换为纹理特征，材质图像生成部306从光谱图像中生成材质图像。这里的材质图像是指根据材质这样的被摄物特性而被量子化识别的图像。然后，学习结束区域分割部308进行材质图像的区域分割，生成材质区域分割图像。将所生成的材质区域分割图像显示在学习结束区域显示部309中。
图18为学习结束区域显示部的显示例。如图18所示，将用材质对被摄物图像进行了分割的材质区域分割图像显示在画面中央。并且，在画面左上方显示有表示学习结束区域的凡例的窗口WD1，在画面右下方显示有表示未学习区域的凡例的窗口WD2。从窗口WD1得知M1(皮肤部)、M2(头发部)、M3(杯子)及M4(皮鞋)都已学习结束。并且，白色区域为未学习区域。
看到了这样的显示的摄影者对学习按钮313进行操作，例如，在为未学习区域的被摄物的服装上设定目标区域TA3，执行学习。即，学习结束区域显示部309具有辅助摄影者确认未学习区域，设定其它目标区域的作用。来自学习开始按钮313的信号还被传送到纹理特征学习部311和高解像度化参数记录部312中，如上述实施例所述地那样生成纹理特征之间的高解像度化参数，且将其记录下来。图19为学习之后的学习结束区域显示部309的显示例。即，学习M5(服装部)，未学习区域仅为背景部分。
并且，摄影者从学习结束区域显示部309的显示中确认已学习的材质分布在图像内的哪一区域，如果，错误的区域被作为同一材质加标时，可以再次设定目标区域，进行重新学习。例如，当将人物脸部的皮肤部分设定为目标区域时，如图18所示，手脚的皮肤区域被识别为同一性质。此时，当摄影者判断出脸部的皮肤和手脚的皮肤的纹理不同时，只要调整识别阈值等，使脸部和手脚被识别为不同的区域即可。
在学习过程之后，摄影者为了执行录象过程，按下记录按钮314。使来自可见光图像生成部305的动画记录在图像记录部315中。此时，最好进行适当的图像压缩。
图20为表示可见光/光谱摄影部303的结构例的图。在图20的结构中，使用3CCD方式的通常视频电影中的彩色图像摄影用的光学类、和将摄影元件改良之后的6个频带(band)的可进行光谱图像摄影的元件。在3CCD方式中，通过二向色棱镜321将波长带分为红色、绿色、蓝色，将CCD元件分配给各彩色频带。在这点上是相同的，在图20的结构中不同之处在于在各CCD元件内排列有不同的两种透过带CCD元件。即，对红色波长区域CCD322排列用波长区域1及波长区域2表示的CCD元件，对绿色波长区域CCD323排列用波长区域3及波长区域4表示的CCD元件，对蓝色波长区域CCD324排列用波长区域5及波长区域6表示的CCD元件。能够通过来自这些CCD322、323、324的输出的插补信号处理，用与元件像素数相同的图像尺寸生成6个频带的像素浓度的光谱图像IMG1、和由3个频带的像素浓度RGB构成的可见光图像IMG2。
图21为表示光谱图像中各频带的波长感度的坐标图。6个频带分别在大约380nm～780nm的可见区域中，具有图21所示的狭窄波长区域。因此，与3个频带相比，能够准确地取得R(λ)那样的光谱信息。从而，能够对不依存与照明的被摄物更准确地求出固有的光谱反射率。另外，即使对在3个频带的彩色图像中被观测为同一绿色的被摄物，也能够细致地识别出是植物，还是绿色的纸那样的材质的不同。而且，为了实现材质的识别，并不一定要将波长区域位置限定为可见区域，对近红外区域设定频带也非常有效。并且，能够例如用数式1那样的公式简单地实现从6个频带图像来生成可见光图像的功能。
R＝band(1)+band(2) G＝band(3)+band(4) B＝band(5)+band(6) (第四实施例) 图22为本发明的第四实施例所涉及的图像处理装置，为表示摄影者不进行操作，自动学习被摄物的目标区域各部来进行摄影的摄影机结构的方块图。在图22中，对与图17一样的结构要素标注同一符号，在此，对其详细说明加以省略。与图17的不同之处在于包括光轴可变焦机构401、光轴可变焦控制部402、摄影机工作程序设定部403、摄影机工作显示部404、摄影机工作程序存储部405、照明推定部406及录象许可部407。由光轴可变焦机构401、光轴可变焦控制部402、可见光/光谱摄影部303、光谱图像生成部304及可见光图像生成部305构成取得部。
图23为表示光轴可变焦机构的一个例子的概念图。在图23的结构中，使用了作为光学斑点校正用的技术的移轴镜头机构(例如，参照特开平11—344669号等)。从物体一侧，包括具有正折射本领且相对于像面固定的第一镜头群411；具有负折射本领且具有在光轴上移动来改变倍率的作用的第二镜头群412；固定在像面的具有正折射本领的第三镜头群413；固定在像面的具有负折射本领的第四镜头群414；使因第二镜头群412的移动及物体的移动而变动的像面与标准面保持一定距离而在光轴上移动的具有正折射本领的第五镜头群415；以及由电磁石等构成移轴镜头机构416。光轴的变化是通过用移轴镜头机构416让第三镜头群413在与光轴垂直的方向上移动进行的，变焦功能是通过第二镜头群412及第五镜头群415的移动作用进行的。通过此机构能够将为摄影的视角中的一定部位的目标区域向光轴中心移动，同时能够进行光学变焦。这样一来，即使不移动摄影机本身，也能够对全部的画面内的目标区域自动地执行光学变焦。
在摄影机工作显示部404设置有触摸屏等操作装置，以便能够进行指定目标区域等的操作。
摄影者一边观察摄影机工作显示部404的显示，一边决定摄影机的录象视角。在本实施例中，由于在学习过程中，摄影机利用镜头机构，自动地进行目标的学习，因此必须在学习期间，事先固定好摄影机的位置。从这方面出发，最好在记录过程中也将摄影机视角和方向固定下来。
首先，在学习过程中，用图像上的坐标指定摄影范围和被摄物中的多个不同材质的目标区域。这里所说的指定不同材质的目标区域是指通过指定映在画面上的被摄物的图像区域来指定进行学习的被摄物的材质的意思。被指定的内容在摄影机工作程序设定部403中被程序化，作为将变焦和由光轴变化引起的平移动作组合在一起的图像学习过程和录象过程的控制程序存储在摄影机工作程序存储部405中。
在图像学习过程中，光轴可变焦控制部402按照存储在摄影机工作程序存储部405中的程序来自动地控制光轴可变焦机构401。并且，一边对被摄物的任意位置调整光轴，进行光学变焦，一边对多个目标区域进行高解像度图像的取得和材质的学习。
在录象过程中，按照存储在摄影机工作程序存储部405中的程序，自动地进行规定时间的动画摄影。此时，摄影机的视角和方向基本上都固定在支架上。
照明推定部406通过对整个图像进行的图像处理检测出被摄物的照明环境的变化，判断再次进行学习的必要性。这里的学习包括解像度转换规则的生成。并且，当被判断为需要进行再次学习时，摄影机通过例如摄影机工作显示部404，将此信息通知给摄影者。
并且，录象许可部407具有在学习还没有结束的情况下，就想进行录象和摄影时，或者在因照明条件发生变化而需要再次进行学习，但却没有进行时，不允许录象和摄影，不让录象按钮和快门工作的机构。即，本实施例所涉及的摄影机具有在需要生成解像度转换规则时禁止摄影的机构。从而，能够未然防止高解像度化的失败。
作为本实施例所涉及的摄影机的典型用途，能够想到图24(a)那样的对在舞台上的很多人进行合唱来进行录象的情况。此时，至今为止，是通过摄影者自身所具有的摄影技巧对各成员的脸部进行特写的。但是，此时会产生摄影者所喜欢的人物和团体的中心人物被特写的比率较高，引起其它成员不满的可能性。并且，如果不是熟练的摄影师的话，则不能较好地对全景和个人的特写进行摄影，而且必须对摄影具有相当高的集中力。而在使用本实施例所涉及的摄影机时，具有这样的优点摄影者不必考虑摄影技巧，只要将全景拍摄下来即可，能够通过摄影之后的编辑自由自在地进行图像的高解像度化，还能够很容易地获得全部成员的特写。
在图24(a)中，为了对作为被摄物的舞台上的合唱团进行摄影，而将摄影机CA和摄影机支架BS设置在例如观览席中。用图25的流程图对此时的学习过程加以说明。
首先，摄影者一边从整个合唱团的映像中指定对特定位置进行光学变焦，观察摄影机工作显示部404的显示，一边通过手动指定不同材质的目标区域(S801)。图24(b)为指定与此时的显示的材质不同材质的目标区域的一个例子。在图24(b)中，分别将个人的脸部区域(1)、黑发(2)、茶发(3)、数据(4)及乐谱表面的纸(5)指定为不同材质的目标区域。另外，这些区域是为了学习不同材质而指定的，不需要有关它们位置的信息。
然后，摄影机生成材质图像(S802)，从画面内将所有的被摄物特性(材质)与被指定的不同材质的目标区域相同的区域自动地检测出来(S803)。并且，用光轴可变焦机构对不同材质的目标区域进行光学变焦(S804)，以后再对该不同材质的目标区域自动地进行学习(S503～S507)。这里的处理与第二实施例一样，对其详细情况加以省略。在对所有的不同材质的目标区域进行了学习之后(在S805中，为“No”的情况)，结束学习过程。
图26为表示学习过程和录象过程的时间关系的时序图。图26(a)表示进行动画录象的情况。在要开始合唱之前，结束目标学习(期间t1)，对合唱进行动画录象(期间t2)。在录象时不需要特别的摄影技巧，只要对全景进行摄影即可。并且，例如，当舞台上的照明发生变化时，由于通过光谱信息得到的学习内容变得不恰当，因此有时必须再次进行学习(期间t3)。并且，也可以在每次规定时间一经过时，就进行学习。此时，摄影机通过照明推定部406检测出条件的变化，向摄影者发出必须再次进行学习的指示。这时，最好一边进行录象，一边进行目标学习，但是也可以将为了目标学习而拍摄的图像就那样代用为录象。
并且，图26(b)表示拍摄合唱团的集合照片的情况。此时，利用自拍机构，在计时器工作期间，在集合的所有成员处于静止的状态下，对作为目标检测出的人物的脸部一个接一个进行光学变焦，使它们高解像度化，参数化(期间t5)。然后，拍摄所有成员的集合照片。这样一来，能够通过以后的编辑，从一张静止图像中对个人的脸部进行高解像度化。并且，在照明发生了变化时，在进行了再次学习之后，再进行静止图像的摄影。此时，只要在还没有进行学习期间，通过控制录象许可部407使其为不能摄影的状态即可。
另外，在该例子中，由于个人的脸部被认为是具有同样皮肤的材质，因此不能通过个别的手法进行高解像度化。如果，想通过个别的手法对各人的脸部进行高解像度化时，必须要想出使每个被摄物特性不同的手法，例如，各人使用具有不同特性的化妆品等之类的手法。
(第五实施例) 图27为本发明的第五实施例所涉及的图像处理装置，为表示摄影者不进行操作，自动学习被摄物的目标区域各部来进行摄影的摄影机结构的方块图。在图27中，对与图17及图22一样的结构要素标注同一符号。
与第四实施例的不同之处在于没有图像学习过程和录象过程的区别，当摄影者通过与通常的电影摄影机一样的操作对着被摄物开始录象时，根据需要，用光轴可变焦机构并行地执行学习。因此，在第四实施例中，必须在学习过程期间将摄影机事先固定在支架上，但是在本实施例中，能够通过手持的摄影机自由自在地进行学习和录象。而且，在第三实施例中，摄影者有意地进行了特别的学习过程，但是在本实施例中，摄影者不需要有意地进行特别的学习过程，只要集中于录象即可。
在图27中，并列设置有记录部501和学习部502，由半透明发射镜503对光进行分割。透过了镜头504的光经由可见光/光谱摄影部403被输入到记录部501中，通过与第三实施例一样的工作，材质图像被记录在材质区域分割图像记录部310中，可见光图像被记录在图像记录部315中。镜头504具有变焦功能，在学习部502的输入侧设置有光轴可变焦机构401和光轴可变焦控制部402，以便在录象过程中能够另外进行学习用的变焦。由镜头504、半透明反射镜503、光轴可变焦机构401、光轴可变焦控制部402、可见光/光谱摄影部403、光谱图像生成部304及可见光图像生成部305构成取得部。
学习材质控制部505根据预先被程序化的学习计划(存储在工作程序设定部403中)，来控制光轴可变焦控制部402及纹理特征学习部311。即，当从材质图像生成部306的输出中判断出开始了特定材质的记录时，将信号传送给光轴可变焦控制部402，让光轴可变焦机构401工作，同时，将信号传送给纹理特征学习部311，生成高解像度化参数。所生成的高解像度化参数被记录在高解像度化参数记录部312中。
图28为表示本实施例中的图像录象过程的流程图。与第四实施例的图25的不同之处在于使图像的录象与学习过程并行进行(S901)。其它步骤的处理与第四实施例一样，在步骤S801中，摄影者一边观察摄影机工作显示部404，一边用图像上的坐标选择摄影机的录象范围和其内部的多个目标区域。来设定摄影机工作程序。
图29为表示本实施例中的低解像度图像及高解像度图像、与被摄物特性(材质)空间的关系的概念图。在图29中，为了谋求方便，使图像为用4×4像素拍摄的图像。在本实施例中，首先，取得低解像度的动画记录图像，其次，在被摄物特性空间中，将图像分割为区域AR1(对应于材质A)和区域AR2(对应于材质B)。这里，在假设已具有“学习材质A”这样的程序时，接下来，向区域AR1的位置中心部进行光轴可变焦，能够获得在同一位置为高解像度，却为狭窄视角的图像。并且，在位置彼此相同的低解像度图像的区域AR1和高解像度图像的区域AR3之间进行纹理特征的对应学习。这样一来，与上述各实施例一样，不是仅在同一材质的区域之间执行两张图像之间的学习，而且必须在同一被摄物的同一位置上执行。从而，能够实现高精度的高解像度化。
(第六实施例) 图30为本发明的第六实施例所涉及的图像处理装置，与第五实施例一样，为表示摄影者不进行操作，自动学习被摄物的目标区域各部来进行摄影的摄影机结构的方块图。在图30中，对与图17及图27一样的结构要素标注同一符号。
与第五实施例的不同之处在于不使用光学变焦机构和光轴可变焦机构等，使用低解像度摄影元件603和高解像度摄影元件604来同时用相同视角拍摄被摄物。由于高解像度摄影元件一般用于静止图像的较多，不能对应于动画的帧速率的较多，因此在本实施例中，在动画录象的途中，用规定的时间来进行使用了高解像度摄影元件的学习。并且，使高解像度摄影元件为不必取得光谱信息，仅取得可见光图像即可的元件。
在图30中，并列设置有记录部601和学习部602，由半透明发射镜503对光进行分割。透过了镜头504的光经由低解像度摄影元件603作为动画被输入到记录部601中，通过与第五实施例一样的工作，材质图像被记录在材质区域分割图像记录部310中，可见光图像被记录在图像记录部315中。
学习材质控制部505根据预先被程序化的学习计划，来控制高解像度摄影元件604及纹理特征学习部311。即，在从材质图像生成部306的输出中判断出开始了特定材质的记录时，让高解像度摄影元件604工作，用与动画同一的视角拍摄静止图像，同时，将信号传送给学习部602的纹理特征学习部311，生成高解像度化参数。将所生成的高解像度化参数记录在高解像度化参数记录部312中。
图31为表示本实施例中的低解像度图像及高解像度图像、与被摄物特性(材质)空间的关系的概念图。在图31中，为了谋求方便，使低解像度图像为用4×4像素拍摄的图像，使高解像度图像为用8×8像素拍摄的图像。在本实施例中，首先，通过动画摄影取得广视角的低解像度图像，其次，在被摄物特性空间中，将图像分割为区域AR1(对应于材质A)和区域AR2(对应于材质B)。到此为止的过程与图29一样。这里，当假设已具有“学习材质A”这样的程序时，通过高解像度摄影元件604取得与低解像度图像处于同一位置，与高解像度同一视角的静止图像。并且，在位置彼此相同的低解像度图像的区域AR1和高解像度图像的区域AR4之间进行纹理特征的对应学习。因此，与上述各实施例一样，由于不是仅在同一材质的区域之间执行两张图像之间的学习，而且必须在同一被摄物的同一位置上执行，因此能够实现高精度的高解像度化。
图32为表示在本实施例中进行高解像度图像的拍摄的时间例图。在此，假设高解像度图像(静止图像)的解像度为低解像度图像(动画)的2×2倍。在动画序列中，在期间tA中，记录有材质A的物体OBA。现在，假设学习该材质A，首先，在动画帧a的时间中，用帧图像Ma的两倍的解像度取得高解像度的静止图像Sa。在接下来的时间b中，在物体OBA被光学变焦，被放大拍摄的状态下，再次拍摄高解像度静止图像Sb。在图像Ma与图像Sa之间、图像Mb与图像Sb之间分别进行纹理特征的对应学习，进行参数化。
其次，虽然在时间z中出现了相同的物体OBA，但是由于对相同材质A的学习已结束，因此不需要高解像度摄影。在期间tB中，开始照出具有其它材质B的物体OBB。在时间c中，为了进行有关材质B的学习，再次拍摄高解像度静止图像Sc。能够从光谱图像中认出某被摄物特性处于未学习的状态。
本实施例具有这样的长处能够按照被摄物的录象过程，对一个接着一个出现的新材质进行学习，实现参数化。
另外，在本实施例中，用了具有不同解像度的两种摄影元件，但是例如，通过将单一高解像度的摄影传感器用在动画中来降低解像度的方法也能够实现本实施例。
在本实施例中，具有这样的特征由于没有用光学变焦，因此在低解像度图像和高解像度图像中，画面的视角及位置坐标总是保持一致。如果灵活地利用该特征的话，即使是被判断为同一材质的区域，也能够通过图像内位置的不同，还有拍摄时间的不同来分别实现不同的高解像度化。以上述合唱团为例，用图33对此加以说明。
这时，当为时间t1时在图框FL1中，当为时间t2时在图框FL2中，对合唱团进行动画录象。在前排3位中，在图框FL1中A和B被变焦，在图框FL2中B和C被变焦。低解像度图像和高解像度图像总保持对应关系。
这里，即使判断出A和B为同一材质，但由于A图像的高解像度化参数PR1和B图像的高解像度化参数PR2在图像上的位置不同，因此能够区别开来。并且，即使是同一个人B的图像，也能够将时间t1的高解像度化参数PR2和时间t2的高解像度化参数PR3区别开来。因此，通过将位置(x、y)和时间t用作索引来存储高解像度化参数的话，能够分别用不同的解像度转换规则来使合唱团中每个人的脸部高解像度化，能够进一步提高精度。
图34为本实施例所涉及的录象过程的流程图。步骤S801～S803与图25一样。首先，摄影者通过手动指定目标区域(S801)。这里，在本实施例中，由于不仅是材质，而且图像内的空间位置也反映出高解像度化，因此将所指定的目标区域称为不同位置的目标区域。然后，摄影机生成材质图像(S802)，从画面内自动地检测出所有被指定的不同位置的目标区域与被摄物特性(材质)相同的区域。
此时，例如，假设将A和B的脸部指定为不同位置的目标区域，可能会检测出为相同材质(皮肤)的C、D这样的多个区域。在这种情况下，产生了这样的问题对于被检测出的各个区域，使用什么样的学习结果即高解像度化参数较好。例如，在所指定的目标区域中，优先采用对该目标区域所学习的高解像度化参数。在步骤S803检测出的区域中，即可以采用所指定的目标区域的高解像度化参数的任意一个，也可以对多个高解像度化参数进行插补之后再用。
并且，与图29一样，在进行学习的同时，进行录象(S901)。当在学习中，检测出未学习区域时，或者，动画录象经过了规定时间时，取得高解像度的静止图像(S1001、S1002)。然后，从高解像度静止图像和低解像度动画图像中学习高解像度化参数。不过，将该高解像度化参数作为画面空间(x、y)和时间t的函数存储起来(S1003)。
图35为示意地表示在本实施例中所获得的图像文件格式的图。与图15相比，不同之处在于将由分析码本AC(Mi、x、y、t)及再生码本SC(Mi、x、y、t)构成的高解像度化参数数据3501表示为位置(x、y)和时间t的函数。使用了图35的格式的本实施例中的高解像度化过程与图16几乎一样，在步骤S705中，只要使用空间位置(x、y)和时间t一致(match)的高解像度化参数即可。
图36为表示本实施例中的高解像度化的例子的示意图。与第四实施例不同，由于虽然每个人的脸部被认为是同一材质(皮肤部)，但位置不同，因此能够用不同的高解像度化参数实现高解像度化。即，能够对A到F每个人实现高解像度化。例如，能够从用低解像度拍摄的处于模糊状态的动画中，分别对个人的脸部进行高解像度化。当然，若是能够以头发部1和头发部2、乐谱的纸部等不同材质进行高解像度化的话，则除了特别情况，可以不必分别进行高解像度化。
(第七实施例) 图37为本发明的第七实施例所涉及的图像处理装置，为表示将本发明应用于视频电影摄影机中的例子的方块图。在本实施例中，将从镜面反射成分和扩散反射成分获得的被摄物的表面反射状态用作被摄物特性，根据表面反射状态对图像进行区域分割，通过对每个区域进行学习来实现高解像度化。与上述第三实施例中的图17的结构的不同之处在于设置有将表示被摄物表面中的镜面反射成分和扩散反射成分的比例的镜面/扩散比例图像711与可见光图像713同时生成的镜面反射/扩散反射分离摄影部701。并且，设置有通过使镜面/扩散比例图像711二值化，来生成被区域分割为镜面反射区域和扩散反射区域的表面反射分割图像712的学习结束区域分割部702、和将该表面反射分割图像712记录下来的表面反射分割图像记录部703。通过将表面反射分割图像712显示在学习结束区域显示部309中，来对摄影者谋求学习的方便。并且，在高解像度化过程中将表面反射分割图像712用作区域识别信息。
由变焦镜头301、变焦控制部302以及镜面反射/扩散反射分离摄影部701构成取得部，该取得部构成为能够对被摄物的目标区域取得解像度不同的第一及第二图像、和表示被摄物特性的作为第三图像的镜面/扩散比例图像。由纹理特征转换部307及纹理特征学习部311构成规则生成部，该规则生成部从取得部所取得的第一及第二图像中生成使该第一及第二图像相互对应的解像度转换规则。由学习结束区域分割部702构成区域分割图像生成部，该区域分割图像生成部从镜面/扩散比例图像中生成作为根据被摄物特性区域分割的区域分割图像的表面反射分割图像。
在上述第六实施例中，被摄物特性是指被摄物表面的材质等物质固有的性质。但是，即使是相同材质的被摄物，当从某照明下的方向进行观察时，也存在有光在表面的反射状态因位置不同而不同的情况。即，由成为高解像度化所需的表面的凹凸等所决定的纹理特征应该是因被摄物表面的反射状态的不同而完全不同的。例如，当对表面凹凸较多的水果等进行拍摄时，即使表面的材质相同，但由于在光线最强处和阴暗部分中表面凹凸所决定的纹理不同，因此最好将它们作为不同的区域进行学习。表面反射分割图像712为按照照明和观察条件所决定的反射特性即被摄物表面的反射状态的不同而被区域分割了的图像。
摄影者在动画录象过程之前，执行图像学习过程。首先，决定被摄物的目标区域，使摄影机朝着所要摄的地方，按下学习按钮313。在收到该信号之后，变焦控制部302让变焦镜头301工作，镜面反射/扩散反射分离摄影部701取得目标区域的低解像度图像和高解像度图像(可见光图像713)。并且，镜面反射/扩散反射分离摄影部701将镜面反射成分和扩散反射成分分开，生成镜面/扩散比例图像711。学习结束区域分割部702使镜面/扩散比例图像711二值化，生成表面反射分割图像712。所生成的表面反射分割图像712被显示在学习结束区域显示部309中。
图38为学习结束区域显示部309的显示例。在图38中，使被摄物为在表面具有光泽的圆筒。在图38的例子中，将表面反射分割图像712显示在画面中央，该表面反射分割图像712是通过将被摄物图像分割为“光泽部(镜面反射区域)”和“无光泽部(扩散反射区域)”而成。并且，在画面左上方显示有表示学习结束区域的凡例的窗口WD1。从窗口WD1得知只有Diffuse(扩散反射区域)已学习结束。另一方面，对圆筒的光泽部还没有进行学习。
看到了这样的显示的摄影者对学习按钮313进行操作，在作为未学习区域的被摄物的区域设定目标区域TA1，执行学习。即，学习结束区域显示部309具有辅助摄影者确认未学习区域，设定其它目标区域的作用。来自学习按钮313的信号还被传送到纹理特征学习部311和高解像度化参数记录部312中，生成纹理特征之间的高解像度化参数且被记录下来。
并且，摄影者从学习结束区域显示部309的显示中确认已学习的区域分布在图像内的哪一区域，如果错误的区域被作为同一材质加标时，可以再次设定目标区域，重新学习。
在学习过程之后，摄影者为了执行录象过程，而按下记录按钮314。从而，将可见光图像713的动画记录在图像记录部315中。此时，最好进行适当的图像压缩。
图39为表示镜面反射/扩散反射分离摄影部701的结构例的图。在该结构中，来自被摄物的透过了变焦镜头的光被半透明反射镜721分解，分别透过具有不同偏振光轴的偏振光板722、723，到达单片板摄影元件724、725。将能够拍摄辉度非常亮的镜面反射的广动态范围元件(widedynamic range element)用作单片板摄影元件724、725。推定部726用来自各摄影元件724、725的图像信号，将镜面反射成分和扩散反射成分分开，生成镜面反射图像728和扩散反射图像729。有关该详细手法，例如，在“扩散反射/镜面反射的分离用的两图像同时观测系统的试验”(第九回图像传感座谈讲演论文集I—1，PP537—542)等中具有详细记载。另外，能够通过本手法分离的被摄物仅限于非金属的塑料等与两色性反射模型一致的材质的被摄物。并且，反射图像加工部727从镜面反射图像728和扩散反射图像729中生成表示各像素位置的镜面反射成分和扩散反射成分的比例的镜面/扩散比例图像711、和分离之前的可见光图像713(分离的镜面反射图像728和扩散反射图像729的和)。
图40～图42为表示本实施例中的处理的流程图，图40表示学习过程，图41表示动画记录过程，图42表示高解像度化过程。如图40所示，在学习过程中，首先，拍摄被摄物731，生成表面反射分割图像712。在图中，“S”表示镜面反射区域，“D”表示扩散反射区域。摄影者从该表面反射分割图像712得知变焦的目标区域，用变焦镜头将被摄物731的表面拍摄下来，进行高解像度和低解像度的一对图像的学习。学习结果是能够将扩散反射区域高解像度化参数732、镜面反射区域高解像度化参数733作为每个区域的高解像度化参数取得。
其次，如图41所示，在动画记录过程中，拍摄被摄物741，将低解像度动画742记录下来。此时，低解像度的表面反射分割动画743也被同时记录下来。另外，不能说此时的被摄物741一定与学习过程中的被摄物731相同，并且，也不能说照明条件和摄影条件一定相同。在图41中，与图40不同，以将被摄物741放平的状态，将其画出来就意味着这个意思。
其次，如图42所示，在高解像度化过程中，使低解像度动画742高解像度化，生成高解像度动画752。此时，区域识别部751利用表面反射分割动画743来识别区域。并且，在扩散反射区域中使用扩散反射区域高解像度化参数732，在镜面反射区域中使用镜面反射区域高解像度化参数733，进行高解像度化。由于高解像度化的详细情况与上述实施例一样，因此对其说明加以省略。
如上所述，根据本实施例，由于被摄物具有因镜面反射和扩散反射这样的表面反射状态的不同而不同的纹理特征，因此能够通过识别该表面反射状态，来分别进行最佳的高解像度化。故而，与仅用现有的辉度的学习型高解像度化手法、和光谱图像等利用材质的被摄物图像的分离相比，能够实现更优的高解像度化。
另外，在本实施例中，以将半透明反射镜和偏振光板的结构用作镜面反射/扩散反射分离摄影部701的结构作为了例子，也可以代替它，不用半透明反射镜，让偏振光板旋转，用不同的两种以上的偏振光轴进行拍摄，来将镜面反射成分和扩散反射成分分开，并且，还可以利用让照明偏振光的方法。有关不用偏振光板来将镜面反射成分和扩散反射成分分开的手法，众所周知，具有使用反射光的颜色特性的方法、使用让光源变动的光度立体照片(photometric stereo)和图像的线性化的方法等各种方法。在“根据物体的外观来分离扩散/镜面反射成分—用通过了偏振光过滤器的多重观测和随机独立性(stochastic independence)”、图像的认识·理解(MIRU)2002、I—469～476中对上述内容具有详细记载。也可以将这些既存的方法用作镜面反射/扩散反射分离摄影部701的结构。
(第八实施例) 图43为本发明的第八实施例所涉及的图像处理装置，为表示将本发明应用在视频电影摄影机中的例子的方块图。与第七实施例中的图37的结构的不同之处在于对镜面反射图像728和扩散反射图像729分别进行学习/记录来代替可见光图像713。在图37的结构中，对可见光图像713取得了解像度不同的第一及第二图像，在图43的结构中，对镜面反射图像728和扩散反射图像729分别取得解像度不同的第一及第二图像。设置有纹理特征转换部307a、纹理特征学习部311a、高解像度化参数记录部312a及图像记录部315a作为镜面反射图像用，设置有纹理特征转换部307b、纹理特征学习部311b、高解像度化参数记录部312及图像记录部315b作为扩散反射图像用。
能够通过从辉度中将镜面反射成分分离出来，来更准确地求出由被摄物表面的凹凸所决定的细微纹理信息，并且，能够通过将扩散反射成分分离出来，来更准确地求出被摄物表面的印刷等反射率(反照率)信息。因此，能够对镜面反射图像和扩散反射图像分别进行高解像度化，通过将两者合成起来，实现比现有技术性能更高的高解像度化。
并且，由于镜面反射图像和扩散反射图像被分开记录下来，因此不需要记录表面反射分割图像712。即，表面反射分割图像712被显示在学习结束区域显示部309中，具有向摄影者指示应该学习被摄物的哪一部分的作用。
摄影者在动画记录过程之前，执行图像学习过程。首先，决定被摄物的目标区域，将摄影机对着所要摄影的地方，按下学习按钮313。在收到该信号之后，变焦控制部302让变焦镜头301动作，镜面反射/扩散反射分离摄影部3703对镜面反射图像728和扩散反射图像729分别取得目标区域的低解像度图像和高解像度图像。并且，镜面反射/扩散反射分离摄影部701生成镜面/扩散比例图像711，学习结束区域分割部702使镜面/扩散比例图像711二值化，生成表面反射分割图像712。所生成的表面反射分割图像712被显示在学习结束区域显示部309中。
看到了显示在学习结束区域显示部309中的表面反射分割图像712的摄影者对学习按钮313进行操作，对作为未学习区域的被摄物的区域设定目标区域，进行学习。来自学习开始按钮313的信号还被传送到纹理特征学习部311a、311b和高解像度化参数记录部312a、312b，生成纹理特征之间的高解像度化参数，且被记录下来。
图44～图46为表示本实施例中的处理的流程图，图44表示学习过程，图45表示动画记录过程，图46表示高解像度化过程。如图44所示，在学习过程中，对被摄物801取得镜面反射图像728和扩散反射图像729，将镜面反射成分高解像度化参数802和扩散反射成分高解像度化参数803存储起来。
在学习过程之后，摄影者为了执行录象过程，按下记录按钮314。如图45所示，对被摄物811进行摄影，将可见光图像的动画成分分离开，将镜面反射图像812和扩散反射图像813记录下来。这些图像为没有变焦，用低解像度拍摄记录的动画。此时，最好进行恰当的图像压缩。
其次，如图46所示，在高解像度化过程中，首先，用镜面反射成分高解像度化参数802对被记录下来的镜面反射图像812进行高解像度化，生成高解像度镜面反射图像822。同时，用扩散反射成分高解像度化参数803对扩散反射图像813进行高解像度化，生成高解像度扩散反射图像823。高解像度化的详细情况与上述实施例一样，在此对其说明加以省略。最后，通过加法部824将被高解像度化的两个成分的图像822、823加在一起，生成高解像度图像825。
最后，对第七及第八实施例所涉及的发明的执行检测可能性加以说明。此发明的特征在于即使是同一材质的被摄物，也能够对因照明和观察条件不同而造成反射状态不同的每个区域，进行不同类型的高解像度化。因此，如果能够检测出是以产生反射状态不同的区域的方式拍摄相同材质的被摄物，那时的高解像度化的情况根据区域的不同而不同的话，则会成为实施发明的明确证据。
(工业上的利用可能性) 在本发明中，由于能够用较少的图像处理量实现反映了被摄物特性的精度较高的解像度转换，因此有效于例如在比较重视视觉信息量的各种应用领域中，生成材质感较佳的数码高解像度活动图像的情况。例如，还有效于携带电话那样的低解像度显示类的图像显示。
权利要求
1、一种图像处理方法，其特征在于
包括对被摄物决定目标区域的步骤；
对上述目标区域，取得具有不同解像度的第一及第二图像的步骤；
生成使上述第一及第二图像相互对应的解像度转换规则的步骤；
取得上述目标区域中的被摄物特性的步骤；以及
使上述解像度转换规则和被摄物特性相对应，且将相对应的解像度转换规则和被摄物特性记录在存储设备中的步骤。
2、一种图像处理装置，其特征在于
包括取得部，构成为能够对被摄物的目标区域取得具有不同解像度的第一及第二图像、和表示被摄物特性的第三图像；
规则生成部，从上述第一及第二图像中生成使该第一及第二图像相互对应的解像度转换规则；以及
区域分割图像生成部，从上述第三图像中生成根据被摄物特性而被区域分割了的区域分割图像。
3、根据权利要求2所述的图像处理装置，其特征在于
上述取得部将由被摄物的光谱信息构成的光谱图像作为上述第三图像取得。
4、根据权利要求2所述的图像处理装置，其特征在于
上述取得部将表示被摄物表面的镜面反射成分和扩散反射成分的比例的镜面/扩散比例图像作为上述第三图像取得。
5、根据权利要求2所述的图像处理装置，其特征在于
上述取得部分别对镜面反射图像和扩散反射图像取得具有不同解像度的第一及第二图像。
6、根据权利要求2所述的图像处理装置，其特征在于
上述取得部具有变焦镜头，利用光学变焦法取得上述第一及第二图像。
7、根据权利要求2所述的图像处理装置，其特征在于
包括用以从装置的外部指示生成解像度转换规则的学习按钮。
8、根据权利要求2所述的图像处理装置，其特征在于
包括用以显示上述区域分割图像的显示部。
9、根据权利要求2所述的图像处理装置，其特征在于
上述取得部具有光轴可变焦机构，利用该光轴可变焦机构对所指定的目标区域进行光学变焦，取得上述第一及第二图像。
10、根据权利要求9所述的图像处理装置，其特征在于
具有静止图像摄影功能和自拍机构；
当进行使用了上述自拍机构的静止图像摄影时，在摄影之前的计时器工作期间，上述取得部进行上述第一、第二及第三图像的取得。
11、根据权利要求2所述的图像处理装置，其特征在于
包括摄影功能、和检测照明环境变化的照明推定部；
当在摄影期间，由上述照明推定部检测出照明环境的变化时，将要重新生成解像度转换规则的必要性通知给摄影者。
12、根据权利要求2所述的图像处理装置，其特征在于
包括摄影功能；以及
在需要生成解像度转换规则时禁止摄影的功能。
13、根据权利要求2所述的图像处理装置，其特征在于
包括动画录象功能；
上述取得部构成为能够与动画录象并行地执行上述第一及第二图像的取得。
14、根据权利要求13所述的图像处理装置，其特征在于
使上述第一及第二图像中的上述第一图像的解像度较高；
上述取得部在动画录象期间，将静止图像拍摄为上述第一图像，并且，将录下的活动图像取为上述第二图像。
15、根据权利要求14所述的图像处理装置，其特征在于
上述取得部当从上述第三图像中认出了未学习的被摄物特性时，进行上述第一及第二图像的取得。
16、根据权利要求14所述的图像处理装置，其特征在于
上述取得部每经过规定的时间，就进行上述第一及第二图像的取得。
17、根据权利要求2所述的图像处理装置，其特征在于
上述取得部包括用以拍摄上述第一及第二图像的具有不同解像度的多个摄影元件。
全文摘要
本发明公开了图像处理方法、图像处理装置、图像处理程序及图像文件格式。在学习过程中，首先，对被摄物的目标区域取得不同解像度的图像(S101)。并且，对目标区域取得被摄物特性(S102)。然后，从不同解像度的图像中学习解像度转换规则，作为被摄物特性，同时，记录下来(S103)。在转换解像度时，通过对每个原图像的区域使用所学习的、与对应于上述区域的被摄物特性有关的解像度转换规则，来转换原图像的解像度。
文档编号H04N5/232GK101431611SQ20081017812
公开日2009年5月13日 申请日期2005年11月18日 优先权日2004年11月30日
发明者金森克洋, 本村秀人, 菰渊宽仁 申请人:松下电器产业株式会社