显示装置和显示方法、学习装置和学习方法、以及程序的制作方法

文档序号：7643050阅读：130来源：国知局
导航： X技术> 最新专利>电子通信装置的制造及其应用技术
专利名称：显示装置和显示方法、学习装置和学习方法、以及程序的制作方法
技术领域：
本发明涉及一种显示装置和显示方法、学习装置和学习方法、以及程序，涉及能够使由多个装置构成的系统性能最大化的显示装置和显示方法、学习装置和学习方法、以及程序。
背景技术：
例如，进行节目的接收发送的广播系统，由拍摄图像的照相机(摄像机)、发送照相机所输出的图像信号的发送装置、接收来自发送装置的图像信号的接收装置、以及显示与由接收装置所接收的图像信号对应的图像的显示装置等多个装置构成。
这样，在由多个装置构成的系统中，装置彼此之间交换信号。例如在广播系统中，图像信号从照相机发送到发送装置，由发送装置接收。而且，图像信号从发送装置发送到接收装置，由接收装置接收。进而图像信号从接收装置发送到显示装置，由显示装置接收。
在构成广播系统的装置彼此之间，如上所述交换图像信号。这样，为了能够在装置彼此之间交换图像信号，并且为了即使将构成广播系统的照相机、发送装置、接收装置、或者显示装置替换成其他照相机、发送装置、接收装置、或者显示装置也能够在装置彼此之间交换图像信号，关于图像信号，将其格式规格化或者标准化。
作为图像信号的格式，例如有被称为D1的格式(Y∶Cb∶Cr是4∶2∶2的格式)。例如在具有能够进行D1格式图像信号的输入输出的接口的装置彼此之间，不管在哪种装置彼此之间，都能够交换图像信号。
另一方面，在照相机、发送装置、接收装置、显示装置中，在各装置中进行固有的处理。
即，在照相机是例如具有一个成像器(一个CCD(ChargeCoupled Device电荷耦合器件)、CMOS(Complementary MetalOxide Semiconductor互补金属氧化物半导体)成像器等的光电转换元件)的单板式照相机的情况下，考虑人的视觉特性，例如采用拜耳排列(ベイヤ配列)的滤色器。在采用了拜耳排列的滤色器的情况下，从成像器得到RGB(Red(红)、Green(绿)、Blue(蓝))中的G成分多而R成分和B成分少的、与拜耳排列相应的格式(下面适当称为拜耳格式)的图像信号。在拜耳格式的图像信号中，作为1个像素的像素值，只有R、G、B中的某一个颜色成分，而没有其他两个颜色成分，因此在单板式照相机中，对各像素对其他两个颜色成分进行插值，作为1个像素的像素值求出具有R、G、B三个颜色成分全部的图像信号。
另外，在发送装置中，例如为了实现所谓黑白广播和彩色广播之间的共存，进行将与亮度信号和颜色信号不同的成分信号转换为在亮度信号上叠加了颜色信号的混合信号的处理。
并且，在接收装置中，例如以混合信号为对象进行所谓Y/C分离处理，将混合信号转换为成分信号。
另外，在显示装置中，例如以显示图像的显示器的显示格式，进行排列RGB成分信号的R、G、B的处理，由此显示图像。此外作为由显示器显示图像的显示格式、即R、G、B的排列，例如有条状排列、马赛克排列、德尔塔(デルタ)排列等。
此外，条状排列等固定显示格式的彩色液晶显示器，例如公开在专利文献1中(特别是0014段落)。
专利文献1日本特开平10-301537号公报

发明内容
发明要解决的问题构成广播系统的照相机、发送装置、接收装置、显示装置，例如如上所述，只要具有能够进行D1格式等的被规格化或者标准化的信号格式的图像信号输入输出的接口，就能够进行图像信号的交换。但是，即使使用具有这种接口的多个装置来构成系统，也不能说就能够将该系统性能最大化。
另外，虽然在构成系统的各装置中进行各种处理，但是该处理不是考虑整个系统的性能来进行的处理。即，例如在构成广播系统的照相机中，进行将作为1个像素的像素值只有R、G、B中的某一个颜色成分的拜耳格式的图像信号转换成作为1个像素的像素值具有R、G、B的三个颜色成分全部的图像信号(下面适当称为RGB图像信号)的处理，但是该处理虽然影响照相机本身的性能，但是未必会影响整个广播系统的性能的提高。
即，在照相机中，如果将拜耳格式的图像信号转换为RGB图像信号的处理是所谓高功能处理，即例如通过该处理可得到分辨率、S/N(Signal to Noise ratio信噪比)高的RGB图像信号，则可以说照相机本身的性能优良。
另一方面，在广播系统中，最终在显示装置上显示图像，由用户收看该图像。因而，例如如果观看了显示在显示装置上的图像的用户能够感觉到该图像是高像质图像，则可以说广播系统整体的性能优良。
但是，即使照相机本身是高性能，即例如即使照相机能够输出分辨率、S/N高的RGB图像信号，之后在由发送装置、接收装置、以及显示装置进行处理的广播系统中，也未必在最终的显示装置上显示用户感觉是高像质的图像。
有可能反而是在照相机中不将拜耳格式的图像信号转换为RGB图像信号而直接输出并在后级的发送装置、接收装置、或者显示装置中对拜耳格式的图像信号进行处理的情况下，更能够将用户感觉是高像质的图像显示在显示装置上。
本发明是鉴于这种状况作出的发明，其提高由多个装置构成的系统的性能，最好是使系统的性能最大化。
用于解决问题的手段本发明的第一侧面的显示装置，是对图像进行显示的显示装置，该显示装置具备图像转换单元，其将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以及显示控制单元，其以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
另外本发明的第一侧面的显示方法、或者程序，是对图像进行显示的显示方法、或者使计算机执行对图像进行显示的显示处理的程序，该显示方法、或者程序包含如下步骤将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
在如上的第一侧面的显示装置、显示方法、或者程序中，将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
本发明的第二侧面的显示装置，是进行求出在执行图像转换处理中使用的抽头系数的学习的学习装置，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，该学习装置具备决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元，检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元，评价上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出作为对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
本发明的第二侧面的学习方法，是进行求出在图像转换处理中使用的抽头系数的学习的学习装置的学习方法，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，上述学习装置具备
决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元，检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元，评价上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在上述显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
本发明的第二侧面的程序，是使计算机执行求出在图像转换处理中使用的抽头系数的学习处理的程序，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，所述程序是使计算机作为以下单元发挥功能的程序决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；
显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；以及评价单元，评价光检测单元所输出的显示图像信号，该光检测单元检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为
上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
在如上所述的第二侧面的显示装置、显示方法、或者程序中，重复进行处理1，处理2、以及处理3，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价与作为上述显示图像的光对应的电信号即上述显示图像信号，
由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。而且通过重复进行，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式。
本发明的第三侧面的显示装置，对图像进行显示，该显示装置具备判断单元，判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像；前处理单元，对上述摄影图像信号实施前处理；图像转换单元，在上述判断单元中判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号；以及显示控制单元，由通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
本发明的第三侧面的显示方法、或者程序，是对图像进行显示的显示方法、或者使计算机执行对图像进行显示的显示处理的程序，所述显示方法、或者程序包含如下步骤判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像，对上述摄影图像信号实施前处理，在判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号，由通过使用比与上述高像质图像信号对应的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
在如上所述的第三侧面的显示装置、显示方法、或者程序中，判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像。并且，在判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号。而且，由通过使用比与上述高像质图像信号对应的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
根据本发明的第一至第三侧面，能够提高系统的性能。


图1是表示进行图像处理的图像处理系统的第一结构例的框图。
图2是表示显示装置2的结构例的框图。
图3是说明显示装置2的处理的流程图。
图4是表示图像转换部11的结构例的框图。
图5是说明图像转换部11的处理的流程图。
图6是表示显示格式的例子的图。
图7是表示以条状格式为基准而变形的显示格式的例子的图。
图8是表示以拜耳格式为基准而变形的信号格式的例子的图。
图9是表示学习最佳信号格式、显示格式、抽头系数的学习装置结构例的框图。
图10是表示SHD图像和HD图像的图。
图11是说明生成虚拟摄影图像的生成方法的图。
图12是说明生成虚拟摄影图像的生成方法的图。
图13是表示HD图像和显示器69的显示画面的图。
图14是表示HD图像和显示器69的显示画面的图。
图15是表示HD图像和显示器69的显示画面的图。
图16是说明评价显示在显示器69上的显示图像的评价方法的图。
图17是说明评价显示在显示器69上的显示图像的评价方法的图。
图18是说明评价显示在显示器69上的显示图像的评价方法的图。
图19是说明学习最佳信号格式、显示格式、抽头系数的学习装置的处理的流程图。
图20是说明步骤S33的详细处理的流程图。
图21是说明步骤S37的详细处理的流程图。
图22是说明步骤S38的详细处理的流程图。
图23是说明步骤S39的详细处理的流程图。
图24是表示进行图像处理的图像处理系统的第二结构例的框图。
图25是表示显示装置102的结构例的框图。
图26是说明显示装置102的处理的流程图。
图27是表示图像转换部111的结构例的框图。
图28是说明图像转换部111的处理的流程图。
图29是表示学习最佳显示格式的学习装置的结构例的框图。
图30是说明学习最佳显示格式的学习装置的处理的流程图。
图31是说明学习对各信号格式的最佳抽头系数的学习装置的结构例的框图。
图32是说明学习对各信号格式的最佳抽头系数的学习装置的处理的流程图。
图33是表示进行图像处理的图像处理系统的第三结构例的框图。
图34是表示显示装置202的结构例的框图。
图35是表示前处理部211的结构例的框图。
图36是表示图像转换部212的结构例的框图。
图37是说明显示装置202的处理的流程图。
图38是表示学习最佳抽头结构、前处理系数、抽头系数的学习装置的结构例的框图。
图39是说明学习最佳抽头结构、前处理系数、抽头系数的学习装置的处理的流程图。
图40是说明步骤S214的详细处理的流程图。
图41是说明步骤S217的详细处理的流程图。
图42是说明步骤S218的详细处理的流程图。
图43是说明步骤S219的详细处理的流程图。
图44是说明步骤S220的详细处理的流程图。
图45是表示进行图像处理的图像处理系统的第四结构例的框图。
图46是表示显示装置402的结构例的框图。
图47是表示前处理部411的结构例的框图。
图48是表示图像转换部413的结构例的框图。
图49是说明显示装置402的处理的流程图。
图50是表示学习最佳显示格式、抽头结构、前处理系数、抽头系数的学习装置的结构例的框图。
图51是说明学习最佳显示格式、抽头结构、前处理系数、抽头系数的学习装置的处理的流程图。
图52是说明步骤S425的详细处理的流程图。
图53是说明步骤S430的详细处理的流程图。
图54是说明步骤S471的详细处理的流程图。
图55是说明步骤S472的详细处理的流程图。
图56是说明步骤S473的详细处理的流程图。
图57是说明步骤S474的详细处理的流程图。
图58是表示执行进行图像处理的程序的计算机结构例的框图。
附图标记说明1照相机；2显示装置；11图像转换部；12显示控制部；13显示器；41、42抽头抽出部；43类(クラス)分类部；44系数存储器；45预测部；61学习数据存储部；62虚拟摄影图像生成部；63、64抽头抽出部；65类分类部；66系数存储器；67预测部；68显示控制部；69显示器；70光检测器；71评价值算出部；72控制部；73图像转换部；101照相机；102显示装置；111图像转换部；112显示控制部；113显示器；114信号格式检测部；121系数选择部；122系数存储器；141HD图像获取部；142控制部；161显示控制部；162控制部；201照相机；202显示装置；211前处理部；212图像转换部；213显示控制部；214显示器；221前处理抽头抽出部；222前处理运算部；223系数存储部；231系数存储器；251学习数据存储部；252学习对数据生成部；253控制部；254评价值算出部；255、256学习部；261前处理部；262图像转换部；271前处理抽头抽出部；272前处理运算部；273系数存储器；281、282抽头抽出部；283类分类部；284系数存储器；285预测部；301前处理部；302类系数学习部；311前处理抽头抽出部；312前处理运算部；313系数存储器；321、322抽头抽出部；323类分类部；324正规方程式生成部；325抽头系数算出部；401照相机；402显示装置；411前处理部；412选择部；413图像转换部；414显示控制部；415显示器；416操作部；417控制部；421前处理抽头抽出部；422前处理运算部；423、431系数存储器；451虚拟摄影图像生成部；452控制部；2001总线；2002CPU；2003ROM；2004RAM；2005硬盘；2006输出部；2007输入部；2008通信部；2009驱动器；2010输入输出接口；2011可移动记录介质。
具体实施例方式
下面，说明本发明的实施方式，下面举例说明本发明的结构要件与记载在说明书或者附图中的实施方式的对应关系。该记载是为了确认支持本发明的实施方式被记载在说明书或者附图中。因此，即使有虽然记载在说明书或者图面中，但是没有作为与本发明的结构要件对应的实施方式而记载在这里的实施方式，也不意味该实施方式不与该结构要件对应。相反，即使实施方式作为与结构要件对应的部分而记载于此，也不意味该实施方式不与该结构要件以外的结构要件对应。
本发明的第一侧面的显示装置，是将对图像进行显示的显示装置(例如图2的显示装置2)，该显示装置具备图像转换单元(例如，图2的图像转换部11)，其将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以及显示控制单元(例如，图2的显示控制部12)，其以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
在第一侧面的显示装置中，上述图像转换单元具有预测抽头抽出单元(例如，图4的抽头抽出部41)，其从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素的像素值中使用的多个像素的像素值；类抽头抽出单元(例如，图4的抽头抽出部42)，其从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类到多个类中的某类的类分类中使用的多个像素的像素值；类分类单元(例如，图4的类分类部43)，根据上述类抽头进行上述关注像素的类分类；系数输出单元(例如，图4的系数存储器44)，从通过学习而预先求出的、多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；
运算单元(例如，图4的预测部45)，通过使用了上述关注像素的类的抽头系数以及上述预测抽头的预测运算，求出上述关注像素的像素值。
第一侧面的显示装置，还具备信号格式获取单元(例如，图25的信号格式检测部114)，该信号格式获取单元获取上述摄影图像信号的信号格式，上述图像转换单元将上述摄影图像信号，通过与多个信号格式各自的抽头系数中的、上述摄影图像信号的信号格式用的抽头系数之间的运算，转换为上述高像质图像信号。
本发明的第一侧面的显示方法、或者程序，是对图像进行显示的显示方法、或者使计算机执行显示图像的显示处理的程序，该显示方法、或者程序具有以下步骤将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号(例如，图3的步骤S1)；以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上(例如，图3的步骤S2)。
本发明的第二侧面的学习装置，是进行求出在执行图像转换处理中使用的抽头系数的学习的学习装置(例如，图9的学习装置)，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，该学习装置具备决定单元(例如，图9的控制部72)，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元(例如，图9的虚拟摄影图像生成部62)，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元(例如，图9的图像转换部73)，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元(例如，图9的显示控制部68)，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元(例如，图9的光检测器70)，检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元(例如，图9的评价值算出部71)，评价上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像，以由上述决定单元决定的显示格式显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为
上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
在第二侧面的学习装置中，上述图像转换单元具备预测抽头抽出单元(例如，图9的抽头抽出部63)，从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素的像素值中使用的多个像素的像素值；类抽头抽出单元(例如，图9的抽头抽出部64)，从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类为多个类中某类的类分类中使用的多个像素的像素值；类分类单元(例如，图9的类分类部65)，根据上述类抽头进行上述关注像素的类分类；系数输出单元(例如，图9的系数存储器66)，从由上述决定单元决定的多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；运算单元(例如，图9的预测部67)，通过使用了上述关注像素的类的抽头系数和上述预测抽头的预测运算，求出上述关注像素的像素值。
本发明的第二侧面的学习方法，是进行求出在图像转换处理中使用的抽头系数的学习的学习装置(例如，图9的学习装置)的学习方法，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，上述学习装置具备决定单元(例如，图9的控制部72)，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元(例如，图9的虚拟摄影图像生成部62)，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元(例如，图9的图像转换部73)，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元(例如，图9的显示控制部68)，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元(例如，图9的光检测器70)，检测显示在上述显示单元上的图像即作为显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元(例如，图9的评价值算出部71)，评价上述显示图像信号，
通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式(例如，图21的步骤S71)，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号(例如，图21的步骤S73)，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号(例如，图21的步骤S74)，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上(例如，图21的步骤S75)，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号(例如，图21的步骤S76)，上述评价单元评价上述显示图像信号(例如，图21的步骤S77)，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式(例如，图21的步骤S79)；所述处理2为上述决定单元决定多个显示格式(例如，图22的步骤S91)，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号(例如，图22的步骤S92)，
上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号(例如，图22的步骤S93)，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像，以由上述决定单元决定的显示格式，显示在显示单元上(例如，图22的步骤S95)，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号(例如，图22的步骤S96)，上述评价单元评价上述显示图像信号(例如，图22的步骤S97)，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式(例如，图22的步骤S99)；所述处理3为上述决定单元决定多个抽头系数(例如，图23的步骤S111)，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号(例如，图23的步骤S112)，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号(例如，图23的步骤S114)，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在上述显示单元上(例如，图23的步骤S115)，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号(例如，图23的步骤S116)，上述评价单元评价上述显示图像信号(例如，图23的步骤S117)，
由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数(例如，图23的步骤S119)。
本发明的第二侧面的程序，是使计算机执行求出在图像转换处理中使用的抽头系数的学习处理的程序，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，所述程序是使计算机作为以下单元发挥功能的程序决定单元(例如，图9的控制部72)，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元(例如，图9的虚拟摄影图像生成部62)，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元(例如，图9的图像转换部73)，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元(例如，图9的显示控制部68)，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；以及评价单元(例如，图9的评价值算出部71)，评价光检测单元(例如，图9的光检测器70)所输出的上述显示图像信号，该光检测单元检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号，
通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式(例如，图21的步骤S71)，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号(例如，图21的步骤S73)，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号(例如，图21的步骤S74)，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上(例如，图21的步骤S75)，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号(例如，图21的步骤S77)，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式(例如，图21的步骤S79)；所述处理2为上述决定单元决定多个显示格式(例如，图22的步骤S91)，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号(例如，图22的步骤S92)，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号(例如，图22的步骤S93)，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上(例如，图22的步骤S95)，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号(例如，图22的步骤S97)，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式(例如，图22的步骤S99)；所述处理3为上述决定单元决定多个抽头系数(例如，图23的步骤S111)，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号(例如，图23的步骤S112)，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号(例如，图23的步骤S114)，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上(例如，图23的步骤S115)，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号(例如，图23的步骤S117)，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数(例如，图23的步骤S119)。
本发明的第三侧面的显示装置，是对图像进行显示的显示装置(例如，图45的显示装置402)，具备
判断单元(例如，图46的控制部417)，判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像；前处理单元(例如，图46的前处理部411)，对上述摄影图像信号实施前处理；图像转换单元(例如，图46的图像转换部413)，在上述判断单元中判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号；显示控制单元(例如，图46的显示控制部414)，由通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
在第三侧面的显示装置中，上述图像转换单元具备预测抽头抽出单元(例如，图48的抽头抽出部41)，从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素像素值中使用的多个像素的像素值；类抽头抽出单元(例如，图48的抽头抽出部42)，从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类为多类中某类的类分类中使用的多个像素的像素值；类分类单元(例如，图48的类分类部43)，根据上述类分类进行上述关注像素的类分类；系数输出单元(例如，图48的系数存储器431)，从通过学习预先求出的多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；以及运算单元(例如，图48的预测部45)，通过使用了上述关注像素的类的抽头系数、和上述预测抽头的预测运算，求出上述关注像素的像素值。
在第三侧面的显示装置中，上述前处理单元具备前处理抽头抽出单元(例如，图47的前处理抽头抽出部421)，从上述摄影图像信号抽出前处理抽头，该前处理抽头是在通过上述前处理求出关注像素的像素值中使用的多个像素的像素值；以及前处理运算单元(例如，图47的前处理运算部422)，通过使用了在作为上述前处理的运算中使用的前处理系数、以及上述前处理抽头的运算，求出上述关注像素的像素值。
本发明的第三侧面的显示方法、或者程序，是对图像进行显示的显示方法、或者使计算机执行对图像进行显示的显示处理的程序，具有如下步骤判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像(例如，图49的步骤S401)，对上述摄影图像信号实施前处理(例如，图49的步骤S404)，在判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号(例如，图49的步骤S405)，由通过使用比与上述高像质图像信号对应的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上(例如，图49的步骤S406)。
以下，参照

本发明的实施方式。
图1表示对图像进行处理的图像处理系统(系统是指多个装置逻辑上的集合，与各结构的装置是否在相同壳体中无关)的第一结构例。
在图1中，图像处理系统由照相机(摄像机)1和显示装置2构成。
照相机1对物体(被摄体)进行拍摄，输出通过该拍摄所得到的图像信号即摄影图像信号。显示装置2接收照相机1所输出的摄影图像信号，将该摄影图像信号转换为比对应于摄影图像信号的图像更高像质的图像的图像信号即高像质图像信号，显示对应于该高像质图像信号的图像。
此外，照相机1例如是单板式照相机，输出通过后述的学习而决定的信号格式的摄影图像信号。
即，当通过学习决定的摄影图像信号的信号格式例如为拜耳格式时，在照相机1中采用拜耳排列的滤色器，照相机1不将通过该拜耳排列的滤色器所得到的拜耳格式的摄影图像信号转换为RGB图像信号而直接输出。
在此，将照相机1所输出的摄影图像信号例如设为作为标准分辨率图像信号的SD(Standard Definition标准清晰度)图像信号，将通过对该SD图像信号进行转换而得到的高像质图像信号设为作为高分辨率图像信号的HD(High Definition高清晰度)图像信号。此外，下面适当将对应于SD图像信号的图像称为SD图像，将对应于HD图像信号的图像称为HD图像。
图2表示图1的显示装置2的结构例。
显示装置2由图像转换部11、显示控制部12、以及显示器13构成。
图像转换部11通过与由预先进行的学习而得到的抽头系数之间的运算，将来自照相机1的SD图像信号转换为HD图像信号，提供给显示控制部12。
显示控制部12进行显示控制，该显示控制以由使用比HD图像更高像质的图像进行的学习所决定的显示格式，使与从图像转换部11提供的HD图像信号对应的HD图像显示在显示器13上。
在此，下面适当将比HD图像更高像质的图像称为SHD图像(Super HD图像(超高清晰度))，将其图像信号称为SHD图像信号。
显示器13是例如由CRT(Cathode Ray Tube阴极射线管)、LCD(Liquid Crystal Display液晶显示器)面板等构成的显示单元，按照显示控制部12的控制来显示图像。
接着，参照图3的流程图，说明图2的显示装置2的动作。
来自照相机1的SD图像信号被提供到显示装置2中。在显示装置2中接收来自照相机1的SD图像信号，提供给图像转换部11。
在步骤S1中，图像转换部11进行例如如下的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部12，进入到步骤S2，其中，所述图像转换处理通过使用了由后述的学习所得到的抽头系数的运算，将来自照相机1的SD图像信号转换为HD图像信号。
在步骤S2中，显示控制部12以通过使用SHD图像进行的后述的学习所决定的显示格式，将与从图像转换部11提供的HD图像信号对应的HD图像显示在显示器13上。
由此，在显示器13中显示HD图像。
接着，说明由图2的图像转换部11进行的图像转换处理。
图像转换部11进行以下的图像转换处理将第一图像信号转换为比对应于该第一图像信号的图像更高像质的图像的第二图像信号。
在此，图像转换部11将来自照相机1的SD图像信号设为第一图像信号，并且，将HD图像信号设为第二图像信号，进行将第一图像信号转换为第二图像信号的图像转换处理，但是，根据该图像转换处理，可基于如何定义第一以及第二图像信号而实现各种处理。
即，例如如果将第二图像信号设为HD图像信号，并且将第一图像信号设为降低第二图像信号分辨率和像素数的SD图像信号，则图像转换处理可以是将SD图像转换为HD图像的处理。另外，例如如果将第二图像信号设为高S/N图像信号，并且将第一图像信号设为降低了第二图像信号的S/N的(在第二图像信号上添加噪声)低S/N的图像信号，则图像转换处理可以是去除噪声的噪声去除处理。而且，例如如果将第二图像信号设为某个图像信号，并且将第一图像信号设为间除(間引く)第二图像信号的像素数的图像信号，则图像转换处理可以是放大图像的放大处理。
图4表示图2的图像转换部11的结构例。
图像转换部11由抽头抽出部41以及42、类分类部43、系数存储器44、以及预测部45构成。
来自照相机1的SD图像信号作为第一图像信号提供给图像转换部11。并且，作为第一图像信号的SD图像信号被提供给抽头抽出部41以及42。
抽头抽出部41将对第一图像信号进行变换而将得到的构成第二图像信号(作为该第二图像信号的HD图像信号是将来求出的图像信号，由于在现阶段不存在，因此虚拟地设想)的像素，依次设为关注像素，而且从第一图像信号抽出在预测该关注像素的像素值中使用的多个像素的像素值即预测抽头。
具体地说，抽头抽出部41将相对于与关注像素对应的、第一图像信号的图像的位置(例如拍摄有与拍摄在关注像素位置上的被摄体相同的被摄体的一部分的第一图像信号在图像上的位置)、具有空间上或者时间上接近的位置关系的多个像素(例如最接近与关注像素对应的、第一图像信号在图像上的位置的像素、以及与该像素在空间上相邻的像素等)的像素值，作为预测抽头来抽出。
抽头抽出部42从第一图像信号抽出类抽头，该类抽头是在进行将关注像素分类为几个(多个)类中的某一个的类分类中使用的多个像素的像素值。
此外，在此为了使简化说明，作为预测抽头和类抽头，假设采用抽头结构相同的多个像素的像素值、即采用相对于与关注像素对应的位置的位置关系相同的多个像素的像素值。但是，预测抽头和类抽头能够设为不同的抽头结构。
由抽头抽出部41得到的预测抽头提供给预测部45，由抽头抽出部42得到的类抽头提供给类分类部43。
类分类部43根据来自抽头抽出部42的类抽头，将关注像素进行类分类，将与其结果所得到的类对应的类代码提供给系数存储器44。
在此，作为进行类分类的方法，例如可采用ADRC(AdaptiveDynamic Range Coding自适应动态范围编码)等。
在使用ADRC的方法中，构成类抽头的像素的像素值被进行ADRC处理，按照其结果所得到的ADRC代码，决定关注像素的类。
此外，在K位ADRC中，例如检测构成类抽头的像素的像素值的最大值MAX和最小值MIN，将DR＝MAX-MIN设为作为类抽头的多个像素值的集合的局部动态范围，根据该动态范围DR，作为类抽头的多个像素值的各个被重新量化为K位。即，从作为类抽头的各像素值减去最小值MIN，将其减法值除以(量化)DR/2K。并且，将由此得到的作为类抽头的K位各像素值以规定的顺序排列的位串，作为ADRC代码输出。因而，在类抽头例如进行了1位ADRC处理的情况下，作为该类抽头的各像素值在减去最小值MIN之后，除以最大值MAX和最小值MIN之差的1/2(舍去小数点以下)，由此，各像素值成为1位(被2值化)。并且，作为ADRC代码输出将该1位的像素值以规定的顺序排列的位串。
此外，在类分类部43中，例如也可以将作为类抽头的多个像素值的水平分布图案，直接作为类代码输出。但是，在该情况下，类抽头由N个像素值构成，对各像素值分配有K位时，类分类部43所输出的类代码的情况的数为(2N)K个，变成与像素值的位数K成指数比例的庞大的数。
因而，在类分类部43中，最好是通过上述ADRC处理、或者向量量化等来压缩类抽头的信息量，使用其压缩结果进行类分类。
另外，除了类抽头之外，还可以根据表示与关注像素对应的第一图像信号的图像上的位置(下面适当称为对应位置)附近的运动的向量(运动向量)、表示与对应位置最近的第一图像信号的像素和对应位置之间的位置关系的向量(位置关系向量)等，进行类分类。即，例如可将类抽头的ADRC代码与表示作为运动向量或位置关系向量的向量量化结果的代码(符号)的位串排列成一行而得到的位串等，设为表示关注像素的类的类代码。
系数存储器44存储了通过后述的学习预先求出的每个类的抽头系数。即，系数存储器44关于可在类分类部43中将关注像素进行类分类的多个类，分别存储了抽头系数。系数存储器44输出每个类的抽头系数中的从类分类部43提供的表示类代码所表示的类、即关注像素的类的抽头系数。
此外，抽头系数例如相当于数字滤波器中的在所谓的抽头中与输入数据相乘的系数。
预测部45获取抽头抽出部41所输出的预测抽头、以及系数存储器44所输出的抽头系数，使用该预测抽头和抽头系数，进行求出关注像素真值的预测值的规定预测运算。由此，预测部45求出关注像素的像素值(的预测值)、即构成第二图像信号的像素的像素值并输出。
下面，参照图5的流程图说明图4的图像转换部11进行的图3的步骤S1的图像转换处理。
在抽头抽出部41中，将构成针对从照相机1提供的作为第一图像信号的SD图像信号的、作为第二图像信号的HD图像信号的各像素，依次作为关注像素。并且，在步骤S11中，抽头抽出部41和42从向其提供的第一图像信号中分别抽出作为关于关注像素的预测抽头和类抽头的像素的像素值。并且，预测抽头从抽头抽出部41提供给预测部45，类抽头从抽头抽出部42提供给类分类部43。
类分类部43从抽头抽出部42接收关于关注像素的类抽头，在步骤S12中，根据该类抽头将关注像素进行类分类。而且，类分类部43将表示该类分类的结果所得到的关注像素的类的类代码输出到系数存储器44，进入到步骤S13。
在步骤S13中，系数存储器44读出从类分类部43提供的类代码所表示的类的抽头系数、即关注像素的类的抽头系数并输出，进入到步骤S14。在预测部45中获取(接收)系数存储器44所输出的抽头系数。
在步骤S14中，预测部45使用抽头抽出部41所输出的预测抽头、以及从系数存储器44获取的抽头系数，通过进行规定的预测运算来求出关注像素的像素值、即第二图像信号的像素的像素值。预测部45如上所述每当求出例如1帧的第二图像信号的像素的像素值时，将作为该第二图像信号的HD图像信号输出到显示控制部12(图2)。
如上所述，在图像转换部11中，从第一图像信号抽出关于第二图像信号的关注像素的预测抽头和类抽头，根据类抽头求出关注像素的类，进行使用了该类的抽头系数以及预测抽头的运算，求出第二图像信号的关注像素的像素值(的预测值)，由此，第一图像信号被转换为第二图像信号。将这样通过求出关注像素的类并进行使用了该类的抽头系数和第一图像信号(预测抽头)的运算来求出关注像素的像素值的处理，称为类分类适应处理。
在类分类适应处理中，如上所述使用抽头系数，但是例如可通过利用了最小二乘法的学习来求出该抽头系数。
即，例如目前作为图像转换处理，考虑将HD图像信号设为第二图像信号，并且将间除该HD图像信号的像素、通过LPF(LowPass Filter低通滤波器)进行滤波等所得到的SD图像信号作为第一图像信号，从第一图像信号抽出预测抽头，使用该预测抽头和抽头系数，通过规定的预测运算求出(预测)第二图像信号的像素值。
作为规定的预测运算，例如当采用线性1次预测运算时，可通过下面的线性1次式求出第二图像信号的像素(下面适当称为第二像素)的像素值y。
y=Σn=1NWnXn...(1)]]>其中，在式(1)中，xn表示构成关于第二像素y的预测抽头的第n个第一图像信号像素(下面适当称为第一像素)的像素值，wn表示与第n个第一像素的像素值相乘的第n个抽头系数。此外，在式(1)中，预测抽头由多个即N个第一像素的像素值x1，x2，...，xN构成。在该情况下，抽头系数在每一类中存在N个。
在此，也可以不用式(1)所示的线性1次式，而通过2次以上的高次式求出第二像素的像素值y。
现在将第k样本的第二像素的像素值的真值表示为yk，并且将通过式(1)得到的该真值yk的预测值表示为yk’时，由下式表示其预测误差ek。
ek＝yk-yk’...(2)当前，按照式(1)来求出式(2)的预测值yk’，因此当按照式(1)来替换式(2)的yk’时，得到下式。
ek=yk-(Σn=1NWnXn,k)...(3)]]>其中，在式(3)中，xn，k表示构成关于第k样本的第二像素的预测抽头的第n个第一像素的像素值。
式(3)(或者式(2))的预测误差ek为0的抽头系数wn最适合预测第二像素的像素值，但是关于全部的第二像素求出这种抽头系数wn，通常是困难的。
因此，作为表示最佳的抽头系数wn的规范，例如当采用最小二乘法时，能够通过使由下式表示的平方误差的总和E为最小来求出最适合的抽头系数Wn。
E=Σk=1Kek2...(4)]]>其中，在式(4)中，K表示第二像素的像素值yk、和构成关于该第二像素的预测抽头的第一像素的像素值x1，k、x2，k、...、xN，k的集合的样本数(学习用的样本数)。
式(4)的平方误差的总和E的最小值(极小值)如式(5)所示，通过使以抽头系数wn对总和E进行偏微分的结果为0的wn而提供。
∂E∂wn=e1∂e1∂wn+e2∂e2∂wn+...+eK∂eK∂wn=0(n=1,2,...,N)...(5)]]>另一方面，当将上述式(3)以抽头系数wn进行偏微分时，得到下式。
∂ek∂w1=-x1,k,∂ek∂w2=-x2,k,...,∂ek∂wN=-xN,k,(k=1,2,...,K)...(6)]]>根据式(5)和式(6)得到下式。
Σk=1Kekx1,k=0,Σk=1Kekx2,k=0,...Σk=1KekxN,k=0...(7)]]>通过将式(3)代入式(7)的ek，能够由式(8)所示的正规方程式来表示式(7)。
式(8)的正规方程式，例如通过扫除法(Gauss-Jordan的消去法)等，能够求解抽头系数wn。
通过对每个类创建式(8)的正规方程式进行求解，能够对每个类求出最适合的抽头系数(在此使平方误差的总和E为最小的抽头系数)wn。
根据类分类适应处理，通过使用如上求出的每类的抽头系数并进行式(1)的运算，将作为第一图像信号的SD图像信号转换为作为第二图像信号的HD图像信号。
此外，通过对每个类创建式(8)的正规方程式并进行求解、从而求出每类的抽头系数的方法(下面适当称为使用正规方程式的学习方法)，是求出每类的抽头系数的学习的一例。在图4的系数存储器44中，存储有不是使用正规方程式的学习方法、而是通过后述的循环学习所求出的每类的抽头系数。
在此，以下图像转换处理只要没有特别解释，就假设意味着通过类分类适应处理将第一图像信号转换为第二图像信号的处理。
如果只看式(1)，类分类适应处理看起来像FIR(FiniteImpulse Response有限脉冲响应)滤波器的滤波，但是例如将HD图像信号设为第二图像信号，并且将减少该HD图像信号的像素数等而得到的SD图像信号设为第一图像信号，通过使用这些第一图像信号和第二图像信号的学习能够求出与该FIR滤波器的系数(滤波器系数)相当的抽头系数w，因此能够再现虽然没有包含在第一图像信号中、但包含在第二图像信号中的信号成分。由此，类分类适应处理(的图像转换处理)，可称为是具有没有包含在第一图像信号中的信号成分的创造作用的处理。
接着，在图1的图像处理系统中，说明照相机1所输出的SD图像信号(摄影图像信号)的信号格式、显示装置2(图2)的显示控制部12使显示器13显示的HD图像的显示格式、以及显示装置2的图像转换部11(图4)在图像转换处理中使用的抽头系数。
如上所述，照相机1输出通过学习所决定的信号格式的SD图像信号，显示装置2的显示控制部12(图2)以通过学习所决定的显示格式，将HD图像显示在显示器13上。而且，显示装置2的图像转换部11(图4)，使用通过学习所决定的抽头系数，进行将来自照相机1的SD图像信号转换为HD图像信号的图像转换处理。
因而，照相机1所输出的SD图像信号的信号格式、将该SD图像信号转换为HD图像信号的图像转换处理中使用的抽头系数、以及对与由图像转换处理得到的HD图像信号对应的HD图像进行显示的显示格式，都通过学习来决定，为了提高图1的图像处理系统整体的性能、即为了使显示在显示装置2的显示器13(图2)上的图像最终成为合适的图像(用户感觉是高像质的图像)，而进行信号格式、抽头系数、以及显示格式的学习。
在此，作为现有的显示格式，例如有如图6所示的显示格式。
即，图6表示现有的显示格式的例子。
在普通的显示装置中，例如在显示与作为1个像素的像素值具有R、G、B三个颜色成分全部的图像信号(RGB图像信号)对应的图像的情况下，在相同的位置上显示R、G、B三个颜色成分在物理上是困难的，因此在显示装置中，将作为1个像素的像素值的R、G、B三个颜色成分排列在不同位置上进行显示。
即在显示装置中，作为显示画面上的1个像素的小区域被分割为分别用于R、G、B的更小的区域(下面适当称为子像素)，作为1个像素的像素值的R、G、B分别显示在R、G、B用的子像素上。
作为子像素排列图案，已知有例如在从图6的左起第一个、第二个、第三个(从右起第一个)中分别表示的排列图案。
在从图6的左起第一个中，将正方形状的区域设为1个像素，将1个像素在横方向上进行3等分的三个区域成为子像素。并且，在各像素中，从左起第一个、第二个、第三个子像素成为分别用于R、G、B的子像素，将这种子像素的排列(显示格式)称为条状。
在从图6的左起第二个中，由在横宽的长方形状的子像素的横方向上排列的两个第一和第二子像素、以及配置在该两个第一和第二子像素的上面或者下面的只偏移了子像素的横长度的一半的位置上的第三像素，构成1个像素。并且，这些第一至第三子像素分别成为用于R、G、B中的某个的子像素，但是相同的颜色成分的子像素不邻接。将这种子像素的排列(显示格式)称为德尔塔。
在从图6的左起第三个中，与从图6的左起第一个条状相同，将正方形状的区域设为1个像素，将1个像素在横方向上进行3等分的三个区域成为子像素。但是在从图6的左起第一个条状中，在纵方向上配置有相同颜色成分的子像素，但是在从图6的第三个中使得在纵方向上相同颜色成分的子像素不邻接，即，使得相同颜色成分的子像素排列在倾斜方向上。将这种子像素的排列(显示格式)称为马赛克。
如上所述的显示格式中的例如条状，例如可以说适于线、图形、文字的显示。另外，通过马赛克，可以说能够得到比条状更自然的图像，通过德尔塔，可以说能够得到更自然的图像。
如上所述的现有显示格式是例如根据对图像进行显示的显示装置的处理情况等决定的格式，因而，以现有的显示格式显示的图像未必是用户感觉为高像质的图像。即，有可能存在用户感觉到比以现有显示格式显示的图像更高像质的、不是现有显示格式的显示格式。
在此，图7示出了显示格式不是现有显示格式的例子。
即，图7示出了以条状为基准将该条状进行变形而得到的新的显示格式。
图7的左上示出了与从图6的左起第一个相同的条状的显示格式。
图7的左下示出了将以图7的左上所示的条状子像素所显示的颜色成分进行改变的显示格式。即，在图7的左上所示的条状中，在1个像素的横方向上排列的三个子像素按照分别显示R、G、B的子像素的顺序被排列，但是在图7的左下的显示格式中，按照分别显示G、B、R的子像素的顺序被排列。
图7的右上示出了将图7的左上所示的条状的子像素位置在纵方向上偏移的显示格式。即，在图7的左上所示的条状中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素，在横方向上配置在相同的位置上，但是在图7的右上的显示格式中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素，被配置在比R和B的子像素靠下的位置上。
图7的右下也与图7的右上所示的显示格式同样，示出了将图7的左上所示的条状的子像素位置在纵方向上偏移的显示格式。但是在图7的右下的显示格式中，1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素，被配置在比R子像素靠下的位置上，且B子像素配置在比R子像素靠上的位置上。
通过学习来决定显示控制部12使显示器13显示图像的显示格式，使得在显示装置2(图2)中显示用户感觉是高像质的图像。
接着，图8(示意性地)示出了图像信号的信号格式的例子。
图8的上面表示拜耳格式的图像信号。
如上所述，在单板式照相机中，由于作为1个像素的像素值只能得到R、G、B中的某一个颜色成分，因此为了对其他两个颜色成分进行插值的处理等而决定的信号格式是拜耳格式。因而，这种拜耳格式的图像信号由显示装置2的图像转换部11转换为HD图像信号而最终显示在显示器13上的HD图像，未必成为合适的图像。即，与拜耳格式等现有信号格式相比，有可能存在最终显示在显示器13上的HD图像为更合适的图像的信号格式。
在此，图8的下面示出了信号格式不是现有信号格式的例子。
即，图8的下面(示意性地)示出了以拜耳格式为基准将该拜耳格式进行变形而得到的新的信号格式。
图8的下左示出了将图8的上面所示的拜耳格式的像素位置每隔一列向下方向偏移的信号格式。另外，图8的下右示出了将图8的上面所示的拜耳格式的像素位置每隔1行向右(或者左)方向偏移的信号格式。
如上所述，进行照相机1所输出的SD图像信号的信号格式、在将该SD图像信号转换为HD图像信号的图像转换处理中使用的抽头系数、以及显示与由图像转换处理所得到的HD图像信号对应的HD图像的显示格式的学习，以便提高图1的整个图像处理系统性能，即，使得显示装置2的显示器13(图2)上所显示的图像最终成为合适的图像(用户感觉是高像质的图像)，图9示出了进行这种学习的学习装置的结构例。
即，在图9的学习装置中，进行求出图像转换部11(图2)中使用的抽头系数的学习，以使得在显示器13(图2)上显示的图像成为合适的图像，其中图像转换部11用于进行将照相机1(图1)所输出的SD图像信号(摄影图像信号)转换为比与该SD图像信号对应的SD图像更高像质的图像(HD图像)的高像质图像信号(HD图像信号)的图像转换处理。而且，在图9的学习装置中，进行照相机1所输出的SD图像信号的信号格式、以及显示与通过以该SD图像信号为对象的图像转换处理而得到的HD图像信号对应的HD图像的显示格式的学习，以使得在显示器13(图2)上所显示的图像成为合适的图像。
具体地说，在图9的学习装置中，学习数据存储部61，作为抽头系数、信号格式、以及显示格式的学习中使用的学习数据，存储了SHD图像信号(SHD图像)。
从后述的控制部72将表示信号格式的信号格式信息提供给虚拟摄影图像生成部62。虚拟摄影图像生成部62将存储在学习数据存储部61中的SHD图像信号的各帧图像信号作为关注SHD图像信号依次选择，通过对该关注SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信息所表示的信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给抽头抽出部63以及64。
抽头抽出部63、64、类分类部65、系数存储器66、预测部67，构成了与图4的图像转换部11进行相同的图像转换处理的图像转换部73，在该图像转换部73中，从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)通过与从控制部72提供的抽头系数之间的运算，转换为HD图像信号。
即，抽头抽出部63将从虚拟摄影图像生成部62提供的虚拟摄影图像信号设为第一图像信号，并且将对该第一图像信号进行转换而将得到的高像质(高分辨率)的HD图像信号设为第二图像信号(作为该第二图像信号的HD图像信号是将来要求出的图像信号，由于在现阶段中不存在，因此虚拟地设想)，将构成第二图像信号的像素依次设为关注像素。并且，抽头抽出部63关于关注像素，从第一图像信号抽出与图4的抽头抽出部41所抽出的预测抽头相同的抽头结构的预测抽头，并提供给预测部67。
抽头抽出部64关于关注像素，从第一图像信号抽出与图4的抽头抽出部42所抽出的类抽头相同的抽头结构的类抽头，并提供给类分类部65。
类分类部65根据来自抽头抽出部64的类抽头，用与图4的类分类部43相同的方法，对关注像素进行类分类，并将与其结果所得到的类对应的类代码提供给系数存储器66。
系数存储器66按照控制部72的控制，存储每个类的抽头系数。并且，系数存储器66与图4的系数存储器44相同，输出每类的抽头系数中的从类分类部65提供的类代码所表示的类、即关注像素的类的抽头系数。
预测部67获取(接收)抽头抽出部63所输出的预测抽头、以及系数存储器66所输出的抽头系数，使用该预测抽头和抽头系数，进行与图4的预测部45相同的预测运算。由此，预测部67求出关注像素的像素值(的预测值)、即构成HD图像信号(第二图像信号)的像素的像素值，提供给显示控制部68。
从控制部72将表示显示格式的显示格式信息提供给显示控制部68。显示控制部68以来自控制部72的显示格式信息所表示的显示格式，将与从预测部67提供的HD图像信号对应的HD图像显示在显示器69上。
显示器69以按照显示控制部68的控制的显示格式，显示作为光的HD图像。
光检测器70检测(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的相当于HD图像信号的显示图像信号输出到评价值算出部71。
评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的HD图像。
即，在评价值算出部71中，除了从光检测器70提供显示图像信号之外，还从学习数据存储部61提供关注SHD图像信号。评价值算出部71通过将来自光检测器70的显示图像信号、和来自学习数据存储部61的关注SHD图像信号进行比较，进行作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉的像质的评价的评价值算出，并提供给控制部72。
控制部72根据来自评价值算出部71的评价值，决定与照相机1(图1)所输出的SD图像信号相当的、在虚拟摄影图像生成部62中生成的虚拟摄影图像信号的信号格式，将表示该信号格式的信号格式信息提供给虚拟摄影图像生成部62。
另外，控制部72根据来自评价值算出部71的评价值，决定显示控制部68将与从预测部67提供的HD图像信号对应的HD图像显示在显示器69上的显示格式，将表示该显示格式的显示格式信息提供给显示控制部68。
并且，控制部72根据来自评价值算出部71的评价值，决定图像转换部73用于图像转换处理的每类的抽头系数，通过控制系数存储器66，将该抽头系数存储在系数存储器66中。
下面参照图10，说明图9的学习数据存储部61作为学习数据所存储的SHD图像信号、与图像转换部73(的预测部67)所输出的HD图像信号(显示在显示器69上的HD图像的HD图像信号)之间的关系。
SHD图像信号和HD图像信号，例如分别如图10的上面和下面所示，都是每1个像素具有R、G、B三个颜色成分的像素值的图像信号。
但是，HD图像信号是像素数比SHD图像信号少的低分辨率的图像信号(SHD图像信号是像素数比HD图像信号多的高分辨率的图像信号)。
即，例如HD图像信号是SHD图像信号的6×6像素对应于1个像素的图像信号。此外，在图10中，为了便于理解HD图像信号的1个像素和SHD图像信号的6×6像素之间的对应，以相同的大小图示了HD图像信号的1个像素和SHD图像信号的6×6像素，但是HD图像信号和SHD图像信号的像素大小本身未必是图10所示的关系。这点对于SD图像信号和HD图像信号的像素大小也相同。
下面，参照图11以及图12，说明图9的虚拟摄影图像生成部62根据作为学习数据的SHD图像信号生成虚拟摄影图像信号(SD图像信号)的生成方法。
虚拟摄影图像生成部62例如通过从SHD图像信号生成具有由图10所说明的关系的HD图像信号，即例如通过将SHD图像信号的6×6像素的R、G、B各自的平均值分别作为与该6×6像素对应的HD图像信号的1个像素的R、G、B求出、或者通过将SHD图像信号的6×6像素中的某一个像素的R、G、B分别作为与该6×6像素对应的HD图像信号的1个像素的R、G、B求出，从而生成HD图像信号，进而从该HD图像信号生成作为SD图像信号的虚拟摄影图像信号。
具体地说，将现在的SD图像信号设为例如HD图像信号的2×2像素与1个像素对应的图像信号，从控制部72对虚拟摄影图像生成部62提供例如表示图8的上面所示的拜耳格式的信号格式信息时，虚拟摄影图像生成部62例如如图11所示，从HD图像信号生成作为来自控制部72的信号格式信息所表示的信号格式的SD图像信号的虚拟摄影图像信号。
即，在该情况下，虚拟摄影图像生成部62如图11所示，检测与拜耳格式的SD图像信号的各像素对应的HD图像信号的2×2像素，从该2×2像素求出与该2×2像素对应的SD图像信号的1个像素的像素值，由此，生成作为虚拟摄影图像信号的拜耳格式的SD图像信号。
在此，拜耳格式的SD图像信号的各像素，作为像素值只具有R、G、B中的某个颜色成分，因此虚拟摄影图像生成部62从HD图像信号的2×2像素，求出与该2×2像素对应的SD图像信号的1个像素作为像素值所具有的颜色成分。
具体地说，在将拜耳格式的SD图像信号像素中的例如作为像素值只具有G成分的像素设为关注像素的情况下，如图11所示，作为关注像素的像素值，求出与关注像素对应的HD图像信号的2×2像素的像素值中的G成分的平均值等。
另外，在将拜耳格式的SD图像信号的像素中的例如作为像素值只具有B成分的像素设为关注像素的情况下，如图11所示，作为关注像素的像素值，求出与关注像素对应的HD图像信号的2×2像素的像素值中的B成分的平均值等。关于将拜耳格式的SD图像信号的像素中的例如作为像素值只具有R成分的像素，也同样地求出像素值。
此外，除此之外在从控制部72向虚拟摄影图像生成部62提供例如图8的下左所示的表示将拜耳格式的像素位置每隔1列向下方向偏移的信号格式的信号格式信号的情况下，虚拟摄影图像生成部62也与图11中说明的相同，从HD图像信号生成作为来自控制部72的信号格式信息所表示的信号格式的SD图像信号的虚拟摄影图像信号。
即，虚拟摄影图像生成部62在将图8的下左所示的信号格式的SD图像信号的像素中的例如作为像素值只具有G成分的像素设为关注像素的情况下，如图12所示，作为关注像素的像素值求出与关注像素对应的HD图像信号的2×2像素的像素值中的G成分的平均值等。
另外，在将图8的下左所示的信号格式的SD图像信号的像素中的例如作为像素值只具有R成分的像素设为关注像素的情况下，如图12所示，作为关注像素的像素值求出与关注像素对应的HD图像信号的2×2像素的像素值中的R成分的平均值等。关于图8的下左所示的信号格式的SD图像信号的像素中的作为像素值只具有B成分的像素，也同样地求出像素值。
下面，在图9的学习装置中，显示控制部68以从控制部72提供的显示格式信息所表示的显示格式，将与HD图像信号对应的HD图像显示在显示器69上。因此，显示器69构成为能够以各种显示格式来显示HD图像。
即，图13示出了显示器69的显示画面和HD图像之间的关系。
显示器69如图13的上面所示，具有将与SHD图像的1个像素对应的区域设为能够显示颜色成分的最小单位即最小显示单位的显示画面。如图10所述，SHD图像的6×6像素与HD图像的1个像素对应，因此关于将与SHD图像的1个像素对应的区域设为最小显示单位的显示画面，该6×6个的最小显示单位与图13的下面所示的HD图像的1个像素对应。此外，下面在显示画面中，将与HD图像的像素对应的6×6个的最小显示单元，适当称为像素。
显示控制部68例如如图14、图15所示，以来自控制部72的显示格式信息所表示的显示格式，将HD图像显示在显示器69的显示画面上。
即，在来自控制部72的显示格式信息例如表示图7的左上所示的条状的情况下，显示控制部68如图14所示，将显示画面的像素在横方向上进行3等分的、横×纵为2×6个的最小显示单位设为子像素。并且，显示控制部68如图14所示，将HD图像的像素的R、G、B的颜色成分分别显示在从与该像素对应的显示画面的像素的左起第一、第二、第三个子像素上，由此，以来自控制部72的显示格式信息所表示的条状来显示HD图像。
另外，在来自控制部72的显示格式信息表示例如图7的右上所示的1个像素的按R、G、B的顺序在横方向上排列的三个子像素中的G子像素配置在比R和B子像素靠下的位置上的显示格式的情况下，显示控制部68如图15所示，将显示画面的R、G、B这三个子像素(2×6个的最小显示单位)，与显示格式同样地设定成使G子像素配置在比R和B的子像素靠下的位置上。并且，显示控制部68如图15所示，将HD图像的像素的R、G、B的颜色成分显示在显示画面所对应的子像素上，由此以来自控制部72的显示格式信息所表示的显示格式来显示HD图像。
下面参照图16至图18说明图9的评价值算出部71的处理。
评价值算出部71如图9所述，通过将来自光检测器70的显示图像信号与来自学习数据存储部61的关注SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示器69上显示的HD图像的用户感觉到的像质的评价的评价值。
在此，光检测部70对每个R、G、B检测(光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为HD图像信号的显示图像信号输出到评价值算出部71，其中，该HD图像信号作为各像素的像素值具有分别与该R、G、B的光对应的电信号即R成分、G成分、B成分。
即，如图16的上面所示，光检测部70对每个R、G、B检测以显示器69的显示画面的6×6的最小显示单位构成的各像素的光，将作为HD图像信号的显示图像信号输出到评价值算出部71，其中，该HD图像信号作为各像素的像素值具有分别与该R、G、B的光对应的电信号即R成分、G成分、B成分。
另一方面，评价值算出部71从存储在学习数据存储部61中的关注SHD图像信号，生成用于显示图像信号评价的HD图像信号即评价用HD图像信号。
具体地说，评价值算出部71从与HD图像信号的像素对应的关注SHD图像信号的6×6像素的像素值，求出设为HD图像信号的像素的像素值的代表值。即，评价值算出部71，例如将与HD图像信号的像素对应的关注SHD像素信号的6×6像素的R、G、B成分各自的平均值、该6×6像素中的某1个像素的R、G、B成分，作为该6×6像素的R、G、B成分各自的代表值而求出。并且，评价值算出部71作为评价用HD图像信号，生成将关注SHD图像信号的6×6像素的R、G、B成分的代表值分别设为所对应的像素的R、G、B成分的HD图像信号。
而且，评价值算出部71，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出评价用HD图像信号的像素的像素值(R1，G1，B1)、和显示图像信号所对应的像素的像素值(R2，G2，B2)之间的平方误差(R1-R2)2+(G1-G2)2+(B1-B2)2，作为评价值求出与对该全部像素的平方误差的总和成反比例的值。
因而，在显示器69中，在由例如作为图14所示的显示格式的条状显示HD图像的情况下，在光检测器70(图9)中，如图17所示检测出作为显示画面的1个像素的6×6个最小显示单位的R、G、B的光、即包含在显示画面的1个像素中的R、G、B各自的子像素(2×6个的最小显示单位)的R、G、B的光，将作为分别与该R、G、B的光对应的电信号的R、G、B成分提供给评价值算出部71。并且，在评价值算出部71中，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出来自评价值算出部71的R、G、B成分、和将关注SHD图像信号的6×6像素的代表值设为像素值的评价用HD图像信号的像素的R、G、B成分之间的平方误差，作为评价值求出与对该全部像素的平方误差的总和成反比例的值。
另外，在显示器69中，在以例如图15所示的R、G、B子像素中的G子像素被配置在比R和B子像素靠下的位置上的显示格式来显示HD图像的情况下，在光检测器70(图9)中，如图18所示，检测出作为显示画面的1个像素的6×6个的最小显示单位的R、G、B的光，将作为分别与该R、G、B的光对应的电信号的R、G、B成分提供给评价值算出部71。
即，在该情况下关于R，在光检测器70中检测出包含在显示画面的1个像素中的R的一个子像素(2×6个的最小显示单位)的R的光，将作为与该R的光对应的电信号的R成分提供给评价值算出部71。关于B也与R同样，在光检测器70中检测出包含在显示画面的1个像素中的B的一个子像素(2×6个的最小显示单位)的B的光，将作为与该B的光对应的电信号的B成分，提供给评价值算出部71。
另外，关于G由于配置在比R和B子像素靠下的位置上，因此在显示画面的1个像素中包含两个G子像素的一部分。因此关于G，在光检测器70中检测出将显示画面的1个像素中包含的B的两个子像素(2×6个的最小显示单位)各自的B的光的一部分进行了合成(合计)的光(在图18中标记斜线表示的部分)，将作为与该合成的光对应的电信号的B成分，提供给评价值算出部71。
而且，在评价值算出部71中，关于从存储在学习数据存储部61中的SHD图像信号得到的评价用HD图像信号的全部像素，求出来自评价值算出部71的R、G、B成分、与将关注SHD图像信号的6×6像素的代表值设为像素值的评价用HD图像信号的像素的R、G、B成分的平方误差，作为评价值求出与对关于该全部像素的平方误差总和成反比例的值。
下面参照图19的流程图，说明图9的学习装置所进行的学习抽头系数、信号格式、以及显示格式的学习处理。
在步骤S31中，控制部72从多个初始信号格式中决定设为关注信号格式的初始信号格式Ai，将表示该关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62，进入到步骤S32。
即，在图9的学习装置中，作为在学习处理的最初使用的初始信号格式，设定(决定)了例如拜耳格式及现有信号格式等多个信号格式，控制部72将表示多个初始信号格式各自的信号格式信息存储在内置的存储器(未图示)中。并且，控制部72，将存储在内置的存储器中的多个信号格式信息所表示的多个初始信号格式中的、还没有设为关注信号格式的一个信号格式，决定(设定)为关注信号格式Ai，将表示该关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62。
在此，Ai表示例如多个初始信号格式中的第i个初始信号格式。
在步骤S32中，控制部72从多个初始显示格式中决定设为关注显示格式的初始显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68，进入到步骤S33。
即，在图9的学习装置中，作为在学习处理的最初使用的初始显示格式，设定了例如条状、德尔塔以及现有显示格式等多个显示格式，控制部72将表示多个初始显示格式各自的显示格式信息存储在内置的存储器中。并且，控制部72将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式中的还没有作为关注显示格式的一个显示格式决定为关注显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68。
在此，Bj表示例如多个初始显示格式中的第j个初始显示格式。
在步骤S33中，在学习装置(图9)中，关于关注信号格式Ai和关注显示格式Bj的组合，决定临时最佳抽头系数的集合(式(1)的运算中使用的各类的抽头系数(x1，x2，...，xN)的集合)Fi，j。
即，在步骤S33中，在将关注像素格式Ai的SD图像信号设为第一图像信号，将通过在图4的图像转换部11中进行使用了抽头系数的图像转换处理而得到的、作为由具有作为像素值的R、G、B各成分的像素构成的第二图像信号的HD图像信号所对应的HD图像，以关注显示格式Bj显示在显示器69上的情况下，关于关注信号格式Ai和关注显示格式Bj的组合，作为临时最佳抽头系数的集合Fi，j，求出将通过由光检测器70检测出作为显示在该显示器69上的HD图像的光而得到的显示图像信号的评价值为最高的抽头系数的集合。
并且，从步骤S33进入到步骤S34，控制部72判断是否已将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式的全部作为关注显示格式、通过步骤S33求出了抽头系数的集合。
在步骤S34中，在判断为还没有将多个初始显示格式的全部设为关注显示格式的情况下，返回到步骤S32，控制部72将多个初始显示格式中的还没有设为关注显示格式的一个初始显示格式决定为新的关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，下面重复同样的处理。
另外，在步骤S34中，在判断为多个初始显示格式的全部被设为关注显示格式的情况下，进入到步骤S35，判断控制部72是否将存储在内置的存储器中的多个信号格式信息所表示的多个初始信号格式的全部作为关注信号格式、通过步骤S33求出了抽头系数的集合。
在步骤S35中，在判断为还没有将多个初始信号格式的全部设为关注信号格式的情况下，返回到步骤S31，控制部72将多个初始信号格式中的还没有设为关注信号格式的一个初始显示格式决定为新的关注信号格式，将表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，下面重复同样的处理。
另外，在步骤S35中，在被判断为多个初始信号格式的全部被设为关注信号格式的情况下，即关于多个初始信号格式各自和多个初始显示格式各自之间的全部组合都通过步骤S33求出了最佳的抽头系数的集合的情况下，进入到步骤S36，控制部72从初始信号格式和初始显示格式、与关于该初始信号格式和初始显示格式的组合的最佳抽头系数的集合的组合中，临时地决定(临时决定)最佳的信号格式、显示格式、以及抽头系数的集合的组合。
即，在作为多个初始信号格式有I个信号格式、作为多个初始显示格式有J个显示格式的情况下，在步骤S33中，对I×J个初始信号格式和初始显示格式之间的各个组合，求出临时最佳抽头系数的集合，其结果可得到I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合。在步骤S36中，从该I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合中，作为最佳的信号格式、显示格式、以及抽头系数的集合的组合，临时决定显示图像信号的评价值为最大的组合。
在步骤S36中，临时决定了最佳的信号格式、显示格式、以及抽头系数的集合的组合后，进入到步骤S37，关于当前最佳显示格式和抽头系数的集合的组合，进行临时决定最佳信号格式的最佳信号格式决定处理，进入步骤S38。
在步骤S38中，关于当前的最佳信号格式和抽头系数的集合的组合，进行临时决定最佳显示格式的最佳显示格式决定处理，进入到步骤S39。
在步骤S39中，关于当前的最佳信号格式和显示格式的组合，进行临时决定最佳抽头系数的集合的最佳抽头系数集合决定处理，进入到步骤S40。
在步骤S40中，控制部72判断由之前的步骤S37求出的当前最佳信号格式、由之前的步骤S38求出的当前最佳显示格式、以及由之前的步骤S39求出的当前最佳抽头系数的集合的组合，是否被最佳化。
即，在之前的步骤S39的最佳抽头系数集合决定处理中，关于当前的临时最佳信号格式和显示格式的组合，作为最佳抽头系数的集合临时决定如后所述评价值算出部71所算出的评价值为最大的抽头系数的集合，但是在步骤S40中，根据例如关于该最佳抽头系数的集合的评价值是否为预先决定的最佳化判断用的阈值以上(更大)，判断当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合是否被最佳化。
在步骤S40中，在判断为当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合没有被最佳化的情况下，即在关于由之前的步骤S39临时决定的最佳抽头系数的集合的评价值不是最佳化的判断用阈值以上的情况下，返回步骤S37，重复同样的处理。
另外，在步骤S40中，在判断为当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合被最佳化的情况下，即在关于由之前的步骤S39临时决定的最佳抽头系数的集合的评价值是最佳化的判断用阈值以上的情况下，控制部72将当前的临时最佳信号格式、当前的临时最佳显示格式、以及当前的临时最佳抽头系数的集合的组合，最终地决定为(最终决定)最佳信号格式、最佳显示格式、以及最佳抽头系数的集合的组合，并结束学习处理。
在图1的图像处理系统中，照相机1输出通过图19的学习处理最终决定的最佳信号格式的摄影图像信号(SD图像信号)。另外，显示装置2的显示控制部12(图2)，以通过图19的学习处理最终决定的最佳显示格式，将HD图像显示在显示器13上。而且，在显示装置2的图像转换部11的系数存储器44中存储有通过图19的学习处理最终决定的最佳抽头系数的集合，图像转换部11使用该抽头系数的集合，进行图像转换处理。
其结果，能够提高图1的照相机1和显示装置2的组合即图像处理系统的性能。即，根据作为图1的照相机1和显示装置2的组合的图像处理系统，姑且不论照相机1所输出的摄影图像信号、图像转换部11所输出的HD图像信号的S/N(Signal to Noise ratio信噪比)等，能够将用户感觉是高像质的图像显示在显示器13上。
此外，在图19中，在关于在最佳抽头系数集合决定处理中求出的抽头系数的集合的评价值是最佳化的判断用阈值以上的情况下，判断为信号格式、显示格式、以及抽头系数的集合的组合被最佳化，但是除此之外，可以例如在最佳信号格式决定处理、最佳显示格式决定处理、以及最佳抽头系数集合决定处理被重复了规定次数的情况下，判断为信号格式、显示格式、以及抽头系数的集合的组合被最佳化。
下面，参照图20的流程图，详细说明关于关注信号格式Ai和关注像素格式Bj的组合决定临时最佳抽头系数集合Fi，j的图19的步骤S33的处理。
在步骤S51中，控制部72决定图像转换部73在图像转换处理中使用的每个类的抽头系数的集合。即，例如将类的总数设为α、将各类的抽头系数的数设为β(式(1)的N)、将抽头系数的位数设为γ时，抽头系数集合可能采用的情况数存在α×β×2γ个，控制部72将该α×β×2γ个抽头系数集合中的在本次的图20的处理中还没有设为关注抽头系数集合的一个集合，决定为关注抽头系数集合。
并且，控制部72将关注抽头系数集合提供给系数存储器66进行存储，从步骤S51进入到S52。
在步骤S52中，控制部72将表示关注信号格式Ai的信号格式信息提供给虚拟摄影图像生成部62，由此在虚拟摄影图像生成部62中生成作为关注信号格式Ai的虚拟摄影图像信号的SD图像信号。
即，虚拟摄影图像生成部62，当从控制部72提供表示关注信号格式Ai的信号格式信息时，通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成关注信号格式Ai的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73。
然后，从步骤S52进入到步骤S53，图像转换部73进行如下的图像转换处理将从虚拟摄影图像生成部62提供的关注信号格式Ai的虚拟摄影图像信号(SD图像信号)设为第一图像信号，将该第一图像信号转换为作为例如1个像素具有R、G、B成分全部的第二图像信号的HD图像信号的图像转换处理。
即，在步骤S53中，首先最初在步骤S531中，图像转换部73的抽头抽出部63将从虚拟摄影图像生成部62提供的虚拟摄影图像信号设为第一图像信号，并且将对该第一图像信号进行变换而将要得到的高像质(高分辨率)的HD图像信号设为第二图像信号(作为该第二图像信号的HD图像信号是将来要求出的图像信号，在现阶段不存在，因此是虚拟的设想)，将构成第二图像信号的像素依次设为关注像素。而且，抽头抽出部63关于关注像素，从第一图像信号抽出与图4的抽头抽出部41所抽出的预测抽头相同的抽头结构的预测抽头，提供给预测部67。
进而，在步骤S531中，抽头抽出部64关于关注像素，从第一图像信号抽出与图4的抽头抽出部42所抽出的类抽头相同的抽头结构的类抽头，提供给类分类部65。
然后，从步骤S531进入到步骤S532，类分类部65根据来自抽头抽出部64的类抽头，用与图4的类分类部43相同的方法，将关注像素进行类分类，将与其结果所得到的类对应的类代码提供给系数存储器66，进入到步骤S533。
在步骤S533中，系数存储器66获取按照控制部72的控制存储的关注抽头系数集合中的、从类分类部65提供的类代码所表示的类、即关注像素的类的抽头系数，输出到预测部67，并进入步骤S534。
在步骤S534中，预测部67获取抽头抽出部63所输出的预测抽头、以及系数存储器66所输出的抽头系数，使用该预测抽头和抽头系数，进行与图4的预测部45相同的预测运算、即例如进行式(1)的运算。由此预测部67求出关注像素的像素值(的预测值)、即构成HD图像信号(第二图像信号)的像素的像素值，提供给显示控制部68。
在步骤S53的处理后进入到步骤S54，控制部72将表示关注显示格式Bj的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的关注显示格式Bj，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，从步骤S54进入步骤S55。
在步骤S55中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S56。
在步骤S56中，评价值算出部71评价来自光检测器79的显示图像信号，进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过比较显示图像信号和所对应的SHD图像信号，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，并提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S52至S56的处理。而且，控制部72关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，并将该总和作为关于关注抽头系数集合的最终评价值，进行临时存储。
然后，从步骤S56进入到步骤S57，控制部72判断是否关于抽头系数的集合可能采用的α×β×2γ个值的全部算出了评价值。
在步骤S57中，在判断为还没有关于抽头系数的集合可能采用的α×β×2γ个值的全部算出评价值的情况下，即在α×β×2γ个抽头系数集合中有在本次图20的处理中还没有设为关注抽头系数集合的集合的情况下，返回到步骤S51，控制部72将α×β×2γ个抽头系数集合中的在本次图20的处理中还没有设为关注抽头系数集合的一个集合决定为新的关注抽头系数集合，下面重复同样的处理。
另外在步骤S57中，在判断为关于抽头系数的集合可能采用的α×β×2γ个值的全部算出了评价值的情况下，进入到步骤S58，控制部72将α×β×2γ个抽头系数集合中的评价值最高的抽头系数的集合，决定为关于关注信号格式Ai和关注显示格式Bj的组合的最佳抽头系数集合Fi，j并返回。
在此，如图19中所述，在作为多个初始信号格式有I个信号格式、作为多个初始显示格式有J个显示格式的情况下，作为步骤S33的处理的图20的处理进行I×J次，其结果可得到I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合。在图19的步骤S36中，从该I×J个初始信号格式、初始显示格式、以及抽头系数的集合的组合中，作为最佳的信号格式、显示格式、以及抽头系数的集合的组合，临时决定由图20的处理得到的评价值为最大的组合。
此外，将如上所述的、关于抽头系数的集合可能采用的α×β×2γ个值的全部算出评价值、求出该评价值为最高的抽头系数的抽头系数学习，称为循环学习。
下面，参照图21的流程图，详细说明图19的步骤S37的最佳信号格式决定处理。
在步骤S71中，控制部将当前的临时的(进行临时决定的)最佳信号格式作为基准，决定最佳信号格式的多个候选。
即，例如假设拜耳格式是当前的临时最佳信号格式时，控制部72例如如图8所示，将拜耳格式稍微变形而得到的几个(多个)信号格式，决定为最佳信号格式的多个候选。此外，关于为了得到最佳信号格式的多个候选应如何对当前的临时最佳信号格式进行变形，例如预先决定了变形规则，控制部72按照该变形规则，对当前的临时最佳信号格式进行变形，决定最佳信号格式的多个候选。
在步骤S71的处理后进入步骤S72，控制部72将最佳信号格式的多个候选中的还没有设为关注信号格式的一个候选，决定为关注信号格式，将表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，进入步骤S73。
在步骤S73中，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信息所表示的关注信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号提供给图像转换部73，进入到步骤S74。
在步骤S74中，控制部72将当前的临时最佳抽头系数的集合储存到系数存储器66中。并且在步骤S74中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的关注信号格式的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的当前的临时最佳抽头系数的集合之间的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S74的处理后，进入步骤S75，控制部72将表示当前临时最佳显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的当前临时最佳显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，从步骤S75进入步骤S76。
在步骤S76中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S77。
在步骤S77中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，并供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S73至S77的处理。并且，控制部72关于关注信号格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注信号格式的最终评价值进行临时存储。
然后，从步骤S77进入到步骤S78，控制部72判断关于最佳信号格式的多个候选的全部是否算出了评价值。
在步骤S78中，在判断为还没有关于最佳信号格式的多个候选的全部算出评价值的情况下，返回步骤S72，控制部72将最佳信号格式的多个候选中的还没有设为关注信号格式的一个候选决定为新的关注信号格式，下面重复同样的处理。
另外，在步骤S78中，在判断为关于最佳信号格式的多个候选的全部算出了评价值的情况下，进入步骤S79，控制部72将最佳信号格式的多个候选中的评价值为最高的候选，临时决定为新的对当前临时最佳显示格式和抽头系数的集合的组合的最佳信号格式并返回。
下面，参照图22的流程图，详细叙述图19的步骤S38的最佳显示格式决定处理。
在步骤S91中，控制部72以当前临时(进行临时决定)的最佳显示格式为基准决定最佳显示格式的多个候选。
即，例如假设条状是当前的临时最佳显示格式时，控制部72例如如图7所示，将条状稍微变形所得到的几个(多个)显示格式决定为最佳显示格式的多个候选。此外，关于为了得到最佳显示格式的多个候选应如何对当前的临时最佳显示格式进行变形，例如预先决定了变形规则，控制部72按照该变形规则，将当前的临时最佳显示格式进行变形，决定最佳显示格式的多个候选。
步骤S91的处理后进入到步骤S92，控制部72将表示当前临时最佳信号格式的信号格式信息提供给虚拟摄影图像生成部62。由此，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信号所表示的关注信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73，进入步骤S93。
在步骤S93中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的当前临时最佳抽头系数集合之间的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S93的处理后进入到步骤S94，控制部72将最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选，决定为关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，进入步骤S95。
在步骤S95中，显示控制部68以来自控制部72的显示格式信息所表示的关注显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，进入步骤S96。
在步骤S96中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S97。
在步骤S97中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S92和S93、以及S95至S97的处理。并且，控制部72关于关注显示格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注显示格式的最终评价值，进行临时存储。
然后，从步骤S97进入到步骤S98，控制部72判断是否关于最佳显示格式的多个候选的全部算出了评价值。
在步骤S98中，在判断为还没有对最佳显示格式的多个候选的全部算出评价值的情况下，返回到步骤S94，控制部72将最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选决定为新的关注显示格式，下面重复同样的处理。
另外，在步骤S98中，在判断为关于最佳显示格式的多个候选的全部算出了评价值的情况下，进入步骤S99，控制部72将最佳显示格式的多个候选中的评价值为最高的候选，决定为新的对当前临时最佳信号格式和抽头系数的集合的组合的最佳显示格式并返回。
下面参照图23的流程图，详细叙述图19的步骤S39的最佳抽头系数集合决定处理。
在步骤S111中，控制部72以当前临时(进行临时决定)的最佳抽头系数集合为基准，决定最佳抽头系数集合的多个候选。
即，控制部72例如选择将当前临时最佳抽头系数集合的各抽头系数设为分量的Z维向量(该情况下类总数和每1类的抽头系数的数之积为Z)所表示的、以Z维向量空间的点为基准的规定范围内的多个点，将分别表示该多个点的多个Z维向量(的分量)决定为最佳抽头系数集合的多个候选。此外，关于为了得到最佳抽头系数集合的多个候选而将与当前临时最佳抽头系数集合对应的Z维向量作为基准来选择哪个范围的哪个点，预先决定了规则，控制部72按照该规则，通过选择将与当前临时最佳抽头系数集合对应的Z维向量作为基准的规定范围内的多个点，决定最佳抽头系数集合的多个候选。
在步骤S111的处理后进入到步骤S112，控制部72将表示当前临时最佳信号格式的信号格式信息提供给虚拟摄影图像生成部62。由此，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部72的信号格式信号所表示的信号格式的SD图像信号，作为与照相机1(图1)所输出的摄影图像信号相当的虚拟摄影图像信号，提供给图像转换部73，进入步骤S113。
在步骤S113中，控制部72将最佳抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个集合决定为关注抽头系数集合，通过控制系数存储器66来存储该关注抽头系数集合，进入步骤S114。
在步骤S114中，图像转换部73与图20的步骤S53同样，将从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的关注抽头系数集合的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部68。
在步骤S114的处理后进入步骤S115，控制部72将表示当前临时最佳显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部72的显示格式信息所表示的显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，进入步骤S116。
在步骤S116中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S117。
在步骤S117中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户所感觉到的像质的评价的评价值，提供给控制部72。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S112、以及S114至S117的处理。并且，控制部72关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头系数集合的最终评价值，进行临时存储。
然后，从步骤S117进入步骤S118，控制部72判断是否关于最佳抽头系数集合的多个候选的全部算出了评价值。
在步骤S118中，在判断为还没有关于最佳抽头系数集合的多个候选的全部算出评价值的情况下，返回步骤S113，控制部72将最佳抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选决定为新的关注抽头系数集合，下面重复同样的处理。
另外，在步骤S118中，在判断为关于最佳抽头系数集合的多个候选的全部算出了评价值的情况下，进入步骤S113，控制部72将最佳抽头系数集合的多个候选中的评价值为最高的候选，临时决定为新的对当前临时最佳信号格式和显示格式的组合的最佳抽头系数集合并返回。
如上所述，在图9的学习装置中，在图19的步骤S37中进行如下的最佳信号格式决定处理(图21)控制部72作为最佳信号格式的多个候选决定多个信号格式，关于该多个信号格式的每个，虚拟摄影图像生成部62生成虚拟摄影图像信号，图像转换部73将虚拟摄影图像信号通过与由控制部72决定的抽头系数(当前临时最佳抽头系数的集合)的运算转换为HD图像信号，显示控制部68将与HD图像信号对应的HD图像，以由控制部72决定的某显示格式(当前临时最佳显示格式)显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个信号格式中临时决定显示图像信号的评价为最高的信号格式。
而且，在图9的学习装置中，在图19的步骤S38中进行如下的最佳显示格式决定处理(图22)控制部72作为最佳显示格式的多个候选决定多个显示格式，虚拟摄影图像生成部62生成由控制部72决定的信号格式(当前临时最佳信号格式)的虚拟摄影图像信号，图像转换部73将虚拟摄影图像信号通过与由控制部72决定的抽头系数(当前临时最佳抽头系数的集合)的运算而转换为HD图像信号，关于多个显示格式的每个，显示控制部68将与HD图像信号对应的HD图像显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个显示格式中临时决定显示图像信号的评价为最高的显示格式。
另外，在图9的学习装置中，在图19的步骤S39中进行如下的最佳抽头系数集合决定处理(图23)控制部72作为最佳抽头系数集合的多个候选，决定多个抽头系数(的集合)，虚拟摄影图像生成部62生成由控制部72决定的信号格式(当前临时最佳信号格式)的虚拟摄影图像信号，关于多个抽头系数的每个，图像转换部73将虚拟摄影图像信号转换为HD图像信号，显示控制部68将与HD图像信号对应的HD图像以由控制部72决定的显示格式(当前临时最佳显示格式)显示在显示器69上，光检测器70检测作为显示图像的光，输出与该光对应的电信号即显示图像信号，评价值算出部71通过对显示图像信号进行评价，从多个抽头系数中临时决定显示图像信号的评价为最高的抽头系数。
并且，在图9的学习装置中，如图19中所述，通过重复进行以上的最佳信号格式决定处理、最佳显示格式决定处理、以及最佳抽头系数集合决定处理，直到评价值(在此由之前的最佳抽头系数集合决定处理得到的评价值)成为最佳化判断用阈值以上为止，求出在进行使作为显示在显示器69上的HD图像的显示图像更高像质的图像转换处理中使用的抽头系数(的集合)、成为使用该抽头系数进行的图像转换处理对象的摄影图像信号的信号格式、以及显示与通过以该信号格式的摄影图像信号为对象的图像转换处理而得到的HD图像信号对应的HD图像的显示格式。
因而，根据图9的学习装置，能够求出用户感觉显示在显示器69上的显示图像是更高像质的抽头系数、信号格式、以及显示格式，也就是说能够求出进一步提高由图1的照相机1和显示装置2构成的图像处理系统性能的最佳(合适的)抽头系数、信号格式、以及显示格式。
并且，在图1的照相机1中，输出由图9的学习装置得到的最佳信号格式的摄影图像信号，并且在图1的显示装置2中，使用由图9的学习装置得到的最佳抽头系数而进行图像转换处理，而且通过将由该图像转换处理得到的HD图像以由图9的学习装置得到的最佳显示格式进行显示，从而由照相机1和显示装置2的组合构成图像处理系统的情况下，作为该整个图像处理系统，能够发挥最大性能。
此外，在图21的最佳信号格式决定处理中，在将当前临时最佳信号格式设为基准而决定最佳信号格式的多个候选时，作为当前临时最佳信号格式的变形方法，可采用如下方法当图19的步骤S37至S39的重复次数小时，使变形很大，随着其重复次数的增加，使得变形渐渐微小。对于显示格式和抽头系数的集合也同样。
另外，在关于最佳信号格式的候选求出的评价值是不那么大的值、且几乎不增加的情况下，能够将当前临时最佳信号格式较大地变形，从而决定最佳信号格式的多个候选。此时，能够解除所谓局部最小的问题。对于显示格式和抽头系数的集合也同样。
下面图24示出了处理图像的图像处理系统的第二结构例。
在图24中，图像处理系统由照相机(摄像机)101和显示装置102构成。
照相机101对物体(被摄体)进行拍摄，输出通过该拍摄而得到的图像信号即摄影图像信号。显示装置102接收照相机101所输出的摄影图像信号，将该摄影图像信号转换为比与摄影图像信号对应的图像更高像质的图像的图像信号即高像质图像信号，显示与该高像质图像信号对应的图像。
此外，照相机101例如是单板式照相机，使其输出某信号格式的摄影图像信号。
即，在照相机101中采用拜耳排列的滤色器的情况下，照相机101不将通过该拜耳排列的滤色器而得到的拜耳格式的摄影图像信号转换为RGB图像信号而直接输出。
在此，照相机101所输出的摄影图像信号与图1的照相机1所输出的摄影图像信号同样，设为是SD图像信号，在显示装置102中，通过将转换该SD图像信号而得到的高像质图像信号与图1的情况同样，设为是HD图像信号。
在图24的图像处理系统中，显示装置102例如通过检测获取照相机101所输出的摄影图像信号的信号格式，通过与该信号格式用的抽头系数的运算，将作为照相机101所输出的SD图像信号的摄影图像信号转换为HD图像信号。
即，根据图1的图像处理系统，由照相机1和显示装置2的组合构成图像处理系统的情况下，作为该整个图像处理系统能够发挥最大性能，其中，照相机1输出由图9的学习装置中得到的最佳信号格式的摄影图像信号；显示装置2使用由相同的图9的学习装置得到的最佳抽头系数进行图像转换处理、且以由图9的学习装置得到的最佳显示格式对通过该图像转换处理得到HD图像进行显示。
但是例如在将显示装置2与输出不是由图9的学习装置得到的最佳信号格式的信号格式的摄影图像信号的照相机组合而构成图像处理系统的情况下，在该图像处理系统中未必能够显示用户感觉是高像质的图像。
因此，在图24中，即使在将显示装置102与输出任意信号格式的摄影图像信号的照相机101组合而构成图像处理系统的情况下，也根据该照相机101的摄影图像信号的信号格式，显示用户感觉为高像质的图像。
即，图25示出了图24的显示装置102的结构例。
显示装置102由图像转换部111、显示控制部112、显示器113、信号格式检测部114构成。
对于图像转换部111，提供了作为来自照相机101的SD图像信号的摄影图像信号，并且从信号格式检测部114提供表示该摄影图像信号的信号格式的信号格式信息。另外，图像转换部111关于通过预先进行的学习而得到的多个信号格式分别存储每类的抽头系数的集合。图像转换部111选择关于多个信号格式各自的抽头系数的集合中的、来自信号格式检测部114的信号格式所表示的信号使用抽头系数的集合，通过与该抽头系数的运算，将作为来自照相机101的摄影图像信号的SD图像信号转换为HD图像信号，提供给显示控制部112。
显示控制部112进行如下显示控制以通过使用比HD图像更高像质的SHD图像进行的学习而决定的显示格式，将与从图像转换部111提供的HD图像信号对应的HD图像显示在显示器113上。
显示器113是例如由CRT、LCD面板等构成的显示单元，按照显示控制部112的控制而对图像进行显示。
对于信号格式检测部114，从照相机101提供了摄影图像信号。信号格式检测部114通过检测来自照相机101的摄影图像信号的信号格式来获取该信号格式，将表示该信号格式的信号格式信息提供给图像转换部111。
下面参照图26的流程图，说明图25的显示装置102的动作。
对于显示装置102，提供了来自照相机101的SD图像信号。在显示装置102中，接收来自照相机101的SD图像信号，提供给图像转换部111和信号格式检测部114。
信号格式检测部114在步骤S121中检测来自照相机101的SD图像信号的信号格式，将表示该信号格式的信号格式信息提供给图像转换部111，进入步骤S122。
在此，在来自照相机101的SD图像信号中，例如包含有表示该信号格式的信号，信号格式检测部114根据该信号，检测来自照相机101的SD图像信号的信号格式。
在步骤S122中，图像转换部11进行如下的图像转换处理，将其结果所得到的HD图像信号提供给显示控制部112，进入步骤S123，其中，上述图像转换处理根据来自信号格式检测部114的信号格式信息所表示的信号格式，将来自照相机101的SD图像信号例如通过使用由后述的学习所得到的抽头系数的运算，转换为HD图像信号。
在步骤S123中，显示控制部112以通过使用SHD图像进行的后述的学习所决定的显示格式，将与从图像转换部111提供的HD图像信号对应的HD图像显示在显示器113上。
由此，在显示器113中显示HD图像。
图27示出了图25的图像转换部111的结构例。
此外，关于图中与图4的图像转换部11对应的部分，标记有相同的符号，在下面适当省略其说明。即，图像转换部111与图4的图像转换部11相同，进行将第一图像信号转换为第二图像信号的图像转换处理，具备抽头抽出部41和42、类分类部43、以及预测部45，在这一点上与图4的图像转换部11相同。但是与图4的图像转换部11的不同之处是图像转换部111代替系数存储器44设置有系数存储器122，并且新设置了系数选择部121。
对于系数选择部121，从图25的信号格式检测部114提供了表示照相机101所输出的SD图像信号的信号格式的信号格式信息。系数选择部121控制系数存储器122，使得将存储在系数存储器122中的抽头系数集合中的与来自信号格式检测部114的信号格式信息相对应的抽头系数的集合，作为有效抽头系数集合进行选择。
系数存储器122将通过后述的学习对多个信号格式分别预先求出的每个类的抽头系数的集合，与表示该信号格式的信号格式信息相对应而存储。并且，系数存储器122从与多个信号格式信息相对应而存储的抽头系数的集合，按照系数选择部121的控制选择有效的抽头系数的集合，通过读出而获取该有效抽头系数集合中的、从类分类部43提供的类代码所表示的类、即关注像素的类的抽头系数，输出到预测部45。
下面，参照图28的流程图，说明图27的图像转换部111进行的图26的步骤S122的图像转换处理。
在图像转换部111中，在步骤S131中控制系数存储器122，使得系数选择部121将与来自信号格式检测部114的信号格式信息、即表示照相机101所输出的SD图像信号的信号格式的信号格式信息相对应的抽头系数集合，选择为有效抽头系数集合。由此，系数存储器122从与多个信号格式信息相对应而存储的抽头系数集合中，按照系数选择部121的控制选择有效抽头系数的集合，进入步骤S132。
在步骤S132中，抽头抽出部41将构成如下HD图像信号的各像素依次设为关注像素，其中，上述HD图像信号是关于从照相机101提供的作为第一图像信号的SD图像信号的、作为第二图像信号的HD图像信号。并且，抽头抽出部41和42从来自照相机101的第一图像信号分别抽出作为关于关注像素的预测抽头和类抽头的像素的像素值。预测抽头从抽头抽出部41提供给预测部45，类抽头从抽头抽出部42提供给类分类部43。
类分类部43从抽头抽出部42接收关于关注像素的类抽头，在步骤S133中根据该类抽头将关注像素进行类分类。而且，类分类部43，将表示该类分类的结果所得到的关注像素的类的类代码输出到系数存储器122，进入步骤S134。
在步骤S134中，系数存储器122读出并输出有效抽头系数集合中的、从类分类部43提供的类代码所表示的类的抽头系数、即关注像素的类的抽头系数，进入步骤S135。在预测部45中获取系数存储器122所输出的抽头系数。
在步骤S135中，预测部45使用抽头抽出部41所输出的预测抽头、和从系数存储器122获取的抽头系数，通过进行作为规定的预测运算的式(1)的运算，求出关注像素的像素值、即第二图像信号的像素的像素值。如上所述，预测部45每当求出例如1个帧的第二图像信号的像素的像素值时，将作为该第二图像信号的HD图像信号输出到显示控制部112(图25)。
如上所述，在图像转换部111中，也与图4的图像转换部11同样，从第一图像信号抽出关于第二图像信号的关注像素的预测抽头和类抽头，根据类抽头求出关注像素的类，进行使用了该类的抽头系数和预测抽头的运算，求出第二图像信号的关注像素的像素值(的预测值)，由此，进行作为将第一图像信号转换为第二图像信号的图像转换处理的类分类适应处理。
接着如上所述，显示装置102(图25)的显示控制部112进行如下显示控制以通过使用比HD图像更高像质的SHD图像进行的学习而决定的显示格式，将与从图像转换部111提供的HD图像信号对应的HD图像，显示在显示器113上。
图29示出了显示控制部112进行在显示器113上显示HD图像的显示格式的学习的学习装置的结构例。
此外，关于图中与图9的学习装置对应的部分标记相同的符号，以下适当省略其说明。即图29的学习装置设置有学习数据存储部61、显示控制部68、显示器69、光检测器70、以及评价值算出部71，在这一点上与图9的学习装置相同，但是与图9的学习装置的不同之处有没有设置虚拟摄影图像生成部62和图像转换部73、代替控制部72设置有控制部142、以及新设置了HD图像获取部141。
HD图像获取部141作为关注SHD图像信号，选择存储在学习数据存储部61中的SHD图像信号的各帧的图像信号，将该关注SHD图像信号的像素数进行间除等，由此作为1个像素的像素值生成(获取)具有R、G、B三个颜色成分全部的RGB图像信号即HD图像信号，提供给显示控制部68。此外，HD图像获取部141，例如与在图9的虚拟摄影图像生成部62生成作为虚拟摄影图像信号的SD图像信号之前、从SHD图像信号生成HD图像信号相同，从SHD图像信号生成HD图像信号。
控制部142根据来自评价值算出部71的评价值，决定显示控制部68将与从HD图像获取部141提供的HD图像信号对应的HD图像显示在显示器69上的显示格式，将表示该显示格式的显示格式信息提供给显示控制部68。
下面参照图30的流程图，说明图29的学习装置进行的学习显示格式的学习处理。
在步骤S151中，HD图像获取部141从存储在学习数据存储部61中的SHD图像信号生成作为RGB图像信号的HD图像信号，并提供给显示控制部68，进入步骤S152。
在步骤S152中，控制部142例如从预先决定的多个显示格式中，将还没有设为关注显示格式的一个格式决定为关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，进入到步骤S153。
在此，在控制部142中，能够将例如由图19的步骤S32说明的现有的多个显示格式作为预先决定的多个显示格式，从其中决定关注显示格式。另外，在控制部142中，能够将以现有多个显示格式各自为基准对各显示格式稍微变形所得到的1个以上的显示格式的全部作为预先决定的多个显示格式，从其中决定关注显示格式。
在步骤S153中，显示控制部68以来自控制部142的显示格式信息所表示的关注显示格式，将与从HD图像获取部141提供的HD图像信号对应的HD图像显示在显示器69上，进入步骤S154。
在步骤S154中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S155。
在步骤S155中，评价值算出部71评价来自光检测器70的显示图像信号、进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户感觉到的像质的评价的评价值，并提供给控制部142。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S151、以及步骤S153至S155的处理。并且，控制部142关于关注显示格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注显示格式的最终评价值进行临时存储。
然后，从步骤S155进入到步骤S156，控制部142判断是否关于预先决定的多个显示格式的全部算出了评价值。
在步骤S156中，在判断为还没有关于预先决定的多个显示格式的全部算出评价值的情况下，返回到步骤S152，控制部142将预先决定的多个显示格式中的还没有设为关注显示格式的一个格式决定为新的关注显示格式，下面重复同样的处理。
另外，在步骤S156中在判断为关于预先决定的多个显示格式的全部算出了评价值的情况下，进入步骤S157，控制部142将预先决定的多个显示格式中的评价值为最高的显示格式决定为最佳(合适)的显示格式，结束显示格式的学习处理。
图25的显示控制部112以通过图30的学习处理决定为最佳显示格式的显示格式，将图像显示在显示器113上。
接着，图31示出了进行对于通过图30的学习处理决定的最佳(合适)的显示格式和各种信号格式的组合求出最佳抽头系数集合的学习的学习装置的结构例。
此外，关于图中与图9的学习装置对应的部分，标记了相同符号，以下适当省略其说明。即，图31的学习装置设置有学习数据存储部61、虚拟摄影图像生成部62、显示器69、光检测器70、评价值算出部71、以及图像转换部73，在这一点上与图9的学习装置相同，但是与图9的学习装置的不同之处有代替显示控制部68和控制部72而分别设置了显示控制部161和控制部162。
显示控制部161将与从图像转换部73(的预测部67)提供的HD图像信号对应的HD图像，以通过图30的学习处理决定的最佳显示格式显示在显示器69上。
控制部162决定虚拟摄影图像生成部62中生成的虚拟摄影图像信号的信号格式，将表示该信号格式的信号格式信息提供给虚拟摄影图像生成部62。
另外，控制部162根据来自评价值算出部71的评价值，决定图像转换部73在图像转换处理中使用的每类的抽头系数，通过控制系数存储器66将该抽头系数存储到系数存储器66。
下面参照图32的流程图，说明图31的学习装置进行的、对各种信号格式求出最佳抽头系数集合的学习处理。
在步骤S171中，控制部162将例如从预先决定的多个信号格式中还没有设为关注信号格式的一个格式决定为关注信号格式，将表示该关注信号格式的信号格式信息提供给虚拟摄影图像生成部62，进入到步骤S172。
在此，在控制部162中能够将由例如图19的步骤S31说明的现有的多个信号格式作为预先决定的多个信号格式，从其中决定关注信号格式。另外，在控制部162中能够以现有多个信号格式各自为基准，将各信号格式稍微变形所得到的1个以上的信号格式的全部作为预先决定的多个信号格式，从其中决定关注信号格式。
在步骤S172中，虚拟摄影图像生成部62通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成来自控制部162的信号格式信息所表示的关注信号格式的SD图像信号，提供给图像转换部73，进入到步骤S173。
在步骤S173中，控制部162决定图像转换部73在图像转换处理中使用的每类的抽头系数的集合。即，例如如由图20的步骤S51所述，在将类总数设为α、将各类的抽头系数的数设为β、将抽头系数的位数设为γ时，抽头系数集合可能采用的情况数存在α×β×2γ个，控制部162将该α×β×2γ个抽头系数集合中的、在图32的学习处理中还没有设为关注抽头系数集合的一个集合，决定为关注抽头系数集合。
并且，控制部162将关注抽头系数集合提供给系数存储器66进行存储，从步骤S173进入到S174。
在步骤S174中，图像转换部73与图20的步骤S53同样地，将从虚拟摄影图像生成部62提供的虚拟摄影图像信号(SD图像信号)设为第一图像信号，进行将该第一图像信号通过与存储在系数存储器66中的关注抽头系数集合的运算而转换为作为第二图像信号的HD图像信号的图像转换处理，将其结果所得到HD图像信号提供给显示控制部161。
在步骤S174的处理后进入步骤S175，显示控制部161以通过图39的学习处理决定的最佳显示格式，将与图像转换部73所输出的HD图像信号对应的HD图像显示在显示器69上，进入到步骤S176。
在步骤S176中，光检测器70检测出(进行光电转换)作为显示在显示器69上的HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S177。
在步骤S177中，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户感觉到的像质的评价的评价值，提供给控制部162。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S172、以及步骤S174至S177的处理。并且，控制部162关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头系数集合的最终评价值进行临时存储。
然后，从步骤S177进入到步骤S178，控制部162判断是否关于抽头系数集合可能采用的α×β×2γ个值的全部算出了评价值。
在步骤S178中，在判断为还没有关于抽头系数集合可能采用的α×β×2γ个值的全部算出评价值的情况下，即在α×β×2γ个抽头系数集合中具有在图32的学习处理中还没有设为关注抽头系数集合的集合的情况下，返回到步骤S173，控制部162将α×β×2γ个抽头系数集合中的在图32的学习处理中还没有设为关注抽头系数集合的一个集合决定为新的关注抽头系数集合，下面重复同样的处理。
另外，在步骤S178中，在判断为关于抽头系数集合所可能采用的α×β×2γ个值的全部算出了评价值的情况下，进入步骤S179，控制部162将α×β×2γ个抽头系数集合中的评价值为最高的抽头系数集合，决定为对通过图30的学习处理决定的最佳(合适)的显示格式和关注信号格式的组合的最佳抽头系数集合，与表示关注信号格式的信号格式信息相对应进行存储，并进入步骤S180。
在步骤S180中，控制部162判断是否已将例如预先决定的多个信号格式的全部作为关注信号格式而决定了最佳抽头系数的集合。
在步骤S180中，在判断为还没有对预先决定的多个信号格式的全部决定最佳抽头系数集合的情况下，返回步骤S171，控制部162将预先决定的多个信号格式中的还没有设为关注信号格式的一个格式决定为新的关注信号格式，下面重复同样的处理。
另外，在步骤S180中，在判断为对预先决定的多个信号格式的全部决定了最佳抽头系数集合的情况下，图31的学习装置结束图32的学习处理。
在显示装置102的图像转换部111(图25)中，通过图32的学习处理，将对预先决定的多个信号格式各自所得到的最佳抽头系数的集合，与表示该信号格式的信号格式信息相对应，存储到系数存储器122(图27)中。
在显示装置102中如上所述，在信号格式检测部114中获取来自照相机101的SD图像信号的信号格式，在图像转换部111中通过使用了与表示该信号格式的信号格式信息相对应的抽头系数集合的图像转换处理，将来自照相机101的SD图像信号，转换为以通过图30的学习处理而得到的最佳显示格式显示时用户感觉是高像质的HD图像信号。并且，在显示控制部112中，以通过图30的学习处理而得到的最佳显示格式，显示与通过图像转换部111的图像转换处理而得到的HD图像信号对应的HD图像。
因而，在显示装置102与输出(在图32的学习处理中使用的预先决定的多个信号格式中的)任意信号格式的摄影图像信号的照相机101组合而构成图像处理系统的情况下，都可根据该照相机101的摄影图像信号的信号格式，显示用户感觉是高像质的图像。
下面，图33示出了处理图像的图像处理系统的第三结构例。
在图33中，图像处理系统由照相机(摄像机)201和显示装置202构成。
照相机201对物体(被摄体)进行拍摄，输出通过该拍摄而得到的图像信号即摄影图像信号。显示装置202接收照相机201所输出的摄影图像信号，将该摄影图像信号转换为比与摄影图像信号对应的图像更高像质、且放大了与摄影图像信号对应的图像的放大高像质图像信号，显示高像质放大图像，其中，所述高像质放大图像是与该放大高像质图像信号对应的图像、即放大了与摄影图像信号对应的图像的放大图像。
此外，照相机201作为摄影图像信号，例如输出RGB图像信号。
在此，假设照相机201所输出的摄影图像信号与图1的照相机1所输出的摄影图像信号同样，是SD图像信号，假设通过转换该SD图像信号而得到的放大高像质图像信号与图1的情况同样，是HD图像信号。
图34表示图33的显示装置202的结构例。
显示装置202由前处理部211、图像转换部212、显示控制部213、以及显示器214构成。
对于前处理部211，从照相机201提供了SD图像信号。前处理部211对来自照相机201的SD图像信号，实施适合于放大与该SD图像信号对应的图像的前处理，将该前处理的结果所得到的SD图像信号(下面也适当称为前处理后SD图像信号)提供给图像转换部212。
图像转换部212将来自前处理部211的前处理后SD图像信号设为第一图像信号，并且将放大了与对该前处理后SD图像信号实施前处理前的SD图像信号对应的图像的HD图像的放大图像(下面也适当称为放大HD图像)所对应的HD图像信号(下面也适当称为放大HD图像信号)设为第二图像信号，通过与由预先进行的学习而得到的抽头系数的运算，将作为第一图像信号的前处理后SD图像信号转换为作为第二图像信号的放大HD图像信号，提供给显示控制部213。
显示控制部213进行如下显示控制以现有显示格式、或者在图29的学习装置中通过进行图39的学习处理而决定的显示格式等规定显示格式，将与从图像转换部212提供的放大HD图像信号对应的放大HD图像显示在显示器214上。
显示器214是例如由CRT、LCD面板等构成的显示单元，按照显示控制部213的控制对图像(放大HD图像)进行显示。
接着，图35示出了图33的前处理部211的结构例。
前处理部211例如由前处理抽头抽出部221、前处理运算部222、以及系数存储器223构成。
前处理抽头抽出部221将构成对来自照相机201(图33)的SD图像信号实施前处理而将要得到的前处理后SD图像信号的像素，依次设为关注像素，进而从来自照相机201的SD图像信号抽出前处理抽头，该前处理抽头是在求出该关注像素像素值中使用的多个像素的像素值。
具体地说，前处理抽头抽出部221，将相对于与关注像素对应的、来自照相机201的SD图像信号的图像的位置(例如拍摄有与拍摄在关注像素位置上的被摄体相同的被摄体的一部分的、来自照相机201的SD图像信号在图像上的位置)，具有空间上或者时间上接近的位置关系的多个像素(例如最接近与关注像素对应的、来自照相机201的SD图像信号在图像上的位置的像素、以及与该像素在空间上相邻的像素等)的像素值，作为前处理抽头抽出。
并且，前处理抽头抽出部221将对关注像素得到的前处理抽头提供给前处理运算部222。
前处理运算部222将从前处理抽头抽出部221提供的作为前处理抽头的像素值设为自变量，进行由存储在系数存储器223中的1个或者多个系数定义的规定的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值而输出。
系数存储器223存储了通过后述的学习预先求出的、对前处理用函数进行定义的系数(下面适当称为前处理系数)的集合。
在此，作为前处理用函数f()，例如设为采用线性一次式时，前处理用函数f(x1，x2，...，xM)由式f(x1，x2，...，xM)＝p1x1+p2x2+...+pMxM表示。其中，x1，x2，...，xM表示作为关于关注像素的前处理抽头的、来自照相机201的SD图像信号的多个像素(M个像素)的像素值，p1，p2，...，pM表示存储在系数存储器233中的、对前处理用函数f()进行定义的系数集合。
接着，图36示出了图34的图像转换部212的结构例。
此外，关于图中与图4的图像转换部11对应的部分，标记了相同的符号，在下面适当省略其说明。即，图36的图像转换部212在设置有抽头抽出部41、42、类分类部43、以及预测部45的点上，与图4的图像转换部11相同，但是与图4的图像转换部11的不同之处有代替系数存储器44而设置了系数存储器231。
在系数存储器231中，存储有与存储在系数存储器44中的抽头系数集合不同的、通过后述的学习得到的抽头系数集合。
在图像转换部212中，使用存储在系数存储器231中的抽头系数集合进行图像转换处理，由此将前处理后SD图像信号转换为放大HD图像信号。
即，在图像转换部212中将来自前处理部211的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理前的SD图像信号的放大HD图像信号设为第二图像信号，抽头抽出部41将作为第二图素信号的放大HD图像信号的像素依次设为关注像素，关于该关注像素从作为第一图像信号的前处理后SD图像信号抽出设为预测抽头的像素的像素值，提供给预测部45。而且抽头抽出部42关于关注像素，从作为第一图像信号的前处理后SD图像信号，抽出设为类抽头的像素的像素值，提供给类分类部43。
类分类部43根据来自抽头抽出部42的类抽头，进行求出关注像素的类的类分类，将其结果得到的关注像素的类(的类代码)提供给系数存储器231。系数存储器231对应于来自类分类部43的类，读出该类的抽头系数输出到预测部45。
预测部45使用来自抽头抽出部41的预测抽头、以及来自系数存储器231的抽头系数，例如进行上述式(1)的运算，由此求出(预测)作为第二图像信号的放大HD图像信号的关注像素的像素值。
下面，参照37的流程图说明图34的显示装置202的动作。
对于显示装置202，提供了来自照相机201的SD图像信号。在显示装置202中，接收来自照相机201的SD图像信号，提供给前处理部211。
前处理部211在步骤S201中对来自照相机201的SD图像信号实施前处理，输出该前处理结果得到的前处理后SD图像信号。
即，在前处理部211(图35)中，前处理抽头抽出部221将构成对来自照相机201的SD图像信号实施前处理而将要得到的前处理后SD图像信号的像素，依次设为关注像素，进而从来自照相机201的SD图像信号抽出前处理抽头，提供给前处理运算部222，其中，该前处理抽头是在求出该关注像素的像素值中使用的多个像素的像素值。
前处理运算部222，将来自前处理抽头抽出部221的作为前处理抽头的像素值设为自变量，进行由存储在系数存储器223中的前处理系数定义的前处理用函数的运算，作为前处理后SD图像信号的关注像素的像素值，输出该前处理用函数的运算结果。
如上所述，将前处理部211所输出的前处理后SD图像信号提供给图像转换部212。
在步骤S202中，图像转换部212进行如下的图像转换处理将来自前处理部211的前处理后SD图像信号，通过使用了存储在系数存储器231(图36)中的由后述的学习而得到的抽头系数的运算，转换为放大照相机201所输出的SD图像信号并且提高其像质的放大HD图像信号，图像转换部212将其结果所得到的放大HD图像信号提供给显示控制部213，进入步骤S203。
在步骤S203中，显示控制部213以规定的显示格式，将与从图像转换部212提供的放大HD图像信号对应的放大HD图像显示在显示器214上。
如上所述，在显示器214中显示放大HD图像。
在图34的显示装置202中，如上所述在图像转换部212中将通过由前处理部211对照相机201输出的SD图像信号实施前处理所得到的前处理后SD图像信号设为第一图像信号，并且将放大照相机201输出的SD图像信号、且将其设为高分辨率的放大HD图像信号设为第二图像信号，进行将第一图像信号转换为第二图像信号的图像转换处理。
在此，在图像转换部212中也可以将不是前处理部211所输出的前处理后SD图像信号、而将照相机201所输出的SD图像信号本身设为第一图像信号而进行图像转换处理，得到作为第二图像信号的放大HD图像信号。
但是，在获取作为第二图像信号的放大HD图像信号的图像转换处理中，将照相机201所输出的SD图像信号本身作为设为第一图像信号的图像信号未必合适。
即，有可能在不是将照相机201所输出的SD图像信号本身设为第一图像信号，而是对该SD图像信号实施某种处理、将其结果所得到的图像信号设为第一图像信号而进行图像转换处理的情况下，更能够得到用户感觉是更高像质的放大HD图像信号。
因此，在图34的显示装置202中，在图像转换部212的前级设置的前处理部211中，对来自照相机201的SD图像信号，进行适合于放大该SD图像信号、且设为高像质的前处理，即进行将来自照相机201的SD图像信号转换为适合于通过图像转换处理获取用户感觉是更高像质的放大HD图像信号的图像信号的前处理。
接着，在前处理部211(图35)中，如上所述在前处理抽头抽出部221中，从来自照相机201的SD图像信号抽出在求出关注像素的像素值中使用的、与关注像素具有规定位置关系(抽头结构)的多个像素的像素值即前处理抽头。并且，通过学习求出将与关注像素具有哪种位置关系的像素设为前处理抽头、即求出成为前处理抽头的像素相对于关注像素的位置关系(抽头结构)。
而且，在前处理部211中，在前处理运算部222中，通过将作为前处理抽头的像素值作为自变量，进行由存储在系数存储器223中的前处理系数定义的前处理用函数的运算，从而求出关注像素的像素值(前处理后SD图像信号)，但是定义前处理用函数的前处理系数也由学习求出。
另外，在图像转换部212(图34)中，进行将通过前处理部211得到的前处理后SD图像信号，通过与抽头系数的运算，转换为放大HD图像信号的图像转换处理，但是在用于得到该放大HD图像信号的图像转换处理中使用的抽头系数(下面也适当称为放大用HD系数)也由学习求出。
图38示出了学习(求出)在前处理抽头抽出部221(图35)中得到的前处理抽头的抽头结构、对由前处理运算部222运算的前处理用函数进行定义的前处理系数、以及放大用抽头系数的学习装置的结构例。
图38的学习装置由学习数据存储部251、学习对数据生成部252、控制部253、评价值算出部254、学习部255以及256构成。
学习数据存储部251作为在前处理抽头的抽头结构、前处理系数、以及放大用抽头系数的学习中使用的学习数据，例如存储了SHD图像信号(SHD图像)。
学习对数据生成部252从存储在学习数据存储部251中的学习数据，生成与提供给图34的显示装置202的前处理部211的SD图像信号相当的SD图像信号、以及放大了该SD图像信号的放大HD图像信号(与图34的显示装置202的图像转换部212输出的放大HD图像信号相当的HD图像信号)。
在此，当将对某输入信号的理想输出信号称为教师信号、并且将为了得到该教师信号而提供的输入信号称为学生信号时，学习对数据生成部252生成作为学生信号的SD图像信号、和放大了该SD图像信号的作为教师信号的放大HD图像信号。
具体地说，学习对数据生成部252将作为存储在学习数据存储部251中的学习数据的SHD图像信号的帧依次设为关注帧，例如通过改变其间除的像素数来间除关注帧的像素，生成作为学生信号的SD图像信号，并且生成放大了该SD图像信号的、像素数比该SD图像信号多的作为教师信号的放大HD图像信号。
并且，学习对数据生成部252将作为学生信号的SD图像信号、以及放大了该SD图像信号的作为教师信号的放大HD图像信号的集合，作为学习对数据，提供给评价值算出部254、学习部255以及256。
控制部253根据例如从评价值算出部254提供的、由学习部255得到的放大HD图像信号的评价，控制学习部255以及256。
评价值算出部254对学习部255(构成学习部255的图像转换部262的预测部285)所输出的放大HD图像信号进行评价，将该评价的结果提供给控制部253。
即，评价值算出部254，例如通过将学习部255所输出的放大HD图像信号、与从学习对数据生成部252提供的学习对数据中的、与被转换为学习部255所输出的放大HD图像信号的学生信号成为一组的作为教师信号的放大HD图像信号进行比较，算出表示学习部255所输出的放大HD图像信号与教师信号的所谓接近度(一致的程度)的评价值，提供给控制部72。
在此，作为评价值算出部254所算出的评价值，例如可采用与学习部255所输出的放大HD图像信号、与从学习对数据生成部255提供的学习对数据的作为教师信号的放大HD图像信号之间的相同位置的像素的像素值彼此的平方误差总和成反比例的值等。
该情况下，在评价值算出部254中，关于构成由学习对数据生成部252生成的学习对数据的作为教师信号的放大HD图像信号的全部像素，求出学习部255所输出的放大HD图像信号、与从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号之间的相同位置的像素的像素值彼此的平方误差，作为评价值求出与这些平方误差的总和成反比例的值。
学习部255由前处理部261和图像转换部262构成。
前处理部261由前处理抽头抽出部271、前处理运算部272、以及系数存储器273构成，按照控制部253的控制，进行与构成图34的显示装置202的前处理部211相同的处理。
即，前处理抽头抽出部271将构成对从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号实施前处理而得到的前处理后SD图像信号(该前处理后SD信号虚拟地设想)的像素，依次设为关注像素，从来自学习对数据生成部252的学生信号(SD图像信号)，抽出在求出该关注像素的像素值中使用的多个像素的像素值即前处理抽头，提供给前处理运算部272。
在此，前处理抽头抽出部271，抽出按照来自控制部253的控制的抽头结构的前处理抽头。即，将在前处理抽头抽出部271中得到的前处理抽头设为与关注像素具有哪种位置关系的像素(的像素值)，是通过控制部253控制的。
前处理运算部272与图35的前处理运算部222同样地，将作为从前处理抽头抽出部271提供的前处理抽头的像素值作为自变量，进行由存储在系数存储器273中的前处理系数定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
系数存储器273(以覆盖的形式)存储从控制部253提供的前处理系数。
图像转换部262由抽头抽出部281、282、类分类部283、系数存储器284、以及预测部285构成，按照控制部253的控制，进行与构成图34的显示装置202的图像转换部212相同的处理(使用了抽头系数集合的图像转换处理)。
即，在图像转换部262中，将来自前处理部261(的前处理运算部272)的前处理后SD图像信号设为第一图像信号，并且将对该前处理后SD图像信号实施前处理之前的SD图像信号进行了放大的放大HD图像信号设为第二图像信号，抽头抽出部281将作为第二图像信号的放大HD图像信号的像素依次设为关注像素，关于该关注像素从作为第一图像信号的前处理后SD图像信号抽出作为预测抽头的像素的像素值，将与由图像转换部212(图36)的抽头抽出部41得到的预测抽头的抽头结构相同的预测抽头提供给预测部285。
抽头抽出部282关于关注像素，从作为第一图像信号的前处理后SD图像信号抽出作为类抽头的像素的像素值，将与由图像转换部212的抽头抽出部212得到的类抽头的抽头结构相同的类抽头提供给类分类部283。
类分类部283根据来自抽头抽出部282的类抽头，进行与图像转换部212的类分类部43进行的类分类相同的类分类，将其结果所得到的关注像素的类提供给系数存储器284。
系数存储器284按照来自控制部253的控制，(以覆盖的形式)存储从该控制部253提供的抽头系数的集合，对应于来自类分类部283的类，读出该类的抽头系数，输出到预测部285。
预测部285使用来自抽头抽出部281的预测抽头、以及来自系数存储器284的抽头系数，进行与图像转换部212的预测部45进行的运算相同的运算，由此求出(预测)作为第二图像信号的放大HD图像信号的关注像素的像素值，提供给评价值算出部254。
学习部256由前处理部301和抽头系数学习部302构成。
前处理部301由前处理抽头抽出部311、前处理运算部312、以及系数存储器313构成，按照控制部253的控制，进行与前处理部261以及构成图34的显示装置202的前处理部211相同的处理。
即，前处理抽头抽出部311与前处理抽头抽出部271同样，将构成对从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号实施前处理而得到的前处理后SD图像信号的像素，依次设为关注像素，从来自学习对数据生成部252的学生信号(SD图像信号)，抽出作为在求出该关注像素的像素值中使用的多个像素的像素值的前处理抽头，提供给前处理运算部312。
在此，前处理抽头抽出部311，抽出按照来自控制部253的控制的抽头结构的前处理抽头。即，将在前处理抽头抽出部311中得到的前处理抽头设为与关注像素有哪种位置关系的像素(的像素值)，是通过控制部253控制的。
前处理运算部312与前处理运算部272同样地，将作为从前处理抽头抽出部311提供的前处理抽头的像素值设为自变量，进行由存储在系数存储器313中的前处理系数定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给抽头系数学习部302。
系数存储器313(以覆盖形式)存储从控制部253提供的前处理系数。
抽头系数学习部302由抽头抽出部321、322、类分类部323、正规方程式生成部324、以及抽头系数算出部325构成，通过进行根据使用上述正规方程式的学习方法的学习、即利用按每类建立式(8)的正规方程式并求解的学习方法的学习，求出每类的抽头系数。
即在抽头系数学习部302中，抽头抽出部321将从学习对数据生成部252提供的学习对数据中的作为教师信号的放大HD图像信号的像素，依次设为关注像素，关于该关注像素从来自前处理部301(的前处理运算部312)的前处理后SD图像信号，抽出作为预测抽头的像素的像素值，将与由抽头抽出部281得到的预测抽头的抽头结构相同的预测抽头提供给正规方程式生成部324。
抽头抽出部322关于关注像素，从来自前处理部301(的前处理运算部312)的前处理后SD图像信号，抽出作为类抽头的像素的像素值，将与由抽头抽出部282得到的类抽头的抽头结构相同的类抽头，提供给类分类部323。
类分类部323根据从类抽出部322提供的类抽头，与类分类部283同样地，将关注像素进行类分类，将其结果得到的关注像素的类提供给正规方程式生成部324。
正规方程式生成部324对从类分类部323提供的每类代码，将从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号中的关注像素(的像素值)yk、以及构成从抽头抽出部321提供的关于关注像素的预测抽头的像素(的像素值)xn，k作为对象进行累加。
即，正规方程式生成部324对按从类分类部323提供的每类，使用构成从抽头抽出部321提供的关于关注像素的预测抽头的像素(下面也适当称为预测抽头像素)xn，k，进行式(8)的左边矩阵中的预测抽头像素彼此的乘法运算(xn，kxn’，k)、以及与求和(∑)相当的运算。
并且，正规方程式生成部324也对从类分类部323提供的每类，使用预测抽头像素xn，k和放大HD图像信号的像素(关注像素)yk，进行式(8)的右边向量中的预测抽头像素xn，k和关注像素yk的乘法运算(xn，kyk)、以及与求和(∑)相当的运算。
即，正规方程式生成部324将关于前次设为关注像素的放大HD图像信号的像素(下面也适当称为放大HD像素)求出的式(8)中的左边矩阵成分(∑xn， kxn’，k)、以及右边向量成分(∑xn，kyk)，存储到其内置的存储器(未图示)中。
而且，正规方程式生成部324将存储在存储器中的矩阵成分(∑xn，kxn’，k)，与使用构成关于新设为关注像素的放大HD像素的预测抽头的预测抽头像素xn，k+1计算的、对应的成分xn，k+1xn’，k+1相加(进行由式(8)中的左边矩阵内的求和表示的加法运算)，并且将存储在存储器中的向量成分(∑xn，kyk)，与关于新设为关注像素的放大HD像素使用该放大HD像素yk+1以及预测抽头像素xn，k+1计算的、对应的成分xn，k+1yk+1相加(进行由式(8)中的右边向量中的求和表示的加法运算)
正规方程式生成部324将从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的全部像素作为关注像素进行上述累加，从而关于各类建立了式(8)所示的正规方程式时，将该正规方程式提供给抽头系数算出部325。
抽头系数计算部325通过求解关于从正规方程式生成部324提供的各类的正规方程式，关于各类求出最佳抽头系数(使式(4)的平方误差总和E为最小的抽头系数)wn，提供给控制部253。
下面参照图39的流程图，说明图38的学习装置进行的学习前处理抽头的抽头结构、前处理系数、以及放大用抽头系数的学习处理。
首先，最初在步骤S211中，学习对数据生成部252从存储在学习数据存储部251中的学习数据，生成与提供给图34的显示装置202的前处理部211的SD图像信号相当的SD图像信号、以及将该SD图像信号放大的放大HD图像信号(与图34的显示装置202的图像转换部212所输出的放大HD图像信号相当的HD图像信号)。并且，学习对数据生成部252将该SD图像信号和放大HD图像信号例如按每帧对应，作为学习对数据提供给评价值算出部254、学习部255以及256。
然后，从步骤S211进入步骤S212，控制部253从多个初始抽头结构中决定设为关注抽头结构的初始抽头结构Dm，将表示该关注抽头结构Dm的抽头结构信息提供给前处理部301的前处理抽头抽出部311，进入步骤S213。
即，图38的学习装置中，例如将以与关注像素位置最近的像素为中心的横×纵是3×3的像素、以与关注像素位置最近的像素为中心的在横方向上排列的9个像素和在纵方向上排列的5个像素等的、前处理抽头的多个抽头结构，设定(决定)为在学习处理的最初使用的初始抽头结构，控制部253将分别表示多个初始抽头结构的抽头结构信息存储到内置的存储器(未图示)中。并且，控制部253将存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构中的还没有设为关注抽头结构的一个结构决定(设定)为关注抽头结构Dm，将表示该关注抽头结构Dm的抽头结构信息提供给前处理抽头抽出部311。
在此，Dm例如表示多个初始抽头结构中的第m个初始抽头结构。
在步骤S213中，控制部253决定前处理部301在前处理中使用的前处理系数集合即关注前处理系数集合En。即，将例如构成关注抽头结构Dm的前处理抽头的像素(的像素值)数设为X，并且将前处理系数的位数设为Y时，对关注抽头结构Dm的前处理抽头，前处理系数集合可能采用的情况数存在X×2Y个，控制部253将该X×2Y个前处理系数集合中的还没有设为关注前处理系数的一个(1个集合)决定为关注前处理系数集合En。
然后，控制部253将关注前处理系数集合En提供给前处理部301的系数存储器313并存储，从步骤S213进入步骤S214。
在步骤S214中，在学习装置(图38)中关于关注抽头结构Dm和关注前处理系数集合En的组合，决定临时最佳放大用抽头系数集合(式(1)的运算中使用的、各类的抽头系数(x1，x2，...，xN)的集合)Fm，n。
即，在步骤S214中，在学习部256中，作为最佳放大用抽头系数的集合Fm，n，求出使如下放大HD图像信号和由学习对数据生成部252生成的学习对数据的作为教师信号的放大HD图像信号的平方误差总和为最小的放大用抽头系数集合，提供给控制部253，其中，上述放大HD图像信号是将通过使用关注抽头结构Dm的前处理抽头和关注前处理系数集合En对SD图像信号实施前处理所得到的前处理后SD图像信号设为第一图像信号，通过进行使用放大用抽头系数集合的图像转换处理得到的、由具有作为像素值的R、G、B各成分的像素构成的作为第二图像信号的放大HD图像信号。
然后，从步骤S214进入步骤S215，控制部253判断是否已将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合。
在步骤S215中，在判断为还没有将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，返回步骤S213，控制部253将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合中的还没有设为关注前处理系数集合的一个决定为新的关注前处理系数集合，重复同样的处理。
另外，在步骤S215中，在判断为已将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，进入步骤S216，控制部253判断是否已将存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构的全部设为关注像素结构。
在步骤S216中，在判断为还没有将多个初始抽头结构的全部设为关注抽头结构的情况下，返回到步骤S212，控制部253将多个初始抽头结构中的还没有被设为关注抽头结构的初始抽头结构的一个设定为新的关注抽头结构，重复同样的处理。
另外在步骤S216中，在判断为已将多个初始抽头结构的全部设为关注抽头结构的情况下，即在关于多个初始抽头结构的每个、与对各初始抽头结构的前处理抽头可能采用的多个前处理系数集合的每个的全部组合，在步骤S214中求出了最佳抽头系数集合的情况下，进入到步骤S217，控制部253从初始抽头结构以及前处理系数集合、与关于该初始抽头结构以及前处理系数集合的组合的最佳放大用抽头系数集合的组合中，临时地决定(临时决定)最佳的抽头结构、前处理系数集合、以及放大用抽头系数集合的组合。
在步骤S217中，在临时决定了最佳的抽头结构、前处理系数集合、以及放大用抽头系数的组合后，进入到步骤S218，关于当前临时最佳前处理系数集合和放大用抽头系数集合的组合，进行临时决定最佳抽头结构的最佳抽头结构决定处理，进入步骤S219。
在步骤S219中，关于当前临时最佳抽头结构和放大用抽头系数集合的组合，进行临时决定最佳前处理系数集合的最佳前处理系数集合决定处理，进入到步骤S220。
在步骤S220中，对当前临时最佳抽头结构和前处理系数集合的组合，进行临时决定最佳放大用抽头系数集合的最佳抽头系数集合决定处理，进入到步骤S221。
在步骤S221中，控制部253判断由之前的步骤S218求出的当前临时最佳抽头结构、由之前的步骤S219求出的当前临时最佳前处理系数集合、以及由之前的步骤S220求出的当前临时最佳放大用抽头系数集合的组合是否是被最佳化的组合。
即，在之前的步骤S220的最佳抽头系数集合决定处理中，关于当前临时最佳抽头结构和前处理系数集合的组合，将评价值算出部254所算出的评价值为最大的放大用抽头系数集合临时决定为最佳放大用抽头系数集合，但是在步骤S221中，例如根据关于该最佳放大用抽头系数集合的评价值是否在预先决定的最佳化判断用阈值以上(更大)，判断当前临时最佳抽头结构、当前临时最佳前处理系数集合、以及当前临时最佳放大用抽头系数集合的组合是否被最佳化。
在步骤S221中，在判断为当前临时最佳抽头结构、当前临时最佳前处理系数集合、以及当前临时最佳放大用抽头系数集合的组合没有被最佳化的情况下，即对由之前的步骤S220求出的当前临时最佳放大用抽头系数集合的评价值不是最佳化判断用阈值以上的情况下，返回步骤S218，重复同样的处理。
另外，在步骤S221中，在判断为当前临时最佳抽头结构、当前临时最佳前处理系数集合、以及当前临时最佳放大用抽头系数集合的组合被最佳化的情况下，即关于由之前的步骤S220求出的当前临时最佳抽头系数集合的评价值是最佳化判断用阈值以上的情况下，控制部253将当前临时最佳抽头结构、当前临时最佳前处理系数集合、以及当前临时最佳放大用抽头系数集合的组合最终地决定(最终决定)为最佳的抽头结构、前处理系数集合、以及抽头系数集合的组合，结束学习处理。
在图34的显示装置202中，前处理部211使用通过图39的学习处理最终决定的最佳抽头结构的前处理抽头、和最佳前处理系数集合，对来自照相机201的SD图像信号实施前处理，输出其结果所得到的前处理后SD图像信号。并且图像转换部213使用通过图39的学习处理最终决定的最佳放大用抽头系数集合，进行将前处理部211所输出的前处理后SD图像信号转换为放大HD图像信号的图像转换处理。
因而，姑且不谈前处理部211所输出的前处理后SD图像信号的S/N等，在图像转换部212中，能够得到像质更接近学习对数据的作为教师信号的放大HD图像信号的像质的放大HD图像信号。
此外在图39中，关于在最佳抽头系数集合决定处理中求出的放大用抽头系数集合的评价值是最佳化判断用阈值以上的情况下，判断为前处理抽头的抽头结构、前处理系数集合、以及放大用抽头系数集合的组合被最佳化，但是除此之外，也可以例如在最佳抽头结构决定处理、最佳前处理系数集合决定处理、以及最佳抽头系数集合决定处理被重复了规定次数的情况下，判断为抽头结构、前处理系数集合、以及放大用抽头系数集合的组合被最佳化。
下面参照图40的流程图，详细叙述对关注抽头结构Dm和关注前处理系数集合En的组合决定临时最佳放大用抽头系数集合Fm，n的图39的步骤S214的处理。
前处理部301(图38)，在步骤S241中根据从控制部253提供的抽头结构信息和关注前处理系数集合En，对从学习对数据生成部252提供的学习对数据的作为学生信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给抽头系数学习部302。
即，在前处理部301中，前处理抽头抽出部311将构成对从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号实施前处理所得到的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素从来自学习对数据生成部252的学生信号(SD图像信号)，抽出由从控制部253提供的抽头结构信息所表示的关注抽头结构Dm的前处理抽头构成的多个像素的像素值，并提供给前处理运算部312。
前处理运算部312将作为从前处理抽头抽出部311提供的前处理抽头的像素值设为自变量，进行由从控制部253提供的、存储在系数存储器313中的关注前处理系数集合En所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值提供给抽头系数学习部302。
然后，抽头系数学习部302，将进行从前处理部301提供的前处理后SD图像信号设为第一图像信号，通过使用正规方程式的学习方法，求出在将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理中使用的最佳放大用抽头系数集合Fm，n。
即在抽头系数学习部302中，在步骤S242中抽头抽出部321将从学习对数据生成部252提供的作为教师信号的放大用HD图像信号的像素，依次设为关注像素，从作为从前处理部301提供的第一图像信号的前处理后SD图像信号抽出成为关于该关注像素的预测像素的像素的像素值，提供给正规方程式生成部324。
另外，抽头抽出部322，从作为从前处理部301提供的第一图像信号的前处理后SD图像信号抽出成为关于关注像素的类抽头的像素的像素值，提供给类分类部323。
类分类部323，在步骤S243中根据来自抽头抽出部322的类抽头，将关注像素进行类分类，将其结果所得到的关注像素的类提供给正规方程式生成部324，进入到步骤S244。
在步骤S244中，正规方程式生成部324以从学习对数据生成部252提供的学习对数据中的关注像素(的像素值)、和构成从抽头抽出部321提供的关于关注像素所得到的预测抽头的前处理后SD图像信号的像素(的像素值)为对象，如上所述地进行对从类分类部323提供的类建立的式(8)的累加。
然后，在抽头系数学习部302中，当将从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的像素全部作为关注像素进行了步骤S244的累加时，正规方程式生成部324将通过该累加得到的各类的正规方程式(每类的式(8)中的左边矩阵和右边向量)提供给抽头系数算出部325，从步骤S244进入步骤S245。
在步骤S245中，抽头系数算出部325通过求解从正规方程式生成部324提供的各类的正规方程式(由每类的式(8)中的左边矩阵和右边向量构成的每类的正规方程式)，求出每类的抽头系数的集合，将该抽头系数集合决定为关于关注抽头结构Dm和关注前处理系数集合En组合的最佳放大用抽头系数集合Fm，n，提供给控制部253并返回。
此外，由于学习用对数据的数量不足等，有可能产生无法得到求出抽头系数所需数量的正规方程式的类，但是关于这种类，抽头系数算出部325例如输出缺省抽头系数。
下面，参照图41的流程图详细叙述在图39的步骤S217中临时决定最佳的抽头结构、前处理系数集合、以及放大用抽头系数集合的组合的处理。
进入到步骤S261，控制部253与图39的步骤S212同样地，从多个初始抽头结构中决定设为关注抽头结构的初始抽头结构Dm，将表示该关注抽头结构Dm的抽头结构信息提供给前处理部261的前处理抽头抽出部271，进入步骤S262。
在步骤S262中，控制部253与图39的步骤S213同样地，决定前处理部261在前处理中使用的前处理系数集合的关注前处理系数集合En。即，当例如将构成关注抽头结构Dm的前处理抽头的像素(的像素值)的数设为X，并且将前处理系数的位数设为Y时，对关注抽头结构Dm的前处理抽头，前处理系数集合可能采用的情况数存在X×2Y个，控制部253将该X×2Y个前处理系数集合中的还没有设为关注前处理系数集合的一个决定为关注前处理系数集合En。
并且，控制部253将关注前处理系数集合En提供给前处理部261的系数存储器273并存储，从步骤S262进入步骤S263。
前处理部261，在步骤S263中根据从控制部253提供的抽头结构信息和关注前处理系数集合En，对从学习对数据生成部252提供的学习对数据的作为学生信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，在前处理部261中，前处理抽头抽出部271将构成对从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号实施前处理而得到的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从来自学习对数据生成部252的学生信号(SD图像信号)抽出成为由从控制部253提供的抽头结构信息所表示的关注抽头结构Dm的前处理抽头的多个像素的像素值，提供给前处理计算部272。
前处理运算部272，将作为从前处理抽头抽出部271提供的前处理抽头的像素值作为自变量，进行通过由从控制部253提供、存储在系数存储器273中的关注前处理系数集合En所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
然后，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，进行将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理。
即，在步骤S264中，控制部253在图39的步骤S214，将关于关注抽头结构Dm和关注前处理系数集合En的组合而决定的最佳放大用抽头系数集合Fm，n，提供给图像转换部262的系数存储器284并存储。
然后，从步骤S264进入到步骤S265，抽头抽出部281将来自前处理部261(的前处理运算部272)的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，将作为第二图像信号的放大HD图像信号的像素依次设为关注像素，关于该关注像素，从作为第一图像信号的前处理后SD图像信号抽出作为预测抽头的像素的像素值，提供给预测部285。
并且在步骤S265中，抽头抽出部282关于关注像素，从来自前处理部261的作为第一图像信号的前处理后SD图像信号，抽出作为类抽头的像素的像素值，提供给类分类部283，进入到步骤S266。
在步骤S266中，类分类部283根据来自抽头抽出部282的类抽头，进行关注像素的类分类，将其结果所得到的关注像素的类提供给系数存储器284。
系数存储器284在步骤S267中，与由之前的步骤S264存储的放大用抽头系数集合Fm，n中的来自类分类部283的关注像素的类对应，读出该类的抽头系数(的集合)，输出到预测部285。
预测部285在步骤S268中使用来自抽头抽出部281的预测抽头、和来自系数存储器284的放大用抽头系数，进行与图像转换部212(图36)的预测部45进行的运算相同的运算，由此求出(预测)作为第二图像信号的放大HD图像信号的关注像素的像素值，提供给评价值算出部254。
评价值算出部254在步骤S269中对通过在图像转换部262中由以上的步骤S265至S268进行的图像转换处理而得到的放大HD图像信号进行评价，将该评价结果提供给控制部253。
即，评价值算出部254例如关于构成从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的全部像素，求出从图像转换部262提供的作为第二图像信号的放大HD图像信号、和从学习对数据生成部252提供的学习对数据中的与被转换为从图像转换部262提供的放大HD图像信号的作为学生信号的SD信号成为一组的作为教师信号的放大HD图像信号的相同位置的像素的像素值彼此的平方误差，将与这些平方误差总和成反比例的值，作为评价值求出。
然后，评价值算出部254将该评价值作为对关注抽头结构Dm、关注前处理系数集合E、以及放大用抽头系数集合Fm，n的组合(关于关注抽头结构Dm和关注前处理系数集合E、以及关于该关注抽头结构Dm和关注前处理系数集合En的组合的最佳放大用抽头系数的集合Fm，n的组合)的评价值，提供给控制部253。
之后从步骤S269进入S270，控制部253判断是否已将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合。
在步骤S270中，在判断为还没有将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，返回到步骤S262，控制部253将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合中的还没有设为关注前处理系数集合的一个集合决定为新的关注前处理系数集合，重复同样地处理。
另外，在步骤S270中，在判断为已将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，进入步骤S271，控制部253判断是否已将存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构的全部设为关注抽头结构。
在步骤S271中，在判断为还没有将多个初始抽头结构的全部设为关注抽头结构的情况下，返回到步骤S261，控制部253将多个初始抽头结构中的还没有设为关注抽头结构的初始抽头结构的一个决定为新的关注抽头结构，重复同样的处理。
另外，在步骤S271中，在判断为已将多个初始抽头结构的全部设为关注抽头结构的情况下，即在对于由图39的步骤S214得到的初始抽头结构D、前处理系数集合E、以及放大用抽头系数集合F的所有组合，得到了评价值的情况下，进入步骤S272，控制部253将得到了来自评价值算出部254的评价值中的最大评价值的、初始抽头结构、前处理系数集合以及放大用抽头系数集合的组合，临时决定为最佳组合(抽头结构、前处理系数集合、以及放大用抽头系数集合的组合)并返回。
下面参照图42的流程图，详细叙述图39的步骤S218的最佳抽头结构决定处理。
在步骤S280中，控制部253将当前临时的(临时决定的)最佳前处理抽头系数集合提供给前处理部261的系数存储器273并存储，并且将当前临时的(临时决定的)最佳放大用抽头系数集合提供给图像转换部262的系数存储器284并存储，进入到步骤S281。
在步骤S281中，控制部253以当前临时的(临时决定的)最佳抽头结构为基准来决定最佳抽头结构的多个候选。
即，例如将以当前最接近关注像素位置的像素为中心的横×纵是3×3的相邻像素设为当前临时的最佳抽头结构时，控制部253将例如以最接近关注像素位置的像素为中心的横×纵是3×3的每隔1个像素的像素、每隔2个像素的像素等把当前临时的最佳抽头结构进行变形的抽头结构，决定为最佳抽头结构的多个候选。
此外，关于为了得到最佳抽头结构的多个候选而如何对当前临时的最佳抽头结构进行变形，预先决定了变形规则，控制部253按照该变形规则，将当前临时的最佳抽头结构变形，决定最佳抽头结构的多个候选。
另外，在最佳抽头结构的多个候选中也包含当前临时的最佳抽头结构。
步骤S281的处理后进入步骤S282，控制部253将最佳抽头结构的多个候选中的还没有设为关注抽头结构的一个候选决定为关注抽头结构，将表示该关注抽头结构的抽头结构信息提供给前处理部261，进入到步骤S283。
前处理部261在步骤S283中根据从控制部253提供的抽头结构信息、和存储在系数存储器273中的当前临时的前处理系数集合，对从学习对数据生成部252提供的学习对数据的作为学生信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，在步骤S283中，在前处理部261中，前处理抽头抽出部271将对从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号实施前处理而得到的构成前处理后SD图信号的像素，依次设为关注像素，关于该关注像素，从来自学习对数据生成部252的学生信号(SD图像信号)，抽出成为从控制部253提供的抽头结构信息所表示的关注抽头结构的前处理抽头的多个像素的像素值，提供给前处理运算部272。
前处理运算部272，将作为从前处理抽头抽出部271提供的前处理抽头的像素值作为自变量，进行通过由从控制部253提供、存储在系数存储器273中的当前临时的最佳前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
然后，图像转换部262在步骤S284中，将从前处理部261提供的前处理后SD图像信号设为第一图像信号，使用当前临时的(临时决定)最佳放大用抽头系数集合，进行将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理。
即，在步骤S284中，抽头抽出部281将来自前处理部261(的前处理运算部272)的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，将作为第二图像信号的放大HD图像信号的像素依次设为关注像素，关于该关注像素，从作为第一图像信号的前处理后SD图像信号，抽出设为预测抽头的像素的像素值，提供给预测部285。
另外，抽头抽出部282关于关注像素，从作为第一图像信号的前处理后SD图像信号抽出作为类抽头的像素的像素值，提供给类分类部283。类分类部283根据来自类抽出部282的类抽头，进行关注像素的类分类，将其结果所得到的关注像素的类提供给系数存储器284。系数存储器284读出由之前的步骤S280存储的当前临时的最佳放大用抽头系数集合中的、来自类分类部283的关注像素的类的抽头系数(的集合)，输出到预测部285。
预测部285使用来自抽头抽出部281的预测抽头、和来自系数存储器284的放大用抽头系数，进行式(1)的运算，由此求出(预测)作为第二图像信号的放大HD图像信号的关注像素的像素值，提供给评价值算出部254。
之后在步骤S285中，评价值算出部254对通过由图像转换部262进行的图像转换处理而得到的放大HD图像信号进行评价，将该评价结果提供给控制部253。
即，评价值算出部254，例如关于构成从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的全部像素，求出从图像转换部262提供的作为第二图像信号的放大HD图像信号、和从学习对数据生成部252提供的学习对数据的与被转换为从图像转换部262提供的放大HD图像信号的作为学生信号的SD信号成为一组的作为教师信号的放大HD图像信号的相同位置的像素的像素值彼此的平方误差，将与这些平方误差总和成反比例的值，作为评价值求出。
并且，评价值算出部254，将该评价值作为对关注抽头结构的评价值提供给控制部253。
并且，从步骤S285进入到步骤S286，控制部253判断是否已对在步骤S281中决定的最佳抽头结构的多个候选的全部算出了评价值。
在步骤S286中，在判断为还没有对最佳抽头结构的多个候选的全部算出评价值的情况下，返回到步骤S282，控制部253将最佳抽头结构的多个候选中的还没有设为关注抽头结构的一个候选决定为新的关注抽头结构，下面重复同样的处理。
另外，在步骤S286中，在判断为对最佳抽头结构的多个候选全部算出了评价值的情况下，进入到步骤S287，控制部253将最佳抽头结构的多个候选中的评价值最高的候选决定为新的对当前临时的最佳前处理系数集合和放大用抽头系数集合的组合的最佳抽头结构并返回。
下面参照图43的流程图详细叙述图39的步骤S219的最佳前处理系数集合决定处理。
在步骤S290中，控制部253将表示当前临时的(临时决定的)最佳抽头结构的抽头结构信息提供给前处理部261的前处理抽头抽出部271，并且将当前临时的最佳放大用抽头系数集合提供给图像转换部262的系数存储器284并存储，进入到步骤S291。
在步骤S291中，控制部253以当前临时的最佳前处理系数集合为基准，决定最佳前处理系数集合的多个候选。
即，控制部253例如选择将当前临时的最佳前处理系数集合的各前处理系数设为分量的φ维向量(该情况下作为前处理系数集合的前处理系数的总数是φ个)所表示的以φ维向量空间的点为基准的规定范围内的多个点，将分别表示该多个点的多个φ维向量(的分量)决定为最佳前处理系数集合的多个候选。此外，关于为了得到最佳前处理系数集合的多个候选而以与当前临时的最佳前处理系数集合对应的φ维向量为基准、选择哪种范围的哪个点，预先决定了规则，控制部253按照该规则，通过选择以与当前临时的最佳前处理系数集合对应的φ维向量为基准的规定范围内的多个点，决定最佳前处理系数集合的多个候选。
在步骤S291的处理后进入到步骤S292，控制部253将最佳前处理系数集合的多个候选中的还没有设为关注前处理系数集合的一个候选决定为关注前处理系数集合，将该关注前处理系数集合提供给前处理部261的系数存储器273并存储，进入步骤S293。
前处理部261在步骤S293中根据在步骤S290中从控制部253提供的抽头结构信息、和存储在系数存储器273中的关注前处理系数集合，在从学习对数据生成部252提供的学习对数据的作为学生信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，在步骤S293中，在前处理部261中，前处理抽头抽出部271将构成与从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号对应的前处理后SD图像信号(对作为学生信号的SD图像信号实施前处理而得到的前处理后SD图像信号)的像素，依次设为关注像素，关于该关注像素，从来自学习对数据生成部252的学生信号(SD图像信号)抽出成为从控制部253在步骤S290提供的抽头结构信息所表示的抽头结构的前处理抽头的多个像素的像素值，提供给前处理运算部272。
前处理运算部272，将作为从前处理抽头抽出部271提供的前处理抽头的像素值设为自变量，进行通过由从控制部253提供、存储在系数存储器273中的关注前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
并且，图像转换部262，在步骤S294中与图42的步骤S284同样地，将从前处理部261提供的前处理后SD图像信号设为第一图像信号，使用在步骤S290中存储在系数存储器284中的当前临时的最佳放大用抽头系数集合，进行将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理，将该结果得到作为第二图像信号的放大HD图像信号提供给评价值算出部254，进入步骤S295。
在步骤S295中，评价值算出部254对通过由图像转换部262进行的图像转换处理而得到的放大HD图像信号进行评价，将该评价结果提供给控制部253。
即，评价值算出部254，例如关于构成从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的全部像素，求出从图像转换部262提供的作为第二图像信号的放大HD图像信号、和从学习对数据生成部252提供的学习对数据的与被转换为从图像转换部262提供的放大HD图像信号的作为学生信号的SD信号成为一组的作为教师信号的放大HD图像信号的相同位置的像素的像素值彼此的平方误差，将与这些平方误差的总和成反比例的值，作为评价值求出。
并且，评价值算出部254将该评价值作为对关注前处理系数集合的评价值提供给控制部253。
并且，从步骤S295进入步骤S296，控制部253判断是否对在步骤S291中决定的最佳前处理系数集合的多个候选的全部算出了评价值。
在步骤S296中，在判断为还没有对最佳抽头系数集合的多个候选的全部算出评价值的情况下，返回到步骤S292，控制部253将最佳前处理系数集合的多个候选中的还没有设为关注前处理系数集合的一个候选决定为新的关注前处理系数集合，下面重复相同的处理。
另外，在步骤S296中，在判断为对最佳前处理系数集合的多个候选的全部算出了评价值的情况下，进入到步骤S297，控制部253将最佳前处理系数集合的多个候选中的评价值最高的候选决定为新的对当前临时的最佳抽头结构和放大用抽头系数集合的组合的最佳前处理系数集合并返回。
下面参照图44的流程图，详细叙述图39的步骤S220的最佳抽头系数集合决定处理。
在步骤S300中，控制部253将表示当前临时的(临时决定的)最佳抽头结构的抽头结构信息提供给前处理部261的前处理抽头抽出部271，并且将当前临时的最佳前处理系数集合提供给前处理部261的系数存储器273并存储，进入步骤S301。
在步骤S301中，控制部253以当前临时的最佳放大用抽头系数为基准决定最佳放大用抽头系数集合的多个候选。
即，控制部253，例如由图23的步骤S111所述，按照预先决定的规则，选择将当前临时的最佳放大用抽头系数集合的各抽头系数设为分量的Z维向量所表示的以Z维向量空间的点为基准的规定范围内的多个点，将分别表示该多个点的多个Z维向量(的分量)决定为最佳放大用抽头系数集合的多个候选。
在步骤S301的处理后进入步骤S302，前处理部261根据在步骤S300中从控制部253提供的抽头结构信息、和存储在系数存储器273中的当前临时的最佳前处理系数集合，对从学习对数据生成部252提供的学习对数据的作为学生信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，在步骤S302中，在前处理部261中，前处理抽头抽出部271将构成与从学习对数据生成部252提供的学习对数据中的作为学生信号的SD图像信号对应的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从来自学习对生成部252的学生信号(SD图像信号)抽出成为从控制部253在步骤S300提供的抽头结构信息所表示的抽头结构的前处理抽头的多个像素的像素值，提供给前处理运算部272。
前处理运算部272，将作为从前处理抽头抽出部271提供的前处理抽头的像素值作为自变量，进行通过由从控制部253提供、存储在系数存储器273中的当前临时的最佳前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
之后在步骤S303中，控制部253将最佳放大用抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选决定为关注抽头系数集合，将该关注抽头系数集合提供给图像转换部262的系数存储器284并存储，进入到步骤S303。
并且，图像转换部262在步骤S304中与图42的步骤S284同样地，将从前处理部261提供的前处理后SD图像信号设为第一图像信号，使用由之前的步骤S303存储在系数存储器284中的关注抽头系数集合，进行将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理，将其结果得到作为第二图像信号的放大HD图像信号提供给评价值算出部254，进入到步骤S305。
在步骤S305中，评价值算出部254对通过由图像转换部262进行的图像转换处理所得到的放大HD图像信号进行评价，将该评价的结果提供给控制部253。
即，评价值算出部254例如关于构成从学习对数据生成部252提供的学习对数据的作为教师信号的放大HD图像信号的全部像素，求出从图像转换部262提供的作为第二图像信号的放大HD图像信号、和从学习对数据生成部252提供的学习对数据的与被转换为从图像转换部262提供的放大HD图像信号的作为学生信号的SD信号成为一组的作为教师信号的放大HD图像信号的相同位置的像素的像素值彼此的平方误差，将与这些平方误差总和成反比例的值，作为评价值求出。
并且，评价值算出部254将该评价值作为对关注抽头系数集合的评价值提供给控制部253。
并且，从步骤S305进入步骤S306，控制部253判断是否对在步骤S301中决定的最佳放大用抽头系数集合的多个候选的全部算出了评价值。
在步骤S306中，在判断为还没有对最佳放大用抽头系数集合的多个候选的全部算出评价值的情况下，返回步骤S303，控制部253将最佳放大用抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选决定为新的关注抽头系数集合，下面重复相同的处理。
另外，在步骤S306中，在判断为对最佳放大用抽头系数集合的多个候选的全部算出了评价值的情况下，进入到步骤S307，控制部253将最佳放大用抽头系数集合的多个候选中的评价值最高的候选，决定为新的对当前临时最佳抽头结构和前处理系数集合的组合的最佳放大用抽头系数集合并返回。
如上所述，在图38的学习装置中，如由图39所述，通过重复进行关于当前临时的最佳前处理系数集合和放大用抽头系数集合的组合求出最佳抽头结构的步骤S218的最佳抽头结构决定处理(图42)、关于当前临时的最佳抽头结构和放大用抽头系数集合的组合求出最佳前处理系数集合的步骤S219的最佳前处理系数集合决定处理(图43)、以及关于当前临时的最佳抽头结构和前处理系数的组合求出最佳放大用抽头系数集合的最佳抽头系数集合决定处理(图44)，直到评价值(在此是由之前的最佳抽头系数集合决定处理得到的评价值)成为最佳化判断用阈值以上为止，从而求出为了得到更接近作为教师信号的放大HD图像信号的放大HD图像信号而在前处理中使用的前处理抽头的抽头结构以及前处理系数、以及图像转换处理中使用的放大用抽头系数集合。
因而，在图34的显示装置202的前处理部211中，使用由图38的学习装置得到的最佳抽头结构的前处理抽头和最佳前处理系数，进行照相机201所输出的SD图像信号的前处理，并且在图像转换部212中，使用最佳放大用抽头系数集合，进行将前处理结果所得到的前处理后SD图像信号转换为放大HD图像信号的图像转换处理，由此作为放大了照相机201所输出的SD图像信号的HD图像信号，能够得到像质更接近作为教师信号的放大HD图像信号的像质的HD图像信号。
此外，在图42的最佳抽头结构决定处理中，在以当前临时的最佳抽头结构为基准来决定最佳抽头结构的多个候选时，作为当前临时的最佳抽头结构变形方法，可采用如下方法当图39的步骤S218至S220的重复次数小时，使较大地变形，随着其重复次数的增加，渐渐微小地变形。关于前处理系数集合和放大用抽头系数集合也同样。
另外，在对最佳抽头结构的候选求出的评价值是不怎么大的值、几乎不增加的情况下，可以使当前临时最佳抽头结构较大地变形，而决定最佳抽头结构的多个候选。该情况下，能够解除所谓局部最小的问题。关于前处理系数集合和放大用抽头系数集合也同样。
下面，图45示出了对图像进行处理的图像处理系统的第四结构例。
在图45中，图像处理系统由照相机(摄像机)401和显示装置402构成。
照相机401对物体(被摄体)进行拍摄，输出通过该拍摄而得到的图像信号即作为摄影图像信号的SD图像信号。显示装置402接收照相机401所输出的摄影图像信号，将该摄影图像信号转换为比对应于摄影图像信号的图像更高像质的图像的图像信号即作为高像质图像信号的HD图像信号，显示对应于该HD图像信号的HD图像。
在此，显示装置402根据用户的操作，将来自照相机401的SD图像信号转换为放大HP图像信号或者普通大小的HD图像信号(以下，也适当称为普通HD图像信号)中的某一个，显示所对应的HD图像。
此外，照相机401例如是单板式照相机，输出通过学习决定的信号格式、即例如在图9的学习装置中决定为最佳信号格式的信号格式的摄影图像信号。
图46示出了图45的显示装置402的结构例。
显示装置402由前处理部411、选择部412、图像转换部413、显示控制部414、显示器415、操作部416以及控制部417构成。
在前处理部411中，从照相机401提供SD图像信号。前处理部411对来自照相机401的SD图像信号，实施适于放大与该SD图像信号对应的图像的前处理，将该前处理的结果所得到的前处理后SD图像信号提供给选择部412。
对于选择部412，除了从前处理部411提供前处理后SD图像信号之外，还提供来自照相机401的SD图像信号(摄影图像信号)。选择部412按照来自控制部417的控制，选择来自前处理部411的前处理后SD图像信号、或者来自照相机401的SD图像信号中的某一方，将该选择的SD图像信号(下面也适当称为选择SD图像信号)提供给图像转换部413。
图像转换部413将来自选择部412的选择SD图像信号设为第一图像信号，并且将规定的HD图像信号设为第二图像信号，按照控制部417的控制，通过与由预先进行的学习而得到的抽头系数的运算，将作为第一图像信号的选择SD图像信号转换为作为第二图像信号的HD图像信号，提供给显示控制部414。
即，图像转换部413在来自前处理部411的选择SD图像信号是没有进行前处理的SD图像信号、即作为照相机401所输出的SD图像信号的摄影图像信号本身的情况下，将作为该摄影图像信号的SD图像信号设为第一图像信号，并且将使该SD图像信号高像质化的普通大小的HD图像信号(普通HD图像信号)设为第二图像信号，通过与由预先进行的学习而得到的抽头系数的运算，进行将作为第一图像信号的SD图像信号转换为作为第二图像信号的普通HD图像信号的图像转换处理，将其结果所得到的普通HD图像信号提供给显示控制部414。
另外，图像转换部413在来自前处理部411的选择SD图像信号是由前处理部411得到的前处理后SD图像信号的情况下，将该前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的HD图像信号(放大HD图像信号)设为第二图像信号，通过与由预先进行的学习得到的抽头系数的运算，进行将作为第一图像信号的前处理后SD图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理，将其结果所得到的放大HD图像信号提供给显示控制部414。
在此，在图像转换部413中，在将作为照相机401所输出的SD图像信号即摄影图像信号设为第一图像信号、而将该第一图像信号转换为作为第二图像信号的普通HD图像信号的图像转换处理(下面也适当称为HD变换处理)中使用的抽头系数集合，与在将前处理后SD图像信号设为第一图像信号、而将该第一图像信号转换为作为第二图像信号的放大HD图像信号的图像转换处理(下面也适当称为放大变换处理)中使用的抽头系数集合，有所不同。
下面，为了使HD变换处理中使用的抽头系数集合区别于放大变换处理中使用的抽头系数集合，适当地将其称为普通抽头系数集合。此外，将在放大变换处理中使用的抽头系数集合，如上所述适当地称为放大用抽头系数集合。
显示控制部414进行如下的显示控制按照控制部417的控制，以通过使用比HD图像更高像质的SHD图像进行的学习而决定的显示格式，将与从图像转换部413提供的HD图像信号对应的HD图像，显示在显示器415上。
显示器415是例如由CRT、LCD面板等构成的显示单元，按照显示控制部414的控制对图像进行显示。
由用户操作操作部416，将表示与用户操作对应的指示的指示信号提供给控制部417。在此，在指示信号中例如有指示在显示器415上对图像进行显示的显示模式的信号，作为显示模式，有在显示器415中对与普通HD图像信号对应的HD图像进行显示的普通模式、以及对与放大HD图像信号对应的HD图像进行显示的放大模式。
控制部417对应于从操作部416提供的指示信号，对选择部412、图像转换部413、以及显示控制部414进行控制。
接着，图47示出了图46的前处理部411的结构例。
前处理部411例如由前处理抽头抽出部421、前处理运算部422、以及系数存储器423构成。
前处理抽头抽出部421将构成对来自照相机401(图46)的SD图像信号实施前处理而将要得到的前处理后SD图像信号(与来自照相机401的SD图像信号对应的前处理后SD图像信号)的像素，依次设为关注像素，进而从来自照相机401的SD图像信号抽出前处理抽头，该前处理抽头是在求出该关注像素的像素值中使用的多个像素的像素值。
具体地说，前处理抽头抽出部421将相对于与关注像素对应的、来自照相机401的SD图像信号的图像的位置(例如拍摄有与拍摄在关注像素位置上的被摄体相同的被摄体的一部分的、来自照相机401的SD图像信号在图像上的位置)，具有空间上或者时间上接近的位置关系的多个像素(例如最接近对应于关注像素的、来自照相机401的SD图像信号在图像上的位置的像素、以及与该像素在空间上相邻的像素等)的像素值，作为前处理抽头抽出。
然后，前处理抽头抽出部421将对关注像素得到的前处理抽头提供给前处理运算部422。
此外，前处理抽头抽出部421从来自照相机401的SD图像信号，抽出通过使用比HD图像更高像质的SHD图像进行的学习而决定的抽头结构的前处理抽头。
前处理运算部422将作为从前处理抽头抽出部421提供的前处理抽头的像素值作为自变量，进行将由存储在系数存储器423中的、通过使用比HD图像更高像质的SHD图像进行的学习而决定的前处理系数(集合)所定义的规定前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值输出。
系数存储器423存储了通过使用比HD图像更高像质的SHD图像进行的学习而预先求出的、对前处理用函数进行定义的前处理系数集合。
接着，图48示出了图46的图像转换部413的结构例。
此外，图中对与图4的图像转换部11对应的部分标记了相同的符号，以下适当省略其说明。即，图48的图像转换部413，在设置有抽头抽出部41、42、类分类部43、以及预测部45的点上，与图4的图像转换部11相同，但是与图4的图像转换部11的不同之处是代替系数存储器44而设置有系数存储器431，。
系数存储器431中存储有普通抽头系数集合以及放大用抽头系数集合的至少两种抽头系数集合。在图像转换部413中，按照来自控制部417(图46)的控制，使存储在系数存储器431中的普通抽头系数集合和放大用抽头系数集合中的某个抽头系数集合有效，使用该有效的抽头系数集合(下面也适当称为有效抽头系数)进行图像转换处理。
即，在图像转换部413中，将来自选择部412(图46)的选择SD图像信号设为第一图像信号，并且将使选择SD图像信号高像质化的普通HD图像信号、或者放大了对选择SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，抽头抽出部41将作为第二图像信号的HD图像信号的像素依次设为关注像素，关于该关注像素，从作为第一图像信号的选择SD图像信号抽出设为预测抽头的像素的像素值，提供给预测部45。而且，抽头抽出部42关于关注像素，从作为第一图像信号的选择SD图像信号抽出设为类抽头的像素的像素值，提供给类分类部43。
类分类部43根据来自抽头抽出部42的类抽头，进行求出关注像素类的类分类，将其结果所得到的关注像素的类(的类代码)提供的系数存储器431。系数存储器431读出有效抽头系数集合中的来自类分类部43的类的抽头系数(的集合)，输出到预测部45。
预测部45使用来自抽头抽出部41的预测抽头、以及来自系数存储器431的抽头系数，例如进行上述的式(1)的运算，由此求出(预测)作为第二图像信号的HD图像信号的关注像素的像素值。
下面参照图49的流程图，说明图46的显示装置402的动作。
对于显示装置402，提供了来自照相机401的SD图像信号。在显示装置402中，接收来自照相机401的SD图像信号，提供给前处理部411和选择部412。
然后，在步骤S401中，控制部417判断显示模式是否是放大模式。在步骤S401中，在判断为显示模式不是放大模式的情况下、即从操作部416刚刚提供给控制部417的对显示模式进行指示的指示信号是指示普通模式的信号、当前显示模式成为普通模式的情况下，控制部417将表示普通模式的控制信号提供给选择部412、图像转换部413、以及显示控制部414，进入步骤S402。
当从控制部417提供表示普通模式的控制信号时，选择部412选择前处理部411的输出和照相机401所输出的SD图像信号之中的照相机401所输出的SD图像信号，作为选择SD图像信号，提供给图像转换部413。
进而，图像转换部413(图48)的系数存储器431，当从控制部417提供表示普通模式的控制信号时，将普通抽头系数集合、以及放大用抽头系数集合中的普通抽头系数集合设为有效抽头系数集合(使其有效)。
然后，在图像转换部413中，在步骤S402中进行如下图像转换处理，将其结果得到的普通HD图像信号提供给显示控制部414，进入到步骤S403，其中，上述图像转换处理将作为从选择部412提供的选择SD图像信号的、照相机401所输出的SD图像信号，通过使用了作为有效抽头系数集合的普通抽头系数集合的运算，转换为普通HD图像信号。
在步骤S403中，显示控制部414按照表示来自控制部417的普通模式的控制信号，以通过使用SHD图像进行的学习而决定的显示格式中的适合于显示与普通HD图像信号对应的HD图像的显示格式(下面适当称为普通用最佳显示格式)，将从图像转换部413提供的与普通HD图像信号对应的HD图像，显示在显示器415上。
以上，在显示模式是普通模式的情况下，在显示器415中，以普通用最佳显示格式对与普通HD图像信号对应的HD图像进行显示。
另一方面，在步骤S401中，在判断为显示模式是放大模式的情况下，即在从操作部416刚刚提供给控制部417的对显示模式进行指示的指示信号是指示放大模式的信号、前显示模式成为放大模式的情况下，控制部417将表示放大模式的控制信号提供给选择部412、图像转换部413、以及显示控制部414，进入步骤S404。
在步骤S404中，前处理部411对来自照相机401的SD图像信号实施前处理，输出该前处理结果所得到的前处理后SD图像信号。
如上所述，前处理部411所输出的前处理后SD图像信号被提供给选择部412。
选择部412，当从控制部417提供表示放大模式的控制信号时，选择前处理部411所输出的前处理后SD图像信号和照相机401所输出的SD图像信号之中的前处理部411所输出的前处理后SD图像信号，作为选择SD图像信号，提供给图像转换部413。
另外，图像转换部413(图48)的系数存储器431，当从控制部417提供表示放大模式的控制信号时，将普通抽头系数集合和放大用抽头系数集合中的放大抽头系数集合设为有效抽头系数集合(使其有效)。
然后，在图像转换部413中，在步骤S405中进行如下的图像转换处理，将其结果所得到的放大HD图像信号提供给显示控制部414，进入步骤S406，其中，上述图像转换处理将作为从选择部412提供的选择SD图像信号的前处理后SD图像信号，通过使用了作为有效抽头系数集合的放大用抽头系数集合的运算，转换为放大HD图像信号。
在步骤S406中，显示控制部414按照来自控制部417的表示放大模式的控制信号，以通过使用SHD图像进行的学习决定的显示格式中的适合于显示与放大HD图像信号对应的HD图像的显示格式(下面适当称为放大用最佳显示格式)，将与从图像转换部413提供的放大HD图像信号对应的HD图像显示在显示器415上。
如上所述，在显示模式是放大模式的情况下，在显示器415中，以放大用最佳显示格式对与放大HD图像信号对应的HD图像信号进行显示。
其次，在图45的图像处理系统中，通过使用比HD图像更高像质的SHD图像进行学习，决定照相机401所输出的SD图像信号即摄影图像信号的信号格式、在显示装置402(图46)的前处理部411(图47)中前处理抽头抽出部421所抽出的前处理抽头的抽头结构和存储在系数存储器423中的前处理系数集合、存储在图像转换部413(图48)的系数存储器431中的普通抽头系数集合和放大用抽头系数集合、以及显示控制部414使HD图像显示在显示器415上的普通用最佳显示格式和放大用最佳显示格式。
以上的摄影图像信号的信号格式、前处理抽头的抽头结构、前处理显示集合、普通抽头系数集合、放大用抽头系数集合、普通用最佳显示格式、放大用最佳显示格式这七个(参数)中，摄影图像信号的信号格式、普通抽头系数集合、以及普通用最佳显示格式这三个，在图9的学习装置中可通过进行图19的学习处理来求出。
并且，可通过根据图50的学习装置的学习处理，求出剩余的前处理抽头的抽头结构、前处理系数集合、放大用抽头系数集合、以及放大用最佳显示格式这四个。
即，图50示出了进行求出上述前处理抽头的抽头结构、前处理系数集合、放大用抽头系数集合、以及放大用最佳显示格式这四个的学习的学习装置的结构例。
此外，关于图中与图9或者图38的情况对应的部分，标记了相同的符号，以下适当省略其说明。即，图50的学习装置，除了代替虚拟摄影图像生成部62和控制部72分别设置有虚拟摄影图像生成部451和控制部452，并且代替图像转换部73，设置有由图38的前处理部261以及图像转换部262构成的学习部255之外，与图9的学习装置同样地构成。
虚拟摄影图像生成部451依次选择存储在学习数据存储部61中的SHD图像信号的各帧的图像信号作为关注SHD图像信号，通过将该关注SHD图像信号的像素数进行间除等，生成在图9的学习装置中决定为最佳的信号格式的SD图像信号，作为与照相机401(图45)所输出的摄影图像信号相当的虚拟摄影图像信号提供给学习部255。
在控制部452中，从评价值算出部71提供评价值。控制部452根据来自评价值算出部71的评价值，控制构成学习部255的前处理部261以及图像转换部262。具体地说，控制部452进行在前处理部261中的前处理中使用的前处理抽头的抽头结构以及前处理系数集合的控制(设定)、和作为图像转换部262中的图像转换处理的放大转换处理中使用的放大用抽头系数集合的控制。
另外，控制部452根据来自评价值算出部71的评价值，决定显示控制部68将与从学习部255的图像转换部262提供的放大HD图像信号对应的放大HD图像显示在显示器69上的显示格式，将表示该显示格式的显示格式信息提供给显示控制部68。
下面，参照图51的流程图，说明图50的学习装置进行的学习前处理抽头的抽头结构、前处理系数集合、放大用抽头系数集合、以及放大用最佳显示格式的学习处理。
首先，最初在步骤S421中，虚拟摄影图像生成部451通过将存储在学习数据存储部61中的SHD图像信号的像素数进行间除等，生成通过根据图9的学习装置的学习求出的最佳的信号格式(最佳信号格式)的SD图像信号，作为与照相机401(图45)所输出的摄影图像信号相当的虚拟摄影图像信号提供给学习部255，进入步骤S422。
在步骤S422中，控制部452从多个初始抽头结构中决定设为关注抽头结构的初始抽头结构Dm，将表示该关注抽头结构Dm的抽头结构信息提供给学习部255的前处理部261，进入步骤S423。
即，在图50的学习装置中，与图38的学习装置同样地，前处理抽头的多个抽头结构被设定(决定)为在学习处理的最初使用的初始抽头结构，控制部452将分别表示多个初始抽头结构的抽头结构信息存储在内置的存储器(未图示)中。然后，控制部452将存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构中的还没有设为关注抽头结构的一个结构决定(设定)为关注抽头结构Dm，将表示该关注抽头结构Dm的抽头结构信息提供给前处理部261。
在步骤S423中，控制部452决定前处理部261在前处理中使用的前处理系数集合即关注前处理系数集合En。即，例如将构成关注抽头结构Dm的前处理抽头的像素(的像素值)的数设为X，并且将前处理系数的位数设为Y时，对关注抽头结构Dm的前处理抽头，前处理系数集合可能采用的情况数存在X×2Y个，控制部452将该X×2Y个前处理系数集合中的还没有设为关注前处理系数集合的一个集合，决定为关注前处理系数集合En。
然后，控制部452将关注前处理系数集合En提供给前处理部261，从步骤S423进入到步骤S424。
在步骤S424中，控制部452从多个初始显示格式中决定设为关注显示格式的初始显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68，进入步骤S425。
即，在图50的学习装置中，与图9的学习装置同样地，多个显示格式被设定为在学习处理的最初使用的初始显示格式，控制部452将分别表示多个初始显示格式的显示格式信息存储在内置的存储器中。并且，控制部452将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式中的还没有设为关注显示格式的一个格式决定为关注显示格式Bj，将表示该关注显示格式Bj的显示格式信息提供给显示控制部68。
在步骤S425中，在学习装置(图50)中，关于关注显示格式Bj、关注抽头结构Dm、以及关注前处理系数集合En的组合，决定临时的最佳放大用抽头系数集合(在式(1)的运算中使用的各类的抽头系数(x1，x2...，xN)的集合)Fj，m，n。
即，在步骤S425中，使用关注抽头结构Dm的前处理抽头、和关注前处理系数集合En，将通过对SD图像信号实施前处理而得到的前处理后SD图像信号设为第一图像信号，将通过进行使用了抽头系数集合的图像转换处理(放大转换处理)而得到的由具有作为像素值的R、G、B的各成分的像素构成的与作为第二图像信号的放大HD图像信号对应的HD图像，以关注显示格式Bj显示在显示器69上，在该情况下，关于关注显示格式Bj、关注抽头结构Dm、以及关注前处理系数集合En的组合，作为临时的最佳放大用抽头系数集合Fj，m，n，求出使通过由光检测器70检测作为显示在该显示器69上的HD图像的光而得到的显示图像信号的评价值为最高的抽头系数集合。
然后，从步骤S425进入步骤S426，控制部452判断对于当前关注抽头结构Dm以及关注前处理系数集合En，是否已将存储在内置的存储器中的多个显示格式信息所表示的多个初始显示格式的全部作为关注显示格式、通过步骤S425求出了放大用抽头系数集合。
在步骤S426中，在判断为还没有将多个初始显示格式的全部设为关注显示格式的情况下，返回到步骤S424，控制部452将多个初始显示格式中的还没有设为关注显示格式的一个初始显示格式决定为新的关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，下面重复同样的处理。
另外，在步骤S426中，在判断为已将多个初始显示格式的全部设为关注显示格式的情况下，进入到步骤S427，控制部452判断是否已将对关注抽头Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合。
在步骤S427中，在判断为还没有将对关注抽头Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，返回步骤S423，控制部452将对关注抽头Dm的前处理抽头可能采用的X×2Y个前处理系数集合中的还没有设为关注前处理系数集合的一个集合，决定为新的关注前处理系数集合，重复同样的处理。
另外，在步骤S427中，在判断为已将对关注抽头结构Dm的前处理抽头可能采用的X×2Y个前处理系数集合的全部设为关注前处理系数集合的情况下，进入步骤S428，控制部452判断是否已将存储在内置的存储器中的多个抽头结构信息所表示的多个初始抽头结构全部设为关注抽头结构。
在步骤S428中，在判断为还没有将多个初始抽头结构的全部设为关注抽头结构的情况下，返回步骤S422，控制部452将多个初始抽头结构中的还没有设为关注抽头结构的一个初始抽头结构，决定为关注抽头结构，重复同样的处理。
另外，在步骤S428中，在判断为已将多个初始抽头结构全部设为关注抽头结构的情况下，即在关于所有(初始)抽头结构、前处理系数集合、以及(初始)显示格式的组合，已通过步骤S425求出了最佳放大用抽头系数集合的情况下，进入步骤S429，控制部452从在步骤S45中求出的抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合中，临时地决定(临时决定)最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合。
即，在作为初始抽头结构有M个抽头结构、前处理系数集合可能采用的值的情况数有N个、作为初始显示格式有J个显示格式的情况下，作为(初始)抽头结构、前处理系数集合、以及(初始)显示格式的组合，存在M×N×J个组合，在步骤S425中分别关于该M×N×J个组合，求出临时的最佳放大用抽头系数集合。因而，在步骤S425中，能够得到M×N×J个抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合，但是在步骤S429中，从该M×N×J个组合(抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合)中，将显示图像信号的评价值为最大的组合临时决定为最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合。
在步骤S429中，在临时决定了最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合后，进入步骤S430，进行将成为当前临时的最佳抽头的抽头结构、前处理系数集合、显示格式、放大用抽头系数集合的各个逐个进行最佳化的最佳化处理，进入到步骤S431。
在步骤S431中，控制部452判断由之前的步骤S430中的最佳化处理求出的当前临时的最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合是否被最佳化。
即，在之前的步骤S430的最佳化处理中，依次关注成为当前临时最佳组合的抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的四个参数，进行将关注参数(关注着的参数)更新成使评价值算出部71所算出的评价值为最大的处理，而在步骤S431中，根据关于例如在之前的步骤S430的最佳化处理中最后更新后的参数的评价值是否在预先决定的最佳化判断用阈值以上(更大)，判断当前临时的最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合是否被最佳化。
在步骤S431中，在判断为当前临时的最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合没有被最佳化的情况下，即在关于由之前的步骤S430最后更新后的参数的评价值不是最佳化判断用阈值以上的情况下，返回步骤S430，重复同样的处理。
另外，在步骤S431中，在判断为当前临时的最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合被最佳化的情况下，即关于由之前的步骤S430最后更新后的参数的评价值是最佳化阈值以上的情况下，控制部452将当前临时的最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合，最终地决定(最终决定)为最佳抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合，结束学习处理。
在图45的图像处理系统中，根据由如上所述的图50的学习装置的学习处理最终决定的最佳抽头结构、前处理系数集合、显示格式(放大用最佳显示格式)、以及放大用抽头系数集合的组合、由上述图9的学习装置最终决定的最佳信号格式、普通抽头系数集合、以及显示格式(普通用最佳显示格式)，进行处理。
即，在图45的图像处理系统中，照相机401输出通过图9的学习装置最终决定的最佳信号格式的摄影图像信号(SD图像信号)。
进而，显示装置402(图46)按照用户的操作，将显示模式设定为普通模式或者放大模式的某一个，在显示模式是普通模式的情况下，在显示装置402的图像转换部413中，通过使用由图9的学习装置最终决定的普通抽头系数集合进行图像转换处理(HD变换处理)，照相机401输出的SD图像信号被转换为普通HD图像信号。进而，显示装置402的显示控制部414以通过图9的学习装置最终决定的显示格式(普通用最佳显示格式)，将与普通HD图像信号对应的HD图像显示在显示器415上。
另一方面，在显示模式是放大模式的情况下，在显示装置402的前处理部411中，通过对照相机401所输出的SD图像信号实施基于由图50的学习装置最终决定的最佳抽头结构和前处理系数集合的前处理，照相机401所输出的SD图像信号被转换为适合于后级图像转换处理(放大变换处理)的前处理后SD图像信号。而且，在显示装置402的图像转换部413中，通过使用由图50的学习装置最终决定的放大用抽头系数集合进行图像转换处理(放大变换处理)，将前处理后SD图像信号转换为放大HD图像信号。然后，显示装置402的显示控制部414以通过图50的学习装置而最终决定的显示格式(放大用最佳显示格式)，将与放大HD图像信号对应的HD图像显示在显示器415上。
因而，根据图45的图像处理系统，与图1的图像处理系统同样地，能够提高照相机401和显示装置402组合即图像处理系统的性能。
即，根据图45的图像处理系统，姑且不谈照相机401所输出的摄影图像信号、图像转换部413所输出的HD图像信号的S/N等，作为整个图像处理系统，能够将用户感觉是高像质的图像显示在显示器415上。
另外，根据图45的图像处理系统，能够按照用户的操作显示放大HD图像、普通大小的HD图像。
此外，在图51中，在关于在步骤S430的最佳化处理中最后更新后的参数的评价值是最佳化判断用阈值以上的情况下，判断为抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合被最佳化，但是除此之外，也可以例如在步骤S430的最佳化处理重复了规定次数的情况下，判断为抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合被最佳化。
下面，参照图52的流程图详细叙述对关注显示格式Bj、关注抽头结构Dm、以及关注前处理系数集合En的组合决定最佳抽头系数集合Fj，m，n的图51的步骤S425的处理。
控制部452，在步骤S451中决定学习部255的图像转换部262在图像转换处理(放大变换处理)中使用的每类的放大用抽头系数集合。即，例如将类总数设为α、将各类的抽头系数的数设为β、将放大用抽头系数的位数设为γ时，抽头系数集合可能采用的情况数存在α×β×2γ个，但是控制部452将该α×β×2γ个抽头系数集合中的、在本次的图52的处理中还没有设为关注抽头系数集合的一个集合，决定为关注抽头系数集合。
然后，控制部452将关注抽头系数集合提供给图像转换部262，从步骤S451进入到S452。
在步骤S452中，控制部452控制前处理部261，使其进行基于关注抽头结构Dm、以及关注前处理系数集合En的前处理。由此，前处理部261按照控制部253的控制，对从虚拟摄影图像生成部451提供给学习部255的作为虚拟摄影图像信号的SD图像信号实施前处理，将其结果得到的处理后SD图像信号提供给图像转换部262。
即，前处理部261将与构成从虚拟摄影图像生成部451提供的作为虚拟摄影图像信号的SD图像信号对应的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号，抽出成为关注抽头结构Dm的前处理抽头的多个像素的像素值。而且，前处理部261将作为前处理抽头的像素值作为自变量，进行由关注前处理系数集合En所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
之后，从步骤S452进入步骤S453，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，使用由之前的步骤S451从控制部452提供的关注抽头系数集合，进行将前处理后SD图像信号转换为放大HD图像信号的图像转换处理(放大转换处理)。而且图像转换部262将通过图像转换处理得到的放大HD图像信号提供给显示控制部68。
在步骤S453的处理后进入步骤S454，控制部452将表示关注显示格式Bj的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部452的显示格式信息所表示的关注显示格式Bj，将与图像转换部262所输出的放大HD图像信号对应的HD图像(放大HD图像)显示在显示器69上，从步骤S454进入到步骤S455。
在步骤S455中，光检测器70检测出(进行光电转换)作为显示在显示器69上的放大HD图像(显示图像)的光，将作为与该光对应的电信号的与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S456。
在步骤S456中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的放大HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的放大HD图像的用户感觉到的像质的评价的评价值，提供给控制部452。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S452至S456的处理。然后，控制部452关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头系数集合的最终评价值进行临时存储。
之后，从步骤S456进入到步骤S457，控制部452判断是否关于放大用抽头系数集合可能采用的α×β×2γ个值全部算出了评价值。
在步骤S457中，在判断为还没有关于放大用抽头系数集合可能采用的α×β×2γ个值的全部算出评价值的情况下，即在α×β×2γ个放大用抽头系数集合中有在本次的图52的处理中还没有设为关注抽头系数集合的情况下，返回步骤S451，控制部452将α×β×2γ个放大用抽头系数集合中的、在本次的图52的处理中还没有设为关注抽头系数集合的一个集合决定为新的关注抽头系数集合，下面重复同样的处理。
另外，在步骤S457中，在判断为关于放大用抽头系数集合所可能采用的α×β×2γ个值的全部算出了评价值的情况下，进入步骤S458，控制部452将α×β×2γ个放大用抽头系数集合中的、评价值为最高的放大用抽头系数的集合，决定(临时决定)为关于关注显示格式Bj、关注抽头结构Dm、以及关注前处理系数集合En的组合的最佳放大用抽头系数集合Fj，m，n并返回。
此外，在图51的步骤S429中，将由作为步骤S425的处理的图52的步骤S451至S458的处理得到的评价值为最大的抽头结构、前处理系数集合、显示格式、以及放大用抽头系数集合的组合，临时决定为最佳组合。
下面参照图53的流程图进一步说明图51的步骤S430的最佳化处理。
在最佳化处理中，在步骤S471中，关于当前临时最佳抽头结构、前处理系数集合、以及放大用抽头系数集合的组合，进行临时决定最佳显示格式的最佳显示格式决定处理，进入步骤S472。
在步骤S472中，关于当前临时的最佳显示格式、前处理系数集合、以及放大用抽头系数集合的组合，进行临时决定最佳抽头结构的最佳抽头结构决定处理，进入步骤S473。
在步骤S473中，关于当前临时的最佳显示格式、抽头结构、以及放大用抽头系数的集合的组合，进行临时决定最佳前处理系数集合的最佳前处理系数集合决定处理，进入步骤S474。
在步骤S474中，关于当前临时的最佳显示格式、抽头结构、以及前处理系数集合的组合，进行临时决定最佳放大用抽头系数集合的最佳抽头系数集合决定处理并返回。
下面参照图54的流程图，详细叙述图52的步骤S471的最佳显示格式决定处理。
在步骤S491中，控制部452(图50)以当前临时(临时决定的)最佳显示格式为基准，与图22的步骤S91的情况同样地，通过将当前临时的最佳显示格式按照预先决定的变形规则变形，从而决定最佳显示格式的多个候选。
在步骤S491的处理后进入到步骤S492，控制部452控制前处理部261(图50)，使得进行基于当前临时的最佳抽头结构以及前处理系数集合的前处理。由此，前处理部261按照控制部452的控制，对从虚拟摄影图像生成部451提供给学习部255的作为虚拟摄影图像信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，前处理部261将构成与作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号对应的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号，抽出成为当前临时的最佳抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261将作为前处理抽头的像素值作为自变量，进行由当前临时的最佳前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
然后，从步骤S492进入到步骤S493，图像转换部262从控制部452接受当前临时的最佳放大用抽头系数集合的供给。而且，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，使用来自控制部452的当前临时的最佳放大用抽头系数集合，进行将前处理后SD图像信号转换为放大HD图像信号的图像转换处理(放大变换处理)。然后，图像转换部262将通过图像转换处理得到的放大HD图像信号提供给显示控制部68。
在步骤S493的处理后进入步骤S494，控制部452将在步骤S491中决定的最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选决定为关注显示格式，将表示该关注显示格式的显示格式信息提供给显示控制部68，进入步骤S495。
在步骤S495中，显示控制部68以来自控制部452的显示格式信息所表示的关注显示格式，将与从学习部255(图50)的图像转换部262提供的放大HD图像信号对应的放大HD图像显示在显示器69上，进入步骤S496。
在步骤S496中，光检测器70检测出(进行光电转换)作为显示在显示器69上的放大HD图(显示图像)的光，将作为与该光对应的电信号的、与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S497。
在步骤S497中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的放大HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的放大HD图像的用户感觉到的像质的评价的评价值，提供给控制部452。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S492和S493、以及步骤S495至S497的处理。然后，控制部452关于关注显示格式，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注显示格式的最终评价值进行临时存储。
之后，从步骤S497进入步骤S498，控制部452判断是否关于在步骤S491中决定的最佳显示格式的多个候选的全部算出了评价值。
在步骤S498中，在判断为还没有关于最佳显示格式的多个候选的全部算出评价值的情况下，返回步骤S494，控制部452将最佳显示格式的多个候选中的还没有设为关注显示格式的一个候选决定为新的关注显示格式，下面重复同样的处理。
另外，在步骤S498中，在判断为关于最佳显示格式的多个候选的全部算出了评价值的情况下，进入步骤S499，控制部452将最佳显示格式的多个候选中的评价值为最高的候选，决定为新的对当前临时的最佳抽头结构、前处理系数集合、以及放大用抽头系数集合的组合的最佳显示格式并返回。
下面，参照图55的流程图，详细叙述图53的步骤S472的最佳抽头结构决定处理。
在步骤S511中，控制部452如由图42的步骤S281所述，以当前临时的最佳抽头结构为基准，通过将该抽头结构按照预先决定的变形规则变形，从而决定最佳抽头结构的多个候选。
在步骤S511的处理后进入步骤S512，控制部452将最佳抽头结构的多个候选中的还没有设为关注抽头结构的一个候选决定为关注抽头结构，进入步骤S513。
在步骤S513中，控制部452控制前处理部261，使得进行基于关注抽头结构以及当前临时的最佳前处理系数集合的前处理。由此，前处理部261按照控制部452的控制，对作为从虚拟摄影图像生成部451提供给学习部255的虚拟摄影图像信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，前处理部261将构成与作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号对应的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号，抽出成为关注抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261将作为前处理抽头的像素值设为自变量，进行由当前临时的最佳前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
图像转换部262在步骤S514中，从控制部452接受当前临时的最佳放大用抽头系数集合的供给。而且，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，使用来自控制部452的当前临时的最佳放大用抽头系数集合，进行将前处理后SD图像信号转换为放大HD图像信号的图像转换处理(放大转换处理)。然后，图像转换部262将通过图像转换处理得到的放大HD图像信号提供给显示控制部68。
在步骤S514的处理后进入步骤S515，控制部452将表示当前临时的最佳显示格式的显示格式信息提供给显示控制部68。显示控制部68以来自控制部452的显示格式信息所表示的当前临时的最佳显示格式，将与从图像转换部262提供的放大HD图像信号对应的放大HD图像显示在显示器69上，进入到步骤S516。
在步骤S516中，光检测器70检测(进行光电转换)作为显示在显示器69上的放大HD图像(显示图像)的光，将作为与该光对应的电信号的、与HD图像信号相当的显示图像信号输出到评价值算出部71，进入到步骤S517。
在步骤S517中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的放大HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户感觉的像质评价的评价值，提供给控制部452。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S513至S517的处理。然后，控制部452关于关注抽头结构，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头结构的最终评价值进行临时存储。
然后，从步骤S517进入步骤S518，控制部452判断是否关于在步骤S511中决定的最佳抽头结构的多个候选的全部算出了评价值。
在步骤S518中，在判断为还没有对最佳抽头结构的多个候选的全部算出评价值的情况下，返回步骤S512，控制部452将最佳抽头结构的多个候选中的还没有设为关注抽头结构的一个候选决定为新的关注抽头结构，下面重复同样的处理。
另外，在步骤S518中，在判断为对最佳抽头结构的多个候选的全部算出了评价值的情况下，进入步骤S519，控制部452将最佳抽头结构的多个候选中的评价值为最高的候选，临时决定为新的对当前临时的最佳显示格式、前处理系数集合、以及放大用抽头系数集合的组合的最佳抽头结构并返回。
下面，参照图56的流程图，详细叙述图53的步骤S473的最佳前处理系数集合决定处理。
在步骤S531中，控制部452如由图43的步骤S291所述，以当前临时的最佳前处理系数集合为基准，根据预先决定的规则决定最佳前处理系数集合的多个候选。
在步骤S531的处理后进入步骤S532，控制部452将最佳前处理系数集合的多个候选中的还没有设为关注前处理系数集合的一个候选，决定为关注前处理系数集合，进入步骤S533。
在步骤S533中，控制部452控制前处理部261，使其进行基于当前临时的最佳抽头结构、以及关注前处理系数集合的前处理。由此，前处理部261按照控制部452的控制，对作为从虚拟摄影图像生成部451提供给学习部255的虚拟摄影图像信号的SD图像信号实施前处理，将其结果得到的前处理后SD图像信号提供给图像转换部262。
即，前处理部261将构成与作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号对应的前处理后SD图像信号的像素依次设为关注像素，关于该关注像素，从作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号，抽出成为当前临时的最佳抽头结构的前处理抽头的多个像素的像素值。而且，前处理部261将作为前处理抽头的像素值作为自变量，进行由关注前处理系数集合所定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
图像转换部262，在步骤S534中从控制部452接受当前临时的最佳放大用抽头系数集合的供给。而且，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，使用来自控制部452的当前临时的最佳放大用抽头系数集合，进行将前处理后SD图像信号转换为放大HD图像信号的图像转换处理(放大转换处理)。然后，图像转换部262将通过图像转换处理得到的放大HD图像信号提供给显示控制部68。
在步骤S534的处理后进入步骤S535，控制部452将表示当前临时的最佳显示格式的显示格式信息提供给显示控制部68。显示控制部68以来自控制部452的显示格式信息所表示的当前临时的最佳显示格式，将与图像转换部262所输出的放大HD图像信号对应的放大HD图像显示在显示器69上，进入步骤S536。
在步骤S536中，光检测器70检测出(进行光电转换)作为显示在显示器69上的放大HD图像(显示图像)的光，将作为与该光对应的电信号的、与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S537。
在步骤S537中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的放大HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户感觉到的像质的评价的评价值，提供给控制部452。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧进行步骤S533至S537的处理。然后，控制部452关于关注前处理系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注前处理系数集合的最终评价值进行临时存储。
然后，从步骤S537进入步骤S538，控制部452判断是否关于在步骤S531中决定的最佳前处理系数集合的多个候选的全部算出了评价值。
在步骤S538中，在判断为还没有关于最佳前处理系数集合的多个候选的全部算出评价值的情况下，返回到步骤S532，控制部452将最佳前处理系数集合的多个候选中的还没有设为关注前处理系数集合的一个候选，决定为新的关注前处理系数集合，下面重复同样的处理。
另外，在步骤S538中，在判断为关于最佳前处理系数集合的多个候选的全部算出了评价值的情况下，进入步骤S539，控制部452将最佳前处理系数集合的多个候选中的评价值为最高的候选，临时决定为新的对当前临时的最佳显示格式、抽头结构、以及放大用抽头系数的组合的最佳前处理系数集合并返回。
下面参照图57的流程图，详细叙述图53的步骤S474的最佳抽头系数集合决定处理。
在步骤S551中，控制部452与图23的步骤S111的情况同样地，以当前临时的最佳放大用抽头系数集合为基准，根据预先决定的规则，决定最佳放大用抽头系数集合的多个候选。
在步骤S551的处理后进入步骤S552，控制部452控制前处理部261(图50)，使其进行基于当前临时的最佳抽头结构和前处理系数集合的前处理。由此，前处理部261按照控制部452的控制，对作为从虚拟摄影图像生成部451提供给学习部255的虚拟摄影图像信号的SD图像信号实施前处理，将其结果所得到的前处理后SD图像信号提供给图像转换部262。
即，前处理部261将构成与作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号对应的前处理后SD图像信号的像素，依次设为关注像素，关于该关注像素，从作为从虚拟摄影图像生成部451提供的虚拟摄影图像信号的SD图像信号，抽出成为当前临时的最佳抽头结构的前处理抽头的多个像素的像素值。进而，前处理部261将作为前处理抽头的像素值设为自变量，进行由当前临时的最佳前处理系数集合定义的前处理用函数的运算，将该前处理用函数的运算结果作为前处理后SD图像信号的关注像素的像素值，提供给图像转换部262。
在步骤S533中，控制部452将最佳放大用抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选，决定为关注抽头系数集合，将该关注抽头系数集合提供给图像转换部262，进入步骤S554。
在步骤S554中，图像转换部262将从前处理部261提供的前处理后SD图像信号设为第一图像信号，并且将放大了对该前处理后SD图像信号实施前处理之前的SD图像信号的放大HD图像信号设为第二图像信号，使用由之前的步骤S553从控制部452提供的关注抽头系数，进行将前处理后SD图像信号转换为放大HD图像信号的图像转换处理(放大转换处理)。然后，图像转换部262将通过图像转换处理得到的放大HD图像信号提供给显示控制部68。
在步骤S554的处理后进入步骤S555，控制部452将表示当前临时的最佳显示格式的显示格式信息提供给显示控制部68。由此，显示控制部68以来自控制部452的显示格式信息所表示的显示格式，将与学习部255所输出的HD图像信号对应的HD图像显示在显示器69上，进入到步骤S556。
在步骤S556中，光检测器70检测出(进行光电转换)作为显示在显示器69上的放大HD图像(显示图像)的光，将作为与该光对应的电信号的、与HD图像信号相当的显示图像信号输出到评价值算出部71，进入步骤S557。
在步骤S557中，评价值算出部71评价来自光检测器70的显示图像信号，进而评价显示在显示器69上的HD图像。
即，评价值算出部71从学习数据存储部61读出与来自光检测器70的显示图像信号对应的SHD图像信号，通过将显示图像信号和所对应的SHD图像信号进行比较，算出作为显示图像信号的评价、进而作为观看显示在显示器69上的HD图像的用户感觉到的像质的评价的评价值，提供给控制部452。
在此，对存储在学习数据存储部61中的SHD图像信号的全部帧，进行步骤S552、以及步骤S554至S557的处理。然后，控制部452关于关注抽头系数集合，求出对存储在学习数据存储部61中的SHD图像信号的全部帧所得到的评价值的例如总和，将该总和作为关于关注抽头系数集合的最终评价值进行临时存储。
然后，从步骤S557进入步骤S558，控制部452判断是否关于最佳放大用抽头系数集合的多个候选的全部算出了评价值。
在步骤S558中，在判断为还没有关于最佳放大用抽头系数集合的多个候选的全部算出评价值的情况下，返回步骤S533，控制部452将最佳放大用抽头系数集合的多个候选中的还没有设为关注抽头系数集合的一个候选，决定为新的关注抽头系数集合，下面重复同样的处理。
另外，在步骤S558中，在判断为关于最佳放大用抽头系数集合的多个候选的全部算出了评价值的情况下，进入步骤S559，控制部452将最佳放大用抽头系数集合的多个候选中的评价值为最高的候选，临时决定为新的对于当前临时的最佳信号格式、抽头结构、以及前处理系数集合的组合的最佳放大用抽头系数集合并返回。
此外，在图54的最佳显示格式决定处理中，在以当前临时的最佳显示格式为基准而决定最佳显示格式的多个候选时，作为当前临时的最佳显示格式的变形方法，可采用如下方法当图50的步骤S430的最佳化处理的重复次数小时，进行较大地变形，随着其重复次数的增加，渐渐较小地变形。对于前处理抽头的抽头结构、前处理系数集合、以及放大用抽头系数的集合也同样。
另外，在图54的最佳显示格式决定处理中，在关于最佳显示格式的候选求出的评价值是不怎么大的值、几乎没有增加的情况下，可以将当前临时最佳显示格式较大地变形，而决定最佳显示格式的多个候选。该情况下，能够解除所谓局部最小的问题。关于前处理抽头的抽头结构、前处理系数集合、以及放大用抽头系数集合也同样。
下面，上述一系列处理既可以通过硬件进行，也可以通过软件进行。在通过软件进行一系列处理的情况下，构成该软件的程序安装在通用计算机等上。
因此，图58示出了安装了执行上述一系列处理的程序的计算机的一个实施方式的结构例。
程序可以预先记录在作为内置于计算机中的记录介质的硬盘2005、ROM2003中。
或者，另外程序可以临时或者永久地存储(记录)在软盘、CD-ROM(Compact Disk Read Only Memory光盘只读存储器)、MO(Magneto Optical磁光)盘、DVD(Digital VersatileDisk多功能数字光盘)、磁盘、半导体存储器等可移动记录介质2011中。这种可移动记录介质2011可作为所谓套装软件提供。
此外，除了从如上所述的可移动记录介质2011将程序安装到计算机中之外，也可以从下载站点通过数字卫星广播用的人造卫星将程序无线传送到计算机中，或者通过LAN(Local AreaNetwork局域网)、因特网之类的网络有线传送到计算机，在计算机中由通信部2008接收这样传送过来的程序，安装在内置的硬盘2005中。
计算机内置有CPU(Central Processing Unit中央处理单元)2002。在CPU2002中，通过总线2001连接有输入输出接口2010，CPU2002通过输入输出接口2010，当由用户通过操作由键盘、鼠标、麦克等构成的输入部2007等来输入指令时，根据其执行保存在ROM(Read Only Memory只读存储器)2003中的程序。或者，另外CPU2002，将保存在硬盘2005中的程序、从卫星或者网络传输并由通信部2008接收从而安装在硬盘2005中的程序、或者从安装在驱动器2009的可移动记录介质2011读出从而安装在硬盘2005中的程序，加载到RAM(Random Access Memory随机存取存储器)2004中来执行。由此，CPU2002进行根据上述流程图的处理、或者进行根据上述框图结构进行的处理。并且，CPU2002根据需要，例如将该处理结果通过输入输出接口2010，从由LCD(Liquid Crystal Display液晶显示器)、扬声器等构成的输出部2006输出、或者从通信部2008发送、进而在硬盘2005中记录等。
此外，在本说明书中，对用于使计算机进行各种处理的程序进行记述的处理步骤，未必按作为流程图所记载的顺序以时间序列进行处理，还包含并行或者个别执行的处理(例如并行处理或者基于对象的处理)。
另外，既可以由一台计算机处理程序，也可以由多台计算机分散处理程序。而且，也可以传输到远方的计算机而执行程序。
此外本发明的实施方式不限于上述实施方式，可以在不超出本发明要旨的范围内进行种种变更。
权利要求
1.一种显示装置，是对图像进行显示的显示装置，该显示装置具备图像转换单元，其将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以及显示控制单元，其以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
2.根据权利要求1所述的显示装置，其特征在于，上述图像转换单元具备预测抽头抽出单元，其从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素的像素值中使用的多个像素的像素值；类抽头抽出单元，其从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类到多个类中的某类的类分类中使用的多个像素的像素值；类分类单元，根据上述类抽头进行上述关注像素的类分类；系数输出单元，从通过学习而预先求出的、多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；运算单元，通过使用了上述关注像素的类的抽头系数以及上述预测抽头的预测运算，求出上述关注像素的像素值。
3.根据权利要求1所述的显示装置，其特征在于，还具备信号格式获取单元，该信号格式获取单元获取上述摄影图像信号的信号格式，上述图像转换单元将上述摄影图像信号，通过与多个信号格式各自的抽头系数中的、上述摄影图像信号的信号格式用的抽头系数之间的运算，转换为上述高像质图像信号。
4.一种显示方法，是对图像进行显示的显示方法，该显示方法包含以下步骤将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
5.一种程序，是使计算机执行对图像进行显示的显示处理的程序，上述显示处理包括以下步骤将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号；以通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上。
6.一种学习装置，是进行求出在执行图像转换处理中使用的抽头系数的学习的学习装置，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，该学习装置具备决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元，检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元，评价上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出作为对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元以由上述决定单元决定的显示格式，使对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
7.根据权利要求6所述的学习装置，其特征在于，上述图像转换单元，具备预测抽头抽出单元，从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素的像素值中使用的多个像素的像素值；类抽头抽出单元，从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类为多个类中某类的类分类中使用的多个像素的像素值；类分类单元，根据上述类抽头进行上述关注像素的类分类；系数输出单元，从由上述决定单元决定的多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；运算单元，通过使用了上述关注像素的类的抽头系数和上述预测抽头的预测运算，求出上述关注像素的像素值。
8.一种学习方法，是进行求出在图像转换处理中使用的抽头系数的学习的学习装置的学习方法，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，上述学习装置具备决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；光检测单元，检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即显示图像信号；以及评价单元，评价上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在上述显示单元上，上述光检测单元检测作为上述显示图像的光，输出对应于该光的电信号即显示图像信号，上述评价单元评价上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
9.一种程序，是使计算机执行求出在图像转换处理中使用的抽头系数的学习处理的程序，上述图像转换处理是将来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号通过与由预先进行的学习而得到的上述抽头系数之间的运算、转换为比对应于上述摄影图像信号的图像更高像质的图像的高像质图像信号的图像转换处理，所述程序是使计算机作为以下单元发挥功能的程序决定单元，其决定上述摄影图像信号的信号格式、对与通过将上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式、以及上述抽头系数；虚拟摄影图像信号生成单元，从比对应于上述高像质图像信号的图像更高像质的图像的图像信号，生成与由上述决定单元决定的信号格式的上述摄影图像信号相当的虚拟摄影图像信号；图像转换单元，将上述虚拟摄影图像信号通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号；显示控制单元，以由上述决定单元决定的显示格式，将与在上述图像转换单元中得到的高像质图像信号对应的图像显示在显示单元上；以及评价单元，评价光检测单元所输出的显示图像信号，该光检测单元检测作为显示在上述显示单元上的图像即显示图像的光，输出对应于该光的电信号即上述显示图像信号，通过重复进行以下的处理1、处理2和处理3，求出在进行上述图像转换处理中使用的上述抽头系数，并且，求出成为使用该抽头系数进行的上述图像转换处理的对象的上述摄影图像信号的信号格式、以及对与通过将该信号格式的上述摄影图像信号作为对象的上述图像转换处理而得到的上述高像质图像信号对应的图像进行显示的显示格式，其中，所述处理1为上述决定单元决定多个信号格式，对于上述多个信号格式分别进行如下处理上述虚拟摄影图像信号生成单元生成上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个信号格式中决定上述显示图像信号的评价为最高的信号格式；所述处理2为上述决定单元决定多个显示格式，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，上述图像转换单元将上述虚拟摄影图像信号，通过与由上述决定单元决定的抽头系数之间的运算，转换为上述高像质图像信号，对于上述多个显示格式分别进行如下处理上述显示控制单元以由上述决定单元决定的显示格式，将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个显示格式中决定上述显示图像信号的评价为最高的显示格式；所述处理3为上述决定单元决定多个抽头系数，上述虚拟摄影图像信号生成单元生成由上述决定单元决定的信号格式的上述虚拟摄影图像信号，对于上述多个抽头系数分别进行如下处理上述图像转换单元将上述虚拟摄影图像信号转换为上述高像质图像信号，上述显示控制单元将对应于上述高像质图像信号的图像显示在显示单元上，上述评价单元评价上述光检测单元所输出的与作为上述显示图像的光对应的电信号即上述显示图像信号，由此，从上述多个抽头系数中决定上述显示图像信号的评价为最高的抽头系数。
10.一种显示装置，对图像进行显示，该显示装置具备判断单元，判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像；前处理单元，对上述摄影图像信号实施前处理；图像转换单元，在上述判断单元中判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号；显示控制单元，由通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
11.根据权利要求10所述的显示装置，其特征在于，上述图像转换单元具备预测抽头抽出单元，从上述摄影图像信号抽出预测抽头，该预测抽头是在预测上述高像质图像信号的关注像素的像素值中使用的多个像素的像素值；类抽头抽出单元，从上述摄影图像信号抽出类抽头，该类抽头是在将上述关注像素分类为多类中某类的类分类中使用的多个像素的像素值；类分类单元，根据上述类分类进行上述关注像素的类分类；系数输出单元，从通过学习预先求出的多个类各自的抽头系数中，输出上述关注像素的类的抽头系数；以及运算单元，通过使用了上述关注像素的类的抽头系数、和上述预测抽头的预测运算，求出上述关注像素的像素值。
12.根据权利要求10所述的显示装置，其特征在于，上述前处理单元具备前处理抽头抽出单元，从上述摄影图像信号抽出前处理抽头，该前处理抽头是在通过上述前处理求出关注像素的像素值中使用的多个像素的像素值；以及前处理运算单元，通过使用了在作为上述前处理的运算中使用的前处理系数、和上述前处理抽头的运算，求出上述关注像素的像素值。
13.根据权利要求12所述的显示装置，其特征在于，上述前处理抽头抽出单元对上述关注像素，将具有预先决定的位置关系的多个像素的像素值，作为上述前处理抽头抽出。
14.一种显示方法，对图像进行显示，该显示方法包含如下步骤判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像，对上述摄影图像信号实施前处理，在判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号，由通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
15.一种程序，使计算机执行对图像进行显示的显示处理，该显示处理包含如下步骤判断是否放大与来自对物体进行拍摄的摄影单元的图像信号即摄影图像信号对应的图像，对上述摄影图像信号实施前处理，在判断为进行图像放大的情况下，将实施上述前处理后的上述摄影图像信号，通过与由预先进行的学习而得到的抽头系数之间的运算，转换为比对应于上述摄影图像信号的图像更高像质的、将与上述摄影图像信号对应的图像放大得到的图像的高像质图像信号，由通过使用比对应于上述高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，将与上述高像质图像信号对应的图像显示在显示单元上。
全文摘要
本发明提供一种显示装置和显示方法、学习装置和学习方法、以及程序，提高由多个装置构成的系统的性能。在图像转换部(11)中，将来自对物体进行拍摄的照相机(1)的图像信号即摄影图像信号，通过与由预先进行的学习所得到的抽头系数的运算，转换为比对应于摄影图像信号的图像更高像质的图像的高像质图像信号，并提供给显示控制部(12)。在显示控制部(12)中，将与来自图像转换部(11)的高像质图像信号对应的图像，以通过使用比对应于高像质图像信号的图像更高像质的图像进行的学习而决定的显示格式，显示在显示器(13)上。本发明能够应用于例如由照相机和显示由该照相机得到的图像的显示装置构成的图像处理系统等。
文档编号H04N7/01GK1997112SQ20071000030
公开日2007年7月11日 申请日期2007年1月8日 优先权日2006年1月6日
发明者近藤哲二郎 申请人:索尼株式会社
完整全部详细技术资料下载
  • 该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
  • 技术研发人员：近藤哲二郎
  • 技术所有人：索尼株式会社
  • 我是此专利的发明人
相关技术
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞！
1
精彩留言，会给你点赞！

使用协议| 关于我们| 联系X技术

© 2008-2024 【X技术】 版权所有，并保留所有权利。津ICP备16005673号-2