图像处理装置及方法

专利名称：图像处理装置及方法
技术领域：
本技术涉及图像处理装置以及图像处理方法，尤其涉及能够抑制被摄体负担的增加和以更高图像质量获取被摄体的捕获图像的图像处理装置以及图像处理方法。
背景技术：
在相关技术中，进行通过瞳孔观察眼球中的眼底(fundus)(如视网膜或视神经头)的所谓眼底检查。 眼底检查使用像例如眼底镜或眼底相机那样的专用装置来进行。例如，观察者利用眼底相机将作为观察目标的受检者的眼球中的眼底成像，将获得的捕获图像显示在监视器等上，并进行观察。为了更准确地进行观察，有必要生成具有高图像质量的眼底的捕获图像(眼底图像)。作为生成具有高图像质量的眼底图像的方法，例如，考虑在成像眼底时增加施加于眼底的光量。另外，考虑对通过成像眼底获得的捕获图像进行图像处理，以便获取具有高图像质量的眼底图像。例如，PTLl公开了从多个眼底图像中进行噪声降低的方法。另外,例如,PTL2公开了通过周期性模式的照射获取高分辨率图像的方法。进一步，例如，PTL3公开了从多个眼底图像中进行噪声降低的方法。更进一步,NPLl公开了通过波前感测和维纳(Wiener)滤波器的组合移除模糊的方法。引用列表专利文献PTLl JP-A-2010-110392PTL2 JP-A-2008-272489PTL3 JP-A-09-253052非专利文献NPLl:“Hybrid technique for high resolution imaging of the eye fundus(眼底的高分辨率成像的混合技术)”，Justo Arines and Salvador Bara, 2003。

发明内容
技术问题但是，如果在进行成像时用较大光量照射受检者的眼底，则受检者的负担增加，从而担心对观察目标造成不必要影响或使受检者的心理负担增加。另外，如果在进行成像时用较大光量照射受检者的眼底，则受检者感觉到所谓的眼花缭乱，因此闭上眼睑，从而担心不可能获得高图像质量的捕获图像。另外，在PTLl中公开的方法中，有必要显示位置偏差，使用户校正该偏差。而且，这种方法是与噪声移除有关的方法，并且在这种方法中难以突出轮廓。另外，在PTL2中公开的方法中，因为以不同模式施加光以及在进行成像时使用其信息，所以难以降低每次照射的光量。并且，在PTL3中公开的方法是与噪声移除有关的方法，并且在这种方法中难以突出轮廊。而且，在NPLl中公开的方法是有关图像的模糊移除的处理，并且在这种方法中难以突出轮廓。本技术就是在考虑了这些情况之后作出的，并且其目的是抑制被摄体负担的增加和获取具有较高图像质量的被摄体的捕获图像。问题的解决方案按照本技术的第一方面，提供了一种图像处理装置，其包括:对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及叠加单元，用于叠加所述对准单元对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。所述叠加单元可以包括:检测部分，用于检测捕获图像与通过叠加生成的被摄体图像之间的运动矢量；运动补偿部分，用于通过使用所述检测部分检测的运动矢量对被摄体图像进行运动补偿；相减部分，用于从经过所述运动补偿部分的运动补偿的被摄体图像中减去捕获图像；反向运动补偿部分，用于通过使用所述检测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述相减部分的被摄体图像与捕获图像之间的差值进行运动补偿； 以及相加部分，用于将经过所述反向运动补偿部分的运动补偿的差值加到被摄体图像。所述叠加单元可以进一步包括:向下采样部分，用于向下采样经过所述运动补偿部分的运动补偿的被摄体图像，以便将被摄体图像的分辨率降低到捕获图像的分辨率；以及向上采样部分，用于向上采样所述相减部分的被摄体图像与捕获图像之间的差值，以便将差值的分辨率提高到被摄体图像的分辨率，其中所述相减部分从所述向下采样部分向下采样的被摄体图像中减去捕获图像，以及其中所述反向运动补偿部分通过使用所述检测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述向上采样部分向上采样的差值进行运动补偿。所述对准单元可以进行对准，以便将所述成像单元获得的捕获图像中被摄体的位置调整成前次生成的被摄体图像中被摄体的位置，以及所述叠加单元可以逐个地将所述对准单元对准的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。所述被摄体可以是眼底，并且所述对准单元可以将血管用作生物信息。所述对准单元可以进一步将血管的交点用作生物信息。所述图像处理装置可以进一步包括:估计单元，用于估计所述对准单元对准的捕获图像的点扩散函数；以及移除单元，用于通过使用所述估计单元估计的点扩散函数从捕获图像中移除模糊。这里，所述叠加单元可以逐个地将所述对准单元已对准的、和所述移除单元已经从其移除了模糊的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。
所述成像单元可以在利用相对暗的照射光照射被摄体的同时进行被摄体的多次成像。按照本技术的第一方面，提供了一种图像处理装置的图像处理方法，包括:使对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及使叠加单元叠加对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。按照本技术的第二方面，提供了一种图像处理装置，其包括:叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及灰度级校正单元，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。所述灰度级校正单元可以包括参数设置部分，用于按照被摄体的生物信息，设置计算用于捕获图像的灰度级校正的色调曲线的参数值。所述参数设置部分可以包括:调整部分，用于在预定方法中调整计算用于捕获图像的灰度级校正的色调曲线的参数值；校正部分，用于通过使用所述调整部分调整了其值的参数校正捕获图像；局部检验部分，用于在按照每个局部的图像的特征的方法中，为包括在捕获图像中的作为活体的每个局部检验作为所述校正部分校正的捕获图像的校正捕获图像；比较部分，用于当校正捕获图像通过所述局部检验部分进行的检验时，将作为所述校正部分校正之前的捕获图像的未校正捕获图像的亮度与校正捕获图像的亮度相比较；以及输出部分，用于当重复进行所述调整部分的调整、所述校正部分的校正、所述局部检验部分进行的检验、和所述比较部分的比较，以及所述比较部分确定校正捕获图像不比未校正捕获图像亮时，输出参数的值作为设置值。所述参数设置部分可以进一步包括局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部，以及所述局部检验部分可以检验所述局部识别部分识别的每个局部。所述参数设置部分可以进一步包括亮度值计算部分，用于计算指示捕获图像的亮度的亮度值，以及所述比较部分可以将未校正捕获图像的亮度与所述亮度值计算部分计算的校正捕获图像的亮度值相比较。所述参数设置部分可以进一步包括参数选择部分，用于从多个参数中选择所述调整部分要调整的调整目标参数。所述参数设置部分可以进一步包括局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部。这里，所述校正部分可以校正所述局部识别部分识别的每个局部的图像，所述局部检验部分可以检验所述校正部分校正的每个局部的图像，以及所述比较部分可以比较所述校正部分校正前后每个局部的图像的亮度。所述图像处理装置可以进一步包括高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。所述高分辨率单元可以按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。按照本技术的第二方面， 提供了一种图像处理装置的图像处理方法，其包括:使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及使灰度级校正单元按照被摄体的生物信息，对通过叠加多个捕获图像生成的捕获图像进行灰度级校正。按照本技术的第三方面，提供了一种图像处理装置，其包括:叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及高分辨率单元，用于按照被摄体的生物信息提高通过所述叠加单元叠加多个捕获图像生成的捕获图像的分辨率。所述高分辨率单元可以包括:超分辨率处理部分，用于通过按照多种学习字典的每一种进行有关捕获图像的学习，进行提高捕获图像的分辨率的超分辨率处理，以便生成作为具有高分辨率的捕获图像的多个超分辨率结果图像；局部图像评估部分，用于在按照每个局部的图像的特征的方法中，为包括在超分辨率结果图像中的作为活体的每个局部评估通过所述超分辨率处理部分使用每部学习字典的超分辨率处理生成的每个超分辨率结果图像；以及图像选择部分，用于根据所述局部图像评估部分的评估，从多个超分辨率结果图像中选择最佳超分辨率结果图像。所述高分辨率单元可以进一步包括局部识别部分，用于分析超分辨率结果图像和识别包括在超分辨率结果图像中的作为活体的局部，以及所述局部图像评估部分可以在按照每个局部的图像的特征的方法中，为所述局部识别部分识别的每个局部评估每个超分辨率结果图像。所述图像处理装置可以进一步包括灰度级校正单元，用于对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。这里，所述高分辨率单元可以按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。所述灰度级校正单元可以按照被摄体的生物信息，对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。按照本技术的第三方面，提供了一种图像处理装置的图像处理方法，其包括:使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及使高分辨率单元按照被摄体的生物信息提高通过叠加多个捕获图像生成的捕获图像的分辨率。按照本技术的第四方面，提供了一种图像处理装置，其包括:红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及叠加单元，用于叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。所述成像单元可以在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。所述红外光图像对准单元可以进行对准，以便将所述成像单元获取的红外光图像中被摄体的位置调整成所述成像单元获取的多个红外光图像中首先获取的红外光图像中被摄体的位置，以及所述叠加单元可以逐个地将所述可见光图像对准单元对准的可见光图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个可见光图像获得的、和具有比可见光图像的动态范围宽的动态范围的被摄体图像。所述被摄体可以是眼底，所述红外光图像对准单元可以将血管用作生物信息。

所述红外光图像对准单元可以进一步将血管的交点用作生物信息。
按照本技术的第四方面，提供了一种图像处理装置的图像处理方法，其包括:使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及使叠加单元叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。按照本技术的第五方面，提供了一种图像处理装置，其包括:红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；叠加单元，用于相互叠加所述可见光对准单元对准的可见光图像；以及灰度级校正单元，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。所述成像单元可以在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。所述图像处理装置可以进一步包括高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。所述高分辨率单元可以按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。所述被摄体可以是眼底，所述红外光图像对准单元可以将血管用作生物信息。所述红外光图像对准单元可以进一步将血管的交点用作生物信息。按照本技术的第 五方面，提供了一种图像处理装置的图像处理方法，其包括:使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；使叠加单元相互叠加所述可见光对准单元对准的多个可见光图像；以及使灰度级校正单元按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。按照本技术的第六方面，提供了一种医疗检查系统，其包括成像单元，用于使被摄体成像；图像处理单元，用于经由网络获取所述成像单元获得的多个捕获图像并对获取的多个捕获图像进行图像处理；存储单元，用于存储经过所述成像处理单元图像处理的捕获图像；以及输出单元，用于输出存储在所述存储单元中的捕获图像。所述图像处理单元可以包括对准部分，用于通过使用被摄体的生物信息进行对准，以便调整多个捕获图像中被摄体的位置；以及叠加部分，用于叠加所述对准单元对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。所述图像处理单元可以进一步包括:叠加部分，用于相互叠加所述成像单元获得的多个捕获图像；以及灰度级校正部分，用于按照被摄体的生物信息对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。所述图像处理单元可以进一步包括高分辨率部分，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。所述成像单元可以在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。另外，所述图像处理单元可以进一步包括:红外光图像对准部分，用于通过使用被摄体的生物信息进行对准，以便调整通过所述成像单元获取的多个红外光图像中被摄体的位置；对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及叠加部分，用于叠加所述可见光对准部分对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。所述成像单元可以在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。另外，所述图像处理单元可以进一步包括:红外光图像对准部分，用于通过使用被摄体的生物信息进行对准，以便调整通过所述成像单元获取的多个红 外光图像中被摄体的位置；对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；叠加部分，用于相互叠加所述可见光对准部分对准的多个可见光图像；以及灰度级校正部分，用于按照被摄体的生物信息对所述叠加部分叠加多个可见光图像生成的可见光图像进行灰度级校正。所述被摄体可以是眼底。在本技术的第一方面中，通过使用被摄体的生物信息，通过对准获取多个捕获图像以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置，以及对准和叠加捕获图像，从而生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。在本技术的第二方面中，相互叠加通过将被摄体成像的成像单元获取的多个捕获图像，以及按照被摄体的生物信息，对通过叠加多个捕获图像生成的捕获图像进行灰度级校正。在本技术的第三方面中，相互叠加通过将被摄体成像的成像单元获取的多个捕获图像，以及按照被摄体的生物信息，提高通过叠加多个捕获图像生成的捕获图像的分辨率。在本技术的第四方面中，通过使用被摄体的生物信息，进行对准以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置，存储作为对准结果的对准信息，通过使用对准信息，进行对准以便调整多个可见光图像中被摄体的位置，以及叠加对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。在本技术的第五方面中，通过使用被摄体的生物信息，进行对准以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置，存储作为对准结果的对准信息，通过使用对准信息进行对准，以便调整多个可见光图像中被摄体的位置，相互叠加可见光图像，以及按照被摄体的生物信息，对通过叠加多个可见光图像生成的可见光图像进行灰度级校正。
在本技术的第六方面中，使被摄体成像，经由网络获取多个捕获图像，对获取的多个捕获图像进行图像处理，存储经过图像处理的捕获图像，以及输出存储的捕获图像。本发明的有利效果按照本技术，可以处理图像。尤其，可以抑制被摄体负担的增加，以及以较高图像质量获取被摄体的捕获图像。


图1是例示应用本技术的眼底图像处理装置的主要配置例子的框图；图2是例示眼底图像生成处理的流程的例子的流程图；图3是例示应用本技术的眼底图像处理装置的另一个配置例子的框图；图4是例示整个处理的流程的例子的图形；图5是例示生物信息对准处理部分的主要配置例子的框图；图6是例示使用生物信息的对准处理的流程的例子的流程图；图7是例示血管对准处理部分的主要配置例子的框图；图8是例示血管对准处理的流程的例子的流程图；图9是例示超分辨率处理部分的主要配置例子的框图；图10是例示超分辨率处理的流程的例子的流程图；图11是例示使用血管图像的PSF估计处理的流程的例子的流程图；图12是例示眼底图像生成处理的流程的例子的流程图；图13是例示生物信息对准处理的流程的例子的流程图；图14是例示血管对准处理的流程的例子的流程图；图15是例示超分辨率处理的流程的例子的流程图；图16是例示应用本技术的眼底图像处理装置的又一个配置例子的框图；图17是例示整个处理的流程的例子的图形；图18是例示色调再现处理部分的主要配置例子的框图；图19是例示色调曲线的例子的图形；图20是例示参数设置部分的主要配置例子的框图；图21是例示超分辨率处理部分的主要配置例子的框图；图22是例示眼底图像生成处理的流程的另一个例子的流程图；图23是例示色调再现处理的流程的例子的流程图；图24是例示参数设置处理的流程的例子的流程图；图25是例示超分辨率处理的流程的例子的流程图；图26是例示参数设置部分的另一个配置例子的框图；图27是例示参数设置处理的流程的另一个例子的流程
图28是例示第四实施例的概况的图形；图29是例示应用本技术的眼底图像处理装置的又一个配置例子的框图；图30是例示成像单元的主要配置例子的图形；图31是例示图像处理单元进行的处理的流程的图形；图32是例示红外光图像对准处理部分的主要配置例子的框图33是例示血管对准处理部分的主要配置例子的框图；图34是例示眼底图像生成处理的流程的另一个例子的流程图；图35是例示眼底图像处理装置的另一个配置例子的框图；图36是例示眼底图像生成处理的流程的另一个例子的流程图；图37是例示眼底图像生成处理的流程的另一个例子的流程图；图38是例示眼底图像生成处理的流程的另一个例子的流程图；图39是例示血管对准处理的流程的另一个例子的流程图；图40是例示眼底图像生成处理的流程的另一个例子的流程图；图41是例示远程医疗检查系统的配置例子的图形；图42是例示远程医疗检查处理的流程的例子的流程图；以及图43是例示应用本技术的个人计算机的主要配置例子的框图。
具体实施例方式在下文中，将描述本技术的实施例。另外，该描述将按如下次序作出。1.第一实施例(眼底图像处理装置)2.第二实施例(眼底图像处理装置)3.第三实施例(眼底图像处理装置)4.第四实施例(眼底图像处理装置)5.第五实施例(眼底图像处理装置)6.第六实施例(远程医疗检查处理)7.第七实施例(个人计算机)〈1.第一实施例〉[眼底图像处理装置的配置]图1例示了应用本技术的眼底图像处理装置的主要配置例子的框图。例示在图1中的眼底图像处理装置是使作为观察目标的受检者的眼球中的眼底(如视网膜或视神经头)成像和获取作为其捕获图像的眼底的图像(眼底图像)的装置。眼底图像处理装置100限制施加于被摄体的光量和进行成像，以便抑制被摄体(受检者的眼底)负担的增加。另外，为了获取具有较高图像质量的眼底图像，眼底图像处理装置100进行多次成像以便获取多个图像，并使用它们进行超分辨率处理。眼底图像处理装置100包括成像单元101、图像处理单元102、存储单元103、和输出单元104。成像单元101包括使用例如CXD (电荷耦合器件)、CM0S (互补金属氧化物半导体)等的成像器件，以及在预定位置上使受检者的眼底成像。成像单元101可以采用任何器件，只要该器件使受检者的眼底成像和获取眼底图像即可。但是，成像单元101具有在成像的时候用光线照射被摄体的功能，以便获取具有较高图像质量的眼底图像。一般说来，最好增加施加的光线(照射光)的光量(利用较强照射光照射眼底以便更亮)，以便获取具有较高图像质量的眼底图像；但是，如果仅仅增加照射光的光量，则被摄体负担增加，从而担心对观察目标选成不必要影响或使受检者的心理负担增加。另外，受检者会感觉到眼花缭乱，因此闭上眼睑，其结果是，会担心无法获得高图像质量的捕获图像。
因此，成像单元101进行多次成像，而不是增加照射光的光量。换句话说，成像单元101施加少量照射光，并重复地进行眼底的多次成像。因此，成像单元101最好在尽可能短的时间中进行多次成像，以便通过成像获得的各个眼底图像可以尽可能相互接近。由于照射光弱(暗)，通过这些成像获得的各个眼底图像质量低下。成像单元101将这样获得的多个低质量眼底图像供应给图像处理单元102。图像处理单元102通过使用成像单元101供应的低图像质量的多个眼底图像生成具有较高图像质量的单个眼底图像，并将眼底图像存储在存储单元103中或从输出单元104输出眼底图像。存储单元103包括像，例如，硬盘、闪速存储器、或RAM (随机访问存储器)那样的任何记录介质，并存储图像处理单元102供应的具有较高图像质量的眼底图像。存储在存储单元103中的眼底图像由再现单元(未示出)等读取，显示在输出单元104上或发送给其他设备，或经受图像处理单 元(未示出)的图像处理。输出单元104包括像CRT (阴极射线管)显示器或IXD (液晶显示器)那样的任何监视器、输出端等，并且将图像处理单元102供应的眼底图像显示在监视器等上或输出到眼底图像处理装置100的外部装置。如图1所例示，图像处理单元102包括输入图像缓冲器111、超分辨率处理部分112、SR (超分辨率)图像缓冲器113、和计算部分114。输入图像缓冲器111包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，保存作为输入图像从成像单元101供应的具有低图像质量的多个眼底图像(捕获图像)，并在预定定时将各个输入图像供应给超分辨率处理部分112作为LR (低分辨率)图像。[超分辨率处理部分的配置]超分辨率处理部分112进行与公开在，例如，JP-A-2009-093676 (下文称为PTL4)中的超分辨率处理器相同的超分辨率处理。也就是说，超分辨率处理部分112递归地重复计算和输出反馈值的超分辨率处理，以便使用输入图像缓冲器111供应的LR图像、和SR图像缓冲器113供应的过去生成的SR图像生成新SR图像。超分辨率处理部分112将作为超分辨率处理的结果计算的反馈值供应给计算部分114。SR图像缓冲器113包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，保存生成的SR图像，并在预定定时将SR图像供应给超分辨率处理部分112或计算部分114。计算部分114通过将超分辨率处理部分112供应的反馈值加入SR图像缓冲器113供应的过去生成的SR图像中生成新SR图像。计算部分114将新生成的SR图像供应给SR图像缓冲器113以便加以保存，并将SR图像用于随后超分辨率处理(生成新SR图像)。另夕卜，计算部分114将生成的SR图像供应给存储单元103以便加以存储，将SR图像供应给输出单元104以便加以显示，或将SR图像输出到外部设备等。如图1所例示，超分辨率处理部分112包括运动矢量检测部分121、运动补偿部分122、向下采样滤波器123、计算部分124、向上采样滤波器125、和反向运动补偿部分126。将从SR图像滤波器113读取的SR图像供应给运动矢量检测部分121和运动补偿部分122，将从输入图像滤波器111读取的LR图像供应给运动矢量检测部分121和计算部分 124。
运动矢量检测部分121根据输入其中的SR图像和LR图像，将SR图像用作参考检测运动矢量，并将检测的运动矢量供应给运动补偿部分122和反向运动补偿部分126。运动补偿部分122根据运动矢量检测部分121供应的运动矢量对SR图像进行运动补偿，并将通过运动补偿获得的图像供应给向下采样滤波器123。反映在通过运动补偿获得的图像中的对象的位置是与反映在LR图像中的对象的位置接近的位置。向下采样滤波器123通过向下采样运动补偿部分122供应的图像生成分辨率与LR图像的分辨率相同的图像，并将生成的图像供应给计算部分124。这样，从SR图像和LR图像中获得运动矢量，将使用获得的运动矢量通过运动补偿获得的图像用作与根据存储在SR图像缓冲器113中的SR图像模拟通过成像获得的眼底图像(LR图像)相对应的分辨率与LR图像的分辨率相同的图像。计算部分124生成指示LR图像与这样模拟的图像之间的差图像，并将生成的差图像供应给向上采样滤波器125。向上采样滤波器125通过向上采样计算部分124供应的差图像生成分辨率与SR图像的分辨率相同的图像，并将生成的图像输出到反向运动补偿部分126。反向运动补偿部分126根据运动矢量检测部分121供应的运动矢量，对向上采样滤波器125供应的图像进行反向运动补偿，并将指示通过反向运动补偿获得的图像的反馈值供应给计算部分114。反映在通过反向运动补偿获得的图像中的对象的位置是与反映在存储在SR图像缓冲器113中的SR图像中的对象的位置接近的位置。图像处理单元102使用超分辨率处理部分112对保存在输入图像缓冲器111中的多个眼底图像(LR图像)的每一个进行超分辨率处理，最终生成具有较高图像质量的单个SR图像。[眼底图像生成处理的流程]参照图2的流程图，对眼底图像处理装置100进行的眼底图像生成处理的例子加以描述。当开始获取具有较高图像质量的眼底图像的眼底图像生成处理时，成像单元101在步骤SlOl中减少光量，并进行受检者眼底(被摄体)的多次成像。在步骤S102中，图像处理单元102将通过步骤SlOl中的处理获得的捕获图像存储在输入图像缓冲器111中。在步骤S103中，图像处理单元102使用某种方法生成作为初始SR图像的初始图像，并将其存储在SR图像缓冲器113中。例如，图像处理单元102通过将首先获得的捕获图像(LR图像)向上取样成分辨率与SR图像相同的图像生成初始图像。在步骤S104中，图像缓冲器111选择未处理的和保存在其中的捕获图像(LR图像)之一，并将所选的捕获图像供应给超分辨率处理部分112。在步骤S105中，运动矢量检测部分121从SR图像和LR图像中检测运动矢量。在步骤S106中，运动补偿部分122使用运动矢量对SR图像进行运动补偿。在步骤S107中， 向下采样滤波器123将经过运动补偿的SR图像向下采样成与LR图像相同的分辨率。在步骤S108中，计算部分124获取SR图像的向下采样结果与输入的LR图像之间的差图像。在步骤S109中，向上采样滤波器125向上采样差图像。在步骤SllO中，反向运动补偿部分126使用通过步骤S105中的处理检测的运动矢量对差图像的向下采样结果进行反向运动补偿。在步骤Slll中，计算部分114将作为向上采样通过步骤SllO中的处理计算的差图像的结果的反馈值加入保存在SR图像缓冲器113中的过去生成的SR图像中。在步骤SI 12中，图像处理单元102将生成的新SR图像存储在存储单元103中或从输出单元104输出生成的新SR图像，并将新SR图像存储在SR图像缓冲器113中。在步骤S113中，输入图像缓冲器111确定是否所有捕获图像(LR图像)都得到处理，如果确定存在未处理的捕获图像(LR图像)，则输入图像缓冲器使处理返回到步骤S104，选择新的捕获图像作为处理目标，并对捕获图像重复进行随后处理。在步骤S113中，如果确定通过成像单元101多次成像获得的多个捕获图像都得到处理，因此获得了具有较高图像质量的单个眼底图像，则输入图像缓冲器111结束眼底图像生成处理。这样，眼底图像处理装置100可以无需增加施加于眼底的照射光的光量地获得具有较高图像质量的眼底图像。也就是说，眼底图像处理装置100可以抑制被摄体负担的增力口，以及可以以较 高图像质量获得被摄体的捕获图像。尽管在上面的描述中，对通过进行超分辨率处理以较高图像质量获得分辨率比捕获图像(LR图像)高的SR图像作为眼底图像作了描述，但本技术不局限于此，其分辨率可以与捕获图像相同。在这种情况下，在图1的眼底图像处理装置100中，省略向下采样滤波器123和向上采样滤波器125。基本上，由于通过相互叠加成像单元101获得的多个眼底图像加宽了动态范围，所以可以获得具有较高图像质量的眼底图像。但是，成像单元101获得的多个眼底图像是通过多次成像获得的，因此相互不完全相同。例如，在图像中可能局部地或整个地存在位置偏差或变形。因此，如果简单叠加多个眼底图像，则担心图像可能因位置偏差等而变模糊和因此重影，从而图像可能没有高图像质量。超分辨率处理部分112在运动矢量检测部分121中进行运动检测，并使用运动补偿部分122或反向运动补偿部分126进行适当运动补偿，因此可以减小叠加图像之间的差异(位置偏差等)。因此，眼底图像处理装置100在超分辨率处理中甚至无需提高分辨率就可以获得具有较高图像质量的被摄体的捕获图像。上面的超分辨率处理可以按任何单位来进行。例如，超分辨率处理可以对整个捕获图像来进行，或可以以称为宏块的的预定尺寸对每个局部图像来进行。〈2.第二实施例〉[眼底图像处理装置的配置]同时，在眼底图像中，存在许多整个图像几乎包括近似均匀颜色的情况。另外，减少了照射光的光量，因此眼底图像是相对暗图像。并且，一般说来，在尽可能相同的条件下在相对较短的时间内进行成像单元101的多次成像。因此，在许多情况下，图像之间的运动量相对较小。并且，甚至在存在运动的情况下，也存在图像的局部发生移动使得径向移动比其他局部多的少数情况，以及存在许多几乎整个近似均匀地移动的情况。因此，在像在眼底图像处理装置100中那样通过对每个预定单元比较图像进行运动补偿的方法中，担心运动检测可能变得困难。因此，不对每个预定区域检测运动矢量，而是可以使用被摄体的生物信息对整个图像进行图像对准。图3是例示在这种情况下眼底图像处理装置的主要配置例子的框图。例示在图3中的眼底图像处理装置200是与图1的眼底图像处理装置100相同的装置，并且具有与眼底图像处理装置100基本相同的配置，但取代图像处理单元102，包括图像处理单元202。图像处理单元202使用被摄体的生物信息对准具有相对较低图像质量的多个眼底图像，并叠加眼底图像，从而生成具有较高图像质量的单个眼底图像。如图3所例示，图像处理单元202包括输入图像缓冲器111、生物信息对准处理部分212、超分辨率处理部分213、和超分辨率结果图像缓冲器214。生物信息对准处理部分212使用被摄体的生物信息，对输入图像缓冲器111供应的眼底图像(输入图像)和超分辨率结果图像缓冲器214供应的眼底图像(超分辨率处理部分213叠加的图像)进行图像对准。生物信息对准处理部分212将，例如，血管、神经、视神经头等用作用于对准的生物信息。当然，可以使用任何生物信息，以及可以使用其他东西。例如，在观察用作被摄体的组织或细胞的情况下，可以将细胞或细胞核的形状作为被摄体的生物信息用于图像对准。另外，可以使用多种生物信息(例如，血管、视神经头等)。超分辨率处理部分213从超分辨率结果图像缓冲器214中获取过去生成的超分辨率处理结果图像(作为超分辨率处理的结果获得的图像)，并将超分辨率结果图像叠加在生物信息对准处理部分212对准的输入图像上，从而生成新超分辨率结果图像。超分辨率处理部分213将超分辨率结果图像存储在存储单元103中或从输出单元104输出超分辨率结果图像，并将超分辨率结果图像供应给超分辨率结果图像缓冲器214以便加以存储。超分辨率结果图像缓冲器214包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，保存超分辨率处理部分213生成的超分辨率结果图像，并在预定定时将超分辨率结果图像供应给生物信息 对准处理部分212或超分辨率处理部分213。换句话说，以与图1的情况相同的方式，成像单元101如图4的长方形231所例示减少光量和通过多次成像眼睛221的眼底生成多个眼底图像。如图4的长方形232所例示，输入图像缓冲器111存储多个低图像质量的暗眼底图像222，并在预定定时逐个地将眼底图像222供应给生物信息对准处理部分212。生物信息对准处理部分212如图4的长方形233所例示，使用眼睛的信息(生物信息)将眼底图像222与超分辨率结果图像对准。如图4的长方形234所例示，超分辨率处理部分213使用对准的眼底图像(输入图像)通过图像叠加进行超分辨率处理和大动态范围处理，并生成超分辨率结果图像。将通过重复对准和超分辨率处理生成和具有较高分辨率和较宽动态范围的眼底图像223存储在存储单元103中或从输出单元104输出。另外，这里，高分辨率指示移除了模糊和因此变清晰的图像，分辨率实际上可能不高。换句话说，眼底图像处理装置200可以抑制被摄体负担的增大和获取图像质量比通过成像获得的捕获图像高(由于模糊得到抑制，所以动态范围较宽)的眼底图像。[生物信息对准处理部分的配置]图5是例示图3的生物信息对准处理部分212的主要配置例子的框图。如图5所例示，生物信息对准处理部分212包括输入图像血管提取部分241、超分辨率结果图像血管提取部分242、输入图像交点提取部分243、超分辨率结果图像交点提取部分244、交点对准处理部分245、和血管对准处理部分246。如图6所例示，输入图像血管提取部分241从输入图像缓冲器111供应的输入图像251 (低图像质量的眼底图像)中提取血管部分(处理261)，并将提取的血管部分供应给血管对准处理部分246。例如，输入图像血管提取部分241像在公开在如下文献中的方法中那样使用RGB成分的R成分从输入图像中提取血管:“Automatic Composition of ColorOcular Fundus Images，，，Katsuyoshi TANABE, Tetsuro TSUBOUCHI, Hidenori OKUDA, andMasahiro OKU, 2007 (下文称为 NPL2)。类似地，如图6所例示，超分辨率结果图像血管提取部分242从超分辨率结果图像缓冲器214供应的之前的超分辨率结果图像252 (高图像质量的眼底图像)中提取血管部分(处理262)，并将它(血管提取结果253)供应给血管对准处理部分246。如图6所例示，血管对准处理部分246使用从每个图像中提取的血管提取结果在输入图像251与之前的超分辨率结果图像252之间相互对准血管(处理266)，并将对准的输入图像254与血管提取结果253 —起供应给超分辨率处理部分254。另外，可以在使用血管提取结果(整个血管的形状或位置)对准(处理266)之前使用血管的交点位置进行简单对准。另外，血管的交点是捕获图像中血管彼此相交的部分(尤其，也包括血管处在扭曲位置上的情况)或分叉部分。在这种情况下，如图6所例示，输入图像血管提取部分241将通过处理261获得、来自输入图像251 (低图像质量的眼底图像)的血管提取结果供应给输入图像交点提取部分 243。如图6所例示，输入图像交点提取部分243从输入图像血管提取部分241供应的血管提取结果中提取交点(处理263)，并将交点提取结果供应给交点对准处理部分245。

另外，如图6所例示，超分辨率结果图像血管提取部分242将通过处理262获得、来自之前的超分辨率结果图像252 (高图像质量的眼底图像)的血管提取结果253供应给超分辨率结果图像交点提取部分244。如图6所例示，超分辨率结果图像交点提取部分244从超分辨率结果图像血管提取部分242供应的血管提取结果253中提取交点(处理262)，并将交点提取结果供应给交点对准处理部分245。如图6所例示，交点对准处理部分245使用从每个图像中提取的交点提取结果在输入图像251与之前的超分辨率结果图像252之间相互对准交点(处理265)。另外，将交点对准结果供应给血管对准处理部分246。血管对准处理部分246将交点对准处理部分245供应的交点对准结果设置成初始状态，并通过使用血管提取结果进行使用血管的输入图像对准(处理266)。换句话说，以与交点对准相同的方式按照交点对准进行对准，并叠加各自血管提取结果以便设置成初始状态。这样，血管对准处理部分246从使用交点简单对准的状态开始对准，从而可以更容易地高速进行对准。另外，也可以进行使用其他生物信息段的对准。例如，首先，可以在在视神经头的位置上进行对准的同时将输入图像251叠加在之前的超分辨率结果图像252上，可以将叠加的图像设置成初始值，以及可以进行使用交点的对准。[血管对准处理部分的配置]接着，描述使用整个血管的位置或形状的对准。图7是例示血管对准处理部分246的主要配置例子的框图。如图7所例示，血管对准处理部分246包括叠加处理部件271、位移处理部件272、延伸处理部件273、旋转处理部件274、放大和缩小处理部件275、和收敛确定部件276。叠加处理部件271叠加输入图像血管提取部分241和超分辨率结果图像血管提取部分242供应的各自血管提取结果。在使用交点进行对准的情况下，叠加处理部件271在使用交点对准处理部分245供应的交点对准结果进行与交点对准相同的对准的同时叠加各自血管提取结果。叠加处理部件271将叠加结果供应给位移处理部件272。另外，如图8所例示，血管对准处理部分246将输入图像血管提取部分241供应和从输入图像中提取的血管提取结果291设置成源，并将超分辨率结果图像血管提取部分242供应和从之前的超分辨率结果图像中提取的血管提取结果292设置成目标进行对准。也就是说，进行对准以便使血管提取结果291接近血管提取结果292。如图8所例示，位移处理部件272进行沿着像纵向或横向那样的某个方向移动(位移)整个血管提取结果的纵向和横向位移281，并且在血管提取结果291与血管提取结果292最接近的状态下将叠加结果供应给延伸处理部件273。确定血管提取结果291与血管提取结果292的程度的方法可以使用任何方法，例如，使用两个图像之间的绝对值差进行确定。换句话说，位移处理部件272移动(位移)整个血管提取结果291，并检测血管提取结果291与血管提取结果292之间的绝对值差最小的位置。这种确定方法也同样适用于如下处理部件。如图8所例示，延伸处理部件273进行沿着像纵`向或横向那样的某个方向延伸(变形)血管提取结果的纵向和横向延伸282，并且在血管提取结果291与血管提取结果292最接近的状态下将叠加结果供应给旋转处理部件274。例如，延伸处理部件273沿着某个方向延伸(变形)血管提取结果291，并搜索血管提取结果291与血管提取结果292之间的绝对值差最小的形状。如图8所例示，旋转处理部件274进行从一侧到另一侧旋转血管提取结果291的旋转283，并且在血管提取结果291与血管提取结果292最接近的状态下将叠加结果供应给放大和缩小处理部件275。例如，旋转处理部件274从一侧到另一侧旋转血管提取结果291，并搜索血管提取结果291与血管提取结果292之间的绝对值差最小的方向。如图8所例示，放大和缩小处理部件275进行放大或缩小血管提取结果291的放大和缩小284，并且在血管提取结果291与血管提取结果292最接近的状态下将叠加结果供应给收敛确定部件276。例如，放大和缩小处理部件275放大或缩小血管提取结果291，并搜索血管提取结果291与血管提取结果292之间的绝对值差最小的大小。收敛确定部件276根据叠加结果确定对准是否收敛。例如，收敛确定部件276通过多次重复进行上述各自处理将这次获得的对准结果与前次获得的对准结果相比较，如果血管提取结果291比前次更接近血管提取结果292，则确定对准未收敛，如果血管提取结果291未比前次更接近血管提取结果292 (例如，血管提取结果291与血管提取结果292之间的绝对值差不小于前次)，则确定对准收敛。
如果确定对准未收敛(例如，血管提取结果291与血管提取结果292之间的绝对值差小于前次)，则收敛确定部件276使叠加结果返回到位移处理部件272，以便再次进行对准。另外，如果确定对准收敛，则收敛确定部件276根据作为对准结果的血管提取结果的叠加结果(例如，血管提取结果291与血管提取结果292之间的绝对值差最小时的叠加结果)对输入图像251进行对准，并将对准的输入图像251和血管提取结果供应给超分辨率处理部分213。另外，尽管在上面的描述中，作为对准的详细例子，对进行包括纵向和横向位移281、纵向和横向延·伸282、旋转283、和放大和缩小284的四种处理按这个次序作了描述，但本技术不局限于此，可以进一步进行除了上述处理之外的其他处理，或可以省略上述一些处理。另外，在如上所述进行多种处理的情况下，可以按任何次序进行处理。另外，生物信息对准处理部分212可以使用如公开在，例如，如下文献中的边缘部分的直方图进行对准:“Shape Matching and Object Recognition Using ShapeContexts，，, Serge Belongie, JitendramMalik, Jan Puzicha, 2002 (下文称为 NPL3)。进一步，确定收敛的方法可以使用任何方法，可以使用除了上述方法之外的其他方法。例如，如果血管提取结果291与血管提取结果292之间的绝对值差小于等于预定阈值，则可以确定实现了收敛。另外，使用血管交点的对准基本上以与使用整个血管的对准相同的方式进行。换句话说，交点对准处理部分245具有与血管对准处理部分246基本相同的配置，以及基本上进行相同的处理，除了作为用于对准的生物信息的整个血管及其交点之间的差异之外。如上所述，眼底图像是活体的图像，因此，眼底图像处理装置200良好地利用了图像的特征，并且使用包括在眼底图像中的生物信息对整个图像进行对准。这样，眼底图像处理装置200可以更容易地和准确地实现对准。[超分辨率处理部分的配置]图9是例示超分辨率处理部分213的主要配置例子的框图。在这种情况下，则生物信息对准处理部分212进行对准，因此超分辨率处理部分213对输入图像进行模糊移除和叠加。如图9所例示，超分辨率处理部分213包括PSF (点扩散函数)估计部分301、模糊移除处理部分302、和叠加处理部分303。PSF估计部分301使用生物信息对准处理部分311供应的血管提取结果估计PSF(点扩散函数)(图10的处理311)。例如，使用如图11所例示的方法进行PSF的估计。换句话说，PSF估计部分301保存如图11的长方形332所例示事先从高斯分布中获得的边缘外围的像素值的模型。如长方形331所例示，PSF估计部分301从对准的血管提取结果322中指定边缘部分，提取每个边缘外围的像素值，将像素值与保存的模型对照，并指定匹配或相似模型。另外，PSF估计部分301将指定模型的最多的模型供应给模糊移除处理部分302作为估计PSF。模糊移除处理部分302通过使用PSF估计部分301供应的PSF的估计信息，以与该模型相对应的方法从对准的输入图像中移除模糊。换句话说，模糊移除处理部分302以与图像的模糊方式(点扩散模式)相对应的方法移除模糊。模糊移除处理部分302使用例如维纳滤波器移除模糊。另外，如下面文献所公开:“High-quality Motion Deblurring from a Single Image”，Qi Shan, Jiava Jia, AseemAgarwala, 2008 (下文称为NPL4)，可以使用移除运动模糊的方法。模糊移除处理部分302将已经移除了模糊的输入图像供应给叠加处理部分303。叠加处理部分303补充地将模糊移除处理部分302供应的输入图像(经过对准和模糊移除的输入图像)并入超分辨率结果图像缓冲器214供应的之前的超分辨率结果图像中，以便叠加两个图像，输出叠加图像作为新超分辨率结果图像，将新超分辨率结果图像存储在存储单元103中或从输出单元104输出到外部设备，并且将新超分辨率处理部分存储在超分辨率结果图像缓冲器214中。眼底图像通过如上所述减少照射光的光量来捕获，因此总的来说基本上是暗的、红色的和近似均匀的图像。另外，被摄体在成像的时候可能是运动的。因此，不容易聚焦，因此往往出现散焦(所谓的偏焦)。并且，整个图像几乎是均匀的，以及模糊状态往往是均匀的。因此，如上所述，超分辨率处理部分213通过使用PSF估计结果移除模糊有效地移除了模糊，从而容易地获得具有较高图像质量的眼底图像。另外，例如，如JP-A-2009-169943所公开(下文称为PTL5)，PSF估计部分301可以确定边缘部分的模糊状态，并应用与模糊状态相对应的PSF。
另外，当将输入图像与之前的超分辨率结果图像叠加时，叠加处理部分303可以通过以与图1中的情况相同的方式进行向下采样或向上采样提高分辨率。另外，更严格地说，眼底具有球形形状。另外，视神经状与它的外围相比是凸起的，因此眼底也具有不规则性。因此，例如，由于眼底的一些区域是聚焦的，而另一些区域是未聚焦的，所以很有可能模糊状态随区域而不同。因此，PSF估计部分301可以对眼底图像的每个预定局部区域估计PSF，以及模糊移除处理部分302可以通过根据估计结果为每个局部区域设置滤波函数移除模糊。也就是说，可以按照眼底图像的地点(区域)或模式利用滤波函数移除模糊(移除模糊的方法(例如，滤波函数)可以随眼底的区域的位置或形状而不同)。这样，可以更精确地移除模糊，因此眼底图像处理装置200可以获得具有较高图像质量的眼底图像。[眼底图像生成处理的流程]接着，将描述眼底图像处理装置200进行的每种处理。首先，参照图12的流程图描述眼底图像生成处理的流程的例子。当开始眼底图像生成处理时，以与图2的步骤SlOl到S104中的各自处理相同的方式进行步骤S201到S204中的各自处理。但是，在步骤S203中，将初始图像存储在超分辨率结果图像缓冲器214中。另外，在步骤S204中，单独选择未经过处理的捕获图像作为输入图像。当设置了处理目标时，生物信息对准处理部分212在步骤S205中进行生物信息对准。在步骤S206中，超分辨率处理部分213使用对准结果进行超分辨率处理。在步骤S207中，超分辨率处理部分213将通过超分辨率处理获得的新超分辨率结果图像输出到存储单元103或输出单元104，并将新超分辨率结果图像存储在超分辨率结果图像缓冲器214中。
在步骤208中，输入图像缓冲器111确定是否所有捕获图像都得到处理，如果存在未处理的捕获图像，则输入图像缓冲器使处理返回到步骤S204，以便进行随后处理。如果在步骤S208中确定所有捕获图像都得到处理，则输入图像缓冲器111结束眼底图像生成处理。[生物信息对准处理的流程]接着，参照图13的流程图，对在图12的步骤S205中执行的生物信息对准处理的流程的例子加以描述。当开始生物信息对准处理，输入图像血管提取部分241在步骤S221中从输入图像中提取血管部分的图像。在步骤S222中，超分辨率结果图像血管提取部分242从之前的超分辨率结果图像中提取血管部分的图像。在步骤S223中，生物信息对准处理部分212确定是否进行交点对准。如果确定进行交点对准，则生物信息对准处理部分212使处理转到步骤S224。在步骤S224中，输入图像交点提取部分243从输入图像的血管提取结果中提取交点。在步骤S225中，超分辨率结果图像交点提取部分244从之前的超分辨率结果图像的血管提取结果中提取交点。在步骤S226中，交点对准处理部分245通过使用在步骤S224和S225中生成的交点提取结果将交点相互对准。当完成了交点对准时，交点对准处理部分245使处理转到步骤S227。另外，如果在步骤S224中确定未进行交点对准， 则该处理转到步骤S227。在步骤S227中，血管对准处理部分246相互对准血管。当完成了步骤S227中的处理时，血管对准处理部分246结束生物信息对准处理，并使处理返回到图12的步骤S205，以便从步骤S206开始进行随后处理。[血管对准处理的流程]接着，参照图14的流程图，对在图13的步骤S227中进行的血管对准处理的流程的例子加以描述。当开始血管对准处理时，在步骤S241中，叠加处理部件271确定是否进行了交点对准，如果确定进行了交点对准，则该处理转到步骤S242，在步骤S242中将交点对准结果设置成叠加结果，以及按照该叠加结果叠加在输入图像血管提取部分241中提取的血管提取结果和在超分辨率结果图像血管提取部分242中提取的血管提取结果，并使处理转到步骤 S244。在步骤S241中，如果确定未进行交点对准，则叠加处理部件271使处理转到步骤S243，将在输入图像血管提取部分241中提取的血管提取结果叠加在在超分辨率结果图像血管提取部分242中提取的血管提取结果上，并使处理转到步骤S244。在步骤S244中，位移处理部件272进行位移输入图像的血管提取结果的位移对准。在步骤S245中，延伸处理部件273进行延伸或缩短输入图像的血管提取结果的延伸对准。在步骤S246中，旋转处理部件274进行旋转输入图像的血管提取结果的旋转对准。在步骤S247中，放大和缩小处理部件275进行放大或缩小输入图像的血管提取结果的放大和缩小对准。在步骤S248中，收敛确定部件276确定对准是否收敛，如果确定对准未收敛，则使处理返回到步骤S244，以便进行随后处理。如果在步骤S248中确定对准收敛，则收敛确定部件276在步骤S249中根据对准结果相互对准输入图像，并将对准的输入图像和血管提取结果输出到超分辨率处理部分213。当完成了步骤S249中的处理时，收敛确定部件276结束血管对准处理，使处理返回到图13的步骤S227，以便结束生物信息对准处理，并使处理返回到图12的步骤S205，以便从步骤S206开始进行随后处理。另外，除了取代整个血管将血管的交点用于对准之外，以与参照图14所述的血管对准处理相同的方式进行在图13的步骤S226中进行的交点对准处理。[超分辨率处理的流程]接着，参照图15的流程图，对在图12的步骤S206中进行的超分辨率处理的流程图加以描述。 当开始超分辨率处理，PSF估计部分301在步骤S261中使用血管提取结果估计点扩散函数(PSF)。在步骤S262中，模糊移除处理部分302使用估计的点扩散函数从对准的输入图像中移除模糊。在步骤S263中，叠加处理部分302将已经移除了模糊的对准输入图像叠加在之前的超分辨率结果上，并输出叠加结果作为新超分辨率结果图像。当完成了步骤S263中的处理时，叠加处理部分303结束超分辨率处理，并使处理返回到图12的步骤S206，以便从步骤S207开始进行随后处理。如上所述，通过进行各自处理，眼底图像处理装置200可以抑制被摄体负担的增加以及获得具有较高图像质量的被摄体的捕获图像。〈3.第三实施例〉[眼底图像处理装置的配置]图3是例示眼底图像处理装置的另一个配置例子的框图。例示在图3中的眼底图像处理装置400通过将生物信息(有关血管、视神经头等的信息)用于色调再现处理或超分辨率处理生成具有较高图像质量的眼底图像。眼底图像处理装置400是与图3的眼底图像处理装置200相同的装置，具有与眼底图像处理装置200基本相同的配置，以及进行相同的处理。但是，取代包括在眼底图像处理装置200中的图像处理单元202，眼底图像处理装置400包括图像处理单元402。图像处理单元402具有与图像处理单元202基本相同的配置，以及进行相同的处理，但取代包括在眼底图像处理装置200中的超分辨率处理部分213和超分辨率结果图像缓冲器214，包括噪声降低处理部分413、噪声降低结果图像缓冲器414、和色调再现处理部分 416。换句话说，如图17的长方形431所例示，图像处理单元402减少光量和通过多次成像眼睛221的眼底生成多个眼底图像222。如图17的长方形432所例示，输入图像缓冲器111存储多个低图像质量的暗眼底图像222，并根据生物信息对准处理部分212的请求或在预定定时逐个地将眼底图像222供应给生物信息对准处理部分212。生物信息对准处理部分212如图17的长方形233所例示，使用眼睛的信息(生物信息)将眼底图像222与超分辨率结果图像对准。如图17的长方形434所例示，噪声降低处理部分413叠加对准的眼底图像222 (输入图像)，以便进行噪声降低或动态范围的扩大(噪声降低和宽动态范围处理)。使用噪声降低结果图像缓冲器414重复进行这些处理，从而从低图像质量的多个眼底图像中生成单个眼底图像。让生成的单个眼底图像在色调再现处理部分415中经受色调再现处理(色调再现)435 (图17)。进行色调再现处理435的方法可以使用任何方法。例如，可以使用公开在JP-A-2009-177558 (下文称为PTL6)中的方法进行色调再现处理435。另外，进行在色调再现处理435中计算色调曲线的参数的设置，以便适合作为活体的特征，从而获得具有较高图像质量的较亮图像。让通过色调再现处理435校正的眼底图像在超分辨率处理部分416中经受超分辨率处理436 (图17)。进行超分辨率处理436的方法可以使用任何方法。例如，可以使用公开在JP-A-2010-102696 (下文称为PTL7)中的方法或公开在JP-A-2010-103981 (下文称为PTL8)中的方法进行超分辨率处理436。但是，按照作为活体的特征进行超分辨率处理436，以便获得具有较低噪声和较高分辨率的图像。换句话说，图像处理单元402按照作为活体的特征进行处理，从而从具有较低图像质量的多个眼底图像中生成具有较高图像质量和高分辨率的单个眼底图像。这样，在图像处理单元402中，在叠加了图像之后(对生成的单个眼底图像)进行色调再生处理和超分辨率处理。如上所述，噪声降低处理部分413将生物信息对准处理部分212对准的眼底图像叠加在保存在噪声降低结果图像缓冲器414中的前叠加结果(也就是说，噪声降低结果)的图像上，以便放大动态范围，从而降低噪声。通过叠加图像降低噪声的方法可以使用任何方法，例如，可以使用公开在JP-A-2009-294601 (下文称为PTL9)中的方法。噪声降低结果图像缓冲器414包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，存储噪声降低处理部分413生成的噪声降低结果图像(叠加结果图像)，并根据生物信息对准处理部分212或噪声降低处理部分413的请求，或在预定定时将噪声降低结果图像供应给生物信息对准处理部分212或噪声降低处理部分413。换句话说，重复地进行生物信息对准处理部分212的对准或噪声降低处理部分413的叠加。生物信息对准处理部分212和噪声降低处理部分413将累积在输入图像缓冲器111中的多个眼底图像的每一个设置成处理目标，并将处理目标图像与前处理结果对准和叠加在上面。这样，全部处理了在存储单元101中通过成像获得的多个图像，从而生成单个眼底图像。[色调再现处理部分]图18是例示色调再现处理部分的主要配置例子的框图。如图18所例示，色调再现处理部分415包括图像缓冲器451、参数设置部分452、色调曲线计算部分453、和映射部分 454。图像缓冲器451包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，存储噪声降低处理部分413供应的眼底图像。图像缓冲器451根据参数设置部分452或映射部分454的请求或在预定定时将眼底图像供应给参数设置部分452或映射部分454。参数设置 部分452根据图像缓冲器451供应的眼底图像的作为活体的特征，设置计算用于色调再生处理的色调曲线的参数。色调曲线是，例如，如图19所例示，校正亮度值的灰度级的曲线。
另外，图19的曲线图的横轴方向指示校正灰度级之前的输入亮度的对值，纵轴方向指示使用色调曲线CL校正灰度级之后的输出亮度的对值。让眼底图像经受按照色调曲线的灰度级校正，以便在色调再现处理中更亮。此时，优选的是尽可能多地抑制噪声或爆发强光的出现。换句话说，参数设置部分452尽可能多地降低噪声，以便尽可能多地抑制喷出强光的出现，以及按照包括在眼底图像中的作为活体的特征设置参数，以便获得眼底图像变得更亮的灰度级校正的色调曲线。例如，眼底图像包括作为活体的局部，譬如，血管、神经、或视神经头的图像，每个局部的图像具有不同特征。例如，一般说来，边缘成分往往出现在像血管或神经那样的部分中，以便比外围中强。另外，例如，视神经头往往是白色的。并且，例如，眼底的边缘部分往往(与眼底的末端接近的部分)往往比它的中心部分暗。这样，眼底图像是包括作为活体的眼底的每个部分的特征的图像。因此，参数设置部分452考虑到每个部分的特征地设置参数，以便获得更加优选色调曲线(抑制噪声或白色的出现并使图像尽可能地亮)。可以使用任何参数，只要可以将参数用于计算色调曲线即可。例如，该参数可以是将色调再现处理的输入或输出当作噪声的水平的设置值。参数设置部分452将其值得到设置的参数供应给色调曲线计算部分453。色调曲线计算部分453使用参数设置部分452供应的参数计算色调曲线，以便供应给映射部分454。例如，色调曲线计算部分453设置例示在图19中的色调曲线CL的控制点(在图19中的例子的情况下，Pl到P9)，并将控制点供应给映射部分454。在这种情况下，通过基于控制点Pl到控制点P9的B样条内插处理对每个输入亮度值获取输出亮度值(色调曲线值)定义每个处理目标像素的色调曲线CL的形状。映射部分454使用色调曲线计算部分453供应的色调曲线映射(校正)图像缓冲器451供应的眼底图像。映射部分454将校正的眼底图像供应给超分辨率处理部分416。[参数设置部分]图20是例示参数设置部分452的主要配置例子的框图。如图20所例示，参数设置部分452包括调整目标参数选择部件461、参数初始值存储部件462、参数存储部件463、校正前亮度值计算部件464、和亮度值存储部件465。另外，参数设置部分452还包括局部识别部件466、参数调整部件467、色调曲线计算部件468、映射部件469、局部检验部件470、校正后亮度值计算部件471、比较部件472、和数据输出部件473。调整目标参数选择部件461选择此时要调整的参数。例如，在存在计算色调曲线的多个参数的情况下，参数设置部分452可以一次调整所有参数，或可以进行多次调整。例如，参数设置部分452可以调整每个参数一次。另外，例如，参数设置部分452可以准备参数值的多组组合，可以为每组定义最佳参数值的组合，以及可以获得各自组的最佳参数值的所选组合的最佳参数值的组合。
参数初始值存储部件462包括像，例如，硬盘、闪速存储器、RAM或ROM (只读存储器)那样的记录介质，存储计算色调曲线所需的参数的初始值(在存在多个参数的情况下，每个初始值)。这个初始值是任何值，并且是预定的。参数存储部件463包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，获取调整目标参数选择部件461从参数初始值存储部件462中选择的参数(调整目标参数)的初始值，并存储其初始值。另外，参数存储部件463使用比较部件472供应的值更新所保存调整目标参数的值。换句话说，参数存储部件463使用比较部件472供应的值更新所保存调整目标参数的值。换句话说，参数存储部件463存储比较部件472供应的调整目标参数的值。另外，参数存储部件463根据参数调整部件467的请求或在预定定时将那个时刻保存的值供应给参数调整部件467。进一步，在存在不是调整目标的非调整目标参数的情况下，参数存储部件463不仅将调整目标参数的值供应给参数调整部件467而且将非调整目标参数的值供应给参数调整部件467。在未存储非调整目标参数的值的情况下，参数存储部件463从参数初始值存储部件462获取和存储非调整目标参数的值，以便供应给参数调整部件467。由于过去从参数初始值存储部件462获取的非调整目标参数的值已经存储在参数存储部件463中，所以参数存储部件463将该值供应给参数调整部件467。进一步，由于过去调整的非调整目标参数(过去是调整目标而此时是非调整目标的参数)的值已经存储在参数存储部件463中，所以参数存储部件463将调整的值供应给参数调整部件467。另外，参数存储部件463根据数据输出部件473的请求或在预定定时将每个参数的值(那个时刻保存的值)供应给数据输出部件473。校正前亮度值计算部件464计算作为指示噪声降低处理部分413供应的眼底图像(通过叠加多个眼底图像生成的单个眼底图像)的亮度的参数的亮度值。该亮度值可以是任何内容(计算方法)，只要可以指示图像的亮度即可。例如，该亮度值可以使用整个图像或其局部的亮度值的总和、平均值等。另外，例如，可以将图像划分成多个区域，可以每个区域地计算亮度的总和，可以将每个值乘以为每个区域定义权重系数，并且可以将各自相乘结果的总和用作亮度值。校正前亮度值 计算部件464将计算的亮度值供应给亮度值存储部件465以便加以存储。亮度值存储部件465包括像，例如，硬盘、闪速存储器、或半导体存储器那样的任何记录介质，并存储校正前亮度值计算部件464或比较部件472供应的亮度值。例如，亮度值存储部件465存储校正前亮度值计算部件464供应、校正之前的眼底图像，并且当从比较部件472供应校正后亮度值计算部件471计算、校正之后的眼底图像的亮度值时存储亮度值(更新保持的亮度值)。亮度值存储部件465根据比较部件472的请求或在预定定时将保存的亮度值供应给比较部件472。局部识别部件466分析噪声降低处理部分413供应的眼底图像(叠加多个眼底图像生成的单个眼底图像)，并识别包含在眼底图像中、像，例如，血管、神经、和视神经头那样的局部。可以使用任何局部识别方法(图像分析方法)。例如，可以使用与生物信息对准处理部分212执行的血管提取方法相同的方法。例如，可以使用公开在NPL2或如下文献中的方法:uRecognition of Optic Nerve Head Using Blood-Vesse1-Erased Imageand Its Application to Production of Simulated Stereogram in Computer-AidedDiagnosis System for Retinal Images，，，Toshiaki NAKAGAWA, YoshinoriHAYASHI1Yuji HATANAKA, Akira Α0ΥΑΜΑ, Yutaka MIZUKUSA, Akihiro FUJITA, MasakatsuKAKOGAWA, Takeshi HARA, Hiroshi FUJITA, and Tetsuya YAMAMOTO, 2006(下文称为 NPL5)。例如，与血管或神经有关，在其外围的边界上检测强边缘成分。另外，例如，视神经头往往是白色的，具有比外围高的亮度。并且，在一定程度上限制形状或大小。局部识别部件466通过，例如，使用图像中的那些特征指定包括在眼底图像中的每个局部。当指定包括在眼底图像中的作为活体的局部时，局部识别部件466将指示每个指定局部的区域，也就是说，例如，血管、神经、视神经头等在图像中分别处在哪些位置上的信息供应给局部检验部件470。参数调整部件467通过使用事先设置的预定方法调整从参数存储部件463中读取的参数的值。例如，参数调整部件467将参数的值增加或减少预定数量。参数调整部件467将调整值与未调整目标参数的值一起供应给色调曲线计算部件468。

色调曲线计算部件468以与色调曲线计算部分453相同的方式使用供应的参数计算色调曲线，并将指示所计算色调曲线的信息和调整目标参数供应给映射部件469。映射部件469以与映射部分454相同的方式，使用色调曲线计算部件468供应的计算色调曲线，对噪声降低处理部分413供应的眼底图像(叠加多个眼底图像生成的单个眼底图像)的亮度值进行灰度级校正。映射部件469将校正的图像和色调曲线计算部件468供应的调整目标参数供应给局部检验部件470。局部检验部件470使用指示局部识别部件466供应的每个局部的区域的信息指定包括在映射部件469供应的校正图像中的每个局部，并以按照每个局部的图像的特征的方法检测每个局部的图像。也就是说，局部检验部件470以为局部定义方法检验包括在校正图像中的每个局部的图像，以便考虑到各自局部的图像的特征之间的差异地对任何局部进行适当灰度级校正。例如，一般说来，一个图像往往在眼底的边缘部分中较暗。换句话说，噪声成分往往在眼底的边缘部分中增加。因此，局部检验部件470检验，例如，在眼底的边缘部分中噪声成分是否超过预定允许量，如果噪声成分等于或小于允许量，则图像是可接受的，而如果噪声成分超过允许量，则图像是不可接受的。另外，一般说来，视神经头的图像往往相对较亮。换句话说，如果使眼底图像变亮，则在视神经头中往往出现爆发强光。因此，局部检验部件470检验，例如，在视神经头中是否出现爆发强光，如果未出现爆发强光，则图像是可接受的，而如果出现爆发强光，则图像是不可接受的。这样，各自局部的检验内容是相互独立的。另外，可以使用每个局部的任何检验内容或确定接受性的任何准则。例如，除了上述例子之外，可以检验频率成分，或可以检验是否检测到比预定水平低的亮度值。进一步，可以对单个局部检验多个项目。局部检验部件470将每个局部的确定结果与映射部件469供应的校正图像和调整目标参数一起供应给校正后亮度值计算部件471。校正后亮度值计算部件471在在局部检验部件470中各自局部的所有检验结果可接受的情况下计算校正图像的亮度值。计算亮度值的方法与校正前亮度值计算部件464校正之前计算图像的亮度值的方法相同。当计算亮度值时，校正后亮度值计算部件471将计算的亮度值和局部检验部件470供应的调整目标参数供应给比较部件472。另外，在局部检验部件470对各自部件的检验结果中包括不可接受结果的情况下，校正后亮度值计算部件471将检验结果供应给比较部件472。当从校正后亮度值计算部件471获取了校正图像的亮度值之后，比较部件472获取保存在亮度值存储部件465中的亮度值并将它们相互比较。在校正后亮度值计算部件471供应的亮度值大于亮度值存储部件465供应的亮度值的情况下，比较部件472将校正后亮度值计算部件471供应的调整目标参数供应给参数存储部件463以便加以存储(更新所保存调整目标参数的值)。另外，在这种情况下，比较部件472将校正后亮度值计算部件471供应的亮度值供应给亮度值存储部件465以便加以存储(更新亮度值存储部件465保存的亮度值)。这样，通过参数存储部件463到比较部件472的循环重复进行每个参数的调整(进行循环处理)。换句话说，例如，参数初始值存储部件462将眼底图像最暗的值存储成参数的初始值，参数调整部件467调整调整目标参数的值，使眼底图像变得较亮，色调曲线计算部件468和映射部件469使用调整的值校正眼底图像，以及局部检验部件470到比较部件472检验校正的图像。在每个局部的检验结果可接受和获得较亮图像的情况下，循环处理变得更加复杂。另外，在每个局部的检验结果不可接受的情况下，在即使每个局部的检验结果可接受但无法获得较亮图像，即 ，经由校正后亮度值计算部件471供应了局部检验部件470发现不可接受的检验结果的情况下，或在校正后亮度值计算部件471供应的亮度值未大于亮度值存储部件465供应的亮度值的情况下，比较部件472将其通知数据输出部件473(不更新参数存储部件463和亮度值存储部件465的信息)。例如，在随着其值变大导致较亮眼底图像的参数被设置成调整目标参数的情况下，参数初始值存储部件462将参数的最小值存储成初始值，以及参数调整部件467将输入参数的值增加预定数量。另外，在随着其值变小导致较亮眼底图像的参数被设置成调整目标参数的情况下，参数初始值存储部件462将参数的最大值存储成初始值，以及参数调整部件467将输入参数的值减小预定数量。另外，可以使用参数的任何初始值或任何调整方法，以及可以使用除上述例子之外的其他值或方法。例如，可以从通过校正用于色调再现处理的参数所取的所有值(或代表性值)获得的所有校正图像中选择最佳图像，以及选择与该图像相对应的每个参数的值作为最佳值。在这种情况下，对获得的所有校正图像进行每个局部的检验和亮度值的计算，评估所有检验结果和亮度值，以及选择在每个局部的检测中可接受的和导致最亮图像的每个参数的值作为最佳值。另外，可以根据哪个亮度值较大简单地确定，或可以根据其他准则确定图像是否变得更亮了。例如，只有在当前校正之后图像的亮度值比当前校正之前的亮度值大预定数量或更大的情况下才可以确定通过当前校正使图像变得更亮了。另外，例如，只有在即使当前校正之后图像的亮度值比当前校正之前的亮度值小，但在事先设置的预定范围内的情况下才可以确定通过当前校正使图像变得更亮了。在发送了局部检验部件470的检验结果不可接受的通知，或从比较部件472发送了当前灰度级校正之后的图像不比当前灰度级校正之前的图像亮的通知的情况下，数据输出部件473将其通知发送给调整目标参数选择部件461，以便选择另一个参数作为调整目标参数。也就是说，开始另一个参数的调整。当要调整的参数以这种方式都得到调整时，数据输出部件473获取存储在参数存储部件463中的各自参数的值，以便供应给超分辨率处理部分416。通过如上所述设置各自参数的值，参数设置部分452可以将每个参数的值设置成可以抑制像出现噪声或白色那样的缺陷或可以获得较亮图像的值。换句话说，色调再现处理部分415可以按照作为活体的图像的特征更适当地进行色调再现处理。[超分辨率处理部分]图21是例示图16的超分辨率处理部分416的主要配置例子的框图。如图21所例示，超分辨率处理部分416包括学习字典存储部分481、图像处理部分482、局部识别部分483、局部评估准则存储部分484、局部图像评估部分485、和图像选择部分 486。学习字典存储部分481包括像，例如，硬盘、闪速存储器、或半导体存储器那样的任何记录介质，存储示出在超分辨率处理中执行的学习方法的多部学习字典。学习字典存储部分481根据图像选择部分482的请求或在预定定时将每部学习字典供应给图像选择部分 482。图像处理部分482通过使用学习字典存储部分481供应的学习字典，对色调再现处理部分415供应的眼底图像进行通过学习提高分辨率的超分辨率处理。换句话说，通过图像处理部分482进行的超分辨率处理获得的超分辨率结果图像随学习字典存储部分481供应的学习字典而不同。图像处理部分482进行与所有学习字典有关的超分辨率处理。图像处理部分482将与每部学习字典相对应的计算超分辨率结果供应给局部识别部分483。局部识别部分483分析供应的每个超分辨率结果图像，并且以与局部识别部分466相同的方式，识别包括在每个超分辨率结果图像中的像活体(眼底)的局部，譬如，血管、神经、和视神经头。局部识别部分483使用，例如，公开在NPL2或NPL4中的方法识别每个局部。当指定包括在每个超分辨率结果图像中的作为活体的局部时，局部识别部分483将指示每个指定局部的区域，也就是说，例如，血管、神经、视神经头等在图像中分别处在哪些位置上的信息与对应于该信息的超分辨率结果图像供应给局部图像评估部分485。局部评估准则存储部分484包括像，例如，硬盘、闪速存储器、RAM或ROM那样的任何记录介质，存储指示局部图像评估部分485进行的每个局部的图像的评估方法或其准则的信息(例如，如何评估眼底图像上的哪个部分的什么类型信息)。局部评估准则存储部分484根据局部图像评估部分485的请求或预定定时将指示每个局部的图像的准则的保存信息供应给局部图像评估部分485。局部图像评估部分485通过使用指示局部评估准则存储部分484供应的图像评估的准则，评估每个超分辨率结果图像的局部识别部分483识别的每个局部的图像。例如，局部图像评估部分485对每个超分辨率结果图像分析血管的图像的频率成分，以及评估包括在血管的图像中的高频成分数量(预定频带成分的谱幅度)，或在事先设置的预定目标范围中是否包括高频成分数量。另外，例如，局部图像评估部分485对每个超分辨率结果图像分析像边缘部分那样的平坦部分的图像的频率成分，以及评估包括在平坦部分的图像中的噪声成分数量(预定频带成分的谱幅度)是否较小。局部图像评估部分485将以这种方式针对每个超分辨率结果图像获得的每个局部的评估结果与超 分辨率结果图像一起供应给图像选择部分486。图像选择部分486根据局部图像评估部分485供应的图像评估结果，从局部图像评估部分485供应的超分辨率结果图像中选择最佳超分辨率结果图像。例如，图像选择部分486选择血管的图像的高频成分在事先设置的预定目标范围中尽可能大和平坦部分的图像的噪声成分尽可能小的超分辨率结果图像。另外，可以使用任何图像选择方法或图像选择准则。例如，可以只根据血管的图像的评估结果选择图像，或可以考虑除了上述评估结果之外的其他评估结果地选择图像。如上所述，图像选择部分486从使用不同学习字典生成的多个超分辨率结果图像中选择最佳超分辨率结果图像。也就是说，图像选择部分486选择超分辨率结果图像变成最有利的学习字典。图像选择部分486将所选超分辨率结果图像输出到图像处理单元402的外部单元(存储单元103或输出单元104)。这样，超分辨率处理部分416可以使用不同学习字典进行伴随着学习的超分辨率处理，针对每个超分辨率结果图像为作为活体的每个局部进行图像评估，并根据评估结果选择使用最佳学习字典生成的超分辨率结果图像。一般说来，用于超分辨率处理的适当学习字典随图像内容而不同。换句话说，某个图像的最佳学习字典对于其他图像来说可能不是最佳的。但是，超分辨率处理部分416如上所述评估生成的超分辨率结果图像，因此可以为任何眼底图像选择最佳学习字典。另外，超分辨率处理部分416为像活体(眼底)那样的每个局部进行图像评估，因此可以选择更合适学习字典。换句话说，超分辨率处理部分416可以获得具有较小噪声成分和较高分辨率的眼底图像(具有较高图像质量和高分辨率的眼底图像)。[眼底图像生成处理的流程]接着，参照图22的流程图，对眼底图像处理装置400进行的图像生成处理的流程的例子加以描述。当开始眼底图像生成处理，成像单元101在步骤S401中以与图12的步骤S201中的情况相同的方式减少光量和进行眼底的多次成像。在步骤S402中，输入图像缓冲器111以与图12的步骤S202中的情况相同的方式存储在步骤S401中通过成像获得的捕获图像(眼底图像)。在步骤S403中，噪声降低结果图像缓冲器414以与图12的步骤S202中的情况相同的方式将初始捕获图像存储成初始图像。在步骤S404中，生物信息对准处理部分212以与图12的步骤S202中的情况相同的方式选择未经过处理、存储在输入图像缓冲器111中的捕获图像之一。在步骤S405中，生物信息对准处理部分212以与图12的步骤S205中的情况相同的方式，使用在步骤S404中选择的捕获图像(眼底图像)的生物信息和噪声降低结果图像缓冲器414供应的和作为前叠加结果的捕获图像(眼底图像)进行对准处理(生物信息对准处理)。生物信息对准处理的细节基本上与参照图13和14所述的那些相同，因此省略对它们的描述。在步骤S406中，噪声降低处理部分413叠加通过步骤S405中的处理对准的两个捕获图像(眼底图像)以便降低噪声。在步骤S407中，噪声降低处理部分413确定是否已经处理了所有捕获图像(眼底图像)。如果确定在输入图像缓冲器111中存在未处理捕获图像，则噪声降低处理部分413使处理转到步骤S408。在步骤S408中，噪声降低结果图像缓冲器414存储通过步骤S406中的处理，也就是说，叠加捕获图像获得的噪声降低处理结果。当存储了捕获图像时，噪声降低处理部分414使处理返回到步骤S404，并重复进行随后处理。如果重复进行步骤S404到S408中的处理，以及在步骤S407中确定处理了所有捕获图像，则噪声降低处理部分413使处理转到步骤S409。在步骤S409中，色调再现处理部分415对生成的单个捕获图像(眼底图像)进行色调再现处理。在步骤S410中，超分辨率处理部分416对经过色调再现处理的图像进行超分辨率处理，以便获得具有较高分辨率的眼底图像，然后结束眼底图像生成处理。通过以这样方式进行处理，眼底图像处理装置400可以抑制被摄体负担的增加，以及可以获得具有较高图像质量的被摄体的捕获图像。[色调再现处理的流程]接着，参照图23的流程图，对在图22的步骤S409中进行的色调再现处理的流程的例子加以描述。当在步骤S431中开始色调再现处理时，色调再现处理部分415的图像缓冲器451存储叠加的单个捕获图像 (眼底图像)。在步骤S432中，参数设置部分452根据生物信息设置参数。在步骤S433中，色调曲线计算部分453使用通过步骤S432中的处理设置了其值的参数计算色调曲线。在步骤S434中，映射部分454使用在步骤S433中生成的色调曲线校正捕获图像(眼底图像)。当完成了步骤S434中的处理时，映射部分454结束色调再现处理，使处理返回到图22的步骤S409，以便使处理转到步骤S410。[参数设置处理的流程]接着，参照图24的流程图，对在图23的步骤S432中的参数设置处理的流程的例子加以描述。当开始参数设置处理时，调整目标参数选择部件461在步骤S451中选择要调整的参数。在步骤S452中，参数存储部件463从参数初始值存储部件462中获取每个参数的初始值以便加以存储。在步骤S453中，校正前亮度值计算部件464计算通过图22的步骤S406中的处理生成的捕获图像(眼底图像)的亮度值。在步骤S454中，亮度值存储部件465存储通过步骤S453中的处理计算的亮度值。在步骤S455中，局部识别部件466识别包括在通过图22的步骤S406中的处理生成的捕获图像(眼底图像)中的作为活体的每个局部。在步骤S456中，参数调整部件467调整调整目标参数的值。在步骤S457中，色调曲线计算部件468通使用包括已经调整的调整目标参数的各种参数计算色调曲线。在步骤S458中，映射部件469使用通过步骤S457中的处理计算的色调曲线校正通过图22的步骤S406中的处理生成的捕获图像(眼底图像)。在步骤S459中，局部检验部件470针对通过步骤S458中的处理校正的捕获图像(眼底图像)检验通过步骤S455中的处理识别的作为活体的每个局部。在步骤S460中，局部检验部件470确定在步骤S459中进行的各自局部的所有检验结果是否是可接受的(也就是说，是否满足所有条件)。如果确定满足所有条件，则局部检验部件470使处理转到步骤S461。在步骤S461中，校正后亮度值计算部件471计算在步骤S458中校正的捕获图像(眼底图像)的亮度值。在步骤S462中，比较部件472比较在步骤S458中进行的当前校正前后的捕获图像的亮度值。在步骤S463中，比较部件472确定校正之后的捕获图像的亮度值是否较大。如果确定校正之后的捕获图像的亮度值较大和通过步骤S458中的当前校正使捕获图像变得较亮，则比较部件472使处理转到步骤S464。参数存储部件463在步骤S464中存储步骤S456中的当前调整之后的调整目标参数的值(更新调整目标参数的值)。在步骤S465中，亮度值存储部件465存储步骤S458中的当前校正之后的捕获图像的亮度值(更新亮度值)。当完成了步骤S465中的处理时，亮度值存储部件465使处理返回到步骤S465，并重复进行随后处理。如果在步骤S460中确定未满足所有条件，则局部检验部件470使处理转到步骤S466。另外，如果在步骤S463中确定校正之后的捕获图像的亮度值小于等于校正之前的捕获图像的亮度值，以及捕获图像未变得较亮，则比较部件472使处理转到步骤S466。在步骤S466中，数据输出部件473确定是否已经处理了所有要调整的参数，如果确定存在未处理参数，则使处 理返回到步骤S451，以便对新未处理参数重复进行随后处理。也就是说，调整目标参数选择部件461选择未处理参数作为新调整目标参数，并从步骤S452开始进行随后处理。如果在步骤S466中确定已经处理了所有要调整的参数，则数据输出部件473使处理转到步骤S467，获取和输出存储在参数存储部件463中的参数。当完成了步骤S466中的处理时，数据输出部件473结束参数设置处理，并返回到图23的步骤S432，以便从步骤S433开始进行随后处理。[超分辨率处理的流程]接着，参照图25，对在图22的步骤S410中进行的超分辨率处理的流程的例子加以描述。当开始超分辨率处理，图像处理部分482在步骤S481中从存储在学习字典存储部分481中的学习字典中选择未处理学习字典。在步骤S482中，图像处理部分482使用通过学习获得的系数生成具有高分辨率的图像。在步骤S483中，局部识别部分483识别包括在图像中的作为活体的局部。在步骤S484中，局部图像评估部分485评估每个局部的图像。在步骤S485中，局部图像评估部分485存储图像和评估结果。在步骤S486中，局部图像评价部分485确定是否已经处理了所有学习字典。如果确定存在未处理的学习字典，则局部图像评估部分485使处理返回到步骤S481，以便对新学习字典进行随后处理。换句话说，图像处理部分482选择新未处理学习字典，并从步骤S482开始进行随后处理。如果在步骤S486中确定已经处理了所有学习字典，则局部图像评估部分485使处理转到步骤S487。在步骤S487中，图像选择部分486从如上所述使用各自学习字典生成的超分辨率结果图像组中选择在在步骤S484中进行的评估中评估最高的超分辨率结果图像。当选择了超分辨率结果图像时，图像选择部分486结束超分辨率处理，使处理返回到图22的步骤S410,并结束眼底图像生成处理。如上所述，通过进行各自处理，眼底图像处理装置400可以抑制被摄体负担的增加以及获得具有较高图像质量的被摄体的捕获图像。[参数设置部分的另一个配置例子]
另外，尽管在上面的描述中，对在参数设置部分452中校正整个捕获图像(眼底图像)作出描述，但本技术不局限于此，可以重复校正作为活体的局部的图像。这样，可以省略对未必检验每个局部和未识别成包括在捕获图像中的眼底局部的一部分(例如，捕获图像的边缘部分等)的处理，因此可以减轻有关参数设置的负担。图26是例示在这种情况下参数设置部分的主要配置例子的框图。在例示在图26中的例子的情况下，参数设置部分452包括校正前亮度值计算部件564来取代例示在图20中的例子中的校正前亮度值计算部件464，以及包括亮度值存储部件465来取代亮度值存储部件465。另外，例示在图26中的参数设置部分452包括局部识别部件566来取代例示在图20中的局部识别部件466，以及包括映射部件569来取代映射部件469。进一步,例示在图26中的参数设置部分452包括局部检验部件570来取代例示在图20中的例子中的局部检验部件470，以及包括校正后亮度值计算部件571来取代校正后亮度值计算部件471。更进一步，例示在图26中的参数调整部件572包括比较部件572来取代例示在图20中的例子中的比较部件472。局部识别部件566以与局部识别部件466相同的方式识别包括在噪声降低处理部分413供应的眼底图像(通过叠加多个眼底图像生成的单个眼底图像)中的像活体(眼底)那样的局部。局部识别部件566从眼底图像中提取每个指定局部的图像，并将每个局部的提取图像供应给校正前亮度值计算部件564和映射部件569。校正前亮度值计算部件564以与校正前亮度值计算部件464的情况相同的方式计算每个局部的供应图像的亮度值。校正前亮度值计算部件564将每个局部的计算亮度值供应给亮度值存储部件565以便加以存储。亮度值存储部件565包括像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质，以与亮度值存储部件465的情况相同的方式存储校正前亮度值计算部件564或比较部件572供应的每个局部的图像的亮度值。映射部件569使用色调曲线计算部件468供应的计算色调曲线，对局部识别部件566供应的每个局部的图像的亮度值进行灰度级校正。这种校正方法与映射部件469的情况相同。映射部件569将每个局部的校正图像和色调曲线计算部件468供应的调整目标参数供应给局部检验部件570。局部检验部件570以按照局部的图像的特征的方法检验映射部件569供应的每个局部的校正图像，以便考虑到各自局部的图像的特征之间的差异地对任何局部进行适当灰度级校正。检验每个局部的方法与局部检验部件470的情况相同。局部检验部件570将每个局部的确定结果与映射部件469供应的校正图像和调整目标参数一起供应给校正后亮度值计算部件571。校正后亮度值计算部件571在在局部检验部件570中各自局部的所有检验结果可接受的情况下计算每个局部的校正图像的亮度值。计算亮度值的方法与校正前亮度值计算部件564的情况相同。当计算亮度值时，校正后亮度值计算部件571将计算的亮度值和局部检验部件570供应的每个局部的图像和调整目标参数供应给比较部件572。另外，在局部检验部件570对各自局部的检验结果中包括不可接受结果的情况下，校正后亮度值计算部件571以与校正后亮度值计算部件471的情况相同的方式将检验结果供应给比较部件572。当从校正后亮度值计算部件获得每个局部的校正图像的亮度值时，比较部件572获取保存在亮度值存储部件565中的每个局部的图像的亮度值并将它们相互比较。与每个局部的图像有关，在校正后亮度值计算部件571供应的亮度值大于亮度值存储部件565供应的亮度值的情况下，比较部件572将校正后亮度值计算部件571供应的调整目标参数供应给参数存储部件463以便加以存储(更新保存在参数存储部件463中的调整目标参数的值)。另外，在这种情况下，比较部件572将校正后亮度值计算部件571供应的每个局部的图像的亮度值供应给亮度值存储部件565以便加以存储(更新亮度值存储部件565保存的最多的亮度值)。相反，在无法获取较亮图像，也就是说，校正后亮度值计算部件571供应的亮度值与每个局部的图像有关地不大于亮度值存储部件565供应的亮度值的情况下，比较部件572将其通知数据输出部件473(不更新参数存储部件463和亮度值存储部件565的信息)。另外，比较部件572可以使用比较当前校正前后每个局部的图像的亮度值的任何方法。例如，在当前校正前后，比较部件572可以比较每个局部的图像的亮度值，或可以计算像各自局部的图像的亮度值的总和或平均值那样的统计值，并比较它们的总和。另外，比较部件572可以将每个局部的图像的亮度值乘以每个局部的权重系数，计算各自相乘结果的总和，并比较它们的总和。[参数设置处理的流程]接着，参照图27的流程图，对例示在图26中的参数设置部分452执行的参数设置处理的流程的例子加以描述。在这种情况下，参数设置处理的流程也基本上与参照图24的流程图所述的情况相同。但是，在图27中的例子的情况下，局部识别部件566在步骤S553中识别包括在捕获图像中的作为活体的每个局部，并提取每个局部的图像。另外，在步骤S554中，校正前亮度值计算部件564计算每个局部的提取图像的亮度值，亮度值存储部件565在步骤S555中存储每个所计算亮度值。另外，在步骤S558中，映射部件569使用在步骤S557中计算的色调曲线校正每个局部的图像。另外，在步骤S561中，校正 后亮度值计算部件571计算在步骤S558中获得的每个局部的校正图像的亮度值。在步骤S562中，比较部件572将当前校正之前每个局部的图像的亮度值与当前校正之后每个局部的图像的亮度值相比较。
通过如上所述设置各自参数的值，参数设置部分452可以将每个参数的值设置成可以抑制像出现噪声或白色那样的缺陷或可以获得较亮图像的值。另外，可以为每个局部独立地设置用于校正每个局部的图像的色调曲线。换句话说，参数设置部分452可以为作为活体的每个局部设置参数。在这种情况下，图18的色调曲线计算部分453为每个局部的每个图像计算色调曲线。另外，映射部分454从图像缓冲器451供应的捕获图像中识别包括在捕获图像中的作为活体的局部，并提取每个局部的图像。进一步，映射部分454使用色调曲线计算部分453计算的局部的色调曲线校正每个局部的提取图像。这样，色调再现处理部分415可以按照作为活体的图像的特征进行更适当色调再现处理。另外，尽管在第三实施例中，对色调再现处理部分415和超分辨率处理部分416两者使用被摄体的生物信息(有关眼底的信息)分别进行处理作了描述，但本技术不局限于此，例如，色调再现处理部分415和超分辨率处理部分416之一可以使用被摄体的生物信息进行处理，而另一个可以不使用被摄体的生物信息地进行处理。另外，例如，可以省略色调再现处理部分415或超分辨率处理部分416。〈4.第 四实施例〉[眼底图像处理装置的配置]同时，如上所述，成像单元101在成像的时候用光照射被摄体。在这种情况下的照射光是可见光，因此，考虑到对受检者的影响地减少照射光的光量。其结果是，施加可见光捕获的眼底图像是相对暗图像。因此，在本实施例中，成像单元使用包括红外光以及可见光的照射光使被摄体成像。红外光是肉眼看不见的，因此成像单元用足以进行对准以便进行成像的光量照射被摄体。从而，可以获得具有足以进行对准的亮度的眼底图像。另外，在本说明书中所述的红外光是不仅包括一般所述的近似700nm到IOOOnm的波段的红外光，而且包括近红外光的广义概念。例如，受检者不感到眼花缭乱的无创伤光是本说明书中所述的一种红外光。图28是例示本实施例的概况的图形。如图28的框600所例示，将以足以进行对准的光量施加红外光捕获的图像621对准。另外，像图像621那样，下文将通过施加红外光捕获的图像称为红外光图像。另外，如框601所例示，使用红外光图像621的对准结果(下文称为对准信息)将以较低光量施加可见光捕获的图像622对准。另外，像图像622那样，下文将以较低光量施加可见光捕获的图像称为可见光图像。从而，可以获得具有较高图像质量的被摄体的捕获图像。[眼底图像处理装置的配置]图29是例示眼底图像处理装置的配置例子的框图。例示在图29中的眼底图像处理装置700具有与例示在图3中的眼底图像处理装置200基本相同的配置，并进行相同的处理。但是，眼底图像处理装置700包括成像单元701和图像处理单元702来取代包括在眼底图像处理装置200中的成像单元101和图像处理单元202。因此，在下文中，只描述成像单元701和图像处理单元702。成像单元701将包括红外光以及可见光的光线施加于被摄体，并一起使用可见光和红外光重复进行眼底的多次成像。成像单元701的配置将参照图30来描述。
[成像单元]图30是例示成像单元701的主要配置例子的图形。如图30所例示，成像单元701包括光源731、镜732-1到732-3、透镜733、可见光成像单元734、红外光成像单元735、红外光截止滤波器736、和可见光截止滤波器737。光源731包括以可见光的波段和红外光的波段发光的照射源。此时，可见光具有相对较低光量，而红外光具有足以进行对准的光量。换句话说，红外光具有大于可见光的光量。镜732-1到732-3反射或透射可见光和红外光。透镜733使得在可见光成像单元734和红外光成像单元735上形成被摄体图像。换句话说，来自光源731的可见光和红外光分别被镜732-1到732_3反射以便改变它们的光路，通过透镜733，和入射在眼睛221的眼底上以便照射眼底。来自眼底，S卩，眼底图像的眼睛221的反射光被镜732-3反射，入射到可见光成像单元734和红外光成像单元735上。但是，安装在可见光成像单元734中的红外光截止滤波器736不透射红外光，只透射可见光。因此，来自眼底，即，眼底图像的眼睛221的反射光束的可见光的眼底图像透过安装在可见光成像单元734中的红外光截止滤波器，在可见光成像单元734的光感测表面上形成。另一方面，来自眼底，即，眼底图像的眼睛221的反射光束的红外光的眼底图像未透过可见光成像单元734的红外光截止滤波器736，未在可见光成像单元734的光感测表面上形成。因此，可见光成像单元734只捕获可见光的眼底图像，其结果是，只输出可见光图像。`另外，安装在红外光成像单元735中的红外光截止滤波器737不透射可见光，只透射红外光。因此，来自眼底，即，眼底图像的眼睛221的反射光束的红外光的眼底图像透过安装在红外光成像单元735中的可见光截止滤波器737，在红外光成像单元735的光感测表面上形成。另一方面，来自眼底，即，眼底图像的眼睛221的反射光束的红外光的眼底图像未透过红外光成像单兀735的可见光截止滤波器737,未在红外光成像单兀735的光感测表面上形成。因此，红外光成像单元735只捕获红外光的眼底图像，其结果是，只输出红外光图像。成像单元701施加包括可见光和红外光的光线，一起使用可见光和红外光进行眼底的多次成像。最好在尽可能短的时间中多次进行成像单元701的成像，以便通过成像获得的各个眼底图像可以尽可能相互接近。将通过成像单元701的成像获得、具有相对较低图像质量的多个可见光图像和具有足以进行对准的图像质量的多个红外光图像供应给图像处理单元702。另外，成像单元701的配置不局限于上述例子，而可以是能够获得被摄体的可见光图像和红外光图像的配置。例如，可以将可见光截止滤波器736和红外光截止滤波器737两者布置在分别包括在可见光成像单元734和红外光成像单元735中的成像元件中，可见光成像单元734和红外光成像单元735的每一个可以获取可见光图像和红外光图像。图像处理单元702对准成像单元701供应的、具有足以进行对准的图像质量的多个红外光图像。另外，图像处理单元702通过使用红外光图像中的对准信息(后面详述)对准具有相对较低图像质量的多个可见光图像，然后叠加图像，从而生成具有较高图像质量的单个眼底图像。如图29所例示，图像处理单元702包括输入图像缓冲器711、红外光图像对准处理部分712、初始图像缓冲器713、对准信息缓冲器714、可见光图像对准处理部分715、超分辨率处理部分716、和超分辨率结果图像缓冲器717。输入图像缓冲器711配备在像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质的区域的至少一部分中，并且存储成像单元701供应的具有相对较低图像质量的多个可见光图像和具有足以进行对准的图像质量的多个红外光图像作为输入图像。另外，如有必要，输入图像缓冲器711适当地将红外光图像供应给红外光图像对准处理部分712，将可见光图像供应给可见光图像对准处理部分715。红外光图像对准处理部分712使用被摄体图像的生物信息进行对准，以便在输入图像缓冲器711供应的红外光图像与后面所述的初始图像缓冲器713供应的红外光图像的初始图像之间对准被摄体。当对准收敛时，红外光图像对准处理部分712将对准信息供应给对准信息缓冲器714。另外，后面将参照图31和32描述红外光图像对准处理部分712的详细配置。作为用于对准的生物信息，可以采用，例如，血管、神经、视神经头等。当然，可以使用任何生物信息，以及可以使用其他生物信息段。初始图像缓冲器713配备在像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质的区域的至少一部分中，存储首先经由红外光图像对准处理部分712从输入图像缓冲器711供应的红外光图像作为初始图像。如有必要，初始图像缓冲器713适当地将初始图像供应给红外光图像对准处理部分712。对准信息缓冲器714配备在像，例如，硬盘、闪速存储器、或RAM那样的任何记录介质的区域的至少一 部分中，存储从红外光图像对准处理部分712供应的对准信息。可见光图像对准处理部分715通过将从对准信息缓冲器714中读取的对准信息应用于输入图像缓冲器711供应的可见光图像对准图像。将对准的可见光图像供应给超分辨率处理部分716。超分辨率处理部分716具有与图3的超分辨率处理部分212基本相同的配置，以及进行相同的处理。换句话说，超分辨率处理部分716从超分辨率结果图像缓冲器717中获取过去生成的超分辨率结果图像(也就是说，作为超分辨率处理的结果获得的图像)，并通过将超分辨率结果图像叠加在可见光图像对准处理部分715对准的可见光图像上进行超分辨率处理和大动态范围处理，从而生成超分辨率结果图像。超分辨率处理部分716将通过重复对准生成和具有较高分辨率和较宽动态范围的超分辨率结果图像存储在存储单元103中或从输出单元104输出它，并将超分辨率结果图像供应给超分辨率结果图像缓冲器717以便加以存储。超分辨率结果图像缓冲器717具有与图3的超分辨率结果图像缓冲器214基本相同的配置，以及进行相同的处理。换句话说，超分辨率结果图像缓冲器717存储超分辨率处理部分716生成的超分辨率结果图像，并且如有必要，适当地将超分辨率结果图像供应给超分辨率处理部分716。另外，超分辨率结果图像缓冲器717存储首先经由超分辨率处理部分716从可见光图像对准处理部分715供应的可见光图像作为输入图像。如有必要，超分辨率结果图像缓冲器717适当地将初始图像供应给超分辨率处理部分716。
[图像处理单元进行的处理]图31是例示具有这种配置的图像处理单元702进行的处理的流程的图形。如图31所例示，将成像单元701捕获的多个红外光图像621和多个可见光图像622存储在输入图像缓冲器711中。输入图像缓冲器711在预定定时逐个地将红外光图像621供应给红外光图像对准处理部分712。如图31的框741所例示，红外光图像对准处理部分712使用眼睛的信息(也就是说，生物信息)对输入图像缓冲器711供应的红外光图像621和初始图像缓冲器713供应的初始图像进行图像对准。当对准收敛时，红外光图像对准处理部分712将红外光图像中的对准信息供应给对准信息缓冲器714。通过重复这些处理将存储在输入图像缓冲器711中的所有红外光图像的对准信息存储在对准信息缓冲器714中。另外，如图31的框742所例示，可见光图像对准处理部分715将从对准信息缓冲器714中读取的每个红外光图像的对准信息应用于与输入图像缓冲器711供应的各自可见光图像相对应的可见光图像622，从而相互对准可见光图像。此后，将对准的可见光图像供应给超分辨率处理部分716，让其通过图像叠加经受超分辨率处理。[红外光图像对准处理部分的配置]接着，参照图32和33描述红外光图像对准处理部分712的详细配置。图32是例示图29的红外光图像对准处理部分712的主要配置例子的框图。如图32所例示，红外光图像对准处理部分712包括红外光图像血管提取部分751、初始图像血管提取部分752、红外光图像交点 提取部分753、初始图像交点提取部分754、交点对准处理部分755、和血管对准处理部分756。红外光图像血管提取部分751从输入图像缓冲器711供应的红外光图像中提取血管部分，以便供应给血管对准处理部分756。类似地，初始图像血管提取部分752从初始图像缓冲器7123供应的初始图像中提取血管部分，以便供应给血管对准处理部分756。血管对准处理部分756使用从每个图像中提取血管提取结果在红外光图像与初始图像之间相互对准血管，并将对准信息存储在对准信息缓冲器714中。另外，在使用血管提取结果(整个血管的形状或位置)对准之前可以使用血管的交点位置进行简单对准。在这种情况下，红外光图像血管提取部分751将来自红外光图像的血管提取结果供应给红外光图像交点提取部分753。红外光图像交点提取部分753从红外光图像血管提取部分751供应的血管提取结果中提取交点，并将交点提取结果供应给交点对准处理部分755。另外，初始图像血管提取部分752将来自初始图像的血管提取结果供应给初始图像交点提取部分754。初始图像交点提取部分754从初始图像血管提取部分752供应的血管提取结果中提取交点，并将交点提取结果供应给交点对准处理部分755。交点对准处理部分755使用从每个图像中提取的交点提取结果在红外光图像与初始图像之间相互对准交点。另外，将交点对准结果供应给血管对准处理部分756。 血管对准处理部分756将交点对准处理部分755供应的交点对准结果设置成初始状态，并使用血管提取结果进行红外光图像对准。换句话说，血管对准处理部分756以与交点对准相同的方式，按照交点对准结果进行对准，并叠加设置成初始状态的各自血管提取结果。这样，血管对准处理部分756可以从使用交点简单对准的状态开始对准，从而可以更容易地高速进行对准。另外，血管对准处理部分756可以使用其他生物信息段进行对准。例如，首先，血管对准处理部分756可以在在视神经头上进行对准的同时将红外光图像叠加在初始图像上，将叠加图像设置成初始值，并使用交点进行对准。[血管对准处理部分的配置]接着，参照图33描述使用整个血管的位置或形状的对准。图33是例示血管对准处理部分756的主要配置例子的框图。如图33所例示，血管对准处理部分756包括叠加处理部件771、位移处理部件772、延伸处理部件773、旋转处理部件774、放大和缩小处理部件775、和收敛确定部件776。叠加处理部件771将红外光图像血管提取部分751的血管提取结果(下文称为红外光图像血管提取结果)叠加在初始图像血管提取部分752的血管提取结果(下文称为初始图像血管提取结果)上。在使用交点进行对准的情况下，叠加处理部件771在使用交点对准处理部分755供应的交点对准结果进行与交点对准相同的对准的同时，将红外光图像血管提取结果叠加在初始图像血管提取结果上。叠加处理部件771将叠加结果供应给位移处理部件772。另外，血管对准处理部分756进行对准以便红外光图像血管提取结果与初始图像血管提取结果接近。位移处理部件772移动(位移)整个红外光图像血管提取结果，检测红外光图像血管提取结果与初始图像血管提取结果之间的绝对值差最小的位置，并且在绝对值差最小的情况下将叠加结果供应给延伸处理部件773。延伸处理部件773沿着某个方向延伸(变形)红外光图像血管提取结果，搜索红外光图像血管提取结果与初始图像血管提取结果之间的绝对值差最小的形状，并且在绝对值差最小的状态下将叠加结果供应给旋转处理部件774。旋转处理部件774从一侧到另一侧地旋转红外光图像血管提取结果，搜索红外光图像血管提取结果与初始图像血管提取结果之间的绝对值差最小的方向，并且在绝对值差最小的状态下将叠加结果供应给放大和缩小处理部件775。放大和缩小处理部件775放大或缩小红外光图像血管提取结果，搜索红外光图像血管提取结果与初始图像血管提取结果之间的绝对值差最小的尺寸，并且在绝对值差最小的状态下将叠加结果供应给收敛确定部件776。收敛确定部件776根据供应的叠加结果确定对准是否收敛。例如，收敛确定部件776通过重复进行上述各自处理多次将这次获得的对准结果与前次获得的对准结果相比较，如果红外光图像血管提取结果比前次更接近初始图像血管提取结果，则确定对准未收敛，而如果红外光图像血管提取结果未比前次更接近初始图像血管提取结果，则确定对准收敛。如果确定对准未收敛 ，则收敛确定部件776将叠加结果返还给位移处理部件772，以便再次进行对准。另外，如果确定对准收敛，则收敛确定部件776将叠加结果(例如，红外光图像血管提取结果与初始图像血管提取结果之间的绝对值差最小时的叠加结果)存储在对准信息缓冲器714中作为对准信息。另外，交点对准处理部分755具有与血管对准处理部分756基本相同的配置，以及除了作为用于对准的生物信息的整个血管与其交点之间的差异之外，基本上进行相同的处理。对所有红外光图像进行对准处理，将与每个红外光图像相对应的对准信息存储在对准信息缓冲器714中。然后，可见光图像对准处理部分715逐个地从输入图像缓冲器711中读取可见光图像，以及从对准信息缓冲器714中读取与所读取可见光图像相对应的红外光图像的对准信息。另外，可见光图像对准处理部分715通过将对准信息应用于可见光图像进行对准。

将对准的可见光图像供应给超分辨率处理部分716，让其通过图像叠加经受超分辨率处理。针对所有可见光图像，将通过重复对准和超分辨率处理生成和具有较高分辨率和较宽动态范围的眼底图像存储在存储单元103中或从输出单元104输出。另外，这里，高分辨率指示移除了模糊和因此变清晰的图像，分辨率实际上可能不高。[眼底图像生成处理的流程]接着，参照图34的流程图，对眼底图像处理装置700进行的眼底图像生成处理的流程的例子加以描述。在步骤S601中，成像单元701 —起使用可见光和红外光进行受检者眼底(也就是说，被摄体)的多次成像。此时，可见光具有较低光量，而红外光具有足以进行对准的光量。在步骤S602中，图像处理单元702将通过步骤S601中的处理获得的捕获图像，即，可见光图像和红外光图像存储在输入图像缓冲器711中。在步骤S603中，红外光图像对准处理部分712将初始红外光图像存储在初始图像缓冲器713中作为初始图像。在步骤S604中，红外光图像对准处理部分712从输入图像缓冲器711中选择和读取未处理红外光图像之一。在步骤S605中，红外光图像对准处理部分712进行对准处理。另外，该对准处理与参照图13和14的流程图所述的生物信息对准信息基本相同。但是，存在在图13的生物信息对准处理中，使用输入图像和之前的超分辨率结果图像，而在步骤S605中的对准处理中，使用红外光图像和初始图像的差异。因此，对对准处理的描述是重复的，予以省略。在步骤S606中，红外光图像对准处理部分712将对准信息存储在对准信息缓冲器714 中。在步骤S607中，红外光图像对准处理部分712确定是否已经处理了所有红外光图像，如果确定还存在未处理红外光图像，则该处理返回到步骤S604，以便进行随后处理。如果在步骤S607中确定所有红外光图像都得到处理，则该处理转到步骤S608。在步骤S608中，可见光图像对准处理部分715将初始可见光图像存储在超分辨率结果图像缓冲器717中作为初始图像。在步骤S609中，可见光图像对准处理部分715从输入图像缓冲器711中选择和读取未处理可见光图像之一。在步骤S610中，可见光图像对准处理部分715读取存储在对准信息缓冲器714中的对准信息。换句话说，可见光图像对准处理部分715读取与在步骤S609中读取的可见光图像相对应的红外光图像的对准信息。在步骤S611中，可见光图像对准处理部分715使用对准信息对可见光图像进行对准。在步骤S612中，超分辨率处理部分716进行超分辨率处理。另外，该超分辨率处理与参照图15的流程图所述的超分辨率处理基本相同。但是，存在在图15的超分辨率处理中，叠加对准的输入图像和之前的超分辨率结果图像，而在步骤S612中的超分辨率处理中，叠加对准的红外光图像和之前的超分辨率结果图像的差异。因此，对超分辨率处理的描述是重复的，予以省略。在步骤S613中，超分辨率处理部分716将通过超分辨率处理获得的新超分辨率结果图像输出到存储单元103或输出单元104，并将超分辨率结果图像存储在超分辨率结果图像缓冲器717中。在步骤S614中，超分辨率处理部分716确定是否已经处理了所有可见光图像。如果确定存在未处理可见光图像，则该处理返回到步骤S609，以便进行随后处理。如果在步骤S614中确定所有可见光图像都得到处理，则结束眼底图像生成处理。如上所述，由于使用红外光图像中的对准信息对准可见光图像，所以获得了具有较高图像质量的被摄体的捕获图像。<5.第五实施例>[眼底图像处理装置的另一种配置]下面将对在使用红外光图像中的对准信息对准可见光图像的情况下眼底图像处理装置的另一个配置例子加以描述。图35是例示眼底图像处理装置的另一个配置例子的框图。例示在图35中的眼底图像处理装置800将包括在使用红外光图像中的对准信息对准的可见光图像中的生物信息用于色调再现处理或超分辨率处理生成具有较高图像质量的眼底图像。眼底图像处理装置800具有与图29的眼底图像处理装置基本700基本相同的配置。但是，眼底图像处理装置800包括图像处理单元802来取代包括在眼底图像处理装置700中的图像处理单元702。因此，在下文中，只描述图像处理单元802。图像处理单元802具有与图像处理单元702基本相同的配置，以及进行相同的处理。但是，图像处理单元802包括噪声降低处理部分811、噪声降低结果图像缓冲器812、色调再现处理部分415、和超分辨率处理部分416来取代包括在图像处理单元702中的超分辨率处理部分716和超分辨率结果图像缓冲器717。因此，在下文中，只描述噪声降低处理部分811、噪声降低结果图像缓冲器812、色调再现处理部分415、和超分辨率处理部分416。噪声降低处理部分811具有与图16的噪声降低处理部分基本相同的配置，以及进行相同的处理。但是，噪声降低处理部分811通过将可见光图像对准处理部分715对准的可见光图像叠加在保存在 噪声降低结果图像缓冲器812中前叠加结果(也就是说，噪声降低结果)图像上放大眼底图像的动态范围，从而降低噪声。噪声降低结果图像缓冲器812具有与图16的噪声降低结果图像缓冲器411基本相同的配置，以及进行相同的处理。但是，噪声降低结果图像缓冲器812存储噪声降低处理部分811生成的噪声降低结果图像，并且如有必要，适当地将噪声降低结果图像供应给噪声降低处理部分811。另外，噪声降低结果图像缓冲器812存储首先经由噪声降低处理部分811从可见光图像对准处理部分715供应的对准可见光图像作为初始图像。色调再现处理部分415和超分辨率处理部分416具有与图16的色调再现处理部分415和超分辨率处理部分416基本相同的配置，以及进行相同的处理。因此，对它们的描述是重复的，予以省略。[眼底图像生成处理的流程]接着，参照图36，对眼底图像处理装置800进行的眼底图像生成处理的流程的例子加以描述。步骤S641到S651中的各自处理与图34的步骤S601到S611中的各自处理相同，对它们的描述是重复的，因此予以省略。步骤S652到S656中的各自处理与图22的步骤S406到S410中的处理基本相同。但是，在步骤S652中，噪声降低处理部分811叠加通过步骤S651中的处理对准的可见光图像，从而降低噪声。在步骤S653中，噪声降低处理部分811确定是否处理了所有可见光图像。如果确定存在未处理可见光图像，则噪声降低处理部分811使处理转到步骤S654。在步骤S654中，噪声降低结果图像缓冲器812存储通过步骤S652中的处理获得的噪声降低处理结果图像，即，叠加的可见光图像。当存储可见光图像时，噪声降低结果图像缓冲器812使处理返回到步骤S649，重复进行随后处理。如果重复进行步骤S649到S654中的处理，以及在步骤S653中确定所有可见光图像都得到处理，则噪声降低处理部分811使处理转到步骤S655。在步骤S655中，色调再现处理部分415对单个所生成可见光图像进行色调再现处理。另外，色调再现处理的细节与参照图23和24的流程图所述的那些基本相同，省略对它们的描述。在步骤S656中，超分辨率处理部分416对经过了色调再现处理的可见光图像进行超分辨率处理。另外，超分辨率处理的细节与参照图25的流程图所述的那些基本相同，省略对它们的描述。从而，获得具有高分辨率的眼底图像，并结束眼底图像生成处理。如上所述，由于使用红外光图像中的对准信息对准可见光图像，所以可以获得具有较高图像质量的被摄体的捕获图像。[具有其他配置的眼底图像处理装置的应用]同时，使用成像单元获得的可见光图像和红外光图像两者获得具有较高图像质量的被摄体的捕获图像的第四和第五实施例的技术可以应用于按照上述第一到第三实施例的眼底图像处理装置100、200和400的每一种。应用第四和第五实施例的技术的眼底图像处理装置100、200和400的各自配置基本上具有与例示在图1、3和16中的各自配置相同的配置。但是，应用第四和第五实施例的技术的各自眼底图像处理装置100、200和400使用两种图像，即，可见光图像和红外光图像，因此进行与第一到第 三实施例中的处理不同的处理。因此，在下文中，将按眼底图像处理装置100、200和400的次序对应用第四和第五实施例的技术的情况下的处理加以描述。首先，对在使用可见光图像和红外光图像两者的情况下图1的眼底图像处理装置100加以描述。图1的眼底图像处理装置100的存储单元101 —起使用可见光图像和红外光图像进行眼底的多次成像。换句话说，成像单元101具有与图29的存储部分701相同的配置，以及进行相同的处理。在图像处理单元102中，只将红外光图像用于运动矢量检测部分121的处理，而将可见光图像和红外光图像两者用于图像处理单元102的其他组成元件的处理。也就是说，输入图像缓冲器111存储成像单元101供应的可见光图像和红外光图像作为输入图像。SR图像缓冲器113保存所生成可见光图像和红外光图像的SR图像，并在预定定时将所生成可见光图像和红外光图像的SR图像供应给超分辨率处理部分112或计算部分114。将保存在SR图像缓冲器113中的红外光图像的SR图像供应给运动矢量检测部分121和运动补偿部分122，将保存在输入图像缓冲器113中的红外光图像的LR图像供应给运动矢量检测部分121和计算部分124。另一方面，将保存在SR图像缓冲器113中的可见光图像的SR图像只供应给运动补偿部分122，将保存在输入图像缓冲器111中的可见光图像的LR图像只供应给计算部分12。运动矢量检测部分121根据输入其中的红外光图像的SR图像和LR图像，将红外光图像的SR图像用作参考地检测运动矢量，并将红外光图像的检测运动矢量供应给运动补偿部分122和反向运动补偿部分126。运动补偿部分122根据运动矢量检测部分121供应的红外光图像的运动矢量，对可见光图像和红外光 图像的SR图像进行运动补偿，并将通过运动补偿获得的可见光图像和红外光图像供应给向下采样滤波器123。向下采样滤波器123通过向下采样运动补偿部分122供应的可见光图像和红外光图像，生成分辨率与LR图像相同的可见光图像和红外光图像，并将生成的可见光图像和红外光图像供应给计算部分124。计算部分124生成分别指示可见光图像和红外光图像的LR图像与向下采样的可见光图像和红外光图像之间的差图像，并将可见光图像和红外光图像的分别生成差图像供应给向上米样滤波器125。向上采样滤波器125通过向上采样计算部分124供应的可见光图像和红外光图像的各自差图像生成分辨率与SR图像相同的图像，并将所生成可见光图像和红外光图像输出到反向运动补偿部分126。反向运动补偿部分126根据运动矢量检测部分121供应的红外光图像的运动矢量，对向上采样滤波器125供应的可见光图像和红外光图像进行反向运动补偿，并将指示通过反向运动补偿获得的可见光图像和红外光图像的反馈值供应给计算部分114。计算部分114将反向运动补偿部分126供应的反馈值加入SR图像缓冲器113供应、过去生成的可见光图像和红外光图像的SR图像中，从而生成可见光图像和红外光图像的新SR图像。计算部分114将可见光图像和红外光图像的所生成新SR图像供应给SR图像缓冲器113以便加以存储，从而将SR图像用于随后超分辨率处理(也就是说，生成新SR图像)。另外，计算部分114将可见光图像的生成SR图像供应给存储单元103以便加以存储，将SR图像供应给输出单元104以便加以显示，或将SR图像输出到外部设备。图像处理单元102使用超分辨率处理部分112对保存在输入图像缓冲器111中的可见光图像和红外光图像的多个眼底图像(LR图像)的每一个进行超分辨率处理，最终生成具有较高图像质量的单个SR图像。[眼底图像处理装置的流程]参照图37的流程图，对眼底图像处理装置100进行的、使用可见光图像和红外光图像两者的眼底图像生成处理的例子加以描述。成像单元101在步骤S681中一起使用可见光和红外光两者进行受检者眼底(也就是说，被摄体)的多次成像。在步骤S682中，图像处理单元102将通过步骤SlOl中的处理获得的可见光图像和红外光图像存储在输入图像缓冲器111中。在步骤S683中，图像处理单元102使用某种方法生成作为可见光图像和红外光图像的初始SR图像的初始图像，以便存储在SR图像缓冲器113中。在步骤S684中，输入图 像缓冲器111选择未压缩的和保存在其中的可见光图像之一和红外光图像(即，LR图像)之一，以便供应给超分辨率处理部分112。在步骤S685中，运动矢量检测部分121从红外光图像的SR图像和LR图像中检测
运动矢量。在步骤S686中，运动补偿部分122使用红外光图像的运动矢量对可见光图像和红外光图像的SR图像进行运动补偿。在步骤S687中，向下采样滤波器123将经过运动补偿的可见光图像和红外光图像的SR图像向下采样成与LR图像相同的分辨率。在步骤S688中，计算部分124获取可见光图像和红外光图像的SR图像的向下采样结果与可见光图像和红外光图像的输入LR图像之间的差图像。在步骤S689中，向上采样滤波器125向上采样可见光图像和红外光图像的各自差图像。在步骤S690中，反向运动补偿部分126使用通过步骤S685中的处理检测的红外光图像的运动矢量对可见光图像和红外光图像的各自差图像的向上采样结果进行反向运动补偿。在步骤S691中，计算部分114将作为通过步骤S690中的处理计算的可见光图像和红外光图像的各自差图像的向上采样的结果的反馈值分别加入保存在SR图像缓冲器113中、过去生成的可见光图像和红外光图像的SR图像中。在步骤S692中，图像处理单元102将可见光图像的所生成新SR图像存储在存储单元103中或从输出单元104输出它，并将可见光图像和红外光图像存储在SR图像缓冲器113 中。在步骤S693中，输入图像缓冲器111确定是否处理了所有可见光图像和红外光图像(LR图像)，如果确定存在未处理可见光图像和红外光图像(LR图像)，则输入图像缓冲器111使处理返回到步骤S684，选择新可见光图像和红外光图像作为处理目标，并对可见光图像和红外光图像重复进行随后处理。在步骤S693中，如果确定通过成像单元101多次成像获得的多个可见光图像和红外光图像都得到处理，因此获得了具有较高图像质量的可见光图像的单个眼底图像，则结束眼底图像生成处理。这样，眼底图像处理装置100可以无需增加施加于眼底的可见光的照射光量地获得具有较高图像质量的眼底图像。也就是说，眼底图像处理装置100可以抑制被摄体负担的增加以及获得具有较高图像质量的被摄体的捕获图像。接着，对在使用可见光图像和红外光图像两者的情况下图3的眼底图像处理装置200加以描述。图3的眼底图像处理装置200的成像单元101 —起使用可见光和红外光重复进行眼底的多次成像。换句话说，成像单元101具有与图29的成像部分701相同的配置，以及进行相同的处理。·在图像处理单元202中，只将红外光图像用于生物信息对准处理部分212的处理，而将可见光图像和红外光图像两者用于图像处理单元102的其他组成元件的处理。也就是说，输入图像缓冲器111存储成像单元101供应的可见光图像和红外光图像作为输入图像。生物信息对准处理部分212使用被摄体的生物信息对输入图像缓冲器111供应的红外光图像(也就是说，输入图像)和超分辨率结果图像缓冲器214供应的红外光图像(也就是说，超分辨率处理部分213叠加的图像)进行图像对准。另外，生物信息对准处理部分212使红外光图像的对准结果反映在输入图像缓冲器111供应的可见光图像上。超分辨率处理部分213从超分辨率结果图像缓冲器214中获取过去生成的可见光图像和红外光图像的超分辨率处理结果图像(也就是说，作为超分辨率处理的结果获得的图像)，并将超分辨率结果图像叠加在生物信息对准处理部分212对准的可见光图像和红外光图像的输入图像上，从而生成可见光图像和红外光图像的新超分辨率结果图像。超分辨率处理部分213将可见光图像的超分辨率结果图像存储在存储单元103中或从输出单元104输出它，并将可见光图像和红外光图像供应给超分辨率结果图像缓冲器214以便加以存储。超分辨率结果图像缓冲器214保存超分辨率处理部分213生成的可见光图像和红外光图像的超分辨率结果图像，并在预定定时将超分辨率结果图像供应给生物信息对准处理部分212或超分辨率处理部分213。[眼底图像处理装置的流程]参照图38的流程图，对眼底图像处理装置200进行的、使用可见光图像和红外光图像两者眼底图像生成处理的流程的例子加以描述。步骤S721到S724中的各自处理以与图37的步骤S681到S684中的各自处理相同的方式进行。但是，在步骤S723中，将可见光图像和红外光图像的初始图像存储在超分辨率结果图像缓冲器214中。另外，在步骤S724中，单独地分别选择未处理可见光图像和红外光图像作为输入图像。当设置处理目标时，生物信息对准处理部分212在步骤S725中对红外光图像进行生物信息对准处理。另外，生物信息对准处理的细节与参照图13的流程图所述的那些基本相同，因此省略对它们的描述。但是，在图13的流程图中，只有步骤S227中的血管对准处理的细节将在后面参照图39加以描述。
在步骤S726中，超分辨率处理部分213使用可见光图像和红外光图像的对准结果进行超分辨率处理。另外，超分辨率处理的细节与参照图15的流程图所述的那些基本相同，因此省略对它们的描述。在步骤S727中，超分辨率处理部分213将通过超分辨率处理获得的可见光图像的新超分辨率结果图像输出到存储单元103或输出单元104，并将可见光图像和红外光图像存储在超分辨率结果图像缓冲器214中。在步骤S728中，输入图像缓冲器111确定是否处理了所有可见光图像和红外光图像，如果存在未处理可见光图像和红外光图像，则输入图像缓冲器使处理返回到步骤S724，以便执行随后的处理。如果在步骤S728中确定所有可见光图像和红外光图像都得到处理，则结束眼底图像生成处理。

[血管对准处理的流程]接着，参照图39的流程图，对图38的步骤S725中的生物信息对准处理(也就是说，图13的生物信息对准处理)中在步骤S227中进行的血管对准处理的流程的例子加以描述。步骤S741到S748中的各自处理以与图14的步骤S241到S248中的各自处理相同的方式进行。但是，步骤S741到S748中的各自处理是对作为处理目标的红外光图像进行的。如果在步骤S748中确定对准收敛，则生物信息对准处理部分212在步骤S749中从输入图像缓冲器111中读取与作为处理目标的红外光图像相对应的可见光图像。在步骤S750中，生物信息对准处理部分212使作为处理目标的红外光图像的对准结果反映在在步骤S749中读取的可见光图像上。换句话说，对准可见光图像。在步骤S751中，生物信息对准处理部分212根据红外光图像的对准结果对准可见光图像，并将对准的可见光图像和红外光图像以及血管提取结果输出到超分辨率处理部分213。从而，结束血管对准处理。这样，眼底图像处理装置200无需增加施加于眼底的可见光的照射光量地获得具有较高图像质量的眼底图像。也就是说，眼底图像处理装置200可以抑制被摄体负担的增加以及获得具有较高图像质量的被摄体的捕获图像。接着，对在使用可见光图像和红外光图像两者的情况下图16的眼底图像处理装置400加以描述。图16的眼底图像处理装置400的成像单元101 —起使用可见光和红外光重复进行眼底的多次成像。换句话说，成像单元101具有与图29的成像部分701相同的配置，以及进行相同的处理。在图像处理单元402中，只将红外光图像用于生物信息对准处理部分212的处理，而将可见光图像和红外光图像两者用于图像处理单元402的其他组成元件的处理。也就是说，输入图像缓冲器111存储成像单元101供应的可见光图像和红外光图像作为输入图像。生物信息对准处理部分212使用被摄体的生物信息对输入图像缓冲器111供应的红外光图像(也就是说，输入图像)和噪声降低结果图像缓冲器414供应的红外光图像(也就是说，噪声降低处理部分413叠加的图像)进行图像对准。另外，生物信息对准处理部分212使红外光图像的对准结果反映在输入图像缓冲器111供应的可见光图像上。噪声降低处理部分413分别将生物信息对准处理部分212对准的可见光图像和红外光图像叠加在保存在噪声降低结果图像缓冲器414中的前叠加结果(也就是说，噪声降低结果)的可见光图像和红外光图像上放大可见光图像和红外光图像的动态范围，从而降低噪声。噪声降低结果图像缓冲器414存储噪声降低处理部分413生成的可见光图像和红外光图像的噪声降低结果图像(也就是说，叠加结果图像)，并根据生物信息对准处理部分212或噪声降低处理部分413的请求或在预定定时，将可见光图像和红外光图像的噪声降低结果图像输出到生物信息对准处理部分212或噪声降低处理部分413。换句话说，重复进行生物信息对准处理部分212对红外光图像的对准或噪声降低处理部分413的叠加。这样，全部处理了通过成像单元101成像获得的多个可见光图像和红外光图像，从而生成单个可见光图像。色调再现处理部分415和超分辨率处理部分416分别具有与图16的那些相同的配置，以及进行相同的处理。换句话说，让色调再现处理部分415和超分辨率处理部分416的单个生成可见光图像在色调再现处理部分415中经受色调再现处理，然后在超分辨率处理部分416中经受超分辨率处理。[眼底图像生成处理的流程]参照图40的流程图，对眼底图像处理装置400进行的、使用可见光图像和红外光图像两者的眼底图像生成处理的流程的例子加以描述。步骤S771到S774中的各自处理以与图38的步骤S721到S724中的各自处理相同的方式进行。但是，在步骤S773中，将可见光图像和红外光图像的初始图像存储在噪声降低结果图像缓冲器414中。当设置了处理目标时，生物信息对准处理部分212在步骤S775中对红外光图像进行生物信息对准处理。另外，生物信息对准处理的细节与参照图13的流程图所述的那些基本相同，因此省略对它们的描述。进一步，图13的流程图中步骤S227中的血管对准处理的细节与参照图39的流程图所述的那些基本相同，因此省略对它们的描述。在步骤S776中，噪声降低处理部分413叠加通过步骤S775中的处理对准的可见光图像和红外光图像的各自图像，从而降低噪声。在步骤S777中，噪声降低处理部分413确定是否处理了所有可见光图像和红外光图像。如果确定在输入图像缓冲器111中存储未处理可见光图像和红外光图像，则噪声降低处理部分413使处理转到步骤S778。
在步骤S778中，噪声降低结果图像缓冲器414存储通过步骤S776中的处理获得的可见光图像和红外光图像的噪声降低处理结果图像，即，叠加的可见光图像和红外光图像。当存储了可见光图像和红外光图像时，噪声降低结果图像缓冲器414使处理返回到步骤S774，重复进行随后处理。如果重复进行步骤S774或S778中的处理，以及在步骤S777中确定所有可见光图像和红外光图像都得到处理，则噪声降低处理部分413使处理转到步骤S779。
在步骤S779中，色调再现处理部分415对生成的单个可见光图像进行色调再现处理。另外，色调再现处理的细节与参照图23的流程图所述的那些基本相同，因此省略对它们的描述。在步骤S780中，超分辨率处理部分416对经过了色调再现处理的图像进行超分辨率处理。另外，超分辨率处理的细节与参照图25的流程图所述的那些基本相同，因此省略对它们的描述。当完成了步骤S780中的处理时，结束眼底图像生成处理。这样，眼底图像处理装置400无需增加施加于眼底的可见光的照射光量地获得具有较高图像质量的眼底图像。也就是说，眼底图像处理装置400可以抑制被摄体负担的增加以及获得具有较高图像质量的被摄体的捕获图像。〈6.第六实施例>使上述眼底图 像处理装置较小，以便于观察者携带，从而，例如，可以使医生对受检者的眼睛作远程医疗检查。在这种情况下，在网络上进行眼底图像处理装置进行的处理的一些处理，从而可以使眼底图像处理装置较小。图41是例示远程医疗检查系统的配置例子的图形。如图41所例示,远程医疗检查系统900包括小型眼底相机911、医生终端设备912、护士终端设备913、病人终端设备914、网络915、图像处理设备916、和数据库917。小型眼底相机911进行作为被摄体的受检者(S卩，病人)的眼底的多次成像，并将作为其结果获得的多个眼底图像的数据发送给网络915。在本实施例中，小型眼底相机911包括CXD成像器件或CMOS成像器件、和将捕获的眼底图像发送给网络的发送单元等。但是，没有必要使小型眼底相机911特别具有按照本实施例的配置，可以使用任何配置，只要可以将多个捕获眼底图像的数据发送给网络915即可。另外，小型眼底相机911具有在成像期间将光线施加于被摄体以便输出具有较高图像质量的眼底图像的功能。换句话说，小型眼底相机911可以具有与上述成像单元101或成像单元701相同的配置，以及进行相同的处理。小型眼底相机911具有观察者可以携带的尺寸，以及由护士或病人他/她本身操作。医生终端设备912经由网络915从数据库917中获取眼底图像的数据和附加信息的数据作为医疗检查数据。从数据库917中生成后面所述的图像处理设备916生成的具有高图像质量的眼底图像的数据。另外，从数据库917中获取的附加信息包括辅助医生医疗检查的信息，例如，指示眼底图像中的目标部分的信息、和类似情况的信息。另外，附加信息可以包括，例如，有关病人的其他信息段，也就是说，像病人的身体素质或病历那样的信息，或可以包括任何信息。如有必要，医生终端设备912由医生经由网络915向护士终端设备913或病人终端设备914发送成像部分的指示、医疗检查结果、重新成像的指令等。护士终端设备913经由网络915从医生终端设备912接收成像部分的指示、医疗检查结果、重新成像的指令等。另外，护士终端设备913经由网络915从数据库917获取眼底图像的数据、和如有必要，附加信息的数据。如有必要，病人终端设备914经由网络915从医生终端设备912接收成像部分的指示、医疗检查结果、重新成像的指令等。另外，病人终端设备914经由网络915从数据库917获取眼底图像的数据。进一步，病人终端设备914可以经由网络915从数据库917获取
健康信息等。网络915是云网络，例如，在本实施例中是互联网。图像处理设备916可以具有与分别包括在上述眼底图像处理装置100、200，400，700和800中的图像处理单元102，202，402，702和802的任何一个相同的配置，以及进行相同的处理。换句话说，图像处理设备916从经由网络915从小型眼底相机911获取的多个捕获图像中生成具有较高图像质量的眼底图像。将所生成眼底图像的数据存储在数据库917中，或经由网络915供应给医生终端设备912、护士终端设备913、或病人终端设备914。数据库917存储成像设备916生成的眼底图像的数据。另外，数据库917存储附加信息或其他信息段。其他信息段的内容没有特别限制，可以包括，例如，健康信息等。另夕卜，经由网络915连接的设备的数量不局限于例示在图41中的例子。[远程医疗检查处理]接着，参照图42的流程图，对远程医疗检查系统900进行的远程医疗检查处理的流程的例子加以描述。

在步骤S881中，小型眼底相机911响应护士或病人的操作，进行眼底的多次成像。换句话说，小型眼底相机911使用低光量的可见光的照射光，或包括低光量的可见光和具有足以进行对准的光量的红外光的照射光进行眼底的多次成像。在步骤S882中，小型眼底相机911将在步骤S881中获得的眼底的捕获图像的数据发送给网络915。在步骤S883中，图像处理设备916进行从经由网络915获取的眼底的捕获图像中生成具有较高图像质量的眼底图像的眼底图像生成处理。另外，步骤S883中的眼底图像生成处理与参照图2，12，22，34或36的流程图所述的眼底图像生成处理基本相同。但是，首先在图2，12，22，34或36的眼底图像生成处理中进行的眼底的成像处理在步骤S881中由小型眼底相机911进行，因此进行从每种眼底图像生成处理中的第二步处理开始的随后处理。在步骤S884中，图像处理设备916经由网络915将所生成眼底图像的数据存储在数据库917中。在步骤S885中，医生终端设备912经由网络915从数据库917中获取眼底图像的数据和附加信息的数据作为医疗检查的数据。此后，如有必要，医生终端设备912经由网络915将医疗检查结果发送给护士终端设备913或病人终端设备914。在步骤S886中，医生终端设备912确定是否发出重新成像的指令。在发出重新成像的指令的情况下，该处理返回到步骤S881，重复进行随后处理。在在步骤S886中未发出重新成像的指令的情况下，结束远程医疗检查处理。按照远程医疗检查系统900，处在远程地点上的医生可以使用护士或病人利用小型眼底相机911使眼底成像获得的眼底的捕获图像进行医疗检查。在这种情况下，由于可以通过图像处理设备916在网络915上从通过小型眼底相机911获得的捕获图像中生成具有高图像质量的被摄体的捕获图像，所以医生可以一边观看具有高图像质量的被摄体的捕获图像一边进行远程医疗检查。<7.第七实施例>
[个人计算机]上述一系列处理可以通过硬件或软件来执行。在这种情况下，例如，可以配置如图43所例示的个人计算机。在图43中，个人计算机1000的CPU (中央处理单元)1001按照存储在R0M1002中的程序或从存储单元1013装载到RAM1003中的程序进行各种处理。RAM1003适当地存储CPU1001进行各自处理所需的数据等。CPU1001、R0M1002、和RAM1003经由总线1004相互连接。总线1004还与输入和输出接口 1010连接。输入和输出接口 1010与包括键盘、鼠标等的输入单元1011、包括像CRT (阴极射线管)显示器或LCD (液晶显示器)那样的显示器、扬声器等的输出单元1012、包括硬盘等的存储单元1013、和包括调制解调器等的通信单元1014连接。通信单元1014经由包括互联网的网络进行通信处理。输入和输出接口 1010如有必要与驱动器1015连接，像磁盘、光盘、磁光盘、或半导体存储器那样的可移除介质1021被适当地安装在其中，并且如有必要，将从其读取的计算机程序安装在存储单元1013中。在使用软件执行上述一系列处理的情况下，从网络或记录介质安装构成软件的程序。例如，如图43所例示，记录介质不仅包括分发给用户以便与设备主体分开地将程序输送给用户、像磁盘(包括软盘)、光盘(包括⑶-ROM (致密盘-只读存储器)和DVD (数字多功能盘))、磁光盘(包括MD(小型盘)、或半导体存储器，记录程序的可移除介质1021，而且包括在事先并入设备中的 状态下发送给用户的R0M，或包括在存储单元1013中的硬盘。计算机执行的程序可以是以按照描述在本说明书中的次序的时序进行各种处理的程序，或可以是并行地执行的程序或在像访问时那样的必要定时进行各种处理的程序。进一步，在本说明书中，描述记录在记录介质上的程序的步骤不仅包括以按照所述次序的时序进行的各自处理，而且包括虽然未必以时序进行，但并行地或分开地进行的各自处理。每个步骤可以由不同设备处理。另外，单个步骤可以分布在不同处理中。另外，在本说明书中，系统指的是包括多个设备的整个装置。进一步，在上面的描述中，描述成单个设备(或处理单元)的配置可以被划分成多个设备(或处理单元)或由多个设备(或处理单元)。相反，在上面的描述中，描述成多个设备(或处理单元)的配置可以由单个设备(或处理单元)整体形成。另外，可以将除了上述的那些之外的配置加入每个设备(或每个处理单元)的配置中。进一步，一个设备(或处理单元)的配置的一部分可以包括在另一个设备(或另一个处理单元)的配置中，只要整个系统的配置和操作基本相同即可。另外，本技术的实施例不局限于上述实施例，而是可以不偏离本技术的范围地存在各种修改实施例。另外，本技术可以具有如下配置。(I)一种图像处理装置，其包括:对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及叠加单元，用于叠加所述对准单元对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。(2)如(I)所述的图像处理装置，其中所述叠加单元包括检测部分，用于检测捕获图像与通过叠加生成的被摄体图像之间的运动矢量；运动补偿部分，用于通过使用所述检测部分检测的运动矢量对被摄体图像进行运动补偿；相减部分，用于从经过所述运动补偿部分的运动补偿的被摄体图像中减去捕获图像；反向运动补偿部分，用于通过使用所述检测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述相减部分的被摄体图像与捕获图像之间的差值进行运动补偿；以及相加部分，用于将经过所述反向运动补偿部分的运动补偿的差值加到被摄体图像。(3)如(I)或(2)所述的图像处理装置，其中所述叠加单元进一步包括向下采样部分，用于向下采样经过所述运动补偿部分的运动补偿的被摄体图像，以便将被摄体图像的分辨率降低到捕获图像的分辨率；以及向上采样部分，用于向上采样所述相减部分的被摄体图像与捕获图像之间的差值，以便将差值的分辨率提高到被摄体图像的分辨率，其中所述相减部分从所述向下采样部分向下采样的被摄体图像中减去捕获图像，以及其中所述反向运动补偿部分通过使用所述检 测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述向上采样部分向上采样的差值进行运动补偿。(4)如(1)，(2)或(3)所述的图像处理装置，其中所述对准单元进行对准，以便将所述成像单元获得的捕获图像中被摄体的位置调整成前次生成的被摄体图像中被摄体的位置，以及所述叠加单元逐个地将所述对准单元对准的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。(5)如(I)到(5)的任何一项所述的图像处理装置，其中所述被摄体是眼底，以及其中所述对准单元将血管用作生物信息。(6)如(I)到(5)的任何一项所述的图像处理装置，其中所述对准单元进一步将血管的交点用作生物信息。(7)如(I)到(6)的任何一项所述的图像处理装置，进一步包括估计单元，用于估计所述对准单元对准的捕获图像的点扩散函数；以及移除单元，用于通过使用所述估计单元估计的点扩散函数从捕获图像中移除模糊，其中所述叠加单元逐个地将所述对准单元已对准的、和所述移除单元已经从其移除了模糊的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。(8)如(I)到(7)的任何一项所述的图像处理装置，其中所述成像单元在利用相对暗的照射光照射被摄体的同时进行被摄体的多次成像。
(9)一种图像处理装置的图像处理方法，其包括使对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及使叠加单元叠加 对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。(10)一种图像处理装置，其包括:叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及灰度级校正单元，用于按照被摄体的生物信息对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。(11)如(10)所述的图像处理装置，其中所述灰度级校正单元包括参数设置部分，用于按照被摄体的生物信息，设置计算用于捕获图像的灰度级校正的色调曲线的参数值。(12)如(10)或(11)的任何一项所述的图像处理装置，其中所述参数设置部分包括调整部分，用于在预定方法中调整计算用于捕获图像的灰度级校正的色调曲线的参数值；校正部分，用于通过使用所述调整部分调整了其值的参数校正捕获图像；局部检验部分，用于在按照每个局部的图像的特征的方法中，为包括在捕获图像中的作为活体的每个局部检验作为所述校正部分校正的捕获图像的校正捕获图像；比较部分，用于当校正捕获图像通过所述局部检验部分进行的检验时，将作为所述校正部分校正之前的捕获图像的未校正捕获图像的亮度与校正捕获图像的亮度相比较；以及输出部分，用于当重复进行所述调整部分的调整、所述校正部分的校正、所述局部检验部分进行的检验、和所述比较部分的比较，以及所述比较部分确定校正捕获图像不比未校正捕获图像亮时，输出参数的值作为设置值。(13)如(10)，(11)或(12)的任何一项所述的图像处理装置，其中所述参数设置部分进一步包括局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部，以及其中所述局部检验部分检验所述局部识别部分识别的每个局部。(14)如(10)到(13)的任何一项所述的图像处理装置，其中所述参数设置部分进一步包括亮度值计算部分，用于计算指示捕获图像的亮度的亮度值，以及其中所述比较部分将未校正捕获图像的亮度与所述亮度值计算部分计算的校正捕获图像的亮度值相比较。(15)如(10)到(14)的任何一项所述的图像处理装置，其中所述参数设置部分进一步包括参数选择部分，用于从多个参数中选择所述调整部分要调整的调整目标参数。(16)如(10)到(15)的任何一项所述的图像处理装置，其中所述参数设置部分进一步包括局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部，其中所述校正部分校正所述局部识别部分识别的每个局部的图像，其中所述局部检验部分检验所述校正部分校正的每个局部的图像，以及其中所述比较部分比较所述校正部分校正前后每个局部的图像的亮度。(17)如(10)到(16)的任何一项所述的图像处理装置，进一步包括高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。(18)如(10)到(17)的任何一项所述的图像处理装置，其中所述高分辨率单元按照被摄体的生物信息提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。(19)一种图像处理装置的图像处理方法，其包括使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及使灰度级校正单元按照被摄体的生物信息对通过叠加多个捕获图像生成的捕获图像进行灰度级校正。(20)一种图像处理装置，其包括:叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获 图像；以及高分辨率单元，用于按照被摄体的生物信息提高通过所述叠加单元叠加多个捕获图像生成的捕获图像的分辨率。(21)如(20)所述的图像处理装置，其中所述高分辨率单元包括超分辨率处理部分，用于通过按照多种学习字典的每一种进行有关捕获图像的学习，进行提高捕获图像的分辨率的超分辨率处理，以便生成作为具有高分辨率的捕获图像的多个超分辨率结果图像；局部图像评估部分，用于在按照每个局部的图像的特征的方法中，为包括在超分辨率结果图像中的作为活体的每个局部评估通过所述超分辨率处理部分使用每部学习字典的超分辨率处理生成的每个超分辨率结果图像；以及图像选择部分，用于根据所述局部图像评估部分的评估，从多个超分辨率结果图像中选择最佳超分辨率结果图像。(22)如(20)或(21)所述的图像处理装置，其中所述高分辨率单元进一步包括局部识别部分，用于分析超分辨率结果图像和识别包括在超分辨率结果图像中的作为活体的局部，以及其中所述局部图像评估部分在按照每个局部的图像的特征的方法中，为所述局部识别部分识别的每个局部评估每个超分辨率结果图像。(23)如(20)，(21)或(22)所述的图像处理装置，进一步包含灰度级校正单元，用于对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正，其中所述高分辨率单元按照被摄体的生物信息提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。(24)如(20)到(24)的任何一项所述的图像处理装置，其中所述灰度级校正单元按照被摄体的生物信息对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。(25)一种图像处理装置的图像处理方法，其包括:使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及使高分辨率单元按照被摄体的生物信息提高通过叠加多个捕获图像生成的捕获图像的分辨率。(26)一种图像处理装置，其包括:红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及叠加单元，用于叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。(27)如(26)所述的图像处理装置，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。(28)如(26)或(27)所述的图像处理装置，其中所述红外光图像对准单元进行对准，以便将所述成像单元获取的红外光图像中被摄体的位置调整成所述成像单元获取的多个红外光图像中首先获取的红外光图像中被摄体的位置，以及其中所述叠加单元逐个地将所述可见光图像对准单元对准的可见光图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个可见光图像获得的、和具有比可见光图像的动态范围宽的动态范围的被摄体图像。(29)如(26)，(27)或(28)所述的图像处理装置，其中所述被摄体是眼底，所述红外光图像对准单元将血管用作生物信息。(30)如(26)到(29)的任何一项所述的图像处理装置，其中所述红外光图像对准单元进一步将血管的交点用作生物信息。(31)一种图像处理装置的图像 处理方法，其包括:使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及使叠加单元叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。(32)一种图像处理装置，其包括:红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；叠加单元，用于相互叠加所述可见光对准单元对准的可见光图像；以及灰度级校正单元，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。(33)如(32)所述的图像处理装置，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。(34)如(32 )或(33 )所述的图像处理装置，进一步包括高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。(35)如(32)，(33)或(34)所述的图像处理装置，其中所述高分辨率单元按照被摄体的生物信息提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。(36)如(32)到(35)所述的图像处理装置，其中所述被摄体是眼底，所述红外光图像对准单元将血管用作生物信息。(37)如(32)到(36)所述的图像处理装置，其中所述红外光图像对准单元进一步将血管的交点用作生物信息。(38)一种图像处理装置的图像处理方法，其包括:使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；使叠加单元相互叠加所述可见光对准单元对准的可见光图像；以及使灰度级校正单元按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。(39)一种医疗检查系统，其包括成像单元，用于使被摄体成像；图像处理单元，用于经由网络获取所述成像单元获得的多个捕获图像并对获取的多个捕获图像进行图像处理；存储单元，用于存储经过所述成像处理单元图像处理的捕获图像；以及输出单元，用于输出存储在所述存储单元中的捕获图像。(40)如(39)所述的医疗检查系统，其中所述图像处理单元包括对准部分，用于通过使用被摄体的生物信息进行对准，以便调整多个捕获图像中被摄体的位置；以及叠加部分，用于叠加所述对准单元对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。

(41)
如(39)或(40)所述的医疗检查系统，其中所述图像处理单元包括叠加单元，用于相互叠加所述成像单元获得的多个捕获图像；以及灰度级校正部分，用于按照被摄体的生物信息对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。(42)如(39)，(40)或(41)所述的医疗检查系统，其中所述图像处理单元进一步包括高分辨率部分，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。(43)如(39)到(42)的任何一项所述的医疗检查系统，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光，以及其中所述图像处理单元进一步包括红外光图像对准部分，用于通过使用被摄体的生物信息进行对准，以便调整通过所述成像单元获取的多个红外光图像中被摄体的位置；对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及叠加部分，用于叠加所述可见光对准部分对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。(44)如(39)到(43)的任何一项所述的医疗检查系统，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光，以及其中所述图像处理单元进一步包括红外光图像对准部分，用于通过使用被摄体的生物信 息进行对准，以便调整通过所述成像单元获取的多个红外光图像中被摄体的位置；对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；叠加部分，用于相互叠加所述可见光对准部分对准的多个可见光图像；以及灰度级校正部分，用于按照被摄体的生物信息对所述叠加部分叠加多个可见光图像生成的可见光图像进行灰度级校正。(45)如(39)到(44)的任何一项所述的医疗检查系统，其中所述被摄体是眼底。标号列表100眼底图像处理装置；101成像单元；102图像处理单元；103存储单元；104输出单元；111输入图像缓冲器；112超分辨率处理部分；113SR图像缓冲器；114计算部分；121运动矢量检测部分；122运动补偿部分；123向下采样滤波器；124计算部分；125向上采样滤波器；126反向运动补偿部分；200眼底图像处理装置；202成像处理单元；212生物信息对准处理部分；213超分辨率处理部分；214超分辨率结果图像缓冲器；241输入图像血管提取部分；242超分辨率结果图像血管提取部分；243输入图像交点提取部分；244超分辨率结果图像交点提取部分；245交点对准处理部分；246血管对准处理部分；271叠加处理部件；272位移处理部件；273延伸处理部件；274旋转处理部件；275放大和缩小处理部件；276收敛确定部件；301PSF(点扩散函数)估计部分；302模糊移除处理部分；303叠加处理部分；400眼底图像处理装置；402图像处理单元；413噪声降低处理部分；414噪声降低结果图像缓冲器；415色调再现处理部分；416超分辨率处理部分；451图像缓冲器；452参数设置部分；454映射部分；461调整目标参数选择部件；462参数初始值存储部件；463参数存储部件；464校正前亮度值计算部件；465亮度值存储部件；466局部识别部件；467参数调整部件；468色调曲线计算部件；469映射部件；470局部检验部件；471校正后亮度值计算部件；742比较部件；473数据输出部件；481学习字典存储部分；482图像处理部分；483局部识别部分；484局部评估准则存储部分；485局部图像评估部分；486图像选择部分；564校正前亮度值计算部件；565亮度值存储部件；566局部识别部件；569映射部件；570局部检验部件；571校正后亮度值计算部件；572比较部件；700眼底图像处理装置；702图像处理单元；711输入图像缓冲器；712红外光图像对准处理部分；713初始图像缓冲器；714对准信息缓冲器；715可见光图像对准处理部分；716超分辨率处理部分；717超分辨率结果图像缓冲器；800眼底图像处理装置；811噪声降低处理部分；812噪声降低结果图像缓冲器；900远程医疗检查系统；911小型眼底相机；912医生终端设备；913护士终端设备；914病人终端设备；915网络；916图像处理设备；`917数据库。
权利要求
1.一种图像处理装置，包含: 对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及 叠加单元，用于叠加所述对准单元对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。
2.如权利要求1所述的图像处理装置，其中所述叠加单元包括: 检测部分，用于检测捕获图像与通过叠加生成的被摄体图像之间的运动矢量； 运动补偿部分，用于通过使用所述检测部分检测的运动矢量对被摄体图像进行运动补偿； 相减部分，用于从经过所述运动补偿部分的运动补偿的被摄体图像中减去捕获图像；反向运动补偿部分，用于通过使用所述检测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述相减部分的被摄体图像与捕获图像之间的差值进行运动补偿；以及 相加部分，用于将经过所述反向运动补偿部分的运动补偿的差值加到被摄体图像。
3.如权利要求2所述的图像处理装置，其中所述叠加单元进一步包括: 向下采样部分，用于向下采样经过所述运动补偿部分的运动补偿的被摄体图像，以便将被摄体的分辨率降低到捕获图像的分辨率；以及 向上采样部分，用于向上采样所述相减部分的被摄体图像与捕获图像之间的差值，以便将差值的分辨率提高到被摄体图像`的分辨率， 其中所述相减部分从所述向下采样部分向下采样的被摄体图像中减去捕获图像，以及其中所述反向运动补偿部分通过使用所述检测部分检测的运动矢量，沿着与所述运动补偿部分的运动补偿相反的方向，对所述向上采样部分向上采样的差值进行运动补偿。
4.如权利要求1所述的图像处理装置，其中所述对准单元进行对准，以便将所述成像单元获得的捕获图像中被摄体的位置调整成前次生成的被摄体图像中被摄体的位置，以及 其中所述叠加单元逐个地将所述对准单元对准的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。
5.如权利要求1所述的图像处理装置，其中所述被摄体是眼底，以及 其中所述对准单元将血管用作生物信息。
6.如权利要求5所述的图像处理装置，其中所述对准单元进一步将血管的交点用作生物信息。
7.如权利要求4所述的图像处理装置，进一步包含: 估计单元，用于估计所述对准单元对准的捕获图像的点扩散函数；以及 移除单元，用于通过使用所述估计单元估计的点扩散函数从捕获图像中移除模糊， 其中所述叠加单元逐个地将所述对准单元已对准的、和所述移除单元已经从其移除了模糊的捕获图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个捕获图像获得的、和具有比捕获图像的动态范围宽的动态范围的被摄体图像。
8.如权利要求1所述的图像处理装置，其中所述成像单元在利用相对暗的照射光照射被摄体的同时进行被摄体的多次成像。
9.一种图像处理装置的图像处理方法，包含: 使对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个捕获图像中被摄体的位置；以及 使叠加单元叠加对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。
10.一种图像处理装置，包含: 叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及灰度级校正单元，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。
11.如权利要求10所述的图像处理装置，其中所述灰度级校正单元包括: 参数设置部分，用于按照被摄体的生物信息，设置计算用于捕获图像的灰度级校正的色调曲线的参数值。
12.如权利要求11所述的图像处理装置，其中所述参数设置部分包括: 调整部分，用于在预定方法中调整计算用于捕获图像的灰度级校正的色调曲线的参数值； 校正部分，用于通 过使用所述调整部分调整了其值的参数校正捕获图像； 局部检验部分，用于在按照每个局部的图像的特征的方法中，为包括在捕获图像中的作为活体的每个局部检验作为所述校正部分校正的捕获图像的校正捕获图像；比较部分，用于当校正捕获图像通过所述局部检验部分进行的检验时，将作为所述校正部分校正之前的捕获图像的未校正捕获图像的亮度与校正捕获图像的亮度相比较；以及输出部分，用于当重复进行所述调整部分的调整、所述校正部分的校正、所述局部检验部分进行的检验、和所述比较部分的比较，并且所述比较部分确定校正捕获图像不比未校正捕获图像亮时，输出参数的值作为设置值。
13.如权利要求12所述的图像处理装置，其中所述参数设置部分进一步包括: 局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部，以及 其中所述局部检验部分检验所述局部识别部分识别的每个局部。
14.如权利要求12所述的图像处理装置，其中所述参数设置部分进一步包括: 亮度值计算部分，用于计算指示捕获图像的亮度的亮度值，以及 其中所述比较部分将未校正捕获图像的亮度值与所述亮度值计算部分计算的校正捕获图像的亮度值相比较。
15.如权利要求12所述的图像处理装置，其中所述参数设置部分进一步包括: 参数选择部分，用于从多个参数中选择所述调整部分要调整的调整目标参数。
16.如权利要求12所述的图像处理装置，其中所述参数设置部分进一步包括: 局部识别部分，用于分析捕获图像和识别包括在捕获图像中的作为活体的局部， 其中所述校正部分校正所述局部识别部分识别的每个局部的图像， 其中所述局部检验部分检验所述校正部分校正的每个局部的图像，以及 其中所述比较部分比较所述校正部分校正前后的每个局部的图像的亮度。
17.如权利要求10所述的图像处理装置，进一步包含: 高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。
18.如权利要求17所述的图像处理装置，其中所述高分辨率单元按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。
19.一种图像处理装置的图像处理方法，包含: 使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及 使灰度级校正单元按照被摄体的生物信息，对通过叠加多个捕获图像生成的捕获图像进行灰度级校正。
20.一种图像处理装置，包含: 叠加单元，用于相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及 高分辨率单元，用于按照被摄体的生物信息，提高通过所述叠加单元叠加多个捕获图像生成的捕获图像的分辨率。
21.如权利要求20所述的图像处理装置，其中所述高分辨率单元包括: 超分辨率处理部分，用于通过按照多种学习字典的每一种进行有关捕获图像的学习，进行提高捕获图像的分辨率的超分辨率处理，以便生成作为具有高分辨率的捕获图像的多个超分辨率结果图像； 局部图像评估部分，用于在按照每个局部的图像的特征的方法中，为包括在超分辨率结果图像中的作为活体的每个局部，评估通过所述超分辨率处理部分使用每部学习字典的超分辨率处理生成的每个超分辨率结果图像；以及 图像选择部分，用于根据所 述局部图像评估部分的评估，从多个超分辨率结果图像中选择最佳超分辨率结果图像。
22.如权利要求21所述的图像处理装置，其中所述高分辨率单元进一步包括: 局部识别部分，用于分析超分辨率结果图像和识别包括在超分辨率结果图像中的作为活体的局部，以及 其中所述局部图像评估部分在按照每个局部的图像的特征的方法中，为所述局部识别部分识别的每个局部评估每个超分辨率结果图像。
23.如权利要求20所述的图像处理装置，进一步包含: 灰度级校正单元，用于对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正， 其中所述高分辨率单元按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。
24.如权利要求23所述的图像处理装置，其中所述灰度级校正单元按照被摄体的生物信息，对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。
25.一种图像处理装置的图像处理方法，包含: 使叠加单元相互叠加通过将被摄体成像的成像单元获取的多个捕获图像；以及 使高分辨率单元按照被摄体的生物信息，提高通过叠加多个捕获图像生成的捕获图像的分辨率。
26.一种图像处理装置，包含: 红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置；对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及 叠加单元，用于叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。
27.如权利要求26所述的图像处理装置，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。
28.如权利要求27所述的图像处理装置，其中所述红外光图像对准单元进行对准，以便将所述成像单元获取的红外光图像中被摄体的位置，调整成所述成像单元获取的多个红外光图像中首先获取的红外光图像中被摄体的位置，以及 其中所述叠加单元逐个地将所述可见光图像对准单元对准的可见光图像叠加在前次生成的被摄体图像上，以便生成通过相互叠加多个可见光图像获得的、和具有比可见光图像的动态范围宽的动态范围的被摄体图像。
29.如权利要求26所述的图像处理装置，其中所述被摄体是眼底，以及 其中所述红外光图像对准单元将血管用作生物信息。
30.如权利要求29所述的图像处理装置，其中所述红外光图像对准单元进一步将血管的交点用作生物信息。
31.一种图像处理装置的图像处理方法，包含: 使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置； 使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及 使叠加单元叠加所述可见光对准单元对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。
32.一种图像处理装置，包含: 红外光图像对准单元，用于通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置； 对准信息存储单元，用于存储作为所述红外光图像对准单元的对准结果的对准信息；可见光图像对准单元，用于通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置； 叠加单元，用于相互叠加所述可见光对准单元对准的多个可见光图像；以及灰度级校正单元，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。
33.如权利要求32所述的图像处理装置，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光。
34.如权利要求32所述的图像处理装置，进一步包含:高分辨率单元，用于提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。
35.如权利要求34所述的图像处理装置，其中所述高分辨率单元按照被摄体的生物信息，提高经过所述灰度级校正单元的灰度级校正的可见光图像的分辨率。
36.如权利要求32所述的图像处理装置，其中所述被摄体是眼底，以及 其中所述红外光图像对准单元将血管用作生物信息。
37.如权利要求36所述的图像处理装置，其中所述红外光图像对准单元进一步将血管的交点用作生物信息。
38.一种图像处理 装置的图像处理方法，包含: 使红外光图像对准单元通过使用被摄体的生物信息进行对准，以便调整通过将被摄体成像的成像单元获取的多个红外光图像中被摄体的位置； 使对准信息存储单元存储作为所述红外光图像对准单元的对准结果的对准信息；使可见光图像对准单元通过使用存储在所述对准信息存储单元中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置； 使叠加单元相互叠加所述可见光对准单元对准的多个可见光图像；以及使灰度级校正单元按照被摄体的生物信息，对通过所述叠加单元叠加多个可见光图像生成的可见光图像进行灰度级校正。
39.一种医疗检查系统，包含: 成像单元，用于使被摄体成像； 图像处理单元，用于经由网络获取所述成像单元获得的多个捕获图像并对获取的多个捕获图像进行图像处理； 存储单元，用于存储经过所述成像处理单元图像处理的捕获图像；以及输出单元，用于输出存储在所述存储单元中的捕获图像。
40.如权利要求39所述的图像处理装置，其中所述图像处理单元进一步包括: 对准部分，用于通过使用被摄体的生物信息进行对准，以便调整多个捕获图像中被摄体的位置；以及 叠加部分，用于叠加所述对准部分对准的捕获图像，以便生成具有比捕获图像的动态范围宽的动态范围的被摄体图像。
41.如权利要求39所述的图像处理装置，其中所述图像处理单元进一步包括: 叠加部分，用于相互叠加所述成像单元获得的多个捕获图像；以及 灰度级校正部分，用于按照被摄体的生物信息，对通过所述叠加单元叠加多个捕获图像生成的捕获图像进行灰度级校正。
42.如权利要求41所述的图像处理装置，其中所述图像处理单元进一步包括: 高分辨率部分，用于提高经过所述灰度级校正单元的灰度级校正的捕获图像的分辨率。
43.如权利要求39所述的图像处理装置，其中所述成像单元在利用包括照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光，以及 其中所述图像处理单元进一步包括:红外光图像对准部分，用于通过使用被摄体的生物信息进行对准，以便调整通过所述成像单元获取的多个红外光图像中被摄体的位置； 对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置；以及 叠加部分，用于叠加所述可见光对准部分对准的可见光图像，以便生成具有比可见光图像的动态范围宽的动态范围的被摄体图像。
44.如权利要求39所述的图像处理装置，其中所述成像单元在利用照射光照射被摄体的同时进行被摄体的多次成像，所述照射光包括具有预定光量的可见光和光量大于预定光量的红外光，以及 其中所述图像处理单元进一步包括: 红外光图像对准部分，用于通过使用被摄体的生物信息进行对准，以便调整通过所述成像单元获取的多个红外光图像中被摄体的位置； 对准信息存储部分，用于存储作为所述红外光图像对准部分的对准结果的对准信息；可见光图像对准部分，用于通过使用存储在所述对准信息存储部分中的对准信息进行对准，以便调整所述成像单元获取的多个可见光图像中被摄体的位置； 叠加部分，用于相互叠加所述可见光对准部分对准的多个可见光图像；以及灰度级校正部分，用于按照被摄体的生物信息对所述叠加部分叠加多个可见光图像生成的可见光图像进行灰度级校正。
45.如权利要求39 所述的图像处理装置，其中所述被摄体是眼底。
全文摘要
本技术涉及图像处理装置以及方法，尤其涉及配置使得能够抑制被摄体负担的增加的同时获取被摄体的较高质量图像的图像处理装置以及方法。成像单元以减少的光量多次捕获眼睛的眼底的图像，并且生成多个眼底图像。生物信息对准处理单元使用被摄体的生物信息调整眼底图像的位置。超分辨率处理单元将调整位置的输入图像叠加在之前的超分辨率图像上以便生成新超分辨率图像。超分辨率处理单元除了将超分辨率图像存储在存储单元中或从输出单元输出，还将超分辨率图像供应给超分辨率结果图像缓冲器以便加以存储。本技术可以应用于例如图像处理装置。
文档编号G06T1/00GK103188988SQ20118005225
公开日2013年7月3日 申请日期2011年8月26日 优先权日2010年8月27日
发明者相坂一树, 小林诚司, 岸本拓哉, 大月知之 申请人:索尼公司