图像处理装置、图像处理方法以及记录介质的制作方法_4

文档序号:8909202阅读:来源:国知局
04所取得的特征量向量的距离,使其与第i个种类识别符形成对应关系,且暂时储存于缓冲器。
[0189](步骤S506)数字处理装置133将计数器i递增1,并返回步骤S503。
[0190](步骤S507)数字处理装置133取得与步骤S505所算出的最小距离对应的种类识别符。回到上位处理。
[0191]再者,图5的流程图中,种类识别符取得处理也可用如上述的其他方法。亦即,图5的流程图中,使用区块的特征量向量(I个以上的邻近特征量)来决定种类识别符,但也可如上述方式使用整体特征量或邻近特征量来决定种类识别符,也可用电子节目表的信息等来决定种类识别符,也可依据使用者的指示来决定种类识别符。
[0192]以下,就本实施例的图像处理装置I的具体动作加以说明。图像处理装置I的示意图为图6。图6中显示了图像处理装置I将所拍摄的图像进行受理、数字处理、及模拟处理(与上述的物理性特性处理同样),并将因拍摄或数字处理而失去的拍摄对象的物理性特性再重现。而且,图6的数字处理中,也显示可进行使用模拟处理结果的回授控制、使用输出装置(屏幕面)信息的回授控制、或视听者反应的回授控制。又,图6中,所谓模拟处理,是指投影机等输出部16的光输出控制的处理。再者,也可说,图像处理装置I在将所受理的图像进行数字处理后,亦进行供由数字处理所失去的物理性特性再重现的模拟处理。
[0193]以下,就5个具体例加以陈述。
[0194](具体例I)
[0195]在具体例I中,图像处理装置I藉由模拟处理(也可称为模拟补偿处理),以图像内的对象(例如,山)在使用者的认识上接近现实世界大小的方式,进行光控制,使图像得以放大投影。再者,在具体例I中,图像处理装置I依藉由物理性特性处理所附加的物理性特性,进行调整时空亮度活动性的数字处理(也可称为数字补偿处理)。此外,在具体例I中,图像处理装置I在数字补偿处理中使用LUT来调整时空亮度活动性。另外,在此,LUT储存在储存部10,LUT具有的对应信息,在此设为具有第二特征量向量、用以进行图像处理的参数群、以及物理特性信息。
[0196]在这种状况中,首先,图像受理部11受理I个以上的图像(也称为映像)。接着,图像分析部12将所受理的映像以空间性、或时间性、或空间性兼时间性分割为I个或2个以上,而取得I个或2个以上时空区块。另外,在时空区块为I个的情况中,不进行分割。
[0197]接着,图像分析部12按各时空区块的每一个取得第一特征量向量,该第一特征量向量是为具有2个以上各时空区块的有关亮度信息的特征量向量。
[0198]然后,图像分析部12从储存部10的LUT中按各时空区块的每一个取得与对应信息具有的第二特征量向量和第一特征量向量距离最小的第二特征量向量对应的对应信息。
[0199]接着,数字处理部13按各时空区块的每一个取得参数群,该参数群具有所取得的对应信息。
[0200]其次,数字处理部13使用按各时空区块的每一个取得的参数群,将时空区块进行图像处理,并取得处理图像的一部分或整体。
[0201]然后,物理特性信息取得部14取得物理特性信息(例如,显示画面面积)。在此,物理特性信息取得部14取得与I个或2个以上各时空区块对应的I个或2个以上对应信息具有的I个或2个以上物理特性信息。接着,物理特性信息取得部14会取得例如I个或2个以上物理特性信息的平均值(例如,显示画面面积)。另外,在此,特性信息取得部14取得的信息,可以不是物理特性信息的平均值,也可以是例如物理特性信息的中央值等。
[0202]其次,物理性特性处理部15进行以物理特性信息来表示的物理性特性处理。在此,例如,物理性特性处理部15将物理特性信息的平均值(例如,显示画面面积)设定作为输出部16的参数。
[0203]然后,输出部16使用所设定的参数(例如,显示画面面积)来输出处理图像。
[0204]接着,图像受理部11会受理新的映像。然后,图像分析部12将所受理的映像进行分割,而取得I个或2个以上时空区块。
[0205]其次,图像分析部12按各时空区块的每一个取得第一特征量向量,该第一特征量向量为具有2个以上各时空区块的有关亮度信息的特征量向量。
[0206]然后,图像分析部12会按各时空区块的每一个取得对应信息,而该对应信息为在储存部10的LUT中的对应信息中,与对应于对应信息的第二特征量向量和与第一特征量向量距离最小的第二特征量向量对应。
[0207]接着,数字处理部13按各时空区块的每一个取得参数群,该参数群具有所取得的对应信息。另外,该参数群如图7所示,包含对以摄影机拍摄的映像(所受理的映像)依显示画面面积来调整时空亮度活动性的参数。
[0208]其次,数字处理部13按各时空区块的每一个使用所取得的参数群,将时空区块作图像处理,而取得处理图像的一部分或整体。在此,与图像处理前比较,处理图像的部分或整体的时空亮度活动性,是在以显示画面面积输出时做了适当的调整。
[0209]接着,例如,物理性特性处理部15将物理特性信息的平均值(例如,显示画面面积)设定作为输出部16的参数。
[0210]接着,输出部16会使用所设定的参数来输出处理图像。然后,在受理映像期间,重复进行以上的处理。
[0211]以上,若依据具体例1,就藉由模拟补偿处理设定显示画面面积以进行图像输出时,进行将对应显示画面面积的时空亮度活动性修复的数字补偿处理的情形加以说明。
[0212]另外,这种数字补偿处理,如例如图8所示,是藉由使用LUT的对应信息将时空区块的图像样式加以置换的处理来实现。在图8中左侧的91为将图像受理部11所受理的图像(也可称为输入图像)在时空上进行分割的时空区块的集合。使用该时空区块的信息和物理特性信息,从储存在储存部10的LUT,求得对应时空区块的处理图像的一部分。在此,所谓从LUT求得的信息,可为例如图像本身、处理图像的参数、或是例如滤波器系数之类的信息。储存有滤波器系数的情况中,藉由将其施于作为所输入图像的一部分的时空区块,而求得处理图像的一部分。
[0213]例如,LUT中也可以储存依作为物理特性信息的显示画面面积来使图像的时空活动性增加那样的滤波器系数。而且,在输入图像和处理图像中,时空的分辨率及阶度也可以不同。在图8的例子中,是将输入图像中空间方向为3X3、时间方向为3个图像框的时空区块(91),以处理图像92中朝空间方向为4X4分割、时间方向为4个图像框来置换。对于以此方式求得的处理图像,藉由在图像输出装置上进行反映所谓显示画面面积的物理特性信息的光输出,可以输出物理性特性再重现的图像。此外,藉由让用户观看该图像,会令用户产生与实际直接看到对象时同样的反应,可以让使用者感受到例如山的雄伟、壮大感等。
[0214](具体例2)
[0215]在具体例2中,就具备多个输出部16的图像处理装置I,亦即,藉由模拟补偿处理,将映像中需要分辨率的部位和其他部位比较,并控制多个输出部16的输出,使其成为高分辨率的图像处理装置I加以说明。另外,此处的输出部16为例如投影机。在此,所谓图像中需要分辨率的部位,是为例如在图像中活动性较高的部分、或对视听者较重要的部分。
[0216]再者,在具体例2中,就为了将空间分辨率不均匀图像的弊害减少或除去,而进行数字补偿处理,使时空区块中的亮度变化呈流畅变化的图像处理装置I加以说明。另外,这种数字补偿处理通常是使用具有亮度活动性的范围信息的约束条件来进行。这种约束条件储存在约束条件储存装置131。
[0217]在此种状况中,首先,由图像受理部11受理映像。接着,图像分析部12将所受理的映像进行分割,而取得I个或2个以上时空区块。
[0218]然后,图像分析部12按各时空区块的每一个取得第一特征量向量,而该第一特征量向量是为具有关于2个以上各时空区块亮度的信息的特征量向量。另外,在此,第一特征量向量包含像素值的空间活动性信息。又,在此,像素值的空间活动性越大的空间区块,作为可以判断为区块内图像的变化越大、越重要的部位。
[0219]接着,图像分析部12按各时空区块的每一个取得与第二特征量向量对应的信息,而该第二特征量向量是指在储存部10的LUT中的对应信息中,与对应信息对应的第二特征量向量和与第一特征量向量的距离最小的第二特征量向量。
[0220]其次,物理特性信息取得部14会按各时空区块的每一个取得包含在相对应的对应信息的物理特性信息(在此为分辨率)。
[0221]接着,物理性特性处理部15进行以物理特性信息所表示的物理性特性处理。在此,例如,物理性特性处理部15将对应各时空区块的为2个以上输出部16的任何I个以上的输出部16的分辨率设定为物理特性信息取得部14所取得的分辨率。或者,例如,物理性特性处理部15将各时空区块的处理图像及显示该区域的信息(显示画面内的空间区域的信息)传递到可以将分辨率与对应各时空区块的分辨率相同的图像输出的输出部16,并指示该处理图像的输出。
[0222]然后,数字处理部13按各时空区块的每一个取得参数群,该参数群具有所取得的对应信息。
[0223]其次,数字处理部13按各时空区块的每一个,使用取得的参数群,将时空区块进行图像处理,并取得处理图像的一部分或整体。
[0224]然后,数字处理部13的数字处理装置133从约束条件储存装置131读取约束条件。
[0225]接着,数字处理装置133会判断所取得的处理图像的全部或一部分是否符合所读取的约束条件。然后,在未符合约束条件的情况中,数字处理装置133会将所取得的处理图像全部或一部分加以变更,使其符合约束条件,并取得新的处理图像。另外,在此,所谓未符合约束条件的情况,是指例如图像整体的明亮度不固定的情况以及相邻接的像素间的分辨率变化非为连续性变化的情况(相邻接的像素间的分辨率差在阈值以上的情况)等。
[0226]其次,2个以上的各输出部16将物理性特性处理、及经数字处理的处理图像输出。
[0227]兹就具体例2作更具体的说明。使用多个投影机输出映像的情况中,如图9所示,通常,多个投影机是以相同分辨率输出相同面积的图像,并可得到空间分辨率均匀的图像输出。但是,均匀空间分辨率的图像,在重要部位或不重要的部位皆为相同分辨率,对视听者(意义和使用者相同)来说并不理想。在具体例2的图像处理装置I中,是如图10所示产生不均匀分辨率的映像,以使重要部位的分辨率变大。还有,在产生不均匀分辨率的映像的情况中,通常,是如图11所示,会产生画面整体明亮度不均匀(参照图11(a)的121)、分辨率连续性无法保持(参照图11(a)的123),而变成难看的图像。但是,在具体例2的图像处理装置I中,藉由使用约束条件或LUT的数字处理,可以使画面明亮度均匀,并且保持分辨率连续性。另外,关于分辨率连续性,数字处理装置133也可以在视野范围内进行保存处理。此外,在该情况中,视野范围信息储存装置132保存视野范围信息。然后,数字处理装置133会在视野范围信息所示的视野范围内,使用约束条件,判断是否符合约束条件。
[0228](具体例3)
[0229]在具体例3中,就例如对于拍摄有广范围的映像,在视野范围中有阶度不足、或失去物理性特性的情况中,可以尽量再重现该物理性特性的图像处理装置I加以说明。
[0230]在具体例3中,例如,图像处理装置I具备有2个投影机。而且,假设图像受理部11受理以适当曝光拍摄前述广范围的整体的映像(以下称为映像A)及以适当曝光对昏暗范围拍摄的映像(以下称为映像B)。例如,拍摄映像A的快门速度设为l/200s,拍摄映像B的快门速度设为慢4倍的l/50s。
[0231]在此,映像A整体的阶度为8位(BH),像素值存在于从O到255的大致全部范围。但是,观看映像A中昏暗部分的情况中,进入视野的范围(图12的131)中,像素值被假设为只存在于例如O到63的范围。在该情况下,在映像A中,虽然映像整体的阶度为8位(256阶),该视野范围内的阶度可说只有6位(64阶)。
[0232]另一方面,在映像B中,因为快门速度为慢4倍,对应该视野范围的区域的像素值分布可说是从O到255,有8位的阶度。但是,在映像B中,其他区域会形成过度曝光,发生像素值达255之处为数甚多。
[0233]再者,物理特性信息取得部14使一个投影机(以下称为投影机A)和映像A形成对应,其他的投影机和映像B形成对应。在此,物理特性信息里是为映像A和映像B的明亮度的关系。亦即,在此,因为映像B是以相较于映像A慢4倍的快门速度拍摄,所以,相同明亮度的对象,对于映像A可以4倍的像素值来观测。换言之,相对于映像A,映像B应该可以1/4的明亮度再重现。
[0234]接着,物理性特性处理部15是依物理特性信息取得部14所进行的对应关系形成,指示一个投影机输出映像A,且指示另一个投影机输出映像B。在此,物理性特性处理部15根据以物理特性信息取得部14求得的物理特性信息,对投影机A指示以光量4输出,对投影机B指示以光量I输出。
[0235]然后,数字处理装置133应用储存于约束条件储存装置131的约束条件,对例如映像A及映像B判断是否符合约束条件。在不符合约束条件的情况中,数字处理装置133会将映像A及映像B变更,使之符合约束条件。另外,此处的约束条件,是指例如保持视野范围内的像素间关系、保持广范围的整体图像的平衡等。
[0236]在此,所谓像素间的关系,是指例如,相邻接像素的不同明亮度表现出亮度的不同作为最终输出结果(光重叠后的结果)的情形。而且,所谓图像整体的平衡,是指例如作为最终的输出结果(图像重叠后的结果)而言,图像整体的明亮度分布和以适当曝光拍摄的映像A相比,没有太大不同的情形。
[0237]其次,一个投影机将符合约束条件的映像A输出,另一投影机将符合约束条件的映像B重叠于映像A,并加以输出。藉此方式,使用者就可以得到在视野范围内总是很充分的阶度信息,可以得到和实际直接观看对象时同样的感觉。而且,就其结果而言,眼睛动作、脸部动作等的反应,会和实际直接观看对象时的反应相同。
[0238]另外,在此虽就假设摄影机及投影机的像素值和输出的明亮度的关系为线形关系的情形加以说明,实际上,这个关系会因为伽玛特性等而成为非线形。在此情况中,也可藉由使用计算式或LUT将像素值一光输出特性加以修正,而获得和上述相等的处理。
[0239](具体例4)
[0240]在具体例4中,就用其他的传感器等对投影机等的投影图像进行感测,并对具有由该结果调整数字处理及模拟处理的功能的图像处理装置I加以说明。具体例4的主要处理是为进行数字处理及模拟处理后的处理,也可以随着上述具体例I至3的处理来进行。
[0241]输出图像信息取得部17取得投影机投影结果的测定结果。测定结果为处理后信息的一个例子。测定结果是指例如关于亮度的信息(指定明亮区域的信息、指定昏暗区域的信息)、有无存在亮度不均、亮度不均存在部位的信息、对焦情形、时间响应(闪烁、反应速度)等。
[0242]接着,图像分析部12针对各时空区块取得包含处理后信息的第一特征量向量。然后,图像分析部12参照LUT,选择具有与第一特征量向量最近似的第二特征量向量的对应信息。
[0243]其次,数字处理部13使用所选择的对应信息,将各时空区块进行图像处理,并按各时空区块的每一个取得处理图像。
[0244]然后,物理特性信息取得部14取得在经数字处理的处理图像中有关所失去的物理性特性的物理特性信息。
[0245]接着,物理性特性处理部15使用处理图像,依物理特性信
当前第4页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1