图像处理装置及方法

图像处理装置及方法
【专利摘要】一种图像处理装置和图像处理方法。该图像处理装置包括物理特性参数获得单元和纹理控制单元。物理特性参数获得单元被配置成获得图像中被摄对象的物理特性参数。纹理控制单元被配置成使用由物理特性参数获得单元获得的物理特性参数来控制图像中被摄对象的纹理。
【专利说明】图像处理装置及方法
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年5月14日提交的日本优先权专利申请JP2013-102106的优 先权，其全部内容通过引用合并于此。

【技术领域】
[0003] 本公开内容涉及一种图像处理装置以及一种图像处理方法，并且更具体地，涉及 一种能够真实地再现物体的纹理的图像处理装置。

【背景技术】
[0004] 为了增强视频的真实度，已开发出了调节对比度、细腻度等的技术。
[0005] 为了实现高图像质量，国际公开NO.W02010/087162提出了一种实现对图像中的 物体的颜色校正和期望颜色再现的技术。


【发明内容】

[0006] 然而，并非仅通过增强包括对比度和细腻度的基本图像质量来消除对性能的限 制。对此，例如需要真实地再现物体的纹理，诸如需要使用视频将某个情形再现得如同由人 实际观察被摄对象一样。
[0007] 鉴于这种情况做出了本公开内容，并且期望真实地再现物体的纹理。
[0008] 根据本公开内容的实施方式，提供了一种图像处理装置，包括：物理特性参数获得 单元，被配置成获得图像中的被摄对象的物理特性参数；以及纹理控制单元，被配置成使用 由物理特性参数获得单元获得的物理特性参数控制图像中被摄对象的纹理。
[0009] 物理特性参数可以包括指示被摄对象的反射特性的反射特性信息，并且纹理控制 单元可以被配置成使用反射特性信息调节图像中被摄对象的反射特性的水平。
[0010] 反射特性信息可以包括指示被摄对象的反射特性包括强的镜面反射分量的信息， 并且纹理控制单元可以被配置成使用反射特性信息强调图像中被摄对象的镜面反射分量。 [0011] 物理特性参数可以包括指示被摄对象的材料的信息，并且纹理控制单元可以被配 置成根据被摄对象的材料类型来调节图像中被摄对象的反射特性。
[0012] 物理特性参数可以包括指示被摄对象的形状的信息，并且纹理控制单元可以被配 置成根据被摄对象的形状强调图像中被摄对象的阴影。
[0013] 物理特性参数可以包括被摄对象的照明的信息，并且纹理控制单元可以被配置成 根据照明调节图像中被摄对象的对比度。
[0014] 物理特性参数可以包括测量特性信息和估计特性信息，测量特性信息是在拍摄被 摄对象的图像时测量的特性信息，估计特性信息是基于图像而估计的特性信息。图像处理 装置还可以包括：信息集成单元，被配置成集成测量特性信息和估计特性信息并且生成集 成物理特性参数。纹理控制单元可以被配置成使用由信息集成单元集成的物理特性参数来 控制图像中被摄对象的纹理。
[0015] 图像处理装置还可以包括：视觉环境信息获得单元，被配置成获得作为关于在其 中观看图像的环境的信息的视觉环境信息。纹理控制单元可以被配置成使用由视觉环境信 息获得单元获得的视觉环境信息来控制被摄对象的纹理。
[0016] 物理特性参数获得单元可以被配置成：获得在拍摄被摄对象的图像时测量的物理 特性参数。
[0017] 物理特性参数获得单元可以被配置成：通过基于图像的估计来获得物理特性参 数。
[0018] 根据本公开内容的另一实施方式，提供了一种图像处理方法，包括：通过图像处理 装置获得图像中被摄对象的物理特性参数；以及使用所获得的物理特性参数来控制图像中 被摄对象的纹理。
[0019] 在本公开内容的实施方式中，获得图像中被摄对象的物理特性参数，并且使用所 获得的物理特性参数控制图像中被摄对象的纹理。
[0020] 根据本公开内容的实施方式，可以处理图像。具体地，可以真实地再现物体的纹 理。
[0021] 根据对如在附图中图解的本公开内容的最佳模式实施方式的如下详细描述，本公 开内容的这些及其他目的、特性和优点将变得更加明显。

【专利附图】

【附图说明】
[0022] 图1是用于描述本公开内容的概念的图；
[0023] 图2是用于描述本公开内容的纹理控制方法的图；
[0024] 图3是示出图像处理装置的基本配置示例的框图；
[0025] 图4是示出控制参数和由控制参数确定的纹理控制的处理细节的图；
[0026] 图5是示出根据第一实施方式的图像处理装置的配置示例的框图；
[0027] 图6是用于描述图5的图像处理装置的图像处理的流程图；
[0028] 图7是用于描述估计处理的流程图；
[0029] 图8是用于描述反射特性调节处理的流程图；
[0030] 图9是示出根据第二实施方式的图像处理装置的配置示例的框图；
[0031] 图10是示出亮度与主观亮度水平之间的关系的图；
[0032] 图11是用于描述图9的图像处理装置的图像处理的流程图；
[0033] 图12是用于描述基于视觉环境信息的处理的流程图；
[0034] 图13是示出根据第三实施方式的图像处理装置的配置示例的框图；
[0035] 图14是用于描述图13的图像处理装置的图像处理的流程图；
[0036] 图15是用于描述基于视线信息的处理的流程图；
[0037] 图16是示出根据第四实施方式的图像处理装置的配置示例的框图；
[0038] 图17是用于描述图16的图像处理装置的图像处理的流程图；
[0039] 图18是用于描述测量/估计处理的流程图；
[0040] 图19是示出根据第五实施方式的图像处理装置的配置示例的框图；
[0041] 图20是示出集成方法的示例的图；
[0042] 图21是用于描述图19的图像处理装置的图像处理的流程图；
[0043] 图22是用于描述测量/估计/集成处理的流程图；
[0044] 图23是示出根据第六实施方式的图像处理装置的配置示例的框图；
[0045] 图24是用于描述图23的图像处理装置的图像处理的流程图；
[0046] 图25是用于描述测量/估计/集成处理的流程图；
[0047] 图26是用于描述基于材料的反射特性调节处理的流程图；
[0048] 图27是用于描述纹理恢复处理的流程图；
[0049] 图28是示出调节频率范围的特性量的方法的示例的图；
[0050] 图29是示出通过块匹配进行的纹理恢复示例的图；
[0051] 图30是示出根据第七实施方式的图像处理装置的配置示例的框图；
[0052] 图31是用于描述图30的图像处理装置的图像处理的流程图；
[0053] 图32是示出根据第八实施方式的图像处理装置的配置示例的框图；
[0054] 图33是用于描述图32的图像处理装置的图像处理的流程图；以及
[0055] 图34是示出个人计算机的基本配置示例的框图。

【具体实施方式】
[0056] 在下文中，将对用于实现本公开内容的模式（在下文中，称之为实施方式）进行描 述。应当注意，将按照下面的顺序进行描述。
[0057] 1.本公开内容的概要
[0058] 2.第一实施方式
[0059] 3.第二实施方式 [0060] 4.第三实施方式
[0061] 5.第四实施方式
[0062] 6.第五实施方式
[0063] 7.第六实施方式
[0064] 8.第七实施方式
[0065] 9.第八实施方式
[0066] 10.第九实施方式
[0067] 1.本公开内容的概要
[0068] (本公开内容的概念）
[0069] 将参照图1对本公开内容的概念进行描述。本公开内容的目的在于改善图像中物 体的纹理。
[0070] 在现实世界中，人通过眼睛所感知的即关于光如何进入眼睛的材料信息是基本上 必要的信息。材料信息包括例如阳光（照明）、物体的形状（几何形状）和物体的反射分量 (反射率）。理论上，可以使用这样的材料信息再现光。
[0071] 材料信息进入摄像机的传感器。因此，可以基于从图像（2D图像）提取的信息如 成像时的图像统计、漫反射/镜面反射分量和照明信息来估计和获得材料信息作为被摄对 象的特性信息如被摄对象的区域信息或识别信息。
[0072] 从图像提取信息的处理是将光的特性考虑在内的处理，并且将所提取的结果估计 为被摄对象的特性信息的处理是基于物体（被摄对象）的处理。
[0073] 因此，在本公开内容中，从图像中提取的信息用作被摄对象的特性信息以控制图 像中被摄对象的（表面）的纹理。此外，在该控制中，可以使用从现实世界测量和获得的材 料信息。
[0074] 此外，图像中被摄对象的纹理实际上不仅与材料信息有关而且还与人所看到的环 境的信息（视觉环境中的照明信息）和人感知如何的信息即知觉（超敏度）有关。因此， 在本公开内容中，不仅使用材料信息而且使用由人所看到的环境的信息（视觉环境中的照 明信息）和人感知如何的信息来控制图像中被摄对象的纹理并且重新创建图像。
[0075] 在本公开内容中，以这种方式控制图像中被摄对象的纹理。在本说明书中，纹理是 指人的心理感觉（心理因素），这是由材料的性质（物理因素）造成的。
[0076] 换言之，在本说明书中，所定义的纹理包括表示被摄对象的物理特性的参数（其 为物理因素）和表示被摄对象的识别敏感度的参数（其为心理因素）。
[0077] 因此，本说明书中的纹理控制是指对上面所描述的物理因素和心理因素的参数的 控制。在下文中，将给出这样的说明：在纹理控制时对作为物理因素的参数的物理特性参数 进行控制。然而，实际上，在纹理控制下还对表示被摄对象的识别敏感度的参数（其为心理 因素的参数）进行控制。
[0078](本公开内容的纹理控制方法）
[0079] 接下来，将参照图2对本公开内容的纹理控制方法进行描述。
[0080] 首先，拍摄现实世界中的被摄对象的图像，并且将图像输入至测量/估计模块1。 在测量/估计模块1中，在对被摄对象进行成像时，从现实世界中测量和获得表示被摄对象 的物理特性的物理特性参数。或者，在测量/估计模块1中，从被摄对象的输入图像估计和 获得表示被摄对象的物理特性的物理特性参数。例如，获得上面所描述的照明、被摄对象的 结构和反射特性作为物理特性参数。
[0081] 在现实世界建模模块2中对所获得的被摄对象的物理特性参数进行建模。将被摄 对象的经建模的物理特性参数输入至纹理控制模块3。
[0082] 在纹理控制模块3中，根据被摄对象的经建模的物理特性参数和从图像获得的特 性量（纹理）来控制图像中被摄对象的纹理。纹理控制的示例包括改变物理特性参数以容 易地引起反射。这优化了被摄对象的光学特性。此外，例如，如果存在纹理不足的部分，可 以适当地恢复该部分。换言之，在纹理控制模块3中，为了在视觉上提高光泽度或透明度， 作为纹理控制，改变（控制）这些物理特性参数。
[0083] 在渲染/润饰模块4中，为了根据纹理控制的结果（改变的参数）重构图像，重新 合成（渲染）图像并且输出所产生的图像，所产生的图像的图像质量被精细地调节。
[0084] 通过上面根据本公开内容的一个实施方式的处理，例如，当发现输入图像不同于 实际视觉效果时，进行对照明光的优化、光泽度的改善和透明度的再现。换言之，可以使用 视频来再现实际观察被摄对象的情形。
[0085] (图像处理装置的配置示例）
[0086] 图3是示出根据本公开内容的一个实施方式的图像处理装置的配置的框图。
[0087] 在图3所示的图像处理装置11中，如上面所描述的，拍摄现实世界中被摄对象的 图像，获得输入图像中被摄对象的物理特性参数，控制图像中被摄对象的纹理，以及输出被 摄对象的纹理受控的图像。
[0088] 图像处理装置11包括成像环境信息获得单元21、成像环境信息分析单元22、被摄 对象特性分析单元23、特性信息集成单元24、视觉环境信息分析单元25、特性控制单元26 和图像合成单元27。
[0089] 成像环境信息获得单元21、成像环境信息分析单元22和被摄对象特性分析单元 23与图2中的测量/估计模块1对应。特性信息集成单元24与图2的现实世界建模模块 2对应。特性控制单元26与图2的纹理控制模块3对应。图像合成单元27与图2的渲染 /润饰模块4对应。
[0090] 成像环境信息获得单元21拍摄被摄对象的图像、输入被摄对象的图像并且将输 入图像提供给被摄对象特性分析单元23和图像合成单元27。此外，成像环境信息获得单 元21获得对被摄对象进行成像时环境和被摄对象的成像信息并且将所获得的成像信息提 供给成像环境信息分析单元22。
[0091] 成像环境信息分析单元22对成像时从成像环境信息获得单元21获得的成像信息 进行分析，并且将所分析的成像信息提供给特性信息集成单元24。
[0092] 被摄对象特性分析单元23基于由成像环境信息获得单元21提供的输入图像估计 和分析被摄对象的特性，并且将分析结果作为图像估计信息提供给特性信息集成单元24。 被摄对象特性分析单元23可以通过基于图像的估计来获得精细部分（例如，具有高采样率 的部分）的信息，其没有作为成像时的成像信息而被获得。
[0093] 特性信息集成单元24对由成像环境信息分析单元22提供的成像信息和由被摄对 象特性分析单元23提供的图像估计信息进行集成，并且将所产生的信息提供给特性控制 单元26作为被摄对象的物理特性参数。
[0094] 视觉环境信息分析单元25获得和分析观看图像的视觉环境的信息。视觉环境信 息分析单元25将分析结果作为视觉环境信息提供给特性控制单元26作为视觉环境参数。
[0095] 特性控制单元26使用来自特性信息集成单元24的被摄对象的物理特性参数和来 自视觉环境信息分析单元25的视觉环境参数作为控制参数。具体地，例如，特性控制单元 26基于来自特性信息集成单元24的物理特性参数确定用于控制纹理的处理细节如改变图 像质量、调节反射特性和改变形状。特性控制单元26将所确定的处理细节的信息提供给图 像合成单元27并且使得图像合成单元27执行纹理控制。此外，特性控制单元26使得图形 合成单元27根据视觉环境参数执行纹理控制以优化纹理控制。
[0096] 在特性控制单元26的控制下，图像合成单元27对从成像环境信息获得单元21输 入的图像进行再合成（进行渲染），调节图像并且输出再合成结果作为输出图像。
[0097] (控制参数和处理细节）
[0098] 图4是示出在特性控制单元26中称为控制参数以及由该控制参数确定的纹理控 制的处理细节的示例的图。
[0099] 控制参数由被摄对象的物理特性参数和视觉环境参数构成。物理特性参数包括由 成像环境信息分析单元22提供的成像信息和由特性分析单元23提供的图像估计信息，成 像信息与图像估计信息集成。视觉环境参数由视觉环境信息分析单元25提供。
[0100] 被摄对象的物理特性参数包括被摄对象的深度和形状信息、成像时的照明信息、 被摄对象的材料信息和被摄对象的反射特性信息。成像时的照明信息可以是受被摄对象的 颜色等影响的信息并且与被摄对象或被摄对象的背景相关。因此，成像时的照明信息也被 包含在被摄对象的物理特性参数中。
[0101] 视觉环境参数包含视觉环境光信息、观看时间和感兴趣被摄对象的信息（视线）。 [0102] 下面将按所陈述的顺序对这些信息段进行描述。当深度和形状信息指示不平坦形 状和密集形状时，作为这种情况的处理，确定进行阴影（自阴影）强调。当照明信息指示照 明颜色时，作为这种情况的处理，确定进行对应于照明颜色的白平衡调节。
[0103] 当照明信息指示背景的绝对亮度高并且当视觉环境光信息指示环境亮时，作为这 种情况的处理，确定基于亮度函数进行对比度调节。当照明信息指示背景的绝对亮度低并 且当视觉环境光信息指示环境亮时，作为这种情况的处理，确定基于亮度函数增加对比度。
[0104] 当照明信息指示背景的绝对亮度高并且当视觉环境光信息指示环境暗时，作为这 种情况的处理，确定基于亮度函数减小对比度。当照明信息指示背景的绝对亮度低并且当 视觉环境光信息指示环境暗时，作为这种情况的处理，确定基于亮度函数进行对比度调节。
[0105] 当深度和形状信息指示稀疏形状并且当照明信息表示照明方向时，作为这种情况 的处理，确定执行阴影（投射阴影）强调。
[0106] 当反射特性信息指示镜面反射分量强时，作为这种情况的处理，确定使用强调来 合成镜面反射分量。当反射特性信息指示漫反射分量强时，作为这种情况的处理，确定削弱 漫反射分量并且增强镜面反射分量。应当注意，可以基于反射特性信息来估计被摄对象的 材料的信息。也可以基于图像估计如为金属、布等材料的信息。
[0107] 因此，当材料信息指示材料类型时，作为这种情况的处理，确定根据材料类型控制 反射特性。或者，当材料信息指示材料类型时，作为这种情况的处理，确定根据材料类型恢 复纹理。
[0108] 当材料信息指示材料为金属时，作为这种情况的处理，确定增强镜面反射分量。当 材料信息指示材料为木材时，作为这种情况的处理，确定减小镜面反射分量。
[0109] 当视觉环境光信息指示环境亮时，作为这种情况的处理，确定基于亮度函数进行 亮度显示。当视觉环境光信息指示环境暗时，作为这种情况的处理，确定基于亮度函数以较 低的亮度进行显示。
[0110] 当感兴趣被摄对象的信息（视线）指示感兴趣被摄对象的目标区域时，作为这种 情况的处理，确定应用上述控制。当感兴趣被摄对象的信息（视线）指示感兴趣被摄对象 的非目标区域时，作为这种情况的处理，确定不应用上述控制。或者，当感兴趣被摄对象的 信息（视线）指示感兴趣被摄对象的非目标区域时，作为这种情况的另一处理，确定去焦。 例如，也可以使用关于视觉关注的信息。
[0111] 当观看时间短时，作为这种情况的处理，确定进行正常处理。当观看时间长时，作 为这种情况的处理，确定逐步减小亮度并且削弱处理。
[0112] 关于视觉环境信息，也可以考虑显示设备的特性信息。
[0113] 在下文中，将对与上述处理细节相对应的具体配置示例和处理示例进行描述。
[0114] 2.第一实施方式
[0115] (图像处理装置的配置示例）
[0116] 图5是示出根据本公开内容的第一实施方式的图像处理装置的配置的图。图5的 示例示出一种图像处理装置的配置，其基于图像估计反射特性，并且使用用于纹理控制的 反射特性来改变亮度量。
[0117] 图5所示的图像处理装置51与图3所示的图像处理装置11在配置上的共同之处 在于：设置有被摄对象特性分析单元23和图像合成单元27。
[0118] 图像处理装置51与图3所示的图像处理装置11不同之处在于：去除了成像环境 信息获得单元21、成像环境信息分析单元22、特性信息集成单元24和视觉环境信息分析单 元25。此外，图像处理装置51与图3所示的图像处理装置11不同之处在于：用特性控制 单元61代替了特性控制单元26。
[0119] 换言之，先前阶段的摄像机（未示出）的输入图像被提供给被摄对象特性分析单 元23和图像合成单元27。
[0120] 被摄对象特性分析单元23基于所提供的输入图像将例如被摄对象的反射特性估 计和分析为被摄对象的特性。被摄对象特性分析单元23将所分析的被摄对象的反射特性 提供给特性控制单元61作为物理特性参数。
[0121] 特性控制单元61获得由被摄对象特性分析单元23提供的物理特性参数作为控制 参数并且基于该控制参数确定用于控制纹理的处理细节。具体地，例如，特性控制单元61 基于被摄对象的反射特性考虑反射光的量大时的镜面反射分量和整体平衡作为控制参数。 作为该考虑的结果，当反射光的量小时，特性控制单元61确定用于纹理控制的处理细节以 调节漫反射分量，并且使得图像合成单元27进行所确定的纹理控制。
[0122] (图像处理示例）
[0123] 接下来，将参照图6的流程图描述图5的图像处理装置51的图像处理。
[0124] 在步骤S51中，先前阶段的摄像机（未示出）拍摄图像。来自先前阶段的摄像机 (未示出）的输入图像被提供给被摄对象特性分析单元23和图像合成单元27。
[0125] 在步骤S52中，被摄对象特性分析单元23基于所提供的输入图像进行估计处理以 估计被摄对象的特性。将参照图7对估计处理进行描述。通过步骤S52中的处理，将作为 所估计的物理特性参数的被摄对象的反射特性提供给特性控制单元61。
[0126] 在步骤S53中，特性控制单元61执行被摄对象的反射特性调节处理。后面将参照 图8对反射特性调节处理进行描述。通过步骤S53中的处理，确定了基于反射特性的纹理 控制的处理细节。
[0127] 在步骤S54中，图像合成单元27基于所确定的用于纹理控制的处理细节再合成输 入图像。换言之，在图6的示例中，调节图像的反射特性，从而控制被摄对象的图像的纹理。
[0128] 可以顺序地或在完全准备好图片之后，针对每个像素进行再合成处理。应当注意， 在下文中，处理的单位是相同的。
[0129] 接下来，将参照图7的流程图描述图6的步骤S52中的估计处理。
[0130] 在步骤S71中，被摄对象特性分析单元23基于所提供的输入图像估计和分析成像 环境光，并且作为该分析的结果获得成像环境光的信息。被摄对象特性分析单元23将关于 成像环境光的信息提供给特性控制单元61。
[0131] 在步骤S72中，特性控制单元61使得图像合成单元27基于根据成像环境光的信 息获得的照明颜色来调节图像的白平衡。应当注意，可以在上述图6的步骤S53中的反射 特性调节处理时进行上面的调节处理，但是期望在其他调节之前进行白平衡调节，因此采 取这样的处理顺序。
[0132] 在步骤S73中，被摄对象特性分析单元23估计和分析被摄对象的反射特性并且将 所分析的反射特性的信息提供给特性控制单元61。
[0133] 在步骤S74中，被摄对象特性分析单元23估计和分析被摄对象的形状并且将关于 所分析被摄对象的形状的信息提供给特性控制单元61。
[0134] 以这样的方式，基于输入图像估计了作为被摄对象的特性的被摄对象的成像环境 光、反射特性和形状等。
[0135] 接下来，将参照图8的流程图描述图6的步骤S53中的反射特性调节处理。
[0136] 在步骤S91中，特性控制单元61基于由被摄对象特性分析单元23提供的被摄对 象的反射特性的信息确定镜面反射分量是否大。在步骤S91中，如果确定镜面反射分量大， 则处理进行至步骤S92。
[0137] 在步骤S92中，作为纹理控制，特性控制单元61确定强调指示光被反射的镜面反 射分量。在步骤S91中，如果确定镜面反射分量小，则处理进行至步骤S93。
[0138] 在步骤S93中，特性控制单元61确定漫反射分量是否大。在步骤S93中，如果确 定漫反射分量大，则处理进行至步骤S94。在这种情况下，物体可能发白。因此，在步骤S94 中，作为纹理控制，特性控制单元61确定减小漫反射分量。
[0139] 在步骤S93中，如果确定漫反射分量小，则处理进行至步骤S95。在步骤S95中，特 性控制单元61确定针对所有像素的反射特性调节是否终止。
[0140] 在步骤S95中，如果确定针对所有像素的反射特性调节终止，则终止反射特性调 节处理。在步骤S95中，如果确定针对所有像素的反射特性调节还没有终止，则处理返回至 步骤S91并且重复后面的处理。
[0141] 应当注意，在图8的示例中，如果仅镜面反射增加从而可能超过了图像的范围，则 调节反射特性，同时也调节镜面反射。
[0142] 如上面所描述的，调节图像的反射特性并且控制图像的纹理。这使得能够对图像 进行照明光的优化，光泽度的改善和透明度的再现。
[0143] 3.第二实施方式
[0144] (图像处理装置的配置示例）
[0145] 图9是示出根据本公开内容的第二实施方式的图像处理装置的配置的图。图9的 示例示出图像处理装置的配置，其使用除基于图像估计的反射特性之外的视觉环境的信息 用于纹理控制来改变照明量。
[0146] 图9所示的图像处理装置101与图3所示的图像处理装置11的共同之处在于：设 置有被摄对象特性分析单元23、视觉环境信息分析单元25和图像合成单元27。
[0147] 图像处理装置101与图3所示的图像处理装置11的不同之处在于：去除了成像环 境信息获得单元21、成像环境信息分析单元22和特性信息集成单元24。此外，图像处理装 置101与图3所示的图像处理装置11的不同之处在于：用特性控制单元111代替了特性控 制单元26。
[0148] 换言之，先前阶段的摄像机（未示出）的输入图像被提供给被摄对象特性分析单 元23和图像合成单元27。
[0149] 被摄对象特性分析单元23基于所提供的输入图像估计和分析例如被摄对象的反 射特性作为被摄对象的特性。此外，被摄对象特性分析单元23估计和分析例如成像时图像 的绝对亮度信息作为被摄对象的特性。被摄对象特性分析单元23将所分析的被摄对象特 性提供给特性控制单元ill作为物理特性参数。
[0150] 视觉环境信息分析单元25获得例如视觉环境光的信息作为观看图像的视觉环境 的信息，并且分析所获得的信息。视觉环境信息分析单元25将所分析的关于视觉环境光的 信息提供给特性控制单元111作为视觉环境参数。
[0151] 特性控制单元111基于由被摄对象特性分析单元23提供的物理特性参数确定用 于控制纹理的处理细节。具体地，特性控制单元111还基于例如作为物理特性参数的被摄 对象的反射特性来确定用于纹理控制的处理细节以考虑镜面反射分量和整体平衡以调节 漫反射分量。特性控制单元111使得图像合成单元27进行所确定的纹理控制。
[0152] 此外，特性控制单元111根据由视觉环境信息分析单元25提供的视觉环境参数使 得图像合成单元27执行纹理控制以优化纹理控制。具体地，特性控制单元111根据例如作 为视觉环境参数的观看时的照明光（视觉环境光）确定纹理控制的处理细节以调节对比 度，并且使得图像合成单元27进行所确定的纹理控制。
[0153] 图10是示出亮度与主观亮度水平之间的关系的图。
[0154] 在图10的示例中，横轴指示视觉环境光的亮度（横轴的右侧指示较亮的光），纵轴 指示人所感知的亮度和暗度。
[0155] 例如，当人在200cd/m2的视觉环境下观看314cd/m2的图像时，人感觉图像的亮度 介于亮与暗之间的中间水平。例如，当人在500cd/m2的视觉环境下观看314cd/m2的图像 时，人感觉图像比200cd/m2视觉环境的情况下亮。
[0156] 以这样的方式，纹理的改善受观看时的照明光的影响。此外，根据图10还可以发 现黑色的再现性对于改善纹理是重要的。根据上述事实，在图像处理装置101中，视觉环境 的信息也可以用于纹理控制。
[0157] (图像处理示例）
[0158] 接下来，将参照图11的流程图描述图9的图像处理装置101的图像处理。
[0159] 在步骤S111中，先前阶段的摄像机（未示出）拍摄图像。来自先前阶段的摄像机 (未示出）的输入图像被提供至被摄对象特性分析单元23和图像合成单元27。
[0160] 在步骤S112中，被摄对象特性分析单元23基于所提供的输入图像执行估计处理 以估计被摄对象的特性。该估计处理基本上与上面参照图7描述的处理相同，因此为了避 免重复将省略对其的描述。通过步骤S112的处理，将作为所估计的物理特性参数的被摄对 象的反射特性提供给特性控制单元111。尽管在图7的示例中未进行估计，但是也将例如成 像时的图像的绝对亮度信息估计为被摄对象的特性并且将其提供给特性控制单元111。
[0161] 在步骤S113中，视觉环境信息分析单元25和特性控制单元111基于指示观看图 像的环境的视觉环境信息进行处理。后面将参照图12对基于视觉环境信息的处理进行描 述。通过步骤S113中的处理，确定了基于视觉环境信息的纹理控制的处理细节。
[0162] 此外，在步骤S114中，特性控制单元111进行被摄对象的反射特性调节处理。该 反射特性调节处理基本上与上面参照图8描述的处理相同，因此为了避免重复将省略对其 的描述。通过步骤S114的处理，确定了基于反射特性的纹理控制的处理细节。
[0163] 在步骤S115中，图像合成单元27基于所确定的用于纹理控制的处理细节再合成 输入图像。换言之，在图11的示例中，调节视觉环境光的对比度和图像的反射特性，从而控 制被摄对象的图像的纹理。
[0164] 接下来，将参照图12的流程图对图11的步骤S113中基于视觉环境信息的处理进 行描述。
[0165] 在步骤S131中，视觉环境信息分析单元25获得例如视觉环境光的信息作为观看 图像的视觉环境的信息，并且分析所获得的图像。视觉环境信息分析单元25将所分析的视 觉环境的信息提供该特性控制单元111作为视觉环境参数。
[0166] 也基于被摄对象特性分析单元23对成像时图像的绝对亮度信息进行估计并且将 其提供给特性控制单元111。在步骤S132中，特性控制单元111确定成像时目标像素的绝 对亮度是否高于预定亮度值。在步骤S132中，如果确定成像时目标像素的绝对亮度高于预 定亮度值，则处理进行至步骤S133。
[0167] 在步骤S133中，特性控制单元111参照由视觉环境信息分析单元25提供的视觉 环境参数并且确定视觉环境光是否比预定值亮。在步骤133中，如果确定视觉环境光比预 定值亮，则处理进行至步骤S134。在这种情况下，由于图像可能显得暗，因此在步骤S134 中，作为纹理控制，特性控制单元111控制图像控制合成单元27将对比度调节值设置为高。
[0168] 在步骤S133中，如果确定视觉环境光比预定值暗，则跳过步骤S134并且处理进行 至步骤S137。
[0169] 在步骤S132中，如果确定成像时的目标像素的绝对亮度低，则处理进行至步骤 S135。在步骤S135中，特性控制单元111参照由视觉环境信息分析单元25提供的视觉环 境参数并且确定视觉环境光是否比预定值亮。
[0170] 在步骤S135中，如果确定视觉环境光比预定值暗，则处理进行至步骤136。在步骤 S136中，作为纹理控制，特性控制单元111控制图像合成单元27将对比调节值设置为低。
[0171] 在步骤S135中，如果确定视觉环境光比预定值亮，则跳过步骤S136并且处理进行 至步骤S137。
[0172] 在步骤S137中，特性控制单元111确定针对所有像素的反射特性调节是否终止。
[0173] 在步骤S137中，如果确定针对所有像素的反射特性调节终止，则终止基于视觉环 境信息的处理。在步骤S137中，如果确定针对所有像素的反射特性调节还没有终止，则处 理返回至步骤S132并且重复步骤S132中的处理和后面的处理。
[0174] 如上面所描述的，基于视觉环境调节了对比度并且调节了图像的反射特性，从而 控制被摄对象的图像的纹理。这使得能够对图像进行照明光的优化，光泽度的改善和透明 度的再现。
[0175] 4.第三实施方式
[0176] (图像处理装置的配置示例）
[0177] 图13是示出根据本公开内容的第三实施方式的图像处理装置的配置的图。图13 的示例示出了使用除基于图像估计的反射特性和视觉环境的信息以外的视线信息用于纹 理控制的图像处理装置的配置。
[0178] 图13所示的图像处理装置151与图3所示的图像处理装置11的共同之处在于： 设置有被摄对象特性分析单元23、视觉环境信息分析单元24和图像合成单元27。
[0179] 图像处理装置151与图3所示的图像处理装置11的不同之处在于：去除了成像环 境信息获得单元21、成像环境信息分析单元22和特性信息集成单元24。此外，图像处理装 置151与图3所示的图像处理装置11的不同之处在于：用特性控制单元161代替了特性控 制单元26。
[0180] 换言之，先前阶段的摄像机（未示出）的输入图像被提供给被摄对象特性分析单 元23和图像合成单元27。
[0181] 被摄对象特性分析单元23基于所提供的输入图像估计和分析例如被摄对象的反 射特性作为被摄对象的特性。此外，被摄对象特性分析单元23估计和分析例如成像时图像 的绝对亮度信息作为被摄对象的特性。被摄对象特性分析单元23将所分析的被摄对象特 性提供给特性控制单元161作为物理特性参数。
[0182] 视觉环境信息分析单元25获得例如视觉环境光的信息作为观看图像的视觉环境 的信息，并且分析所获得的信息。此外，视觉环境信息分析单元25获得和分析例如视觉特 性（关于对比敏感度函数（SCF))、感兴趣被摄对象和视线的信息作为视觉环境的信息。视 觉环境信息分析单元25将所分析的视觉环境的信息提供给特性控制单元161作为视觉环 境参数。
[0183] 特性控制单元161基于由被摄对象特性分析单元23提供的物理特性参数确定用 于控制纹理的处理细节。具体地，特性控制单元161也基于例如作为物理特性参数的被摄 对象的反射特性来确定用于纹理控制的处理细节以考虑镜面反射分量和整体平衡以调节 漫反射分量。特性控制单元161使得图像合成单元27进行所确定的纹理控制。
[0184] 特性控制单元161根据由视觉环境信息分析单元25提供的视觉环境参数使得图 像合成单元27执行纹理控制以优化纹理控制。具体地，特性控制单元161根据例如作为视 觉环境参数的观看时的照明光（视觉环境光）确定纹理控制的处理细节以调节对比度，并 且使得图像合成单元27执行所确定的纹理控制。此外，特性控制单元161根据例如作为视 觉环境参数的视线信息来确定用于纹理控制的处理细节以调节图像质量调节信息并且使 得图像合成单元27进行所确定的纹理控制。
[0185] (图像处理示例）
[0186] 接下来，将参照图14的流程图对图13的图像处理装置151的图像处理进行描述。
[0187] 在步骤S151中，先前阶段的摄像机（未示出）拍摄图像。来自先前阶段的摄像机 (未示出）的输入图像被提供至被摄对象特性分析单元23和图像合成单元27。
[0188] 在步骤S152中，被摄对象特性分析单元23基于所提供的输入图像进行估计处理 以估计被摄对象的特性。该估计处理基本上与上面参照图7描述的处理相同，因此为了避 免重复将省略对其的描述。通过步骤S152的处理，将用作估计的物理特性参数的被摄对象 的反射特性提供给特性控制单元161。尽管没有对图7中的示例进行估计，但是也将例如成 像时图像的绝对亮度信息估计为被摄对象的特性并且将其提供至特性控制单元161。
[0189] 在步骤S153中，视觉环境信息分析单元25和特性控制单元161基于指示观看图 像的环境的视觉环境信息进行处理。基于视觉环境信息的处理基本上与上面参照图12描 述的处理相同，因此为了避免重复将省略对其的描述。通过步骤S153的处理，确定了基于 视觉环境信息的纹理控制的处理细节。
[0190] 在步骤S154中，特性控制单元161执行被摄对象的反射特性调节处理。该反射 特性调节处理基本上与上面参照图8描述的处理相同，因此为了避免重复将省略对其的描 述。通过步骤S154中的处理，确定了基于反射特性的纹理控制的处理细节。
[0191] 此外，在步骤S155中，视觉环境信息分析单元25和特性控制单元161基于视线信 息进行处理。后面将参照图15对基于视线信息的处理进行描述。通过步骤S155中的处理， 确定了基于视线信息的纹理控制的处理细节。
[0192] 在步骤S156中，图像合成单元27基于所确定的纹理控制的处理细节再合成输入 图像。换言之，在图14的示例中，调节视觉环境光的对比度和图像的反射特性，并且重新配 置基于视线信息的调节值。因此，控制被摄对象的图像的纹理。
[0193] 接下来，将参照图15的流程图对图14的步骤S155中的基于视线信息的处理进行 描述。
[0194] 在步骤S171中，视觉环境信息分析单元25获得例如感兴趣被摄对象的信息或视 线信息作为视觉环境的信息，并且分析所获得的信息。视觉环境信息分析单元25将所分析 的视觉环境的信息提供给特性控制单元161作为视觉环境参数。
[0195] 在步骤S172中，特性控制单元161确定目标像素是否位于感兴趣被摄对象的区域 或视线的目标区域。在步骤S172中，如果确定目标像素位于感兴趣被摄对象的区域或视线 的目标区域，则处理进行至步骤S173。
[0196] 在步骤S173中，作为纹理控制，特性控制单元161控制图像合成单元27将先前处 理（换言之，基于视觉环境信息、反射特性和视线信息的处理）的图像质量调节值重新配置 为低。
[0197] 在步骤S172中，如果确定目标像素不位于感兴趣被摄对象的区域或视线的目标 区域，则跳过步骤S173并且处理进行至步骤S174。
[0198] 在步骤S174中，特性控制单元161确定针对所有像素的处理是否终止。
[0199] 在步骤S174中，如果确定针对所有像素的处理终止，则基于视线信息的处理终 止。在步骤S174中，如果确定针对所有像素的处理还没有终止，则处理返回至步骤S172并 且重复步骤S172的处理和后面的处理。
[0200] 如上面所描述的，基于视觉环境调节了对比度并且调节了图像的反射特性，从而 控制了被摄对象的图像的纹理。这使得能够对图像进行照明光的优化，光泽度的改善和透 明度的再现。
[0201] 5.第四实施方式
[0202] (图像处理装置的配置示例）
[0203] 图16是示出根据本公开内容的第四实施方式的图像处理装置的配置的图。图16 的示例示出了使用除基于图像估计的物理特性参数之外的成像时获得的物理特性参数用 于纹理控制的图像处理装置的配置。
[0204] 图16所示的图像处理装置201与图3所示的信息处理装置11在配置上的共同之 处在于：设置有成像环境信息获得单元21、成像环境信息分析单元22、被摄对象特性分析 单元23、视觉环境信息分析单元25和图像合成单元27。
[0205] 图像处理装置201与图3所示的图像处理装置11的不同之处在于：去除了特性信 息集成单元24。此外，图像处理装置201与图3所示的图像处理装置11的不同之处在于： 用特性控制单元211代替了特性控制单元26.
[0206] 换言之，成像环境信息获得单元21拍摄被摄对象的图像、输入被摄对象的图像并 且将输入图像提供给被摄对象特性分析单元23和图像合成单元27。此外，成像环境信息获 得单元21在被摄对象成像时获得环境和该被摄对象的成像信息并且将所获得的成像信息 提供给成像环境信息分析单元22。
[0207] 成像环境信息分析单元22对成像时从成像环境信息获得单元21获得的成像信息 进行分析，并且将所分析的成像信息提供给特性控制单元211作为物理特性参数。
[0208] 被摄对象特性分析单元23基于所提供的输入图像估计和分析例如被摄对象的反 射特性作为被摄对象的特性。此外，被摄对象特性分析单元23估计和分析例如成像时图像 的绝对亮度信息作为被摄对象的特性。被摄对象特性分析单元23将所分析的被摄对象的 特性提供给特性控制单元211作为物理特性参数。
[0209] 视觉环境信息分析单元25获得例如视觉环境光的信息作为观看图像的视觉环境 的信息，并且分析所获得的信息。
[0210] 特性控制单元211基于由被摄对象特性分析单元23提供的物理特性参数确定用 于控制纹理的处理细节。同时，特性控制单元211还参照成像时从成像环境信息分析单元 22获得的物理特性参数来确定处理细节。应当注意，可以参照成像环境信息分析单元22和 被摄对象特性分析单元23的物理特性参数中至少之一。例如，使用具有较高可靠性的物理 特性参数。
[0211] 具体地,特性控制单元211也基于例如作为物理特性参数的被摄对象的反射特性 来确定用于控制纹理的处理细节以考虑镜面反射分量和整体平衡以调节漫反射分量。特性 控制单元211使得图像合成单元27执行所确定的纹理控制。
[0212] 特性控制单元211根据由视觉环境信息分析单元25提供的视觉环境参数使得图 像合成单元27执行纹理控制以优化纹理控制。具体地，特性控制单元211根据例如作为视 觉环境参数的观看时的照明光（视觉环境光）确定纹理控制的处理细节以调节对比度，并 且使得图像合成单元27进行所确定的纹理控制。
[0213] (图像处理示例）
[0214] 接下来，将参照图17的流程图对图16的图像处理装置201的图像处理进行描述。
[0215] 在步骤S201中，成像环境信息获得单元21拍摄被摄对象的图像并且输入被摄对 象的图像。成像环境信息获得单元21将输入图像提供给被摄对象特性分析单元23和图像 合成单元27。
[0216] 在步骤S202中，成像环境信息获得单元21、成像环境信息分析单元22和被摄对象 特性分析单元23进行测量/估计处理。后面将参照图18对测量/估计处理进行描述。通 过步骤S202中的处理，将所测量的物理特性参数和所估计的物理特性参数（如被摄对象的 反射特性、成像环境光和被摄对象的形状）提供给特性控制单元211。
[0217] 在步骤S203中，视觉环境信息分析单元25和特性控制单元211基于指示观看图 像的环境的环境信息执行处理。基于视觉环境信息的处理基本上与上面参照图12描述的 处理相同，因此为了避免重复将省略对其的描述。通过步骤S203中的处理，确定了基于视 觉环境信息的纹理控制的处理细节。
[0218] 在步骤S204中，特性控制单元211执行被摄对象的反射特性调节处理。该反射 特性调节处理基本上与上面参照图8描述的处理相同，因此为了避免重复将省略对其的描 述。在这种情况下，所提到的反射特性为所测量的特性和所估计的特性中至少之一。通过 步骤S204中的处理，确定了基于反射特性的纹理控制的处理细节。
[0219] 在步骤S205中，图像合成单元27基于所确定的用于纹理控制的处理细节再合成 输入图像。换言之，在图17的示例中，调节了所测量的视觉环境光的对比度和图像的反射 特性，从而控制了被摄对象的图像的纹理。
[0220] 接下来，将参照图18的流程图对图17的步骤S202中的测量/估计处理进行描述。
[0221] 在步骤S221中，成像环境信息获得单元21测量成像环境光并且将所测量的成像 环境光提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像环境信息 获得单元21提供的成像环境光，并且作为该分析的结果将成像环境光的信息提供给特性 控制单元211作为物理特性参数。
[0222] 在步骤S222中，成像环境信息获得单元21测量被摄对象的反射特性并且将所测 量的被摄对象的反射特性提供给成像环境信息分析单元22。成像环境信息分析单元22分 析由成像环境信息获得单元21提供的被摄对象的反射特性并且将所分析的被摄对象的反 射特性提供给特性控制单元211作为特性控制参数。
[0223] 在步骤S223中，成像环境信息获得单元21测量被摄对象的形状并且将所测量的 被摄对象的形状提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像 环境信息获得单元21提供的被摄对象的形状并且将所分析的被摄对象的形状提供给特性 控制单元211作为特性控制参数。
[0224] 在步骤S224中，被摄对象特性分析单元23基于所提供的输入图像估计和分析成 像环境光，并且作为该分析的结果获得成像环境光的信息。被摄对象特性分析单元23将照 明光的信息提供给特性控制单元211。
[0225] 在步骤S225中，特性控制单元211使得图像合成单元27基于根据成像环境光信 息获得的照明颜色来调节图像的白平衡。应当注意，可以在上述图17的步骤S204中的反 射特性调节处理时进行上面的调节处理，但是期望在其他调节之前进行白平衡调节，因此 采取这样的处理顺序。
[0226] 在步骤S226中，被摄对象特性分析单元23估计和分析被摄对象的反射特性并且 将所分析的反射特性的信息提供给特性控制单元211。
[0227] 在步骤S227中，被摄对象特性分析单元23估计和分析被摄对象的形状并且将关 于所分析被摄对象的形状的信息提供给特性控制单元211。
[0228] 以这样的方式，测量成像时作为被摄对象的特性的被摄对象的照明光、反射特性 和形状等。此外，基于输入图像估计作为被摄对象的特性的被摄对象的照明光、反射特性和 形状等。
[0229] 6.第五实施方式
[0230] (图像处理装置的配置示例）
[0231] 图19是示出根据本公开内容的第五实施方式的图像处理装置的配置的图。图19 的示例示出了图像处理装置的配置，其对基于成像时获得的图像和物理特性参数估计的物 理特性参数进行集成，然后将所产生的参数用于纹理控制。
[0232] 图19所示的图像处理装置251与图3所示的图像处理装置11在配置上的共同之 处在于：设置有成像环境信息获得单元21、成像环境信息分析单元22、被摄对象特性分析 单元23、视觉环境信息分析单元25、特性信息集成单元24和图像合成单元27。
[0233] 图像处理装置251与图3所示的图像处理装置11的不同之处在于：用特性控制单 元261代替了特性控制单元26。
[0234] 换言之，成像环境信息分析单元22将所分析的成像信息提供给特性信息集成单 元24。被摄对象特性分析单元23将所分析的被摄对象的特性（图像估计信息）提供给特 性信息集成单元24。
[0235] 特性信息集成单元24基于可靠性的程度将由成像环境信息分析单元22提供的成 像信息和由被摄对象特性分析单元23提供的图像估计信息进行集成，并且将所产生的信 息提供给特性控制单元261作为被摄对象的物理特性参数。
[0236] 特性控制单元261基于由特性信息集成单元24提供的物理特性参数确定用于控 制纹理的处理细节。具体地，特性控制单元261也基于例如作为物理特性参数的被摄对象 的反射特性来确定用于纹理控制的处理细节以考虑镜面反射分量和整体平衡以调节漫反 射分量。特性控制单元261使得图像合成单元27执行所确定的纹理控制。
[0237] 特性控制单元261根据由视觉环境信息分析单元25提供的视觉环境参数使得图 像合成单元27进行纹理控制以优化纹理控制。具体地，特性控制单元261根据例如作为视 觉环境参数的观看时的照明光（视觉环境光）确定纹理控制的处理细节以调节对比度，并 且使得图像合成单元27进行所确定的纹理控制。
[0238] 图20是示出通过特性信息集成单元24的集成方法的示例的图。例如，如图20所 示，特性信息集成单元24对由成像环境信息分析单元22提供的成像信息和由被摄对象特 性分析单元23提供的图像估计信息进行集成。
[0239] 例如，将根据图像估计的深度图中的坐标（i，j)的深度dl(i，j)与成像时所测量 的深度图中的坐标（i，j)的深度d2(i，j)相加，从而计算集成深度图中的坐标（i，j)的深 度 d0(i，j)。
[0240] 在此，通过下面的表达式（1)表示dl(i，j)的空间方差值V{dl(i，j)}。 - 'll
[0241] V(d1 (i,j}) = - 1 d1 (i+s. i+ti-- X dl(i+u,j+v}· Π -l<s<1 Π -1<υ<! f 、 Htsi I HIV幻 J (1 )
[0242] 例如，随着方差值变高，认为估计的结果更不稳定。如下面的表达式（2)所示，根 据可以认为具有深度信息的低可靠性程度的差分值将信息的dl和d2相加。因此，可以获 得作为最终结果的深度信息do。
[0243] d〇(i, j) =......-!......i菩..............^......县!-.......：^- -dl (i, j) ￥{d1 (i, j)} +V{d2(i, j)| , VfdKi. j)I m厂'、 VfdKi, j)}+V{d2(i.j)} ' j (2)
[0244] 应当注意，图20的集成方法仅仅是一个示例，可以通过另外的集成方法执行该集 成。此外，尽管在图20的示例中以深度信息作为示例进行了描述，但是类似地也可以集成 其他特性信息。
[0245] (图像处理示例）
[0246] 接下来，将参照图21的流程图对图19的图像处理装置251的图像处理进行描述。
[0247] 在步骤S251中，成像环境信息获得单元21拍摄被摄对象的图像并且输入被摄对 象的图像。成像环境信息获得单元21将输入图像提供给被摄对象特性分析单元23和图像 合成单元27。
[0248] 在步骤S252中，成像环境信息获得单元21、成像环境分析单元22、被摄对象特性 分析单元23和特性信息集成单元24进行测量/估计/集成处理。后面将参照图22对测 量/估计/集成处理进行描述。通过步骤S252中的处理，将所测量的成像信息和所估计的 图像估计信息进行集成，并且将所产生的信息提供给特性控制单元261作为物理特性参数 (例如，被摄对象的反射特性、成像环境光和被摄对象的形状）。
[0249] 在步骤S253中，视觉环境信息分析单元25和特性控制单元261基于指示观看图 像的环境的视觉环境信息执行处理。基于视觉环境信息的处理基本上与上面参照图12描 述的处理相同，因此为了避免重复将省略对其的描述。通过步骤S253中的处理，确定了基 于视觉环境信息的纹理控制的处理细节。
[0250] 在步骤S254中，特性控制单元261进行被摄对象的反射特性调节处理。该反射 特性调节处理基本上与上面参照图8描述的处理相同，因此为了避免重复将省略对其的描 述。在这种情况下，参照由特性信息集成单元24集成的物理特性参数（反射特性）。通过 步骤S254中的处理，确定了基于反射特性的纹理控制的处理细节。
[0251] 在步骤S255中，图像合成单元27基于所确定的用于纹理控制的处理细节再合成 输入图像。换言之，在图21的示例中，调节了视觉环境光的对比度并且根据所集成的物理 特性参数调节了图像的反射特性。因此，控制了被摄对象的图像的纹理。
[0252] 接下来，将参照图22的流程图对图21的步骤S252中的测量/估计/集成处理进 行描述。
[0253] 在步骤S271中，成像环境信息获得单元21测量成像环境光并且将所测量的成像 环境光提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像环境信息 获得单元21提供的成像环境光，并且作为该分析的结果将成像环境光的信息提供给特性 信息集成单元24。
[0254] 在步骤S272中，成像环境信息获得单元21测量被摄对象的反射特性并且将所测 量的被摄对象的反射特性提供给成像环境信息分析单元22。成像环境信息分析单元22分 析由成像环境信息获得单元21提供的被摄对象的反射特性并且将所分析的被摄对象的反 射特性提供给特性信息集成单元24。
[0255] 在步骤S273中，成像环境信息获得单元21测量被摄对象的形状并且将所测量的 被摄对象的形状提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像 环境信息获得单元21提供的被摄对象的形状并且将所分析的被摄对象的形状提供给特性 信息集成单元24。
[0256] 在步骤S274中，被摄对象特性分析单元23基于所提供的输入图像估计和分析成 像环境光，并且作为该分析的结果获得成像环境光的信息。被摄对象特性分析单元23将成 像环境光的信息提供给特性信息集成单元24。
[0257] 在步骤S275中，特性信息集成单元24例如通过上面参照图20描述的方法对所测 量的成像环境光的信息和所估计的成像环境光的信息进行集成。特性信息集成单元24将 所集成的成像环境光的信息提供给特性控制单元261作为物理特性参数。
[0258] 在步骤S276中，特性控制单元261使得图像合成单元27基于根据成像环境光的 信息获得的照明颜色来调节图像的白平衡。应当指出的是，可以在上述图21的步骤S254中 的反射特性调节处理时进行上面的调节处理，但是期望在其他调节之前进行白平衡调节， 因此采取这样的处理顺序。
[0259] 在步骤S277中，被摄对象特性分析单元23估计和分析被摄对象的反射特性并且 将所分析的反射特性的信息提供给特性信息集成单元24。
[0260] 在步骤S278中，特性信息集成单元24例如通过上面参照图20描述的方法对所测 量的被摄对象的反射特性的信息和所估计的被摄对象的反射特性的信息进行集成。特性信 息集成单元24将所集成的被摄对象的反射特性的信息提供给特性控制单元261作为物理 特性参数。
[0261] 在步骤S279中，被摄对象特性分析单元23估计和分析被摄对象的形状并且将所 分析的被摄对象的形状的信息提供给特性信息集成单元24。
[0262] 在步骤S280中，特性信息集成单元24例如通过上面参照图20描述的方法对所测 量的被摄对象的形状的信息和所估计的被摄对象的形状的信息进行集成。特性信息集成单 元24将所集成的被摄对象的形状的信息提供给特性控制单元261作为物理特性参数。
[0263] 以这样的方式，在成像时测量作为被摄对象的特性的被摄对象的照明光、反射特 性和形状等。此外，基于输入图像估计作为被摄对象的特性的被摄对象的照明光、反射特性 和形状等。基于可靠性集成了这些信息。这使得能够对图像进行照明光的优化、光泽度的 改善和透明度的再现。
[0264] 7.第六实施方式
[0265] (图像处理装置的配置示例）
[0266] 图23是示出根据本公开内容的第六实施方式的图像处理装置的配置的图。图23 的示例示出了图像处理装置的配置，其还获得被摄对象的材料信息作为被摄对象的特性并 且使用所获得的材料信息用作纹理控制。此外，在图23的示例中，作为纹理控制，还进行纹 理恢复。在该示例中，利用了以下事实：不同的材料各自具有固有的反射特性。
[0267] 图23所示的图像处理装置301与图3所示的信息处理装置11在配置上的共同之 处在于：设置有成像环境信息获得单元21、成像环境信息分析单元22、被摄对象特性分析 单元23、视觉环境信息分析单元25和图像合成单元27。
[0268] 图像处理装置301与图3所示的图像处理装置11的不同之处在于：用特性信息集 成单元311代替了特性信息集成单元24,用特性控制单元312代替了特性控制单元26,并 且另外设置了先验知识数据库313。
[0269] 换言之，成像环境信息分析单元22将所分析的成像信息（包括被摄对象的材料信 息）提供给特性信息集成单元311。被摄对象特性分析单元23将所分析的被摄对象特性 (图像估计信息）提供给特性信息集成单元311。
[0270] 特性信息集成单元311基于可靠性的程度将由成像环境信息分析单元22提供的 成像信息和由被摄对象特性分析单元23提供的图像估计信息进行集成，并且将集成结果 提供给特性控制单元312作为被摄对象的物理特性参数。此外，在特性控制单元312的控 制下，特性信息集成单元311从先验知识数据库313读出对应于被摄对象的材料（皮肤、金 属、布等等）的纹理图像并且将所读取的纹理图像提供给特性控制单元312。
[0271] 特性控制单元312基于由特性信息集成单元311提供的物理特性参数确定用于控 制纹理的处理细节。具体地，特性控制单元312也基于例如作为物理特性参数的被摄对象 的反射特性来确定用于纹理控制的处理细节以考虑镜面反射分量和整体平衡以调节漫反 射分量。特性控制单元312使得图像合成单元27进行所确定的纹理控制。
[0272] 特性控制单元312根据由视觉环境信息分析单元25提供的视觉环境参数使得图 像合成单元27进行纹理控制以优化纹理控制。具体地，特性控制单元312根据例如作为视 觉环境参数的观看时的照明光（视觉环境光）确定纹理控制的处理细节以调节对比度，并 且使得图像合成单元27进行所确定的纹理控制。
[0273] 此外，特性控制单元312确定用于纹理控制的处理细节以使得特性信息集成单元 311读取对应于材料的纹理图像并且基于所读取的纹理图像进行对应于输入图像的材料的 纹理恢复处理。
[0274] 先验知识数据库313存储对应于被摄对象的材料的纹理图像。
[0275] 如上面所描述的，在图像处理装置301中，在成像时测量作为被摄对象的特性的 被摄对象的照明光、反射特性、形状和材料等。此外，基于输入图像估计作为被摄对象的特 性的被摄对象的照明光、反射特性、形状和材料等。对这些条信息进行集成以用于纹理控 制。
[0276] (图像处理示例）
[0277] 接下来，将参照图24的流程图对图23的图像处理装置301的图像处理进行描述。
[0278] 在步骤S301中，成像环境信息获得单元21拍摄被摄对象的图像并且输入被摄对 象的图像。成像环境信息获得单元21将输入图像提供给被摄对象特性分析单元23和图像 合成单元27。
[0279] 在步骤S302中，成像环境信息获得单元21、成像环境分析单元22和被摄对象特性 分析单元23进行测量/估计/集成处理。后面将参照图25对测量/估计/集成处理进行 描述。通过步骤S302中的处理，将所测量的物理特性参数和所估计的物理特性参数（包括 被摄对象的反射特性、成像环境光、被摄对象的形状、被摄对象的材料等等）提供给特性控 制单元312。
[0280] 在步骤S303中，视觉环境信息分析单元25和特性控制单元312基于指示观看图 像的环境的视觉环境信息进行处理。基于视觉环境信息的处理基本上与上面参照图12描 述的处理相同，因此为了避免重复将省略对其的描述。通过步骤S303中的处理，确定了基 于视觉环境信息的纹理控制的处理细节。
[0281] 在步骤S304中，特性控制单元312基于被摄对象的材料执行反射特性调节处理。 后面将参照图26对反射特性调节处理进行描述。在这种情况下，参照由特性信息集成单元 311集成的物理特性参数（包括材料和反射特性）。通过步骤S304中的处理，确定了基于 反射特性的纹理控制的处理细节。
[0282] 在步骤S305中，特性控制单元312使得特性信息集成单元311读物对应于材料的 纹理图像并且使用该纹理图像进行对应于输入图像的材料类型的纹理恢复处理。后面将参 照图27对纹理恢复处理进行描述。通过步骤S305中的处理，确定了通过纹理恢复的纹理 控制的处理细节。
[0283] 在步骤S306中，图像合成单元27基于所确定的用于纹理控制的处理细节再合成 输入图像。换言之，在图24的示例中，调节所测量的视觉环境光的对比度，基于图像的材料 调节反射特性，并且进行对应于材料的纹理恢复。从而控制被摄对象的图像的纹理。
[0284] 接下来，将参照图25的流程图对图24的步骤S302中的测量/估计/集成处理进 行描述。
[0285] 在步骤S321中，成像环境信息获得单元21测量成像环境光并且将所测量的成像 环境光提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像环境信息 获得单元21提供的成像环境光，并且作为该分析的结果将成像环境光的信息提供给特性 信息集成单元311。
[0286] 在步骤S322中，成像环境信息获得单元21测量被摄对象的反射特性并且将所测 量的被摄对象的反射特性和被摄对象的材料提供给成像环境信息分析单元22。成像环境信 息分析单元22分析由成像环境信息获得单元21提供的被摄对象的反射特性和被摄对象的 材料，并且将所分析的被摄对象的反射特性和材料提供给特性信息集成单元311。
[0287] 在步骤S323中，成像环境信息获得单元21测量被摄对象的形状并且将所测量的 被摄对象的形状提供给成像环境信息分析单元22。成像环境信息分析单元22分析由成像 环境信息获得单元21提供的被摄对象的形状并且将所分析的被摄对象的形状提供给特性 信息集成单元311。
[0288] 在步骤S324中，被摄对象特性分析单元23基于所提供的输入图像估计和分析成 像环境光，并且作为该分析的结果获得成像环境光的信息。被摄对象特性分析单元23将成 像环境光信息提供给特性信息集成单元311。
[0289] 在步骤S325中，特性信息集成单元311例如通过上面参照图20描述的方法对所 测量的成像环境光的信息和所估计的成像环境光的信息进行集成。特性信息集成单元311 将所集成的成像环境光的信息提供给特性控制单元312作为物理特性参数。
[0290] 在步骤S326中，特性控制单元312使得图像合成单元27基于根据成像环境光的 信息获得的照明颜色来调节图像的白平衡。应当注意，可以在上述图24的步骤S304中的 反射特性调节处理时进行上面的调节处理，但是期望在其他调节之前进行白平衡调节，因 此采取这样的处理顺序。
[0291] 在步骤S327中，被摄对象特性分析单元23估计和分析被摄对象的反射特性和材 料，并且将所分析的反射特性和材料的信息提供给特性信息集成单元311。
[0292] 在步骤S328中，特性信息集成单元311例如通过上面参照图20描述的方法对所 测量的被摄对象的反射特性的信息和所估计的被摄对象的反射特性的信息进行集成。特性 信息集成单元311将所集成的被摄对象的反射特性的信息提供给特性控制单元312作为物 理特性参数。
[0293] 在步骤S329中，特性信息集成单元311例如通过上面参照图20描述的方法对所 测量的被摄对象的材料的信息和所估计的被摄对象的材料的信息进行集成。特性信息集成 单元311将所集成的被摄对象的材料的信息提供给特性控制单元312作为物理特性参数。
[0294] 在步骤S330中，被摄对象特性分析单元23估计和分析被摄对象的形状，并且将所 分析的被摄对象的形状的信息提供给特性信息集成单元311。
[0295] 在步骤S331中，特性信息集成单元311例如通过上面参照图20描述的方法对所 测量的被摄对象的形状的信息和所估计的被摄对象的形状的信息进行集成。特性信息集成 单元311将所集成的被摄对象的形状的信息提供给特性控制单元312作为物理特性参数。
[0296] 以这样的方式，除了作为被摄对象的特性的被摄对象的照明光、反射特性和形状 之外，在成像时还测量被摄对象的材料等。此外，基于输入图像估计这些信息并且基于可靠 性对这些信息进行集成。这样集成的物理特性参数用于纹理控制。这使得能够对图像进行 照明光的优化、光泽度的改善和透明度的再现。
[0297] 接下来，将参照图26的流程图对图24的步骤S304中的基于材料的反射特性调节 处理进行描述。
[0298] 在步骤S351中，特性控制单元312基于由特性信息集成单元311提供的被摄对象 的反射特性的信息来确定镜面反射分量是否大。在步骤S351中，如果确定镜面反射分量 大，则处理进行至步骤S352。
[0299] 在步骤S352中，作为纹理控制，特性控制单元312确定增强镜面反射分量。在步 骤S351中，如果确定镜面反射分量小，则处理进行至步骤S353。
[0300] 在步骤S353中，特性控制单元312确定漫反射分量是否大。在步骤S353中，如果 确定漫反射分量大，则处理进行至步骤S354。在步骤S354中，作为纹理控制，特性控制单元 312确定减小漫反射分量。
[0301] 在步骤S353中，如果确定漫反射分量小，则处理进行至步骤S355。
[0302] 在步骤S355中，特性控制单元312基于由特性信息集成单元31集成的被摄对象 的材料的信息来确定材料是否具有强镜面反射分量。在步骤S355中，如果确定材料具有强 镜面反射分量，则处理进行至步骤S356。在步骤S356中，作为纹理控制，特性控制单元312 确定强调镜面反射分量。
[0303] 在步骤S355中，如果确定材料不具有强镜面反射分量，则处理进行至步骤S357。 在步骤S357中，作为纹理控制，特性控制单元312确定减小镜面反射分量。
[0304] 在步骤S358中，特性控制单元312确定针对所有像素的反射特性调节是否终止。
[0305] 在步骤S358中，如果确定针对所有像素的反射特性调节终止，则终止反射特性调 节处理。在步骤S358中，如果确定针对所有像素的反射特性调节还没有终止，则处理返回 至步骤S351并且重复步骤S351中的处理和后面的处理。
[0306] 如上面所描述的，根据被摄对象的材料调节图像的反射特性，并且控制被摄对象 的图像的纹理。这使得能够对图像进行照明光的优化、光泽度的改善和透明度的再现。
[0307] 接下来，将参照图27的流程图对图24的步骤S305中的纹理恢复处理进行描述。
[0308] 在步骤S371中，特性控制单元312控制特性信息集成单元311获得与来自先验知 识数据库313的被摄对象的材料相对应的纹理图像（补丁数据）。
[0309] 在步骤S372中，特性控制单元312通过使用图28所示的滤波器组控制图像合成 单元27将输入图像和纹理图像中的每个划分成子带。
[0310] 在步骤S373中，特性控制单元312控制图像合成单元27进行调节，使得针对每个 子带，输入图像的每个频率分量的直方图与的纹理图像的每个频率分量的直方图一致。换 言之，特性控制单元312控制图像合成单元27针对每个子带对输入图像和纹理图像进行直 方图均衡化。
[0311] 如上面所描述的，执行纹理控制来恢复纹理，以改善被摄对象的纹理。这可以提供 更加逼真的图像。
[0312] 在图27和图28的示例中，通过直方图均化进行纹理恢复处理，这是调节频率范围 的特性量的方法的示例。应当注意，纹理恢复处理不限于这种示例。例如，如图29所示，通 过块匹配的像素值替代也能够恢复纹理。
[0313] 例如，从对应于输入图形的纹理图像（补丁数据）提取块。所提取的块与输入图 像的处理目标区域中的感兴趣块的像素值匹配。然后，用所提取的块代替感兴趣的块。如 果针对所有区域执行了这种处理并且针对所有区域的写终止，则处理终止。
[0314] 8.第七实施方式
[0315] (图像处理装置的配置示例）
[0316] 图30是示出根据本公开内容的第七实施方式的图像处理装置的配置的图。图30 的示例示出了图像处理装置的配置，该图像处理装置将成像时获得的信息和基于图像估计 的信息进行集成，并且使用元数据用于后面阶段（图像合成单元）的纹理控制。
[0317] 图30所示的图像处理装置351与图3所示的图像处理装置11在配置上的共同之 处在于：被摄对象特性分析单元23、特性信息集成单元24和视觉环境信息分析单元25。
[0318] 图像处理装置351与图3所示的图像处理装置11的不同之处在于：分别用成像环 境信息获得单元361、成像环境信息分析单元362、特性控制单元363和图像合成单元364 代替成像环境信息获得单元21、成像环境信息分析单元22、特性控制单元26和图像合成单 元27。
[0319] 换言之，成像环境信息获得单元361拍摄被摄对象的图像并且输入被摄对象的图 像。此外，成像环境信息获得单元361获得被摄对象成像时的环境和被摄对象的成像信息 并且将输入图像和成像信息提供给成像环境信息分析单元362。
[0320] 成像环境信息分析单元362将输入图像提供给被摄对象特性分析单元23并且将 成像信息提供给特性信息集成单元24。此外，成像环境信息分析单元362将成像信息改变 成元数据以将该元数据添加至输入图像并且将输入图像和改变成元数据的成像信息提供 给成像合成单元364。
[0321] 图像合成单元364基于由特性控制单元363确定的处理细节对输入图像进行再合 成。应当注意，如果作为元数据获得摄像机参数如快门速度、光圈和透镜亮度水平，则可以 粗略地掌握输入图像亮度（绝对亮度）信息。因此，图像合成单元364还基于添加至输入 图像的元数据进行再计算以再合成输入图像。
[0322] (图像处理实例）
[0323] 接下来，将参照图31的流程图对图30的图像处理装置351的图像处理进行描述。
[0324] 在步骤S351中，成像环境信息获得单元361拍摄被摄对象的图像并且输入被摄对 象的图像。成像环境信息获得单元361将输入图像提供给成像环境分析单元362。应当注 意，也将输入图像从成像环境信息分析单元362提供给被摄对象特性分析单元23。
[0325] 在步骤S352中，成像环境信息获得单元361、成像环境信息分析单元362、被摄对 象特性分析单元23和特性信息集成单元24执行测量/估计/集成处理。测量/估计/集 成处理基本上与上面参照图25描述的处理相同，因此为了避免重复将省略对其的描述。通 过步骤S352中的处理，将所测量的物理特性参数和所估计的物理特性参数（包括被摄对象 的反射特性、成像环境光、被摄对象的形状、被摄对象的材料等）提供给特性控制单元363。
[0326] 此外，在步骤S353中，成像环境信息分析单元362将成像信息改变为元数据，将元 数据添加至输入图像，并且将所产生的图像提供给图像合成单元364。
[0327] 在步骤S354中，视觉环境信息分析单元25和特性控制单元363基于指示观看图 像的环境的视觉环境信息进行处理。基于视觉环境信息的处理基本上与上面参照图12描 述的处理相同，因此为了避免重复将省略对其的描述。通过步骤S354的处理，确定了基于 视觉环境信息的纹理控制的处理细节。
[0328] 在步骤S355中，特性控制单元363进行基于被摄对象的材料的反射特性调节处 理。该反射特性调节处理基本上与上面参照图26描述的处理相同，因此为了避免重复将省 略对其的描述。在这种情况下，参照由特性信息集成单元24集成的物理特性参数（包括材 料和反射特性）。通过步骤S355中的处理，确定了基于反射特性的纹理控制的处理细节。
[0329] 在步骤S356中，图像合成单元364基于所确定的纹理控制的处理细节再合成输入 图像。换言之，在图31的示例中，调节了视觉环境光的对比度，并且基于材料调节了图像多 的反射特性。因此，控制了被摄对象的图像的纹理。
[0330] 此外，在步骤S357中，图像合成单元364基于添加至输入图像的元数据进行再计 算以再合成输入图像。例如，如果作为元数据获得摄像机参数如快门速度和光圈，则可以粗 略地掌握输入图像的亮度的信息。因此，进一步改善了图像的纹理。
[0331] 9.第八实施方式
[0332] (图像处理装置的配置示例）
[0333] 图32是示出根据本公开内容的第八实施方式的图像处理装置的图。图32的示例 示出了图像处理装置的配置，该图像处理装置获得包括成像时获得的信息和基于图像估计 的信息的所有信息，对这些信息进行集成并且将所集成的信息用于纹理控制。
[0334] 图32所示的图像处理装置401基本上具有与图3所示的图像处理装置11相同的 配置。换言之，图像处理装置401包括成像环境信息获得单元21、成像环境信息分析单元 22、被摄对象特性分析单元23、特性信息集成单元24、视觉环境信息分析单元25、特性控制 单元26和图像合成单元27。
[0335] 应当注意，在上面所描述的其他示例中，使用了一些物理特性参数如反射特性、照 明和材料。与此相比，图32的示例示出了如下配置：其中获得并且集成所有在成像时获得 的信息和基于图像估计的信息的所有信息，并且这些信息用于纹理控制。在以该配置以高 准确度获得所有信息的情况下，可以通过改变高准确度获得的信息来创建看起来如同在现 实世界中的任何图像，正如再创建CG (计算机图形）的情况。
[0336] (图像处理示例）
[0337] 接下来，将参照图33的流程图对图32的图像处理装置的401的图像处理进行描 述。
[0338] 在步骤S401，成像环境信息获得单元21拍摄被摄对象的图像并且输入被摄对象 的图像。成像环境信息获得单元21将输入图像提供给被摄对象特性分析单元23和图像合 成单元27。
[0339] 在步骤S402中，成像环境信息获得单元21、成像环境信息分析单元22和被摄对 象特性分析单元23执行测量/估计/集成处理。测量/估计/集成处理基本上与上面参 照图25描述的处理相同，因此为了避免重复将省略对其的描述。通过步骤S402中的处理， 将所测量的物理特性参数和所估计的物理特性参数（包括被摄对象的反射特性、成像环境 光、被摄对象的形状、被摄对象的材料等）提供给特性控制单元26。
[0340] 在步骤S403中，视觉环境信息分析单元25和特性控制单元26基于指示观看图像 的环境的视觉环境信息进行处理。基于视觉环境信息的处理基本上与上面参照图12描述 的处理相同，因此为了避免重复将省略对其的描述。通过步骤S403中的处理，确定了基于 视觉环境信息的纹理控制的处理细节。
[0341] 在步骤S404中，特性控制单元26基于被摄对象的材料执行反射特性调节处理。该 反射特性调节处理基本上与上面参照图26描述的处理相同，因此为了避免重复将省略对 其的描述。在这种情况下，参照由特性信息集成单元24集成的物理特性参数（包括材料和 反射特性）。通过步骤S404中的处理，确定了基于反射特性的纹理控制的处理细节。
[0342] 在步骤S405中，视觉环境信息分析单元25和特性控制单元26基于视线信息进行 处理。基于视线信息的处理基本上与上面参照图15描述的处理相同，因此为了避免重复将 省略对其的描述。通过步骤S405中的处理，确定了基于视线信息的纹理控制的处理细节。
[0343] 在步骤S406中，图像合成单元27基于所确定的纹理控制的处理细节再合成输入 图像。换言之，在图33的示例中，调节视觉环境光的对比度，基于图像的材料调节反射特 性，并且执行基于视线信息的调节。因此，控制了被摄对象的图像的纹理。
[0344] 如上面所描述的，使用成像时或基于图像获得的所有物理特性参数。此外，当高度 准确地获得了物理特性参数的情况下，这些参数的改变使得即使在输入图像的再现能力差 的情况下也能够对图像进行照明光的优化、光泽度的改善和透明度的再现。换言之，能够使 用视频再现实际看到被摄对象的情形，如同使用CG(计算机图形）的情况。
[0345] 如上面所描述的，在本公开内容中，测量被摄对象物理特性参数（包括形状、反射 特性、照明等等）并且控制特性。这使得能够改善视频质量。
[0346] 此外，在成像时考虑观看时的环境信息（包括照明、感兴趣位置等等），使得可以 控制人观看视频时视频的质量保持恒定。
[0347] 在考虑成像时或观看时的环境信息的情况下控制被摄对象的物理特性参数，并且 校正或强调通过成像和显示引起的相对于真实的误差。这使得能够改善观看视频时所给出 的印象。
[0348] 此外，对成像时测量的信息和基于图像估计的信息进行集成，使得可以提高可靠 度。
[0349] 此外，可以使用成像时的信息作为元数据，使得可以达到观看视频的环境中的最 佳视频质量。
[0350] 如上面所描述的，根据本公开内容，可以达到更真实的视频表现。换言之，控制被 摄对象特性（包括材料、形状、反射特性等等），并且校正或强调通过成像或显示引起的相 对于真实的误差。因此，能够使用视频再现实际上观看被摄对象的情形，并且可以给出观看 视频时的较强印象。
[0351] 此外，成像时使用观看时的环境信息，使得能够使用视频再现实际上观看被摄对 象的情况。
[0352] 10.第九实施方式
[0353] (个人计算机）
[0354] 可以通过硬件或软件执行上述一系列处理。当通过软件执行所述一系列处理时， 将构成软件的程序安装进计算机。在此，该计算机包括集成在专用硬件中的计算机、能够使 用安装在其中的各种程序执行各种功能的通用个人计算机和其他计算机。
[0355] 图34是示出执行上述一系列处理的个人计算机500的硬件配置示例的框图。
[0356] 在个人计算机500中，CPU (中央处理单元）501、R0M(只读存储器）502和RAM(随 机存取存储器）503经由总线504彼此连接。
[0357] 总线504还连接至输入和输出接口 505。输入和输出接口 505连接至输入单元 506、输出单元507、存储单元508、通信单元509和驱动器510。
[0358] 输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存 储单元508包括硬盘和非易失性存储器。通信单元509包括网络接口等。驱动器510驱动 可移除介质511如磁盘、光盘、磁光盘和半导体存储器。
[0359] 在如上所述配置的个人计算机500中，CPU501经由输入和输出接口 505和总线 504将存储在例如存储单元508中的程序加载到RAM503并且执行该程序。从而执行上述一 系列处理。
[0360] 可以通过记录在可移除介质511上来提供由计算机（CPU501)执行的程序。可移 除介质511例如是封装介质如磁盘（包括软盘）、光盘（包括CD-ROM (压缩盘只读存储器） 和DVD (数字多功能盘））、磁光盘和半导体存储器。或者，可以经由有线或无线传输介质如 局域网、因特网和数字卫星广播来提供程序。
[0361] 在计算机中，可移除介质511被安装到驱动器510中，使得程序可以经由输入和输 出接口 505安装到存储单元508中。此外，通信单元509经由有线或无线传输介质接收程 序，使得程序可以安装到存储介质508中。此外，程序可以预先安装到R0M502或存储单元 508 中。
[0362] 应当注意，由计算机执行的程序可以是其中按照本说明书中描述的顺序执行处理 序的程序，或者可以是其中在必要时间如并行地执行处理时或执行调用时执行处理的程 序。
[0363] 此外，在本说明书中，描述记录在所记录介质中的程序的步骤除了包括按照所描 述的顺序按时间顺序执行的处理之外还包括不通过时间顺序处理的并行地或单独地执行 的处理。
[0364] 此外，在本说明书中，系统指代由多种设备（装置）构成的整个装置。
[0365] 此外，如上面的描述中的一个装置（或处理单元）的配置可以被划分为配置成多 个装置（或处理单元）。反过来，在上面的描述中描述为多个装置（或处理单元）的配置 可以被集成为配置成一个装置（或处理单元）。此外，每个装置的配置（或每个处理单元） 可以另外地设置除上面所描述的配置之外的其他配置。此外，如果这些装置（或处理单元） 基本上具有与整个系统相同的配置或执行基本上相同的操作，则在另外的装置（或处理单 元）的配置中可以包括某个装置（或处理单元）的配置的一部分。即，本公开内容不限于 上面所描述的实施方式，并且在不偏离本公开内容的主旨的情况下可以进行各种修改。
[0366] 在上文中，虽然参照附图详细地对本公开内容的合适实施方式进行了描述，但是 本公开内容不限于这样的实施方式。本领域的技术人员应当理解，只要在本所附权利要求 或其等同物的范围内，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更。
[0367] 应当指出的是，本公开内容可以采取以下配置。
[0368] (1) 一种图像处理装置，包括：
[0369] 被摄对象特性分析单元，被配置成获得关于拍摄图像内的被摄对象的信息；以及
[0370] 图像合成单元，被配置成生成与所述拍摄图像相对应的输出图像，在所述输出图 像中，已经基于所获得的信息修改了所述被摄对象的显示纹理，
[0371] 其中，通过处理器来实现所述被摄对象特性分析单元和所述图像合成单元中的至 少之一。
[0372] (2)根据⑴所述的图像处理装置，其中，
[0373] 所获得的信息包括所述被摄对象的至少一个物理特性参数，所述至少一个物理特 性参数包括与所述被摄对象的深度、所述被摄对象的形状、拍摄所述图像时的照明、所述被 摄对象的材料和所述被摄对象的反射特性中至少之一有关的信息，并且
[0374] 基于所述被摄对象的所述至少一个物理特性参数修改所述被摄对象的显示纹理。
[0375] (3)根据⑵所述的图像处理装置，还包括：
[0376] 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视 觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息，
[0377] 其中，基于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性 参数修改所述被摄对象的显示纹理。
[0378] (4)根据⑵所述的图像处理装置，还包括：
[0379] 特性控制单元，被配置成基于所述至少一个物理特性参数确定是否要获得至少一 个视觉环境参数，并且提供控制以使得仅在确定要获得所述至少一个视觉环境参数的情况 下获得所述至少一个视觉环境参数，
[0380] 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄 对象中至少之一有关的信息，并且
[0381] 其中，基于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性 参数修改所述被摄对象的显示纹理。
[0382] (5)根据（2)所述的图像处理装置，还包括：
[0383] 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视 觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息；
[0384] 特性控制单元，被配置成基于所述至少一个物理特性参数来确定是否要也基于所 述至少一个视觉环境参数来修改所述被摄对象的显示纹理，并且在确定要也基于所述至少 一个视觉环境参数来修改所述被摄对象的显示纹理的情况下，基于所述至少一个视觉环境 参数和所述被摄对象的所述至少一个物理特性参数控制对所述被摄对象的显示纹理的所 述修改，
[0385] 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄 对象中至少之一有关的信息。
[0386] (6)根据（2)所述的图像处理装置，其中，通过基于与所述被摄对象的形状有关的 信息强调所述被摄对象的阴影来修改所述被摄对象的显示纹理。
[0387] (7)根据⑴所述的图像处理装置，其中
[0388] 所述物理特性参数包括关于被摄对象的照明的信息，并且
[0389] 所述纹理控制单元被配置成根据所述照明调节所述图像中所述被摄对象的对比 度。
[0390] (8)根据（2)所述的图像处理装置，其中，通过基于与所述被摄对象的材料有关的 信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。
[0391] (9)根据（2)所述的图像处理装置，其中，通过基于与所述被摄对象的材料有关的 信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。
[0392] (10)根据（2)所述的图像处理装置，其中，通过基于与所述被摄对象的反射特性 有关的信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。
[0393] (11)根据（10)所述的图像处理装置，其中，
[0394] 在与所述被摄对象的反射特性有关的信息指示强的镜面反射分量的情况下，通过 使用与所述被摄对象的反射特性有关的信息强调所述图像中所述被摄对象的镜面反射分 量来修改所述被摄对象的显示纹理，
[0395] 在与所述被摄对象的反射特性有关的信息指示强的漫反射分量的情况下，通过使 用与所述被摄对象的反射特性有关的信息减小所述图像中所述被摄对象的漫反射分量并 且强调所述图像中所述被摄对象的镜面反射分量来修改所述被摄对象的显示纹理，
[0396] 在与所述被摄对象的材料有关的信息指示强的镜面反射分量的情况下，通过使用 与所述被摄对象的反射特性有关的信息强调所述图像中所述被摄对象的镜面反射分量来 修改所述被摄对象的所述显示纹理。
[0397] (12)根据（1)所述的图像处理装置，还包括：
[0398] 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视 觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息，
[0399] 其中，基于所获得的信息和所述至少一个视觉环境参数来修改所述被摄对象的显 示纹理。
[0400] (13)根据（12)所述的图像处理装置，其中，所生成的输出图像的背景的显示纹理 相对于所述拍摄图像内相应背景的显示纹理而言未被修改。
[0401] (14) 一种图像处理方法，包括：
[0402] 获得关于拍摄图像内的被摄对象的信息；
[0403] 基于所获得的信息修改所述被摄对象的显示纹理；以及
[0404] 生成与所述拍摄图像相对应的输出图像，所述输出图像包括具有所修改的显示纹 理的所述被摄对象。
[0405] (15)根据（14)所述的图像处理方法，其中，
[0406] 所获得的信息包括所述被摄对象的至少一个物理特性参数，所述至少一个物理特 性参数包括与所述被摄对象的深度、所述被摄对象的形状、拍摄所述图像时的照明、所述被 摄对象的材料和所述被摄对象的反射特性中至少之一有关的信息，并且
[0407] 基于所述被摄对象的所述至少一个物理特性参数修改所述被摄对象的显示纹理。
[0408] (16)根据（15)所述的图像处理方法，还包括：
[0409] 获得至少一个视觉环境参数，所述至少一个视觉环境参数包括与视觉环境照明、 观看时间和感兴趣被摄对象中至少之一有关的信息，
[0410] 其中，所获得的信息还包括所述至少一个视觉环境参数，并且基于所述至少一个 视觉环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述被摄对象的显示 纹理。
[0411] (17)根据（15)所述的图像处理方法，还包括：
[0412] 基于所述至少一个物理特性参数确定是否要获得至少一个视觉环境参数；以及
[0413] 在确定要获得所述至少一个视觉环境参数的情况下，获得所述至少一个视觉环境 参数，
[0414] 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄 对象中至少之一有关的信息，并且
[0415] 其中，所获得的信息还包括所述至少一个视觉环境参数，并且基于所述至少一个 视觉环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述被摄对象的显示 纹理。
[0416] (18)根据（15)所述的图像处理方法，还包括：
[0417] 基于所述至少一个物理特性参数确定是否还要在所获得的信息内包括至少一个 视觉环境参数，
[0418] 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄 对象中至少之一有关的信息，并且
[0419] 其中，在确定要在所获得的信息内包括所述至少一个视觉环境参数的情况下，基 于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述 被摄对象的显示纹理。
[0420] (19)根据（14)所述的图像处理方法，还包括：
[0421] 获得至少一个视觉环境参数，所述至少一个视觉环境参数包括与视觉环境照明、 观看时间和感兴趣被摄对象中至少之一有关的信息，
[0422] 其中，所获得的信息包括所述至少一个视觉环境参数，并且基于所述至少一个视 觉环境参数和所述被摄对象的所述至少一个物理特性来修改所述被摄对象的显示纹理。
[0423] (20)根据（19)所述的图像处理方法，其中，在拍摄所述图像时获得所述至少一个 视觉环境参数。
[0424] (21)根据（19)所述的图像处理方法，其中，所述至少一个视觉环境参数对应于要 在其中再现所生成的输出图像以用于观看的环境。
[0425] (22)根据（14)所述的图像处理方法，其中，所生成的输出图像的背景的显示纹理 相对于所述拍摄图像内相应背景的显示纹理而言未被修改。
[0426] (23) -种包含有程序的非暂态计算机可读介质，当由计算机执行所述程序时，所 述程序使所述计算机执行一种方法，所述方法包括：
[0427] 获得关于拍摄图像内的被摄对象的信息；
[0428] 基于所获得的信息修改所述被摄对象的显示纹理；以及
[0429] 生成对应于所述拍摄图像的输出图像，所述输出图像包括具有所修改的显示纹理 的所述被摄对象。
【权利要求】
1. 一种图像处理装置，包括： 被摄对象特性分析单元，被配置成获得关于拍摄图像内的被摄对象的信息；以及 图像合成单元，被配置成生成与所述拍摄图像相对应的输出图像，在所述输出图像中， 已经基于所获得的信息修改了所述被摄对象的显示纹理， 其中，通过处理器来实现所述被摄对象特性分析单元和所述图像合成单元中的至少之 〇
2. 根据权利要求1所述的图像处理装置，其中， 所获得的信息包括所述被摄对象的至少一个物理特性参数，所述至少一个物理特性参 数包括与所述被摄对象的深度、所述被摄对象的形状、拍摄所述图像时的照明、所述被摄对 象的材料和所述被摄对象的反射特性中至少之一有关的信息，并且 基于所述被摄对象的所述至少一个物理特性参数修改所述被摄对象的显示纹理。
3. 根据权利要求2所述的图像处理装置，还包括： 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视觉环 境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息， 其中，基于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性参数 修改所述被摄对象的显示纹理。
4. 根据权利要求2所述的图像处理装置，还包括： 特性控制单元，被配置成基于所述至少一个物理特性参数确定是否要获得至少一个视 觉环境参数，并且提供控制以使得仅在确定要获得所述至少一个视觉环境参数的情况下获 得所述至少一个视觉环境参数， 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象 中至少之一有关的信息，并且 其中，基于所述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性参数 修改所述被摄对象的显示纹理。
5. 根据权利要求2所述的图像处理装置，还包括： 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视觉环 境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息； 特性控制单元，被配置成基于所述至少一个物理特性参数来确定是否要也基于所述至 少一个视觉环境参数来修改所述被摄对象的显示纹理，并且在确定要也基于所述至少一个 视觉环境参数来修改所述被摄对象的显示纹理的情况下，基于所述至少一个视觉环境参数 和所述被摄对象的所述至少一个物理特性参数控制对所述被摄对象的显示纹理的所述修 改， 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象 中至少之一有关的信息。
6. 根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的形状有关 的信息强调所述被摄对象的阴影来修改所述被摄对象的显示纹理。
7. 根据权利要求2所述的图像处理装置，其中，通过基于与拍摄所述图像时的照明有 关的信息调节所述被摄对象的对比度来修改所述被摄对象的显示纹理。
8. 根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的材料有关 的信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。
9. 根据权利要求2所述的图像处理装置，其中，通过基于与所述被摄对象的反射特性 有关的信息调节所述被摄对象的反射水平来修改所述被摄对象的显示纹理。
10. 根据权利要求9所述的图像处理装置，其中， 在与所述被摄对象的反射特性有关的信息指示强的镜面反射分量的情况下，通过使用 与所述被摄对象的反射特性有关的信息强调所述图像中所述被摄对象的镜面反射分量来 修改所述被摄对象的显示纹理， 在与所述被摄对象的反射特性有关的信息指示强的漫反射分量的情况下，通过使用与 所述被摄对象的反射特性有关的信息减小所述图像中所述被摄对象的漫反射分量并且强 调所述图像中所述被摄对象的镜面反射分量来修改所述被摄对象的显示纹理， 在与所述被摄对象的材料有关的信息指示强的镜面反射分量的情况下，通过使用与所 述被摄对象的反射特性有关的信息强调所述图像中所述被摄对象的镜面反射分量来修改 所述被摄对象的所述显示纹理。
11. 根据权利要求1所述的图像处理装置，还包括： 视觉环境信息分析单元，被配置成获得至少一个视觉环境参数，所述至少一个视觉环 境参数包括与视觉环境照明、观看时间和感兴趣被摄对象中至少之一有关的信息， 其中，基于所获得的信息和所述至少一个视觉环境参数来修改所述被摄对象的显示纹 理。
12. 根据权利要求11所述的图像处理装置，其中，所生成的输出图像的背景的显示纹 理相对于所述拍摄图像内相应背景的显示纹理而言未被修改。
13. -种图像处理方法，包括： 获得关于拍摄图像内的被摄对象的信息； 基于所获得的信息修改所述被摄对象的显示纹理；以及 生成与所述拍摄图像相对应的输出图像，所述输出图像包括具有所修改的显示纹理的 所述被摄对象。
14. 根据权利要求13所述的图像处理方法，其中， 所获得的信息包括所述被摄对象的至少一个物理特性参数，所述至少一个物理特性参 数包括与所述被摄对象的深度、所述被摄对象的形状、拍摄所述图像时的照明、所述被摄对 象的材料和所述被摄对象的反射特性中至少之一有关的信息，并且 基于所述被摄对象的所述至少一个物理特性参数修改所述被摄对象的显示纹理。
15. 根据权利要求14所述的图像处理方法，还包括： 获得至少一个视觉环境参数，所述至少一个视觉环境参数包括与视觉环境照明、观看 时间和感兴趣被摄对象中至少之一有关的信息， 其中，所获得的信息还包括所述至少一个视觉环境参数，并且基于所述至少一个视觉 环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述被摄对象的显示纹理。
16. 根据权利要求14所述的图像处理方法，还包括： 基于所述至少一个物理特性参数确定是否要获得至少一个视觉环境参数；以及 在确定要获得所述至少一个视觉环境参数的情况下，获得所述至少一个视觉环境参 数， 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象 中至少之一有关的信息，并且 其中，所获得的信息还包括所述至少一个视觉环境参数，并且基于所述至少一个视觉 环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述被摄对象的显示纹理。
17. 根据权利要求14所述的图像处理方法，还包括： 基于所述至少一个物理特性参数确定是否还要在所获得的信息内包括至少一个视觉 环境参数， 其中，所述至少一个视觉环境参数包括与视觉环境照明、观看时间和感兴趣被摄对象 中至少之一有关的信息，并且 其中，在确定要在所获得的信息内包括所述至少一个视觉环境参数的情况下，基于所 述至少一个视觉环境参数和所述被摄对象的所述至少一个物理特性参数来修改所述被摄 对象的显示纹理。
18. 根据权利要求13所述的图像处理方法，还包括： 获得至少一个视觉环境参数，所述至少一个视觉环境参数包括与视觉环境照明、观看 时间和感兴趣被摄对象中至少之一有关的信息， 其中，所获得的信息包括所述至少一个视觉环境参数，并且基于所述至少一个视觉环 境参数和所述被摄对象的所述至少一个物理特性来修改所述被摄对象的显示纹理。
19. 根据权利要求18所述的图像处理方法，其中，在拍摄所述图像时获得所述至少一 个视觉环境参数。
20. 根据权利要求18所述的图像处理方法，其中，所述至少一个视觉环境参数对应于 要在其中再现所生成的输出图像以用于观看的环境。
21. 根据权利要求13所述的图像处理方法，其中，所生成的输出图像的背景的显示纹 理相对于所述拍摄图像内相应背景的显示纹理而言未被修改。
22. -种包含有程序的非暂态计算机可读介质，当由计算机执行所述程序时，所述程序 使所述计算机执行一种方法，所述方法包括： 获得关于拍摄图像内的被摄对象的信息； 基于所获得的信息修改所述被摄对象的显示纹理；以及 生成对应于所述拍摄图像的输出图像，所述输出图像包括具有所修改的显示纹理的所 述被摄对象。
【文档编号】H04N9/64GK104159023SQ201410190498
【公开日】2014年11月19日 申请日期:2014年5月7日 优先权日:2013年5月14日
【发明者】森藤孝文, 赤尾雅人, 绪形昌美 申请人:索尼公司