图像处理装置和图像处理方法

图像处理装置和图像处理方法
【技术领域】
[0001] 本发明涉及一种渲染图像或操纵拍摄的图像的图像处理装置、以及在该装置中使 用的图像处理方法。
【背景技术】
[0002] 已经提出了不仅执行游戏程序、而且还可以再现移动图像的家用娱乐系统。在此 家用娱乐系统中，GPU使用多边形生成三维图像（例如，参见文献1)。此时，向待渲染的对 象设置表示透明度的阿尔法（alpha)值，并且可以在渲染时通过阿尔法混合处理表示具有 透明性的对象，该阿尔法混合处理考虑阿尔法值，以从视点观察在后面的对象开始，按顺序 叠加对象。
[0003] 另外，容易地基于用户操作和装置设置不仅对由装置渲染的三维图像、而且对由 相机等拍摄的图像执行各种操纵处理已经成为可能。在这样的环境中，图像生成的效率和 响应性总是重要的问题。因此，已经开发了诸如图像数据压缩技术、传输技术、图像处理技 术、显示技术等的各种技术，并且已经在许多领域中将它们投入了实际使用。因此，在各种 情形中在附近享受高清晰度图像已经成为可能。
[0004] 引用列表 [0005] 专利文献
[0006] PTL 1
[0007] 美国专利 No. 6563999

【发明内容】

[0008] 技术问题
[0009] 图像的清晰度越高并且显示内容越复杂，渲染和操作所需的处理负荷就增加得越 多，因此可操作性和响应性的问题就趋于变得越明显。例如，当要精确表示大量微小对象 时，处理符合增加以执行正确的阿尔法混合处理。因此，根据装置的处理能力，响应性可能 下降，或者图像质量能够降低。因此，需要能够在任何装置环境中不变地生成或显示高清晰 度图像的技术。
[0010] 另外，当操纵拍摄的图像或渲染的图像时，通常基于图像平面确定待操纵区域 (诸如整个图像、图像的一部分中的矩形区域等）。在此情况下，不考虑图像的内容本身。因 此，根据操纵的目的，甚至可以另外操纵原本意想不到的区域，或者操纵区域与另一区域之 间的边界可变得明显。因此，需要用于容易地执行产生自然处理结果的图像操纵的技术，其 中考虑包括图像中表示的人或物体的空间的结构。
[0011] 已经鉴于这些问题而做出了本发明。本发明的目的是提供一种图像处理技术，其 即使当图像是高清晰图图像时也可以以良好响应性执行图像渲染和图像显示。本发明的另 一目的是提供一种图像处理技术，其可以容易地执行产生自然处理结果的图像操纵。
[0012] 问题的解决方案
[0013] 本发明的模式涉及图像处理装置。图像处理装置是用于渲染包括被设置表示透明 度的阿尔法值的对象的图像的图像处理装置，所述图像处理装置包括：渲染块，在图像平面 中根据视点渲染待渲染的空间中的对象；以及阴影处理块，对于由所述渲染块渲染的图像， 获得遮蔽（occlusion)度的评估值的分布，基于所述分布对所渲染的图像加阴影（shade)， 并将所得到的数据存储在存储器中，其中所述评估值能够通过估计环境光在待渲染的空间 中的遮蔽度而计算。
[0014] 本发明的另一模式涉及图像处理方法。图像处理方法是渲染包括被设置表示透明 度的阿尔法值的对象的图像的图像处理装置的图像处理方法，所述图像处理方法包括：在 从存储装置读取对象的模型数据之后在图像平面中根据视点渲染待渲染的空间中的对象 的步骤；对于渲染的图像获得遮蔽度的评估值的分布的步骤，其中所述评估值能够通过估 计环境光在待渲染的空间中的遮蔽度而计算；基于所述评估值的分布对所渲染的图像加阴 影的步骤；以及将加阴影的图像的数据存储在存储器中的步骤。
[0015] 本发明的再一模式涉及图像处理装置。此图像处理装置包括：缓冲区（buffer) 获得部分，基于关于图像中表示的目标对象相对于图像平面在深度方向上的位置坐标的 信息，获得表示位置坐标在图像平面中的分布的Z缓冲区；凸出（projection)和凹陷 (depression)评估部分，通过使用Z缓冲区计算图像平面中的各个位置的评估值，获得近 似表示三维空间中的目标对象的表面形状的凹陷或凸出的程度的评估值的分布，其中凹陷 或凸出的程度是相对于周围事物的；以及图像操纵部分，基于评估值的分布提取原始图像 的局部区域，使得该区域经受预定操纵，并将所得到的数据存储在存储器中。
[0016] 本发明的又一模式涉及图像处理方法。此图像处理方法是操纵从存储器读取的 原始图像的图像处理装置的图像处理方法，所述图像处理方法包括：基于关于原始图像中 表示的目标对象相对于图像平面在深度方向上的位置坐标的信息，获得表示位置坐标在图 像平面中的分布的Z缓冲区的步骤；通过使用Z缓冲区计算图像平面中的各个位置的评估 值，获得近似表示三维空间中的目标对象的表面形状的凹陷或凸出的程度的评估值的分布 的步骤，其中凹陷或凸出的程度是相对于周围事物的；基于评估值的分布提取原始图像的 局部区域，并使得该区域经受预定操纵的步骤；以及将操纵之后的图像的数据存储在存储 器中的步骤。
[0017] 应注意，上述构成要素的任意组合以及通过在方法、装置、系统、计算机程序等之 间转换本发明的表述而获得的模式作为本发明的模式也有效。
[0018] 发明的有益效果
[0019] 根据本发明，可以在任何装置环境中以良好的响应性渲染和显示同等质量的图 像。另外，可以容易地执行适合需要的各个图像操纵。
【附图说明】
[0020] 图1是示出根据第一实施例的图像处理装置的内部电路配置的图。
[0021] 图2是根据第一实施例的图像处理装置的功能框图。
[0022] 图3是帮助说明普通阿尔法混合的处理的图。
[0023] 图4是第一实施例中由阿尔法缓冲区生成块生成的阿尔法缓冲区的概念图。
[0024] 图5是帮助说明第一实施例中使用的SSA0的计算方法的图。
[0025] 图6是示出第一实施例中生成的图像中的转变（transition)的示例的图。
[0026] 图7是示出在当通过传统技术渲染包括毛发的对象时获得的图像、与当在第一实 施例中渲染包括毛发的对象时获得图像之间的比较的图。
[0027] 图8是示出在当通过传统技术渲染包括毛发的对象时获得的图像、与当在第一实 施例中渲染包括毛发的对象时获得图像之间的比较的图。
[0028] 图9是第一实施例中图像处理装置生成显示图像的处理过程的流程图。
[0029] 图10是第二实施例中的图像处理装置的功能框图。
[0030] 图11是第二实施例中图像处理装置操纵原始图像的处理过程的流程图。
[0031] 图12是示出在由相机拍摄的原始图像与通过第二实施例操纵的图像之间的比较 的图。
【具体实施方式】
[0032] 第一实施例
[0033] 图1示出根据本实施例的图像处理装置的内部电路配置的图。图像处理装置10 包括CPU (中央处理单元）12、GPU(图形处理单元）14、以及主存储器16。CPU 12基于诸如 操作系统、应用等的程序，控制信号处理和内部构成要素。GPU 14执行图像处理。
[0034] 这些部分经由总线20彼此互连。总线20还与输入-输出接口 18连接。输入-输 出接口 18与包括用于USB、IEEE 1394等的外围装置和用于有线或无线LAN的网络接口的 通信部分22、诸如硬盘驱动器、非易失性存储器等的存储部分24、将数据输出至诸如显示 装置、扬声器等的输出装置的输出部分26、从诸如键盘、鼠标、游戏控制器、麦克风、相机等 的输入装置接收数据的输入部分28、以及驱动诸如磁盘、光盘、半导体存储器等的可移除记 录介质的记录介质驱动部分30连接。
[0035] CPU 12通过执行存储部分24中存储的操作系统控制整个图像处理装置10。CPU 12还执行从可移除记录介质读取且加载到主存储器16中、或者经由通信部分22下载的各 种程序。GPU 14具有几何传递（transfer)引擎的功能和渲染处理器的功能。GPU 14根据 来自CPU 12的渲染指令执行渲染处理，并将显示图像存储在图中未示出的帧存储器中。然 后，GPU 14将帧存储器中存储的显示图像转换为视频信号，并将视频信号输出至输出部分 26等。
[0036] 图2示出图像处理装置10的功能框图。描述为图2和稍后描述的图10中的执行 各种处理的功能块的要素可以如上所述在硬件方面由CPU(中央处理单元）、GPU(图形处理 单元）和存储器、或另一 LSI配置，并且在软件方面由执行图像处理的程序以及各种操作等 实施。因此，本领域技术人员应理解，这些功能块可以仅通过硬件、仅通