专利名称：图像处理装置、图像处理方法和程序的制作方法
技术领域：
本技术涉及图像处理装置、图像处理方法和程序。具体地，本技术涉及将图像纹理映射(texture-map)到计算机图形CG对象的表面的图像处理装置等。
背景技术：
在三维(3D)图形系统中，整个图像的渲染被执行以使得3D坐标被分解为诸如三角形之类的多边形并且随后渲染在多边形上被执行。因此，在此情况下，可以说3D图像是用多边形的组合来定义的。同时，我们周围的许多物体表面具有复杂形状的重复图案。当形状或图案变得越发复杂和精细时，难以通过三角形等来对每个形状和图案进行建模。在这点上，纹理映射被用作解决以上问题的手段。纹理映射通过将用扫描仪等获得的图像数据附帖到对象表面来用少量顶点实现高度真实的图像。因此，纹理单元元素(Texel)是与窗口坐标系统中的每个图片单元元素(Pixel)相对应的纹理元素，其通过定义从对象坐标系统到纹理坐标系统的映射并获得从窗口坐标系统到纹理坐标系统的映射来获得。用于纹理的图像数据被存储在称为纹理存储器的存储器区域中。因此，当纹理存储器被使用运动图像数据定期更新时，基于运动图像的纹理映射处理可以被执行。例如，日本专利申请特开2007-013874号公报公开了通过对任意形状的纹理映射来改变图像的图像特效装置。
发明内容
在图像(图像数据)中，在画面的端部部分，图像可能失真。为此，相关技术的广播视频设备设有修剪功能(用于剪去图像边缘)。当计算机图形(CG)中经纹理映射的图像的边缘中存在问题并且希望修剪图像的边缘时，对合成的CG图像执行修剪处理是没有用的。此外，为了对非输入图像执行修剪处理而安装与CG生成设备分离的执行图像放大的设备或电路成本很高。此外，当图像的端部部分被使得变黑等时，已经经历了纹理映射的图像是没有效果的。另外，在广播运作时需要容易的修剪操作。希望恰当地处理被纹理映射的图像的端部。本技术的概念是一种图像处理装置，包括图像生成单元，该图像生成单元基于CG描述数据来生成计算机图形CG图像；图像映射单元，该图像映射单元将图像纹理映射到由图像生成单元渲染的多边形的表面；以及修剪操作单元，该修剪操作单元指示是打开还是关闭修剪处理。当修剪操作单元指示打开修剪处理时，图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元的输出图像中。在本技术中，图像生成单元基于CG描述数据来生成CG图像。图像映射单元将图像纹理映射到由图像生成单元渲染的多边形的表面。在此情况下，当打开修剪处理的指示被给出时，图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元的输出图像中。
例如，图像映射单元可以以根据修剪量通过在纹理坐标上放大图像来执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元的输出图像中。此外，例如，图像映射单元可以根据修剪量在其纹理坐标在对应范围内的区域上不映射图像，而生成CG描述数据中指定的表面样式的图像。此外，例如，图像映射单元可以根据修剪量在其纹理坐标不在对应范围内的区域上计算一值并且使用该值来执行纹理映射，其中，当图像越接近端部时，该值越接近O。在本技术中，当打开修剪处理的指示被给出时，纹理映射在图像的端部部分被修剪的状态中被执行。因此，例如，在其与画面的端部部分相对应的部分失真的图像的纹理映射中，可以防止失真部分被映射。在本技术中，例如，图像处理装置还可以包括图像选择单元，该图像选择单元从多个图像中选择指定图像；以及修剪选择存储单元，该修剪选择存储单元存储有关是否要对这多个图像中的每个图像执行所述修剪处理的信息。图像映射单元可以将由图像选择单元选择的指定图像纹理映射到由图像生成单元渲染的多边形的表面，并且当表示不必要对由图像选择单元选择的指定图像执行修剪处理的信息被存储在修剪选择存储单元中时，图 像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元中的输出图像中。在此情况中，当判定不必对被选作纹理映射的目标的指定图像执行修剪处理时，映射被执行以使得被纹理映射的图像的端部部分不被包括在图像生成单元的输出图像中。因此，可以防止不必要地对其与画面的端部部分相对应的部分失真的图像执行修剪处理。在本技术中，例如，可以提供一个表，在该表中，针对CG描述数据中所指定的每个表面样式(素材)确定当对表面样式的多边形的表面执行纹理映射时是否执行修剪处理，并且，图像映射单元可以根据该表来确定是否要执行修剪处理。因此，可以仅在对与纹理映射目标对应的必要目标上执行纹理映射时执行修剪处理。在本技术中，例如，还可以提供输入修剪量的修剪量输入单元。因此，用户可以将修剪量设定成任意量。根据本技术的实施例，将被纹理映射到CG对象表面的图像的端部将被恰当地处理。
图I是图示出根据本技术实施例的图像处理装置的配置示例的框图；图2是图示出图像生成单元和图像映射单元的具体配置示例的示图；图3是图示出图像生成单元和图像映射单元的功能块的配置示例的示图；图4是图示出图像生成单元(包括图像映射单元)的每帧/场的图像生成/渲染处理的过程的流程图；图5是图示出每个表面的纹理映射处理的过程的流程图；图6A至6E是用于描述根据修剪量来在纹理坐标上放大图像的修剪处理的示图；图7是用于描述其中根据修剪量在其纹理坐标不在对应范围内的区域中的图像上不执行映射的修剪处理的示图；图8A至SC是用于描述其中根据修剪量在其纹理坐标在对应范围内的区域中计算值a (当图像越接近端部时a越接近0)并且使用该值来执行纹理映射的修剪处理的示图；图9是图示出其中针对CG描述数据中指定的每个素材确定在对素材的多边形的表面进行纹理映射时是否执行修剪处理的表的示例的示图；图IOA和IOB是用于描述其中纹理映射图像中所包括的图像捕获目标仅出现在左眼图像和右眼图像中的一者中的情况的示图；图11是图示出当右端的人处于前方时左眼图像(用虚线指示)和右眼图像(用实线指示)的示图；以及图12A和12B是用于描述当右端的人处于前方时左眼图像(用虚线指示)和右眼图像(用实线指示)上的修剪处理的示图。具体实施例方式以下将参考附图来详细描述本公开的优选实施例。注意，在该说明书和附图中，基本具有相同功能和结构的结构元件用相同的标号表示，并且省略对这些结构元件的重复描述。下文中，将描述实施本技术的实施例(下文中称为“实施例”)。将以如下顺序来进行描述I.实施例2.修改例〈I.实施例 >[图像处理装置的配置]图I是图示出根据本技术实施例的图像处理装置100的配置示例。图像处理装置100包括CG制作单元110、网络120、图像生成单元130、图像映射单元140和存储单元150。此外，图像处理装置100包括矩阵开关160、切换器控制台(图像选择操作单元)170、图像合成单元(节目/预览混合器)180和导出信息编辑单元190。CG制作单元110、图像生成单元130、和图像选择操作单元170连接到网络120。CG制作单元110利用包括CG制作软件的个人计算机(PC)来配置。CG制作单元110输出指定格式的CG描述数据。例如，CG描述数据的示例性格式是Col Iada (注册商标)。Collada是用于实现可扩展标记语言(XML)上的3D CG数据交换的描述定义。例如，在CG描述数据中描述了以下信息。(a)素材(表面样式)的定义“素材”的定义是指CG对象的表面的质量(看起来如何)。素材的定义包含有关颜色、反射法、发光、凹凸等的信息。素材的定义可以包含有关纹理映射的信息。如上所述，纹理映射是用来将图像粘贴到CG对象的技术，并且可以在相对降低处理系统的负荷的同时表现复杂的形状。(b)几何信息“Geometry”(几何学)的定义几何信息“Geometry”的定义包含有关多边形的位置坐标和顶点坐标的信息。(c)相机的定义“相机”的定义包含相机的参数。
(d)动画的定义“动画”的定义包含动画的每个关键帧中的各种信息。例如，动画的定义包含有关动趣的每个关键巾贞中的时刻的信息。各种彳目息是指诸如对应对象(节点)的关键巾贞点的时亥IJ、位置和顶点坐标值、大小、正切向量、插值方法以及动画中的各种信息的变化之类的信
肩、O(e)场景中的节点(对象)的对应素材的位置、方向、大小、对应几何信息的定义以及对应素材的定义。这各种信息不是分散的而是例如如以下那样相互关联的 节点…几何信息 节点…素材(复数) 几何信息…多边形集合(复数) 多边形集合…素材(对应于节点的素材之一) 动画…节点构成单个画面的描述称为场景。每个定义称为库(library)并且被场景参考。例如，当存在两个长方体对象，每个长方体对象被描述为一个节点，并且素材定义中的一个被与一个节点相关联。结果，素材定义被与每个长方体对象相关联，并且渲染根据每个素材定义基于色彩或反射特性而被执行。可替代地，当长方体对象用多个多边形集合描述并且多边形集合被与素材定义相关联时，不同多边形集合通过不同素材定义被渲染。例如，尽管长方体对象有六个面，但是长方体对象可以用三个多边形集合来描述以使得三个面用一个多边形集合描述，一个面用一个多边形集合，并且两个面用一个多边形集合描述。由于不同多边形集合被与不同素材定义相关联，因此，不同的面可以用不同色彩渲染。当纹理映射在素材定义中被指定时，基于图像数据的图像被纹理映射到对象的相关联的面。例如，可以进行设定以使得图像可以被纹理映射到被纹理映射到素材定义。因此，相同的图像可以被纹理映射到长方体对象的所有面，并且不同的图像可以被纹理映射到不同的面。矩阵开关160从多个输入图像(输入图像数据)中有选择地提取指定图像(图像数据)。在该实施例中，矩阵开关160包括10条输入线路、13条输出总线线路211至223以及13各交叉点开关组231至243。矩阵开关160构成效果切换器的一部分。矩阵开关160被用来向作为外部设备的图像映射单元140供应图像数据并向内部图像合成单元180等供应图像数据。输出总线线路211至214是用于向图像映射单元140供应图像数据的总线线路。输出总线线路215至221是用于向外部输出图像数据的总线线路。输出总线线路222和223是用于向内部图像合成单元180供应图像数据的总线线路。10条输入线路被排列在一个方向(图I中的垂直方向)上。图像数据从磁带录像机(VTR)、视频相机之类被输入到输入线路“I”至“9”。从图像生成单元130输出的CG图像数据被输入到输入线路“10”。13条输出总线线路211至223与输入线路相交并被排列在另一方向(图I中的水平方向)上。
交叉点开关组231至234在10条输入线路与输出总线线路211至214分别相交的交叉点处执行连接操作。基于用户的图像选择操作，交叉点开关组231至234的连接操作被控制，并且对10条输入线路的任何图像数据输入被有选择地输出至输出总线线路211至214。输出总线线路211至214构成输出图像数据以用于纹理映射(映射输入)的输出线路Tl至T4。交叉点开关组235至241在10条输入线路与输出总线线路215至221分别相交的交叉点处执行连接操作。基于用户的图像选择操作，交叉点开关组235至241的连接操作被控制，并且对10条输入线路的任何图像数据输入被有选择地输出至输出总线线路215至221。输出总线线路215至221构成输出图像数据以用于外部输出的输出线路OUTl至0UT7。交叉点开关组242和243在10条输入线路与输出总线线路222和223分别相交的交叉点处执行连接操作。基于用户的图像选择操作，交叉点开关组242和243的连接操作被控制，并且对10条输入线路的任何图像数据输入被有选择地输出至输出总线线路222 和 223。交叉点开关组231至243的交叉点开关的开/关操作使得包括连贯帧数据的图像数据被切换从而其在作为帧间间隔的垂直消隐间隔(VBI)内被执行。输出给输出总线线路222和223的图像数据被输入图像合成单元(节目/预览混合器)180。图像合成单元180执行合成从输出总线线路222和223输入的图像数据的处理。节目(PGM)输出从图像合成单元180经由节目输出线路251被输出到外部。预览输出从图像合成单元180经由预览输出线路252被输出到外部。图像合成单元180中包括图形修剪单元181。当被输出给输出总线线路222和223的图像数据包括在画面的端部部分中失真的图像时，图形修剪单元181执行剪去图像的端部(边缘)的修剪处理。图像数据(映射输入)Tl至T4上的用于纹理映射的修剪处理在图像映射单元140(稍后描述)中被执行。图像选择操作单元170接收给矩阵开关160的指令的操作输入。图像选择操作单元170设有控制台(未示出)，该控制台包括用于操作矩阵开关160的交叉点开关组的开关的开/关操作的推压按钮阵列。图像选择操作单元170包括修剪操作单元171、修剪量输入单元172和修剪选择存储单元173。修剪操作单元171是用户用来指示图像映射单元140打开/关闭修剪处理的操作单元。修剪量输入单兀172用户用来输入修剪量的输入单兀。在此情况下,用户输入有关将被修剪的图像的端部是水平方向的端部和垂直方向的端部中的任一者还是这两者的信息。例如，百分比值被输入作为修剪量。修剪量输入单元172是可选分量。当图像映射单元140使用固定量作为修剪量时，可以不提供修剪量输入单元172。修剪选择存储单元173存储有关是否需要对多个输入图像(输入图像数据)中的每个执行修剪处理的信息。即，如上所述，来自磁带录像机(VTR)、视频相机等的图像数据被输入到矩阵开关160的输入线路“I”到“9”中的每个。修剪选择存储单元173存储有关是否需要对输入每个输入线路的图像数据执行修剪处理的信息。图像生成单元130基于由CG制作单元110创建的CG描述数据来生成作为3D空间图像的CG图像。存储单元150存储CG描述数据。当CG描述数据被读入时，图像生成单元130将诸如每个定义之类的信息保存在存储器中并且保存定义之间的对应作为数据结构。图像生成单元130将用于运行动画的关键帧中的各种值保存在存储器中。例如，图像生成单元130通过参考几何信息和相关联的素材定义来指定多边形集合等的颜色来在某些节点的几何信息中存在的多边形集合上执行渲染。在动画的情况中，渲染被执行以使得当前时间以帧为单位行进，并且前一关键帧的值和下一关键帧的值通过在值之间进行插值而被确定。例如，图像生成单元130控制图像映射单元140以使得基于与图像分配表(未示出)中存在的每个属性值(名称)配对的映射输入的图像被纹理映射到与属性值(名称)相关联的多边形(多边形集合)的表面。图像映射单元140在图像生成单元130的控制下 执行纹理映射。例如，属性是素材，并且，例如，图像分配表是其中素材名称被与图像输入编号(指定图I中的Tl至T4中的一个的编号)相关联的表。映射输入Tl至T4是用于纹理映射的图像数据，被从如上所述的矩阵开关160供应给图像映射单元140。图像映射单元140在图像生成单元130的控制下，将基于与图像分配表中存在的每个属性值(名称)配对的映射输入的图像纹理映射到与属性值(名称)相关联的多边形(多边形集合)的表面。例如，图像映射单元140可以升级为与图像生成单元130集成并且可以通过中央处理器(CPU)上的软件的控制和诸如图像处理单元(GPU)之类的硬件的操作来实现。控制软件指定将被纹理映射的多边形集合并且向硬件指示所指定的多边形集合。[图像生成单元和图像映射单元的配置示例]图2图示出图像生成单元130和图像映射单元140的具体配置示例。图像生成单元130和图像映射单元140包括图像输入/输出(I/O)单元141、GPU142、本地存储器143、CPU 144和主存储器145。图像生成单元130和图像映射单元140还包括外围设备控制单元146，a硬盘驱动器(HDD) 147、以太网电路148a和网络端子148b。图像生成单元130和图像映射单元140还包括通用串行总线(USB)端子149和同步动态随机存取存储器(SDRAM) 151。这里，“以太网”是注册商标。图像I/O单元141接收被纹理映射的图像数据并且输出基于该图像数据的图像被近似地纹理映射到的CG图像的图像数据。图像I/O单元141可以接收最大4个系统的图像数据并且也可以输出最大4个系统的图像数据。例如，这里处理的图像数据可以是遵循SMPTE292M中规定的高清晰电视串行数字接口(HD-SDI)标准的图像数据。GPU 142和主存储器145被配置为能够同等地访问图像I/O单元141。主存储器145用作CPU 144的工作区域并且临时存储从图像I/O单元141输入的图像数据。CPU 144总体地控制图像生成单元130和图像映射单元140。CPU 144与外围设备控制单元146连接。外围设备控制单元146执行CPU 144和外围设备之间的接口处理。CPU 144经由外围设备控制单元146与内建的HDD 147连接。此外，CPU 144经由外围设备控制单元146和以太网电路148a与网络端子148b连接。CPU 144经由外围设备控制单元146与USB端子149连接。此外，CPU 144经由外围设备控制单元146连接到SDRAM 151。CPU 144控制纹理坐标。换而言之，CPU 144在输入图像数据上执行将基于输入图像数据的图像纹理映射将由GPU 142渲染的多边形的表面上的处理。GPU 142基于HDD 147等中所存储的CG描述数据来生成CG图像，并在必要时将图像纹理映射到指定多边形的表面。本地存储器143用作GPU 142的工作区域并且临时存储由GPU 142创建的CG图像的图像数据。CPU 144可以访问本地存储器143以及主存储器145。同样地，GPU142可以访问本地存储器143和主存储器145。由GPU 142生成并随后被临时存储在本地存储器143中的CG图像数据被从本地存储器143顺次读取并从图像I/O单元141输出。图3图示出图像生成单元130和图像映射单元140的功能块的配置示例。图像生成单元130和图像映射单元140包括诸如图像输入单元152、纹理图像存储单元153、CG控制单元154、CG渲染单元155、纹理坐标控制单元156、帧缓冲器157和图像输出单元158之类的功能块。图像输入单元152和图像输出单元158由图像I/O单元141实现。纹理图像存储单元153由主存储器145实现。CG控制单元154和纹理坐标控制单元156由CPU 144实 现。CG渲染单元155由GPU 142实现。帧缓冲器157由本地存储器143实现。图像输入单元152和纹理图像存储单元153配对。通过增大图像输入单元152与纹理图像存储单元153配对的数目可以增大图像输入系统的数目。帧缓冲器157和图像输出单元158配对。通过增大帧缓冲器157和图像输出单元158的配对的数目可以增大图像输出系统的数目。[图像映射单元的修剪处理]将描述图像映射单元140的修剪处理。当图像选择操作单元170的修剪操作单元171给出打开修剪处理的指令时，图像映射单元140执行修剪处理。换而言之，图像映射单元140执行映射以使得被纹理映射的图像的端部(边缘)部分不被包括在图像生成单元130的输出图像中。图4的流程示出图像生成单元130 (包括图像映射单元140)执行的每帧/场的图像生成/渲染处理的过程。在步骤STl中，图像生成单元130开始处理，并且随后，处理进行到步骤ST2。在步骤ST2中，图像生成单元130基于CG描述数据来执行渲染处理。随后，在步骤ST3中，图像生成单元130判断CG描述数据是否包括纹理映射指令。当判定CG描述数据包括纹理映射指令时，在步骤ST4中，图像生成单元130针对将经历纹理映射的每个表面(多边形的表面)执行映射处理。在步骤ST4的处理之后，在步骤ST5中，图像生成单元130结束处理。同时，当在步骤ST3中判定CG描述数据不包括纹理映射指令时，在步骤ST5中，处理立即结束。图5的流程示出图4的流程图的步骤ST4中的每个表面的映射处理的过程。在步骤ST41中，图像生成单元130开始处理，并且随后，处理进行到步骤ST42。在步骤ST42中，图像生成单元130基于存储在修剪选择存储单元173中的信息来判断将被映射的图像是否是修剪处理的目标。当判定将被映射的图像是修剪处理的目标时，在步骤ST43中，图像生成单元130在根据修剪量执行修剪处理的同时执行映射。在步骤ST43的处理之后，在步骤ST44中，图像生成单元130结束处理。然而，当在步骤ST42判定将被映射的图像不是修剪处理的目标时，在步骤ST45中，图像生成单元130执行映射而不执行修剪处理。在步骤ST45的处理之后，在步骤ST44中，图像生成单元130结束处理。[修剪处理的具体示例]接着，将描述由图像映射单元140执行的修剪处理。“处理示例I”图像映射单元140通过根据修剪量在纹理坐标上放大图像来执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元130的输出图像中。在此情况下，图像映射单元140操作将不被映射的图像端部的纹理坐标。纹理坐标U和V 二者的范围都是0和I之间。通过将该范围完整映射到对象表面，图像的X和y的整个区域被显示。另一方面，当希望放大图像时，比U和V小的范围，例如，在10%修剪的 情况中0. I和0. 9之间的范围被映射到对象表面，因此，图像被放大。假定[a, b]表示该范围，贝U (ul, vl)表示未经变换的坐标,并且(u2, v2)表示变换后的左边，纹理坐标的变换等式用以下式I和2表达u2 = (b~a) Xul+a ... (I)v2 = (b~a) X vl+a ... (2)例如，考虑图6A中图示出的被纹理映射的图像、图6B中图示出的将被纹理映射的多边形以及纹理坐标(UV坐标)。图6C图示出当修剪处理不被执行时的纹理映射结果(输出图像看起来如何)。图6D图示出当10%的修剪被垂直执行时的变换后的纹理坐标(UV坐标)，并且图6E图示出当修剪处理被执行时的纹理映射结果(输出图像看起来如何)。如上所述，图像通过修剪处理在垂直方向上被放大并且因此图像的端部部分不被映射。“处理示例2”图像映射单元140根据修剪量在其纹理坐标在对应范围内的区域上不映射图像，而根据CG描述数据中指定的表面样式(素材)来生成图像。换而言之,例如，当纹理映射被执行时，在10%垂直修剪的情况下，图像映射单元140不对纹理坐标V在从0到0. I的范围中或从0. 9到I的范围中的的区域执行纹理映射。例如，考虑图6A中示出的被纹理映射的图像、图6B中示出的将被纹理映射的多边形以及纹理坐标(UV坐标)。图7图示出当10%修剪被垂直执行时的纹理映射结果(输出图像看起来如何)。从图7可以容易地看出，增加了表示修剪位置的线。“处理示例3”图像映射单元140根据修剪量来在纹理坐标在对应范围内的区域上计算值(a )(值(a)在图像区域越接近端部时越接近0)，并且使用该值来执行纹理映射。换而言之，例如，图像映射单元140在30%水平修剪的情况下计算出如图8C中所示的值a。在此情况下，在其纹理坐标U在从0.3到0.7的范围中的区域内，值a被设定为I。此外，值a在区域中线性变化，其中，当U是0时，值a为0，当U是I时，值a为0，并且U在从0到0. 3的范围中和从0.7到I的范围中。图像映射单元140使用值a作为混合率来将图像与原始表面样式混合。图8A图示出当修剪处理未被执行时的纹理映射结果(输出图像看起来如何)。在此情况下，图像的端部从将被映射的图像向原始表面样式逐渐变化。
将描述图I中示出的图像处理装置100的操作示例。CG制作单元110生成用于通过CG制作软件来生成指定CG图像的CG描述数据。由CG制作单元110生成的CG描述数据经由网络120被发送给图像生成单元130并存储在存储单元150中。图像生成单元130基于由CG制作单元110创建的CG描述数据来生成作为3D空间图像的CG图像。例如，图像生成单元130控制图像映射单元140以使得基于与图像分配表(未示出)中存在的每个属性值(名称)配对的映射输入的图像被纹理映射到与属性值(名称)相关联的多边形(多边形集合)的表面。图像映射单元140在图像生成单元130的控制下执行纹理映射。即，图像映射单元140将基于与图像分配表中存在的每个属性值(名称)配对的映射输入的图像纹理映射到与属性值(名称)相关联的多边形(多边形集合)的表面。此时，当图像选择操作单元170的修剪操作单元171给出打开修剪处理的指令时，图像映射单元140执行修剪处理，例如“处理示例I”至“处理示例3”。在此情况下，图像映射单元140执行映射以使得被纹理映射的图像的端部(边缘)部分不被包括在图像生成单元130的输出图像中。随后，通过将图像纹理映射到指定多边形的表面获得的CG图像的图像数据Vout被输出给从图像生成单元130引出的输出端子130a。此外，从图像生成单元130输出的、通过将图像映射到指定多边形的表面获得的CG图像的图像数据被输入矩阵开关160的输入线路“10”。在图I中示出的图像处理装置100中，当图像选择操作单元170的修剪操作单元171给出的打开修剪处理的指令时，图像生成单元130的图像映射单元140在图像的端部部分被修剪的状态中执行纹理映射。因此，例如，在对其与画面的端部部分对应的部分失真的图像进行纹理映射时可以防止失真部分被映射。此外，在图I中示出的图像处理装置100中，当基于存储在修剪选择存储单元173中的信息判定纹理映射目标的图像需要经历修剪处理时，图像映射单元140执行修剪处理。因此，可以防止不必要地对其与画面的端部部分相对应的部分未失真的图像执行修剪处理。此外，当基于存储在修剪选择存储单元173中的信息需要修剪判定未被图像生成单元130处理而是被输入图像合成单元180的图像时，图像修剪单元181执行修剪处理。〈2 修改例〉在以上实施例中，图像映射单元140基于存储在修剪选择存储单元173中的信息，即，根据图像，来判断是否需要执行修剪处理。然而，可以根据CG描述数据中指定的表面样式(素材)来判断是否需要执行修剪处理。在此情况下,提供一个表,在该表中,针对CG描述数据中指定的每个表面样式(素材)预先确定当对表面样式的多边形的表面执行纹理映射时是否执行修剪处理。例如，该表被布置在图像选择操作单元170或图像生成单元130中。在此情况下，图像映射单元140根据表来判断修剪处理是否必要。在许多情况下，根据被纹理映射的图像的特征来判断是否要执行修剪处理。然而，也存在这样的情况，其中，根据另一原因来判断是否要执行修剪处理是适当的。例如，当工作室内正被相机捕获的广播员的图像被放到CG虚拟空间中的箱的表面上时，修剪处理优选被执行以使得看起来奇怪的端部部分不被包括并且观众的注意力不被它吸引。另一方面，当运动图像被纹理映射到地板表面作为简单运动图案时，可能期望不执行修剪处理，这是因为注意力不会被图像内容吸引。因此，当CG描述数据的素材被指定为纹理映射目标时，有关修剪处理是否要被执行的信息被存储在表中作为素材属性。图9图示出一个表的示例，其中，针对CG描述数据中指定的每个素材，确定当对素材的多边形的表面执行纹理映射时是否执行修剪处理。在该表的示例中，例如，对于素材“MetalOOl”和“Monitorl”不执行修剪处理，然而，对素材“ClothOl”执行修剪处理。此外，修剪百分比被存储在表中作为修剪量。根据以上实施例，当有关修剪是否必要的信息针对每个图像被存储时，例如仅在选定图像需要被修剪并且修剪处理被设定为在目标素材上被执行(On)时，修剪处理被执行。在一些使用中，当选定图像需要被修剪时，修剪处理可以被执行，而不论素材的修剪处理的开/关设定如何。例如，为了使用旧的图像，希望有必要对旧图像执行修剪处理。 尽管以上未被描述，但是纹理映射的目标图像可以包括构成立体图像的左眼图像和右眼图像。在此情况下，当对立体图像执行纹理映射时，通过经由左眼虚拟相机和右眼虚拟相机来捕获纹理映射图像的左眼图像和右眼图像并且对左眼图像和右眼图像执行渲染处理，可以维持纹理映射图像的立体效果。然而，纹理映射图像中所包括的图像捕获目标可能仅出现在左眼图像和右眼图像中的一个中。例如,如图10A中所示，从前方看到的立体对象PO的左端不出现在右眼图像中。另一方面，如图10B中所示，处于后方的立体对象PO的右端既出现在左眼图像中又出现在右眼图像中。如上所述，当纹理映射图像中所包括的图像捕获目标仅出现在左眼图像和右眼图像中的一个中时，通过例如使用值a执行纹理映射可以减少不舒适感。例如，图11图示出当右端的人处于前方时的左眼图像(用虚线指示)和右眼图像(用实线指示)。在此情况下，例如，如图12B中所示，值a可以被计算出，并且修剪处理可以使用值a被执行。在此情况下，如图12A中所示，对右端的人的部分执行修剪处理。SP，由于右端的人的部分通过使用值a的修剪处理逐渐淡出，所以该部分变得不那么突出，从而可以降低不舒适感。当纹理映射的目标图像包括构成立体图像的左眼图像和右眼图像时，图像映射单元140通过分析图像或使用附加于图像的深度信息(视差信息)来判断图像的端部是否是在前面看见的部分或存在于后方的部分。随后，当图像的端部时在前方看见的部分时，图像映射单元140执行修剪处理，从而可以如上所述地降低不舒适感。本领域技术人员应当理解，可以根据设计要求和其它因素来进行各种修改、组合、子组合和更改，只要它们在所附权利要求书或其等同物的范围之内即可。另外，本技术还可以被配置如下。(I) 一种图像处理装置，包括图像生成单元，所述图像生成单元基于计算机图形(CG)描述数据来生成CG图像；图像映射单元，所述图像映射单元将图像纹理映射到由所述图像生成单元渲染的多边形的表面；以及修剪操作单元,所述修剪操作单元指示是打开还是关闭修剪处理，
其中，当所述修剪操作单元指示打开修剪处理时，所述图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在所述图像生成单元的输出图像中。(2)根据权利要求(I)所述的图像处理装置，还包括图像选择单元，所述图像选择单元从多个图像中选择指定图像；以及修剪选择存储单元，所述修剪选择存储单元存储有关是否要对所述多个图像中的每个图像执行所述修剪处理的信息，其中，所述图像映射单元将由所述图像选择单元选择的所述指定图像纹理映射到由所述图像生成单元渲染的多边形的表面，并且当表示不需要对由所述图像选择单元选择的所述指定图像执行所述修剪处理的信息被存储在所述修剪选择存储单元中时，所述图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在所述图像生成单元中的输出图像中。 (3)根据权利要求(I)或(2)所述的图像处理装置，还包括表，在所述表中，针对所述CG描述数据中所指定的每个表面样式确定当对表面样式的多边形的表面执行纹理映射时是否执行所述修剪处理，其中，所述图像映射单元根据所述表来确定是否要执行所述修剪处理。(4)根据权利要求(I)至(3)中任一项所述的图像处理装置，其中，所述图像映射单元根据修剪量通过在纹理坐标上放大所述图像来执行映射来使得被纹理映射的图像的端部部分不被包括在所述图像生成单元的输出图像中。(5)根据权利要求(I)至(3)中任一项所述的图像处理装置，其中，所述图像映射单元根据修剪量在其纹理坐标在对应范围内的区域上不映射所述图像，而生成所述CG描述数据中指定的表面样式的图像。(6)根据权利要求(I)至(3)中任一项所述的图像处理装置，其中，所述图像映射单元根据修剪量其纹理坐标不在对应范围内的区域上计算一值并且使用该值来执行纹理映射，其中，当图像越接近端部时，该值越接近O。(7)根据权利要求⑴至(6)中任一项I所述的图像处理装置，还包括输入修剪量的修剪量输入单兀。本申请包含与2011年4月6日于日本专利局提交的日本在先专利申请JP2011-084435中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。
权利要求
1.ー种图像处理装置，包括 图像生成単元，所述图像生成単元基于计算机图形CG描述数据来生成CG图像； 图像映射単元，所述图像映射単元将图像纹理映射到由所述图像生成単元渲染的多边形的表面；以及 修剪操作单元，所述修剪操作单元指示是打开还是关闭修剪处理， 其中，当所述修剪操作単元指示了打开修剪处理时，所述图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在所述图像生成単元的输出图像中。
2.根据权利要求I所述的图像处理装置，还包括 图像选择单元，所述图像选择单元从多个图像中选择指定图像；以及修剪选择存储単元，所述修剪选择存储单元存储关于对所述多个图像中的每个图像是否要执行所述修剪处理的信息， 其中，所述图像映射单元将由所述图像选择单元选择的所述指定图像纹理映射到由所述图像生成単元渲染的多边形的表面，并且 当表示需要对由所述图像选择单元选择的所述指定图像执行所述修剪处理的信息被存储在所述修剪选择存储单元中时，所述图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在所述图像生成単元中的输出图像中。
3.根据权利要求I所述的图像处理装置，还包括 表，在所述表中，针对所述CG描述数据中所指定的每个表面样式确定了当对该表面样式的多边形的表面执行纹理映射时是否执行所述修剪处理， 其中，所述图像映射単元根据所述表来确定是否要执行所述修剪处理。
4.根据权利要求I所述的图像处理装置，其中，所述图像映射単元根据修剪量通过在纹理坐标上放大图像来执行映射，以使得将被纹理映射的图像的端部部分不被包括在所述图像生成単元的输出图像中。
5.根据权利要求I所述的图像处理装置，其中，所述图像映射単元根据修剪量在纹理坐标处于对应范围内的区域上不映射所述图像，而生成所述CG描述数据中指定的表面样式的图像。
6.根据权利要求I所述的图像处理装置，其中，所述图像映射単元在根据修剪量在纹理坐标处于对应范围内的区域上计算ー值，并使用该值来执行纹理映射，其中，图像越接近端部，该值就越接近O。
7.根据权利要求I所述的图像处理装置，还包括输入修剪量的修剪量输入单元。
8.根据权利要求I所述的图像处理装置，其中，所述图像包括构成立体图像的左眼图像和右眼图像，并且 当判定由于所述左眼图像和所述右眼图像之间的视差造成在左端或右端的前方看到立体图像对象时，所述图像映射单元执行所述修剪处理。
9.一种处理图像的方法,包括 基于计算机图形CG描述数据来生成CG图像；以及 将图像纹理映射到在生成所述CG图像时渲染的多边形的表面； 其中，当给出了打开修剪处理的指示时，所述图像的纹理映射被执行以使得被纹理映射的图像的端部部分不被包括在输出图像中。
10.ー种图像处理装置，包括 图像生成単元，所述图像生成単元基于计算机图形CG描述数据来生成CG图像； 图像映射単元，所述图像映射単元将图像纹理映射到由所述图像生成単元渲染的多边形的表面；以及 其中，当给出了打开修剪处理的指示时，所述图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在所述图像生成単元的输出图像中。
全文摘要
本公开涉及一种图像处理装置、图像处理方法和程序。图像生成单元基于CG描述数据来生成计算机图形(CG)图像。图像映射单元将图像纹理映射到由图像生成单元渲染的多边形的表面。当指示打开修剪处理的指示被给出时，映射被执行，同时修剪处理被执行。即，图像映射单元执行映射以使得被纹理映射的图像的端部部分不被包括在图像生成单元的输出图像中。当图像是修剪目标时，图像映射单元执行修剪处理。
文档编号G06T15/04GK102737403SQ20121009874
公开日2012年10月17日 申请日期2012年3月31日 优先权日2011年4月6日
发明者中村泉三郎 申请人:索尼公司