专利名称：描绘装置及方法
技术领域：
本发明涉及在画面内描绘电视影像等图像对象(object)的描绘装置，尤其涉及在画面内描绘多个图像对象的多窗口显示技术。
背景技术：
多窗口(multi window)显示是为了在TV或记录器、平板电脑、智能电话等中同时显示多彩的内容而采用的技术，用于在一个画面内排列显示电视广播的多个频道的影像，或将在数据广播中用于进行与用户的交互式操作的图形合成在电视影像中进行显示。为了实现多窗口显示，例如有这样的方法，按照利用OpenGL等记述的描绘脚本，进行在存在于虚拟空间中的物体的表面粘贴多个图像对象的处理，然后描绘虚拟空间影像。在此，在多窗口显示中被排列显示于画面内的图像对象是电视影像等，在再现时被独立地进行解码，因而各个图像对象在被合成在一个画面之前需要预先存储在存储器中。因此，随着同时显示的图像对象的数量增加，需要的存储器带宽也增加。这种存储器带宽的增加成为高成本的原因，不是期望的方式。作为抑制多窗口显示所需要的存储器带宽的增加的技术有专利文献I的技术。在专利文献I公开的技术中，按照表示图形及动态图像的显示方式的描绘命令来决定分配给各个图像的存储器带宽，并实施缩小各个图像、或降低分辨率的变换，以便能够在所决定的存储器带宽内进行读写，由此自适应地抑制存储器带宽。现有技术文献专利文献专利文献1:日本特开2010 - 032801号公报发明概要发明要解决的问题可是，在按照上面所述缩小被合成在一个画面中之前的图像来降低多窗口显示所需要的存储器带宽的情况下，要求能够应对各种显示方式的描绘脚本。
发明内容
本发明的目的在于，提供一种描绘装置及描绘装置的控制方法，能够降低多窗口显示所需要的存储器带宽，并且实现多样化的描绘脚本的多窗口显示。用于解决问题的手段为了达到上述目的，本发明的一个方式的描绘装置，用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且其形状或者位置在多个帧期间中变化，其特征在于，该描绘装置具有:脚本处理器，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率；取得单元，取得多个图像对象;第I缩放器，将所取得的所述多个图像对象缩小；存储器，存储缩小后的各个图像对象；第2缩放器，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中脚本处理器计算出的缩小率；以及合成部，将由第2缩放器变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位。发明效果根据用于解决问题的手段中记载的结构，由于在向存储器中存储之前在第I缩放器中缩小图像对象，因而能够削减图像对象的存储所需要的存储器带宽，减少存储器个数。另一方面，在从存储器读出后，将读出的图像对象再次变换为在当前帧期间中描绘脚本所要求的缩小率，因而即使在显示图像对象的尺寸随时间经过一起变化的情况下，也能够描绘多窗口显示的合成图像，而不会受到基于存储器写入及读出的延迟的影响。因此，即使是诸如使显示图像的尺寸随时间经过一起变化的描绘脚本，也能够实现降低存储器带宽、提高描绘响应性能的多窗口显示。
图1是表示实施方式I的多窗口描绘装置的结构的图。图2是表示描绘脚本的记述例的图。图3是表示描绘脚本的记述例的图。图4是表示在图2、图3所示的描绘脚本中描绘的多窗口画面的图。图5是示意地表示基于图2、图3所示的描绘脚本的显示的变化的图。图6是表示在追加缩放器中生成的MIP贴图的一例的图。图7是表示在一帧期间中的多窗口描绘装置的动作的图。图8是表示在存储器前级中向存储器存储图像对象的处理的流程图。图9是表示在存储器后级中描绘合成图像的处理的流程图。图10是表示实施方式2的多窗口描绘装置的结构的图。图11是表示在实施方式2的多窗口描绘装置中向存储器存储图像对象的处理的流程图。图12是表示在实施方式2的多窗口描绘装置中描绘合成图像的处理的流程图。图13是表示多窗口画面的另一个示例的图。图14是表示实施方式3的电视机的结构的图。图15是表示在自适应地控制存储器带宽的过去的描绘装置中产生延迟的图。
具体实施例方式(作为本发明的基础的见解)作为多窗口显示的一个描绘脚本，可以考虑诸如使显示于画面内的图像的尺寸随时间经过一起变化的描绘脚本。但是，本发明者发现在专利文献I公开的技术中，在使图像尺寸随时间经过一起变化的描绘脚本中，如下所述多窗口显示的合成会延迟。首先，在专利文献I公开的技术中，各个图像在被存储于存储器中之前被实施缩小处理。但是，由于存储器的读写存在延迟，因而在采用专利文献I公开的技术的多窗口显示中，在使图像尺寸随时间经过一起变化的描绘脚本中，在图像合成时描绘脚本所要求的尺寸、和从存储器读出的图像的尺寸不同。其结果是，在专利文献I公开的技术中，产生多窗口显示图像的合成延迟的问题。例如假定这样的描绘脚本，如图15 (a)所示，在将两个图像排列于画面内，并且以画面的1/2尺寸较大地显示用户选择的一个图像、以画面的1/5尺寸显示另一个图像的多窗口显示中，在从左侧的图像变更为选择右侧的图像的情况下，如图15 (b)所示，在选择变更后的帧期间fl f4之间将左侧图像的尺寸变化为1/2 1/5。在帧期间fl以前的帧期间中，左侧图像继续以1/2的尺寸进行显示。在采用专利文献I公开的技术的情况下，左侧图像在各个帧期间中被缩小为指定的尺寸后被存储在存储器中。在此，在伴随着存储器的写入及读出的延迟相当于2个帧期间的情况下，在各个帧期间中，为了多窗口画面合成而从存储器读出的左侧图像如图15(c)所示。例如，在帧期间f3中，从存储器读出在帧期间fl中被缩小为1/2的图像。但是，在帧期间f3中为了画面合成描绘脚本所要求的图像是如图15 (b)所示被缩小为1/4的图像。其结果是，描绘脚本所要求的图像的尺寸和能够从存储器读出的图像的尺寸不同，不能将多窗口显示画面合成。(发明的一个方式的概况)本发明的目的在于，提供一种描绘装置及描绘装置的控制方法，能够降低多窗口显示所需要的存储器带宽，并且提高使显示图像的尺寸随时间经过一起变化的描绘脚本的描绘响应性能。本发明的第一方式的描绘装置，用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且其形状或者位置在多个帧期间中变化，其特征在于，该描绘装置具有:脚本处理器，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率；取得单元，取得多个图像对象；第I缩放器，将所取得的所述多个图像对象缩小；存储器，存储缩小后的各个图像对象；第2缩放器，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中脚本处理器计算出的缩小率；以及合成部，将由第2缩放器变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位。根据上述的结构，由于在向存储器中存储之前在第I缩放器将图像对象缩小，因而能够削减图像对象的存储所需要的存储器带宽，减少存储器个数。另一方面，在从存储器读出后，将读出的图像对象再次变换为在当前帧期间中描绘脚本所要求的缩小率，因而即使在显示图像对象的尺寸随时间经过一起变化的情况下，也能够描绘多窗口显示的合成图像，而不会受到基于存储器写入及读出的延迟的影响。因此，在使显示图像的尺寸随时间经过一起变化的描绘脚本中，能够提高描绘响应性能。 可是，在对向存储器中存储之前被缩小的图像对象进行合成之前再次进行缩放变换，存在合成图像中的画质恶化的问题。因此，本发明的第二方式也可以构成为在第一方式中还具有第3缩放器，对于所述第I缩放器使用的缩小率比规定的缩小率小的图像对象，生成以比所述第I缩放器使用的缩小率小的缩小率缩小后的图像对象，将所生成的缩小后的图像对象与由第I缩放器缩小后的图像对象一起存储在存储器中，在由第3缩放器缩小后的图像对象未被存储在存储器中的情况下，所述第2缩放器对由第I缩放器缩小后的图像对象进行所述缩小率的变换，在由第3缩放器缩小后的图像对象被存储在存储器中的情况下，所述第2缩放器对由第3缩放器缩小后的图像对象进行所述缩小率的变换。通过将不同缩小率的描绘对象存储在存储器中，能够减少需要再变换的机会。并且，在进行再变换时，通过使用缩小率接近的描绘对象，能够抑制画质恶化的程度。因此，根据本发明的第二方式，能够通过削减存储器带宽和减少存储器个数来削减成本，同时能够一并实现针对图像尺寸的变更的响应性能的提闻和画质的提闻，能够提闻多窗口显不的表现力。另外，本发明的第三方式也可以构成为在第二方式中，第3缩放器生成的已缩小的图像对象是通过解码而得到的图像对象的MIP贴图。MIP贴图方式通常由将原图像缩小为1/2、1/4、1/8、1/16、…这样1/2的乘幂的尺寸的图像组构成，该方法在生成缩小率较高的图像时具有改善画质的效果。另外，本发明的第四方式也可以构成为在第三方式中，所述规定的缩小率是3/4。通常，MIP贴图的合计数据量不会超过原图像的1/3。因此，如果第I缩放器中使用的缩小率为3/4以下，则从由第I缩放器缩小后的图像对象生成的MIP贴图的数据量为由取得单元取得的原来的图像对象的1/4以下，由第I缩放器缩小后的图像对象与MIP贴图的合计数据量不会超过原来的图像对象。另外，本发明的第五方式也可以构成为在第一方式中，在向存储器写入所述缩小后的图像对象以及从存储器读出所述缩小后的图像对象时，存在与帧期间k相当的延迟时间，在时间上位于当前帧期间(t)之前的帧期间(t 一 k)中第I缩放器中使用的缩小率是S1、当前的帧期间(t)中脚本处理器所计算出的缩小率是S2的情况下，第2缩放器将从存储器读出的缩小后的图像对象变换为(S2/S1)倍。根据上述的结构，即使在脚本处理器按每个帧期间计算出的缩小率变化的情况下，也能够得到由第2缩放器按照对当前帧期间所要求的缩小率进行缩小后的图像对象。因此，在使显示图像的尺寸随时间经过一起变化的描绘脚本中，能够提高描绘响应性能。另外，本发明的第六方式也可以构成为在第五方式中，第I缩放器中使用的缩小率是在当前的帧期间中脚本处理器所计算出的缩小率。根据上述的结构，在当前帧期间(t)中读出的图像对象是在帧期间(t - k)中以缩小率SI缩小后的图像对象，但通过由第2缩放器变换为S2/S1倍，能够得到将在当前帧期间(t)中要求的缩小率以S2缩小后的图像对象。另外，本发明的第七方式也可以构成为在第五方式中，第I缩放器中使用的缩小率为，对于描绘脚本指定的形状越大的图像对象使缩小率越大，而对于描绘脚本指定的形状越小的图像对象则使缩小率越小。对于描绘脚本指定的形状越小的图像对象，即使是画质由于缩小而恶化时，其恶化程度也越不明显。根据上述本发明的第七方式的结构，对于因缩小导致的画质恶化越不明显的图像对象，使其缩小得越小，由此能够抑制因画质恶化造成的视觉影响，进一步抑制存储器带宽。另外，本发明的第八方 式也可以构成为在第五方式中，第I缩放器使用的缩小率为，在描绘脚本指定的粘贴形状相对于原来的图像对象的形状的变形越小时使缩小率越大，而在该变形越大时则使缩小率越小。即使是描绘脚本指定的粘贴形状相对于原来的图像对象的形状的变形越大，画质因图像对象的缩小而恶化时，其恶化程度也越不明显。因此，根据上述本发明的第八方式的结构，对于因缩小导致的画质恶化越不明显的图像对象，使其缩小得越小，由此能够抑制因画质恶化造成的视觉影响，进一步抑制存储器带宽。另外，本发明的第九方式也可以构成为在第五方式中，第I缩放器使用的缩小率为，对于描绘脚本指定的粘贴位置的时间变化越小的图像对象使缩小率越大，而对于所述粘贴位置的时间变化越大的图像对象则使缩小率越小。对于描绘脚本指定的粘贴位置的时间变化越大的图像对象，即使是画质因缩小而恶化时，其恶化程度也越不明显。因此，根据上述本发明的第九方式的结构，因缩小导致的画质恶化越不明显的图像对象，使其缩小得越小，由此能够抑制因画质恶化造成的视觉影响，进一步抑制存储器带宽。另外，本发明的第十方式也可以构成为在第五方式中还具有从各个描绘对象中检测人物图像的图像特征检测部，第I缩放器中使用的缩小率为，对于由所述图像特征检测部检测出的人物图像越大的图像对象使缩小率越大，而对于所述检测出的人物图像越小的图像对象则使缩小率越小。对于人物图像越小的图像对象，即使是画质因缩小而恶化时，其恶化程度也越不明显。因此，根据上述本发明的第十方式的结构，对于因缩小导致的画质恶化越不明显的图像对象，使其缩小得越小，由此能够抑制因画质恶化造成的视觉影响，进一步抑制存储器带宽。另外，本发明的第十一方式也可以构成为在第五方式中，所述多个图像对象包括在立体视觉再现中使用的多个视点图像，第I缩放器中使用的缩小率为，使所述多个视点图像中的一个视点的图像对象的缩小率大于其他视点的图像对象的缩小率。通过使在立体视觉再现中使用的多个视点图像中想要强调的视点的图像优先，并较小地缩小其他视点图像，能够抑制因画质恶化造成的视觉影响，进一步抑制存储器带宽。下面，使用
本发明的实施方式。(实施方式I)图1是表示实施方式I的描绘装置的硬件结构的图。该描绘装置自身即可供用户使用，但也可以装配在各种电气设备中。描绘装置的代表性一例是电视显像设备。另外，描绘装置也可以是PC (Personal Computer:个人电脑)等通用的计算机、AV再现设备等AV设备、PDA (Personal Digital Assistance:个人数字助理)、平板电脑或者便携电话设备等通信终端。描绘装置具有脚本处理器101、AV解码器107、图形生成部108、第I缩放器103、追加缩小判定部104、追加缩放器105、存储器106、再缩小判定部111、第2缩放器113、窗口变形部114、合成部115。另外，在本实施方式中，以在一个画面中排列显示两个影像数据的多窗口显示为例进行说明，因而描绘装置具有的第I缩放器103、追加缩小判定部104、追加缩放器105、AV解码器107、再缩小判定部111、第2缩放器113、窗口变形部114为与影像数据相同的各具有两个。在脚本处理器101中，对利用OpenGL等记述的描绘脚本进行解释，取得视点位置、在多窗口显示中显示的多个窗口的三维坐标、尺寸、将在各个窗口中粘贴哪个影像作为图像对象等信息。脚本处理器101还对各个影像按照每个帧期间计算用于使纵1920像素、横1080像素的图片(picture)适合于各个窗口的尺寸的缩小率，并通知AV解码器107、图形生成部108、第I缩放器103、追加缩小判定部104、再缩小判定部111。AV解码器107作为取得单元发挥作用，该取得单元通过对纵1920像素、横1080像素的画面尺寸的编码影像数据进行解码，按每帧取得应该用作图像对象的非压缩形式的图片数据。第I缩放器103具有使用进行双线性插补的放大滤波器、缩小滤波器将图片放大、缩小的功能。第I缩放器103对于由AV解码器107生成的非压缩形式的图片，根据由脚本处理器101通知的缩小率来削减图片的像素数，将通过削减像素数而生成的缩小图片保存在存储器106中。并且，第I缩放器103也具有利用放大滤波器将被保存在存储器106中的图片放大，并作为在进行解码时使用的参照图像转交给AV解码器107的功能。追加缩小判定部104将由脚本处理器101通知的缩小率与预先设定的阈值Th进行比较，在由脚本处理器101通知的缩小率为阈值Th以上的情况下，向追加缩放器105输出使其不动作的指令。相反，在由脚本处理器101通知的缩小率小于阈值Th的情况下，向追加缩放器105输出使其根据由AV解码器107生成的非压缩形式的图片生成缩小图片的指令。追加缩放器105在从追加缩小判定部104接收到生成缩小图片的指令的情况下，通过进一步削减第I缩放器103输出的缩小图片的像素数，生成将第I缩放器103输出的缩小图片的纵横尺寸缩小为1/2、1/4、1/8、1/16、…、1/128的尺寸的图6所示的追加缩小图片组，并保存在存储器106中。该方法通常被称为MIP贴图(Mipmapping)，具有在生成缩小率较高的图像时改善画质的效果。MIP贴图的合计数据量不会超过原图像的1/3。因此，在生成MIP贴图作为追加缩小图片的情况下，为了不增加存储器带宽，优选将阈值Th设定为3/4以下的值。图形生成部108根据由脚本处理器101通知的缩小率来变换多面体的坐标，生成作为包围变换后的坐标的窗口框的图像的图形，并保存在存储器106中。存储器106用于保存由第I缩放器103、追加缩放器105、图形生成部108生成的图片数据。为了向存储器106中写入某个图片数据再将其读出，需要与2帧期间相当的处理时间。再缩小判定部111具有存储2帧期间的量的由脚本处理器101通知的缩小率的缓冲存储器，将在各帧期间中由脚本处理器101通知的缩小率和在2帧期间前存储在缓冲器中的缩小率进行比较，在两个缩小率有变化的情况下，向第2缩放器113输出使其对从存储器106读出的缩小图片再次实施缩放变换的指令。第2缩放器113获取被存储在存储器106中的动态图像的图片、图形图像，并按照由再缩小判定部111决定的放大/缩小率放大或者缩小图像。窗口变形部114根据脚本处理器101对描绘脚本的解释，在三维空间中生成多面体并粘贴动态图像，生成从特定的视 点看到的变形的窗口。合成部115按照脚本处理器101对描绘脚本的解释结果，在存在于虚拟空间中的物体的表面粘贴作为图像对象的图片，描绘出将物体投影得到的虚拟空间影像作为多窗口显示画面。具体地讲，将由多个窗口变形部114生成的窗口框的图形合成在一个画面中，将第2缩放器113输出的缩小图片作为描绘对象粘贴在各个窗口位置，由此生成多窗口图像。以上是描绘装置的结构。<描绘脚本>下面说明描绘脚本。图2、3是表示使用OpenGL记述的描绘脚本的一例的图，图4、5是示意地表示依据于图2、3所示的描绘脚本的多窗口显示的图。在该描绘脚本中包括以响应于遥控器的“左”、“右”按钮的按下而将所按下方向的图像对象的显示尺寸放大的方式，使被多窗口显示的图像变化的函数。例如，函数F1、F2是在按下遥控器的“左”、“右”按钮时变更在画面上被显示于左侧的图像的尺寸的函数。通过由脚本处理器执行这些函数，被多窗口显示的各个图像对象的位置、形状发生变化。更具体地讲，图2、3所示的描绘脚本如图4所示将与画面框相同尺寸的两个影像缩小，以画面的1/2尺寸较大地显示用户选择的一个图像，以画面的1/5尺寸显示另一个图像，由此实现在画面内排列显示两个影像的多窗口显示。另外，在该描绘脚本中，如图5的第I段所示，当在帧期间fl中用户的选择从左侧的图像变更为右侧的画面的情况下，在帧期间fl f4之间使左侧图像的尺寸从画面的1/2尺寸变化为1/5尺寸，并且使右侧图像的尺寸从画面的1/5尺寸变化为1/2尺寸。另外，在该图所示的帧期间fl以前，图像选择没有变更，左侧图像继续以画面的1/2尺寸进行显示。若脚本处理器101对这样的描绘脚本进行解释时，则计算出在各个帧期间中需要的左侧图像的尺寸，并通知第I缩放器103和第2缩放器113。在第I缩放器103中，如图5的第2段所示，左侧图像在各个帧期间中被缩小为指定的尺寸并存储在存储器中。在此，在本实施方式中，伴随着存储器的写入和读出的延迟相当于2个帧期间，因而在各个帧期间中为了多窗口画面合成而从存储器读出的左侧图像如图5的第3段所示。例如，在帧期间f3中，从存储器读出在帧期间fl中被缩小为1/2的图像。但是，如图5的第2段所示，在帧期间f3中为了多窗口显示画面合成，描绘脚本所要求的左侧图像是被缩小为1/4的图像。因此，从存储器读出的缩小图像不能原样用于多窗口画面的合成。因此，在第2缩放器113中，如图5的第4段所示，对从存储器读出的图像实施缩小率的再变换。此时第2缩放器113使用的缩小率是将在当前的帧期间中要求的缩小率S2除以从存储器读出的图像的缩小率SI而得到的倍率。在图5的示例中，在帧期间f3中，以S2/S1 (= 1/2)倍的倍率对从存储器读出的图像进行缩放变换。其结果是，第2缩放器113在帧期间f3中输出画面的1/4尺寸的缩小图像，该图像如图5的第5段所示在进行多窗口画面的合成时使用。另外，输入装置也可以使用鼠标等指示器或触摸屏取代遥控器。〈动作〉下面说明描绘装置的动作。图7是表示在I帧期间中的描绘装置的动作的图。在各个帧期间中，脚本处理器101分析描绘脚本，计算适合于多窗口显示的各个图片的缩小率、用于粘贴各个图片的窗口的三维坐标的位置等(Si)。将计算出的各个图片的缩小率通知作为存储器前级的第I缩放器103、追加缩小判定部104、AV解码器107、图形生成部108，并执行存储器前级处理(S2)。另外，将各个图片的缩小率和窗口的三维坐标等通知作为存储器后级的再缩小判定部111、窗口变形部114、合成部115，并执行存储器后级处理(S3)。描绘装置通过在各个帧期间中反复图7所示的动作，实现将电视广播等的多个动态图像排列显示的多窗口显示。下面说明存储器前级和后级的详细情况。图8是表示在存储器前级中向存储器存储图像对象的处理的详细情况的流程图，图9是表示在存储器后级中描绘合成图像的处理的流程图。首先，在存储器前级中，多个AV解码器107分别对作为对象的编码影像数据进行解码，并生成非压缩形式的图片(步骤S11)。此时得到的图像是纵1920像素、横1080像素的画面尺寸的图像。在步骤S12，第I缩放器103生成按照由脚本处理器101通知的缩小率将该图片缩小得到的缩小图片。在步骤S13，追加缩小判定部104判定由脚本处理器101通知的缩小率是否为3/4以下，在所通知的缩小率是3/4以下的情况下(步骤S13:是)，指示追加缩放器105生成MIP贴图。在所通知的缩小率超过3/4的情况下(步骤S13:否)，将在S12生成的缩小图片存储在存储器106中(步骤S15)，存储器前级的处理结束。在所通知的缩小率是3/4以下的情况下(步骤S13:是)，接收到来自追加缩小判定部104的指令的追加缩放器105，将第I缩放器103输出的缩小图片作为原图像生成MIP贴图(步骤S14)。通过截止到此的处理步骤而生成的有关各个描绘对象的缩小图片、及MIP贴图，被存储在存储器106中(步骤S15)，由此存储器前级的处理结束。另一方面，在存储器后级中，如图9所示，在步骤S21，再缩小判定部111将在当前的帧期间中由脚本处理器101通知的缩小率S(t)、和在2个帧期间前通知的缩小率S(t -2)进行比较，如果两个缩小率相同(步骤S21 ;是)，则第2缩放器113从存储器106读出缩小图片(步骤S22)，并原样输出给合成部115将多窗口画面合成(步骤S28)，存储器后级的处理结束。当在步骤S21判定为两个缩小率不同的情况下(步骤S21 ;否)，再缩小判定部111将缩小率S (t)和S (t — 2)通知第2缩放器113，指示其进行图片的再缩放变换。接收到再缩放变换的指示的第2缩放器113如果在存储器106中存储有MIP贴图(步骤S23 ;否)，则读出MIP贴图(步骤S24)，根据MIP贴图数据生成缩小率S (t)的新的缩小图片(步骤S25)。当在存储器106中没有存储MIP贴图的情况下(步骤S23 ;是)，读出以缩小率S(t 一 2)被缩小后的缩小图片(步骤S26)，将所读出的缩小图片缩放变换为S (t)/S (t -2)倍，由此生成新的缩小图片(步骤S27)。在步骤S25、S27生成的新的缩小图片被输出给合成部115进行多窗口画面的合成(步骤S28)，存储器后级的处理结束。以上是有关描绘装置的动作的说明。根据在本实施方式中说明的结构，通过在向存储器中存储之前将作为图像对象的图片缩小来抑制存储器带宽，并且，在从存储器读出后将所读出的缩小图片再次变换为在当前的帧期间中所要求的缩小率，因而针对描绘脚本能够以较高的响应性能实现多窗口显
/Jn ο另外，在本实施方式中，说明了具有数量与影像数据相同的各两个第I缩放器103、追加缩小判定部104、追加缩放器105、AV解码器107、再缩小判定部111、第2缩放器113、窗口变形部114的描绘装置，但这些构成要素的数量不限于2，当在多窗口显示中将更多的影像数据排列显示于一个画面中的情况下，也可以构成为具有各3个以上的这些构成要素。另外，在本实施方式中，对编码影像数据进行解码来得到纵1920像素、横1080像素的画面尺寸的图片，然而在进行编码影像数据的解码时，AV解码器107根据由脚本处理器101通知的缩小率来削减通过正交变换而生成的像素数、或削减在运动补偿时参照及生成的像素数，由此能够削减解码所需要的运算量和存储器带宽。通过这样的解码处理，在图片的像素尺寸相比纵1920像素、横1080像素的原图像已被削减的情况下，第I缩放器103根据由AV解码器生成的图片的像素尺寸与由脚本处理器101通知的缩小率的比率，计算新的缩小率，根据计算出的新的缩小率削减图片的像素数。另外，在本实施方式中，追加缩放器105将第I缩放器103输出的缩小图片作为基础图像来生成新的缩小图片，然而追加缩放器105也可以在用于生成缩小图片的原图像中使用由AV解码器107生成的非压缩形式的图片。通过将由AV解码器107生成的非压缩形式的图片作为原图像，能够避免由于对被第I缩放器103缩小后的图片再次进行缩放变换而导致的画质的恶化。另外，当追加缩放器105在用于生成缩小图片的原图像中使用由AV解码器107生成的非压缩形式的图片的情况下，作为追加缩小判定部104判定是否生成缩小图片用的阈值Th，优选设定为2/3以下的值。在第I缩放器103的缩小率是2/3以下的情况下，如果追加缩放器105生成缩小图片，则第I缩放器103生成的缩小图片与追加缩放器105生成的MIP贴图形式的缩小图片的合计数据量不会超过由AV解码器107生成的非压缩形式的图片的数据量，不会增加存储器带宽。(实施方式2)图10是表示实施方式2的描绘装置的硬件结构的图。实施方式2的描绘装置与图1所示的实施方式I的描绘装置的结构相比，追加了控制部110、分辨率控制部102和特征检测部112。并且，在该实施方式2中，将两个影像缩小，以画面的1/2尺寸较大地显示用户选择的一个图像，以缩略图(thumbnail)尺寸显示另一个画面，由此实现在画面内排列显示两个影像的多窗口显示，在实施方式I的描绘装置中由追加缩放器105生成的缩小图片是MIP贴图，而在实施方式2的描绘装置中追加缩放器105生成缩略图尺寸的缩小图片。下面说明相对于图1所示的实施方式I的描绘装置的结构而追加的结构。控制部110是实现脚本处理器101的功能之中、对在实施方式I中说明的利用OpenGL等记述的描绘脚本进行解释的功能的功能块。分辨率控制部102是在实施方式2的描绘装置中实现对脚本处理器101追加的新的功能的构成要素，根据判定在多窗口显示中排列显示的多个窗口中哪个窗口在视觉上比较重要的规定的基准，对窗口赋予优先顺序，根据该优先顺序按每个帧期间计算出各个图片的缩小率。在此，作为哪个窗口在视觉上比较重要的判定基准，例如可以举出以下情况等:使窗口尺寸较大的影像优先地来赋予顺序的情况，使在相对于原影像的形状的变形较小的窗口上粘贴的影像优先地来赋予顺序的情况，使在多个帧期间中窗口位置的变化较小的图像优先地来赋予顺序的情况，使在立体视觉再现中使用的多个影像中想要强调的视点的图像优先地来赋予顺序的情况，以及根据抽取例如人物的位置、大小等特征的特征检测部112从在以前的帧期间中被存储于存储器106中的图片中检测出的信息，使人物较大的图像优先地来赋予顺序的情况。根据这种基准，即使画质因图片的缩小而恶化时，也能够将该恶化不明显的影像的优先度设定为比较低的优先度。因此，对于按照这种基准被设定为较低的优先度的图片，由分辨率控制部102决定为比控制部110为了使纵1920像素、横1080像素的图片成为适合于各个窗口的尺寸而计算出的缩小率更小尺寸的缩小率。将这样由分辨率控制部102决定的缩小率通知AV解码器107、图形生成部108、第I缩放器103、追加缩小判定部104和再缩小判定部111。所通知的缩小率在存储器前级中被用于图片缩小，在存储器后级的再缩小判定部111中被用于再缩小判定。特征检测部112是从由存储器读出的图片中检测人物图像部分的功能块。通过具有以上的功能块，能够在向存储器106中存储之前更小地缩小在视觉上不重要的图片。〈动作〉下面说明实施方式2的描绘装置的动作。图11是表示实施方式2的描绘装置在存储器前级中向存储器存储图像对象的处理的详细情况的流程图，图12是表示实施方式2的描绘装置在存储器后级中描绘合成图像的处理的流程图。首先，存储器前级的处理与图8所示的实施方式I的描绘装置的存储器前级处理大致相同，不同之处在于，在步骤S32，第I缩放器103生成以由分辨率控制部102通知的缩小率进行缩小后的缩小图片，和在步骤S33，追加缩小判定部104判定由分辨率控制部102通知的缩小率是否为3/4以下，以及在步骤S34，在缩小率是3/4以下的情况下(步骤S33:是)，追加缩放器105将第I缩放器103输出的缩小图片作为原图像生成缩略图尺寸的缩小图片。其它处理与在实施方式I中说明的、在存储器前级中向存储器存储图像对象的处理相同。然后，在存储器后级中，如图12所示，在步骤S41，再缩小判定部111将在当前的帧期间中由脚本处理器101通知的缩小率S(t)、和在2个帧期间前由分辨率控制部102通知的缩小率S (t — 2)进行比较，如果两个缩小率相同(步骤S41 ;是)，则第2缩放器113从存储器106读出缩小图片(步骤S42 )，并原样输出给合成部115进行多窗口画面的合成(步骤S48 )，存储器后级的处理结束。当在步骤S41判定为两个缩小率不同的情况下(步骤S41 ;否)，再缩小判定部111将缩小率s (t)和S (t - 2)通知第2缩放器113。被通知了缩小率S (t)和S (t — 2)的第2缩放器113判定当前的缩小率S (t)是否是对应于缩略图尺寸的缩小率(步骤S43)，如果缩小率S (t)不是对应于缩略图尺寸的缩小率(步骤S43:否)，则从存储器106读出以缩小率S (t - 2)被缩小后的缩小图片(步骤
544)，将所读出的缩小图片缩放变换为S(t)/S (t —2)倍，由此生成新的缩小图片(步骤
545)。所生成的新的缩小图片被输出给合成部115进行多窗口画面的合成(步骤S48)。如果缩小率S(t)是对应于缩略图尺寸的缩小率(步骤S43:是)、并且在存储器106中存储有缩略图尺寸的缩小图片(步骤S46 ;是)，则第2缩放器113读出缩略图尺寸的缩小图片并原样输出给合成部115，在合成部115中进行多窗口画面的合成(步骤S48)。在缩小率S (t)是对应于缩略图尺寸的缩小率(步骤S43:是)、但是在存储器106中没有存储缩略图尺寸的缩小图片(步骤S46 ;否)的情况下，第2缩放器113从存储器106读出以缩小率S (t — 2)被缩小后的缩小图片(步骤S44)，将所读出的缩小图片缩放变换为S (t)/S (t 一 2)倍，由此生成新的缩小图片(步骤S45)。所生成的新的缩小图片被输出给合成部115进行多窗口画面的合成(步骤S48)。以上是有关实施方式2的描绘装置的动作的说明。根据在本实施方式2中说明的结构，能够在向存储器106中存储之前更小地缩小在视觉上不重要的图片，能够进一步抑制存储器带宽。并且，除按照由脚本处理器通知的缩小率生成的缩小图片之外，在存储器前级还生成在本实施方式2的多窗口显示中利用频度较高的缩略图尺寸的图片，并存储在存储器中，由此能够减少在从存储器读出后需要进行再次缩放变换的机会，并且避免由于再变换导致的画质恶化。另外，在本实施方式中说明了将两个影像缩小，以画面的1/2尺寸较大地显示用户选择的一个图像，以缩略图尺寸显示另一个画面，由此实现在画面内排列显示两个影像的多窗口显示，然而在本实施方式的描绘装置中，通过使用任意的描绘脚本能够实现多样化的多窗口显示。例如，也能够应对如图13所示的多窗口显示，即在画面中央部显示形状的变形较小的一个图像对象，在该图像对象的下、左、右分别显示各一个被缩小变形后的图像对象。另外，在该描绘脚本中记述了用于以响应于遥控器的“上”、“下”、“左”、“右”按钮的按下而将所按下方向的图像对象显示在画面中央部的方式来替换被多窗口显示的图像的位置的函数，由此通过由脚本处理器执行这些函数，能够使被多窗口显示的各个图像对象的位置、形状发生变化。在如图13所示的多窗口显示中，与画面中央部的图像相比，被配置在下、左、右的图像相对于原图像的形状的变形较大，因而通过缩放变换而形成的画质恶化不明显。因此，在这种情况下，分辨率控制部102对配置在下、左、右的图像，将其作为因缩小导致的画质恶化不明显的影像，并决定缩小率以使得其由第I缩放器缩小为比配置在画面中央部的图像小的尺寸。(实施方式3)图14是表示实施方式3的电视机的硬件结构的图。实施方式3的电视机在图10所示的实施方式2的描绘装置的结构中追加了两个调谐器301、和显示器302。调谐器301从接收到的电视广播波中选择指示的频道，取得纵1920像素、横1080像素的画面尺寸的编码影像数据。将取得的编码影像数据输出给AV解码器。显示器302是纵1920像素、横1080像素的液晶显示器，显示由合成部115合成的
多窗口像素。 根据在本实施方式中说明的结构，通过在向存储器中存储之前将作为图像对象的像素缩小来抑制存储器带宽，并且在从存储器读出后，将所读出的缩小图片再次变换为在当前的帧期间中所要求的缩小率，因而能够实现针对描绘脚本以较高的响应性能进行多窗口显示的电视。(其它变形例)以上根据上述的实施方式说明了本发明，但本发明当然不限于上述的实施方式。诸如下述的情况也包含在本发明中。(I)本发明也可以是在各个实施方式中说明的流程图的处理步骤公开的描绘装置的控制方法。并且，也可以是包括使计算机按照所述处理步骤进行动作的程序代码的计算机程序，还可以是由所述计算机程序构成的数字信号。并且，本发明也可以将所述计算机程序或者所述数字信号记录在计算机可以读取的记录介质中，所述记录介质例如是软盘、硬盘、⑶一 R0M、M0、DVD、DVD — ROM,DVD 一 RAM、BD (Blu-ray Disc:蓝光光盘)、半导体存储器等。并且，本发明也可以构成为经由电通信线路、无线或者有线通信线路、以因特网为代表的网络等，传输所述计算机程序或者所述数字信号。并且，本发明也可以构成为将所述计算机程序或者所述数字信号记录在所述记录介质中并移送，或者经由所述网络等移送所述计算机程序或者所述数字信号，从而能够利用独立的其他计算机系统来实施。(2)本发明也能够作为控制上述各个实施方式记载的再现装置的LSI来实施。这种LSI能够通过将图1、图10和图13所示的功能块集成化来实现。这些功能块可以形成为独立的单片，也可以形成为包含一部分或者全部的单片。在此是形成设为LSI，但根据集成度的不同，有时也被称为1C、系统LS1、超级(super)LS1、特级(ultra)LSI。另外，集成电路化的方法不限于LSI，也可以利用专用电路或者通用处理器实现。也可以采用在制作LSI后能够编程的现场可编程门阵列(FPGA:Field Programmable GateArray)、能够重构架LSI内部的电路单元的连接和设定的可重构处理器(reconfigurableprocessor)。另外，如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世，当然也可以使用该技术进行功能单元及部件的集成化。还存在对这种技术适用生物技术等的可能性。另外，本发明也可以构成为利用如上所述的集成电路、专用电路等实现如下的功能:脚本处理器的功能，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率；取得单元的功能，取得多个图像对象;第I缩放器，将所取得的所述多个图像对象缩小；第2缩放器的功能，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前的帧期间中脚本处理器计算出的缩小率；合成部的功能，将由第2缩放器变换缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位;第3缩放器的功能，对于所述第I缩放器使用的缩小率比规定的缩小率小的图像对象，生成以比所述第I缩放器使用的缩小率小的缩小率缩小后的图像对象，将所生成的缩小后的图像对象与由第I缩放器缩小后的图像对象一起存储在存储器中；以及图像特征检测部的功能，从各个描绘对象中检测人物图像。并且，本发明也可以构成为通过处理器和存储器中的程序的协作动作来实现上述的各个功能。(4)本发明也可以分别组合上述实施方式和上述变形例来实施。产业上的可利用性本发明的描绘装置通过削减存储器带宽和减小存储器个数/动作频率来实现低成本，并且提高与描绘脚本对应的描绘响应性能及画质，能够实现提高了多窗口显示的表现力的系统LSI。并且，也能够应用于光盘记录器、TV、平板电脑、智能电话、便携电话等用途。标号说明101脚本处理器；102分辨率控制部；103第I缩放器；104追加缩小判定部；105追加缩放器;106存储器；107AV解码器；108图形生成部;110控制部;111再缩小判定部；112特征检测部；113第2缩放器；114窗口变形部；115合成部；301调谐器；302显示器。
权利要求
1.一种描绘装置，用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且该物体的形状或者位置在多个帧期间中变化，其特征在于，该描绘装置具有: 脚本处理器，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率； 取得单元，取得多个图像对象； 第I缩放器，将所取得的所述多个图像对象缩小； 存储器，存储缩小后的各个图像对象； 第2缩放器，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中脚本处理器计算出的缩小率；以及 合成部，将由第2缩放器变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位。
2.根据权利要求1所述的描绘装置，其特征在于， 所述描绘装置还具有第3缩放器，对于所述第I缩放器使用的缩小率比规定的缩小率小的图像对象，生成以比所述第I缩放器使用的缩小率小的缩小率缩小后的图像对象，将所生成的缩小后的图像对象与由第I缩放器缩小后的图像对象一起存储在存储器中， 在由第3缩放器缩小后的图像对象未被存储在存储器中的情况下，所述第2缩放器对由第I缩放器缩小后的图像对象进行所述缩小率的变换， 在由第3缩放器缩小后的图像 对象被存储在存储器中的情况下，所述第2缩放器对由第3缩放器缩小后的图像对象进行所述缩小率的变换。
3.根据权利要求2所述的描绘装置，其特征在于， 第3缩放器生成的已缩小的图像对象是通过解码而得到的图像对象的MIP贴图。
4.根据权利要求3所述的描绘装置，其特征在于， 所述规定的缩小率是3/4。
5.根据权利要求1所述的描绘装置，其特征在于， 在向存储器写入所述缩小后的图像对象以及从存储器读出所述缩小后的图像对象时，存在与帧期间k相当的延迟时间， 在时间上位于当前帧期间(t)之前的帧期间(t 一 k)中第I缩放器中使用的缩小率是S1、当前的帧期间(t)中脚本处理器所计算出的缩小率是S2的情况下，第2缩放器将从存储器读出的缩小后的图像对象变换为(S2/S1)倍。
6.根据权利要求5所述的描绘装置，其特征在于， 第I缩放器中使用的缩小率是在当前的帧期间中脚本处理器所计算出的缩小率。
7.根据权利要求5所述的描绘装置，其特征在于， 第I缩放器中使用的缩小率为，对于描绘脚本指定的形状越大的图像对象使缩小率越大，而对于描绘脚本指定的形状越小的图像对象则使缩小率越小。
8.根据权利要求5所述的描绘装置，其特征在于， 第I缩放器使用的缩小率为，在描绘脚本指定的粘贴形状相对于原来的图像对象的形状的变形越小时使缩小率越大，而在该变形越大时则使缩小率越小。
9.根据权利要求5所述的描绘装置，其特征在于，第I缩放器使用的缩小率为，对于描绘脚本指定的粘贴位置的时间变化越小的图像对象使缩小率越大，而对于所述粘贴位置的时间变化越大的图像对象则使缩小率越小。
10.据权利要求5所述的描绘装置，其特征在于， 所述描绘装置还具有从各个描绘对象中检测人物图像的图像特征检测部， 第I缩放器中使用的缩小率为，对于由所述图像特征检测部检测出的人物图像越大的图像对象使缩小率越大,而对于所述检测出的人物图像越小的图像对象则使缩小率越小。
11.根据权利要求5所述的描绘装置，其特征在于， 所述多个图像对象包括在立体视觉再现中使用的多个视点图像， 第I缩放器中使用的缩小率为，使所述多个视点图像中的一个视点的图像对象的缩小率大于其他视点的图像对象的缩小率。
12.一种描绘装置的集成电路，该描绘装置用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且该物体的形状或者位置在多个帧期间中变化，其特征在于，该集成电路具有: 脚本处理器，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率； 取得单元，取得多个图像对象； 第I缩放器，将所取得的所述多个图像对象缩小； 存储器，存储缩小后的各个图像对象； 第2缩放器，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中脚本处理器计算出的缩小率；以及 合成部，将由第2缩放器变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位。
13.一种电视机装置，用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且该物体的形状或者位置在多个帧期间中变化，其特征在于，该电视机装置具有: 脚本处理器，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率；调谐器，取得多个编码影像数据； 解码器，通过所取得的所述多个编码影像数据的解码获得多个图像对象； 第I缩放器，将所述多个图像对象缩小； 存储器，存储缩小后的各个图像对象； 第2缩放器，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中脚本处理器计算出的缩小率；以及 合成部，将由第2缩放器变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位；以及 显示器，显示由合成部将图像对象合成而得到的虚拟空间影像。
14.一种描绘装置的控制方法，该描绘装置用于描绘将物体投影得到的虚拟空间影像，该物体的表面被粘贴了多个图像对象，且该物体的形状或者位置在多个帧期间中变化，其特征在于，该控制方法具有:解读步骤，对虚拟空间影像的描绘脚本进行解读，并按照每个帧期间计算用于使各个图像对象的大小与虚拟空间影像中与所述物体的表面相对应的部位相适应的缩小率； 取得步骤，取得多个图像对象； 第I缩放步骤，将所取得的所述多个图像对象缩小； 存储步骤，将缩小后的各个图像对象存储在描绘装置的存储器中； 第2缩放步骤，读出在存储器中存储的缩小后的各个图像对象，并变换为在当前帧期间中计算出的缩小率；以及 合成步骤，将在第2缩放步骤中变换了缩小率后的各个图像对象合成到虚拟空间影像中与所述物体的表面相对应的部位。
全文摘要
本发明的目的在于，降低多窗口显示所需要的存储器带宽，针对使显示影像的尺寸随时间经过一起变化的描绘脚本，提高描绘响应性能。本发明的描绘装置具有脚本处理器(101)，对描绘脚本进行解读，并按照每个帧期间计算各个图片的缩小率；多个解码器(107)，对编码影像数据进行解码；第1缩放器(103)，按照脚本处理器(101)计算出的缩小率缩小图片；存储器(106)，存储缩小后的各个图片；第2缩放器(113)，读出在存储器中存储的缩小后的各个图片，并变换为在当前帧期间中脚本处理器计算出的缩小率；合成部(115)，将由第2缩放器变换了缩小率后的各个图片合成。
文档编号H04N21/472GK103098118SQ20128000286
公开日2013年5月8日 申请日期2012年5月21日 优先权日2011年7月13日
发明者西田英志 申请人:松下电器产业株式会社