专利名称：影像终端和显示图像形成方法
技术领域：
本发明涉及影像终端和显示图像形成方法。
背景技术：
以往，作为实现运动图像显示的省电化的方法，例如有将画面上的菜单显示作为触发而控制帧速率(frame rate)的方法(例如，参照专利文献1)。在该方法中，首先判定有无数码相机的菜单显示指示。然后，在无菜单显示指示的情况下，将实时图像的帧速率设定为30fps，根据该设定速率输出实施了影像处理的影像。 另一方面，在有菜单显示指示的情况下，将帧速率设定为15fps，根据该设定速率，将实施了影像处理的图像和菜单图像进行合成。在以往的方法中，通过进行这样的帧速率的控制，能够降低在数码相机中进行实时图像和信息提供图像的重叠显示时的数码相机的功耗。现有技术文献专利文献专利文献1 (日本)特开2003-274221号公报
发明内容
发明要解决的问题另外，近年来，对影像终端要求高分辨率、高画质、高帧速率。即使对具有影像输出功能的移动终端，也存在这些要求。另外，近年来，在影像终端中，运动图像中重叠显示的图像的种类也多种多样， 而且该图像的表现方法也倾向于复杂化。该图像的表现方法中，例如对于运动图像上的 OSD (On-Screen Display，屏幕显示)、横幅广告(banner)、对话(dialogue)等，也要求半透明显示或动画(animation)等的更复杂的表现。然而，如上述的以往技术那样，若仅以对运动图像有无重叠图像为更新速率的切换基准，则有时存在根据重叠图像的表现方法而用户感觉运动图像的显示质量级别 (level)的下降的问题。本发明的目的在于，提供即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户感觉的运动图像的显示质量级别，并且削减功耗的影像终端和显示图像形成方法。解决问题的方案本发明的一个形态的影像终端包括显示图像形成单元，形成对于作为运动图像的第1图像重叠了属于比所述第1图像高层的第2图像的显示图像；以及更新速率调整单元，基于所述显示图像中所述第1图像露出的露出面积，决定所述显示图像中的所述第1图像的更新速率。本发明的一个形态的显示图像形成方法包括以下的步骤形成对于作为运动图像的第1图像重叠了属于比所述第1图像高层的第2图像的显示图像；以及基于所述显示图像中所述第1图像露出的露出面积，决定所述显示图像中的所述第1图像的更新速率。发明的效果根据本发明，能够提供即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户感觉的运动图像的显示质量级别，并且削减功耗的影像终端和显示图像形成方法。
图1是表示本发明的实施方式1的影像输出装置的主要结构的方框图。图2是表示本发明的实施方式1的影像输出装置的结构的方框图。图3是表示显示图像形成单元的结构的方框图。图4是表示更新速率调整单元的结构的方框图。图5是用于说明显示图像形成单元和更新速率调整单元的处理的流程图。图6是示意地表示显示图像形成单元和运动图像生成单元的图像处理的图。图7是表示一例更新速率调整表的图。图8是表示所显示的合成图像的例子的图。图9是用于说明本发明的实施方式2的显示图像形成单元和更新速率调整单元的处理的流程图。图10是表示一例更新速率调整表的图。标号说明100 影像输出装置101:图像生成单元102:运动图像生成单元103 显示图像形成单元104 更新速率调整单元105 显示处理单元111 显示控制单元112:合成单元131 更新速率决定单元132 控制信号生成单元
具体实施例方式以下，参照附图详细地说明本发明的实施方式。另外，在实施方式中，对相同的结构要素附加相同的标号，由于其说明重复而省略。(实施方式1)图1是表示本发明的实施方式1的影像输出装置100的主要结构的方框图。在图1中，显示图像形成单元103形成对于作为运动图像的第1图像重叠了属于比所述第1图像高层的第2图像的显示图像。而且，更新速率调整单元104基于在显示图像中第1图像露出的面积，决定第1图像的更新速率。
图2是表示本发明的实施方式1的影像输出装置100的结构的方框图。在图2 中，影像输出装置100包括图像生成单元101、运动图像生成单元102、显示图像形成单元 103、更新速率调整单元104、以及显示处理单元105。图像生成单元101生成每图像层的图像数据。在图像层中，以运动图像层为基准， 存在高层和低层。具体而言，图像生成单元101生成成为高层的图像(高层图像)的基础的高层部件图像。在该高层部件图像中，例如包含横幅广告、对话等。另外，图像生成单元 101生成成为低层的图像(低层图像)的基础的低层部件图像。在该低层部件图像中，例如包含背景。另外，图像生成单元101生成在显示图像形成单元103插入运动图像的运动图像层图像。在该运动图像层图像中，设置了实际插入运动图像的区域(也就是运动图像插入区域)。该运动图像插入区域可将运动图像最大尺寸作为最大值而进行缩小。但是，这里，为了简化说明，说明以运动图像最大尺寸固定的情况。运动图像生成单元102生成运动图像数据，并输出到显示图像形成单元103。具体而言，运动图像生成单元102例如为运动图像解码器。运动图像生成单元102将本地文件(local file)、网络播发的影像、或从TV (Television，电视)调谐器接收到的影像的运动图像数据进行解码，并将解码后的运动图像数据输出到显示图像形成单元103。另外，运动图像生成单元102也可以生成动画，并将其作为运动图像数据而输出。运动图像生成单元102基于从更新速率调整单元104接受的控制信号，变更解码的帧速率、帧插值(interpolation)处理的插值间隔、或帧稀疏处理的稀疏间隔。由此，本实施方式中，能够调整从显示处理单元105最终输出的运动图像帧的更新速率。显示图像形成单元103对每层将部件图像群进行合成(事先合成)，将所有层的图像和从运动图像生成单元102接收的运动图像进行合成，并将合成图像输出到显示处理单元105。在进行该合成时，显示图像形成单元103基于从更新速率调整单元104接收的控制信号，变更运动图像的合成频度。由此，本实施方式能够调整从显示处理单元105最终输出的运动图像帧的更新速率。另外，显示图像形成单元103在进行对高层的事先合成时，有时使用半透明合成处理、或特殊处理(例如，模糊处理或暗化处理)。所谓半透明合成(α合成)处理是指残留透明值(α值)的合成处理。另外，显示图像形成单元103计算“运动图像的露出面积”。具体而言，在不进行半透明合成处理的情况下，显示图像形成单元103计算运动图像插入区域中未由高层图像覆盖的区域(也就是非重叠区域)的面积(例如，像素数)。另外，在进行半透明合成处理的情况下，显示图像形成单元103计算运动图像插入区域内的各个单位区域(例如，像素)中的不透明度和亮度之积的总和。也就是说，所谓“运动图像的露出面积”是指，在显示了运动图像的状态下实际露出的面积、或运动图像插入区域内的各个单位区域(例如，像素)中的不透明度和亮度之积的总和。另外，所谓运动图像插入区域内的各个单位区域中的不透明度是指从透明度的最大值减去在各个单位区域中重叠的高层图像的透明度所得的值。具体而言，如图3所示，显示图像形成单元103包括显示控制单元111和合成单元 112。显示控制单元111从图像生成单元101接受每图像层的图像数据，并对每层将部件图像群进行合成(事先合成)。将该事先合成图像输出到合成单元112。然后，显示控制单元111根据高层图像和运动图像插入区域的配置关系，确定运动图像插入区域中的重叠区域和非重叠区域。然后，显示控制单元111基于确定的重叠区域和非重叠区域、有无半透明合成处理、以及不透明度，计算“运动图像的露出面积”。 合成单元112将事先合成图像和从运动图像生成单元102接受的运动图像进行合成，并将合成图像输出到显示处理单元105。在进行该合成时，合成单元112基于从更新速率调整单元104接受的控制信号，变更运动图像的合成频度。更新速率调整单元104基于“运动图像的露出面积”以及有无特殊处理和特殊处理的种类，决定运动图像的更新速率。如上所述，所谓“运动图像的露出面积”是指，在显示了运动图像的状态下实际露出的面积、或运动图像插入区域内的各个单位区域(例如，像素)中的不透明度和亮度之积的总和。具体而言，更新速率调整单元104基于更新速率调整表和显示图像形成单元103 中实际采用的运动图像状况模式，决定更新速率。更新速率调整表是将运动图像状况模式候补和更新速率的目标值关联的表。而且，运动图像状况模式候补为“运动图像的露出面积”、有无特殊处理和特殊处理的种类的组合。另外，更新速率调整表保持在更新速率调整单元104所具有的存储器(未图示)中。更新速率调整单元104基于决定的更新速率，生成更新速率控制信号，并输出到运动图像生成单元102、显示图像形成单元103和显示处理单元105。具体而言，如图4所示，更新速率调整单元104包含更新速率决定单元131和控制信号生成单元132。在更新速率决定单元131中，进行上述的更新速率调整单元104的处理中的更新速率的决定处理。另一方面，在控制信号生成单元132中进行更新速率控制信号的生成处理。显示处理单元105从显示图像形成单元103接收合成图像，并进行使显示单元 (例如，显示器或投影机等)显示该合成图像的控制。进行该控制时，显示处理单元105基于从更新速率调整单元104接受的更新速率控制信号，变更合成图像的更新周期。参照图5、图6、图7、图8，说明具有以上结构的影像输出装置100的动作。图5是主要用于说明显示图像形成单元103和更新速率调整单元104的处理的流程图。图6是示意地表示显示图像形成单元103和运动图像生成单元102的图像处理的图。图7是表示一例更新速率调整表的图。图8是表示所显示的合成图像的例子的图。在图5的步骤ST201中，显示图像形成单元103从图像生成单元101接受每图像层的图像数据，并对每层将部件图像群进行合成(事先合成)。例如，如图6所示，显示控制单元111将高层的部件图像群306进行事先合成，并形成高层图像301 (在图6中，包含透明区域304)。另外，显示控制单元111也形成运动图像层图像302(如图6所示，包含运动图像插入区域30 和低层图像层303。另外，这里，以在合成单元112中进行高层图像301、运动图像层图像302、低层图像303的三方合成为前提进行说明，但本发明并不限定于此。本实施方式也可以为例如合成单元112进行不存在低层图像303的两方合成。另外，在本实施方式中，也可以不进行高层图像301中的部件图像群306的事先合成，而依序将相当于运动图像层图像302的高层的部件图像群306进行合成或半透明合成。返回到图5，在步骤ST202中，显示图像形成单元103根据高层图像和运动图像插入区域的配置关系，确定运动图像插入区域中的重叠区域和非重叠区域。
在步骤ST203中，显示图像形成单元103基于确定的重叠区域和非重叠区域、有无半透明合成处理以及不透明度，计算“运动图像的露出面积”。如上所述，所谓“运动图像的露出面积”是指在显示运动图像的状态下实际露出的面积、或运动图像插入区域内的各个单位区域(例如，像素)中的不透明度和亮度之积的总和。另外，运动图像的露出面积也可以仅是不透明度的总和，或仅是亮度的总和。在步骤ST204中，更新速率调整单元104基于更新速率调整表和显示图像形成单元103中实际采用的运动图像状况模式，决定更新速率。更新速率调整表是将运动图像状况模式候补和更新速率的目标值关联的表。运动图像状况模式候补为“运动图像的露出面积”、有无特殊处理和特殊处理的种类的组合。更新速率调整表例如为如图7所示的结构。在图7中，表示一例以如下事项为前提的更新速率调整表。也就是说，作为更新速率调整表的前提，运动图像插入区域305的大小为800像素X480像素。在
的范围中表示高层图像的透明值，将0的情况设为全部透明，将255的情况设为不透明。由数值表示运动图像的亮度作为W，15]的范围的亮度值，0意味着不可见，15意味着运动图像原来的亮度。在该前提下，在所述步骤ST203中， 如下计算“运动图像的露出面积”。也就是说，运动图像的露出面积为，“运动图像的露出面积”=“第1像素(不透明值)X亮度值” + “第2像素(不透明值)X亮度值”+. . . + “第 384，000像素(不透明值)X亮度值”。另外，这里，所谓不透明度是从作为透明值的最大值的255减去每个像素的透明值所得到的。然后，更新速率调整单元104在使用图7的情况下，决定为与计算出的“运动图像的露出面积”所属的、由指标项目中列举的数字表示的范围对应的更新速率。另外，更新速率调整单元104在对运动图像使用了模糊处理的特殊处理的情况下，无论“运动图像的露出面积”如何，都决定为规定的更新速率(在图7中，作为最小的更新速率的8fps)。更详细而言，如图8A、图8B所示，在运动图像上没有高层图像或即使有高层图像但也极少的情况下，设定为作为最大值的60fps。另外，如图8C所示，在运动图像上重叠高层图像并且也对运动图像进行了暗化处理的情况下，即使降低更新速率也不使用户感觉不自然，所以例如设定30fps作为更新速率。另外，如图8D所示，在对运动图像进行了模糊处理的情况下，例如设定最小的8fps作为更新速率。返回到图5，在步骤ST205中，更新速率调整单元104基于决定的更新速率，生成更新速率控制信号，并输出到运动图像生成单元102、显示图像形成单元103和显示处理单元105。另外，这里，更新速率调整单元104将更新速率控制信号输出到运动图像生成单元 102、显示图像形成单元103和显示处理单元105的全部，但本发明并不限定于此。更新速率调整单元104也可以将更新速率控制信号输出到运动图像生成单元102、显示图像形成单元103和显示处理单元105中的任一个。另外，更新速率调整单元104也可以将更新速率控制信号输出到运动图像生成单元102、显示图像形成单元103和显示处理单元105中的任意组合。也就是说，在本实施方式中，只要能够调整从显示处理单元105最终输出的运动图像帧的更新速率即可。然后，如图6所示，合成单元112将事先合成图像和从运动图像生成单元102接受的运动图像进行合成，并将合成图像输出到显示处理单元105。如上所述，在本实施方式的影像输出装置100中，更新速率调整单元104基于“运动图像的露出面积”，决定运动图像的更新速率。由此，在本实施方式中，即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户所感觉的运动图像的显示质量级别，并且降低功耗。另外，在以上的说明中，说明了将运动图像插入区域固定为运动图像最大尺寸的情况，但并不限定于此，也可以缩小运动图像插入区域。此时，只要将运动图像插入区域的面积和非重叠区域的面积之比作为“运动图像的露出面积”进行处理即可。(实施方式2)在实施方式2中，说明在运动图像插入区域中不重叠高层图像、且能够缩小运动图像插入区域的实施方式。实施方式2的影像输出装置的基本结构和实施方式1相同，所以引用图2进行说明。实施方式2的影像输出装置100的显示图像形成单元103计算“运动图像的露出面积”。在实施方式2中，使用运动图像插入区域的尺寸与影像输出装置100能够显示的运动图像最大尺寸(size)的比率(也就是“尺寸比率”)作为“运动图像的露出面积”。更新速率调整单元104基于“尺寸比率”以及有无特殊处理和特殊处理的种类，决定活动图像的更新速率。具体而言，更新速率调整单元104基于更新速率调整表和显示图像形成单元103中实际采用的运动图像状况模式，决定更新速率。这里，更新速率调整表是将运动图像状况模式候补和更新速率的目标值关联的表。而且，运动图像状况模式候补为 “缩小比率”、有无特殊处理和特殊处理的种类的组合。另外，更新速率调整表保持在更新速率调整单元104所具有的存储器(未图示)中。参照图9和图10，说明具有以上结构的影像输出装置100的动作。图9是主要用于说明显示图像形成单元103和更新速率调整单元104的处理的流程图。图10是表示一例更新速率调整表的图。在图9的步骤ST401中，显示图像形成单元103计算“尺寸比率”。在步骤ST402中，更新速率调整单元104基于更新速率调整表和显示图像形成单元103中实际采用的运动图像状况模式，决定更新速率。这里，更新速率调整表是将运动图像状况模式候补和更新速率的目标值关联的表。而且，运动图像状况模式候补为“尺寸比率”、有无特殊处理和特殊处理的种类的组合。更新速率调整表例如为如图10所示的结构。在使用图10的情况下，决定为与计算出的“尺寸比率”所属的、由指标项目中列举的数字表示的范围对应的更新速率。具体而言，尺寸比率越小，则更新速率也设定得越小。这是因为，运动图像尺寸越小，即使降低更新速率也不使用户感觉不自然。另外，在对运动图像使用了模糊处理的特殊处理的情况下，无论“尺寸比率In何，都决定为规定的更新速率(在图10中，作为最小的更新速率的8fps)。如上所述，在本实施方式的影像输出装置100中，更新速率调整单元104基于“尺寸比率”，决定运动图像的更新速率。由此，在本实施方式中，即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户所感觉的运动图像的显示质量级别，并且降低功耗。
(其他实施方式)(1)也可以组合实施方式1和实施方式2。也就是说，在本实施方式中，判定运动图像插入区域是否为最大图像尺寸，若为最大图像尺寸，则进行实施方式1的流程。另一方面，若不为最大图像尺寸(也就是说，若运动图像插入区域被缩小)，则在本实施方式中进行实施方式2的流程。(2)在上述各个实施方式中，更新速率调整单元104也可以使运动图像的实际的更新速率逐步地接近决定的更新速率(目标值)。由此，本实施方式能够缓和或防止伴随更新速率急剧地变更而由视听者感到的不适感。另外，为了获得相同的效果，运动图像生成单元102、显示图像形成单元103和显示处理单元105也可以独自使更新速率逐步地接近从更新速率调整单元104接收的控制信号所示的调整目标值。(3)在上述各个实施方式中，说明了运动图像插入区域为一个封闭的区域的情况， 但本发明并不限定于此，运动图像插入区域也可以为多个独立的区域。此时，既可以对多个独立的区域的各个区域分别决定运动图像的更新速率，也可以将多个独立的区域作为一个区域而决定整体的更新速率。(4)在上述各个实施方式中，以由硬件构成本发明的情况为例进行了说明，但是本发明也可以与硬件联合而由软件实现。另外，在上述各个实施方式的说明中使用的各个功能块，典型地被实现为由集成电路构成的LSI (大规模集成电路)。这些既可以分别实行单芯片，也可以包含其中一部分或者是全部来实行单芯片。这里表示为LSI，但根据集成度的不同，也可以称为IC、系统 LSI、超大LSI、特大LSI。另外，集成电路化的技术不限于LSI，也可以使用专用电路或通用处理器来实现。另外，集成电路化也可以利用LSI制造后能够编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)，或可以利用可重构LSI内部的电路块的连接或设定的可重构处理器(Reconfigurable Processor)。再有，在本实施方式中，如果随着半导体技术的进步或者其他技术的派生，出现了代替LSI集成电路化的技术，当然也可以利用该技术来实现功能块的集成化。另外，在本实施方式中，还存在着适用生物技术等的可能性。在2010年5月18日提交的特愿第2010-114439号的日本专利申请所包含的说明书、附图和说明书摘要的公开内容，全部引用于本申请。工业实用性本发明的影像终端和显示图像形成方法作为即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户感觉的运动图像的显示质量级别，并且削减功耗的影像终端和显示图像形成方法，是极为有用的。
权利要求
1.影像终端，包括显示图像形成单元，形成对于作为运动图像的第1图像重叠了属于比所述第1图像高层的第2图像的显示图像；以及更新速率调整单元，基于所述显示图像中所述第1图像露出的露出面积，决定所述显示图像中的所述第1图像的更新速率。
2.如权利要求1所述的影像终端，所述更新速率调整单元将所述第1图像内的各个单位区域中的不透明度和亮度之积的、所述第1图像整体中的总和，用作所述第1图像的露出面积。
3.如权利要求1所述的影像终端，所述更新速率调整单元将所述显示图像中的所述第1图像的实际尺寸与所述第1图像的最大尺寸的比率，用作所述第1图像的露出面积。
4.如权利要求1所述的影像终端，所述更新速率调整单元使所述第1图像的实际的更新速率逐步地接近所述决定的更新速率。
5.显示图像形成方法，包括以下的步骤形成对于作为运动图像的第1图像重叠了属于比所述第1图像高层的第2图像的显示图像；以及基于所述显示图像中所述第1图像露出的露出面积，决定所述显示图像中的所述第1 图像的更新速率。
全文摘要
公开了即使在运动图像中重叠显示的图像的种类多种多样，该图像的表现方法复杂化的情况下，也能够维持用户感觉的运动图像的显示质量级别，并且降低功耗的影像终端和显示图像形成方法。在影像输出装置(100)中，更新速率调整单元(104)基于“运动图像的露出面积”，决定运动图像的更新速率。具体而言，更新速率调整单元(104)基于将运动图像状况模式候补和更新速率的目标值关联的更新速率调整表、以及在显示图像形成单元(103)中实际采用的运动图像状况模式，决定更新速率。运动图像状况模式候补为“运动图像的露出面积”、有无特殊处理和特殊处理的种类的组合。
文档编号H04N5/445GK102474579SQ20118000267
公开日2012年5月23日 申请日期2011年4月5日 优先权日2010年5月18日
发明者冈敏夫, 高桥正树 申请人:松下电器产业株式会社