半导体集成电路和具备该半导体集成电路的显示装置及控制方法与流程

本公开涉及一种用于显示装置等的半导体集成电路，特别涉及降低功耗的技术。

背景技术：

近年来，在电视、显示器等显示装置上显示的影像的高清晰化不断发展。为了实现影像的高质量成像，需要显示装置进行很多处理以及具有高性能。另一方面，出现了如下所述的技术问题：为了进行高质量成像处理，导致电路的成本增加、功耗增大。特别是，显示装置的画面尺寸越大，则成本、功耗的增大越显著。

于是，研究了如下所述的方法，该方法不是对整个画面进行所需要的处理，而是对画面的一部分进行所需要的处理。

例如，公开了进行如下所述的编码处理的装置(例如参照专利文献1)，上述编码处理如下：对于整个图像而言，不是进行同样地分配位率的编码处理，而是利用图像的观看者的视线，使用了更多的信息量来对视线所到达的区域进行编码处理。

此外，公开了如下所述的技术(例如参照专利文献2)：在影像的观看者为一名的情况下，进行影像的立体化处理，另一方面，在影像的观看者为多名的情况下，不进行该处理。

专利文献1：日本公开专利公报特开平1-141479号公报

专利文献2：日本公开专利公报特开2013-055675号公报

技术实现要素：

-发明要解决的技术问题-

由于专利文献1中的技术是以有一名观看者的情况作为对象的，因此如果将专利文献1中的技术与专利文献2中的技术相结合，则在有两名以上观看者的情况下就不能进行对画面的一部分的处理。即，如果结合上述的技术，则在多人通过电视等来观看影像的情况下，不对整个画面进行所需要的处理，各观看者就难以观看适当的影像。

相反，在无论观看者的人数如何，都对整个画面进行所需要的处理的情况下，存在导致功耗和成本增大的忧虑。

本公开是鉴于所述问题而完成的。其所要解决的技术问题是，提供一种半导体集成电路，即使在图像的观看者为多名的情况下，上述半导体集成电路也能够适当地对图像进行所需要的处理，并且能够降低功耗和成本。

-用以解决技术问题的技术方案-

为了解决上述技术问题，通过本发明谋求了如下所述的解决方案。即，控制图像的成像质量的半导体集成电路具备：观看者检测部，其检测所述图像的观看者的数量、以及该观看者所涉及的所述图像内的注视区域；区域确定部，在所述观看者的数量为多名的情况下，所述区域确定部基于所述的多名观看者中的每一名观看者所涉及的多个所述注视区域，将所述图像内的一部分区域确定为对象区域；以及控制部，其对所述对象区域进行成像质量控制。

根据上述半导体集成电路，即使存在多名观看者的情况下，也能够基于例如按照观看者的视线、面部的朝向等决定的注视区域，来确定图像的一部分区域即对象区域。进而，能够对对象区域进行例如使观看者容易辨认该对象区域这样的成像质量控制处理。

对象区域可以与各注视区域一致，其也可以是多个注视区域相重叠的区域。而且，由于只要对对象区域进行成像质量控制处理即可，而不是对整个图像进行成像质量控制处理，因此较小的处理范围就可以，或较低的处理能力也能够实现。由此，能够实现半导体集成电路的低功耗化、低成本化。

此外，显示装置具备上述半导体集成电路。据此，能够降低显示装置的功耗和成本。

-发明的效果-

根据本公开，能够提供如下所述的半导体集成电路：即使在图像的观看者为多名的情况下，上述半导体集成电路也能够适当地对图像进行所需要的处理，并且能够降低功耗和成本。

附图说明

图1是第一实施方式所涉及的半导体集成电路的框图。

图2是表示第一实施方式所涉及的半导体集成电路的处理的流程图。

图3是表示确定对象区域为止的第一处理例子的流程图。

图4是表示确定对象区域为止的第二处理例子的流程图。

图5是表示确定对象区域为止的第三处理例子的流程图。

图6是第二实施方式所涉及的显示装置的简图。

图7是用于说明注视区域和对象区域的第一例的图。

图8是用于说明注视区域和对象区域的第一例的另一图。

图9是用于说明注视区域和对象区域的第二例的图。

图10是用于说明注视区域和对象区域的第二例的另一图。

图11是用于说明注视区域和对象区域的第三例的图。

图12是用于说明注视区域和对象区域的第三例的另一图。

图13是用于说明注视区域和对象区域的第四例的图。

图14是用于说明注视区域和对象区域的第四例的另一图。

具体实施方式

<第一实施方式>

图1是第一实施方式所涉及的半导体集成电路的框图。半导体集成电路10用于控制在电视等显示装置上显示的图像(包括动态图像等。下面记作图像。)的成像质量。半导体集成电路10具有信息输入部12、显示信息输入部14、图像生成部16、观看者检测部18、区域确定部20、控制部22以及输出部24。

显示在显示装置上的图像的信息被输入至信息输入部12。该信息还包括与观看者相关的信息即观看者信息。观看者信息例如包括观看者的人数、注视区域，能够从摄像机等摄像装置获取上述观看者信息。

需要说明的是，也可以为：从传感器、专用眼镜以及声音识别装置等得到的观看者信息被输入至信息输入部12。此外，作为观看者信息，可包括：脑波、心跳数、血压、年龄、以及性别等信息；表示观看者的喜怒哀乐等感情(观看者的表情等)的信息；以及表示显示装置与观看者之间的距离和观看者在观看注视区域的时间(下面记作注视时间)的信息等。

应该向显示装置输出的信息即显示信息被输入至显示信息输入部14。显示信息例如可以包括与图像相关的信息、压缩后的广播信息、以及已从网络传输过来的文字信息等，此外，上述显示信息也可以是能够显示在显示装置上的信息(静止图像等)。

图像生成部16基于显示信息，生成在显示装置上显示的信息即图像信息，并将上述图像信息输出。即，如果图像生成部16的输出直接被输入至显示装置，则在显示装置上显示通常的图像。

需要说明的是，图像信息也可以包括文字信息等图像以外的信息。

此外，例如，显示信息输入部14和图像生成部16可形成为一体，也可以将图像生成部16设置在半导体集成电路10的外部并将该图像生成部16的输出向半导体集成电路10输入。

观看者检测部18能够检测观看者信息所包含的任意信息。例如，观看者检测部18能够基于观看者信息，来检测观看者的数量、注视区域等，上述注视区域表示观看者在观看图像内的哪些区域。例如能够求出如下所述的区域作为注视区域：在图像内，所述区域具有以视线所到达的位置为中心的规定范围。

需要说明的是，也可以为：观看者检测部18利用作为视线以外的信息的、观看者的面部的朝向、其它观看者信息所包含的任意信息，来检测注视区域。

此外，信息输入部12和观看者检测部18也可以形成为一体。

区域确定部20基于由观看者检测部18检测出的、观看者的数量以及注视区域，来确定图像内的一部分区域即对象区域。

能够将图像内的、由一名以上的观看者特别注目的区域称作对象区域。例如，在存在多个注视区域(观看者)的情况下，各注视区域是对象区域的候补，能够将各注视区域中的至少一部分相重叠的区域、或者各注视区域确定为对象区域。

需要说明的是，也可以为：在确定对象区域的处理中，区域确定部20还考虑观看者检测部18的输出中所包括的、距离、注视时间等其它信息。此外，图像生成部16的输出可以被输入至区域确定部20，在该情况下，例如也可以为：区域确定部20还考虑包括文字信息的图像信息进行对象区域的确定处理。

作为针对已从图像生成部16输出的图像信息中对象区域的成像质量控制，控制部22例如进行对于观看者来说容易看到对象区域这样的处理。即，成为由控制部22进行成像质量控制的对象的区域不是整个图像，而是对于多名观看者来说关注度可能会高的一部分区域。其原因如下：通常，观看者有更加注目图像内的一部分区域(例如包括感兴趣的对象的区域)来观看图像的倾向。由此，也可以为：控制部22对对象区域执行例如高质量成像(high-quality imaging)处理，使得对象区域的成像质量高于上述对象区域以外的区域的成像质量。作为高质量成像处理，可以考虑例如使用了频率信息来进行的高清晰化、提高颜色信息的再现性等多种处理。

输出部24输出已由控制部22进行了成像质量控制之后的信息即输出图像信息。需要说明的是，控制部22和输出部24可以形成为一体。

然后，输出图像信息实际显示在显示装置上。

接下来，使用图2对本实施方式所涉及的半导体集成电路10的处理的简要情况进行说明。

图2是表示第一实施方式所涉及的半导体集成电路的处理的流程图。

在步骤S101，将观看者信息以及显示信息输入至半导体集成电路10。

在步骤S102，基于观看者信息，检测观看者数量以及注视区域。此外，基于显示信息生成图像信息。

在步骤S103，判断观看者的数量。

在观看者的数量小于1，即观看者不存在的情况下，不存在注视区域，因此不对对象区域进行确定，而是进入步骤S109。由此，不对图像进行成像质量控制，因此整个图像保持原来的成像质量(例如低质量成像)。

此外，在观看者的数量为1的情况下，在步骤S104，将该观看者的注视区域确定为对象区域。

另一方面，在观看者的数量为2以上的情况下，在步骤S105，针对多名观看者中的每一名观看者的注视区域，判断是否存在与其它注视区域相重叠的区域。

在存在相重叠的区域的情况(步骤S105的“是”分支)下，在步骤S106，将该区域确定为对象区域。

另一方面，在不存在相重叠的区域的情况(步骤S105的“否”分支)下，在步骤S107，将各注视区域确定为对象区域。

如果确定了对象区域，则在步骤S108，针对该对象区域进行例如高质量成像处理等成像质量控制，生成输出图像信息。需要说明的是，在存在多个对象区域的情况下，针对各对象区域进行成像质量控制。

然后，在步骤S109，将输出图像信息从半导体集成电路10输出。

以上，根据本实施方式所涉及的半导体集成电路10，即使存在多名观看者的情况下，电能够生成适合于各观看者的、已进行过成像质量控制的图像。

这里，专利文献1中公开了一种基于观看者的视线向针对图像进行的编码处理赋予权重的技术。此外，专利文献2中公开了一种只在观看者为一名的情况下才对图像进行使图像看起来是立体图像的处理，而在观看者为多名的情况下则不进行该处理的技术。

由此，在专利文献1、2中的技术的结合下，在观看者为多名的情况下，不对图像进行处理。此外，在这些现有技术中，并没有对在观看者为多名的情况下确定图像的一部分区域的方法做出明确的记载，也没有对针对该区域进行高质量成像等成像质量控制这样的内容做出明确的记载。

相对于此，在本实施方式中，无论观看者的人数如何，都对上述的对象区域进行成像质量控制，因此各观看者能够观看适合于自己的图像。

此外，高质量成像处理等成像质量控制并不是对整个图像进行的，而是对图像的一部分即对象区域进行的，因此处理范围较小也可以，从而能够实现低功耗化。此外，由于成像质量控制的对象的处理范围较小也可以，因此能够使性能低于在对整个图像进行成像质量控制的情况下所需的处理性能，从而能够实现低成本化、电路规模的缩小化。

需要说明的是，为了实现进一步的低功耗化等，也可以为：在步骤S107，不将各注视区域确定为对象区域。即，也可以为：仅将多个注视区域相重叠的区域确定为对象区域。

此外，在本实施方式中，也可以为：在确定对象区域为止的处理中，还考虑观看者检测部18的输出中所包括的其它信息。因此，下面对一些变形例进行说明。

-第一处理例子-

图3是表示确定对象区域为止的第一处理例子的流程图。图3所示的流程图中示出使用注视时间的情况下的例子。需要说明的是，省略关于对观看者数量的检测的说明。

在步骤S201，输入观看者信息。

在步骤S202，基于观看者信息，检测注视区域和注视时间。

在步骤S203，判断是否存在与上一次的检测时相比注视时间变长的注视区域。即，判断是否存在更加集中精神来观看的注视区域。

在不存在注视时间变长的注视区域的情况(步骤S203的“否”分支)下，在步骤S204，扩大注视区域的范围(面积)。即，由于不能说观看者是集中精神来观看该注视区域的，因此不将该注视区域作为对象区域的候补。

在存在注视时间变长的注视区域的情况(步骤S203的“是”分支)下，在步骤S205，缩小注视区域的范围(面积)。即，由于观看者是更加集中精神来观看该注视区域的，因此将该注视区域作为对象区域的候补。

在步骤S206，基于步骤S204、S205的结果确定对象区域。例如，能够将面积在规定值以下的注视区域作为对象区域。

然后，重复进行以上的处理。需要说明的是，也可以为：在基于注视区域确定对象区域之后，根据注视时间的长短扩大或缩小对象区域的面积。即，只要用于决定对象区域的参数中包括注视时间即可。

根据上述方式，进一步限定成像质量控制的对象范围，因此能够实现进一步的低功耗化、低成本化。

-第二处理例子-

图4是表示确定对象区域为止的第二处理例子的流程图。图4所示的流程图中示出使用图像内的、注视区域的位移的情况下的例子。需要说明的是，省略关于对观看者数量的检测的说明。

在步骤S301，输入观看者信息。

在步骤S302，基于观看者信息，检测注视区域。

在步骤S303，计算图像内的注视区域的位移。即，可知注视区域在图像内进行了何种程度的移动。

在步骤S304，判断注视区域的位移是否在规定值以上。

在注视区域的位移在规定值以上的情况(步骤S304的“是”分支)下，在步骤S305，将该注视区域从对象区域的候补中去除。

另一方面，在注视区域的位移小于规定值的的情况(步骤S304的“否”分支)下，在步骤S306，将该注视区域作为对象区域的候补。

在步骤S307，基于步骤S305、S306的结果，确定对象区域。

然后，重复进行以上的处理。如上所述，即使在因观看者的视线的移动而注视区域移动的情况下，如果上述的移动的范围在规定范围内，则也可以说是注视区域在比较缓慢地移动，因此看作注视区域的位置在图像内固定住一定时间，从而可将该注视区域作为对象区域。

由此，能够得到与第一处理例子相同的效果。

需要说明的是，为了上述步骤S203、S304中的判断处理，也可以在半导体集成电路10内设置存储器等。

-第三处理例子-

图5是表示确定对象区域为止的第三处理例子的流程图。图5所示的流程图中示出文字信息(电影中的字幕显示、OSD(On-Screen Display，屏幕菜单式调节方式)等)包含在注视区域中的情况下的例子。需要说明的是，这里成为处理的对象的图像是与文字信息合成的背景图像，包含文字信息的字幕区域是指，在合成后的图像上，与存在字幕的区域相对应的背景图像的区域。即，文字信息与背景图像合成后的图像并不是处理对象。其原因如下：在字幕、OSD合成部位周边，背景图像的成像质量越低，则越容易识别文字信息，考虑到这一点，就以能够只控制背景图像的成像质量作为前提。此外，省略关于对观看者数量的检测的说明。

在步骤S401，输入观看者信息。

在步骤S402，基于观看者信息，检测注视区域。

在步骤S403，对包括电影的字幕、天气预报等文字信息的字幕区域进行检测。需要说明的是，步骤S402、S403的顺序也可以倒过来。

在步骤S404，判断是否存在包括字幕区域的注视区域。即，判断观看者是否正在注视字幕区域。

在存在包括字幕区域的注视区域的情况(步骤S404的“否”分支)下，在步骤S405，将该注视区域从对象区域中去除。

另一方面，在不存在包括字幕区域的注视区域的情况(步骤S404的“是”分支)，在步骤S406，将该注视区域作为对象区域的候补。

在步骤S407，基于步骤S405、S406的结果，确定对象区域。

然后，重复进行以上的处理。如上所述，在注视区域与字幕区域至少重叠一部分的情况下，通过从对象区域中去除该注视区域，能够进一步限定成像质量控制的对象范围。其原因可以说由于如下所述的情况较少之故，该情况是指，与图像中所包含的人物等相比更期望对该图像中所包含的文字进行高质量成像等成像质量控制的情况。

由此，能够得到与第一处理例子相同的效果。

需要说明的是，在上述第一至第三处理例子中，在直到确定对象区域为止的步骤中，也可以将观看者信息所包含的其它信息作为参数来使用。

例如，也可以为：输入观看者的姿势信息，按照姿势改变注视区域的形状。此外，输入观看者的声音信息、活体信息(脑波、心跳数、血压等)，来分析观看者所观看的对象。此外，例如也可以为：根据观看者的表情取得喜怒哀乐等感情信息，根据所得到的感情信息计算对图像(特别是正在注视的对象物)的重要度，从而向多个对象区域赋予权重。在该情况下，也可以为：进行与该权重相对应的成像质量控制。

此外，也可以为：使用观看者的年龄、性别等与观看者相关的任意信息作为用于确定对象区域的参数。

此外，也可以为：能够组合第一至第三处理例子来确定对象区域。

<第二实施方式>

图6是第二实施方式所涉及的显示装置的简图。例如作为数字电视的显示装置30具有第一实施方式所涉及的半导体集成电路10、摄像装置32、测距传感器34以及显示部36。

摄像装置32是对在显示部36上显示的图像的观看者进行摄像的摄像机等，其向半导体集成电路10输出观看者信息。

测距传感器34测量显示装置30与观看者之间的距离，其向半导体集成电路10输出距离信息。需要说明的是，也可以将测距传感器34的功能编入摄像装置32中。

显示部36接收来自半导体集成电路10的输出图像信息，显示适合于观看者的、已进行过成像质量控制的图像。

需要说明的是，显示信息通过未图示的天线等被输入至半导体集成电路10。

具体说明在按照上述方式构成的显示装置30的显示部36上显示的图像中的注视区域和对象区域。需要说明的是，在下面的例子中使用的各幅附图中，省略图示半导体集成电路10、摄像装置32、以及测距传感器34。

-第一例-

图7以及图8是用于说明注视区域和对象区域的第一例的图。在图7以及图8中示出了在显示部36上以多窗口方式进行显示的情况。

例如，如图7所示，在显示部36上显示有多个窗口W1～W4，假设观看者A已开始观看窗口W1、观看者B已开始观看窗口W4。

在该情况下，窗口W1、W4是注视区域37(图7中被虚线围住的区域)，相对于此，窗口W2、W3为非注视区域，即窗口W2、W3并不是注视区域37。由此，窗口W1、W4成为对象区域的候补，而窗口W2、W3从对象区域中被去除。

在该状态下，如果观看者A继续观看窗口W1、观看者B继续观看窗口W4，则将窗口W1、W4确定为对象区域。

另一方面，如图8所示，如果观看者B改为观看窗口W1，则观看者A、B的注视区域相重叠，因此将窗口W1确定为对象区域38(图8中用斜线表示的区域)。

-第二例-

图9以及图10是用于说明注视区域和对象区域的第二例的图。在图9以及图10中示出了男性观看者A、以及女性观看者B观看显示部36上的任意部位的情况。

例如，假设：如图9所示，例如观看者A、B所感兴趣的对象物不同，观看者A已开始观看用符号37A表示的区域，观看者B已开始观看用符号37B表示的区域。

在该情况下，用符号37A表示的区域为注视区域37A，用符号37B表示的区域为注视区域37B，显示部36上的其它区域为非注视区域39。

在该状态下，例如，注视区域37A、37B在显示部36上的位置固定住一定时间的情况下，将注视区域37A、37B确定为对象区域。

另一方面，例如在因观看者A、B所感兴趣的对象物进行移动使得注视区域37A、37B移动到如图10所示的位置上的情况下，注视区域37A、37B的一部分相重叠，因此将相重叠的该区域(图10中用斜线表示的区域)确定为对象区域38。

需要说明的是，在图10中，也可以为：将包括注视区域37A、37B的区域确定为对象区域38。

-第三例-

图11以及图12是用于说明注视区域和对象区域的第三例的图。在图11以及图12中示出了观看者A与显示装置30之间的距离和观看者B与显示装置30之间的距离不相等的情况。

例如，假设：如图11所示，观看者A从一位置上观看注视区域37A，观看者B从另一位置上观看注视区域37B。

由于能够通过测距传感器34(参照图6)得到显示装置30与观看者A、B之间的距离，因此，在观看者A与显示装置30之间的距离比观看者B与显示装置30之间的距离远的情况下，能够从对象区域中去除注视区域37A。

其原因如下：在与显示装置30之间的距离较远的情况下，图像的高质量成像可能会很难被观看者识别出。

其结果是，如图12所示，将离显示部36较近的观看者B所涉及的注视区域37B确定为对象区域38。需要说明的是，在观看者A已向显示装置30靠近的情况下，可以将注视区域37A也确定为对象区域38，在观看者B离开了显示装置30的情况下，可以从对象区域38中去除注视区域37B。

此外，也可以为：不是将与显示装置30之间的距离更近的观看者所涉及的注视区域作为对象区域，而是将与显示装置30之间的距离在规定值以下的观看者所涉及的注视区域作为对象区域。

即，也可以为：距离包含在用于决定对象区域的参数中。

-第四例-

图13以及图14是用于说明注视区域和对象区域的第四例的图。在图13以及图14中示出了成人观看者A和儿童观看者B观看显示部36上的任意位置的情况。

例如，假设：如图13所示，观看者A在观看注视区域37A、观看者B在观看注视区域37B。

在该情况下，如图14所示，将注视区域37A确定为对象区域38，另一方面，从对象区域中去除注视区域37B。这是由于成人比儿童更容易识别已进行过高质量成像等处理的图像之故。

在上面的第一至第四例中，通过对对象区域38进行高质量成像处理等成像质量控制，能够得到成像质量适合于观看者A、B中至少任一者的图像，并且进行成像质量控制的范围小于整个显示部36的范围，因此能够实现低功耗化以及低成本化。

需要说明的是，可以在上述第一至第四例中对非注视区域39进行间隔提取处理等，也可以任意地组合第一至第四例。

此外，可通过遥控器等来设定对对象区域进行的成像质量控制，在对象区域存在多个的情况下，能够独立地设定到底对各个对象区域进行何种成像质量控制。

此外，除了高质量成像处理以外，只要是给观看者带来便利的处理，就可以为成像质量控制。例如，也可以为：通过调节辉度、明亮度、色度、以及色调，或者突出显示包括在对象区域中的人物等的边缘等方式，来使图像看起来更加清晰。

此外，为了显示与包括在对象区域中的人物等相关连的信息，可以扩大对象区域的面积，为了使观看者容易看到对象区域，可以扩大对象区域内的图像的显示倍率。该关连信息可以显示在观看者所具有的移动终端上。

此外，控制部22也可以基于来自图像生成部16的图像信息来校正区域确定部20的输出。例如，也可以为：检测图像信息中所包含的人物等的边界或边缘，基于此来校正包括在对象区域中的图像信息。此外，也可以向控制部22输入标签信息，上述标签信息表示图像信息中所包含的人物等的详细内容，在该情况下，也可以基于标签信息来校正包括在对象区域中的图像信息。

此外，在观看者间断地观看多个注视区域的情况下，也可以为：保持各注视区域的注视时间的履历，将注视时间的合计值达到规定值以上的注视区域确定为对象区域。

此外，可以考虑多名观看者观看图像的顺序来确定对象区域，也可以将各注视区域确定为对象区域，其中，上述的各注视区域包括由多个注视区域相重叠的区域。

此外，例如，也可以为：可利用遥控器等来设定观看者的年龄和视力、显示装置30的所有者等固定信息，例如，可以优先将年龄偏大或视力较低的观看者的注视区域、所有者的注视区域作为对象区域。

在上述第二实施方式中，对显示装置为数字电视的情况进行了说明，但是显示装置也可以为个人电脑、放映机等能够显示图像的装置。

-产业实用性-

即使在多人观看的情况下，本公开所涉及的半导体集成电路也能够对在显示装置上显示的图像内的、每一个人特别注目的区域进行高质量成像处理等，因此对要求低功耗化、低成本化的大画面电视、监视器等显示装置有用。

-符号说明-

10 半导体集成电路

16 图像生成部

18 观看者检测部

20 区域确定部

22 控制部

30 显示装置

32 摄像装置

37、37A、37B 注视区域

38 对象区域

A、B 观看者