专利名称：图像生成装置、图像生成方法以及包括图像生成装置的通信装置的制作方法
技术领域：
本发明涉及图像生成装置及图像生成方法，应用于电视(TV)会议系统中的图像装置、固定型有线电视电话装置、移动通信系统中的便携电视电话装置、以及具有个人计算机功能的信息终端装置等通信装置，特别涉及在1个画面上合成多个运动图像或静止图像的图像生成装置及图像生成方法。
背景技术：
作为现有图像生成装置及图像生成方法，有特开平6-30335号公报中记载的图像生成装置及图像生成方法。此外，作为现有通信装置中搭载的图像生成装置，例如有TV会议系统中的画中画生成装置。它是在正在接收的对方台图像中合成用本台的摄像机拍摄的本台图像的装置。
图1是作为现有图像生成装置的画中画生成装置的结构方框图。
该图1所示的画中画生成装置10包括图像放大部件11、图像缩小部件12、以及图像合成部件13。
图像放大部件11以预定的固定倍率例如将352×288像素构成的对方台图像放大处理为704×480像素并输出。图像缩小部件12以预定的固定倍率例如将352×288像素构成的本台图像缩小处理为176×144像素并输出。图像合成部件13在从图像放大部件11输出的对方台图像的特定位置上重叠处理从图像缩小部件12输出的本台图像并输出。
接着，用图2的方框图来说明使用这种结构的画中画生成装置10的TV会议系统。
图2所示的TV会议系统20包括图1所示的画中画生成装置10的图像放大部件11、图像缩小部件12、以及图像合成部件13。TV会议系统20还包括复用部件21、动画解码器22、动画编码器23、摄像机24、A/D变换器25、图像缩小部件26、D/A变换器27、以及监视器28。
复用部件21复用发送到电话线路或专用线路等线路上的发送信号、及来自线路的接收信号。动画解码器22对从线路接收到的运动图像比特流进行解码，重构对方台图像。动画编码器23对本台图像进行编码，发送到线路。
摄像机24拍摄本台图像。A/D变换器25将来自摄像机24的模拟本台图像信号变换为数字本台图像信号。图像缩小部件26以预定的固定倍率例如将704×480像素构成的数字本台图像信号缩小处理为352×288像素并输出。
D/A变换器27将合成后的数字图像信号变换为模拟信号。监视器28显示合成后的模拟图像信号。
在这种结构的电视会议系统20中，在摄像机24拍摄的本台图像作为模拟信号被输出后，由A/D变换器25变换为数字信号，输入到图像缩小部件26。
图像缩小部件26为了使图像尺寸符合动画编码器23的动画编码格式，将例如704×480像素构成的数字本台图像信号缩小为352×288像素。
动画编码器23对该缩小过的数字本台图像信号进行编码，输出到复用部件21。然后，复用部件21将编码过的本台图像发送到线路。
此外，从图像缩小部件26输出的数字本台图像信号也被输入到图像缩小部件12，在这里被进一步缩小。该缩小例如是从352×288像素到176×144像素的变换。由此，生成在父画面上重叠的子画面。
另一方面，从对方台经线路接收到的运动图像比特流经复用部件21被输入到动画解码器22。动画解码器22通过对运动图像比特流进行解码来生成对方台图像。
通常，动画编码器23和动画解码器22根据同一动画编码格式进行编码和解码，动画解码器22生成的对方台图像也由352×288像素构成。
进而，从动画解码器22输出的对方台图像被输入到图像放大部件11而被放大。该放大例如是从352×288像素到704×480像素的变换，由此生成父画面。
接着，图像合成部件13在作为父画面的对方台图像的特定位置、例如在右下重叠处理作为子画面的本台图像并输出。即，例如进行合成后输出，使得用176×144像素构成的本台图像覆盖704×480像素构成的对方台图像的一部分。
来自图像合成部件13的输出经D/A变换器27变换为模拟信号后，被显示到监视器28上。
通过这样在TV会议系统20中使用画中画生成装置10，能够一边接收并显示对方话者的图像，一边用同一监视器28来显示本台图像，所以能够一边经常确认是否得以发送期望的本台图像，一边进行TV会议。
然而，现有图像生成装置有下述问题难以追加对方台图像和本台图像以外的显示对象图像，并对它们有效地进行合成显示。
这是因为如果将所有显示对象图像单纯地用画中画来合成显示，则父画面的有效显示区域变窄，尤其是在监视器28的分辨率低的情况下，或者在监视器28的显示面的物理尺寸小的情况下，问题更加突出。
此外，现有图像生成装置有下述问题作为父画面的对方台图像的放大率、作为子画面的本台图像的缩小率及重叠位置是固定的，所以在监视器28的分辨率变更的情况下难以灵活应对。
再者，现有图像生成装置有下述问题子画面会覆盖父画面的重要的图像部分。
发明概述本发明的目的在于提供一种图像生成装置及图像生成方法，即使在对方台图像和本台图像以外追加显示对象图像也能够有效地进行合成显示，即使在显示装置的分辨率变更的情况下也能够灵活应对，能够防止子画面覆盖父画面的重要的图像部分。
该目的是如下实现的按照规定的优先级来选择显示对象图像，控制显示对象图像的放大及缩小率、以及合成位置，在空间上、时间上无意义的部分重叠处理各图像。
附图的简单说明图1是作为现有图像生成装置的画中画生成装置的结构方框图；图2是使用现有画中画生成装置的TV会议系统的结构方框图；图3是本发明实施例1的图像生成装置的结构方框图；而图4是使用本发明实施例2的图像生成装置的通信装置的结构方框图。
实施发明的最好形式以下，用附图来说明本发明的实施例。
(实施例1)图3是本发明实施例1的图像生成装置的结构方框图。
图3所示的图像生成装置100包括图像选择部件101、多个(第1～第M)图像处理部件102、运动检测部件103、频率解析部件104、自适应图像合成部件105、以及画面控制部件106。
图像选择部件101从多个输入图像1～N中根据规定的优先级来选择、输出图像。图像处理部件102按照画面控制部件106提供的放大及缩小率来放大或缩小处理从图像选择部件101输出的各个图像。运动检测部件103检测图像处理部件102处理过的图像的没有运动的部分，向自适应图像合成部件105指示图像合成位置。频率解析部件104检测图像处理部件102处理过的图像的没有特征的部分，向自适应图像合成部件105指示图像合成位置。
自适应图像合成部件105将图像处理部件102处理过的图像合成到运动检测部件103及频率解析部件104指示的图像合成位置。画面控制部件106将图像的优先级指示给图像选择部件101，按照未图示的显示装置的形状及分辨率等向图像处理部件102指示图像的放大及缩小率，按照显示装置的形状及分辨率等向自适应图像合成部件105指示图像合成位置。
在这种结构中，图像选择部件101按照画面控制部件106提供的优先级，从输入的图像中从优先级高的图像起选择并输出规定数目的图像。该输出的图像的数目由画面控制部件106按照显示装置的分辨率及形状来决定。
接着，选择出的图像被输入到各个图像处理部件102。图像处理部件102按照画面控制部件106提供的放大及缩小率来放大或缩小处理各图像。
其中，画面控制部件106根据至少下述2个因素来决定各图像的放大及缩小率。一个因素是显示装置的分辨率及形状，另一个因素是基于图像优先级的父画面、子画面的类别。这里，通过使图像处理部件102在放大或缩小处理以外具有修剪(トリミング)、映射(マツピング)、旋转、反转功能，能够实现更灵活的图像的生成。
再者，图像处理部件102放大或缩小过的各图像被输入到自适应图像合成部件105。自适应图像合成部件105按照画面控制部件106、运动检测部件103、频率解析部件104中的某个、或每个提供的信息来决定输入的各图像的合成位置及层次结构。
从画面控制部件106向自适应图像合成部件105提供与显示装置的分辨率及形状对应的各图像的合成位置信息、及基于各图像优先级的层次结构信息。
运动检测部件103检测各图像的运动，将各图像的合成位置信息提供给自适应图像合成部件105，使得没有运动的部分被重叠处理。该运动的检测可以利用运动图像编码的运动矢量检测处理，也可以通过其他方法。
频率解析部件104通过进行各图像的频率分析，将各图像的合成位置信息提供给自适应图像合成部件105，使得图像的空间活性低、未被判断为特征点的部分被重叠处理。该频率解析可以使用运动图像编码的离散余弦变换，也可以使用小波变换、其他任何手段。
这样，根据实施例1的图像生成装置100，按照规定的优先级来选择显示对象图像，所以能够有效地合成显示多个显示对象图像。
特别是在显示装置的分辨率低的情况下，或者在显示装置的显示面的物理尺寸小的情况下，通过将选择的图像的数目抑制到最小限度(例如，2个)，能够有效地进行合成显示。
此外，能够变更显示对象图像的放大及缩小率、以及合成位置，所以能够灵活应对具有各种分辨率的显示装置。
再者，在空间上、时间上无意义的部分重叠处理各图像，所以图像的重要部分不会被其他图像覆盖。
(实施例2)图4是使用图3所示的图像生成装置100的通信装置的结构方框图。在以下的说明中，假设图像选择部件101的输入有3套(文件图像、对方台图像、本台图像)，图像选择部件101的输出有2套(父画面、子画面)。
图4所示的通信装置200除了实施例1说明过的图像生成装置100的构成要素之外，还包括D/A变换器207、文件控制部件208、复用部件209、动画解码器210、动画编码器211、摄像机212、A/D变换器213、图像缩小部件214、以及监视器215。
复用部件209复用发送到电话线路或专用线路等线路上的发送信号、及来自线路的接收信号。动画解码器210对经复用部件209从线路接收到的运动图像比特流进行解码，重构对方台图像。动画编码器211对本台图像进行编码，发送到线路。
摄像机212拍摄本台图像。A/D变换器213将来自摄像机212的模拟本台图像信号变换为数字本台图像信号。图像缩小部件214对来自A/D变换器213的数字本台图像信号进行缩小处理，以符合动画编码格式。
文件控制部件208将文件上记录的动画及静止图像输出到图像选择部件101。
D/A变换器207将自适应图像合成部件105合成后的数字图像信号变换为模拟信号。监视器215显示来自A/D变换器207的合成后的模拟图像信号。
接着，说明通信装置200的动作。在以下的说明中，假设由画面控制部件106按文件图像、对方台图像、本台图像的顺序提供优先级，该各图像的分辨率是352×288像素，监视器215的分辨率是704×480像素。
首先，在通常的通信状态下，只有动画解码器210输出的对方台图像、和从摄像机212输入的本台图像被输入到图像选择部件201。在此情况下，图像选择部件101原封不动地输出所输入的2套图像。
接着，在图像处理部件102中，由于按照来自画面控制部件106的图像的放大及缩小率，将优先级高的对方台图像作为父画面，所以扩大处理为704×480，而将优先级低的本台图像作为子画面，所以缩小处理到176×144。
进而，在自适应图像合成部件205中，根据优先级信息，进行将对方台图像配置到704×480像素的中心的处理。由此，对方台图像作为父图像被显示到监视器215的整个画面上。
同样，在自适应图像合成部件205中进行下述处理根据优先级信息，将176×144像素构成的本台图像作为子图像，配置在704×480像素的右下部分，并且重叠在对方台图像上。
由此，在通常通信时，在对方台图像的右下部分嵌入小的本台图像来进行合成显示。
接着，说明在上述通信中从文件控制部件208将静止图像输入到图像选择部件101的情况。
在此情况下，图像选择部件101按照优先级，选择并输出文件图像及对方台图像。
接着，在图像处理部件102中，将优先级高的文件图像作为父画面，所以放大处理到704×480，而将优先级低的对方台图像作为子画面，所以缩小处理到176×144。
进而，在自适应图像合成部件105中，根据优先级信息，进行将文件图像配置到704×840像素的中心的处理。由此，文件图像作为父图像被显示到监视器215的整个画面上。
同样，在自适应图像合成部件105中进行下述处理根据优先级信息，将176×144像素构成的对方台图像作为子图像，配置在704×480像素的右下部分，并且重叠在文件图像上。
这样，在通信时文件图像被输入到图像选择部件101的情况下，在文件图像的右下部分嵌入小的对方台图像来进行合成显示。
这样，根据实施例2的通信装置200，图像选择部件101根据规定的优先级选择多个显示对象图像后进行输出，所以即使在对方台图像和本台图像以外追加显示对象图像也能够有效地进行合成显示。
此外，画面控制部件106按照监视器215的形状、分辨率来控制图像处理部件102和自适应图像合成部件105，所以在监视器215的分辨率变更的情况下也能够灵活应对。
再者，运动检测部件103和频率解析部件104将子画面配置在父画面的无意义的部分，所以能够防止子画面覆盖父画面的重要的图像部分。
在实施例2中，说明了将图像生成装置100使用于通信装置200的例子，但是本发明不限于此，也可以将图像生成装置应用于TV会议系统中的图像装置、固定型有线电视电话装置、移动通信系统中的便携电视电话装置、以及具有个人计算机功能的信息终端装置等。
此外，在实施例2中，说明了从文件控制部件208将静止图像输入到图像选择部件101的情况，但是也可以从文件控制部件208将动画输入到图像选择部件101。再者，也可以在文件控制部件208中包括动画解码器或静止图像解码器，在对文件上记录的动画比特流或静止图像比特流进行解码后输入到图像选择部件101。
从以上说明可知，根据本发明，即使在对方台图像和本台图像以外追加显示对象图像也能够有效地进行合成显示，即使在显示装置的分辨率变更的情况下也能够灵活应对，能够防止子画面覆盖父画面的重要的图像部分。
本说明书基于1999年10月29日申请的特愿平11-309555。其内容包含于此。
产业上的可利用性本发明适用于TV会议系统中的图像装置、固定型有线电视电话装置、移动通信系统中的便携电视电话装置、以及具有个人计算机功能的信息终端装置等通信装置。
权利要求
1.一种图像生成装置，包括控制部件，指示各图像的优先级和放大或缩小率；选择部件，根据上述优先级来选择输入的多个图像；图像处理部件，按照上述放大或缩小率来放大或缩小上述选择出的图像；合成部件，合成上述放大或缩小过的图像；以及显示部件，显示该合成部件合成过的图像。
2.如权利要求1所述的图像生成装置，其中，控制部件按照显示图像的层次结构来确定优先级。
3.如权利要求1所述的图像生成装置，其中，控制部件按照图像是在整个显示部件上显示的父画面、还是在父画面的一部分上嵌入的子画面来确定优先级。
4.如权利要求1所述的图像生成装置，其中，控制部件按照显示部件的画面形状或分辨率来确定放大或缩小率。
5.如权利要求1所述的图像生成装置，其中，控制部件按照是在与优先级对应的父画面及子画面的哪个上显示的图像来决定上述图像的放大或缩小率。
6.如权利要求1所述的图像生成装置，其中，控制部件按照显示部件的画面形状或分辨率来确定图像的个数，选择部件选择上述控制部件确定的个数的图像。
7.如权利要求1所述的图像生成装置，其中，控制部件按照显示部件的画面形状或分辨率来指示图像合成位置，合成部件按照上述图像合成位置来决定将放大或缩小过的图像合成显示到上述显示部件上的位置。
8.如权利要求1所述的图像生成装置，其中，控制部件指示与优先级对应的层次结构信息，合成部件按照上述层次结构信息，来决定将放大或缩小过的图像合成显示到显示部件上的层次。
9.如权利要求1所述的图像生成装置，包括运动检测部件，检测图像处理部件处理过的图像的运动，向合成部件输出运动信息；合成部件根据上述运动信息来不相互重叠地配置多个图像的运动部分。
10.如权利要求1所述的图像生成装置，包括频率解析部件，解析图像处理部件处理过的图像的频率分量，向合成部件输出频率信息；合成部件根据上述频率信息来不相互重叠地配置多个图像的特征部分。
11.如权利要求1所述的图像生成装置，其中，图像处理部件作为图像处理至少包括放大/缩小、修剪、映射、旋转、反转的功能。
12.一种包括图像生成装置的通信装置，其中，上述图像生成装置包括控制部件，指示各图像的优先级和放大或缩小率；选择部件，根据上述优先级来选择输入的多个图像；图像处理部件，按照上述放大或缩小率来放大或缩小上述选择出的图像；合成部件，合成上述放大或缩小过的图像；以及显示部件，显示该合成部件合成过的图像。
13.一种图像生成方法，根据优先级来选择输入的多个图像，分别放大或缩小该选择出的图像，合成放大或缩小过的图像。
全文摘要
画面控制部件106确定优先级、放大或缩小率及图像合成位置。图像选择部件101根据优先级来选择输入的多个图像,图像处理部件102按照放大或缩小率来放大或缩小所选择出的图像。运动检测部件103检测图像处理部件102的处理图像的没有运动的部分,频率解析部件104检测图像处理部件102的处理图像的没有特征的部分。自适应图像合成部件105在运动检测部件103及频率解析部件104指示的图像合成位置上合成放大或缩小过的图像。由此,即使在对方台图像和本台图像以外追加显示对象图像也能够有效地进行合成显示,即使在显示装置的分辨率变更的情况下也能够灵活应对,能够防止子画面覆盖父画面的重要的图像部分。
文档编号H04N5/45GK1327676SQ00802364
公开日2001年12月19日 申请日期2000年10月24日 优先权日1999年10月29日
发明者町田丰, 行武刚, 宫内基也, 久保田孝介, 加宅田忠 申请人:松下电器产业株式会社