影像合成装置及影像输出装置的制作方法

专利名称：影像合成装置及影像输出装置的制作方法
技术领域：
本发明涉及进行影像合成的影像合成装置及影像输出装置。
技术背景在电视、显示器和投影仪等的影像输出装置中，公知与影像重叠地显示OSD (On Screen Display)那样的其他影像的技术。例如在专利文献1 中公开了进行影像合成的影像合成电路。专利文献1:国际公开第2004/090860号公报专利文献l的影像合成电路以行为单位处理影像。即，在电路内部需 要具备行缓冲器。发明内容本发明提供一种以更少的存储器进行影像合成的技术。 为了解决上述课题，本发明提供一种影像合成装置，其中包括第一 影像输入部，其输入第一影像；第二影像输入部，其输入第二影像；参数 输入部，其输入参数，该参数表示对通过第一影像输入部输入的第一影像 以及通过所述第二影像输入部输入的第二影像进行合成时的相对位置关 系；影像合成部，其根据由所述参数输入部输入的参数，按每个像素合成 所述第一影像以及所述第二影像，生成合成影像；和输出部，其输出通过 所述影像合成部生成的合成影像。根据该影像合成装置，按每个像素进行影像的合成。 在优选的方式中，该影像合成装置具有对所述第二影像进行滤波处理 的滤波处理部，所述影像合成部对第一影像以及通过所述滤波处理部进行 了滤波处理的第二影像进行合成。根据该影像合成装置，对合成前的影像进行滤波处理。在优选的方式中，所述第二影像以数据量少于所述第一影像的数据形 式表示，该影像合成装置还包括变换信息存储部，其存储用于将所述第 二影像的数据形式变换为所述第一影像的数据形式的变换信息；和变换 部，其根据所述变换信息存储部中存储的变换信息，将所述第二影像的数 据形式变换为与所述第一影像的数据形式相同的数据形式。根据该影像合成装置，以数据量少于第一影像的形式表示第二影像。在优选的方式中，该影像合成装置具有像素存储部，其存储至少5个 像素的数据，该至少5个像素包括由所述第二影像输入部输入的影像中成 为处理对象的处理对象像素、以及在水平方向以及垂直方向上与所述处理 对象像素相邻的相邻像素，所述滤波处理部利用所述存储部中存储的数 据，在所述处理对象像素的水平方向以及垂直方向这两个方向上进行滤波 处理。根据该影像合成装置，进行水平方向以及垂直方向的两个方向上的滤 波处理。另外，本发明提供一种影像输出装置，其包括第一影像存储部，其存储所述第一影像；第二影像存储部，其存储所述第二影像；和上述任一 方式所述的影像合成装置，所述影像合成装置对所述第一影像存储部中存 储的第一影像和所述第二影像存储部中存储的第二影像进行合成。 根据该影像输出装置，输出按照每个像素合成的影像。


图1是表示本发明的一实施方式所涉及的影像输出装置1的构成图。图2是表示影像合成处理部50的构成图。图3是例示主影像的图。图4是例示0SD影像的图。图5是例示合成影像的图。图6是表示OSD影像的数据形式的图。图7是例示调色板存储部510中存储的LUT的图。图8表示影像合成处理部50的状态变化图。图9是表示状态OVERLAP的详细情况的状态变化图。图中l一影像输出装置；IO —外部存储部；20 —存储器控制部；30 一IP变换处理部；40 —影像放大縮小处理部；50 —影像合成部；60—梯形 修正处理部；70 —输出部；80 —控制部；501—主影像输入控制部；502 — 副影像输入控制部；503 —参数控制部；504 —参数存储部；505 —滤波系 数控制部；506 —滤波系数存储部；507—滤波计算部；509 —调色板设定控制部；510 —调色板存储部；511—OSD输入控制部；512 —索引存储部；513 —索引/调色板变换部；514—影像合成部；515 —影像输出控制部。
具体实施方式
1.构成图1是表示本发明的一实施方式所涉及的影像输出装置1的构成图。 在本实施方式中，影像输出装置l是投影仪。影像输出装置l通过以像素为单位进行影像的处理，从而不使用行缓冲器(linebuffer)来进行第一影 像(例如主影像或副影像)和第二影像(例如OSD影像)的合成。这里 所说的"影像"包括静态图像、动态图像以及它们的组合。外部存储部10 是存储数据的存储装置，该数据表示主影像、副影像以及OSD影像等输 出的影像或者成为处理对象的影像。主影像以及副影像具有以矩阵状配置 的多个像素。在主影像以及副影像中，各像素包括通过某种色系(例如 RGB色系)表示的颜色的数据。OSD影像也具有以矩阵状配置的多个像 素。在OSD影像中，各像素包括以数据量比主影像以及副影像少的形式 (例如索引形式)表示的颜色的数据。存储器控制部20从外部存储部IO读出必要的数据，并将读出的数据 输出到其他构成要素。IP (interlace/progressive)变换处理部30根据需要 对主影像或副影像进行IP处理。影像放大缩小处理部40进行主影像或副 影像的放大或縮小。影像合成处理部50合成主影像或副影像、和OSD影 像，生成合成影像。梯形修正处理部60对合成影像进行梯形修正处理， 生成输出影像。输出部70按照输出影像来输出影像。控制部80控制影像 输出装置1的各构成要素。控制部80具有处理器以及存储器。图2是表示影像合成处理部50的构成图。主影像输入控制部501监 视影像合成部514的状态，控制主影像的输入。影像合成部514将忙信号(busy signal)输出到主影像输入控制部501 。忙信号为"True"时，主影像 输入控制部501不将作为处理对象的像素的数据输出到影像合成部514。 即，当忙信号为"Tme"时，主影像输入控制部501将成为处理对象的像素 以外的像素、例如之前为处理对象的像素的数据输出到影像合成部514。 或者，当忙信号为"True"时，主影像输入控制部501也可以将空白数据 (blank data)输出到影像合成部514。当忙信号为"False"时，主影像输入 控制部501将作为处理对象的像素的数据输出到影像合成部514。另外， 实际上进行忙控制的是后述的影像合成部514。主影像输入控制部501也 可以以利用了环形缓冲区的队列(queue)来安装。由于影像合成处理部 50和影像放大縮小处理部40通过总线连接，所以主影像输入控制部501 是总线主控器。同样，副影像输入控制部502监视影像合成部514的状态， 控制副影像的输入。0SD输入控制部511进行外部存储部10中存储的OSD索引影像的读 出。OSD输入控制部511是总线主控器。OSD输入控制部511将读出的 OSD索引影像输出到索引存储部512。索引存储部512是存储OSD索引 影像的存储器。索引存储部512具有多个行缓冲器。索引存储部512是为 了高速进行处理而设置的。索引存储部512的容量是任意的。索引存储部 512向索引/调色板(palette)变换部513输出处理对象像素的周边像素、 例如以处理对象像素为中心上下左右各1个像素共计5个像素的数据。索引/调色板变换部513根据调色板存储部510中存储的数据，将OSD 索引影像变换为RGB数据。调色板存储部510存储用于将OSD索引变换 为RGB数据的数据。另外，调色板存储部510存储将OSD索引变换为透 明度a的数据。调色板存储部510中存储的数据通过调色板设定控制部509 而被更新。即，调色板设定控制部509在控制部80的控制下进行调色板 的设定、即调色板存储部510的数据的变更。调色板设定控制部509是总 线受控器。索引/调色板变换部513将变换为RGB形式的像素的数据输出 到滤波计算部507。滤波计算部507对通过索引/调色板变换而得到的像素数据，利用滤波 系数存储部506中存储的滤波系数进行滤波计算。滤波系数存储部506存 储滤波系数等用于滤波处理的参数。滤波系数存储部506中存储的数据通过滤波系数控制部505来控制。g卩，滤波系数控制部505在控制部80的 控制下进行滤波系数的设定。滤波系数控制部505是总线受控器。另外，滤波计算部507监视影像合成部514的状态，控制OSD影像 的输入。影像合成部514将忙信号输出到滤波计算部507。当忙信号为 "Tme"时，滤波计算部507不将成为处理对象的像素的数据输出到影像合 成部514。当忙信号为"False"时，滤波计算部507将进行了滤波处理的像 素数据输出到影像合成部514。影像合成部514对主影像、副影像以及OSD影像进行合成。影像合 成部514以像素为单位对影像进行合成。另外，影像合成部514根据参数 存储部504中存储的参数进行合成。参数存储部504存储影像合成所需的 参数。在本实施方式中，参数存储部504存储主影像的宽度w,、主影像 的高度hp OSD影像的宽度w2、 OSD影像的高度h2、 OSD存储器宽度m、 OSD存储器高度n、合成影像宽度w3、合成影像高度h3、主影像的水平 位置x,、主影像的垂直位置y。 OSD影像的水平位置x2、 OSD影像的垂 直位置y2以及背景色。参数存储部504中存储的数据通过参数控制部503 来设定。即，参数控制部503在控制部80的控制下进行参数的设定。另外，影像合成部514监视影像输出控制部515的状态，控制合成影 像的输出。影像合成部514将合成影像的数据以及使能(enable)信号向 影像输出控制部515输出。影像输出控制部515监视后级的梯形修正处理 部60的状态，并根据需要输出合成影像。另外，实际上进行忙控制的是 影像合成部514。影像输出控制部515也可以以利用了环形缓冲区的队列 来安装。图3是例示主影像的图。图4是例示OSD影像的图。图5是例示合 成影像的图。下面，用xy直角坐标系表示合成影像中的像素的位置。主 影像具有高度h,和宽度w,。 OSD影像具有高度h2和宽度W2。合成影像具 有高度h3和宽度W3。在合成影像中，主影像配置在代表点、例如左上顶 点的位置为(xl， yl)的位置。OSD影像配置在代表点、例如左上顶点的 位置为(x2， y2)的位置。图6是表示OSD影像的数据形式的图。外部存储部10具有mxn的 矩阵状的存储区域(以下称作"OSD存储区域")作为存储OSD影像的区域，该存储区域具有宽度m以及高度n。矩阵的单元分别表示1个像素。 OSD影像数据以索引形式被存储。索引形式的数据用于指定后述的调色板 (或者LUT: Look Up Table)中存储的颜色。艮卩，OSD影像数据是数据 量少于RGB形式的数据，例如是8位的数据。图7是例示调色板存储部510中存储的LUT的图。LUT包含多个数 据集(data set),这里为256个，所述数据集具有索引值、与该索引值对 应的RGB各色成分的值、与该索引值对应的透明度a的值。例如当索引 OSD—PALETTE二O时，各色成分的值(R， G， B) = (R0， G0， B0)。 另外，此时a二a。。2.动作影像输出装置1的动作的概要如下。主影像或副影像经过IP变换处 理以及放大縮小处理而被供给到影像合成处理部50。 OSD影像直接被供 给到影像合成处理部50。影像合成处理部50合成主影像或副影像与OSD 影像。合成后的影像被梯形修正处理，而后被输出。以下对影像合成处理 部50中的影像合成处理、尤其是作为内部模块的影像合成部514的动作 进行说明。图8表示影像合成部514的状态变化图。在状态WAIT下，影像合成 部514在垂直同步信号OFF的情况下维持状态WAIT,在垂直同步信号 ON的状态下变化为状态F I X一REG。在状态F I X—REG下，影像合成部514确定用于影像合成的参数。 参数通过控制部80来设定。确定参数后，影像合成部514变化为状态INIT。在状态INIT下，影像合成部514进行初始化处理。影像合成部514 首先将处理对象像素的水平位置P o s—x以及处理对象像素的垂直位 置P o s_y设定为(pos一x， pos一y) = ( ， 0)。进而， 影像合成部514根据初始化后的坐标进行忙控制。忙控制与以下说明的一 样。进行以上的处理后，影像合成部514变化为状态OVERLAP。在状态OVERLAP下，影像合成部514根据像素(po —x， p o s—y)来决定输出到主影像输入控制部501的忙信号的值。即，在 像素(p o s—x， p o s_y)包括主影像的情况下，影像合成部514将忙信号的值决定为「Fa 1 s e」。在像素(p o s—x， p o s—y) 不包括主影像的情况下，影像合成处理部50将忙信号的值决定为「Tr u e」。在忙信号为T r u e时，主影像输入控制部501不将像素(p o s—x， P o s—y)的数据输出到影像合成处理部50。在忙信号为Fa 1 s e时，主影像输入控制部501将主影像的像素(p o s—x， p o s _y)的数据输出到影像合成处理部50。进而，影像合成部514根据像素(p o s—x， p o s—y)来决定 输出到滤波计算部507的忙信号的值。即，在像素(p o s—x， p o s —y)包括OSD影像的情况下，影像合成部514将忙信号的值决定为「F a Is e」。在像素(po s—x， po s—y)不包括OSD影像的情况 下，影像合成处理部50将忙信号的值决定为「Ti: u e」。在忙信号为T r u e时，滤波计算部507不将像素(p o s —x， p o s—y)的数据 输出到影像合成部514。在忙信号为Fa 1 s e时，滤波计算部507将OSD 影像的像素(p o s—x， p o s—y)的数据输出到影像合成部514。进而，影像合成部514将输出到影像输出控制部515的使能信号的值 决定为「Fa 1 s e」。在使能信号为Fa 1 s e时，影像输出控制部515 不输出合成影像的像素(P o s—x， p o s_y)的数据。结束以上的 处理后，影像合成部514变化为状态POST—OVERLAP,在输出 全部的数据结束后，返回到WAIT状态。在状态OVERLAP下，影像合成部514输出合成影像。详细情况 如下所述。图9是表示状态OVERLAP的详细情况的状态变化图。在状态 OO下，影像合成部514在坐标p o s—y满足p o s—y ^n的情况下， 即，在1个像素的处理完成的情况下，变化为状态POST—OVERL AP。影像合成部514在坐标p o s—y满足p o s—y 〈n的情况下， 变化为状态Ol。在状态Ol下，影像合成部514对于像素(p o s—x， p o s—y) 合成主影像和OSD影像，生成合成影像。在状态02下，影像合成部514将输出到影像输出控制部515的使能 信号设定为「T r u e」。在使能信号为T r u e时，影像输出控制部515输出合成影像的像素(p o s—x， p o s—y)的数据。在像素(p o s—x， p o s—y)既不包括主影像也不包括OSD影像时，像素(p os—x， p o s —y)的颜色为背景色。在状态03下，影像合成部514将坐标p o s—x更新为p o s—x =p o s—x + 1 。在坐标p o s—x满足p o s—x ^m的情况下，艮卩， l行的处理结束的情况下，影像合成部514变化为状态04。在坐标p o s —x满足p o s —x〈m的情况下，g卩， 一行的处理还没有结束的情况下， 影像合成部514变化为状态05。在状态04下，影像合成部514将坐标p o s—x和p o s —y更新 为posx:O和po s —y = p o s —y + 1 ，变化为状态05。在状态05下，影像合成部514根据像素(p o s—x， p o s—y) 来决定输出到主影像输入控制部501的忙信号的值。g卩，在像素(p o s _x， po s一y)包括主影像的情况下，影像合成部514将忙信号的值 决定为「Fa 1 s e」。在像素(p o s—x， p o s—y)不包括主影像 的情况下，影像合成部514将忙信号的值决定为「T r ii e」。在决定忙 信号的值后，影像合成部514变化为状态06。在状态06下，影像合成部514根据像素(p o s—x， p o s—y) 来决定输出到滤波计算部507的忙信号的值。在像素(p o s—x， p o s—y)包括OSD影像的情况下，影像合成部514将忙信号的值决定为 「Fa 1 s e」。在像素(p o s—x， p o s—y)不包括主影像的情况 下，影像合成部514将忙信号的值决定为「T r u e」。在决定忙信号的 值后，影像合成部514变化为状态O0即OVERLAP状态。再次参照图8进行说明。在状态POST—OVERLAP下，影像合成部514在输出数据数量小于合成影像的宽度W3和高度h3的积的情况下，即输出数据数量满足输出数据数量〈h 3xw3的情况下，变化为 状态WAIT。影像合成部514在输出数据数量大于等于合成影像的宽度w 3和高度h 3的积的情况下，即输出数据数量满足输出数据数量2 h 3 x w 3 的情况下，维持状态POST—OVERLAP。按照上述方式合成主影像和OSD影像。另外在上述的实施方式中， 为了使说明简化，而仅对合成主影像和OSD影像进行了说明，但也可以同样地进行主影像、副影像以及OSD影像这三个影像的合成。根据本实施方式，由于以像素为单位进行影像的合成，所以无须使用行缓冲器那样的大量的存储器便可进行合成。另外，影像合成处理部50虽然具有索引 存储部512，但其是用于滤波处理的存储器，并非用于影像的合成。另外， 由于以像素为单位进行处理，所以也能降低后级的处理的负荷。另外，由 于并非是对合成影像而是对OSD影像、即合成前的影像进行滤波处理， 所以能进行与各个影像的特性对应的滤波处理。如上所述，在影像输出装 置是投影仪的情况下，在后级需要梯形修正处理。由于OSD影像大多是 高频的影像，所以需要平滑(antialias)处理。由于在该情况下，根据本实 施方式也能与各个影像的特性对应的滤波处理，所以能进一步实现高画质 化。另外，由于OSD影像以索引/调色板形式存储，所以能以更少的数据 量进行存储。进而，由于影像合成处理部50具有水平滤波以及垂直滤波， 所以与仅具有水平滤波的结构相比，可更自由地使影像的画质变化。3.其他实施方式本发明并非限定于上述的实施方式，也可以有各种变形方式。下面， 对与实施方式相同的要素使用公共的参照符号。另外，也可以组合下面的变形量中两个以上的变形例。合成的影像的数量并非限定于3个。可以合成2个影像，也可以合成 3个以上的影像。另外，合成的影像中也可以不包括OSD影像。也可以合 成通常的影像。另外，OSD影像的数据形式也可以不是索引/调色板形式 而使RGB形式。另外，使用的色系并非限定于RGB色系。也可以使用 YUV系、CMYK色系、1^a+b色系等其他的色系。参数存储部504存储的参数并非限定于上述实施方式中说明的参数， 也可以使用除此之外的参数。另外，参数存储部504不需要存储实施方式 中说明过的所有参数。参数存储部504只要至少存储表示主影像以及OSD 影像的相对位置关系的参数即可。影像合成处理部50也可以不具有滤波系数控制部505、滤波系数存储 部506、滤波计算部507、调色板设定控制部509、调色板存储部510、以 及索引/调色板变换部513中的一部分或全部。例如在OSD影像不是索引/调色板形式而是RGB形式的情况下，OSD输入控制部511可以直接将OSD 影像的数据输出到影像合成部514。或者，即使OSD影像是索引/调色板 形式的情况下，影像合成处理部50也可以不具有滤波系数控制部505、滤 波系数存储部506和滤波计算部507。此时，索引/调色板变换部513监视 影像合成部514的状态，控制OSD影像的输入。影像合成处理部50也可以不具有索引存储部512。此时，影像合成处 理部50不具有滤波系数控制部505、滤波系数存储部506和滤波计算部 507。 OSD输入控制部511将OSD影像的数据逐个像素地输出到索引/调 色板变换部513。索引/调色板变换部513监视影像合成部514的状态，控 制OSD影像的输入。滤波计算部507也可以仅进行垂直滤波以及水平滤波中的任意一个处 理。另外，用于滤波处理的像素并非限定于与处理对象像素相邻的像素。 在滤波处理中也可以使用从处理对象系数开始在规定方向(例如垂直方向 或者水平方向)上的规定数量的像素。在上述的实施方式中，说明了仅对OSD影像进行滤波处理的例子。 但是，也可以对主影像或者副影像进行滤波处理。另外，并非限定于合成 前的影像，也可以对合成后的影像进行滤波处理。在调色板存储部510中，LUT也可以没有存储透明度a。或者，LUT 也可以存储与像素的显示有关的其他参数。影像输出装置1的构成并非限定于图1所示的构成。影像输出装置1 只要是具有合成输入的至少2个影像并输出合成后的影像的功能的装置， 也可以具有其他的构成。例如，也可以从其他装置经由网络来供给主影像、副影像以及OSD影像的全部或一部分。另外，也可以省略IP变换处理以 及梯形修正处理。或者，也可以进行除此之外的影像处理。在上述的实施方式中，对影像输出装置1是投影仪的例子进行了说明。 但是，影像输出装置1并非限定于投影仪。影像输出装置1除了投影仪外， 还可以是阴极射线管显示器、液晶显示器、等离子显示器等其他进行点显 示的显示器。
权利要求
1.一种影像合成装置，其中包括第一影像输入部，其输入第一影像；第二影像输入部，其输入第二影像；参数输入部，其输入参数，该参数表示对通过所述第一影像输入部输入的第一影像以及通过所述第二影像输入部输入的第二影像进行合成时的相对位置关系；影像合成部，其根据由所述参数输入部输入的参数，按每个像素合成所述第一影像以及所述第二影像，生成合成影像；和输出部，其输出通过所述影像合成部生成的合成影像。
2. 如权利要求1所述的影像合成装置，其特征在于， 具有对所述第二影像进行滤波处理的滤波处理部， 所述影像合成部对所述第一影像以及通过所述滤波处理部进行滤波处理后的第二影像进行合成。
3. 如权利要求1所述的影像合成装置，其特征在于， 所述第二影像以数据量少于所述第一影像的数据形式表示， 该影像合成装置还包括变换信息存储部，其存储用于将所述第二影像的数据形式变换为所述 第一影像的数据形式的变换信息；和变换部，其根据所述变换信息存储机构中存储的变换信息，将所述第 二影像的数据形式变换为与所述第一影像的数据形式相同的数据形式。
4. 如权利要求1所述的影像合成装置，其特征在于， 具有像素存储部，其存储至少5个像素的数据，该至少5个像素包括由所述第二影像输入部输入的影像中成为处理对象的处理对象像素、以及 在水平方向以及垂直方向上与所述处理对象像素相邻的相邻像素，所述滤波处理部利用所述存储部中存储的数据，在所述处理对象像素 的水平方向以及垂直方向这两个方向上进行滤波处理。
5. —种影像输出装置，其中包括第一影像存储部，其存储所述第一影像； 第二影像存储部，其存储所述第二影像；和 权利要求1 4中任一项所述的影像合成装置；所述影像合成装置对所述第一影像存储部中存储的第一影像和所述 第二影像存储部中存储的第二影像进行合成。
全文摘要
一种影像合成装置，其中包括第一影像输入部，其输入第一影像；第二影像输入部，其输入第二影像；参数输入部，其输入参数，该参数表示对通过第一影像输入部输入的第一影像以及通过所述第二影像输入部输入的第二影像进行合成时的相对位置关系；影像合成部，其根据由所述参数输入部输入的参数，按每个像素合成所述第一影像以及所述第二影像，生成合成影像；和输出部，其输出通过所述影像合成部生成的合成影像。这样，按照每个像素进行影像的合成。
文档编号G09G5/00GK101276574SQ20071018649
公开日2008年10月1日 申请日期2007年11月22日 优先权日2007年3月28日
发明者田村明彦 申请人:精工爱普生株式会社