专利名称：投影仪、投影变换处理装置及投影仪中的图像处理方法
技术领域：
本发明涉及将图像显示在被投影面的投影仪。
背景技术：
在用投影仪将矩形的图像(下面也称原图像)显示在屏幕等投影面时，根据投影仪与投影面之间的相对位置关系，存在显示在投影面的图像(下面也称投影图像)会变形为梯形、平行四边形、其他四边形等情况。包括这样的梯形变形以外的投影变形，在本说明书中均被称为“梯形变形”。这样，当在投影图像中发生了梯形变形时，使用一种利用投影变换方法进行校正的梯形校正的技术，以使投影图像显示为矩形。专利文献1 日本特开2002-278507号公报、专利文献2 日本特开2003-29714号公报。在利用液晶面板生成用于显示图像的图像光的投影仪中，在校正梯形变形时，在液晶面板上生成相对投影面上的投影图像向相反方向变形的图像(下面称为校正后图像)。校正后图像的像素值通过根据原图像的像素值进行像素插补而求出。在计算校正后图像的1像素的像素值时，例如，计算相当于校正后图像的像素的原图像的坐标，并使用其周围16个像素进行像素插补。即，在梯形变形校正处理中要进行大量的处理，因此期望该处理的高速化。
发明内容
本发明是为了解决上述问题的至少一部分而提出的，可以以下面的方式或适用例来实现。(适用例1)一种投影仪，将图像投影在被投影面上来进行显示，具有帧图像存储部，其存储被输入到所述投影仪的输入图像数据；块图像存储部，其比所述帧图像存储部容量小但高速，并且以包含MXN(M，N ^ 2) 个像素的块图像数据为单位，存储所述输入图像数据的一部分；校正处理部，其根据被存储在所述块图像存储部中的所述块图像数据，进行校正校正处理，以校正被投影在所述被投影面上的图像的变形，并生成作为校正后的图像数据的校正后图像数据；块图像预测部，其在所述校正处理部对规定像素进行校正处理时，对之后进行处理的像素的所述校正处理中所使用的所述块图像数据进行预测，在被预测出的块图像数据未被存储在所述块图像存储部中的情况下，从所述帧图像存储部中读出所述被预测出的块图像数据，并将其存储在所述块图像存储部中。根据该构成，由于具有块图像预测部所以预先在块图像存储部中存储有像素插补所需的块图像，可以缩短进行像素插补时重新读出所需的块图像并使其存储的时间，从而可以实现梯形变形校正处理的高速化。此外，根据本实施例，由于使用标签信息，从而可以容易地进行块图像数据的预测。并且，根据本实施例，可以使χ坐标的检索简化，并且可以使块图像数据的预测高速化。此外，根据本实施例，即使进行块图像数据的预测，也可以在图像插补时所需的块图像数据未被存储在块图像存储部中的情况下，使所需的块图像数据存储在块图像存储部中。并且，根据本实施例，通过使用标签信息，可以容易地进行判定。另外，本发明可以以多种方式来实现。例如，可以使用投影变换处理装置、投影变换处理方法等方式来实现。
图1是示意地表示梯形变形校正的说明图。图2是示意地表示校正后图像数据的生成方法的说明图。图3是示意地表示像素插补的方法的图。图4是简略地表示作为本发明的一实施例的投影仪的构成的框图。图5是表示梯形校正部120的构成的功能框图。图6是示意性地表示校正后图像数据生成处理的流程的步骤图。图7是表示校正后图像的1像素的像素值的计算中的各处理的时序的时序图。图8是示意性地表示帧缓存器150与高速缓存块存储部122的关系的图。图9是示意地表示高速缓存块存储部122与高速缓存块用标签信息存储部123的关系的图。图10是表示高速缓存块与插补块间的关系的图。图11是示意地表示先读请求发行部132中的先读判定的图。图12是表示通过先读而存储在高速缓存块存储部122中的高速缓存块的变化的图。图13是表示存储在高速缓存块存储部122中的高速缓存块的一个例子的说明图。图14是表示使用了标签信息的命中判定的例子的说明图。图15是示意地表示命中判定处理的步骤的步骤图。图16是示意地表示命中判定处理的步骤的步骤图。图中符号说明100…投影仪；102…高速总线；104…低速总线；110…图像输入部；112…IP变换部；114…分辨率变换部；116…图像合成部；120…梯形变形校正部；121…高速缓存块控制部；122…高速缓存块存储部；123…高速缓存块用标签信息存储部；IM…插补块读出部； 125…像素插补部；126...FIFO部；127…寄存器部；1 …控制部；1 …坐标变换部；130... 滤波系数计算部；131…命中判定部；132…先读请求发行部；140…液晶面板驱动部；15(l··· 帧缓存器；152…照明光学系统；160…高速总线控制部；162…低速总线控制部；170…处理器部；180…摄像部；182…传感器部；190…照明光学系统；192…液晶面板部；194…投影光学系统。
具体实施例方式下面，根据实施例并按照下面的顺序对本发明的实施方式进行说明。A.实施例A-1.梯形变形校正A-2.投影仪的构成A-3.梯形变形校正部A-4.先读判定A-5.命中判定A-6.实施例的效果B.变形例A.实施例A-1.梯形变形校正作为本发明的一实施例的投影仪100投射用于显示图像的图像光，并使图像显示在屏幕SC等被投影面上。投影仪100在被输入了矩形的图像时，通过对显示在屏幕SC上的图像的梯形变形进行校正，能够显示矩形的图像。在对投影仪100的构成进行说明之前， 对本实施例的投影仪100中的梯形变形校正进行简单的说明。图1是示意地表示梯形变形校正的说明图。如图所示，在投影仪100相对于屏幕 SC在水平方向(左右方向)以及垂直方向(上下方向)分别倾斜地进行配置的情况下，与在液晶面板部192显示的图像(校正前图像IG0)为矩形的情况相对，投影到屏幕SC的图像PIGO分别在水平方向及垂直方向产生梯形变形。并且，在图1中，为了便于说明，将包含在投影仪100内的液晶面板192拿到投影仪100外来表示。因此，若使用投影变换的方法，使相对于被投影在屏幕SC上的图像向相反方向变形后的图像(校正后图像IGl)形成在液晶面板192上，则矩形的图像PIGI被显示在屏幕 SC上(图1)。这样，将使发生了梯形变形的图像看起来为矩形(原本应该显示的图像的形状)的校正称之为梯形变形校正。本实施方式中的梯形变形校正处理相当于权利要求书中的校正处理。图2是示意地表示校正后图像数据的生成方法的说明图。图2(a)表示校正前图像IG0，图2(b)表示校正后图像IG1。图2(b)中的虚线表示校正前图像IGO的外形。由于校正前图像IGO被实施处理，使其在液晶面板部192的框内全屏显示，所以图2(b)中的虚线即表示是液晶面板部192的框。在本实施方式中，校正前图像IG0、校正后图像IGl的坐标是指校正前图像IG0、校正后图像IGl被显示在液晶面板部192中的情况下的像素坐标。下面，将校正后图像IGl 被显示时的液晶面板部192的像素坐标称为校正后坐标。并且，液晶面板部192的像素坐标中、未显示校正后图像IGl的区域的像素坐标也称为校正后坐标。通过逆投影变换将校正后坐标变换为校正前图像IGO中的坐标位置(液晶面板的像素坐标)的坐标称为校正前坐标。基于图2对表示校正后图像IGl的校正后图像数据的生成方法的概要进行说明。 为了生成校正后图像数据，基于校正前图像IGO的像素值求出构成校正后图像IGl的全部的像素坐标的像素值(R、G、B的各值)。例如，对求出图2所示的校正后图像IGl的正中的
6正方形所包围的坐标Pl (X、Y)的像素值的方法进行说明。首先，将欲求出像素值的校正后坐标Pl (X，Y)变换为校正前坐标PO (X，y)。由于校正前图像IGO和校正后图像IGl不成整数倍的对应关系，所以计算出的校正前坐标PO (X， y)含有小数。因此，为了求出校正后坐标Pl (X，Y)的像素值，使用校正前坐标PO (χ，y)的附近的16个坐标的像素值来推算校正前坐标PO (X，y)的像素值。将其称为像素插补。从而，基于变换后的校正前坐标PO (X，y)，读取出邻近的16个像素(下面称为“插补块”)并使用滤波系数进行像素插补。由此，求出校正后图像IGl的坐标Pl (X，Y)的像素值。S卩，表示校正后图像IGl的校正后图像数据是通过对构成校正后图像IGl的全部的像素(坐标) 的像素值，按照每1像素进行上述的像素插补而生成的。图3是示意地表示图像插补的方法的图。在图3中，例示了通过图像插补求出对上述的校正后坐标Pl (X，Y)进行变换得到校正前坐标PO (x，y)的像素值的方法。图中，将校正前坐标P0(x，y)使用带阴影的圆形标志来表示，将其周边16个坐标用白色圆形标志表示。由于校正前坐标PO (x，y)的像素值通过像素插补求得，所以将校正前坐标P0(x，y)的像素值称为“插补像素”，由于其周边16个坐标的像素值为校正前图像数据，是已知的，所以称为“已知像素”。在图3中，将作为已知像素的16个像素的像素值表示为DATA[m] [η] (m = 0，1,2, 3(x方向)；11 = 0，1，2，3(7方向))。校正像素是通过该16个像素的像素值与滤波系数的卷积运算而求得的。滤波系数是考虑到插补像素与已知像素的距离(例如，DATA[1][1]的已知像素与插补像素的距离在χ方向为dx，在y方向为dy)的影响的系数，是按照已知像素而规定的。在图3中，滤波系数表示为C0EF[m] [n] (m = 0，l，2，3(x方向);n = 0，l，2，3(y 方向)。并且，在本实施方式中，虽然使用了 2维滤波系数，还可以将滤波系数分解为1维。A-2.投影仪的构成图4是概略地表示作为本发明的一实施例的投影仪的构成的框图。如图示所示， 投影仪100以图像输入部110、IP变换部112、分辨率变换部114、图像合成部116、梯形变形校正部120、液晶面板驱动部140、帧缓存器150、高速总线控制部160、低速总线控制部162、 处理器部170、摄像部180、传感器部182、照明光学系统190、液晶面板部192、投影光学系统 194为中心构成。上述构成要素中除照明光学系统190、液晶面板部192、投影光学系统194 以外的各个构成要素通过高速总线102或者低速总线104相互连接。映像输入部110对从未图示的DVD播放器或个人计算机等经由电缆输入的输入图像信号，根据需要进行A/D变换，将数字图像信号供给到IP变换部112。IP变换部112对从图像输入部110供给的图像数据的格式进行处理，以将隔行扫描变换为逐行扫描，并将得到的图像数据发送到分辨率变换部114。分辨率变换部114对从IP变换部112供给的图像数据实施尺寸放大处理或者缩小处理(即，分辨率变换处理)，并将得到的图像数据供给到图像合成部116。图像合成部116将从分辨率变换部114供给的图像数据与菜单画面等0SD(0n Screen Display)合成，并作为校正前图像数据写入帧缓存器150。帧缓存器150可以存储1帧或多帧的数据。在本实施例中，使用廉价且大容量的 DRAM (Dynamic Random Access Memory 动态随机访问存储器)作为帧缓存器150。本实施例中的帧缓存器150相当于权利要求书中的帧图像存储部。
梯形变形校正部120对以投影仪100的投影轴相对屏幕SC倾斜后的状态投影时产生的梯形变形进行校正。具体而言，为了使存储在帧缓存器150中的校正前图像数据所表示的校正前图像以校正了梯形变形的形状显示在液晶面板部192，对校正前图像数据实施校正处理，并作为校正后图像数据供给到液晶面板驱动部140。关于梯形变形校正部120 将在下面进行说明。液晶面板驱动部140根据经梯形变形校正部120输入的数字图像信号来驱动液晶面板部192。液晶面板部192由将多个像素配置成矩阵形的透射型液晶面板构成。液晶面板部192被液晶面板驱动部140驱动，使矩阵形配置的各个像素的光透射率变化，从而形成用于将从照明光学系统152照射的照明光调制成表现图像的有效图像光的图像。在本实施例中，液晶面板部192的模式为WUXGA，分辨率为1920 X 1200像素点。在本实施例中，将液晶面板像素坐标规定为χ = 0 1919，y = 0 1199。并且，液晶面板部192还可以使用分辨率与本实施例不同的面板。照明光学系统152具有例如高压水银等、超高压水银灯等灯类或其他发光体。投影光学系统194被安装在投影仪100的框体的前面，其将被液晶面板部192调制成图像光后的光放大并投影到屏幕SC上。投影光学系统194具有变焦镜头，可以改变透过液晶面板部192的光被投影时的放大程度(变焦状态)。本实施例中的液晶驱动部140、液晶面板部 192、照明光学系统190、投影光学系统194相当于权利要求书中的图像光输出部。处理器部170通过读取并执行存储在存储部(未图示)控制程序，对投影仪100 内的各部的动作进行控制。并且，根据由摄像部180拍摄的摄影图像和由传感器部182检测出的投影仪100的倾斜度、以及来自用户的指示，计算下述的校正后坐标(X0 X3，YO Y3)(参照图2)、和坐标变换矩阵的变换系数(将在后面详述)，并输出到梯形变形校正部 120。并且，在本实施例中，处理器部170被构成为通过设置在投影仪100主体上的操作面板(未图示)接收来自用户的指示，但还可以是例如遥控器控制部通过遥控器接收来自用户的指示，处理器部170通过低速总线104接收来自用户的指示的构成。摄像部180具有CXD照相机，其生成摄影图像。由摄像部180生成的摄影图像被存储在未图示的摄影图像存储器内。此外，摄像部180还可以具有代替CCD照相机的其他摄像器件。传感器部182可以通过检测与投影仪100的垂直方向的倾斜度，检测出摄像部180 的CCD光轴与水平面的倾斜角度。A-3.梯形变形校正部梯形变形校正部120如上述那样，将存储在帧缓存器150中的校正前图像数据所表示的校正前图像生成校正后图像数据，该校正后图像数据被校正成补偿了梯形变形后的形状。图5是表示梯形变形校正部120的构成的功能框图，以高速缓存块控制部121、高速缓存块存储部122、高速缓存用标签信息存储部123、插补块读出部124、像素插补部125、 FIFO部126、寄存器部127、控制部128、坐标变换部129、滤波系数计算部130、命中判定部 131、先读请求发行部132为中心构成。高速缓存块控制部121以由8X8像素构成的高速缓存块为单位取得存储在帧缓存器150中的校正前图像数据，将其存储到高速缓存块存储部122中。并且，高速缓存块控制部121对存储在高速缓存用标签信息存储部123中的信息进行更新。高速缓存块控制部121取得的高速缓存块如下述那样通过命中判定部131或者先读请求发行部132而被指定。高速缓存块存储部122可以将存储在帧缓存器150中的1帧的校正前图像数据的一部分的数据以由8X8像素构成的高速缓存块为单位存储。高速缓存块存储部122具有多个可以存储1个高速缓存块(由8X8像素构成的图像数据)的块区域。在本实施方式中，如下述那样，高速缓存块存储部122具有240列X4行的块区域。在本实施方式中，高速缓存块存储部122由小容量但高速的SRAM (Static Random Access Memory 静态随机存取存储器)构成。在本实施方式中高速缓存块存储部122相当于权利要求书中的块图像存储部。高速缓存用标签信息存储部123存储作为以块区域为单位对高速缓存块存储部 122进行管理时的管理信息的标签信息。在本实施例中的高速缓存用标签信息存储部123 相当于权利要求书中的标签信息。插补块读出部IM从高速缓存块存储部122中读取出像素插补部125的像素插补所需要的由4X4像素构成的插补块，并将其发到像素插补部125。像素插补部125基于从插补块读出部IM供给的插补块、和从滤波系数计算部130 供给的滤波系数，执行像素插补处理，并求出插补像素(校正后图像的像素)的值，通过 FIFO部126向液晶面板驱动部140(图4)输出。寄存器部127存储从处理器部170供给的参数。具体而言，在寄存器部127中，存储有校正前图像的1帧的帧宽度、帧高度、坐标变换矩阵的变换系数A H等参数。变换系数A H在处理器部170中使用下面的投影变换的矩阵(式1)计算出来。具体而言，处理器部170作为校正前坐标(xO x3，y0 y3)(参照图2)通过投影变换，被变换成校正后坐标(X0 X3，YO Y3)(参照图2)的机构，将该校正后图像IGl的4个坐标(X0 X3， YO Y3)输入到矩阵中(式1)导出系数A H。[数1]
权利要求
1.一种投影仪，其特征在于，将图像投影在被投影面上来进行显示，具有帧图像存储部，其存储被输入到所述投影仪中的输入图像数据；块图像存储部，其与所述帧图像存储部相比容量小但高速，并且以包含MXN个像素的块图像数据为单位存储所述输入图像数据的一部分，其中，M和N大于等于2 ；校正处理部，其根据被存储在所述块图像存储部中的所述块图像数据进行校正处理， 以校正被投影在所述被投影面上的图像的变形，并生成作为校正后的图像数据的校正后图像数据；块图像预测部，其在所述校正处理部对规定像素进行校正处理时，对随后被进行处理的像素的所述校正处理中所使用的所述块图像数据进行预测，在被预测出的块图像数据未被存储在所述块图像存储部中的情况下，从所述帧图像存储部中读出所述被预测出的块图像数据，并使其存储在所述块图像存储部中。
2.根据权利要求1所述的投影仪，其特征在于，还具有存储标签信息的标签信息存储部，该标签信息是与在所述块图像存储部中存储 1个所述块图像数据的块区域相关的信息，并包括表示χ坐标和y坐标中至少任意一方的坐标信息，该χ坐标是被存储在所述块区域中的所述输入图像数据的所述行方向的坐标，该y 坐标是被存储在所述块区域中的所述输入图像数据的所述像素方向的坐标，所述块图像预测部根据被存储在所述标签信息存储部中的所述标签信息和所述校正处理的处理方向进行所述块图像数据的预测。
3.根据权利要求2所述的投影仪，其特征在于，所述标签信息存储部将被存储在所述块图像存储部中的全部块图像数据所对应的标签信息按照所述输入图像数据的所述χ坐标的顺序进行存储。
4.根据权利要求1至3中任意一项所述的投影仪，其特征在于，还具有判定部，该判定部在所述校正处理部对规定像素进行校正处理时，判定该像素的校正处理中所使用的所述块图像数据是否被存储在所述块图像存储部中，在该块图像数据未被存储在所述块图像存储部中的情况下，从所述帧图像存储部中读出该块图像数据，并使其存储在所述块图像存储部中。
5.根据权利要求4所述的投影仪，其特征在于，所述判定部使用被存储在所述标签信息存储部中的所述标签信息来进行所述判定。
6.一种投影变换处理装置，其特征在于，使用投影变换的变换方法对被输入的输入图像数据进行变换处理，具有帧图像存储部，其存储所述输入图像数据；块图像存储部，其与所述帧图像存储部相比容量小但高速，并且以包含MXN个像素的块图像数据为单位存储所述输入图像数据的一部分，其中，M和N大于等于2 ；变换处理部，其根据被存储在所述块图像存储部中的所述块图像数据来进行所述变换处理，并生成表示所述变换处理后的图像的变换后图像数据；块图像预测部，其在所述变换处理部对规定像素进行变换处理时，对随后进行处理的像素的所述变换处理中所使用的所述块图像数据进行预测，在被预测出的块图像数据未被存储在所述块图像存储部中的情况下，从所述帧图像存储部中读出所述被预测出的块图像数据，并使其存储在所述块图像存储部中。
7. 一种图像处理方法，其特征在于，是将图像投影在被投影面上来进行显示的投影仪中的图像处理方法，该图像处理方法执行以下处理将被输入到所述投影仪中的输入图像数据存储在帧存储部中； 在与所述帧图像存储部相比容量小但高速的存储部即块图像存储部中，以包含MXN 个像素的块图像数据为单位存储所述输入图像数据的一部分，其中，M和N大于等于2 ；根据被存储在所述块图像存储部中的所述块图像数据进行校正处理，以校正被投影在所述被投影面上的图像的变形，并生成作为校正后的图像数据的校正后图像数据；当对规定像素进行所述校正处理时，对随后进行处理的像素的所述校正处理中所使用的所述块图像数据进行预测；当被预测出的块图像数据未被存储在所述块图像存储部中时，从所述帧图像存储部中读出所述被预测出的块图像数据，并使其存储在所述块图像存储部中。
全文摘要
本发明涉及投影仪、投影变换处理装置及投影仪中的图像处理方法。该投影仪具有帧图像存储部，其存储被输入到投影仪中的输入图像数据；块图像存储部，其以包含M×N(M，N≥2)个像素的块图像数据为单位，存储所述输入图像数据的一部分；校正处理部，其根据被存储在块图像存储部中的块图像数据进行校正处理，以校正被投影在被投影面上的图像的变形，并生成作为校正后的图像数据的校正后图像数据；块图像预测部，其在校正处理部对规定像素进行校正处理时，对随后被进行处理的像素的校正处理中所使用的块图像数据进行预测。
文档编号H04N5/74GK102196223SQ20111005793
公开日2011年9月21日 申请日期2011年3月4日 优先权日2010年3月5日
发明者江口诚, 田村明彦, 进藤贵志 申请人:精工爱普生株式会社