图像处理装置及显示装置的制造方法

图像处理装置及显示装置的制造方法
【专利摘要】本发明提供图像处理装置及显示装置。图像处理装置执行图像的变形，将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐标，基于构成上述图像的像素的上述变形后图像上的坐标，将构成上述变形后图像的像素与构成上述图像的像素关联，输入构成变形对象图像的像素的像素数据，确定与基于所输入的上述像素数据而确定的构成上述图像的像素关联的构成上述变形后图像的像素，并输出所确定的上述像素在上述变形后图像中的像素位置和基于所输入的上述像素数据的像素值而决定的像素值作为输出像素的像素位置及像素值。
【专利说明】
图像处理装置及显示装置
技术领域
[0001 ]本发明涉及图像处理装置及显示装置。
【背景技术】
[0002] 已知有进行使在显示部显示的图像的形状变化的修正的装置（例如，参照专利文 献1)。专利文献1公开了进行几何修正的典型例子即梯形失真修正的投影机。
[0003] 在大多数情况下，若对图像进行梯形失真修正等使图像的形状变形的修正，则由 于像素的配置变化，所以根据修正前的图像的像素值，通过运算处理求出构成修正后的图 像的像素的像素值。在运算处理中例如利用基于构成图像的像素的像素值的插补处理。在 该插补处理中，需要参照图像的多个像素，另外，若施加放大、缩小、旋转等变换处理，则所 参照的像素的范围进一步扩展。因此，以往将存储图像的帧存储器设置在进行修正的处理 部的前级，处理部从帧存储器读入图像而进行插补处理。
[0004] 专利文献1:日本特开平11-331737号公报
[0005] 但是，在使图像的形状变形的修正中，若必须读入其像素值的像素的数量多，则存 在联结帧存储器与进行使形状变化的修正的处理部的总线的带宽负荷会增大的问题。

【发明内容】

[0006] 本发明是鉴于上述的情况而实现的，其目的在于提供能够抑制为了图像的变形而 参照的像素数而有效地进行图像的变形的图像处理装置及显示装置。
[0007] 为了实现上述目的，本发明的图像处理装置是执行图像的变形的图像处理装置， 其具备:变换部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后 图像上的坐标;关联部，其基于构成上述图像的像素的上述变形后图像上的坐标，将构成上 述变形后图像的像素与构成上述图像的像素关联；以及输出部，其被输入构成变形对象图 像的像素的像素数据，确定与基于所输入的上述像素数据而确定的构成上述图像的像素关 联的构成上述变形后图像的像素，并输出所确定的上述像素在上述变形后图像中的像素位 置和基于所输入的上述像素数据的像素值而决定的像素值作为输出像素的像素位置及像 素值。
[0008] 根据本发明，能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。
[0009] 另外，本发明特征在于，在上述图像处理装置中，上述输出部依次被输入构成上述 变形对象图像的像素的像素数据，按照上述像素数据的输入顺序，输出对应的上述输出像 素的像素位置及像素值。
[0010] 根据本发明，由于按照像素数据的输入顺序使输出像素输出，所以能够有效地进 行图像的变形。
[0011] 另外，本发明特征在于，在上述图像处理装置中，上述关联部选择由构成上述图像 的多个像素的上述变形后图像上的坐标包围的区域内的、在上述变形后图像上的坐标值为 整数的像素作为构成上述变形后图像的像素，并将上述多个像素之中上述变形后图像上的 坐标离所选择的构成上述变形后图像的像素最近的像素与所选择的构成上述变形后图像 的像素关联。
[0012] 根据本发明，能够容易地进行构成变形后图像的像素与构成图像的像素的关联。
[0013] 本发明的图像处理装置是执行图像的变形的图像处理装置，其具备:变换部，其将 构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐标;选择 部，其基于构成上述图像的像素的上述变形后图像上的坐标，选择构成上述变形后图像的 输出像素;关联部，其将上述输出像素的坐标与上述图像上的坐标关联；以及计算部，其基 于上述输出像素在上述图像上的坐标，计算上述输出像素的像素值。
[0014] 根据本发明，由于只要基于变形后图像上的坐标来参照构成图像的像素即可，所 以能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。
[0015] 另外，本发明特征在于，在上述图像处理装置中，上述选择部选择由构成上述图像 的多个像素的上述变形后图像上的坐标包围的区域内的、坐标值为整数的像素作为上述输 出像素。
[0016] 根据本发明，能够容易地进行输出像素与构成图像的像素的关联。
[0017] 另外，本发明特征在于，在上述图像处理装置中，上述变换部基于线性变换，将构 成上述图像的像素的坐标变换为上述变形后图像上的坐标。
[0018] 根据本发明，能够容易地将构成图像的像素的坐标变换为变形后图像上的坐标。
[0019] 另外，本发明特征在于，在上述图像处理装置中，上述关联部基于仿射变换，将上 述输出像素的坐标变换为上述图像上的坐标。
[0020] 根据本发明，能够容易地将输出像素的坐标变换为图像上的坐标。
[0021] 本发明的显示装置是进行图像的变形而显示于显示部的显示装置，其具备：变换 部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐 标;关联部，其基于构成上述图像的像素的上述变形后图像上的坐标，将构成上述变形后图 像的像素与构成上述图像的像素关联;输出部，其被输入构成变形对象图像的像素的像素 数据，确定与基于所输入的上述像素数据而确定的构成上述图像的像素关联的构成上述变 形后图像的像素，并输出所确定的上述像素在上述变形后图像中的像素位置和基于所输入 的上述像素数据的像素值而决定的像素值作为输出像素的像素位置及像素值；以及图像处 理部，其基于从上述输出部输入的上述输出像素的像素位置及像素值而生成上述变形后图 像，并显示于上述显示部。
[0022] 根据本发明，能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。 [0023]本发明的显示装置是进行图像的变形而显示于显示部的显示装置，其具备：变换 部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐 标;选择部，其基于构成上述图像的像素的上述变形后图像上的坐标，选择构成上述变形后 图像的输出像素;关联部，其将上述输出像素的坐标与上述图像上的坐标关联;计算部，其 基于上述输出像素在上述图像上的坐标，计算上述输出像素的像素值；以及图像处理部，其 基于上述输出像素的坐标和上述输出像素的像素值，构成上述变形后图像，并显示于上述 显示部。
[0024]根据本发明，由于只要基于变形后图像上的坐标来参照构成图像的像素即可，所 以能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。
[0025] 本发明的图像处理装置的控制方法是执行图像的变形的图像处理装置的控制方 法，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐 标，基于构成上述图像的像素的上述变形后图像上的坐标，将构成上述变形后图像的像素 与构成上述图像的像素关联，输入构成变形对象图像的像素的像素数据，确定与基于所输 入的上述像素数据而确定的构成上述图像的像素关联的构成上述变形后图像的像素，输出 所确定的上述像素在上述变形后图像中的像素位置和基于所输入的上述像素数据的像素 值而决定的像素值作为输出像素的像素位置及像素值。
[0026] 根据本发明，能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。 [0027]本发明的图像处理装置的控制方法是执行图像的变形的图像处理装置的控制方 法，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像上的坐 标，基于构成上述图像的像素的上述变形后图像上的坐标，选择构成上述变形后图像的输 出像素，将上述输出像素的坐标与上述图像上的坐标关联，基于上述输出像素在上述图像 上的坐标，计算上述输出像素的像素值。
[0028] 根据本发明，由于只要基于变形后图像上的坐标来参照构成图像的像素即可，所 以能够抑制为了图像的变形而参照的像素数，有效地进行图像的变形。
【附图说明】
[0029] 图1是第1实施方式的投影机的方框图。
[0030] 图2是第1实施方式的图像处理部的构成图。
[0031 ]图3是坐标变换信息的计算方法的说明图，（A)是表示修正前图像的图，（B)是表示 修正后图像的图。
[0032]图4是表示第1实施方式的几何修正部的处理步骤的流程图。
[0033]图5是几何修正处理的说明图，（A)是构成修正前图像的1块即块A的放大图，（B)是 修正后图像中的块A的放大图。
[0034]图6是几何修正处理的说明图，（A)是表示块A内的所选择的4像素的图，（B)是表示 所选择的4像素的几何修正后的像素位置的图。
[0035]图7是几何修正处理的说明图，（A)是表示修正后图像上的由4像素包围的输出像 素的图，（B)是表示将4像素及输出像素恢复到修正前的状态后的状态的图。
[0036]图8是插补处理的说明图。
[0037]图9是第2实施方式的图像处理部的构成图。
[0038]图10是表示第2实施方式的几何修正部的处理步骤的流程图。
[0039]符号的说明
[0040] l···投影机（显示装置），10…显示部，11···光源部，12···光调制装置，12a…像素区 域，13···投射光学系统，22···光源驱动部，23···光调制装置驱动部，25A，25B…图像处理部 (图像处理装置），26…几何补正部，27···帧存储器，29···处理部，30···控制部，31···投射控制 部，32···补正控制部，51···操作面板，52···遥控器受光部，53···输入处理部，54···存储部， 55…无线通信部，261…行缓冲器，262、310…传送地坐标表，263、320…坐标运算部，2631··· 第1变换部(变换部），2632…选择部，2633···第2变换部，2635···关联部，264…插补部(输出 部、计算部），265···过滤器表，321…变换部，322…关联部，330…输出部，SC···屏幕。
【具体实施方式】
[0041] 第1实施方式
[0042] 图1是第1实施方式的投影机1的方框图。
[0043]投影机1(图像处理装置)是与个人计算机和/或各种影像播放器等外部的图像供 给装置3连接、将基于从该图像供给装置3输入的输入图像数据D的图像投射于对象物体的 装置。作为图像供给装置3,举出视频再现装置、DVD(Digital Versatile Disk:数字视盘） 再现装置、电视调谐器装置、CATV(Cable television:有线电视)的机顶盒、视频游戏装置 等影像输出装置、个人计算机等。另外，对象物体既可以是建筑物和/或物体等不一样平的 物体，也可以是屏幕SC和/或建筑物的壁面等具有平坦的投射面的物体。在本实施方式中例 示向平面的屏幕SC投射的情况。
[0044]投影机1具备I/F(接口）部24，作为与图像供给装置3连接的接口。对I/F部24，例如 可以使用输入数字影像信号的DVI接口、USB接口、LAN接口等。另外，对I /F部24，例如可以使 用输入NTSC、PAL、SECAM等复合影像信号的S影像端子、输入复合影像信号的RCA端子、输入 分量影像信号的D端子等。进而，对于I/F部24,可以使用遵照HDMI(注册商标)标准的HDMI连 接器等通用接口。另外，I/F部24也可以形成为具有将模拟影像信号变换为数字图像数据的 A/D变换电路且通过VGA端子等模拟影像端子与图像供给装置3连接的结构。另外，I/F部24 既可以通过有线通信进行图像信号的发送接收，也可以通过无线通信进行图像信号的发送 接收。
[0045] 投影机1主要具备进行光学的图像的形成的显示部10和对由该显示部10显示的图 像进行电处理的图像处理系统。首先，说明显示部10。
[0046] 显示部10具备光源部11、光调制装置12及投射光学系统13。
[0047] 光源部11具备包括氙灯、超高压水银灯、LED(Light Emitting Diode:发光二极 管)等的光源。另外，光源部11也可以具备将光源发出的光引导至光调制装置12的反射器及 辅助反射器。另外，光源部11也可以具备用于提高投射光的光学特性的透镜组、偏振板或者 使光源发出的光的光量在到达光调制装置12的路径上降低的调光元件等(都未图示）。
[0048] 光调制装置12相当于基于图像数据对从光源部11射出的光进行调制的调制部。光 调制装置12形成为使用了液晶面板的构成。光调制装置12具备将多个像素以矩阵状配置而 成的透射型液晶面板，对光源发出的光进行调制。光调制装置12由光调制装置驱动部23驱 动，通过使以矩阵状配置的各像素中的光的透射率变化，来形成图像。
[0049] 投射光学系统13具备进行投射的图像的放大、缩小及焦点的调整的变焦透镜、进 行焦距的调整的焦距调整机构等。投射光学系统13使由光调制装置12进行了调制的图像光 向对象物体投射而成像。
[0050] 在显示部10,连接光源驱动部22及光调制装置驱动部23。
[0051] 光源驱动部22按照控制部30的控制，驱动光源部11所具备的光源。光调制装置驱 动部23按照控制部30的控制，根据从后述的图像处理部25A输入的图像信号来驱动光调制 装置12,在液晶面板描绘图像。
[0052]投影机1的图像处理系统以对投影机1进行控制的控制部30为中心而构成。投影机 1具备存储了控制部30处理的数据和/或控制部30执行的控制程序的存储部54。另外，投影 机1具备检测基于遥控器5进行的操作的遥控器受光部52,具备检测经由操作面板51及遥控 器受光部52进行的操作的输入处理部53。存储部54是闪速存储器、EEPROM等非易失性的存 储器。
[0053] 控制部30具备未图不的CPU(Central Processing Unit:中央处理单元）、R0M (Read Only Memory:只读存储器）、RAM(Random Access Memory:随机存取存储器)等而构 成。控制部30通过由CPU执行在ROM存储的基本控制程序及在存储部54存储的控制程序，来 控制投影机1。另外，控制部30通过执行存储部54存储的控制程序，来执行投射控制部31、修 正控制部32的功能。
[0054]在投影机1的主体，配置具备用户进行操作用的各种开关及指示灯的操作面板51。 操作面板51与输入处理部53连接。输入处理部53按照控制部30的控制，根据投影机1的工作 状态和/或设定状态，使操作面板51的指示灯适宜点亮或者闪烁。若操作面板51的开关被操 作，则与被操作的开关对应的操作信号从输入处理部53向控制部30输出。
[0055]另外，投影机1具有用户使用的遥控器5。遥控器5具备各种按钮，与这些按钮的操 作对应地发送红外线信号。在投影机1的主体，配置接受遥控器5发出的红外线信号的遥控 器受光部52。遥控器受光部52对从遥控器5接受的红外线信号进行解码，生成表示遥控器5 的操作内容的操作信号，并向控制部30输出。
[0056]图像处理部25A按照控制部30的控制取得输入图像数据D，并关于输入图像数据D 判定图像大小和/或分辨率、是静止图像还是运动图像、在是运动图像的情况下的帧频等属 性等。图像处理部25A按每帧在帧存储器27展开图像，对所展开的图像执行图像处理。图像 处理部25A将处理后的图像从帧存储器27读出而生成与该图像对应的R、G、B的图像信号，并 向光调制装置驱动部23输出。
[0057]图像处理部25A所执行的处理例如是分辨率变换处理、数字缩放处理、色调修正处 理、亮度修正处理、几何修正处理等。另外，图像处理部25A基于从I/F部24输入的输入图像 数据D，进行在帧存储器27描绘图像的描绘处理、从帧存储器27读出图像而生成图像信号的 生成处理等。另外，图像处理部25A当然也可以将上述的多个处理组合而执行。
[0058]另外，投影机1具备无线通信部55。无线通信部55具备未图示的天线和/SRF (Radio Frequency:射频）电路等，在控制部30的控制之下，在与外部的装置之间执行无线 通信。无线通信部55的无线通信方式可以采用例如无线LAN(Local Area Network:局域 网）、Bluetooth(注册商标）、UWB(Ultra Wide Band，超宽带）、红外线通信等近距离无线通 信方式或者利用了便携电话线路的无线通信方式。
[0059] 投射控制部31控制光源驱动部22、光调制装置驱动部23及图像处理部25A，使基于 输入图像数据D的图像投射于对象物体。
[0060]修正控制部32在例如输入处理部53检测到基于遥控器5和/或操作面板51进行的 几何修正处理的指示且表示几何修正处理的指示的操作数据被输入了的情况下，控制图像 处理部25A而使其执行几何修正处理。
[0061 ]图2是第1实施方式的图像处理部25A的构成图。图像处理部25A具备几何修正部 (图像变形部)26和处理部29。
[0062]几何修正部26对输入图像数据D进行几何修正处理，使修正后的图像数据存储于 帧存储器27。
[0063]处理部29从帧存储器27读出由几何修正部26处理后的图像，对该图像执行分辨率 变换、数字缩放、色调修正、亮度修正之中的任一种以上。
[0064] 几何修正部26具备行缓冲器261、传送地坐标表262、坐标运算部263、作为输出部 而工作的插补部264和过滤器表265。另外，坐标运算部263具备第1变换部(变换部）2631和 关联部2635。关联部2635具备选择部2632和第2变换部2633。
[0065] 行缓冲器261具备行缓冲器261A、行缓冲器261B、行缓冲器261C及行缓冲器261D。 各行缓冲器261A、261B、261C及261D存储水平方向的1行量的图像数据。即，本实施方式的行 缓冲器261存储水平方向的4线量的图像数据。以下，将从I/F部24输入并在行缓冲器261存 储的水平方向的多行量的图像数据表示为图像数据D1。
[0066]在图像数据Dl中，包含构成图像数据Dl的各像素的像素数据。在像素数据中，包含 表示各像素的像素位置的像素位置信息和各像素的像素值。
[0067] 在图2中，表示了具备4个行缓冲器261A、261B、261C及261D的行缓冲器261，但是行 缓冲器261的数量不限于4个，可以根据插补部264的插补处理所需的像素数而增减。
[0068]在传送地坐标表262中，登记坐标变换信息。坐标变换信息是关于实施几何修正处 理前的图像（以下，称为修正前图像)上的代表点，计算几何修正后的图像（以下，称为修正 后图像)上的坐标，将代表点的修正前图像上的坐标与修正后图像上的坐标关联的信息。 [0069]另外，以下，作为几何修正处理的一例，说明进行梯形失真修正的情况。另外，以下 将梯形失真修正简称为修正。
[0070] 坐标变换信息由投影机1的控制部30计算，登记在传送地坐标表262。
[0071] 图3是坐标变换信息的计算方法的说明图，图3(A)表示在光调制装置12所具备的 液晶面板的像素区域12a描绘的修正前图像P0,图3(B)表示在像素区域12a描绘的修正后图 像P1。
[0072]在本实施方式中，如图3(A)所示，将修正前图像PO分割为L像素 XL像素(L是任意 的自然数)的矩形的块，将分割后的各块的网格点设为前述的代表点。对分割后的各块的网 格点，计算修正后图像Pl上的坐标，将修正前图像PO上的坐标与修正后图像Pl上的坐标关 联而登记到传送地坐标表262。另外，将在修正前图像PO设定的正交坐标系设为X-Y坐标系， 将在修正后图像Pl设定的正交坐标系设为x-y坐标系。
[0073]例如，将图3(A)所示的修正前图像PO上的块的各网格点（X0，Y0)、（XI，Yl)、（X2， ￥2)、（乂3，￥3)的坐标与图3(8)所示的修正后图像？1上的块的各网格点（说，70)、&1， 71)、 (x2，y2)、（ x3，y3)的坐标分别关联。
[0074]传送地坐标表262存储的坐标变换信息不限于前述的信息。例如，作为确定修正后 图像Pl上的各块的网格点的位置的信息，也可以使用修正后图像Pl上的基准点的坐标和基 准点与网格点的距离。对基准点，例如可以使用各块的左上角的网格点和/或各块的中心 点。
[0075]在说明坐标运算部263之前，说明现有的插补处理。
[0076]在进行梯形失真修正等几何修正处理的情况下，一般，修正前图像PO与修正后图 像Pl不形成整数倍的对应关系。从而，无法将修正前图像PO上的像素的像素值直接用作修 正后图像Pl上的像素（以下称为输出像素)的像素值。因此，在现有的几何修正处理中，根据 输出像素的坐标(X，y)求出修正前图像PO上的坐标(Χ，γ)(在大多数情况下，坐标不是整 数），通过使用了该坐标(x，Y)的附近的多个像素的像素值的插补处理求出所求出的修正前 图像PO的坐标(x，Y)的像素值。所求出的修正前图像PO的坐标(x，Y)处的像素值与输出像素 (x，y)的像素值对应。在这样的处理方法的情况下，由于无规律地参照输入图像数据D的像 素值，所以将输入图像数据D暂时存储在帧存储器后进行几何修正处理。
[0077]例如，在使用纵横4抽头(Tap)的过滤器进行插补处理的情况下，对于输出像素1像 素，从帧存储器读入4X4的像素。另外，在同时处理4个输出像素的4相处理的情况下，同时 从帧存储器读入7X4像素而进行插补处理。进而，在进行将图像的横向缩小为1/2大小的几 何修正的情况下，同时读入的像素数进一步增加，同时从帧存储器读入10X4像素。进而，在 将图像产生的倾斜度的最大值设为45度且作为几何修正进行在横向缩小为1/2大小的几何 修正的情况下，从帧存储器同时读入IOX 10像素。因此，在现有的插补处理中，为了读入输 入图像数据D的多个像素的像素值，在几何修正部的前级设置存储1帧量的图像数据的帧存 储器，几何修正部从帧存储器读入图像数据。因此，存在连接存储图像数据的帧存储器与几 何修正部的总线的带宽负荷会增大的问题。
[0078]本实施方式的坐标运算部263根据行缓冲器261中存储的多行的图像数据Dl，计算 像素值的计算成为可能的修正后图像Pl上的输出像素的坐标。坐标运算部263将所计算的 输出像素的坐标变换为修正前图像PO上的坐标，通知给插补部264。插补部264基于从行缓 冲器261读入的像素的像素值计算从坐标运算部263通知的修正前图像PO上的坐标的像素 值。因此，本实施方式能够削减插补部264在插补处理中使用的像素数，从而降低连接行缓 冲器261与插补部264的总线的带宽负荷的增大。
[0079]说明构成坐标运算部263的各部分。第1变换部2631将构成修正前图像PO的像素的 坐标变换为修正后图像P1上的坐标。构成修正前图像PO的像素配置在修正前图像PO上的坐 标值为整数的位置，在修正前图像PO上的坐标值包含小数点的位置不存在像素。另外，在修 正后图像Pl上的"坐标"中，包括坐标值中包含小数点的情况。选择部2632基于构成修正前 图像PO的像素的修正后图像Pl上的坐标，选择构成修正后图像Pl的输出像素。第2变换部 2633计算选择部2632所选择的输出像素的修正前图像PO上的坐标。
[0080]以下，详细地说明第1变换部2631、选择部2632、第2变换部2633的处理。
[0081]图4是表示第1实施方式的几何修正部26的处理步骤的流程图。
[0082]首先，第1变换部2631参照传送地坐标表262,计算将修正前图像PO上的坐标(X，Y) 变换为修正后图像Pl上的坐标(X，y)的线性变换的变换式(步骤S1)。
[0083]图5是几何修正处理的说明图，图5(A)表示将构成修正前图像PO的1块即块A放大 了的放大图，图5(B)表示修正后图像Pl中的块A的放大图。通过修正，修正前图像PO上的块A 被修正为修正后图像Pl上的块A。另外，将L(L是任意的自然数)像素 XL像素的群集表示为 块。将图5(A)中所示的块A内的坐标(X，Y)变换为修正后图像Pl的坐标(x，y)的线性变换的 变换式为下述式(1)、（2)。
[0084] 【数学式1】
[0085]
[0086]
[0087] 为了简化式（I)、（2)，设xl，= xl_x0、x2，= x2_x0、x3，= x3_x0、yl，= yl_y0、y2 ' = y2_y0、y3, =y3_y0〇
[0088] 另外，坐标(X，Y)是以块A的左上角为原点的坐标。即，从修正前图像PO的原点（0， 0)到坐标(X，Y)的坐标可以将坐标(X，Y)加上从原点到块A的左上角的网格点的距离而求 出。修正后图像Pl上的坐标(x，y)是以修正后图像Pl的原点(〇,〇)为原点的坐标。
[0089]图6是几何修正处理的说明图，图6(A)表示图5(A)中所示的块A内的所选择的4像 素，图6(B)表示所选择的4像素的几何修正后的像素位置。
[0090] 接着，选择部2632在修正前图像PO中，选择块内的小区域的4像素（例如，2 X 2像 素），并根据上述的式(1)、（2)分别计算所选择的4像素的修正后图像Pl上的坐标(步骤S2)。 以下，将所选择的4像素称为像素 a、b、c、d。将修正前图像PO上的所选择的4像素 a、b、c、d示 于图6(A)。将所选择的4像素 a、b、c、d的修正后图像Pl上的位置示于图6(B)。另外，在图6 (B)，放大显示了4像素 a、b、c、d和位于其周围的坐标值由整数表示的像素（以下，称为整数 像素）。
[0091] 接着，选择部2632将修正后图像Pl上的处于由4像素 a、b、c、d包围的范围内的整数 像素确定为输出像素(步骤S3)。图6(B)中所示的由4像素 a、b、c、d包围的像素 F成为输出像 素 F。选择部2632在修正后图像Pl上的由4像素 a、b、c、d包围的范围内不存在输出像素 F的情 况下，再度选择4像素并反复从步骤S2开始的处理。
[0092]图7是几何修正处理的说明图，图7(A)是表示修正后图像Pl上的由4像素包围的输 出像素的图，图7(B)是表示将4像素及输出像素恢复为修正前的状态后的状态的图。
[0093]接着，第2变换部2633计算输出像素 F的修正前图像PO上的坐标(步骤S4)。将在步 骤52选择的4像素3、13、〇、(1的修正后图像？1上的坐标表示为3(1；^，7；^)、13(1；^，7；^)、〇 (xf2，yf2)、d(xf3，yf3)。另外，将在步骤S3确定的输出像素 F的坐标表示为(xi，yi)。
[0094]首先，第2变换部2633判定输出像素 F在4像素 a、b、c、d之中，是包含在由a(xf0， yfO)、c(xf2，yf2)、d(xf3，yf3)包围的三角形的范围内，还是包含在由a(xf0，yf0)、b(xfl， yfl)、d(xf3，yf3)包围的三角形的范围内。
[0095] 第2变换部2633在判定为输出像素 F包含在由a(XfO，yfO)、c(Xf2，yf2)、d(Xf3， yf3)包围的三角形的范围内的情况下，根据下式(3)、（4)计算输出像素 F(xi，yi)的修正前 图像PO上的坐标(XF，YF)。在图7(B)中，表示输出像素 F(xi，yi)的修正前图像PO上的坐标 (XF，YF)。式（3)及(4)是通过求出仿射变换的变换式并根据所求出的变换式将输出像素 F (xi，yi)变换为修正前图像PO的坐标(XF，YF)而求出的算式，所述仿射变换将4像素 a、b、c、d 的修正后图像Pl上的坐标恢复为修正前图像PO上的坐标。另外，式(3)及(4)中所示的M的值 是与像素间的距离对应的值，在设为上下左右相邻的2 X 2像素的坐标的情况下，M的值为1。
[0096] 【数学式2】
[0097] XF=M(yf2 · xi~xf2 · yi)/(xf3 · yf2~xf2 · yf3)---(3)
[0098] YF=M(xf3 · yi-yf3 · xi)/(xf3 · yf2~xf2 · yf3)---(4)
[0099] 另外，坐标运算部263在输出像素 F包含在由a(xf0，yf0)、b(xn，yfl)、d(xf3，yf3) 包围的三角形的范围内的情况下，求出根据下式(5)、（6)计算输出像素 F(xi，yi)的修正前 图像PO上的坐标(XF，YF)的变换式。式(5)及(6)是通过求出仿射变换的变换式并根据所求 出的变换式将输出像素 F(xi，yi)变换为修正前图像PO的坐标(XF，YF)而求出的算式，所述 仿射变换将4像素 a、b、c、d的修正后图像P1上的坐标恢复为修正前图像PO上的坐标。另外， 式(5)、（6)中所示的M的值是与像素间的距离对应的值，设为上下左右相邻的2X2像素的坐 标的情况下的M的值为1。
[0100]【数学式3】
[0101] XF=M(yf3 · xi~xf3 · yi)/(xfl · yf3~xf3 · yfl)---(5)
[0102] YF=M(xfl · yi-yfl · xi)/(xfl · yf3~xf3 · yfl)---(6)
[0103] 另外，在存在多个由4像素 a、b、c、d的修正后图像Pl上的坐标包围的输出像素的情 况下，坐标运算部263对各输出像素，计算修正前图像PO上的坐标(XF，YF)。
[0104] 另外，在本实施方式中，在计算输出像素 F的修正前图像PO上的坐标时，不使用线 性变换，而使用仿射变换。这是因为求出线性变换的变换式的逆函数的运算复杂，所以使用 仿射变换来计算输出像素 F的修正前图像PO上的坐标。
[0105] 接着，坐标运算部263判定是否以修正前图像PO所包含的全部4像素的组合实施了 上述步骤S2~S4的处理(步骤S5)。在否定判定的情况下（步骤S5/否），坐标运算部263返回 到步骤S2的处理，通过未选择的其他4像素的组合来实施步骤S2~S4的处理。
[0106] 在步骤S5的判定为肯定判定的情况下（步骤S5/是），坐标运算部263将输出像素 F 的坐标(XF，YF)通知给插补部264。坐标运算部263将所计算的修正前图像PO上的输出像素 F 的坐标(XF，YF)之中可以基于行缓冲器261中存储的图像数据Dl进行插补处理的输出像素 F 的坐标(XF，YF)通知给插补部264(步骤S6)。例如，在由插补部264进行的插补处理是基于4 抽头过滤器的插补处理的情况下，需要图像数据Dl的4X4像素。因此，坐标运算部263选择 周围的4X4像素的像素数据存储在行缓冲器261的输出像素 F，通知给插补部264。
[0107] 在过滤器表265中，登记插补部264在插补处理中使用的X轴方向、Y轴方向的过滤 器系数。过滤器系数是关于构成修正后图像Pl的输出像素之中无法确定修正前图像PO的对 应的一个像素的像素，通过插补处理求出像素值的系数。例如，在过滤器表265中，登记纵横 离散型的1维过滤器的过滤器系数。
[0108] 图8是插补处理的说明图，表示输出像素(XF，YF)和包围输出像素(XF，YF)的修正 前图像PO上的4个整数像素(0,0)、（0,1)、（1，0)、（I，1)。在将图8所示的X轴方向、Y轴方向各 自的整数像素间的距离设为32刻度的情况下，在X轴方向、Y轴方向都准备32个过滤器系数。 例如，在输出像素(XF，YF)的X轴方向的坐标值（图8所示的dX)为0.5的情况下，选择16/32的 过滤器系数。进而，在将插补过滤器的抽头数设为4的情况下，X轴方向的过滤器系数的总数 为32 X 4= 128个。关于Y轴方向，也在设为32刻度且将插补过滤器的抽头数设为4的情况下， 准备128个过滤器系数。
[0109] 插补部264通过插补处理计算从坐标运算部263通知的输出像素 F(XF，YF)的修正 前图像PO上的坐标处的像素值(步骤S7)。例如，在插补部264用于插补处理的插补过滤器的 抽头数为4的情况下，插补部264如图8所示将输出像素 F(XF，YF)的周围的4X4像素用于插 补处理。另外，插补部264基于输出像素 F(XF，YF)与例如该输出像素 F的左上方的整数像素 的距离(dX，dY)，选择插补过滤器的过滤器系数。插补部264进行所选择的像素的像素值与 所选择的插补过滤器的过滤器系数的卷积运算，计算输出像素 F(XF，YF)的像素值。插补部 264若计算出像素值，则使所计算的输出像素 F的像素值及像素位置(xi，yi)存储在帧存储 器27(步骤S8)。
[0110] 第2实施方式
[0111] 本实施方式将存在于由4像素 a、b、c、d的修正后图像Pl的坐标包围的范围内的、坐 标值为整数的整数像素确定为输出像素，之后选择4像素 a、b、c、d之中与输出像素的距离最 近的像素的像素值作为输出像素的像素值。
[0112] 图9是第2实施方式的图像处理部25B的构成图。
[0113] 本实施方式的几何修正部300具备传送地坐标表310、坐标运算部320和输出部 330。另外，坐标运算部320具备变换部321和关联部322。
[0114] 变换部321将修正前图像PO上的像素的坐标变换为修正后图像P1上的坐标。即，变 换部321进行与上述第1变换部2631相同的处理。
[0115] 关联部322基于修正前图像PO上的像素的修正后图像Pl上的坐标，将构成修正后 图像Pl的像素与构成修正前图像PO的像素关联。
[0116] 输出部330被输入图像数据D的像素数据，基于所输入的像素数据确定可以确定像 素值的修正后图像P1的像素的像素位置。
[0117] 图10是表示第2实施方式的几何修正部的处理步骤的流程图。参照图10所示的流 程图说明关联部322及输出部330的处理步骤。另外，由于图10所示的到步骤S13为止的处理 与图4所示的到步骤S3为止的处理相同，所以省略说明。
[0118] 关联部322将处于由4像素 a、b、c、d的修正后图像Pl上的坐标包围的范围内的整数 像素确定为输出像素(步骤S13)。接着，关联部322选择与所确定的输出像素关联的修正前 图像PO的像素（步骤S14)。关联部322从修正后图像Pl上的4像素 a、b、c、d中，选择与所确定 的输出像素距离最近的像素。以下，将由该关联部322选择的像素称为选择像素。关联部322 若选择了选择像素，则将选择像素与输出像素关联(步骤S15)。具体地，关联部322将选择像 素的修正前图像PO中的像素位置与输出像素的修正后图像Pl中的像素位置关联。关联的信 息通过关联部322保存在未图示的存储器。
[0119]接着，坐标运算部320判定是否以修正前图像PO中所包含的全部的4像素的组合实 施了步骤S12~S15的处理(步骤S16)。在否定判定的情况下(步骤S16/否），坐标运算部320 返回到步骤S12的处理，根据未选择的4像素的组合来实施步骤S12~S15的处理。
[0120] 在步骤S16的判定为肯定判定的情况下(步骤S16/是），输出部330依次被输入构成 图像数据D的各像素的像素数据。输出部330按照像素数据的输入顺序，求出对应的输出像 素的像素位置及像素值(步骤S17)。输出部330基于所输入的像素数据所包含的像素位置的 信息，选择同一像素位置的修正前图像PO的像素。输出部330若选择了修正前图像PO的像 素，则参照存储器，判定是否有与所选择的像素关联的修正后图像Pl的像素。输出部330在 没有与所选择的像素关联的修正后图像Pl的像素的情况下，结束对所输入的像素数据的处 理，开始对接着输入的像素数据的处理。另外，输出部330在有与所选择的像素关联的修正 后图像Pl的像素的情况下，将该修正后图像Pl的像素位置设为输出像素的像素位置。另外， 输出部330将所输入的像素数据的像素值设为输出像素的像素值。
[0121] 输出部330若求出输出像素的像素位置及像素值，则将求出的输出像素的像素位 置及像素值输出至帧存储器27,存储到帧存储器27(步骤S19)。输出部330依次被输入像素 数据，按照像素数据的输入顺序，向帧存储器27输出对应的输出像素的像素位置及像素值。 因此，在本实施方式中，在几何修正部300的前级无需设置帧存储器和/或行缓冲器，能够有 效地进行几何修正。
[0122] 如上所说明，应用了本发明的第1实施方式的图像处理部25A具备第1变换部(变换 部)2631、选择部2632、作为关联部的第2变换部2633、插补部(输出部)264。
[0123] 第1变换部2631将构成修正前图像PO的像素的坐标变换为对修正前图像PO进行了 几何修正的修正后图像P1上的坐标。
[0124] 选择部2632基于构成修正前图像PO的像素的修正后图像Pl上的坐标，选择构成修 正后图像Pl的输出像素。
[0125] 第2变换部2633将输出像素的坐标变换为修正前图像PO上的坐标。
[0126] 插补部264基于输出像素在图像上的坐标，计算输出像素的像素值。
[0127] 从而，由于只要基于修正后图像Pl上的坐标来参照构成图像的像素即可，所以能 够抑制为了几何修正而参照的像素数而进行有效的几何修正。
[0128] 另外，选择部2632选择由构成修正前图像PO的多个像素的修正后图像Pl上的坐标 包围的区域内的、坐标值为整数的像素，作为输出像素。从而，能够容易地进行输出像素与 构成图像的像素的关联。
[0129] 另外，第1变换部2631基于线性变换，将构成修正前图像PO的像素的坐标变换为修 正后图像Pl上的坐标。从而，能够容易地将构成修正前图像PO的像素的坐标变换为修正后 图像Pl上的坐标。
[0130] 另外，第2变换部2633基于仿射变换，将输出像素的坐标变换为修正前图像PO上的 坐标。从而，能够容易地将输出像素的坐标变换为图像上的坐标。
[0131] 应用了本发明的第2实施方式的图像处理部25B具备变换部321、关联部322和输出 部330。
[0132] 变换部321将构成修正前图像PO的像素的坐标变换为对修正前图像PO进行了几何 修正的修正后图像Pl上的坐标。
[0133] 关联部322基于构成修正前图像PO的像素的修正后图像Pl上的坐标，将构成修正 后图像Pl的像素与构成修正前图像PO的像素关联。
[0134] 输出部330被输入构成修正对象图像的像素的像素数据，确定与基于所输入的像 素数据而确定的构成修正前图像PO的像素关联的构成修正后图像Pl的像素。另外，输出部 330输出所确定的像素在修正后图像Pl中的像素位置和基于所输入的像素数据的像素值而 决定的像素值作为输出像素的像素位置及像素值。
[0135] 从而，能够抑制为了几何修正而参照的像素数而进行有效的几何修正。
[0136] 另外，输出部330依次被输入构成修正对象图像的像素的像素数据，按照像素数据 的输入顺序，输出对应的输出像素的像素位置及像素值。从而，由于按照像素数据的输入顺 序使输出像素输出，所以能够有效地进行几何修正。
[0137] 另外，关联部322选择由构成修正前图像PO的多个像素的修正后图像Pl上的坐标 包围的区域内的、修正后图像P1上的坐标值为整数的像素，作为构成修正后图像P1的像素。 然后，关联部322将多个像素之中修正后图像Pl上的坐标离所选择的构成修正后图像Pl的 像素最近的像素与所选择的构成修正后图像Pl的像素关联。从而，能够容易地进行构成修 正后图像Pl的像素与构成修正前图像PO的像素的关联。
[0138] 另外，上述各实施方式不过是应用了本发明的具体方式的例子，而并非要限定本 发明，也可以作为与上述实施方式不同的方式而应用本发明。在上述实施方式中，作为几何 修正的一例，表示说明了进行梯形失真修正(keystone修正)的例子，但是本发明不限于此， 也可以应用于进行桶形失真修正（筒形失真修正）的情况。另外，本发明也可以应用于使图 像变形为更复杂的形状的几何修正处理。
[0139]另外，在上述实施方式中，作为对光源发出的光进行调制的光调制装置12,举例说 明了使用了与RGB的各色对应的3块透射型的液晶面板的构成，但是本发明不限于此。例如， 既可以设为使用了 3块反射型液晶面板的构成，也可以使用将一块液晶面板与色环组合的 方式。或者，也可以通过使用了 3块数字微镜器件(DMD)的方式、将一块数字微镜器件与色环 组合的DMD方式等来构成。在仅使用一块液晶面板或DMD作为光调制装置的情况下，不需要 与交叉分色棱镜等合成光学系统相当的部件。另外，除了液晶面板及DMD以外，只要是可以 对光源发出的光进行调制的光调制装置，就没有问题，也可以采用。
[0140]另外，在上述实施方式中，作为搭载了图像处理装置的装置，表示了从屏幕SC的前 方投射的前投型的投影机1，但是本发明不限于此。例如，可以采用从屏幕SC的背面侧投射 的背投(背面投射)型的投影机作为显示装置。另外，可以使用液晶显示器、有机EUElect ro Luminescence，电致发光）显示器、等离子显示器、CRT(阴极射线管）显示器、SED(Surface-conduction Electron-emitter Display，表面传导电子发射显示器) 等作为显示装置。 [0141]另外，图1、图2及图9所示的各功能部表示了功能性结构，具体的安装方式没有特 别限制。即，不必一定安装与各功能部个别地对应的硬件，当然也可以采用通过由一个处理 器执行程序来实现多个功能部的功能的构成。另外，既可以将在上述实施方式中由软件实 现的功能的一部分用硬件实现，或者，也可以将由硬件实现的功能的一部分用软件实现。此 外，关于投影机1的其他各部分的具体的细节构成，也可以在不脱离本发明的主旨的范围任 意地改变。
【主权项】
1. 一种图像处理装置，其特征在于，执行图像的变形，具备： 变换部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像 上的坐标； 关联部，其基于构成上述图像的像素的上述变形后图像上的坐标，将构成上述变形后 图像的像素与构成上述图像的像素关联;以及 输出部，其被输入构成变形对象图像的像素的像素数据，确定与基于所输入的上述像 素数据而确定的构成上述图像的像素关联的构成上述变形后图像的像素，并输出所确定的 上述像素在上述变形后图像中的像素位置和基于所输入的上述像素数据的像素值而决定 的像素值作为输出像素的像素位置及像素值。2. 如权利要求1所述的图像处理装置，其特征在于， 上述输出部依次被输入构成上述变形对象图像的像素的像素数据，按照上述像素数据 的输入顺序，输出对应的上述输出像素的像素位置及像素值。3. 如权利要求1所述的图像处理装置，其特征在于， 上述关联部选择由构成上述图像的多个像素的上述变形后图像上的坐标包围的区域 内的、在上述变形后图像上的坐标值为整数的像素作为构成上述变形后图像的像素，并将 上述多个像素之中上述变形后图像上的坐标离所选择的构成上述变形后图像的像素最近 的像素与所选择的构成上述变形后图像的像素关联。4. 一种图像处理装置，其特征在于，执行图像的变形，具备： 变换部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像 上的坐标； 选择部，其基于构成上述图像的像素的上述变形后图像上的坐标，选择构成上述变形 后图像的输出像素； 关联部，其将上述输出像素的坐标与上述图像上的坐标关联；以及 计算部，其基于上述输出像素在上述图像上的坐标，计算上述输出像素的像素值。5. 如权利要求4所述的图像处理装置，其特征在于， 上述选择部选择由构成上述图像的多个像素的上述变形后图像上的坐标包围的区域 内的、坐标值为整数的像素作为上述输出像素。6. 如权利要求4所述的图像处理装置，其特征在于， 上述变换部基于线性变换，将构成上述图像的像素的坐标变换为上述变形后图像上的 坐标。7. 如权利要求4所述的图像处理装置，其特征在于， 上述关联部基于仿射变换，将上述输出像素的坐标变换为上述图像上的坐标。8. -种显示装置，其特征在于，进行图像的变形而显示于显示部，具备： 变换部，其将构成上述图像的像素的坐标变换为对上述图像进行了变形的变形后图像 上的坐标； 关联部，其基于构成上述图像的像素的上述变形后图像上的坐标，将构成上述变形后 图像的像素与构成上述图像的像素关联； 输出部，其被输入构成变形对象图像的像素的像素数据，确定与基于所输入的上述像 素数据而确定的构成上述图像的像素关联的构成上述变形后图像的像素，并输出所确定的 上述像素在上述变形后图像中的像素位置和基于所输入的上述像素数据的像素值而决定 的像素值作为输出像素的像素位置及像素值;以及 图像处理部，其基于从上述输出部输入的上述输出像素的像素位置及像素值而生成上 述变形后图像，并显示于上述显示部。
【文档编号】G06T3/20GK105938614SQ201610103832
【公开日】2016年9月14日
【申请日】2016年2月26日
【发明人】西乡学, 古井志纪
【申请人】精工爱普生株式会社