图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法
【专利摘要】图像处理装置包括成像单元，配置为拍摄包括对象的区域的图像并且获取图像数据，其中在所述对象上投影图像；距离测量单元，配置为基于图像数据计算与对象和成像单元之间的距离有关的距离数据；平面估计单元，配置为基于距离数据估计与对象对应的平面；以及校正信息计算单元，配置为基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信息。
【专利说明】图像处理装置、包括图像处理装置的投影仪和投影仪系统、图像处理方法
【技术领域】
[0001]本发明涉及图像处理装置、包括该图像处理装置的投影仪和投影仪系统以及图像处理方法。
【背景技术】
[0002]投影仪是将图像投影到诸如屏幕之类的对象的设备。当投影图像时，投影后的图像可能取决于投影仪和对象的倾斜角度变得失真为梯形形状。为了解决投影后的图像的梯形失真，存在配备有用于预先校正(变形)要投影的图像的图像处理装置的投影仪。
[0003]存在用于基于投影仪和对象之间的距离以及投影仪和对象的倾斜角度校正要投影的图像的图像处理装置。
[0004]专利文献I公开这样的技术，该技术将形成预定图案的多个对象点投影在投影对象的表面上，并且基于到对象点的距离检测投影对象和背景(投影对象的轮廓)之间的边界，并且校正投影图像(要投影的图像)以与边界对应。
[0005]当利用投影仪投影图像时，在很多情形下，图像在预定时间段内连续被投影。如果在投影图像的同时移动对象或者投影仪，则投影仪再次测量距离和倾斜角度以校正投影后的图像。
[0006]利用专利文献I中公开的技术，可以基于到对象的距离执行投影后的图像的梯形校正。然而，为了测量距离，存在这样的情形，在该情形中，有必要中断投影仪对图像的投影，并且再次投影预定图案。
[0007]专利文献1:日本特开专利公开第2005-229415。
【发明内容】
[0008]鉴于上述问题，已经做出了本发明，并且本发明的至少一个实施例的目的是提供图像处理装置、包括该图像处理装置的投影仪和投影仪系统以及图像处理方法，利用其在投影图像的同时对象和投影仪之间的位置关系改变的情况下，可以校正投影后的图像，而不需要中断投影图像的操作。
[0009]根据本发明的一个方面，提供图像处理装置，包括:成像单元，配置为拍摄包括图像投影在其上的对象的区域的图像并且获取图像数据；距离测量单元，配置为基于图像数据计算与对象和成像单元之间的距离有关的距离数据；平面估计单元，配置为基于距离数据估计与对象对应的平面；以及校正信息计算单元，配置为基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信息。
[0010]根据本发明的一个方面，提供图像处理方法，包括:由成像单元拍摄包括图像投影在其上的对象的区域的图像并且获取图像数据；基于图像数据计算与对象和成像单元之间的距离有关的距离数据；基于距离数据估计与对象对应的平面；以及基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信息。【专利附图】
【附图说明】
[0011]图1是图像处理装置的示例的示意图；
[0012]图2是图像处理装置的功能框图；
[0013]图3是估计平面的操作的示例的流程图；
[0014]图4A和4B图示拍摄投影对象的图像的操作；
[0015]图5A和5B图示估计平面的方法；
[0016]图6是计算校正信息的操作的示例的流程图；
[0017]图7图示从虚拟相机获取虚拟图像数据的操作；
[0018]图8A和8B图示虚拟图像数据；
[0019]图9A和9B图示梯形校正转换矩阵的计算；
[0020]图10是根据第一实施例的投影仪的示意图；
[0021]图11是由根据第一实施例的投影仪执行的投影操作的示例的流程图；
[0022]图12A到12C图示根据第一实施例的提取投影后的图像的特征点和对应点的示例；
[0023]图13A到13C图示根据第一实施例的要投影的图像的校正；
[0024]图14是根据第二实施例的投影仪的示意图；
[0025]图15A到15C图示根据第二实施例的点图案；
[0026]图16是根据第三实施例的投影仪的示意图；
[0027]图17图示根据第三实施例的多边形网格；
[0028]图18图示根据第三实施例的依据法向矢量估计平面的方法；
[0029]图19是根据第四实施例的投影仪系统的示意图；以及
[0030]图20图示根据第四实施例的投影图像的操作。
【具体实施方式】
[0031]参考附图对本发明的实施例给出描述。
[0032]由图像处理装置描述本发明的实施例，该图像装置用于通过对由拍摄包括对象的区域的图像而获得的图像执行图像处理，来计算与校正投影后的图像有关的信息。
[0033]图像处理装置的配置
[0034]图1是图像处理装置的示例的示意图。
[0035]在图1中，图像处理装置100包括控制单元110、成像单元120、距离测量单元130、平面估计单元140和校正信息计算单元150。
[0036]图像处理装置100由成像单元120，通过拍摄包括在其上投影图像的对象(在下文中，“投影对象”)的区域的图像来获取图像数据。图像处理装置100由距离测量单元130计算与成像单元120和投影对象之间的距离有关的距离数据。另外，图像处理装置100由平面估计单元140估计与投影对象对应的平面，并且基于与估计出的平面和计算出的距离数据有关的信息，计算与要校正的图像的校正(诸如放大和缩小之类的图像处理，在下文中“校正”)有关的信息。
[0037]作为投影对象，使用这样的对象:图像可以投影在所述对象上的外部表面上，诸如屏幕、墙和白板。
[0038]控制单元110用于控制整个图像处理装置100。控制单元110基于从外部输入的信息控制成像单元120等。另外，控制单元110基于从外部输入的信息控制与由图像处理装置100的图像处理的结果有关的信息的输出。
[0039]成像单元120将包括投影目标的区域的图像对焦在成像传感器上，并且从图像传感器的像素输出信号(电信号)获取与图像有关的图像数据。在本实施例中，成像单元120包括立体相机和成像图像生成单元。
[0040]立体相机包括两个成像镜头和两个成像传感器，并且用两个成像镜头同时拍摄投影对象的两个图像。成像镜头用于输入投影对象的图像在成像传感器中。成像传感器具有光接收表面，在该光接收表面上，多个光接收元件以格子布置。成像传感器将通过成像镜头输入的图像对焦在其光接收表面上。
[0041]成像图像生成单元基于成像传感器的像素输出信号，生成与包括投影目标的区域的图像有关的图像数据。
[0042]距离测量单元130用于测量图像处理装置100 (成像单元120)和投影对象之间的距离。距离测量单元130基于由成像单元120获取的两组图像数据，通过三角测量的原理，计算从图像处理装置100 (成像单元120)到投影对象的距离。下面给出细节(测量距离的操作)。
[0043]平面估计单元140基于由距离测量单元130计算的距离数据，递归地近似与投影对象对应的平面。这里，递归地近似平面意味着基于多个位置近似地估计平面，并且然后排除离开估计出的平面预定距离的位置并且再次估计该平面(回归分析)。下面给出细节(估计平面的操作)。
[0044]校正信息计算单元150基于由平面估计单元140估计的平面有关的信息，计算与要投影的图像的校正有关的信息。下面给出细节(计算校正信息的操作)。
[0045]在下面的描述中，作为与图像有关的数据，“内容图像数据Aimg”是与从PC向投影部件(例如，投影仪)输入的图像有关的图像数据。
[0046]“相机图像数据Cimg”是与由成像单元120通过拍摄投影后的内容图像数据Aimg的图像而获得的图像有关的图像数据。相机图像数据Cimg由对电信号(像素输出信号)执行数字处理生成，其指示由成像单元120的光接收元件接收到的光的亮度。
[0047]“虚拟图像数据Vimg”是与相机图像数据Cimg有关的图像数据，其中，假设图像从投影对象的外部表面(在其上投射图像的表面)的法线方向(在下文中，“前面方向”)拍摄。虚拟图像数据Vimg基于与由校正信息计算单元150计算出的法线矢量有关的信息，利用下面描述的透视投影转换矩阵P生成。
[0048]“投影仪图像数据Pimg”是通过校正内容图像数据Aimg而获得的图像数据，用于解决虚拟图像数据Vimg的梯形失真。投影仪图像数据Pimg基于与由校正信息计算单元150计算出的校正有关的信息，利用下面描述的梯形校正转换矩阵Hpp生成。
[0049]图像处理装置的功能
[0050]参考图2描述图像处理装置的功能的示例。图2是图像处理装置的功能框图。
[0051]如图2中指示，控制单元110向成像单元120输出指令开始成像的信号，从而开始图像处理的操作。[0052]成像单元120用立体相机拍摄包括投影目标的区域的图像，以获取两组相机图像数据Cimg。成像单元120向距离测量单元130输出所获取的相机图像数据Cimg。
[0053]距离测量单元130基于两组相机图像数据Cimg计算与投影对象的外部表面上的多个位置(在下文中，“对应点”)对应的距离数据。另外，距离测量单元130向平面估计单元140和校正信息计算单元150输出距离数据。距离数据是与从图像处理装置100到投影对象(对应点)的距离有关的数据。下面给出测量距离的方法的细节(测量距离的操作)。
[0054]平面估计单元140依据由距离测量单元130计算出的距离数据，将回归平面数据计算为与投影目标对应的平面。平面估计单元140向校正信息计算单元150输出回归平面数据。回归平面数据是与三维空间中包括多个位置的平面有关的数据。下面给出估计方法的细节(估计平面的操作)。
[0055]校正信息计算单元150基于距离测量单元130的距离数据和平面估计单元140的回归平面数据，计算与校正内容图像数据Aimg有关的信息。具体地，校正信息计算单元150基于距离数据和回归平面数据，计算下面描述的凸包数据Cl (图SB)。另外，校正信息计算单元150基于凸包数据Cl，计算校正内容图像数据Aimg所需的梯形校正转换矩阵(在下文中，“与校正有关的信息”)，以消除(解决)虚拟图像数据Vimg的梯形失真。下面给出计算方法的细节(计算校正信息的操作)。
[0056]校正信息计算单元150由控制单元110输出与对投影部件(未示出)的校正有关的信息。
[0057]测量距离的操作
[0058]给出对由距离测量单元130执行的、利用成像单元120的立体相机计算与从成像单元120 (图像处理装置100)到对应点(投影对象)的距离有关的距离数据的操作的描述。
[0059]立体相机包括第一相机(标准相机)和第二相机(参考相机)。第一相机和第二相机包括第一成像镜头和第二成像镜头，以及位于第一成像镜头和第二成像镜头的后面方向(与朝向投影对象的方向相反的方向)的第一成像传感器和第二成像传感器。作为成像传感器，可以使用区域传感器、表面传感器和二维传感器。
[0060]第一成像镜头和第二成像镜头以预定间隔D (在下文中，“基础长度”)平行放置，并且第一成像镜头的光轴和第二成像镜头的光轴相互平行。另外，第一成像传感器具有前侧(与后侧相反)表面上的光接收表面，在该光接收表面上对焦对象的图像。定位第一成像镜头的光轴，以匹配第一成像传感器的光接收表面的对角线的中心。
[0061]通过位移视差Λ，将通过第一成像镜头输入的投影对象的第一图像和通过第二成像镜头输入的投影对象的第二图像对焦在各个光接收单元上。成像传感器执行光电转换，以将由第一图像和第二图像的光引起的亮度转换为像素输出信号，并且向距离测量单元130输出该像素输出信号。此时，距离测量单元130比较像素输出信号，并且依据光接收表面上的光接收元件(像素)的位置(坐标)检测视差Λ。基于视差Λ、基础长度D、图像处理装置100和投影对象之间的距离L以及各成像镜头之间的焦距f，在L>f的情况下建立以下公式(三角测量的原理)。
[0062]公式I
[0063]L=D.f/ Δ
[0064]在该情形下，D和f是已知值。[0065]距离测量单元130基于检测到的视差Λ利用公式I计算距离L。
[0066]接着，给出对由距离测量单元130执行的、计算对应点的绝对坐标(XYZ坐标)的操作的详细描述。假设X轴是基础长度D的方向，Y轴是沿着与X轴垂直的成像传感器的光接收表面的方向，并且Z轴是与X轴和Y轴垂直的方向(立体相机的光轴的方向)。另外，由公式2表达关于第一相机(下标r)和第二相机(下标I)的光接收表面的相对坐标(xyz坐标)。
[0067]公式2
[0068]mr= (xr, yr)，Hi1= (X1, yx)
[0069]在该情形下，由公式3表达视差Λ。
[0070]公式3
[0071]Δ=χ1Δ-χrΔ
[0072]接着，由公式4表达对应点的坐标P (绝对坐标)。
[0073]公式4
[0074]P= (X，Y, Ζ)
[0075]在该情形下，根据公式I到3，由公式5表达对应点的坐标P。
[0076]公式5
【权利要求】
1.一种图像处理装置，包括: 成像单元，配置为拍摄包括对象的区域的图像并且获取图像数据，其中在所述对象上投影图像； 距离测量单元，配置为基于图像数据，计算与对象和成像单元之间的距离有关的距离数据； 平面估计单元，配置为基于距离数据，估计与对象对应的平面；以及校正信息计算单元，配置为基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信息。
2.如权利要求1所述的图像处理装置，还包括: 位置移动确定单元，配置为确定成像单元和对象的位置之间的位置关系是否已经改变，其中 成像单元以预定时间间隔拍摄区域的图像，并且获取多个图像数据项， 距离测量单元，基于多个图像数据项计算与预定时间间隔对应的多个第一距离数据项， 平面估计单元基于多个第一距离数据项估计多个平面， 位置移动确定单元通过在多个平面之中比较一个平面和与预定时间间隔对应的另一平面，确定成像单元和对象的位置之间的位置关系是否已经改变，以及 当位置移动确定单元确定位置关系已经改变时，校正信息计算单元基于已经改变的位置关系计算校正信息。
3.如权利要求1或2所述的图像处理装置，其中 要投影的图像包括图案图像，以及 距离测量单元提取图案图像，并且计算与图案图像对应的距离数据。
4.如权利要求1或2所述的图像处理装置，其中 距离测量单元计算与该区域对应的多个第二距离数据项，以及平面估计单元基于多个第二距离数据项计算多个法向矢量，并且基于该多个法向矢量估计平面。
5.一种投影仪，包括: 根据权利要求1至4中任一项所述的图像处理装置； 投影图像生成单元，配置为基于校正信息校正要投影的图像；以及 投影单元，配置为投影已经由投影图像生成单元校正的要投影的图像。
6.一种投影仪系统，包括: 根据权利要求5所述的投影仪，其中 投影图像生成单元以有线或者无线方式与投影仪通信。
7.一种图像处理方法，包括: 由成像单元拍摄包括对象的区域的图像并且获取图像数据，其中在所述对象上投影图像； 基于图像数据计算与对象和成像单元之间的距离有关的距离数据； 基于距离数据估计与对象对应的平面；以及 基于距离数据和与平面有关的平面信息，计算与要投影的图像的校正有关的校正信肩、O
8.如权利要求7所述的图像处理方法，还包括: 确定成像单元和对象的位置之间的位置关系是否已经改变，其中 由成像单元拍摄图像包括以预定时间间隔拍摄区域的图像，并且获取多个图像数据项， 距离数据的计算包括基于多个图像数据项计算与预定时间间隔对应的多个第一距离数据项，以及 平面的估计包括基于多个第一距离数据项估计与预定时间间隔对应的多个平面， 确定包括通过在多个平面之中比较一个平面和与预定时间间隔对应的另一平面，确定成像单元和对象的位置之间的位置关系是否已经改变，以及 校正信息的计算包括当确定位置关系已经改变时，基于已经改变的位置关系计算校正信息。
9.一种用于使得计算机执行根据权利要求7或8所述的图像处理方法的程序。
10.一 种存储根据权利要求9所述的程序的非瞬态计算机可读记录介质。
【文档编号】G03B21/00GK103765870SQ201280039743
【公开日】2014年4月30日 申请日期:2012年8月9日 优先权日:2011年8月18日
【发明者】住吉信一, 长谷川史裕 申请人:株式会社理光