图像处理装置、投影装置及图像处理方法
【专利摘要】本发明涉及图像处理装置、投影装置以及图像处理方法，通过进行对听众的站立位置加以考虑的投影来提高演出效果。根据内容再现系统（100）的图像处理装置（1），控制部（10）通过摄像机（3）对观看屏幕（5）的听众（A）进行摄像，从得到的摄像图像检测表示听众A的方向的基准位置（P），并基于检测到的基准位置（P）的方向，以使投影到屏幕（5）上的影像内容的投影像朝向听众（A）侧的方式对投影图像进行校正。
【专利说明】图像处理装置、投影装置及图像处理方法
【技术领域】
[0001 ] 本发明涉及图像处理装置、投影装置及图像处理方法。
【背景技术】
[0002]以往，通过投影装置在屏幕上投影人物等而进行商品等的解说。
[0003]此外，近年来，为了提高对于顾客或观赏者的印象，提出了在成形为人形的投影屏幕上投影与该屏幕的外形相应的形状的内容影像等的、所谓的“虚拟人像模型”(例如参照专利文献I)。虚拟人像模型能够得到仿佛在那里站着人的、有存在感的投影像，被利用在展示会等中的崭新且有效的展示的演出等中。
[0004]专利文献1:特开2011-150221号公报
[0005]但是，无论顾客或观赏者等听众在哪里，投影在屏幕上的投影像都朝向正面方向进行解说。因此，有种平面的感觉而缺乏说服力，无法得到有效的演出效果。
【发明内容】
[0006]本发明是鉴于上述问题而做出的，其目的在于，通过进行对听众的站立位置进行了考虑的投影来提高演出效果。
[0007]本发明的一方式涉及一种图像处理装置，具备:存储部，存储用于将影像内容投影到屏幕上的投影图像；摄像部，对观看所述屏幕的听众进行摄像；检测部，从由所述摄像部摄像到的摄像图像检测所述听众的方向；以及校正部，基于所述听众的方向，以使所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正。
[0008]本发明的另一方式涉及一种投影装置，具备:存储部，存储用于将影像内容投影到屏幕上的投影图像；摄像部，对观看所述屏幕的听众进行摄像；检测部，从由所述摄像部摄像到的摄像图像检测所述听众的方向；校正部，基于所述听众的方向，以使投影到所述屏幕上的所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正；以及投影部，基于所述校正后的投影图像，将所述影像内容投影到所述屏幕上。
[0009]本发明的又一方式涉及一种图像处理方法，是对投影图像实施图像处理的图像处理装置中的图像处理方法，该图像处理装置具备摄像部和存储用于将影像内容投影到屏幕上的投影图像的存储部，其中，该图像处理方法包括:通过所述摄像部对观看所述屏幕的听众进行摄像的步骤；从由所述摄像部摄像到的摄像图像检测所述听众的方向的步骤；以及基于所述听众的方向，以使投影到所述屏幕上的所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正的步骤。
【专利附图】
【附图说明】
[0010]图1是表示本实施方式中的内容再现系统的整体结构例的图。
[0011]图2A是影像投影前的内容再现系统的正面图。
[0012]图2B是影像投影时的内容再现系统的正面图。[0013]图3是表示图1的图像处理装置的功能性结构的框图。
[0014]图4是用于说明屏幕坐标系及摄像机坐标系的图。
[0015]图5是用于说明摄像机坐标系的图。
[0016]图6是表示在图3的控制部中执行的再现控制处理的流程图。
[0017]图7是用于说明检测到多个面部区域的情况下的基准位置P的决定方法的图。
[0018]图8是用于说明角度t的计算方法的图。
[0019]图9是表示在图3的控制部中执行的再现控制处理B的流程图。
[0020]符号说明:
[0021]100内容再现系统；1图像处理装置；10控制部；11操作部；12显示部；13存储部；131程序存储部；132影像数据存储部；14I/F ；15I/F ；16声音输出部；2投影仪；3摄像机；4扬声器；5屏幕；51基材；52屏幕薄膜；53薄膜；6支撑台
【具体实施方式】
[0022]以下参照附图来详细说明本发明的优选实施方式。另外，本发明不限于图示例。
[0023][第I实施方式]
[0024]<内容再现系统100的结构>
[0025]本实施方式的内容再现系统100是在成形为影像内容中包含的投影对象物的形状的屏幕5上投影影像内容的系统。在本实施方式中，影像内容是由例如人物、卡通形象、动物等投影对象物进行商品等的解说的影像。
[0026]图1、图2是表示内容再现系统100的概略结构的图。图1是内容再现系统100的侧面图，图2是内容再现系统100的正面图。图2A是影像投影如的正面图，图2B是影像投影时的正面图。另外，在图1中为了表示内容再现系统100的各结构要素与影像内容的听众A的位置关系而一并图示了听众A。
[0027]如图1所示，内容再现系统100具备图像处理装置1、投影仪2、摄像机3、扬声器
4、屏幕5等而构成。投影仪2、摄像机3、扬声器4与图像处理装置I连接。
[0028]图像处理装置I对影像内容的各帧的投影图像(帧图像)进行校正，以使投影在屏幕5上的影像内容的投影像朝向听众A侧。作为图像处理装置1，例如可以应用PCXPersonalComputer )、终端装置等。
[0029]另外，听众A有一个人的情况，也有多个人的情况。
[0030]图3表示图像处理装置I的功能结构例。如图3所示，图像处理装置I具备控制部10、操作部11、显示部12、存储部13、I/F14、I/F15、声音输出部16等而构成。
[0031]控制部10 省略图不，具备 CPU (Central Processing Unit)、RAM (Random AccessMemory)等而构成。控制部10的CPU读出存储在存储部13的程序存储部131中的程序，展开到RAM的工作区，并按照展开的程序执行以后述的再现控制处理为首的各种处理。控制部10的RAM是易失性的存储器，具有存储由CPU执行的各种程序和与这些各种程序有关的数据等的工作区。
[0032]控制部10通过执行再现控制处理而作为检测单元、校正单元、面部识别处理单元发挥功能。
[0033]操作部11具有各种功能键或光标键等，受理用户的键输入并将其操作信息输出至控制部10。
[0034]显示部12由IXD (Liquid Crystal Display)等构成,按照来自控制部10的显示控制信号进行各种显示。
[0035]存储部13由HDD (Hard Disk Drive)或半导体的非易失性存储器等构成。存储部13如图3所示，设有程序存储部131、影像数据存储部132。
[0036]在程序存储部131中存储有由控制部10执行的系统程序、各种处理程序、以及这些程序的执行所需的数据等。程序以计算机可读取的程序代码的形态存放在程序存储部131中。控制部10依次执行基于该程序代码的动作。
[0037]影像数据存储部132存储投影用影像内容的影像数据。影像数据由构成三维模型的动态图像数据的各帧的投影图像的数据及与各投影图像对应的声音数据构成。三维模型指的是由三维多边形、三维曲面、纹理图像等构成的立体物的图像。在影像数据存储部132中存储有使影像内容中包含的投影对象物朝向正面方向的投影图像。
[0038]I/F14与投影仪2连接，是用于进行数据收发的接口。
[0039]I/F15与摄像机3连接，是用于进行数据收发的接口。
[0040]声音输出部16连接有扬声器4,将由控制部10指不的声音数据变换为声音信号并从扬声器4输出。
[0041]投影仪2是基于从图像处理装置I发送来的投影图像而从屏幕5的背面投影影像内容的背面投射型的投影装置。投影仪2例如可以应用利用了 DMD (数字微镜器件)的DLP(Digital Light Processing)(注册商标)投影仪,该DLP是如下的显示元件:基于投影图像，使排列为阵列状的多个(在XGA的情况下为横1024像素X纵768像素的)微镜的各倾斜角度分别高速地进行打开/关闭(0N/0FF)动作而进行显示动作，从而通过其反射光形成光像。通过将与投影图像中的投影对象物的区域对应的位置处的微镜打开(ON)而将其他区域关闭(0FF)，能够仅将投影对象物投影到屏幕5上。
[0042]摄像机3是用于对观看屏幕5的听众A进行摄像的摄像单元。摄像机3在屏幕5的正上方配置为，其光轴方向成为与屏幕5的面垂直的方向(后述的Wz方向)，按照来自图像处理装置I的指示，对屏幕5的前面方向进行摄像，并将得到的摄像图像经由I/F15发送给图像处理装置I。
[0043]屏幕5被支撑台6以垂直于地面的方式支撑，是配置在投影仪2的输出光照射方向上的屏幕。屏幕5如图1所示，在成形为投影对象物的形状的透明丙烯酸板等基材51的前面上侧粘贴有背面投影用的屏幕薄膜52、在下侧粘贴有印刷着投影对象物的下半身的薄膜53而构成。该屏幕薄膜使用市售的具有高亮度、高对比度的材料，由此，即使在白天的明亮度下或者在明亮的室内，也能够视觉辨认在屏幕5上投影的投影像。
[0044]另外，在本实施方式中，内容再现系统100构成为将投影对象物的上半身的影像内容投影到屏幕5上，但是也可以构成为在屏幕5的基材51的整面粘贴背面投影用的屏幕薄膜52，而将投影对象物的全身的影像内容投影到屏幕5上。
[0045]<屏幕坐标系和摄像机坐标系>
[0046]在上述内各再现系统100中，用于确定位直和方向的坐标系有屏眷坐标系和摄像机坐标系。
[0047]屏幕坐标系是以屏幕5为基准的坐标系。[0048]如图4所示，屏幕坐标系如下定义。
[0049]Wo:屏幕坐标系的原点。屏幕5的中心轴与设置部位(地面)的交点。
[0050]Wx:屏幕坐标系的X轴。Wy与Wz的外积的方向。以从听众A观察的右方向为+。
[0051]Wy:屏幕坐标系的y轴。沿着屏幕5的中心轴。以从听众A观察的上方向为+。
[0052]Wz:屏幕坐标系的z轴。与屏幕5的投影面垂直。以屏幕5的前面方向(听众A所在的方向)为+。
[0053]例如，投影到屏幕5上的影像内容的投影像的坐标、用于投影该像的投影图像的坐标通过屏幕坐标系来进行表示。
[0054]摄像机坐标系是以由摄像机3摄像的摄像图像的像素为基准的坐标系。摄像机3如图4所示那样设置成，如果设透镜的中心位置为S，则在屏幕5的正上方，屏幕坐标系中的S的X坐标为O。摄像机3的透镜朝向沿着Wz的方向,被固定成不会产生抖动。
[0055]摄像机坐标系如图4、5那样定义。另外，图5是表示摄像机3的透镜前面方向的图。
[0056]Cx:摄像机坐标系的X轴。由摄像机3摄像的摄像图像的像素的X方向(横方向)。+方向与Wx相反。
[0057]Cy:摄像机坐标系的y轴。由摄像机3摄像的摄像图像的像素的y方向(纵方向)。+方向与Wy相反。
[0058]此外,设摄像机3的视场角的水平方向画角为Tmax, tmax = Tmax/2。此外,如果设由摄像机3摄像的摄像图像的析像度为(Xmax, Ymax),则如图5所示,摄像机3对O < x< Xmax>O < y < Ymax的范围进行摄像。摄像图像为长方形，所以摄入摄像机3的摄像图像的范围成为图4的灰色的四角锥的范围(在以下的图中也将该摄入摄像图像的范围用灰色表示)。除了摄像图像的像素位置的坐标之外，还将摄入摄像图像的范围的坐标也用摄像机坐标系来表示。
[0059]图像处理装置I的控制部10使用上述的屏幕坐标系及摄像机坐标系来执行后述的再现控制处理。
[0060]<图像处理装置I的动作>
[0061]接下来说明本实施方式中的动作。
[0062]图6表示由图像处理装置I执行的再现控制处理的流程图。再现控制处理通过控制部10的CPU和程序存储部131所存储的程序的协作而被执行。
[0063]在再现控制处理中，控制部10首先从存储部13的影像数据存储部132读出影像内容中的投影对象的投影图像(步骤Si)。
[0064]接着，控制部10通过摄像机3对正在观看屏幕5的听众A进行摄像，取得听众A的摄像图像(步骤S2)。
[0065]接着，控制部10对取得的摄像图像执行面部识别处理，从摄像图像识别面部区域(步骤S3)。面部识别处理例如可以应用使用了 AdaBoost的Viola-Jones法等公知的图像处理技术。
[0066]面部识别处理的结果，I个面部区域也没有识别到的情况下(步骤S4 ;是)，控制部10转移到步骤SlO的处理。
[0067]面部识别处理的结果，仅识别到I个面部区域的情况下(步骤S4 ;否，步骤S5 ;是)，控制部10检测所识别到的面部区域的位置，作为表示听众A的方向的基准位置P(步骤S6)，并转移到步骤S8的处理。
[0068]在步骤S6中，例如控制部10计算从摄像图像识别到的面部区域的重心位置，并检测该重心位置作为基准位置P (Xp，Yp)。另外，作为基准位置P的面部区域的位置不限于面部区域的重心位置，例如也可以使用面部区域的中心(与面部区域外接的矩形区域的对角线所相交的位置)等。通过步骤S6，能够检测从摄像图像识别到的面部区域的方向而作为听众A的方向。
[0069]面部识别处理的结果，识别到2个以上面部区域的情况下(步骤S4 ;否，步骤S5 ；否)，控制部10设摄像图像的中心为R，检测距离R最近的面部区域的位置作为基准位置P(步骤S7)，并转移到步骤S8的处理。
[0070]例如，控制部10计算由面部识别处理识别到的各面部区域的位置，并按照识别到的顺序，如图7所示设为Pl (Xpl, Ypl),Ρ2 (Χρ2，Υρ2)、Ρ3 (Χρ3，Υρ3)、…。接着，设摄像图像的中心为R = (Xmax/2, Ymax/2),检测以下述(式I)表示的d最小的面部区域的位置的坐标，作为基准位置P的坐标P (Xp, Yp)ο
[0071]d = (Xmax/2 — Xpn) 2 + (Ymax/2 — Ypn) 2...(式 I)
[0072]其中，n= l、2、3...。
[0073]在步骤S8中，控制部10计算表示基准位置P的方向的角度t (步骤S8)。
[0074]角度t如图8所示，是摄像机3的光轴方向和基准位置P的方向所成的角度。具体地说，如果将顶点Q定义为(Xp，Ymax/2)(参照图5)，则直线QS与直线SR所成的角度QSR为角度 t。其中，Xp> Xmax/2 时 t > O, Xp < Xmax/2 时 t<0。BP, I t I=角度 QSR。
[0075]若将Xp = Xmax时的t设为t = tmax,将Xp = O时的t设为t = — tmax,则角度t能够以下述(式2)表示。
[0076]t = arctan [(2Xp — Xmax) /{Xmax.tan (tmax) }]…(式 2)
[0077]控制部10基于(式2)来计算角度t。
[0078]接下来，控制部10基于计算出的角度t，进行在步骤SI读出的投影图像的旋转处理(步骤S9)。
[0079]通过使投影图像以下述的旋转轴、旋转角度进行旋转而将投影图像投影到了屏幕5上的情况下，能够使投影像的朝向朝着映到摄像机坐标系的P上的方向。
[0080]旋转轴:Wy方向
[0081]旋转角度:一t
[0082]例如，投影图像为多边形的情况下，投影图像由点群(多个顶点的集合)构成。在此，将点群设为V1、V2、…Vn (η为顶点的数量)。关注点群V1、V2、…、Vn中的某I个顶点Vk(l≤k≤η)。设屏幕坐标系中的Vk的坐标值为Vk = (Vx，Vy，Vz)、旋转后的Vk为Vk'= CYx1 , Yy1 , Yz1 )时，使用下述(式3)~(式5)将Vx、Vy、Vz分别变换为Vx'、Vy'、Vz'。
[0083]Vx' = Vx.cost — Vz.sint...(式 3)
[0084]Vy' = Vy…(式 4)
[0085]Vz' = Vx.sint+Vz.cost…(式 5)
[0086]在旋转处理中，通过对投影图像中的全部顶点进行该变换，能够以使在屏幕5上投影的影像内容的投影像朝向听众A侧的方式使投影图像中包含的投影对象物旋转。
[0087]另外，投影图像不是多边形而是参数曲面等的情况下，通过对控制点实施同样的旋转处理，能够以使在屏幕5上投影的影像内容的投影像朝向听众A的方向的方式对投影图像进行校正。
[0088]在步骤SlO的处理中，控制部10将投影图像经由I/F14发送给投影仪2，基于投影图像将影像内容投影到屏幕5上(步骤S10)。具体地说，控制部10从投影图像提取投影对象物的区域，通过I/F14将提取到的投影对象物的位置信息与投影图像一起发送给投影仪
2。由此，投影仪2能够仅将投影对象物投影到屏幕5上。另外，投影对象物的提取也可以由投影仪2进行。
[0089]此外，控制部10通过声音输出部16将与投影图像对应的声音数据变换为声音信号，并从扬声器4进行声音输出(步骤SI I)。
[0090]接着，控制部10判断在影像内容中是否存在下一投影图像(步骤S12)。在判断为存在下一投影图像的情况下(步骤S12 ;是)，控制部10回到步骤SI的处理，反复执行步骤SI?步骤Sll的处理。在判断为不存在投影图像的情况下(步骤S12 ;否)，控制部10结束再现控制处理。
[0091]这样，在第I实施方式中，能够根据听众A的站立位置实时地使屏幕5上投影的投影像的朝向变化，所以能够进行影像内容的立体投影。此外，听众A感觉到仿佛投影像(人物等)在向自己说话，所以能够使听众A对投影像抱有亲近感。结果，提高影像内容的说服力等，能够进行有效的演出。
[0092][第2实施方式]
[0093]接下来说明本发明的第2实施方式。
[0094]在第I实施方式中，通过面部识别处理从摄像图像识别到多个面部区域的情况下，检测与摄像图像的中心R相距最近的面部区域，作为听众A的方向的基准位置P。在第2实施方式中，从摄像图像识别到了多个面部区域的情况下，依次检测多个人的面部区域来作为基准位置P，能够使影像内容的投影像依次看着处于多个方向的听众A而进行解说等。
[0095]在第2实施方式中，图像处理装置I的控制部10连接有计时器(未图示)。第2实施方式中的其他内容再现系统100及构成该其他内容再现系统100的各装置的结构与第I实施方式相同，因此省略说明，以下说明第2实施方式的动作。
[0096]图9表示在从摄像有听众的摄像图像识别到了多个面部的情况下执行的再现控制处理B的流程图。再现控制处理B通过控制部10的CPU和程序存储部131所存储的程序的协作而被执行。
[0097]例如，在图6所示的再现控制处理的面部识别处理中识别到了多个面部区域的情况下，即图6的步骤S5为“否”的情况下，也可以不转移到步骤S7而执行该再现控制处理B。此外，也可以构成为能够由用户通过操作部11来设定是转移到步骤S7 (即是使投影像朝向更靠近中心的面部)还是执行再现控制处理B (是使投影像依次朝向多个面部)。另外，再现控制处理B结束后，不转移到图6的步骤S8而结束处理。
[0098]另外，屏幕坐标系、摄像机坐标系与第I实施方式所说明的相同，所以援引该说明。
[0099]在再现控制处理B中，控制部10首先检测在从由摄像机3摄像的听众A的摄像图像识别到的多个面部区域之中与摄像图像的中心R相距最近的面部区域的位置，作为表示听众A的方向的基准位置P (步骤S21)。另外，步骤S21中的基准位置P的计算与图6的步骤S6中所说明的相同，因此援引该说明。
[0100]接着，控制部10计算表示基准位置P的方向的角度t (步骤S22)。角度t的计算与图6的步骤S8中所说明的相同，因此援引该说明。
[0101]接着，控制部10基于计算出的t，进行投影对象的投影图像的旋转处理(步骤S23)。投影图像的旋转处理与图6的步骤S9中所说明的相同，因此援引该说明。
[0102]接着，控制部10将投影图像经由I/F14发送给投影仪2，并基于投影图像将影像内容投影到屏幕5上(步骤S24)。具体地说，控制部10从投影图像提取投影对象物的区域，将提取到的投影对象物的位置信息与投影图像一起通过I/F14发送给投影仪2。由此，投影仪2能够仅将投影对象物投影到屏幕5上。另外，投影对象物的提取也可以由投影仪2进行。
[0103]此外，控制部10通过声音输出部16将与投影图像对应的声音数据变换为声音信号，并从扬声器4进行声音输出(步骤S25)。
[0104]接着，控制部10对计时器中设定预先规定的指定时间T (秒)，使计时器开始计时(步骤S26)。在此，如果投影像所朝向的方向是固定的，则对处于其他方向的听众A来说可能不是有效的投影。因此，在本实施方式中，以经过指定时间T后改变投影像所朝向的方向的方式进行控制。计时器对该指定时间T进行计测。
[0105]接着，控制部10从存储部13的影像数据存储部132读出影像内容中的下一投影图像(步骤S27)。
[0106]接着，控制部10通过摄像机3对观看屏幕5的听众A进行摄像，取得听众A的摄像图像(步骤S28)。
[0107]接着，控制部10对取得的摄像图像执行面部识别处理(步骤S29)，并将通过面部识别处理识别到的面部区域按照与摄像图像的中心R相距从近到远的顺序进行排列(步骤S30)。
[0108]具体地说，计算所识别到的面部区域各自的位置，基于(式I)计算各面部区域的位置与摄像图像的中心R的距离山按照d从小到大的顺序将面部区域排列。
[0109]接着，控制部10判断是否识别到了与上次检测到的基准位置P相同位置的面部区域(即同一 P)(步骤S31)。
[0110]在判断为识别到了与上次识别到的P相同位置的面部区域的情况下(步骤S31 ；是)，控制部10判断是否经过了计时器的指定时间T (步骤S32)。在判断为未经过计时器的指定时间T的情况下(步骤S32 ;否)，控制部10不变更基准位置P而直接转移到步骤S36的处理。
[0111]另一方面，在判断为经过了计时器的指定时间T的情况下(步骤S32 ;是)，控制部10检测在步骤S30中排列在与上次检测到的基准位置P相同位置的面部区域之后的面部区域在摄像图像上的位置，作为下一基准位置P (步骤S33)，并转移到步骤S35的处理。另夕卜，在步骤S30排列的面部区域的顺序中上次检测到的基准位置P的面部区域为最后的情况下，检测顺序为开头的面部区域在摄像图像上的位置，作为下一基准位置P。
[0112]另一方面，在步骤S31中，在判断为未识别到与上次求出的P相同位置的面部区域的情况下(步骤S31 ;否)，控制部10检测与由摄像机3摄像的听众A的摄像图像的中心R相距最近的面部区域的位置，作为下一基准位置P (步骤S34)，并转移到步骤S35的处理。
[0113]在步骤S35中，控制部10将计时器重置，开始指定时间T的计测(步骤S35)。然后，转移到步骤S36的处理。在此，由于成为听众A所朝向的方向的基准的面部区域的位置(基准位置P)已变更，所以将计时器重置，能够将朝向该面部区域的方向的投影像显示到经过指定时间T为止。
[0114]在步骤S36中，控制部10基于检测到的基准位置P，计算表示基准位置P的方向的角度t (步骤S36)。角度t的计算通过(式2)来进行。
[0115]接着，控制部10通过P控制对角度t进行校正(步骤S37)。
[0116]P控制也被称为比例控制，进行与当前值和目标值的偏差成正比的控制。在此，使用该P控制，以便阶段性地接近成为目标的角度t。
[0117]在步骤S37中，首先，将在最近上一次的对投影图像的旋转处理中使用过的角度t设为tl，将在步骤S36中计算出的本次的角度t (目标值)设为t2。在此，通过以下的(式6)求出t'。
[0118]t' = K (t2 - tl) + tl (O < K < I)…(式 6)
[0119]将求出的C作为旋转处理中使用的t。这样，通过对角度t进行校正，每当重复步骤S27~步骤S41的循环，就能够阶段性地接近t2。即，能够以投影像阶段性地朝向成为目标的面部的方向(与基准位置P对应的面部的方向)的方式对投影图像进行校正。
[0120]在此，K是P控制中的比例增益。K越大则能够控制成越快地接近成为目标的角度，K越小则越能够慢慢地接近成为目标的角度。
[0121]接着，控制部10基于在`步骤S37中校正后的角度t，进行投影图像的旋转处理(步骤S38)。旋转处理使用上述(式3)~(式5)来进行。
[0122]接着，控制部10将投影图像经由I/F14发送给投影仪2，并基于投影图像将影像内容投影到屏幕5上(步骤S39)。具体地说，控制部10从投影图像提取投影对象物的区域，并将提取到的投影对象物的位置信息与投影图像一起通过I/F14发送给投影仪2。由此，投影仪2能够仅将投影对象物投影到屏幕5上。另外，投影对象物的提取也可以由投影仪2进行。
[0123]此外，控制部10通过声音输出部16将与投影图像对应的声音数据变换为声音信号，并从扬声器4进行声音输出(步骤S40)。
[0124]接着，控制部10判断在影像内容中是否存在下一投影图像(步骤S41)。在判断为存在下一投影图像的情况下(步骤S41 ;是)，控制部10回到步骤S27的处理，对下一投影图像反复执行步骤S27~步骤S40的处理。在判断为不存在下一投影图像的情况下(步骤S41 ；否)，控制部10结束再现控制处理B。
[0125]这样，根据第2实施方式，投影像不只朝向一个位置，而能够依次朝向存在听众A的多个方向来进行解说等。因此，能够使构成听众A的更多人群对投影像抱有亲近感，能够提高通过投影像进行的解说的说服力。即，能够进行投影用影像内容的更有效的投影。
[0126]此外，使投影像所朝向的方向(P的位置)变化的情况下，通过P控制来对角度t进行校正，从而不会急剧地变更投影像的朝向，而是能够使投影像的朝向平稳地变化，能够进行没有不适感的投影。
[0127]如以上说明，根据内容再现系统100的图像处理装置1，控制部10通过摄像机3对观看屏幕5的听众A进行摄像，并从得到的摄像图像检测表示听众A的方向的基准位置P，基于检测到的基准位置P的方向，以投影在屏幕5上的影像内容的投影像朝向听众A侧的方式对投影图像进行校正。
[0128]因此，能够根据听众A的站立位置来实时地使屏幕5上投影的投影像的朝向变化，所以能够进行影像内容的立体投影。此外，听众A感觉到仿佛投影像(人物等)在对自己说话一样，所以能够使听众A对投影像抱有亲近感。其结果，能够增加影像内容的说服力等，能够进行有效的演出。
[0129]例如，控制部10对由摄像机3取得的摄像图像执行面部识别处理，基于通过该面部识别处理识别到的面部区域，能够检测听众A的方向的基准位置P。
[0130]此外，例如控制部10计算摄像机3的光轴方向与检测到的基准位置P的方向所成的角度t，并基于计算出的角度t对投影图像实施旋转处理，由此，能够对投影图像进行校正。
[0131]通过面部识别处理识别到的面部区域为多个的情况下，控制部10按照预先规定的顺序、例如面部区域与摄像图像的中心相距从近到远的顺序，依次检测识别到的面部区域的方向，作为听众A的方向。因此，能够使投影像的朝向不仅为一处，而是能够变换为听众A所存在的多个方向，因此，即使在多个方向存在听众A的情况下，也能够使观看投影像的更多的人群对投影像抱有亲近感，能够增加影像内容的说服力等，能够进行更有效的投影。
[0132]此外，控制部10在检测所识别到的一个面部区域的位置来作为成为听众A的方向的基准的基准位置P之后、经过了预先规定的指定时间T的情况下，检测下一面部区域来作为表示听众A的方向的基准位置P。因此，在多个方向存在听众A的情况下，不固定投影像的朝向，在经过指定时间T之后，使投影像的朝向变化为其他方向。
[0133]此外，在检测到的基准位置P变化了的情况下，控制部10通过使用于确定基准位置P的方向的角度t阶段性地变化，来以使投影像的朝向阶段性地接近基准位置P的方式进行投影图像的校正，所以不会急剧地改变投影像的朝向，而是平缓地变化，能够进行没有不适感的投影。
[0134]此外，通过面部识别处理识别到的面部区域为多个的情况下，也可以检测与摄像图像的中心相距最近的面部区域的位置来作为表示听众的方向的基准位置P。由此，不必改变投影像的朝向，就能够使更多方向的听众对投影像抱有亲近感，能够进行有效的投影。
[0135]此外，通过面部识别处理识别到的面部区域为I个的情况下，检测所识别到的面部区域的位置来作为表示听众的方向的基准位置P。由此，能够使听众A对投影像抱有亲近感，能够进行有效的投影。
[0136]此外，通过将屏幕5成形为影像内容的投影对象物的形状，能够得到仿佛人物等投影对象物存在于那里那样的、有存在感的投影像。
[0137]另外，上述实施方式中的记述内容只是本发明的内容再现系统的优选的一例，并不限定于此。
[0138]例如，在上述实施方式中，说明了图像处理装置I和投影仪2分体构成的情况，但是也可以一体构成。即，也可以构成为在投影仪2中包括图像处理装置I的结构，在投影仪2中进行上述投影图像的校正，并基于校正后的投影图像在屏幕5上进行投影。[0139]此外，在上述实施方式中，以投影仪2的输出光直接照射到屏幕5的背面的结构为例进行了说明，但是也可以设置将投影仪2的输出光反射的反射镜，将反射镜的反射光投影到投影仪2的背面。
[0140]此外，在上述实施方式中，说明了将屏幕5成形为投影对象物的形状的例子，但是不限于此，例如在一般的矩形等的屏幕上投影影像内容的情况下，也可以应用本发明。
[0141]此外，上述实施方式中的屏幕坐标系、摄像机坐标系的定义只是一例，并不限定于此。
[0142]此外，在上述实施方式中，说明了作为影像内容而使用三维模型的投影图像的情况，但是也可以使用对人物等投影对象物进行摄影而得到的投影图像。这种情况下，可以如下地实现:将投影图像中的投影对象物的中心轴与检测到的听众A的方向相对应地偏移，根据中心轴与轮廓之间的宽度来放大或缩小投影对象物的构成部分(例如眼睛、鼻子、嘴、耳朵等)。
[0143]此外，在上述实施方式中，以按照每I帧来进行摄像机3对听众A的摄影、基准位置P的检测、基于基准位置P的投影图像的校正的情况为例进行了说明，但是不限于此，也可以按照每多个帧来进行。
[0144]此外，在上述第I实施方式中，说明了在从摄像机3的摄像图像识别到了多个面部区域的情况下基于与摄像图像的中心R相距最近的面部区域来检测听众A的方向的基准位置P，但是也可以基于其他面部区域来检测听众A的方向的基准位置P。
[0145]此外，在上述实施方式中，通过摄像机3检测听众的方向，但是不限于此，例如也可以使用测域传感器这样的、能够检测听众的方向的传感器。
[0146]此外，在上述第2实施方式中，通过P控制进行使投影像的朝向平缓变化的控制，但是也可以使用PI控制或PID控制。在P控制的情况下，能够比PI控制及PID控制更高速地进行处理。另一方面，通过使用PI控制及PID控制，能够进行更高精度的控制。
[0147]此外，在上述第2实施方式中，从距离摄像图像的中心R较近地被拍摄的面部区域的方向起依次变更投影像的朝向，但是顺序不限于此。例如也可以是，最初使投影像朝向在摄影图像中距离中心R最近地被拍摄的面部区域的方向，而之后的顺序可以设为逆时针。此外，投影像的朝向变化时，也可以朝向最远的面部区域。
[0148]此外，在上述实施方式中，说明了影像内容的影像数据存储在存储部13中，但是也可以构成为从经由通信网络与图像处理装置I连接的服务器进行发布。此外，也可以构成为从USB存储器或各种记录介质读取影像数据。
[0149]此外，作为存放用于执行上述各处理的程序的计算机可读取的介质，除了 ROM或硬盘之外，还可以应用闪存器等非易失性存储器、⑶-ROM等可移动记录介质。此外，作为经由规定的通信线路提供程序的数据的介质，也可以应用载波。
[0150]此外，关于构成内容再现系统的各装置的细节结构及细节动作，可以在不脱离发明的主旨的范围内适当变更。
【权利要求】
1.一种图像处理装置，其中，具备: 存储部，存储用于将影像内容投影到屏幕上的投影图像； 摄像部，对观看所述屏幕的听众进行摄像； 检测部，从由所述摄像部摄像到的摄像图像检测所述听众的方向；以及 校正部，基于所述听众的方向，以使所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正。
2.如权利要求1所述的图像处理装置，其中， 所述检测部具备从所述摄像图像来识别面部区域的面部识别处理部，基于所述面部区域来检测所述听众的方向。
3.如权利要求2所述的图像处理装置，其中， 在所述面部区域为多个的情况下，所述检测部按照预先规定的顺序依次检测所述识别到的面部区域的方向来作为所述听众的方向。
4.如权利要求3所述的图像处理装置，其中， 所述预先规定的顺序是所述面部区域与所述摄像图像的中心相距从近到远的顺序。
5.如权利要求3所述的图像处理装置，其中， 在检测所述识别到的一个面部区域的方向来作为所述听众的方向之后经过了预先规定的指定时间的情况下，所述检测部检测下一面部区域的方向来作为所述听众的方向。
6.如权利要求1所述的图像处理装置，其中， 在所述听众的方向变化了的情况下，所述校正部以使基于所述投影图像而投影的所述影像内容的投影像阶段性地向所述听众侧的方向接近的方式对所述投影图像进行校正。
7.如权利要求2所述的图像处理装置，其中， 在所述面部区域为多个的情况下，所述检测部检测所述识别到的多个面部区域中的任意面部区域的方向来作为所述听众的方向。
8.如权利要求7所述的图像处理装置，其中， 在所述面部区域为多个的情况下，所述检测部检测与所述摄像图像的中心相距最近的面部区域的方向来作为所述听众的方向。
9.如权利要求2所述的图像处理装置，其中， 在所述面部区域为I个的情况下，所述检测部检测所述面部区域的方向来作为所述听众的方向。
10.如权利要求1所述的图像处理装置，其中， 所述屏幕是成形为所述影像内容的投影对象物的形状的屏幕。
11.如权利要求1所述的图像处理装置，其中， 所述校正部计算所述摄像部的光轴方向与所述检测到的听众的方向所成的角度，并基于所述角度对所述投影图像实施旋转处理，从而对所述投影图像进行校正。
12.一种投影装置，其中，具备: 存储部，存储用于将影像内容投影到屏幕上的投影图像； 摄像部，对观看所述屏幕的听众进行摄像； 检测部，从由所述摄像部摄像到的摄像图像检测所述听众的方向； 校正部，基于所述听众的方向，以使投影到所述屏幕上的所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正；以及 投影部，基于所述校正后的投影图像，将所述影像内容投影到所述屏幕上。
13.一种图像处理方法，是对投影图像实施图像处理的图像处理装置中的图像处理方法，该图像处理装置具备摄像部和存储用于将影像内容投影到屏幕上的投影图像的存储部，其中，该图像处理方法包括: 通过所述摄像部对观看所述屏幕的听众进行摄像的步骤； 从由所述摄像部摄像到的摄像图像检测所述听众的方向的步骤；以及基于所述听众的方向，以使投影到所述屏幕上的所述影像内容的投影像朝向所述听众侧的方式对所述投影图像进行校正的步骤。
【文档编号】H04N5/74GK103813119SQ201310556689
【公开日】2014年5月21日 申请日期:2013年11月11日 优先权日:2012年11月12日
【发明者】冈庭翔一 申请人:卡西欧计算机株式会社