一种互动的建筑物表面投影方法
【专利摘要】本发明公开了一种互动的建筑物表面投影方法。使用本发明能够在凹凸不平的建筑物表面进行投影，并通过各种传感器或手持移动终端对投影内容进行实时控制，产生互动效果。本发明在凹凸不平的建筑物表面进行投影，利用建筑物表面的凹凸点制作具有立体效果的互动媒体，同时通过采用新型人机交互技术，如体感互动、激光互动、语音互动或者移动终端互动技术，与本发明提出的媒体渲染方法制作的媒体进行互动，从而产生超乎想象的震撼视觉效果并且能够与建筑物完美结合，同时能够使人在欣赏的过程中产生立体视觉。
【专利说明】一种互动的建筑物表面投影方法
【技术领域】
[0001 ] 本发明涉及投影拼接显示技术以及新型人机交互技术，具体涉及一种互动的建筑物表面投影方法。
【背景技术】
[0002]传统的投影拼接显示技术都是以平面或者曲面投影屏幕作为显示表面。随着投影机技术的进步、人们对视觉体验要求的不断地提升以及伴随着新媒体艺术的发展，需要一种更加具有视觉冲击力，具有震撼效果的新型投影显示技术。并且，随着互动技术的发展，人们不再满足于只观看影片，而是希望自己能够参与到整个活动中去，这就需要有新型的人机交互技术。
【发明内容】
[0003]有鉴于此，本发明提供了一种互动的建筑物表面投影方法，能够在凹凸不平的建筑物表面进行投影，并通过各种传感器或手持移动终端对投影内容进行实时控制，产生互动效果。
[0004]本发明的互动的建筑物表面投影方法，以建筑物外表面为投影平面，以多台投影机为显示设备，通过采用手动或自动投影拼接的方法对投影图像进行投影拼接，通过各台投影机投影内容与建筑表面关键点的对准，完成多投影拼接并利用建筑面表面关键点达到3D效果，其中，关键点为建筑外表面各个不连续面形成的交线以及各条交线的交点；设置游戏开发引擎和人机互动设备，其中，人机互动设备用于收集用户的动作，游戏开发引擎设有端口用于接收人机互动设备发回的用户的动作信息，用户的动作信息与投影图像结合形成互动媒体。
[0005]其中，互动的建筑物表面投影方法，具体包括以下步骤:
[0006]步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片；
[0007]步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置；
[0008]步骤3，采用手动或自动方法确定有效投影区域:
[0009]手动方法确定有效投影区域方法如下:手动选取一个能够包围整个建筑区域的矩形作为有效投影区域；
[0010]自动方法确定有效投影区域方法如下:根据步骤I照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法求取建筑物区域，取该区域的最小外接矩形作为有效投影区域；
[0011 ] 步骤4，确定互动方案:根据项目要求以及项目现场条件确定采用的互动技术，所述互动技术包括体感互动、激光互动、语音互动和移动终端互动技术；
[0012]步骤5，具有3D效果的互动媒体制作:[0013]以步骤I得到的照片作为互动媒体制作的模板，使用视频制作软件进行素材制作，得到连续的图片素材；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作3D特效；设置游戏开发引擎，用于合成图片素材，并预留端口用于接收人机互动设备发回的用户动作信息，图片素材与用户动作结合形成互动媒体；
[0014]步骤6，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；现场安装人机互动设备，并调试设备的参数；
[0015]步骤7，使用手动或自动投影拼接方法进行多投影几何校正；
[0016]其中，所述手动投影拼接方法如下:通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角同样调整成直线，并进行颜色校正及融合区域亮度衰减；
[0017]所述自动投影拼接方法是基于结构光扫描的自动多投影拼接的，具体步骤为:
[0018]步骤7.1，在与步骤I相同的位置架设相机，相机参数设置与步骤I相机参数相同，该相机能够拍摄到投影表面；
[0019]步骤7.2，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd ；
[0020]步骤7.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立每台投影机图像空间与相机图像之间的对应关系Ma，i=l,2,…，N, N为投影机数量；
[0021]步骤7.4，结合相机图像空间与显示图像空间之间的对应关系Hd以及任意一台投影机图像空间与相机图像之间的`对应关系Ma，得到显示图像空间与任意一台投影机图像空间的对应关系；
[0022]步骤7.5，对待显示图像进行颜色校正以及融合区域亮度衰减；
[0023]步骤8，通过人机互动设备采集得到用户互动数据，用户互动数据通过网络实时发送给互动媒体，互动媒体根据接收到信息依照制作互动媒体时预设的程序步骤，实时调用相应的素材以及特效，完成互动媒体渲染；
[0024]步骤9，根据步骤7得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了互动媒体的投影拼接渲染，通过网络让所有投影机同步播放经步骤8得到的互动媒体。
[0025]有益效果:
[0026]与传统的互动投影使用地面、墙面或者投影拼接作为显示表面不同，本发明提出了一种在凹凸不平的建筑物表面进行投影，并利用建筑物表面的凹凸点制作具有立体效果的互动媒体，同时通过采用新型人机交互技术(如体感互动、激光互动、语音互动或者移动终端互动技术)与本发明提出的媒体渲染方法制作的媒体进行互动，从而产生超乎想象的震撼视觉效果并且能够与建筑物完美结合，同时能够使人在欣赏的过程中产生立体视觉。
【专利附图】
【附图说明】
[0027]图1为本发明手动拼接融合方法进行互动建筑投影显示的投影方式布置示意。[0028]其中，101-拟投影的建筑物外表面；102_投影机；103_融合服务器；104_渲染控制服务器；106_体感交互识别服务器；107_体感传感器；108_参与交互的用户；106，107，108组成体感互动部分105。
【具体实施方式】
[0029]下面结合附图并举实施例，对本发明进行详细描述。
[0030]本发明提供了一种互动的建筑物表面投影方法，其投影布局示意如图1所示，具体实施步骤如下:
[0031 ] 步骤I，确定投影表面及观看者位置:
[0032]确定需要投影的表面，并根据需求确定观看者所在位置，使用相机在观看者所在位置拍摄投影表面的照片(该照片要求包括整个需要投影的建筑表面)，并记录该位置、相机的高度、角度以及相机的焦距。如果相机镜头存在比较明显的畸变，则需要预先对相机进行畸变校正(一般采用张正友提出的相机标定方法，Zhang Z.A flexible new techniquefor camera calibration[J].Pattern Analysis and Machine Intelligence, IEEETransactions on,2000, 22 (11):1330-1334.)。
[0033]步骤2，确定投影方案:
[0034]根据建筑物投影表面的材质、现场光照条件以及其他因素(如项目预算等)确定投影机型号、投影机镜头型号、投影机数量以及投影机固定方案等。
[0035]步骤3，确定有效投影区域:
[0036]一般有效投影区域为照片中整个建筑物所在区域，可以通过手动或者自动方法确定有效投影区域。自动有效投影区域确定方法是根据照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法(如图像二值化方法)求取建筑物区域，取该区域的最小外接矩形作为有效投影区域；手动有效投影区域确定方法是手动选取一个能够包围整个建筑区域的矩形作为有效投影区域，一般是选取建筑物区域的最小外接矩形作为有效投影区域。
[0037]步骤4，确定互动方案:
[0038]根据项目要求以及项目现场条件(如光照、空间等)确定采用的互动技术，一般能够应用于建筑物互动投影的新型人机交互技术包括:体感互动、激光互动、语音互动、移动终端互动技术等。
[0039]体感互动:使用体感输入设备(如微软Kinect体感摄像头、华硕Xtion体感摄像头、SouVR.com的PhaseSpace光学动作捕捉系统等),采集用户的肢体位置,经过计算机视觉的模式算法识别用户输入的动作，并将该动作传输给渲染服务器用于控制输出互动的变化。
[0040]激光互动:用户使用激光发射设备(如激光笔等)指向建筑物表面的特定位置，通过使用摄像机采集激光光点的位置，经过计算机视觉的团块检测以及团块跟踪算法得到激光发射设备所指的位置，并将该动作传输给渲染服务器用于控制互动媒体的变化。
[0041]语音互动:使用语音输入设备，通过声音采集设备采集用户语音内容或者现场声音分贝数，经过处理之后，并将该动作传输给渲染服务器用于控制互动媒体的变化。
[0042]移动终端互动技术:使用移动终端输入设备(如手机、平板电脑等)向互动接收服务器接收用户发送的信息(如短息、微博、微信等)经过处理之后，通过渲染服务器控制媒体效果做出相应改变以达到互动的目的。
[0043]步骤5，具有3D效果的互动媒体制作:
[0044]以步骤I得到的照片作为互动媒体制作的模板，制作互动媒体，其具体步骤为:
[0045]步骤5.1，素材制作:使用步骤I得到的照片，将照片作为制作模版，直接使用视频制作软件(如After Effect等)进行素材制作，得到连续的图片素材。如果需要展示一副与关键点(所述关键点为建筑物投影表面各个不连续面形成的交线以及各条交线的交点，如建筑物窗户的角点等)位置无关的效果，则直接将建筑物表面当作平片制作素材即可；如果需要展示与关键点位置相关的效果，则需要沿着照片中建筑物表面关键点位置以及连接关键点的直线制作特效，以达到具有3D效果的多媒体视频制作的目的。
[0046]步骤5.2，互动媒体合成:使用游戏开发引擎(如Flash、Unity3D等)将上述图片素材合成，并添加网络(如TCP/IP)等接口，用于接收新型人机交互技术输入的用户互动信息，图片素材与用户动作结合形成互动媒体。
[0047]步骤6，现场安装架设投影机以及人机互动设备:
[0048]现场安装架设投影机，并调整各台投影机位置及角度以充满整个有效投影区域；现场安装人机互动设备，并调试设备的参数(如灵敏度等)。
[0049]步骤7，多投影拼接融合:
[0050]使用手动或者自动投影拼接方法完成建筑表面投影拼接，以实现多投影机融合区域的对准以及投影视频与建筑表面关键点位置的对准。一般，对于表面形状简单的建筑投影采用手动拼接融合的方式调整，对于表面形状复杂，很难通过手动方式完成投影拼接的表面采用基于结构光扫描的自动投 影拼接方法进行多投影几何校正。
[0051]手动建筑表面投影拼接方法与现有的平面、曲面等手动拼接融合方法类似，都是通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角同样调整成直线，并进行颜色校正及融合区域亮度衰减。
[0052]自动建筑表面投影拼接方法使用基于结构光扫描的自动投影拼接方法进行多投影几何校正，其具体步骤为:
[0053]步骤7.1，在与步骤I相同的位置架设相机，相机的角度焦距等参数与步骤I记录的数据相同，该相机能够拍摄到投影表面；
[0054]步骤7.2，根据有效投影区域四个角点在相机图像坐标系下的位置以及待投影区域四个角点在显示图像坐标系下的位置，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd ；
[0055]步骤7.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立任意一台投影机图像空间与相机图像之间的对应关系Ma，i=l，2，…，N，N为投影机数量。例如采用Gray Code+Phase Shifting编码结构光扫描方法求取第i台投影机图像空间与相机图像空间之间的对应关系Mci的步骤如下:
[0056]步骤7.3.1，有效编码区域获取:控制投影机先后投射一副白色和黑色的图像，通过图像差分以及二值化图像处理即可得到有效编码区域，即对上述两张照片对应位置的像素做差值，对差值图像进行二值化处理，白色部分为有效编码区域，黑色部分为无效编码区域；
[0057]步骤7.3.2，对第i台投影机的有效投影区域进行纵向编码和横向编码；[0058]步骤7.3.3，通过使用随机抽样一致(RANSAC)算法等方法除去错误编码；
[0059]步骤7.3.4，将相机图像空间划分为mXn个网格，通过上述编码找到网格交点在投影图像空间中的对应点，对网格内的点使用双线性差值的方法计算其在在投影图像空间中的对应点位置。
[0060]步骤7.4，结合相机图像空间与显示图像空间之间的对应关系Hd以及任意一台投影机图像空间与相机图像之间的对应关系Ma，得到显示图像空间之间与任意一台投影机图像空间中点的对应关系，也就是求取了需要显示的图像中每个像素在每台投影机图像中应该处于的位置；
[0061]步骤7.5，进行颜色校正以及融合区域亮度衰减。
[0062]步骤8，渲染互动媒体:
[0063]通过人机互动设备采集用户互动的原始数据(如体感互动中的深度图像、激光互动中的可见光图像、语音互动中的语音和移动终端互动中终端发送的数据等)，根据不同的数据类型使用步骤5所描述的数据处理方法得到用户互动数据，通过TCP/IP网络协议实时将上述互动数据发送给互动媒体,互动媒体根据接收到信息的不同依照制作互动媒体时预设的程序步骤，实时调用相应的素材以及特效，从而完成互动媒体渲染，即实时生成了预期投影图像。
[0064]步骤9，使用融合服务器读取经步骤7生成多投影几何校正后的校正数据，根据步骤7得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了互动媒体的投影拼接渲染，同时使用渲染控制服务器利用TCP/IP协议通过所有融合服务器协调各台投影机同步播放经步骤8得到的互动媒体。
[0065]综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种互动的建筑物表面投影方法，其特征在于，以建筑物外表面为投影平面，以多台投影机为显示设备，通过采用手动或自动投影拼接的方法对投影图像进行投影拼接，通过各台投影机投影内容与建筑表面关键点的对准，完成多投影拼接并利用建筑面表面关键点达到3D效果，其中，关键点为建筑外表面各个不连续面形成的交线以及各条交线的交点；设置游戏开发引擎和人机互动设备，其中，人机互动设备用于收集用户的动作，游戏开发引擎设有端口用于接收人机互动设备发回的用户的动作信息，用户的动作信息与投影图像结合形成互动媒体。
2.如权利要求1所述的互动的建筑物表面投影方法，其特征在于，包括以下步骤: 步骤1，确定投影表面及观看者位置，使用相机在观看者所在位置拍摄投影表面的照片; 步骤2，根据投影表面的材质、现场光照条件以及项目预算确定投影机参数、投影机数量以及投影机位置布置； 步骤3，采用手动或自动方法确定有效投影区域: 手动方法确定有效投影区域方法如下:手动选取一个能够包围整个建筑区域的矩形作为有效投影区域； 自动方法确定有效投影区域方法如下:根据步骤I照片中建筑物区域亮度与背景亮度的不同，使用图像处理方法求取建筑物区域，取该区域的最小外接矩形作为有效投影区域； 步骤4，确定互动方案:根据项目要求以及项目现场条件确定采用的互动技术，所述互动技术包括体感互动、激光互动、语音互动和移动终端互动技术； 步骤5，具有3D效果的互动媒体制作: 以步骤I得到的照片作为互动媒体制作的模板，使用视频制作软件进行素材制作，得到连续的图片素材；当需要展示与关键点位置相关的效果时，沿着照片中建筑物表面关键点位置以及连接关键点的直线制作3D特效；设置游戏开发引擎，用于合成图片素材，并预留端口用于接收人机互动设备发回的用户动作信息，图片素材与用户动作结合形成互动媒体； 步骤6，现场安装架设投影机，调整各台投影机位置及角度以充满整个有效投影区域；现场安装人机互动设备，并调试设备的参数； 步骤7，使用手动或自动投影拼接方法进行多投影几何校正； 其中，所述手动投影拼接方法如下:通过手动拖动网格使投影表面的关键点位置与投影视频对齐，同时将图像空间中的一条直线在观看者视角同样调整成直线，并进行颜色校正及融合区域亮度衰减； 所述自动投影拼接方法是基于结构光扫描的自动多投影拼接的，具体步骤为: 步骤7.1，在与步骤I相同的位置架设相机，相机参数设置与步骤I相机参数相同，该相机能够拍摄到投影表面； 步骤7.2，根据有效投影区域四个角点在相机图像坐标系下的坐标以及待投影区域四个角点在显示图像坐标系下的坐标，利用单应矩阵计算相机图像空间与显示图像空间之间的对应关系Hd ； 步骤7.3，针对每台投影机覆盖的建筑表面区域，分别使用编码结构光扫描的方法建立每台投影机图像空间与相机图像之间的对应关系Μα，i=l,2,…，N, N为投影机数量； 步骤7.4，结合相机图像空间与显示图像空间之间的对应关系Hd以及任意一台投影机图像空间与相机图像之间的对应关系Ma，得到显示图像空间与任意一台投影机图像空间的对应关系； 步骤7.5，对待显示图像进行颜色校正以及融合区域亮度衰减； 步骤8，通过人机互动设备采集得到用户互动数据，用户互动数据通过网络实时发送给互动媒体，互动媒体根据接收到信息依照制作互动媒体时预设的程序步骤，实时调用相应的素材以及特效，完成互动媒体渲染； 步骤9，根据步骤7得到的显示图像空间与任意一台投影机图像空间的对应关系，将显示图像空间中的点映射到其对应的投影机图像空间中相应位置，依次完成每台投影机中所有点的对应即完成了互动媒体的投影拼接渲染，通过网络让所有投影机同步播放经步骤8得到的互动媒体。
【文档编号】G06T15/00GK103500438SQ201310495344
【公开日】2014年1月8日 申请日期:2013年10月21日 优先权日:2013年10月21日
【发明者】刘越, 李翔, 翁冬冬, 杨涛, 陈锋 申请人:北京理工大学