隔空电子翻书方法及系统的制作方法
【专利摘要】本发明提供隔空电子翻书方法及系统，包括：通过摄像头实时采集画面，并对画面进行逐帧比较分析；根据画面分析结果获取肢体动作数据，识别肢体动作；当肢体动作被识别为翻书动作时，触发远距离投射的书体进行相应的翻书操作。本发明可以通过逐帧比较摄像画面来捕捉肢体动作，从而进行精准的肢体识别，实现自小区域范围触发远距离投射的大书体进行相应的翻书操作过程，技术新颖独到，互动感强，适用于各种不同的场合，可以灵活变换书体的投放方式和触发形式，能够使观众对相应书体内容的保持深刻的印象。
【专利说明】隔空电子翻书方法及系统
【技术领域】
[0001]本发明涉及交互感应领域，尤其涉及隔空电子翻书方法及系统。
【背景技术】
[0002]电子翻书主要应用于规划展览馆、博物馆、酒店、房地产等方面，用于以电子书本的形式展现用户需要展示的文本内容，能让观众在娱乐互动的同时阅读获取相关信息。继2010年上海世博会之后，在国内兴起了很多科技含量高的多媒体展项，电子翻书也是其中
之一 O
[0003]近两年多来，电子翻书都是通过一个书台，采用投影机正面投射至书台上，以供观众书体触发式翻阅，在技术层面上，现有技术是通过投影机将画面显示在书台上，再通过感应来捕捉人体手部动作，从而进行触发实现书体翻阅。
[0004]由此可见，这种翻阅的方式是人们习以为常的，技术方案陈旧，没有创新。并且现有技术中书体模型的显示区域、显示范围都会受到较大的局限，对于一些技术要求更高的显示效果很难实现。
【发明内容】
[0005](一 )要解决的技术问题
[0006]本发明提供了隔空电子翻书的方法与系统，可以通过远距离的小区域范围触发翻书动作投射到大书体之上，技术新颖独到，解决了现有技术方案陈旧、书体显示区域受限的问题。
[0007]( 二 )技术方案
[0008]本发明提供隔空电子翻书方法，包括:
[0009]通过摄像头实时采集画面，并对画面进行逐帧比较分析:
[0010]将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中，根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中；
[0011]根据画面分析结果获取肢体动作数据，识别肢体动作:
[0012]从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果；
[0013]当肢体动作被识别为翻书动作时，触发远距离投射的书体进行相应的翻书操作。
[0014]进一步地，所述翻书操作包括:加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
[0015]进一步地，所述方法还包括:实时截取所述书体图像数据并针对所投射介质进行图像校正。[0016]进一步地，所述方法还包括:通过融合渲染技术实现多个书体图像的无缝拼接。
[0017]另一方面，本发明还提供隔空电子翻书系统，包括:仿射变换模块、肢体识别模块和翻书特效模块，其中:
[0018]仿射变换模块，用于通过摄像头实时采集画面，将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中。根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中；
[0019]肢体识别模块，用于接收仿射变换模块的画面分析结果，从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果当肢体动作被识别为翻书动作时，将指令传送至翻书特效模块；
[0020]翻书特效模块，用于接收肢体识别模块所识别的翻书动作指令，触发远距离投射的书体进行相应的翻书操作。
[0021]进一步地，所述翻书特效模块包括:图像处理单元，用于加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
[0022]进一步地，所述系统还包括:校正模块，用于实时截取所述书体图像数据并针对所投射介质进行图像校正。
[0023]进一步地，所述系统还包括:融合模块，用于通过融合渲染技术实现多个图像的无缝拼接。
[0024]进一步地，书体图像距离摄像画面采集区域为2至3米。
[0025]进一步地，所述系统还包括:红外灯，用于增强摄像头的亮度和捕捉的灵敏度，所述红外灯投射的范围在摄像画面的中央区域。
[0026](三)有益效果
[0027]可见，本发明提供的隔空电子翻书方法及系统中，可以通过逐帧比较摄像画面来捕捉肢体动作，从而进行精准的肢体识别，实现自小区域范围触发远距离投射的大书体进行相应的翻书操作过程，技术新颖独到，互动感强，适用于各种不同的场合，可以灵活变换书体的投放方式和触发形式，能够使观众对相应书体内容的保持深刻的印象。
[0028]另外，本发明的方法及系统不拘泥于单一投影机所投射的书体图像，当所需的书体图像较大时，可以通过校正融合的方式来对书体图像进行渲染拼接，使得在多通道投影的情况下可以将其无缝融合为一个整体的大幅画面，大大提高了本发明的实际应用价值和用户体验。
【专利附图】
【附图说明】
[0029]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0030]图1是本发明隔空电子翻书方法的基本流程示意图；[0031]图2是本发明隔空电子翻书方法的一个优选实施例流程示意图；
[0032]图3是本发明隔空电子翻书系统的基本结构示意图；
[0033]图4是本发明隔空电子翻书系统的一个优选实施例结构示意图。
【具体实施方式】
[0034]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]本发明实施例提出了一种隔空电子翻书方法，如图1所示，包括:
[0036]步骤101:通过摄像头实时采集画面，并对画面进行逐帧比较分析:
[0037]将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中，根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中。
[0038]步骤102:根据画面分析结果获取肢体动作数据，识别肢体动作:
[0039]从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果。
[0040]步骤103:当肢体动作被识别为翻书动作时，触发远距离投射的书体进行相应的翻书操作。
[0041]可见，在本发明实施例提出的隔空电子翻书方法中，可以通过逐帧比较摄像画面来捕捉肢体动作，从而进行精准的肢体识别，实现自小区域范围触发远距离投射的大书体进行相应的翻书操作过程，技术新颖独到，互动感强，适用于各种不同的场合，可以灵活变换书体的投放方式和触发形式，能够使观众对相应书体内容的保持深刻的印象。
[0042]并且，在本发明实施例中，为了更加逼真生动地实现翻书效果，优选地，可以通过如下方法进行翻书操作:加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
[0043]在本发明的一个实施例中，为了使书体图像不失真且画面形态灵活，还可以实时截取书体的图像数据并针对所投射介质进行图像矫正，以使图像的投射效果能够适应不同的介质。
[0044]在实际应用中，当需要使用的书体较大，通过一个投影机无法实现书体投射时，可以采用多台投影机拼接图像，并且通过融合渲染技术实现多个图像的无缝拼接。
[0045]下面针对一个搭建隔空电子翻书系统的具体实施例，来详细说明本发明隔空电子翻书方法的具体实现过程，如图2所示:
[0046]步骤201:开启摄像头和红外灯。
[0047]本系统中，将摄像机与红外灯安装在感应区域上方，摄像头朝正下方投射捕捉画面，为了增强摄像头的亮度和捕捉的灵敏度，令红外灯打出的范围在摄像头捕捉画面的中央位置。[0048]步骤202:对摄像头所捕捉的画面进行仿射变换。
[0049]当摄像头开启成功后，对摄像头实时捕捉的画面进行仿射变换，本步骤中，将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中。根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中。
[0050]步骤203:对仿射变换的结果进行肢体动作识别。
[0051]本步骤中，从缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果，来判断所捕捉到的肢体动作是否为翻书动作。
[0052]步骤204:根据步骤203中的肢体识别结果判断是否需要进行翻书操作，如果需要，则触发进行翻书操作；如果不需要，则回到步骤202继续进行仿射变换。
[0053]本步骤中，如果判断需要进行翻书操作，则加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
[0054]步骤205:对需要显示的画面进行校正融合。
[0055]本发明实施例采用不止一个投影机，本步骤中，需要对图像数据进行校正，使其能够映射到指定的书体模型上，并且对多个图像数据进行拼接融合。具体做法是:利用网格校正的方法，实时截取书体的图像数据并针对所投射的介质进行校正，并采用桌面级融合体系，通过融合渲染技术实现多个图像的无缝拼接。
[0056]步骤206:显示最终处理的图像。
[0057]本发明实施例中是利用多个投影机来显示书体图像，安装在距离感应区域约2-3米处，此为最佳观赏距离。投影机吊架至墙顶，投射至墙面书体模型。
[0058]至此，则完成了隔空电子翻书方法的整个过程。
[0059]另外，需要说明的是，上述基于图2的所有流程描述是本发明隔空电子翻书方法的一种优选的实现过程，在本发明隔空电子翻书方法的实际实现中，可以根据需要在图1所示流程的基础上进行任意变形，可以是选择图2中的任意步骤来实现，各步骤的先后顺序也可以根据需要调整等。
[0060]本发明的一个实施例中，还提出了一种隔空电子翻书系统，参见图3，包括:
[0061]仿射变换模块301，用于通过摄像头实时采集画面，将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中。根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中；
[0062]肢体识别模块302，用于接收仿射变换模块的画面分析结果，从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果当肢体动作被识别为翻书动作时，将指令传送至翻书特效模块；
[0063]翻书特效模块303，当用于接收肢体识别模块所识别的翻书动作指令，触发远距离投射的书体进行相应的翻书操作。
[0064]在本发明实施例中，为了更加逼真生动地实现翻书效果，优选地，翻书特效模块303可以包括:图像处理单元401，如图4所示。用于加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
[0065]在本发明的一个实施例中，为了使书体图像不失真且画面形态灵活，优选地，系统还可以包括:校正模块402，用于实时截取所述书体图像数据并针对所投射介质进行图像校正。
[0066]在本发明的实际应用中，当需要使用的书体较大，通过一个投影机无法实现书体投射时，系统还可以包括:融合模块403，用于实时截取书体的图像数据，并且通过融合渲染技术实现多个图像的无缝拼接。
[0067]在本发明的一个实施例中，为了取得肢体感应和书体投射的最佳效果，使客户有一个最佳的观赏距离，优选地，书体图像可以距离摄像画面采集区域2至3米。
[0068]在本发明的另一个实施例中，为了增强摄像头的亮度和捕捉的灵敏度，摄像系统还可以包括:红外灯，使其投射的范围在摄像画面的中央区域。
[0069]需要说明的是，上述图3、图4所示的隔空电子翻书系统的各个实施例的结构可以进行任意组合使用。
[0070]可见，本发明实施例具有如下有益效果:
[0071]在本发明实施例提出的隔空电子翻书方法及系统中，可以通过逐帧比较摄像画面来捕捉肢体动作，从而进行精准的肢体识别，实现自小区域范围触发远距离投射的大书体进行相应的翻书操作过程，技术新颖独到，互动感强，适用于各种不同的场合，可以灵活变换书体的投放方式和触发形式，能够使观众对相应书体内容的保持深刻的印象。
[0072]另外，本发明实施例的方法及系统不拘泥于单一投影机所投射的书体图像，当所需的书体图像较大时，可以通过校正融合的方式来对书体图像进行渲染拼接，使得在多通道投影的情况下可以将其无缝融合为一个整体的大幅画面，大大提高了本发明的实际应用价值和用户体验。
[0073]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【权利要求】
1.隔空电子翻书方法，其特征在于，包括: 通过摄像头实时采集画面，并对画面进行逐帧比较分析: 将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中，根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中； 根据画面分析结果获取肢体动作数据，识别肢体动作: 从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果； 当肢体动作被识别为翻书动作时，触发远距离投射的书体进行相应的翻书操作。
2.根据权利要求1所述的隔空电子翻书方法，其特征在于，所述翻书操作包括:加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
3.根据权利要求1至2任一项所述的隔空电子翻书方法，其特征在于，所述方法还包括:实时截取所述书体图像数据并针对所投射介质进行图像校正。
4.根据权利要求1至2任一项所述的隔空电子翻书方法，其特征在于，所述方法还包括:通过融合渲染技术实现多个书体图像的无缝拼接。
5.隔空电子翻书 系统，其特征在于，包括:仿射变换模块、肢体识别模块和翻书特效模块，其中: 仿射变换模块，用于通过摄像头实时采集画面，将采集到的摄像画面从混合像素编码形式转成可供内存直接加载的像素编码，再转换为黑白图，将所述黑白图映射到一张纹理之上，通过点校正获取实际触发区域四顶点并保存到配置表中。根据仿射后的新纹理数据进行表面采样，与上一帧画面进行纹理表面数据逐个比较，超出容忍值的像素被保存至一个缓存区之中； 肢体识别模块，用于接收仿射变换模块的画面分析结果，从所述缓存区中获取超出限制容忍值的像素数据，通过手势识别、肢体解析算法处理后返回肢体动作识别结果当肢体动作被识别为翻书动作时，将指令传送至翻书特效模块； 翻书特效模块，用于接收肢体识别模块所识别的翻书动作指令，触发远距离投射的书体进行相应的翻书操作。
6.根据权利要求5所述的隔空电子翻书系统，其特征在于，所述翻书特效模块包括:图像处理单元，用于加载需要渲染的页面纸张，将图像数据加载到纹理中，将纹理贴到纹理网格，网格的每一个点都随其中任意一点做翻书的线性变换；设置点光源，赋予纹理予材质，同时产生阴影与光暗交错的特效。
7.根据权利要求5所述的隔空电子翻书系统，其特征在于，所述系统还包括:校正模块，用于实时截取所述书体图像数据并针对所投射介质进行图像校正。
8.根据权利要求5所述的隔空电子翻书系统，其特征在于，所述系统还包括:融合模块，用于通过融合渲染技术实现多个图像的无缝拼接。
9.根据权利要求5至8任一项所述的隔空电子翻书系统，其特征在于，书体图像距离摄像画面采集区域为2至3米。
10.根据权利要求5至8任一项所述的隔空电子翻书系统，其特征在于，所述系统还包括:红外灯，用于增强摄像头的亮度和捕捉的灵敏度，所述红外灯投射的范围在摄像画面的中央区域。`
【文档编号】G06F3/01GK103455146SQ201310396609
【公开日】2013年12月18日 申请日期:2013年9月4日 优先权日:2013年9月4日
【发明者】李帅, 周新华 申请人:湖南华凯创意展览服务有限公司, 上海华凯展览展示工程有限公司