一种数字化虚实交互系统及方法
【专利摘要】本发明公开了一种数字化虚实交互系统及方法，该系统硬件包括手势采集设备、处理设备以及显示设备。该方法包含如下步骤：（1）跟踪捕捉摄像机采集到的用户指尖的运动轨迹；（2）在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹；（3）提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；（4）搭建三维模型库，通过语义管理图形库中的三维模型；（5）根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；（6）用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。本发明将适用于数字娱乐、虚拟设计、虚实互动、虚拟教学等多种应用领域。
【专利说明】一种数字化虚实交互系统及方法
【技术领域】
[0001]本发明涉及一种数字化虚实交互系统及方法，属于计算机图形图像处理及虚拟现实研究领域。
【背景技术】
[0002]虚实交互是目前人机交互领域的重要发展方向，基于虚实结合技术，为用户提供一个充满想象力但又具真实感的环境，使用户经历前所未有的体验，也可完成协同设计、训练、教学等目标功能。使用摄像机采集用户真实的信息(包括手势信息等)，将其与三维虚拟世界相结合，构建虚实混合环境，是一种很自然的虚实交互方法，但是如何能够通过用户随机的即兴发挥，生成用户心中想要的三维场景并与之交互，目前还没有成熟的技术。
[0003]在艺术创作领域，手绘草图是一种常用的用户表达方式，也是艺术家重要的思维方式和创意创造过程，是一种通过画面诱导获取创意的技术。手绘草图的数字化目前国内外也都有研究，通过对手绘草图的分析和识别来转换为数字化产品，再应用于教学、艺术/服装/建筑设计等多个领域。但是这种处理也仅限于从二维到二维的过程，龚健等在文献“龚健，费广正，石民勇，曹玮，基于手绘草图轮廓检索的简笔绘图系统，2008系统仿真技术及其应用学术会议论文集，pp.761-764”中利用基于手绘草图轮廓的图像检索技术实现了用于二维图像绘制的简笔绘图系统，用户利用检索出来的图像可做进一步的编辑，既能保证绘图的基本质量，又提高了绘图的效率。CMU的Wing Ho Leung 等在文献 “Wing Ho Leung, Tsuhan Chen, Hierarchical Matching forRetrieval of Hand-Drawn Sketches, International Conference on Multimedia andExpo-Volume2, 2003, pp.29-32”中提出了手绘草图的层次化匹配检索方法，通过对用户手绘的逐个笔画进行匹配并考虑其空间关系来进行检索，减少了计算量，但仍然属于二维处理的过程。
[0004]本发明旨在将用户手绘草图即用户实时绘制过程与图像检索和识别、三维环境渲染、用户交互集成在一起，实现中国传统文化中家喻户晓的“神笔马良”的故事效果，用户在操作平台徒手操作，即可看到相应的三维模型在虚拟环境中自然出现(当然也包括二维图像的编辑与交互)，并可与用户交互运动。本发明主要涉及的技术包括用户手绘轨迹的跟踪、二维图像形状检索、语义识别及三维模型加载、虚实交互等。本发明中采集到的用户手势输入痕迹可形成二维图像，利用其形状特征即可进行语义的检索与识别，通过图形库中加载对应的三维模型，即可渲染虚拟环境，实现沉浸式虚实交互功能。
【发明内容】
[0005]本发明解决的技术问题是:通过采集用户指尖的运动轨迹，进行二维或三维虚实交互。二维交互功能包括:将手势轨迹转换为图像形状，检索图像库中具有该形状的图像并显示，用户可通过手势动作对图像进行缩放、旋转、编辑等操作；三维交互功能包括:通过用户手绘轨迹形成的图像识别出其语义，再根据语义检索图形库中的三维模型，绘制相应的虚拟环境，用户可通过手势动作与虚拟环境交互。
[0006]本发明的技术解决方案为研究并实现数字化虚实交互系统及方法，其中系统硬件包括手势采集设备(摄像机或触摸屏)、处理设备(主机)以及显示设备(显示器或触摸屏)。采用的方法包含如下步骤:(I)跟踪捕捉摄像机采集到的用户指尖的运动轨迹；(2 )在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹；(3)提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；(4)搭建三维模型库，通过语义管理图形库中的三维模型；(5)根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；(6)用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。
【专利附图】
【附图说明】
[0007]图1是数字化虚实交互系统结构示意图；
[0008]图2是系统流程图；
[0009]图3是用户指尖运动轨迹绘制流程图。
【具体实施方式】
[0010]以下，参照附图，对本发明的具体状态作说明，但是本发明不限于图示例。
[0011]如图1所示，数字化虚实交互系统由手势采集设备(摄像机或触摸屏)、处理设备(主机)以及显示设备(显示器或触摸屏)组成。如果采用摄像机进行图像采集，则使用显示器进行显示，要求摄像机采集的帧速不小于15fps，否则延迟会比较大，影响用户进行虚实交互的效果。
[0012]如果使用触摸屏，则可以同时捕捉并显示(通过记录点击位置)用户的指尖运动轨迹，主机负责进行核心处理工作。
[0013]如图2所示，数字化虚实交互方法包括以下步骤:
[0014](I)跟踪捕捉摄像机采集到的用户指尖的运动轨迹；
[0015](2)在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹，实现用户手绘草图的实时绘制功能；
[0016](3)提取运动轨迹形成的轮廓，检测其形状并赋予文字语义；
[0017](4)搭建三维模型库，通过语义管理图形库中的三维模型；
[0018](5)根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境；
[0019](6)用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。
[0020]如图3所示，上述步骤(2)中在显示器上实时绘制轨迹曲线的流程如下:①摄像机采集当前帧；②判断当前帧数，设置前20帧的判断是为了得到稳定的背景图像，以保证后续处理的准确性，20帧之后，用户开始操作；③用当前帧图像与背景图像作差，得到前景图；④将前景图转换为二值图，以便能更清楚地计算用户当前的指尖位置；⑤用OpenCV开源库中cvPoint函数显示当前指尖位置的坐标点；⑥通过曲线拟合连接上一帧与当前帧的位置点，并且存储用户连续画下的每个指尖点的信息，每一帧都显示至今为止画出的轨迹线，即可清楚地显示用户指尖的运动轨迹。曲线拟合可以用OpenCV中的cvLine函数连接两个相邻坐标点来实现。[0021]上述步骤(2)中在触摸屏上记录用户指尖轨迹的方法为:用户每次在触摸屏上用指尖触碰一个位置，就在该位置上绘制对应的点，通过曲线拟合将上一帧与当前帧的位置点连接起来，形成运动轨迹。
[0022]数字化虚实交互方法步骤(3)是提取运动轨迹形成的轮廓并识别，为进行此步骤，需要做一项离线数据准备工作，即建立二维形状图像库，该图像库包含了基本形状(如圆形、方形、三角形、菱形等)、日常生活常用形状(如杯子、桌、椅、树、气球等)及复杂形状(如飞机、轮船、房子等)至少十种以上、100张以上的二维形状图像，以便于匹配当前用户手绘草图的形状。在图像库建立的基础上，数字化虚实交互方法步骤(3)提取运动轨迹形成的轮廓并识别的步骤为:
[0023]①使用OpenCV中的轮廓提取函数cvFindContours提取用户指尖运动轨迹形成的轮廓；
[0024]②对得到的轮廓contours,计算其归一化的傅里叶描述子,过程如下:
[0025]Stepl.设轮廓曲线由逆时针排列的N个序列点组成，分别记为
P0 (x0, y0), Pl (Xl, Υι)......Pn-1 (x(N-1).Y(N-1))，根据下式计算这N个点的离散傅里叶变换系数
z(k)作为傅里叶描述子:
【权利要求】
1.一种数字化虚实交互系统，该系统包括:手势采集设备、处理设备以及显示设备，如果用摄像机进行图像采集，则使用显示器进行显示，否则使用触摸屏同时捕捉并显示用户的指尖运动轨迹，处理设备负责进行核心处理工作。
2.一种数字化虚实交互方法，其特征在于包括以下步骤: (1)跟踪捕捉摄像机采集到的用户指尖的运动轨迹； (2)在显示器上实时绘制轨迹曲线，或用触摸屏显示并记录用户指尖留下的轨迹； (3)提取运动轨迹形成的轮廓并识别其形状，赋予文字语义； (4)搭建三维模型库，通过语义管理图形库中的三维模型； (5)根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境； (6)用户与三维模型及虚拟环境动态交互，实现数字化的虚实交互功能。
3.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(2)中在显示器上实时绘制轨迹曲线的方法为: (2.1)通过背景差方法，从摄像机采集到的当前帧图像中计算用户指尖此时画出的位置点信息； (2.2)通过曲线拟合连接上一帧与当前帧的位置点，并且存储用户连续画下的每个指尖点的信息，每一帧都显示至今为止画出的轨迹线，即可清楚地显示用户指尖的运动轨迹。
4.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(2)中在触摸屏上记录用户指尖轨迹的方法为:用户每次在触摸屏上用指尖触碰一个位置，就在该位置上绘制对应的点，通过曲线拟合将上一帧与当前帧的位置点连接起来，形成运动轨迹。
5.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(3)中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤包含一个离线的数据准备工作，即建立二维形状图像库，包括基本形状和多种复杂形状的二维图像。
6.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(3)中提取运动轨迹形成的轮廓并识别其形状，赋予文字语义的步骤为: (3.1)使用OpenCV中的轮廓提取函数cvFindContours提取运动轨迹形成的轮廓； (3.2)对得到的轮廓contours,计算其归一化的傅里叶描述子,公式如下:
7.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(4)中搭建三维模型库的步骤为: (4.1)根据文字语义为数据库的主键，来组织数据库的条目内容；(4.2)所存储的三维模型都具有在统一的世界坐标系下的三维坐标，便于导入系统中； (4.3)所存储的模型导入系统之后，能在系统驱动下与用户交互，形成一个具有沉浸感的虚实交互系统。
8.根据权利要求2所述的数字化虚实交互方法，其特征在于所述步骤(5)中根据用户手绘轨迹的语义检索三维模型库，加载对应的三维模型并显示三维虚拟环境的方法为: (5.1)根据用户手绘轨迹的文字语义，检索三维模型库的主键； (5.2)使用OpenGL将对应的三维模型导入到系统中； (5.3)根据导入的三维模 型，系统选择对应的虚拟环境并渲染出来。
【文档编号】G06T15/02GK103823554SQ201410012952
【公开日】2014年5月28日 申请日期:2014年1月12日 优先权日:2014年1月12日
【发明者】张淑军 申请人:青岛科技大学