一种磁场可视化及交互方法
【专利摘要】一种磁场可视化及交互方法，该方法主要包括磁感线建模，体感捕获和合成渲染；使用三维建模工具和图形引擎构建磁铁和磁感线模型，并实时计算磁铁周围磁场变化；将构建好的模型移植到Kinect环境中调试，调整交互方式和坐标系系统；利用Kinect自带的普通摄像头捕获真实图像，将磁感线模型与捕获到的图像实时渲染得到合成的交互式场景。利用Kinect自带的红外摄像头，捕获用户与设备的距离，实现对模型的交互控制。本发明应用于中学物理教学，设备简单，交互行为自然、方便，学习者可随时通过手势移动磁铁，观察磁感线的变化规律，达到较好的教学效果。
【专利说明】一种磁场可视化及交互方法
【技术领域】
[0001]本发明属于物理教学实验领域，具体地说，是一种磁铁和磁感线模型的制作方法，该方法为基于增强现实技术和体感设备的磁场可视化及交互方法，应用于中学物理课堂教学或学生自主实验。
【背景技术】
[0002]实验是人类认识世界的主要方法，在教育领域中，实验教学更是完整的教学体系中不可缺少的一部分。实验是学生验证课堂中学到的知识、将课堂中学到的知识转化为实践能力和探究新知识的重要手段，无论是从培养科学思维能力还是提高实践和创造能力来看，实验教学都是非常重要的。
[0003]实验教学在培养科学思维能力还是提高实践和创造能力方面都起着举足轻重的作用，然而，由于我国大部分中学中的物理实验环境并不理想，很多仪器不够先进，实验室也不具备开展课堂教学的条件，所以我国现在大部分中学物理实验教学仍然处于薄弱环节。
[0004]在计算机技术飞速发展和教育信息化的背景下，实验教学所面临的困难迎来了新的机遇。随着各种新技术不断地被应用到教学研究和实践当中，特别是实验教学的环境当中，如何合理有效的运用这些新技术成为教育研究的热点问题。
[0005]2006年，我国的《教育部2006年职业教育工作要点》中就提出要“加强数字图书馆、数字博物馆和虚拟实验室等应用工程建设”。在我国的《国家中长期教育改革和发展规划纲要(2010 - 2020年)》(《国家中长期教育改革和发展规划纲要(2010 — 2020年)》)中也提到要“建立数字图书馆和虚拟实验室”，“强化信息技术应用”，“鼓励学生利用信息手段主动学习、自主学习，增强运用信息技术分析解决问题能力”。在虚拟实验室中开展虚拟实验教学不仅从一定程度上解决教育资源分布不均的情况，通过模拟在现实中无法实现的场景，给学生提供更多的实验机会。
[0006]虚拟实验是虚拟现实技术(Virtual Reality)(虚拟现实技术[J].航空计算技术，1994，(01))引入教育中产生的新的实验方式。从20世纪80年代中期起，在政府虚拟实验室示范工程的推动和引领下欧美各大高校和研究机构相继推出了自己的虚拟实验软件和平台。如美国联邦宇航局根据哈勃望远镜观测数据推出了一系列天体物理虚拟实验软件，在其中的卫星通信仿真实验，实验者可以在浏览器中点击或者拖拽鼠标就能完成实验；基于麻省理工学院的WebLab在线实验系统，新加坡微电子学科的学生点击菜单选择合适的“仪器”就能获得来自MIT实验室的数据；卡耐基-梅隆大学的虚拟实验室将函数发生器、数字万用表、数字示波器连接到实验系统中。
[0007]增强现实(Augmented Reality,简称AR,是虚拟现实的延伸)可以看作是虚拟现实技术的延伸，是把计算机生成的二维或三维的虚拟信息融合到用户所要体验的真实环境中的一种技术，与虚拟现实技术几乎同时出现，但是由于当时硬件设备与图形学研究本身的限制，AR技术没有显著的进展。从20世纪90年代开始增前现实应用逐渐增多，出现了部分增强现实的虚拟实验。例如一种多媒体艺术混合现实学习环境-SMALLab (Johnson-Glenberg, M.C., Birchfield, D., Savvides, P.&Megowan-Romanowicz, C.(2010)Sem1-virtual Embodied Learning - Real World STEM Assessment.1n L.Annetta&S.Bronack(eds.) Serious Educational Game Assessment:PracticalMethods and Models for Educational Games, Simulations and Virtual Worlds.SensePublications, Rotterdam.p225_241.),可以实现让学习者在一个计算机模拟的协作多媒体空间中通过全身的三维运动以及手势进行学习。这种虚拟实验注重虚拟与现实的结合，通过在现实环境之中设置虚拟信息，让学习者使用计算机或移动设备在虚实融合环境中与学习内容互动。可以说，增强现实技术已经成为虚拟现实研究中的一个重要领域，也是人机界面技术发展的一个重要方向。
[0008]在教育领域中，增强现实技术的优势也十分突出，对于教育工作者而言，基于增强现实的教学是一种全新、独特的教学体验；借助于增强现实技术的学习和实验工具可以帮助学生去探索学习知识的过程和深层次地认识知识的本质，从一定程度上有效解决了真实条件下实验教学的限制问题。
[0009]体感交互是人机交互技术(Human-Computer Interaction Techniques)最新发展成果。体感交互是继虚拟现实交互之后出现的一种新的交互方式，其中体感一词来源于体感游戏，体感游戏是一种通过感知身体动作来进行操作控制的电子游戏，由此引申而来的体感技术是指身体动作识别技术和以此来进行软硬件操控的技术。最初体感器都是通过手持内置了三轴加速度传感芯片的设备来模拟输出用户的动作，使用这些设备人们可以更容易的与机器进行交互，但是还是没有彻底摆脱这些设备的限制，直到微软的Kinect面世人们才找到了摆脱设备限制的交互输入方式。
[0010]2011年11月份微软为其XBox游戏机发布了一款称为Kinect的体感器，由于其先进的理念和良好的用户体验，由此引发一股研究热潮，Kinect也几乎成为时下体感的代名词。各行各业也在迅速展开相关的研究，其中以机器人研究、三维测绘和医疗护理领域进展最快。回归到教育领域，虽然Kinect所代表的体感技术会给教育实践带来什么样的变化现在还没有公认的结论，但有理论研究已经表明，Kinect能够增强教学环境的交互性，增加学生的参与性，提高教师呈现和操作多媒体材料的能力，并且能够创造交互和交流的机会(Hsu H J.The potential of Kinect in education [J].International Journal ofInformation and Education Technology, 2011, I (5):365-370.);同时，将 Kinect 应用到教育领域中的实例也开始逐渐增多，例如Chang Y J等三位学者开发的基于Kinect系统的物理修复设备(Chang Y J, Chen S F，Huang J D.A Kinect-based system for physicalrehabilitation:A pilot study for young adults with motor disabilities [J].Research in developmental disabilities, 2011, 32(6):2566-2570)等。这些实例表明，Kinect对于解决虚拟实验交互方式存在的信息迁移的问题方面，有自己独特的优势。
【发明内容】
[0011]本发明要解决的技术问题是:克服当前磁铁与磁感线实物实验效果不佳、现象不明显，而虚拟实验临场感不强、表现力较弱的缺点，提供一种磁场可视化及交互方法。这种制作方法流程简单、形象生动，所需设备不复杂，操作也异常方便，实验过程中，不仅磁感线的变化可以完全实时显示在屏幕上，操作者本人以及真实的场景也能合成渲染到屏幕上，带给操作者更加真实细腻的体验，营造最佳的沉浸式学习环境，适合教师课堂演示与学生课后复习或课外自学使用。
[0012]本发明解决其技术问题所采用的技术方案是:一种磁场可视化及交互方法，该方法包括磁感线建模流程，体感捕获流程和合成渲染流程等三个流程；具体包含以下步骤:
[0013]步骤(I)采用三维建模工具和图形引擎，利用毕奥一萨伐尔定律，构建磁铁和磁感线模型；
[0014]步骤(2)将模型移植到Kinect环境中，调整交互方式和坐标系系统；
[0015]在Java3D中，用户与建立的磁铁和磁感线模型主要通过鼠标的方式来进行交互，而在Kinect的环境中，用户则可以通过定义好的手势与模型进行交互，使得磁铁随着用户手的移动而移动。因此在体感捕获流程中，需要对Java3D中建立的模型进行调试；同时，在Java3D中的坐标系和Kinect环境中的坐标系也不一样，所以对于磁铁移动的坐标处理方式也要做出相应的调整。
[0016]在Java3D的环境中建构的磁铁和磁感线模型的基础之上，通过将此模型移植到Kinect环境中，修改模型的交互方式,去除鼠标事件行为,添加Kinect自然交互的功能，同时适当的调整和修改坐标系世界，从而使得磁铁和磁感线模型能够在Kinect环境下，通过自然交互的方式实时更新几何状态，在kinect环境下的模型在本发明中称为虚拟模型。
[0017]步骤(3)利用Kinect的摄像头，将捕获到的真实图像与磁铁和磁感线模型渲染合成；
[0018]在合成渲染流程中通过Kinect自带的摄像头实时捕获用户活动的真实场景，计算出虚拟模型中的磁铁应对应的空间位置和方向，并映射到已建立的磁铁和磁感线模型上，使虚拟模型的位置和方向产生对应的变化，将变化后的虚拟模型与Kinect的摄像头捕获的原始场景实时渲染后得到合成的交互式图像；
[0019]步骤(4)利用Kinect的红外摄像头，探测用户与设备的距离，控制模型旋转；
[0020]根据Kinect的红外摄像头所获取的数据，计算出用户与Kinect设备的相对距离，并映射到磁铁和磁感线模型的旋转角度上，使虚拟模型的方向发生对应的变化，从而使得用户可以通过自己与Kinect设备的远近距离变化来控制虚拟模型的旋转。
[0021]步骤(5)用户利用手势移动磁铁或旋转磁铁模型，观察磁感线随磁铁的变化规律。
[0022]进一步的，在所述步骤(I)中使用的是Java3D来建立磁感线的模型，其依据的原理毕奥一萨伐尔定律，其所建立的磁感线模型准确反映了条形磁铁周围的三维空间中的磁感线的分布情况与方向。
[0023]进一步的，在所述步骤(3)中捕获真实场景所用的摄像头是Kinect自带的摄像头，无需外部设备。
[0024]进一步的,在所述步骤(4)中获取用户与Kinect设备所采用的摄像头是Kinect自带的红外摄像头，从而保证了所获数据的准确性与便捷性。
[0025]本发明的原理在于:
[0026]本发明的方法主要分为磁感线建模流程，体感捕获流程和合成渲染流程等三个流程；采用三维建模工具和图形引擎，利用毕奥一萨伐尔定律，建构条形磁铁和磁感线模型；将模型移植到Kinect环境中，调试用户与模型的交互方式以及坐标系系统；利用Kinect自带的摄像头捕获真实图像，计算磁铁的空间位置和方向，映射到虚拟模型中，并计算出磁铁所产生的磁感线的大小和方向，映射到虚拟模型中，将实时变化的虚拟模型与摄像头捕获的真实场景渲染得到合成的交互式场景；利用Kinect自带的红外摄像头获取用户与Kinect设备的相对距离，从而通过相对距离的改变，控制虚拟模型的旋转。
[0027]本发明与现有技术相比的有益效果为:
[0028](I)本发明方法设备更加高效，它摆脱了当前物理教学过程中对磁铁和使用不方便的铁屑的依赖，采用了更加真实的建模方式，利用简单的Kinect设备，学习者不需要额外操作指令按键，只要通过双手移动磁铁即可看到合成渲染出的磁感线实时变化效果，这样的互动接近真实实验的操作行为，在提高学习者的感官体验的同时又不增加操作的陌生感和复杂性。
[0029](2)本发明中能检测用户与设备的距离，且能实时根据用户与Kinect设备的距离映射到磁铁和磁感线模型中，计算出模型相应的旋转角度，并且实时显示在渲染合成的交互图像上，从而使得用户可以通过改变自己与设备的距离来旋转模型。
[0030](3)本发明中用户与磁铁和磁感线模型的交互方式是自然交互方式，不再依赖以往增强现实技术中用到的头盔或者标记等设备，而是直接利用双手即可与虚拟模型进行交互，从而让用户获得更加优良的交互感受。
[0031](4)本发明将增强现实技术与自然交互技术进行融合。使得用户在操作的时候，能够在屏幕上清楚的看到自己的操作，以及整个真实的环境。通过Kinect设备自带的摄像头，既能记录用户每一次操作，又能对用户所在的整个环境全部进行捕捉，通过合成渲染显示在程序中，从而为用户提供逼真细腻的操作体验，营造最有利于用户学习的沉浸式学习环境。
[0032](5)本发明的标记识别、三维图形显示及交互效果均使用Java语言实现，由于Java语言自身跨平台的特点，使得本发明的后台程序能在不同操作系统移植。
【专利附图】
【附图说明】
[0033]图1为本发明一种磁场可视化及交互方法的流程图；
[0034]图2为本发明所使用的设备Kinect ；
[0035]图3为本发明用户与磁铁和磁感线模型交互程序流程图；
[0036]图4为本发明用户通过与设备距离改变来旋转模型的程序流程图。
【具体实施方式】
[0037]下面结合附图及【具体实施方式】详细介绍本发明。
[0038]本发明为一种磁场可视化及交互方法，包含磁感线建模流程，体感捕获流程和合成渲染流程等三个流程，制作流程如图1所示。具体步骤如下所述:
[0039](I)采用三维建模工具和图形引擎，利用毕奥一萨伐尔定律，构建磁铁和磁感线模型；
[0040]首先通过三维建模工具如3DS Max建立出磁铁的模型。因为本发明针对的是条形磁铁，所以通过两个的立方体来表示磁铁，两个立方体分别用不同颜色来表示磁铁两极。构建好两个磁铁模型之后，设置磁铁参数，包括磁铁大小，初始位置，初始旋转角度，等效电流元数量等。之后通过毕奥一萨伐尔定律，对于空间中的任意点，计算出两个磁铁在该点处的磁场大小和方向，再通过矢量合成的方法，得到该点处的合磁场大小和方向。之后使用两个三角形构建出一个小磁针的模型，并将小磁针放置于两个磁铁的中间，让小磁针的北极与小磁针所在处的磁场方向相同。在计算出空间中任意点的磁场大小和方向之后，在两块磁铁上选取固定点，开始绘制磁感线。利用微积分的方法，取合适的距离进行积分计算，即可沿着磁场方向绘制出磁感线。接下来利用Java3D，实现鼠标交互，即允许用户通过鼠标拖拽，旋转磁铁。对于磁铁的任何一次变化，无论是移动还是旋转，重新利用毕奥一萨伐尔定律计算出空间中每个点的磁场大小和方向，然后利用同样的方法绘制磁感线，从而实现虚拟模型随着鼠标交互而实时更新。
[0041](2)将模型移植到Kinect环境中，调整交互方式和坐标系系统；
[0042]将步骤(1)中所完成的模型移植到Kinect环境中，并且首先去除鼠标交互方式。之后利用Kinect已经定义好的手势交互方式，设置“Push”手势表示开始识别用户双手。利用Kinect设备获取用户双手的坐标(Xtl, Ytl, Ztl),利用经验公式将其转化为Java3D的坐标系系统(X1, Y1, Z1) (X1= (X0-300)/24 4=(240-1)/24 J1=Ztl);之后将虚拟模型中的磁铁移动到(X1, Y1, Z1)的位置，并计算出空间中个点的磁场大小和方向，更新磁感线模型。
[0043](3)利用Kinect的摄像头，将捕获到的真实图像与磁铁和磁感线模型渲染合成；
[0044]利用Kinect设备自带的摄像头，捕获真实的场景。利用一个单独的线程对Kinect捕获到的真实场景数据进行处理，通过将数据每三个一组进行解析，得到Kinect所捕获的每个点的RGB值，从而还原出真实的场景，并且放置于程序面板的最底层。再利用一个单独的线程读取用户的手的坐标，处理用户与虚拟模型的交互。具体交互过程如图3所示，当识别到用户做出“Push”的手势后，开始进行交互，否则继续识别。识别到“Push”手势后，进入循环状态。在每次循环中，首先依次检测用户的手是否在固定时间(例如I秒)内未移动，以及磁铁或小磁针模型是否已经被用户选中。检测结果如下表所示:
[0045]
【权利要求】
1.一种磁场可视化及交互方法，其特征在于包括如下步骤: 步骤(1)采用三维建模工具和图形引擎，利用毕奥一萨伐尔定律，构建一个含有磁铁和磁感线的模型，即磁铁和磁感线模型，利用鼠标对该模型中的磁铁和磁感线进行移动和旋转的交互操作； 步骤(2)将含有磁铁和磁感线的模型移植到Kinect环境中，得到Kinect环境下的虚拟模型，调整交互方式和坐标系系统；具体为: 将利用三维建模工具和图形引擎建立的磁铁和磁感线模型移植到Kinect环境中，并去除原磁铁和磁感线模型中的鼠标事件行为，添加Kinect自然交互的功能，同时调整和修改三维建模工具中的坐标系系统，从而建立Kinect环境下的虚拟模型,此虚拟模型中同样含有磁铁和磁感线，在Kinect环境下，通过自然交互的方式便能实时更新虚拟模型的几何状态； 步骤(3)利用Kinect的摄像头，将捕获到的真实图像与磁铁和磁感线模型渲染合成；在合成渲染流程中通过Kinect自带的摄像头实时捕获用户活动的真实场景，计算出Kinect环境下虚拟模型中的磁铁应对应的空间位置和方向，并映射到已建立的虚拟模型中的磁铁和磁感线上,使含有磁铁和磁感线的虚拟模型的位置和方向产生对应的变化,将变化后的虚拟模型与Kinect的摄像头捕获的原始场景实时渲染后得到合成的交互式图像；步骤(4)利用Kinect的红外摄像头，探测用户与设备的距离，控制虚拟模型旋转；根据Kinect的红外摄像头所获取的数据，计算出用户与Kinect设备的相对距离，并映射到磁铁和磁感线模型的空间几何变化上，使虚拟模型的方向发生对应的变化，使用户可通过自己与Kinect设备的远近距离变化来控制虚拟模型的几何变化； 步骤(5)用户利用手势移动或旋转虚拟模型中的磁铁模型，观察磁感线随磁铁的变化规律。
2.根据权利要求1所述的磁场可视化及交互方法，其特征在于，在所述步骤(1)中使用的是Java3D来建立包含磁铁 和磁感线的模型，其依据的原理是毕奥一萨伐尔定律；对于空间中的任意点，利用毕奥一萨伐尔定律，计算出两个磁铁在该点处的磁场大小和方向，再通过矢量合成的方法，得到该点处的合磁场大小和方向；依据此方法所建立的模型中的磁感线反映了条形磁铁周围的三维空间中的磁感线的分布情况与方向。
3.根据权利要求2所述的磁场可视化及交互方法，其特征在于，在所述步骤(2)中，将构建的含有磁铁和磁感线的模型移植到Kinect环境中，得到Kinect环境下的虚拟模型，此虚拟模型中包含有磁铁和磁感线；利用Kinect已经定义好的手势交互方式，设置“Push”手势表示开始识别用户双手，并修正虚拟模型在Kinect环境中的坐标系系统，从而实现用户通过双手移动Kinect环境下虚拟模型中的磁铁，并且使得虚拟模型中的磁感线随着磁铁的移动而实时更新；具体而言，流程以检测到用户做出“Push”的手势开始进入循环状态；在每次循环中，首先依次检测用户的手是否在固定时间内未移动，以及虚拟模型中磁铁或小磁针是否已经被用户选中；检测结果如下表所示:
4.根据权利要求1所述的磁场可视化及交互方法，其特征在于，在所述步骤(3)中捕获真实场景所用的摄像头是Kinect自带的摄像头，无需外部设备。
5.根据权利要求1所述的磁场可视化及交互方法，其特征在于，在所述步骤(4)中，用户通过双手与Kinect设备的距离来控制虚拟模型的旋转；具体说来，当虚拟模型中的小磁针未被选中时，根据两只手离Kinect的距离，计算出旋转角度，从而实现虚拟模型的实时旋转；而当虚拟模型中的小磁针被选中时，不对模型进行旋转。
6.根据权利要求1所述的磁场可视化及交互方法，其特征在于，在所述步骤(5)中用户与设备的交互直接利用双手做自然交互即可完成，不需要鼠标、键盘或者其它特殊的标记设备；同时在操作的过程中，用户能实时看到其自身所处的真实场景。
【文档编号】G06F3/01GK103760981SQ201410027617
【公开日】2014年4月30日 申请日期:2014年1月21日 优先权日:2014年1月21日
【发明者】蔡苏, 余胜泉, 林成龙, 孙羽辰, 李巧慧 申请人:北京师范大学