一种体感交互快速三维建模辅助系统及其方法
【专利摘要】本发明公开了一种体感交互快速三维建模辅助系统及其方法，包括相互依次连接的用户单元、体感传感器和计算机处理系统，所述计算机处理系统由数据处理中心、映射单元及反馈单元；所述体感传感器依次连接了所述数据处理中心、映射单元及反馈单元，所述反馈单元交互连接控制所述用户单元。本发明提供了简单直观的快速建模方式，让用户不需要具备软件操作知识基础就能够进行三维模型的快速建立，降低了三维建模的门槛。
【专利说明】
一种体感交互快速三维建模辅助系统及其方法
技术领域
[0001]本发明属于体感交互技术领域，具体涉及一种体感交互快速三维建模辅助系统及其方法。【背景技术】
[0002]目前几乎尚未有将体感交互技术运用于三维建模领域的成熟产品。
[0003]体感交互技术广泛应用于商业化的体感游戏，并且几乎全部属于XB0X游戏平台， 在其他应用领域十分罕见，尤其是在windows应用平台。在成熟的体感游戏的交互过程中， 往往通过手部移动后悬停的方式进行选择确认，这样降低了操作效率并且等待会造成较差的用户体验。[〇〇〇4]而在基于计算机的虚拟三维建模领域，建模软件往往体积庞大功能复杂，需要使用各种各样的鼠标配合键盘操作，用户需要经过较长时间的学习和训练才能掌握，不利于初学者的入门。
【发明内容】
[0005]发明目的:为了克服现有技术中存在的不足，本发明提供一种体感交互快速三维建模辅助系统及其方法，提供了简单直观的快速建模方式，让用户不需要具备软件操作知识基础就能够进行三维模型的快速建立，降低了三维建模的门槛。
[0006]技术方案:为实现上述目的，本发明采用的技术方案为:
[0007]一种体感交互快速三维建模辅助系统，包括相互依次连接的用户单元、体感传感器和计算机处理系统，所述计算机处理系统由数据处理中心、映射单元及反馈单元组成;所述体感传感器依次连接了所述用户单元和所述数据处理中心，将数据信号传输到所述数据处理中心，所述反馈单元交互连接控制所述用户单元。
[0008]—种体感交互快速三维建模辅助系统的方法，包括以下步骤:
[0009]1)获取:体感传感器获取用户单元的数据信号并传输到计算机处理系统；
[0010]2)识别:计算机处理系统的数据处理中心根据所述数据信号分析计算出相应的人体姿态信息；
[0011]3)输出:数据处理中心获取并计算出所述人体姿态信息，然后由映射单元将所述人体姿态信息转换为相应的控制命令；
[0012]4)执行:由所述映射单元调用三维建模软件的接口方法执行指定的所述控制命令，实现具体操作；
[0013]5)反馈:实时反馈操作状态，提示即将执行的操作或操作的结果；
[0014]6)操作:用户单元根据步骤5)的反馈信息进行回应，实现所需的后续操作；[〇〇15]7)重复以上流程直至结束。
[0016]进一步的，所述数据信号为图像数据和深度信息数据，具体为所述用户单元的各个身体部位关节点的空间三维坐标信息，即所述用户单元的动作捕捉。
[0017]进一步的，所述步骤2)中数据处理中心根据所述数据信号分析计算的具体方法为对所述用户单元进行骨骼识别过程，由映射单元转换输出实时识别的人体关节点的空间位置坐标信息确定具体的模型的尺寸参数，然后调用三维建模软件的接口，传入所述尺寸参数后执行相应的建模命令。
[0018]进一步的，所述映射单元的工作分为操作菜单界面和执行建模命令两种情况:在操作菜单界面时，通过所述数据处理中心计算得到的输出之一，判断目前所选的具体功能， 根据功能改变菜单界面或进入执行建模命令状态;在执行建模命令时，通过所述数据处理中心计算得到的输出之一，确定具体的模型的尺寸参数，然后调用三维建模软件的接口，传入所述尺寸参数后执行相应的建模命令。
[0019]进一步的，根据体感传感器获取的数据信号，直接将三维模型以二维视角添加到现实图像中，显示在计算机屏幕上，并根据用户单元的变化实时改变更新。
[0020]进一步的，所述用户单元的用户通过左右手配合进行操作，包括:
[0021]在主菜单的操作上，左手的移动控制选中菜单按钮的切换，右手的抓握实现按钮的按下操作并确认功能的选择；
[0022]在观察模型的操作上，通过双手控制模型的观察视角，模型随右手的位置移动而平移、旋转，随双手的靠近远离而缩小放大；
[0023]在建立模型的操作上，通过双手的配合确定草图参数，左手控制草图中心点的坐标位置，右手控制草图的尺寸参数。
[0024]进一步的，计算机界面采取九宫格按钮式交互界面，每一级菜单功能由九个排列的按钮图标组成，通过双手配合进行选择切换和确认操作，在确认进入子菜单时会触发显示特效并切换到下一级菜单。
[0025]进一步的，采用全局控制系统的辅助功能，即通过直接使用肢体控制鼠标和键盘的方式对整个操作系统直接进行控制。[〇〇26]有益效果:本发明提供的体感交互快速三维建模辅助系统及其方法，具有以下有益效果:[〇〇27]1.简单直观的快速建模方式让用户不需要具备软件操作知识基础就能够进行三维模型的快速建立，降低了三维建模的门槛。[〇〇28]2.增强现实效果的交互反馈使用户能够清晰直观地观察到即将建立的模型，极大地提高了建模过程的便利性和趣味性。[〇〇29]3.原创的九宫格按钮式的交互界面美观而清晰，新的人机交互操作方式不需要用户进行等待，大大提高了操作效率和准确性。
[0030]4.全局控制系统的辅助功能能够应用到其他计算机的操作上，适用于多种软件程序，扩宽了适用范围和操作的灵活性。【附图说明】
[0031]图1为体感交互快速三维建模辅助系统结构示意图；
[0032]图2为工作流程图；[0〇33]图3为主采单界面不意图；
[0034]图4为快速建模子菜单界面示意图；
[0035]图5为增强现实效果的交互建模过程示意图；[〇〇36]图6为完成三维圆柱体模型的建立示意图。【具体实施方式】
[0037]下面结合附图对本发明作更进一步的说明。[〇〇38]如图1所示为一种体感交互快速三维建模辅助系统，包括相互依次连接的用户单元、体感传感器和计算机处理系统，计算机处理系统由数据处理中心、映射单元及反馈单元组成;体感传感器依次连接了数据处理中心、映射单元及反馈单元，反馈单元交互连接控制用户单元。体感传感器通过USB数据传输线与计算机连接。[〇〇39]如图2所示为一种体感交互快速三维建模辅助系统的方法，包括以下步骤:
[0040]1)获取:体感传感器对用户单元进行动作捕捉，获取数据信号即彩色图像数据和深度信息数据，具体为所述用户单元的各个身体部位关节点的空间三维坐标信息，并传输到计算机处理系统；
[0041]2)识别:计算机处理系统的数据处理中心根据数据信号分析计算出相应的人体姿态信息;根据数据信号分析计算的具体方法为对用户单元进行骨骼识别过程，通过实时识别的人体关节点的空间位置坐标信息确定具体的模型的尺寸参数，然后调用三维建模软件的接口 API，传入尺寸参数后执行相应的建模命令，完成三维模型的建立。[〇〇42]3)输出:映射单元将数据处理中心获取的人体姿态信息即特定的人体动作转换为相应的控制命令并输出；[〇〇43]映射单元的工作分为操作菜单界面和执行建模命令两种情况:在操作菜单界面时，通过数据处理中心计算得到的输出之一，即用户单元的双手的空间位置坐标来判断目前所选的具体功能，根据功能改变菜单界面或进入执行建模命令状态;在执行建模命令时， 通过数据处理中心计算得到的输出之一，即用户单元的双手的空间位置坐标来确定具体的模型的尺寸参数，然后调用三维建模软件的接口 API，传入尺寸参数后执行相应的建模命令。例如，在建立圆柱体模型时，计算用户单元左手和右手在竖直方向上的相对高度距离作为圆柱体模型的高度值，计算用户单元左手和右手在水平方向上的相对距离作为圆柱体模型的直径值，继而确定圆柱体模型的完整大小尺寸，将尺寸值存储在变量内存中并由反馈单元将参数值显示在屏幕上进行输出，然后在执行阶段将尺寸参数传入接口API方法后调用其创建圆形草图和拉伸凸台特征的方法函数，即可向建模软件发送相应的执行命令，由建模软件响应并创建指定参数的圆柱体模型。
[0044]4)执行:执行指定的控制命令，实现具体操作；
[0045]5)反馈:实时反馈操作状态，在计算机屏幕上提示即将执行的操作或操作的结果， 如图5所示；
[0046]6)操作:用户单元根据步骤5)的反馈信息进行回应，即根据观察到的状态改变动作，实现所需的后续操作；[〇〇47]7)重复以上流程直至结束。[〇〇48]实施例1结合体感交互与三维建模技术:[〇〇49]在将体感交互技术运用到三维建模的过程中，以现实空间中的人体动作代替了使用鼠标键盘进行输入的方式，通过实时识别的人体关节点的空间位置坐标信息确定具体的模型尺寸参数，然后调用三维建模软件solidworks 2015的接口API，传入尺寸参数后执行相应的建模命令，完成三维模型的快速建立。例如，以双手的水平位置坐标差值作为圆柱体模型的直径，以双手的竖直位置坐标差值作为圆柱体模型的高度，在用户确认后直接生成指定参数的三维圆柱体模型。
[0050]实施例2增强现实效果的交互反馈:[〇〇51]如图5所示，根据传感器获取的彩色视频图像信息，直接将三维模型以二维视角添加到现实图像中显示在屏幕上，即在显示体感传感器的摄像头拍摄的实际现实画面的同时将虚拟的模型二维图形添加到其中，如图5所示，并根据用户的动作实时改变更新，给用户一种手上抓握着真实物体的直观体验，极大地提高了建模过程的便利性和趣味性。[〇〇52]实施例3改进的人机交互操作方式:[〇〇53]通过左右手配合进行操作。[〇〇54]在主菜单的操作上，左手的移动控制选中菜单按钮的切换，右手的抓握实现按钮的按下操作并确认功能的选择，这种操作方式在保证选择操作准确不易受到干扰的前提下加强了选择的灵活性和快速性，不需要用户进行等待，提高了操作效率和稳定性。
[0055]在观察模型的操作上，直接通过双手控制模型的观察视角，模型可以跟随右手的位置移动而平移、旋转，随双手的靠近远离而缩小放大，响应快速，操作简便。
[0056]在建立模型的操作上，通过双手的配合确定草图参数，左手控制草图中心点的坐标位置，右手控制草图的尺寸大小，例如在创建矩形草图时，矩形的中心点位置随左手的移动而向相同方向移动，矩形的长度随右手的左右移动而变化，宽度随右手的上下移动而变化;通过双手的相对空间位置确定特征参数，特征的高度会随手部的移动而实时改变，例如在创建拉伸凸台特征时，凸台的拉伸高度随双手的空间竖直方向高度差的改变而变化。 [〇〇57]实施例4原创的九宫格按钮式交互界面:[〇〇58]如图3、4所示，每一级菜单功能由九个排列的按钮图标组成，简洁明了，通过双手配合进行选择切换和确认操作，在确认进入子菜单时会触发显示特效并切换到下一级菜单，选择快捷灵活、简单方便。
[0059]实施例5全局控制系统的辅助功能:
[0060]通过直接使用肢体控制鼠标和键盘的方式对整个操作系统直接进行控制，由右手的移动控制鼠标指针的移动，由左手和右手的配合手势实现鼠标的单击、双击、按下和拖拽等操作，以及键盘的回车确认、ESC取消退出等操作，极大地扩展了应用范围，提高了操作的灵活性和普适性。[0061 ]快速创建三维圆柱体模型:启动三维建模软件solidworks 2015，启动辅助系统， 开始体感控制操作。抬起左手后前伸并张开手掌，右手同时前伸并张开手掌，然后通过左手的移动使菜单界面上的选择框移动到快速建模按钮上，完成后右手握拳后再张开，进入子菜单，然后以相同方式选择圆柱体按钮并确认，进入快速创建圆柱体模型状态。移动左右手可以看到界面上模型的尺寸变化以及具体的参数值变化，在调整至所需尺寸大小后左手握拳后再张开，稍等片刻后按照指定尺寸自动完成圆柱体模型的创建。完成后可按照界面的提示信息继续进行其他功能的操作。如图5、6所示。
[0062]本发明提供了简单直观的快速建模方式，让用户不需要具备软件操作知识基础就能够进行三维模型的快速建立，降低了三维建模的门槛。采用了增强现实效果的交互反馈，用户能够清晰直观地观察到即将建立的模型。改进了人机交互的操作方式，大大提高了操作效率和准确性。原创了九宫格按钮式的交互界面，选择快捷灵活、简单方便。增加了全局控制系统的辅助功能，扩宽了适用范围和操作的灵活性。
[0063]以上所述仅是本发明的优选实施方式，应当指出:对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种体感交互快速三维建模辅助系统，其特征在于:包括相互依次连接的用户单元、 体感传感器和计算机处理系统，所述计算机处理系统由数据处理中心、映射单元及反馈单 元组成;所述体感传感器依次连接了所述用户单元和所述数据处理中心，将数据信号传输 到所述数据处理中心，所述反馈单元交互连接控制所述用户单元。2.根据权利要求1所述的体感交互快速三维建模辅助系统的方法，其特征在于:包括以 下步骤:1)获取:体感传感器获取用户单元的数据信号并传输到计算机处理系统；2)识别:计算机处理系统的数据处理中心根据所述数据信号分析计算出相应的人体姿 态fg息；3)输出:数据处理中心获取并计算出所述人体姿态信息，然后由映射单元将所述人体 姿态信息转换为相应的控制命令；4)执行:由所述映射单元调用三维建模软件的接口方法执行指定的所述控制命令，实 现具体操作；5)反馈:实时反馈操作状态，提示即将执行的操作或操作的结果；6)操作:用户单元根据步骤5)的反馈信息进行回应，实现所需的后续操作；7)重复以上流程直至结束。3.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:所述数 据信号为图像数据和深度信息数据，具体为所述用户单元的各个身体部位关节点的空间三 维坐标信息，即所述用户单元的动作捕捉。4.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:所述步 骤2)中数据处理中心根据所述数据信号分析计算的具体方法为对所述用户单元进行骨骼 识别过程，由映射单元转换输出实时识别的人体关节点的空间位置坐标信息确定具体的模 型的尺寸参数，然后调用三维建模软件的接口，传入所述尺寸参数后执行相应的建模命令。5.根据权利要求2或4所述的体感交互快速三维建模辅助系统的方法，其特征在于:所 述映射单元的工作分为操作菜单界面和执行建模命令两种情况:在操作菜单界面时，通过 所述数据处理中心计算得到的输出之一，判断目前所选的具体功能，根据功能改变菜单界 面或进入执行建模命令状态;在执行建模命令时，通过所述数据处理中心计算得到的输出 之一，确定具体的模型的尺寸参数，然后调用三维建模软件的接口，传入所述尺寸参数后执 行相应的建模命令。6.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:根据体 感传感器获取的数据信号，直接将三维模型以二维视角添加到现实图像中，显示在计算机 屏幕上，并根据用户单元的变化实时改变更新。7.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:所述用 户单元的用户通过左右手配合进行操作，包括:在主菜单的操作上，左手的移动控制选中菜单按钮的切换，右手的抓握实现按钮的按 下操作并确认功能的选择；在观察模型的操作上，通过双手控制模型的观察视角，模型随右手的位置移动而平移、 旋转，随双手的靠近远离而缩小放大；在建立模型的操作上，通过双手的配合确定草图参数，左手控制草图中心点的坐标位置，右手控制草图的尺寸参数。8.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:计算机 界面采取九宫格按钮式交互界面，每一级菜单功能由九个排列的按钮图标组成，通过双手 配合进行选择切换和确认操作，在确认进入子菜单时会触发显示特效并切换到下一级菜单。9.根据权利要求2所述的体感交互快速三维建模辅助系统的方法，其特征在于:采用全 局控制系统的辅助功能，即通过直接使用肢体控制鼠标和键盘的方式对整个操作系统直接 进行控制。
【文档编号】G06T17/00GK106023308SQ201610375824
【公开日】2016年10月12日
【申请日】2016年5月31日
【发明人】李树森, 张志胜
【申请人】东南大学