基于体感技术的模拟插秧方法和装置的制造方法
【专利摘要】本发明涉及一种基于体感技术的模拟插秧方法和装置，包括：获取真实插秧环境图像信息，构建插秧场景的三维场景模型；对所述三维场景模型中的水体进行水的动力学模拟；采集秧苗的图像信息，构建秧苗的三维秧苗模型；构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。本发明实施例提供的技术方案，可以满足高精度的农事手势操作模拟，又达到快速捕捉、低延迟的响应效果，根据该方法，用户不仅能够练习水稻插秧的一系列操作，消除资源浪费和人力成本的浪费，还能使用户更好的掌握插秧技术。
【专利说明】
基于体感技术的模拟插秧方法和装置
技术领域
[0001]本发明涉及农业信息技术领域，特别涉及一种基于体感技术的模拟插秧方法和装置。
【背景技术】
[0002]虚拟现实旨在通过计算机系统创建一个使人感到与真实环境在视、听、触感等方面高度近似的虚拟世界。用户借助必要的设备能够与虚拟世界中的对象进行交互作用、相互影响，产生亲临真实环境的感受和体验。
[0003]传统的插秧培训主要以发放书籍、讲座、录像光盘等形式为主，参加培训的学员难以直观形象地理解这些复杂的知识和技术原理，培训效果不理想。真实的插秧，需要考虑水稻插秧时期的选择、插秧的规格与密度、插秧的方法(例如:盘育机插、人工手插或摆栽、钵苗抛栽)等众多因素。而且，实地插秧培训也经常受到天气、场所等因素的限制。传统的插秧，合理的插秧深度在2厘米左右，这样可以扩大秧苗的光合积累，提高经济产量，勿漂、勿深。
[0004]由于各种因素的限制，学员不能正确掌握插秧技术，在实地插秧过程中，往往掌握不好插秧的力度和深度，在一定程度上，会对水稻的经济产量造成影响。因此，如果在室内就能够真实地模拟插秧环境，将对学员学习插秧技术带来很大的帮助。
【发明内容】
[0005]本发明所要解决的技术问题是如何构建真实的插秧环境进行插秧模拟。
[0006]为此目的，本发明提出了一种基于体感技术的模拟插秧方法，包括:
[0007]获取真实插秧环境图像信息，构建插秧场景的三维场景模型；
[0008]对所述三维场景模型中的水体进行水的动力学模拟；
[0009]采集秧苗的图像信息，构建秧苗的三维秧苗模型；
[0010]构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。
[0011]优选的，所述获取真实插秧环境图像信息，构建插秧场景的三维场景模型，还包括:
[0012]构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。
[0013]优选的，所述对所述三维场景模型中的水体进行水的动力学模拟，包括:
[0014]基于水动力模拟插件，通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。
[0015]优选的，所述利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制具体包括:
[0016]获取手部实时图像，提取手的点云信息；
[0017]通过所述点云信息构建实时的手模型；
[0018]将预设的手骨骼信息与所述手模型进行实时匹配，识别手指信息；
[0019]跟踪所述手指信息得到手势信息，生成手势指令；
[0020]根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。
[0021]优选的，所述构建模型交互界面还包括:
[0022]利用图形图像交互设计引擎Unity3D，配合界面插件NGUI，构建模型交互界面；
[0023]对所述模型交互界面进行扁平化风格处理。
[0024]另一方面，本发明还提供了一种基于体感技术的模拟插秧装置，包括:
[0025]场景模型建模单元，用于获取真实插秧环境图像信息，构建插秧场景的三维场景丰旲型;
[0026]水动力模拟单元，用于对所述三维场景模型中的水体进行水的动力学模拟；
[0027]秧苗建模单元，用于采集秧苗的图像信息，构建秧苗的三维秧苗模型；
[0028]交互控制单元，用于构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。
[0029]优选的，所述场景模型建模单元还包括:渲染单元，所述渲染单元用于构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。
[0030]优选的，所述水动力模拟单元包括水动力模拟插件，所述水动力模拟插件用于通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。
[0031]优选的，所述交互控制单元包括:
[0032]点云信息提取子单元，用于获取手部实时图像，提取手的点云信息；
[0033]手模型建立子单元，用于通过所述点云信息构建实时的手模型；
[0034]匹配识别子单元，用于将预设的手骨骼信息与所述手模型进行实时匹配，识别手指?目息;
[0035]位置跟踪子单元，用于跟踪所述手指信息得到手势信息，生成手势指令；
[0036]控制子单元，用于根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。
[0037]优选的，所述交互控制单元还包括:
[0038]界面建立子单元，用于利用图形图像交互设计引擎Unity3D，配合界面插件NGUI，构建模型交互界面；
[0039]扁平化处理子单元，用于对所述模型交互界面进行扁平化风格处理。
[0040]本发明实施例提供的基于体感技术的模拟插秧方法和装置，通过构建插秧场景的三维场景模型以及三维秧苗模型，利用水面实时动力学模拟，还原真实插秧操作的水面环境，将手势体感交互技术应用在模拟插秧操作当中，因此，本发明提供的技术方案，可以满足高精度的农事手势操作模拟，又达到快速捕捉、低延迟的响应效果，根据该方法，用户不仅能够练习水稻插秧的一系列操作，消除资源浪费和人力成本的浪费，还能使用户更好的掌握插秧技术。
【附图说明】
[0041]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0042]图1为本发明实施例提供的基于体感技术的模拟插秧方法的流程示意图；
[0043]图2为本发明实施例提供的基于体感交互控制的流程示意图；
[0044]图3为本发明实施例提供的基于体感技术的模拟插秧装置的框架示意图；
[0045]图4为本发明实施例提供的交互控制单元的框架示意图；
【具体实施方式】
[0046]下面将结合附图对本发明的实施例进行详细描述。
[0047]本发明提供了一种基于体感技术的模拟插秧方法，该方法可以用于插秧农技培训，解决现有农技培训方法导致的插秧培训效果不理想和资源浪费等问题。当然本发明还可以作为插秧游戏呈现给用户。
[0048]如图1所示，本发明提供的模拟插秧方法包括以下步骤:
[0049]S1:获取真实插秧环境图像信息，构建插秧场景的三维场景模型；
[0050]具体的，可以利用目前主流的计算机图形图像交互设计引擎Unity3D，模拟真实的稻田环境，包括真实的自然环境，如山、水、植物、光照等。根据真实稻田环境的图像，构建插秧场景的三维场景模型。
[0051 ] S2:对所述三维场景模型中的水体进行水的动力学模拟；
[0052]需要说明的是，利用水面实时动力学模拟仿真技术，对水体进行动力学模拟，目的是还原真实插秧的环境，使用户在虚拟环境中进行插秧模拟，如果插秧深度不合格，秧苗会被水的浮力反弹，并漂浮在水面，当手握紧秧苗进入水中，环境会自动模拟轻微的水的波动效果，如果力道过大，会溅起水花，让用户感受真实的插秧环境效果反馈。
[0053]S3:采集秧苗的图像信息，构建秧苗的三维秧苗模型；
[0054]需要说明的是，构建三维秧苗模型的重点是对秧苗植株进行三维形态的模拟，通过利用数字影像设备采集秧苗植株静态的轮廓特征信息，通过Maya建模软件，根据作物的形态结构和形成规律，通过纹理渲染技术，在计算机中构建出虚拟秧苗植株真实轮廓模型。
[0055]S4:构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。
[0056]具体的，可以利用手势体感人机交互技术LeapMot1n，实时快速准确捕捉人手的骨骼信息，针对提取的指尖运动轨迹进行农事操作手势识别与跟踪，准确模拟插秧农事操作，来和虚拟三维场景中的秧苗来互动，进行虚拟插秧模拟。
[0057]本发明实施例提供的基于体感技术的模拟插秧方法，通过构建插秧场景的三维场景模型以及三维秧苗模型，利用水面实时动力学模拟，还原真实插秧操作的水面环境，将手势体感交互技术应用在模拟插秧操作当中，因此，本发明提供的技术方案，可以满足高精度的农事手势操作模拟，又达到快速捕捉、低延迟的响应效果，根据该方法，用户不仅能够练习水稻插秧的一系列操作，消除资源浪费和人力成本的浪费，还能使用户更好的掌握插秧技术。
[0058]在上述实施例的基础上，优选的，步骤SI所述获取真实插秧环境图像信息，构建插秧场景的三维场景模型，还包括:
[0059]构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。
[0060]具体的，在Unity3D引擎中，构建虚拟光源，来模拟光源直接照射在场景中物体上所形成的照明效果以及光源经由场景中其他物体表面反射后照明的效果。
[0061]在上述实施例的基础上，优选的，步骤S2对所述三维场景模型中的水体进行水的动力学模拟，包括:
[0062]基于水动力模拟插件，通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。
[0063]具体的，通过流体动力学利用高精度网格模型，来构建仿真的插秧环境，对虚拟环境中的水体，添加浮力、波动和光照效果等，例如，通过基于二维高度场的网格流体模拟方法，这种方法首先把水面表示成为一个连续的平面网格，然后生成一系列对应于这张网络的连续的高度纹理一称为高度图。接着每个网格顶点对应于一个高度图的像素，作为水面高度，从而表示出整个水面的波动效果。根据手势控制每个网格顶点的高度图的像素，形成水波。
[0064]在上述实施例的基础上，优选的，如图2所示，步骤S4利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制具体包括:
[0065]S401:获取手部实时图像，提取手的点云信息；
[0066]S402:通过所述点云信息构建实时的手模型；
[0067]S403:将预设的手骨骼信息与所述手模型进行实时匹配，识别手指信息；
[0068]S404:跟踪所述手指信息得到手势信息，生成手势指令；
[0069]S405:根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。
[0070]需要说明的是，手势体感交互技术中包含有图形图像处理，双目视觉，机器学习与图像识别等复杂技术，具体过程为，提取实时红外双目视觉实时图像，进行图像分析处理之后，获取手的点云信息，通过点云信息构建实时的手模型，将内置的手骨骼实时匹配在手模型之上，提取识别手指信息，利用手指信息得到手势信息，来和虚拟三维场景中的秧苗模型来互动，进行虚拟插秧模拟。
[0071]在上述实施例的基础上，步骤S4中构建模型交互界面还包括:
[0072]利用图形图像交互设计引擎Unity3D，配合界面插件NGUI，构建模型交互界面；
[0073]对所述模型交互界面进行扁平化风格处理。
[0074]具体的，可以通过利用Unity3D引擎，配合NGUI插件，设计人性化、形象化的展示界面，并且可以添加一些图片文字介绍，主要用于在模拟插秧培训开始之前，对稻田的环境与秧苗的形状以及插秧操作进行图文介绍，让用户知道该如何进行插秧操作。
[0075]另外，为了增加插秧练习的交互性和趣味性，在规定时间内，比如，60秒内，进行插秧训练，倒计时结束之后，计算插秧成功数和最后的分数，根据需要，也可以进行交互游戏设计，包括游戏逻辑设计、游戏的分数数值计算与游戏结束逻辑设计，游戏分数逻辑和结束逻辑可以采用C#脚本语言，编写计分逻辑事件和游戏结束时间判断分析。
[0076]另一方面，如图3所示，本发明还提供了一种基于体感技术的模拟插秧装置，该装置可以采用上述的基于体感技术的模拟插秧方法，该装置包括:场景模型建模单元31、水动力模拟单元32、秧苗建模单元33、交互控制单元34;
[0077]场景模型建模单元31用于获取真实插秧环境图像信息，构建插秧场景的三维场景丰旲型;
[0078]水动力模拟单元32用于对所述三维场景模型中的水体进行水的动力学模拟；
[0079]秧苗建模单元33用于采集秧苗的图像信息，构建秧苗的三维秧苗模型；
[0080]交互控制单元34用于构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。
[0081]具体的，场景模型建模单元31获取真实插秧环境图像信息，构建插秧场景的三维场景模型；水动力模拟单元32对所述三维场景模型中的水体进行水的动力学模拟;秧苗建模单元33采集秧苗的图像信息，构建秧苗的三维秧苗模型；交互控制单元34构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。
[0082]本发明实施例提供的基于体感技术的模拟插秧装置，通过构建插秧场景的三维场景模型以及三维秧苗模型，利用水面实时动力学模拟，还原真实插秧操作的水面环境，将手势体感交互技术应用在模拟插秧操作当中，因此，本发明提供的技术方案，可以满足高精度的农事手势操作模拟，又达到快速捕捉、低延迟的响应效果，根据该方法，用户不仅能够练习水稻插秧的一系列操作，消除资源浪费和人力成本的浪费，还能使用户更好的掌握插秧技术。
[0083]优选的，所述场景模型建模单元31还包括:渲染单元，所述渲染单元用于构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。
[0084]优选的，所述水动力模拟单元32包括水动力模拟插件，所述水动力模拟插件用于通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。
[0085]优选的，如图4所示，所述交互控制单元34包括:点云信息提取子单元341，用于获取手部实时图像，提取手的点云信息；手模型建立子单元342，用于通过所述点云信息构建实时的手模型；匹配识别子单元343，用于将预设的手骨骼信息与所述手模型进行实时匹配，识别手指信息;位置跟踪子单元344，用于跟踪所述手指信息得到手势信息，生成手势指令;控制子单元345，用于根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。
[0086]优选的，所述交互控制单元34还包括:界面建立子单元，用于利用图形图像交互设计引擎Uni ty 3D，配合界面插件NGUI，构建模型交互界面;扁平化处理子单元，用于对所述模型交互界面进行扁平化风格处理。
[0087]本发明提供的一种基于体感技术的模拟插秧装置，可以用于水稻插秧培训系统，能够通过手势、肢体运动、声控、触摸等多种方式与用户进行互动，支持用户在培训和实践的过程中就培训内容进行实时的交互并得到反馈。基于体感交互技术的模拟插秧装置用于农技培训，是一项具有深远意义的技术措施，将对培训方式的发展产生巨大的影响，对农业生产、科研、教学起到极大的推动作用。包括该模拟插秧装置的水稻插秧培训系统，一次性解决了环境因素和经济效益两大问题，可以使学员随时随地的进行培训，掌握更深层次的插秧技术。
[0088]虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
【主权项】
1.一种基于体感技术的模拟插秧方法，其特征在于，包括: 获取真实插秧环境图像信息，构建插秧场景的三维场景模型； 对所述三维场景模型中的水体进行水的动力学模拟； 采集秧苗的图像信息，构建秧苗的三维秧苗模型； 构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。2.根据权利要求1所述的方法，其特征在于，所述获取真实插秧环境图像信息，构建插秧场景的三维场景模型，还包括: 构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。3.根据权利要求1所述的方法，其特征在于，所述对所述三维场景模型中的水体进行水的动力学模拟，包括: 基于水动力模拟插件，通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。4.根据权利要求1所述的方法，其特征在于，所述利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制具体包括: 获取手部实时图像，提取手的点云信息； 通过所述点云信息构建实时的手模型； 将预设的手骨骼信息与所述手模型进行实时匹配，识别手指信息； 跟踪所述手指信息得到手势信息，生成手势指令； 根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。5.根据权利要求1所述的方法，其特征在于，所述构建模型交互界面还包括: 利用图形图像交互设计引擎Unity3D，配合界面插件NGUI，构建模型交互界面； 对所述模型交互界面进行扁平化风格处理。6.一种基于体感技术的模拟插秧装置，其特征在于，包括: 场景模型建模单元，用于获取真实插秧环境图像信息，构建插秧场景的三维场景模型； 水动力模拟单元，用于对所述三维场景模型中的水体进行水的动力学模拟； 秧苗建模单元，用于采集秧苗的图像信息，构建秧苗的三维秧苗模型； 交互控制单元，用于构建模型交互界面，利用体感交互技术通过手势指令对所述三维场景模型中的三维秧苗模型进行交互控制。7.根据权利要求6所述的装置，其特征在于，所述场景模型建模单元还包括:渲染单元，所述渲染单元用于构建虚拟光源，根据真实插秧环境的光照效果，对所述三维场景模型中的物体进行光照效果的模拟。8.根据权利要求6所述的装置，其特征在于，所述水动力模拟单元包括水动力模拟插件，所述水动力模拟插件用于通过流体动力学对所述三维场景模型中的水体添加浮力、波动和光照效果。9.根据权利要求6所述的装置，其特征在于，所述交互控制单元包括: 点云信息提取子单元，用于获取手部实时图像，提取手的点云信息； 手模型建立子单元，用于通过所述点云信息构建实时的手模型； 匹配识别子单元，用于将预设的手骨骼信息与所述手模型进行实时匹配，识别手指信息; 位置跟踪子单元，用于跟踪所述手指信息得到手势信息，生成手势指令； 控制子单元，用于根据所述手势指令对所述三维场景模型中的三维秧苗模型进行控制。10.根据权利要求6所述的装置，其特征在于，所述交互控制单元还包括: 界面建立子单元，用于利用图形图像交互设计引擎Unity3D，配合界面插件NGUI，构建模型交互界面； 扁平化处理子单元，用于对所述模型交互界面进行扁平化风格处理。
【文档编号】G06T19/20GK106066690SQ201610365806
【公开日】2016年11月2日
【申请日】2016年5月27日 公开号201610365806.X, CN 106066690 A, CN 106066690A, CN 201610365806, CN-A-106066690, CN106066690 A, CN106066690A, CN201610365806, CN201610365806.X
【发明人】吴建伟, 杨宝祝, 陈天恩, 赵鹏飞, 王维, 百蔚云, 韩沫, 吴文茜
【申请人】北京派得伟业科技发展有限公司, 北京农业信息技术研究中心, 北京农业智能装备技术研究中心