基于Unity 3D的智能制造车间的实时监控方法
【专利摘要】本发明公开一种基于Unity 3D的智能制造车间的实时监控方法，包括如下步骤：利用传感器检测智能制造车间状态信息的变化；利用3dsmax对智能制造车间进行等价造型，获得虚拟空间的等价三维模型，输出为FBX格式的文件；将等价三维模型导入Unity 3D开发引擎中，建立TCP/IP连接，实时接收智能制造车间的状态信息；编写C#脚本程序，结合智能制造车间的状态信息驱动脚本；创建任务下达窗口和状态信息显示窗口；智能制造车间的各个控制单元接收订单指令和操作指令，进行相应动作。本发明不仅能实时显示智能制造车间的各个设备的运行状态，进行故障检测，而且能实时控制智能制造车间，给车间下放任务和控制设备动作。
【专利说明】
基于Unity 3D的智能制造车间的实时监控方法
技术领域
[0001 ]本发明涉及智能制造领域，尤其涉及一种基于Unity 3D的智能制造车间的实时监控方法。
【背景技术】
[0002]智能制造是基于新一代信息技术，贯穿设计、生产、管理、服务等制造系统的各个环节，具有信息深度自感知、智慧化自决策、精准控制自执行等功能的先进制造过程，系统与模式的总称。智能制造车间具有显著的不确定性、实时变化性和订单个性化的特征，这样使得车间情况更加复杂，迫切需要一种实时监控的方法。目前，传统视频监控方法要么注重于实时收发仿真数据;要么是注重于对特定目标工厂的数字化车间的实际运行状态的可视化监控;或注重于显示通讯设备仿真模块中的设备运行状态，以及能灵活地进行故障检测和故障修复的操作等。而均未涉及到智能制造车间和Unity 3D监控界面实时数据交换，没有利用监控界面对实际车间进行操控。
【发明内容】
[0003]本发明的目的在于通过一种基于Unity3D的智能制造车间的实时监控方法，来解决以上【背景技术】部分提到的问题。
[0004]为达此目的，本发明采用以下技术方案:
[0005]—种基于Unity 3D的智能制造车间的实时监控方法，其包括如下步骤:
[0006]S101、利用传感器检测智能制造车间状态信息的变化，并通过无线网将状态信息实时输出；
[0007]S102、利用3dsmax对智能制造车间进行等价造型，获得虚拟空间的等价三维模型，输出为FBX格式的文件;其中，3dsmax是3D Stud1 Max的简称，它是Discreet公司开发的基于PC系统的三维动画渲染和制作软件。FBX格式为3D文件格式的一种。
[0008]S103、将所述等价三维模型导入Unity 3D开发引擎中，建立TCP/IP连接，实时接收智能制造车间的状态信息；其中，Unity 3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。Unity类似于Director ,Blender gameengine,Virtools或Torque Game Builder等利用交互的图型化开发环境为首要方式的软件。其编辑器运行在Windows和Mac OS X下，可发布游戏至Windows、Mac、Wi 1、iPhone、WebGL、Windows phone 8和Android平台。
[0009]S104、编写脚本程序，结合智能制造车间的状态信息驱动脚本；
[0010]S105、创建任务下达窗口和状态信息显示窗口 ；
[0011]S106、智能制造车间的各控制单元接收订单指令和操作指令进行相应动作。
[0012]特别地，所述步骤SlOl具体包括:S1011、根据所需实时监控的动态特征，确定各传感器所需要的检测信号；S1012、在智能制造车间的各个相应的位置布置相应的传感器，传感器检测到相应的信号，数据采集模块采集传感器信号，将传感器信号封装成数据报文；S1013、利用WIFI模块无线发送数据，设定每隔固定时间检测一次，此往复循环完成对智能制造车间的实时数据采集与发送。
[0013]特别地，所述步骤S102具体包括:利用3dsmax对智能制造车间进行1:1造型，获得虚拟空间的等价三维模型，对模型赋予相应的材质，造型完成后导出FBX格式的文件。
[0014]特别地，所述步骤S103具体包括:将所述等价三维模型导入Unity3D开发引擎中，利用TCP/IP协议建立局域网、服务器端和客户端，将智能制造车间中各个模块通过无线局域网连接在一起，进行状态信息和控制信号的互相传输。
[0015]特别地，所述步骤S104具体包括:在Unity 3D中，编写C#的脚本程序，利用TCP/IP协议编写脚本建立客户端，将智能制造车间发送的报文解析成等价三维模型的驱动指令；针对Unity 3D模型的驱动，采用坐标驱动模型和导航网格寻路的方法，其中，所述坐标驱动模型的方法是指将接收到的实体的旋转角度或位移，给定运动时间，控制监控平台内的相应模型的运动;所述导航网格寻路的方法是指通过接收到的AGV(自动导引小车)的实时位置设置AGV的目的地，渲染AGV的路径，AGV接收到目的地指令后移向目的地。
[0016]特别地，所述步骤S105具体包括:利用Unity3D的UGUI技术，创建多任务窗口，操作窗口，任务下达窗口和状态信息显示窗口，并设置相应按钮，只有相应的按钮触发时才会显示相应模块的状态信息;其中，所述任务下达窗口为操作者提供下单的方法，操作者通过任务下达窗口发送订单指令到智能制造车间内的各个控制单元，智能制造车间内的各个部分相互协调，完成订单加工;所述状态显示窗口通过接收到的车间状态信息，显示智能制造车间各个部分的状态信息。
[0017]特别地，所述智能制造车间各个部分的状态信息包括但不限于机床重要结构的温度、机床是否故障、机床是否空闲、AGV是否空闲。
[0018]本发明提出的基于Unity3D的智能制造车间的实时监控方法不仅解决了虚拟世界对现实世界的监控，并且实现了虚拟世界对现实世界的控制；提供了智能制造车间的三维建模方法和模型对制造车间的控制方法。本发明不仅能实时显示智能制造车间的各个设备的运行状态，灵活的进行故障检测，而且能够实时控制智能制造车间，给车间下放任务和控制设备动作。
【附图说明】
[0019]图1为本发明实施例提供的智能制造车间组成结构示意图；
[0020]图2为本发明实施例提供的基于Unity3D的智能制造车间的实时监控方法的流程关系不意图；
[0021 ]图3为本发明实施例提供的订单下达后的运动流程示意图。
【具体实施方式】
[0022]为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容理解的更加透彻全面。需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0023]本发明提出的基于Unity3D的智能制造车间的实时监控方法是面向智能制造车间的，包括智能制造车间的可视化部分和控制部分，可视化部分首先利用3dsmaX对智能制造车间进行等价造型，导入到Unity 3D中；其次利用传感器采集车间的状态信息，经数据采集系统利用无线局域网技术传输到Unity 3D开发引擎中；然后Unity 3D开发引擎解析接收到来自智能制造车间的动态数据，利用这些数据驱动等价三维模型，从而实现车间可视化的目的。控制部分是在上述的可视化界面即智能制造车间实时监控平台中添加控制界面和订单操作界面，用户可以通过这些界面下达任务指令或操作指令，将指令发送给智能制造车间的各个控制单元，从而实现控制智能制造车间的目的。简单来讲，本发明就是通过对智能制造车间的研究，将通过局域网采集的车间的状态信息用来驱动三维虚拟空间内的模型即虚拟空间的等价三维模型，从而用三维动画模拟车间的状态，并将车间状态显示在虚拟空间内，并且可以通过三维虚拟空间内的多任务窗口控制智能制造车间的订单加工。下面对本发明原理、工作过程进行详细说明:
[0024]请参照如图1，本实施例中模拟的智能制造车间包括I个仓库、2辆AGV小车和4个加工单元。仓库单元含I台三坐标机械手、I个成品仓库和I个废品仓库。每个加工单元包括I个三自由度机械手和一台机床。需要说明的是，智能制造车间的结构组成并不局限于此，也可以有其它结构形式。
[0025]如图2所示，本实施例中基于Unity3D的智能制造车间的实时监控方法具体包括如下步骤:
[0026]S101、利用传感器检测智能制造车间状态信息的变化，并通过无线网将状态信息实时输出。具体包括:S1011、根据所需实时监控的动态特征，确定各传感器所需要的检测信号;例如:两台AGV小车的实时坐标、三坐标机械手的各个方向上的位移、三自由度机械手的各个关节的旋转角度等。S1012、在智能制造车间的各个相应的位置布置相应的传感器，传感器检测到相应的信号，数据采集模块采集传感器信号，将传感器信号封装成数据报文；S1013、利用WIFI模块无线发送数据，设定每隔固定时间检测一次，此往复循环完成对智能制造车间的实时数据采集与发送。
[0027]S102、利用3dsmax对智能制造车间进行等价造型，获得虚拟空间的等价三维模型，输出为FBX格式的文件。具体的:利用3dsmax对智能制造车间进行1:1造型，获得虚拟空间的等价三维模型，为了减轻计算机的运行负担，这里将不会对设备的内部结构造型，只是用简单的立体几何图形替代，对模型赋予相应的材质，使模型更加逼真，造型完成后导出FBX格式的文件。
[0028]S103、将所述等价三维模型导入Unity 3D开发引擎中，建立TCP/IP连接，实时接收智能制造车间的状态信息。将所述等价三维模型导入Unity 3D开发引擎中，利用TCP/IP协议建立局域网、服务器端和客户端，设置监控电脑为总服务器，设置AGV小车是四个加工单元和仓库的服务器，设置AGV小车是监控电脑的客户端，设置四个加工单元和仓库是小车的客户端，然后将智能制造车间中的各个模块通过无线局域网连接起来，状态信息经状态指令生成算法生成为状态指令，控制信息经控制指令生成算法生成为控制指令从而实现状态信息和控制信息的互相传输。
[0029]S104、编写C#脚本程序，结合智能制造车间的状态信息驱动脚本。在Unity 3D中，编写C#的脚本程序，利用TCP/ IP协议编写脚本建立客户端，将智能制造车间发送的报文解析成等价三维模型的驱动指令;针对Unity 3D模型的驱动，采用坐标驱动模型和导航网格寻路的方法，其中，所述坐标驱动模型的方法是指将接收到的实体的旋转角度或位移，给定运动时间，控制监控平台内的相应模型的运动;所述导航网格寻路的方法是指通过接收到的AGV的实时位置设置AGV的目的地，清染AGV的路径，AGV接收到目的地指令后移向目的地。
[0030]Unity 3D主要是对各个模型添加组件，从而控制模型。在本实施例中AGV小车采用Unity 3D自带的导航网格寻路方法，三自由度机械手采取坐标驱动模型的方法。导航网格寻路方法，先渲染AGV的可行路径，然后给AGV添加Nav Mesh Agent组件，通过接收到的AGV的实时位置设置AGV的目的地，从而实现监控界面中的AGV在智能制造车间中的AGV位置监控。坐标驱动机械手模型，通过接收到的舵机的旋转角度和直线模组的位移，控制智能制造车间监控平台的模型的运动，从而实现监控界面中的机械手在智能制造车间的状态监控。
[0031]S105、创建任务下达窗口和状态信息显示窗口。具体的，利用Unity 3D的UGUI技术，创建多任务窗口，操作窗口，任务下达窗口和状态信息显示窗口，并设置相应按钮，只有相应的按钮触发时才会显示相应模块的状态信息。
[0032]S106、智能制造车间的各个控制单元接收订单指令和操作指令，进行相应动作。
[0033]所述任务下达窗口为操作者提供下单的方法，操作者通过任务下达窗口发送订单指令到智能制造车间内的各个控制单元，智能制造车间内的各个部分相互协调，完成订单加工;所述状态显示窗口通过接收到的车间状态信息，显示智能制造车间各个部分的状态信息。所述智能制造车间各个部分的状态信息包括但不限于机床重要结构的温度、机床是否故障、机床是否空闲、AGV是否空闲
[0034]在本实施例中创建机械手和加工单元的复位按钮，机械手和加工单元的复位操作指令连接在各个复位按钮上，由复位按钮触发，复位操作指令经无线局域网发送到机械手和加工单元的控制单元中，控制机械手和加工单元的复位操作。利用Unity 3D的UGUI技术创建产品的订单下达界面，结合MySQL数据库，利用TCP/IP协议发送订单到AGV小车上，如图3所示。
[0035]本发明不仅能实时显示智能制造车间的各个设备的运行状态，灵活的进行故障检测，而且能够实时控制智能制造车间，给车间下放任务和控制设备动作。由于智能制造车间内有AGV小车、三坐标直线运动机械手和三自由度机械手，提出了实时坐标控制每个自由度的感念;对于车间的控制，提出了虚拟空间内订单控制程序指令的概念;并利用了TCP/IP连接，实现实际空间和虚拟空间的数据交互。
[0036]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
[0037]以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它【具体实施方式】，这些方式都将落入本发明的保护范围之内。
【主权项】
1.一种基于Unity3D的智能制造车间的实时监控方法，其特征在于，包括如下步骤: 5101、利用传感器检测智能制造车间状态信息的变化，并通过无线网将状态信息实时输出； 5102、利用3dsmax对智能制造车间进行等价造型，获得虚拟空间的等价三维模型，输出为FBX格式的文件； 5103、将所述等价三维模型导入Unity3D开发引擎中，建立TCP/IP连接，实时接收智能制造车间的状态信息； 5104、编写C#脚本程序，结合智能制造车间的状态信息驱动脚本； 5105、创建任务下达窗口和状态信息显示窗口； 5106、智能制造车间的各控制单元接收订单指令和操作指令进行相应动作。2.根据权利要求1所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述步骤SlOl具体包括:S1011、根据所需实时监控的动态特征，确定各传感器所需要的检测信号；S1012、在智能制造车间的各个相应的位置布置相应的传感器，传感器检测到相应的信号，数据采集模块采集传感器信号，将传感器信号封装成数据报文;S1013、利用WIFI模块无线发送数据，设定每隔固定时间检测一次，此往复循环完成对智能制造车间的实时数据采集与发送。3.根据权利要求2所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述步骤S102具体包括:利用3dsmax对智能制造车间进行1:1造型，获得虚拟空间的等价三维模型，对模型赋予相应的材质，造型完成后导出FBX格式的文件。4.根据权利要求3所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述步骤S103具体包括:将所述等价三维模型导入Unity 3D开发引擎中，利用TCP/IP协议建立局域网、服务器端和客户端，将智能制造车间中各个模块通过无线局域网连接在一起，进行状态信息和控制信号的互相传输。5.根据权利要求4所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述步骤S104具体包括:在Unity 3D中，编写C#的脚本程序，利用TCP/IP协议编写脚本建立客户端，将智能制造车间发送的报文解析成等价三维模型的驱动指令;针对Unity 3D模型的驱动，采用坐标驱动模型和导航网格寻路的方法，其中，所述坐标驱动模型的方法是指将接收到的实体的旋转角度或位移，给定运动时间，控制监控平台内的相应模型的运动;所述导航网格寻路的方法是指通过接收到的AGV的实时位置设置AGV的目的地，渲染AGV的路径，AGV接收到目的地指令后移向目的地。6.根据权利要求5所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述步骤S105具体包括:利用Unity 3D的UGUI技术，创建多任务窗口，操作窗口，任务下达窗口和状态信息显示窗口，并设置相应按钮，只有相应的按钮触发时才会显示相应模块的状态信息;其中，所述任务下达窗口为操作者提供下单的方法，操作者通过任务下达窗口发送订单指令到智能制造车间内的各个控制单元，智能制造车间内的各个部分相互协调，完成订单加工;所述状态显示窗口通过接收到的车间状态信息，显示智能制造车间各个部分的状态信息。7.根据权利要求6所述的基于Unity3D的智能制造车间的实时监控方法，其特征在于，所述智能制造车间各个部分的状态信息包括但不限于机床重要结构的温度、机床是否故 障、机床是否空闲、AGV是否空闲ο
【文档编号】G05B19/418GK105955230SQ201610573772
【公开日】2016年9月21日
【申请日】2016年7月19日
【发明人】唐敦兵, 张涛, 张泽群, 许超, 魏鑫, 张海涛, 黄腾霄
【申请人】南京航空航天大学, 南京航空航天大学无锡研究院