基于3D可视化的智慧仓储交互系统及其方法与流程

基于3d可视化的智慧仓储交互系统及其方法
技术领域
1.本发明涉及一种基于3d可视化的智慧仓储交互系统及其方法，属于智慧仓储技术领域。


背景技术：

2.随着互联网行业的快速发展，网络购物、网上支付、移动电子商户的数量急剧增加，商品爆仓成为了困扰物流企业的一大难题，加强物流仓储管理的智能化、自动化升级已经成为提高现代企业物流运转效率的重要手段。众所周知，传统的图文视频形式，并不能充分地表达出产品的结构、功能、互动等特点，简单的图文或短视频介绍产品信息已经无法满足消费需求。企业的仓储管理，是对仓库及仓库内的物资所进行的管理，是企业为了充分利用所具有的仓储资源提供高效的仓储服务所进行的计划、组织、控制和协调过程。目前的智慧仓储管理系统展示各库区内外全貌及整体堆存运行情况只能通过图片、视频、二维平面图等形式展示，无法清晰直观的展示库区的整体情况，安防和物联网设备报警信息无法及时处理，现场调度及整体管控难度较大。


技术实现要素：

3.针对现有技术存在的上述缺陷，本发明提出了一种基于3d可视化的智慧仓储交互系统及其方法，首先分析库区内外需要采集的数据，利用数据采集设备进行数据采集，建立信息模型；其次提出了数据实时显示的整体框架，并利用websocket和http通信技术实现物理库区和3d库区的数据传输；最后使用three.js脚本控制实现数据驱动库区模型对物理库区的实时映射。建设3d可视化智能库区，通过3d建模和物联网技术，对各库区情况进行三维画面展示，实时显示各库内堆存情况、现场作业、温湿度、烟感等数据信息，并具有安防、作业操作检测和出入库时间识别功能，有效地提升仓库管理的效率及质量。
4.本发明所述的基于3d可视化的智慧仓储交互系统，包括如下模块：
5.3d可视化建模模块，包括人员、作业车辆、库区外场景、库区内场景、物联网设备和货物模型；
6.物联网设备数据接口模块，包括温湿度传感器、烟感报警器、网络摄像头和消防设备信息采集接口；
7.仓库管理数据库模块，包括货物的id、名称、入库日期详细信息；
8.服务器和客户端模块，服务器模块实现数据库交互、用户事件处理、物联网数据、3d文件存储；在客户端模块的浏览器中客户端实现3d场景显示和跳转、循环渲染和数据可视化。
9.优选地，所述3d可视化建模模块中，用户通过第一人称视角，选取离地面合适的高度，用户通过点击场景中地面，来实现漫游，通过判断用户点击的位置，将摄像机视角进行跳转，控制浏览视角在库区场景漫游行走，实时切换查看整个园区以及不同库区、库间内的3d画面。
10.优选地，所述物联网设备数据接口模块中，3d模型和库内温湿度传感器、监控摄像头、烟感硬件设备对接，通过物联网实时查看各设备返回的相关数据信息；与数据库对接，模型内的库存信息与数据库信息同步更新，点击模型中的每个垛位或巧固架，查看选中库存信息，并获取消防应急物资相关信息，模型中实时显示。
11.优选地，所述仓库管理数据库模块中，根据现实环境中摄像头分布的位置进行3d建模，当用户在屏幕上点击对应摄像头时，通过使用摄像头的接口协议，实时浏览此时的监控影像；用户通过鼠标操作旋转至合适的浏览角度，选取该位置上的摄像头进行点击操作，此时会生成弹窗页面，页面内容为当前真实环境中的实时监控影像，用户在完成浏览操作后，点击对应的退出按键即可退出监控视频页面。
12.优选地，所述服务器和客户端模块中，当员工需要对库位出入货物时，先在服务器模块中提交出入库申请，服务器模块中实时对视频流进行识别，当视频中的库位的货物增加或减少时，在服务器模块中会判断为该库位正在作业，对已提交申请的出入库操作，不做预警，对没有提交的出入库，在服务器模块中显示违规操作，根据出入库识别并结合作业车辆的车牌号识别，确定出入库操作的作业车辆和人员，实现仓储管理中的实时管控，减少违规操作和货物出入库差错。
13.本发明系统的有益效果是：本发明所述的基于3d可视化的智慧仓储交互系统及其方法，能实现实时反射、实时折射、动态阴影等高品质，也可以逼真地实时渲染3d图像；3d数据可视化与一般数据可视化主要区别就是更立体、更真实、更有沉浸感。运用3d空间，我们可以很容易的通过旋转视角、缩放相机达到深入了解并且查看数据的目的；建设3d可视化仓库，可以为内部管理调度提供清晰直观的堆存情况，为外部客户提供便捷查询服务。结合webgl(web graphics library)的三维引擎库three.js和blender根据各库区内外实景进行建模和渲染，能够清晰直观展现各库位和库区情况；对仓库互联网设备建模、场景建模和场景优化都进行了详细的设计和实现，具备对接外部系统数据接口及物联网设备功能，可实时响应外部数据变化，并加入了库区内外安防、数据显示、漫游、车辆出入库时间识别和作业操作检测功能。
14.本发明所述的基于3d可视化的智慧仓储交互系统的方法，包括如下步骤：
15.s1：对库区内外通过实地考察，使用blender建模软件，对仓库外场景、仓库内场景、人员、作业车辆、物联网设备和货物进行同比例建模，将制作完成的模型导出为gltf文件格式供three.js进行读取使用；
16.s2：在支持webgl绘图协议的页面上构建canvas元素，所有的场景以canvas为画布进行图像渲染，通过java script获取页面上canvas元素中图像的上下文；
17.s3：对各个3d模型进行渲染，考虑到不同用户的网络速度不一致，因此，提高三维园区引擎渲染速度是一个必须考虑的事情；此时需要将模型数据体积压缩，使用模型构建渲染优化方法，让其快速响应并加载；
18.s4：数据库表结构的设计，结合系统本身的特性对各种信息数据进行分类；3d可视化的智慧仓储交互系统将信息类型划分为这样几类：存储货物的库存信息表，记录货物的详细信息，包括货物的提单号、报关单号、品名、规格型号、件重、入库时间信息；仓库的信息表，记录仓库详细信息，包括仓库名称、仓库性质、库位数、空闲库位数和库位利用率信息；
19.s5：在系统中信息数据展示模块，系统的数据分为普通的参数数据和三维模型数
据，所以系统采用http和websocket两种通信方式进行数据的请求和响应，对不同的数据负载执行不同的处理，从而提高数据处理效率；
20.s6：用户的交互操作通过点击检测技术实现，在三维园区交互的过程中，点击检测用于明确哪个实体模型被鼠标点击，实现场景交互功能；
21.s7：将网络摄像头、数据库、温湿度传感器、消防设备、烟感报警器各物联网设备返回的数据信息进行提取，为点击事件进行预处理载入；
22.s8：视频流进行处理，识别作业车辆的出入库时间，视频识别实现作业检测功能，在系统中实时显示车辆出入库时间和作业操作状态；
23.优选地，所述步骤s4中，设计定义3d可视化的智慧仓储交互系统的相关参数，这些信息存储于数据库表中，后台模块会以json格式进行读取，然后业务模块将其处理为java script对象用于3d场景的构建，并采用预先载入事件的交互方法，来减少响应时间。
24.优选地，所述步骤s2中，页面上构建canvas元素的步骤如下：
25.新建相机、视口、渲染器元件进行场景的初始化，创建一个或多个用于将顶点缓存信息转化为屏幕空间坐标系的矩阵，创建一个或多个着色器用于模型图像的渲染；参数初始化着色器，开始绘制场景；然后，绘制的三维场景需要经过cpu/gpu的加速渲染，最后通过js引擎在浏览器上显示。
26.本发明方法的有益效果是：本发明提出的车辆出入库时间识别可以实时反馈作业车辆的动态，减少了作业车辆作业手工登记；管理人员可以实时的对作业车辆进行调度，提高工作效率；出入库操作识别提升了作业的规范性，实现了仓储管理中的安全管控。
附图说明
27.图1是本发明的整体结构示意图。
28.图2是3d可视化分层结构示意图。
29.图3是视频帧检测作业操作和出入库时间识别示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
31.实施例1：
32.如图1所示，本发明所述的基于3d可视化的智慧仓储交互系统，包括实景3d建模软件、网络摄像头、数据库、温湿度传感器、消防设备、烟感报警器、服务器等。
33.如图2所示，3d可视化建模模块，包括人员、作业车辆、库区外场景、库区内场景、物联网设备和货物模型。所述3d可视化建模模块中，用户通过第一人称视角，选取离地面合适的高度，用户通过点击场景中地面，来实现漫游，通过判断用户点击的位置，将摄像机视角进行跳转，控制浏览视角在库区场景漫游行走，实时切换查看整个园区以及不同库区、库间内的3d画面。
34.物联网设备数据接口模块，包括温湿度传感器、烟感报警器、网络摄像头和消防设备信息采集接口；所述物联网设备数据接口模块中，3d模型和库内温湿度传感器、监控摄像头、烟感硬件设备对接，通过物联网实时查看各设备返回的相关数据信息；与数据库对接，
模型内的库存信息与数据库信息同步更新，点击模型中的每个垛位或巧固架，查看选中库存信息，并获取消防应急物资相关信息，模型中实时显示。
35.仓库管理数据库模块，将货物的id，名称，入库日期详细信息；所述仓库管理数据库模块中，根据现实环境中摄像头分布的位置进行3d建模，当用户在屏幕上点击对应摄像头时，通过使用摄像头的接口协议，实时浏览此时的监控影像；用户通过鼠标操作旋转至合适的浏览角度，选取该位置上的摄像头进行点击操作，此时会生成弹窗页面，页面内容为当前真实环境中的实时监控影像，用户在完成浏览操作后，点击对应的退出按键即可退出监控视频页面。
36.服务器和客户端模块，服务器模块实现数据库交互、用户事件处理、物联网数据、3d文件存储；在客户端模块的浏览器中客户端实现3d场景显示和跳转、循环渲染和数据可视化。所述服务器和客户端模块中，当员工需要对库位出入货物时，先在服务器模块中提交出入库申请，服务器模块中实时对视频流进行识别，当视频中的库位的货物增加或减少时，在服务器模块中会判断为该库位正在作业，对已提交申请的出入库操作，不做预警，对没有提交的出入库，在服务器模块中显示违规操作，根据出入库识别并结合作业车辆的车牌号识别，确定出入库操作的作业车辆和人员，实现仓储管理中的实时管控，减少违规操作和货物出入库差错。
37.实施例2：
38.本发明所述的3d可视化的智慧仓储交互系统的方法，在blender软件中实现仓库内外场景等建模，将模型导出，然后使用three.js将模型文件导入到canvas中，用于3d可视化的构建，并连接各物联网设备数据接口和数据库进行管理和可视化。
39.3d可视化中智慧仓储方法，将实时的视频流进行内容识别，通过识别作业车辆的车牌信息和对应库位标识牌，记录作业车辆的入库和出库时间，以及作业的库位，同时实时反馈作业车辆的动态，减少了作业车辆作业手工登记。在系统中实时显示作业车辆正在哪个库间，管理人员可以实时的对作业车辆进行调度，提高工作效率。
40.如图3所示，3d可视化中智慧仓储方法，将实时的视频流进行存储，将视频进行帧截取，将历史中的视频帧与当前视频帧进行对比，根据对视频帧中每一帧库位帧图像的变换来判断库位中的货物是否是正在进行作业操作，根据当5分钟前的帧和当前帧图像进行对比，对货物进行识别，当5分钟前的视频帧与当前帧中的库位中货物减少，则判断为出库操作，根据当5分钟前的帧和当前帧图像进行对比，对货物进行识别，当5分钟前的视频帧与当前帧中的库位中货物增加，则判断为入库操作。出入库操作识别提升了作业的规范性，实现了仓储管理中的安全管控。
41.具体包括如下步骤：
42.s1：对库区内外通过实地考察，使用blender建模软件，对仓库外场景、仓库内场景、人员、作业车辆、物联网设备和货物等进行同比例建模，将制作完成的模型导出为gltf文件格式供three.js进行读取使用。
43.s2：在支持webgl绘图协议的页面上构建canvas元素，所有的场景以canvas为画布进行图像渲染，通过java script获取页面上canvas元素中图像的上下文。新建相机、视口、渲染器等元件进行场景的初始化，创建一个或多个用于将顶点缓存信息转化为屏幕空间坐标系的矩阵，创建一个或多个着色器用于模型图像的渲染。参数初始化着色器程序，开始绘
制场景。然后，绘制的三维场景需要经过cpu/gpu的加速渲染，最后通过js引擎在浏览器上显示。
44.s3：对各个3d模型进行渲染，考虑到不同用户的网络速度不一致，因此，提高三维园区引擎渲染速度是一个必须考虑的事情。此时需要将模型数据体积压缩，使用模型构建渲染优化方法，让其快速响应并加载。
45.s4：数据库表结构的设计，结合系统本身的特性对各种信息数据进行分类。3d可视化的智慧仓储交互系统可以将信息类型划分为这样几类：存储货物的库存信息表，主要记录了货物的详细信息，主要包括货物的提单号、报关单号、品名、规格型号、件重、入库时间等信息；仓库的信息表，主要记录了仓库详细信息，主要包括仓库名称、仓库性质、库位数、空闲库位数和库位利用率等信息。
46.设计定义了3d可视化的智慧仓储交互系统的相关参数，这些信息存储于数据库表中，后台模块会以json格式进行读取，然后业务模块将其处理为java script对象用于3d场景的构建，并采用预先载入事件的交互方法，来减少响应时间。
47.s5：在系统中信息数据展示模块，系统的数据分为普通的参数数据和三维模型数据，所以系统采用了http和websocket两种通信方式进行数据的请求和响应，对不同的数据负载执行不同的处理，从而提高数据处理效率。
48.s6：用户的交互操作通过点击检测技术实现，在三维园区交互的过程中，点击检测用于明确哪个实体模型被鼠标点击，实现场景交互功能。
49.s7：将网络摄像头、数据库、温湿度传感器、消防设备、烟感报警器等各物联网设备返回的数据信息进行提取，为点击事件进行预处理载入。
50.s8：视频流进行处理，识别作业车辆的出入库时间，视频识别实现作业检测功能，在系统中实时显示车辆出入库时间和作业操作状态。
51.本发明的使用过程如下所示：
52.智慧仓储管理的作业操作检测：当员工需要对库位出入货物时，先在系统中提交出入库申请，实时对视频流进行识别，当视频中的库位的货物被移动或者增加减少时，在系统中实时显示该库位正在作业，对已提交申请的出入库操作，不做预警，对没有提交的出入库，在系统中显示违规操作，此功能可以减少违规操作和货物出入库差错；
53.将实时的视频流进行内容识别，通过识别作业车辆的车牌信息和对应库位标识牌，记录作业车辆的入库和出库时间，以及作业的库位，同时实时反馈作业车辆的动态，减少了作业车辆作业手工登记。在系统中实时显示作业车辆正在哪个库间，管理人员可以实时的对作业车辆进行调度，提高工作效率。；
54.智慧仓储管理系统的作业操作检测具体过程如下：将实时的视频流进行存储，将视频进行视频帧截取，将历史中的视频帧与当前视频帧进行对比，根据对视频帧中每一帧库位帧图像的变换来判断库位中的货物是否是正在进行作业操作，根据当5分钟前的帧和当前帧图像进行对比，对货物进行识别，当5分钟前的视频帧与当前帧中的库位中货物减少，则判断为出库操作，根据当5分钟前的帧和当前帧图像进行对比，对货物进行识别，当5分钟前的视频帧与当前帧中的库位中货物增加，则判断为入库操作，根据出入库识别并结合作业车辆车牌识别，出入库操作的作业车辆和人员，来实现仓储管理中的实时管控。
55.综上所述，本发明设计的3d可视化智慧仓储交互系统结合webgl等技术根据各库
区内外实景进行建模和渲染，能够清晰直观展现各库位情况，联合各物联网设备进行与前端模型的交互，并加入了库区内外安防、场景漫游和作业操作检测和出入库时间识别功能。库区安防功能实时显示监控画面；漫游功能可以在库区内外进行视角漫游；作业操作检测功能利用视频帧进行仓库作业操作识别，有利于仓库的实时管控；出入库时间识别能减少手工记录的不便，实现管理人员对于作业车辆的实时调度。本发明能够使用户交互更加流畅和功能全面，有效地提升仓库管理的效率及质量。本发明可广泛运用于智慧仓储场合。