基于IOT的生产全流程实时交互方法与流程

基于iot的生产全流程实时交互方法
技术领域
1.本技术涉及智能制造技术领域，尤其是涉及一种基于iot的生产全流程实时交互方法。


背景技术：

2.对于制造业而言，随着技术的发展和生产需求的改变，其正逐渐向着远程实时干涉，即在线监管发展。
3.公开号为cn112381528a的专利一种生产过程中实时数据交互的方法，其公开了智能制造产线客户端、协同云平台、协同企业信息系统三个体系结构，先在协同云平台管理服务模块配置协同企业需要的业务模块、数据条件、及数据推送地址、协同企业数据对接系统账号、密钥。智能制造产线客户端上报实时生产数据到协同云平台生产制造服务模块，协同云平台生产制造服务模块通过异步消息发送数据到实时数据交互模块。实时数据交互模块读取协同平台云的配置。根据业务模块、数据条件配置判断是否需要推送的企业，需求推送时则用异步方法根据协同云平台配置的协同企业数据格式用异步方法对每个企业数据进行转换，然后根据配置的账号及公钥进行鉴权。鉴权通过则根据配置的推送地址、鉴权返回的令牌推送数据到协同企业。协同企业信息系统接收实时数据进行分析或使用。
4.针对上述中的相关技术，发明人认为其存在以下缺陷：其初步实现生产过程的实时数据交互，可供生产商等远程监管和协调生产，但是在生产环节，工厂与研发中心、各分支机构及外地客户的交互便捷性上存在不足，因此本技术提出一种新的技术方案。


技术实现要素：

5.为了改善制造业多方的交互便捷性，本技术提供一种基于iot的生产全流程实时交互方法。
6.一种基于iot的生产全流程实时交互方法，包括设置并连接智能采集层、传输层、iot云台以及业务终端层；所述智能采集层包括扫描设备、工业个人终端、rfid读头、上位系统和摄像头，所述上位系统和/或工业个人终端连接有可移动的机器人；所述iot云台被配置为：用于获取智能采集层经传输层反馈的音视频数据和其他数据并用于实现物联对象的注册、管理、监控和运维；所述业务终端层被配置为：用于访问iot云台做数据交互，且用于以电子白板、共享屏幕进行业务终端层之间、业务终端层与工业个人终端之间的音视频和其他数据交互。
7.可选的，所述机器人被配置为：用于采集音视频信息和环境参数并对其处理、传输和响应；其中，所述机器人对音视频信息的处理和响应包括基于预设的音视频指令库识别音视频信息，得到行为指令并执行。
8.可选的，所述机器人被配置为：用于接收源自业务终端层的功能指令并响应，且用于基于实时位置执行非公区智能屏蔽处理。
9.可选的，所述基于实时位置执行非公区智能屏蔽处理包括：获取实时空间坐标；计算与禁入区的距离并判断是否小于阈值，如果是，则向业务终端层和工业个人终端发送提示信息；以及，判断是否进入禁入区，如果是，则停止采集音视频信息和环境参数。
10.可选的，所述iot云台还被配置为：用于基于人脸数据库识别机器人采集的音视频中的人员的身份信息，并发送身份提示信息至业务终端层。
11.可选的，所述iot云台被配置为：基于分布式原则以多台服务器集群部署搭建云台，且不同服务器用于加载并执行不同的功能模块。
12.可选的，对所述音频数据做加速信号算法处理。
13.可选的，还包括边缘节点；所述传输层被配置为：用于将智能采集层的其他数据传输至边缘节点；所述边缘节点被配置为：用于边缘处理其他数据并根据处理结果与iot云台交互。
14.综上所述，本技术包括以下至少一种有益技术效果：工厂与研发中心、客户等机构，可做实时音视频交互，沟通更为便捷有效，并借助电子白板、屏幕共享等在线交互方案；同时，客户等还可借助机器人，全场景、多角度的对工厂远程，做厂审厂验工作。
附图说明
15.图1是本方法的整体架构示意图。
具体实施方式
16.以下结合附图1对本技术作进一步详细说明。
17.本技术实施例公开一种基于iot的生产全流程实时交互方法。
18.参照图1，基于iot的生产全流程实时交互方法包括：设置并连接智能采集层、传输层、iot云台以及业务终端层。
19.其中，智能采集层包括：扫描设备，用于读取员工的身份ic卡，配合搭建门禁系统；或用于扫描物料上的条码、二维码，配合实现电子仓储；工业个人终端，如工业pad，用于供员工管控实现物联网的生产线设备或系统；rfid读头，用于读取物料rfid芯片内的信息，配合实现电子仓储；上位系统，用于连接生产线上的数字化设备、cnc/dnc系统、plc/dcs系统以及其他传感器；以及，摄像头，为多个且选择配置拾音功能的摄像头，其布设于整个生产环节，用于采集生产现场的音视频。
20.为配合工厂与其他机构做交互，上述上位系统和/或工业个人终端连接有机器人，机器人可以是以履带、滚轮、机械足等任一行走机移动，只需其具备移动功能即可。
21.可以理解的是，为配合后续需求，本实施例中，机器人的高度需要尽量与成人持平，如：160cm
‑
180cm；且在机器人顶部（头部）安装摄像头，其他合适位置安装有拾音器和音频播放单元，同时，其还可加装温度传感器等环境参数采集传感器，以配合机器人的主控板
实现采集音视频信息和环境参数并对其处理、传输。
22.机器人，还被配置为：用于接收源自业务终端层的功能指令并响应，如移动指令、摄像头启闭/调焦指令等。
23.iot云台，即工业物联网平台，被配置为：用于获取智能采集层经传输层反馈的音视频数据和其他数据并用于实现物联对象的注册、管理、监控和运维。
24.业务终端层，被配置为：用于访问iot云台做数据交互；具体的，如客户终端。
25.针对外地客户无法前往企业工厂进行厂审厂验的痛点，通过本方法，客户可通过在业务终端层访问iot云台，获取智能采集层反馈的音视频数据，远程获知对产品等的介绍和展示，快速推进厂审厂验的进度，同时节省客户成本。
26.同时，针对远距离客户尤其是海外客户无法前往参观企业的痛点，客户除了可以通过摄像头采集的视频查看工厂外，还可通过业务终端层远程对机器人控制，由机器人代替其跟随工厂介绍人员，实时音视频全场景、多角度参观工厂，使得客户无需花费差旅时间进行现场参观，免去客户辛劳，节省客户成本。
27.除此之外，考虑到工厂与研发中心、销售端的交互，业务终端层还被配置为：用于以电子白板、共享屏幕进行业务终端层之间、业务终端层与工业个人终端之间的音视频和其他数据交互，即加载并执行电子白板、共享屏幕的计算机程序，实现研发中心与制造中心的远程视频沟通，在线交互、沟通产品方案，助力新品快速、高效试产；实现销售端与制造端的远程视频沟通与协作，实现从客户下单到制造生产各环节的高效流转。
28.对于上述而言，如果采用传统的方式，机器人单纯由用户手动操作移动，其在代替远方的客户对工厂参观，体验效果相对不佳，为此本方法中，将机器人配置为：用对音视频信息的处理和响应；具体的，如基于预设的音视频指令库识别音视频信息，得到行为指令并执行。具体的，实现基于图像识别以及音频识别程序以及预设指令库；后续，如识别某一音频“请跟我来”，即触发跟随指令；识别手臂向左指，即触发左转向指令。
29.通过上述设置，工厂人员可以如同引导正常客户一样，引导机器人参观工厂，客户的远程参考体验也会更好；甚至，在业务终端层应用vr技术的相关程序后，可搭配相关硬件设施，做沉浸式的工厂参观。
30.对于各个工厂而言，其或多或少存在一定区域，不便向外人展示等，因此对于上述机器人而言，还将其配置为：用于基于实时位置执行非公区智能屏蔽处理；具体的，包括：从一预置于机身的gps模块获取实时地理位置，再识别工厂人员的引导词、楼层图像，两者结合得到空间坐标（三维）；计算其与禁入区的距离并判断是否小于阈值，其中，禁入区由工厂相关人员设定，其以边界的三维坐标点集划定出；当判定距离小于阈值，则向业务终端层和工业个人终端发送提示信息，提示信息有弹窗的文字信息；同时，还判断是否进入禁入区，如果是，则停止采集音视频信息和环境参数。
31.通过上述设置，机器人在未经过工厂人员同意的情况下，无法闯入某些禁入区域，可有效减小远程参观机制带来的安全隐患。
32.进一步的，对于远程参考工厂客户而言，其通常对工厂的各人身份存疑，为此iot云台还被配置为：用于基于人脸数据库识别机器人采集的音视频中的人员的身份信息，并发送身份提示信息至业务终端层。
33.其中，人脸数据库由工厂预录入并绑定身份信息，以便后期云台基于人脸识别技术对其识别。身份提示信息在业务终端层，或者说在客户的ui界面的展示形式，可以是文字提示，具体提示方式多样，例如：视频中增加跟随人像添加一虚框，框内显示身份信息；或以滚动屏的方式于ui界面的边角显示。
34.本方法上述功能的实现很重要的一点是离不开音视频功能，因此本方法对实时交互的延时率有较高的要求，除了一般性的基于rtc协议开发外，传输层以当前高速5g网络实现通信连接外，还做以下设置：iot云台被配置为：基于分布式原则以多台服务器集群部署搭建云台，且不同服务器用于加载并执行不同的功能模块。具体的，如：利用esxi产品，其自带有集群这一项功能，可将多台服务器添加到集群中；集群建好后还可以利用其他多种产品特性将多台服务器的硬件资源加入到一个资源池里，对硬件的资源做分配。
35.根据上述可用于减轻单个服务器的工作量，从而减小延时，保障实时音视频交互的及时，对机器人操作交互的及时。
36.在远程交互中除了常见的画面卡顿外，还有音频延时，对于音视频，本实施例着重于通信终端上引入的延时，为此本方法还包括：对音（视）频数据做加速信号算法处理，即对pcm信号进行处理，在不丢失语音信息的前提下把时长减小。在音频传输过程中，不可避免的会用到buffer，即缓冲器；在传输过程中，如果在buffer中待播放的pcm数据较长，那么延时较大，此时通过加速算法将要播放的数据处理，变成较短时长的pcm数据，以减小一定的延时。
37.除了上述之外，本方法还包括边缘节点，即应用边缘智能网关；此时，传输层被配置为：用于将智能采集层的其他数据传输至边缘节点；需要注意的是此处为其他数据，而非音视频数据，即本方法的两类数据分两路上传，旨在减小排队延时，即减小其他数据造成的延时干扰。
38.边缘节点被配置为：用于边缘处理其他数据并根据处理结果与iot云台交互。具体的，如：生产线的生产数据反馈后，对其预处理；在无较大波动、触发预警或其他需要通知管理人员的条件时，不再随时将生产数据反馈至云台，只是做周期性反馈；此时，只在不符合上述情况，或接收有云台的生产数据实时监察请求后，才做实时数据上传。
39.通过上述，除了减小发送数据引发的排队延时外，还可配合前述进一步减少服务器的工作量，减小延时。
40.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，故：凡依本技术的结构、形状、原理所做的等效变化，均应涵盖于本技术的保护范围之内。