机器操作监督系统的工场配置管理方法与流程

本发明涉及机器操作技术领域。

背景技术：

随着工业4.0到来，工业生产制造过程中的自动化和信息共享成为迫切的需求。目前，工业生产制造的核心还是人，而对于一个新手，通常需要很长的时间来学习和熟悉一个新的工业领域及掌握一门新技艺。并且，工人在工作过程中可能会出现失误而造成损失。

技术实现要素：

本申请旨在提供一种机器操作监督系统的工场配置管理方法，所述机器操作系统可以对工人对机器的操作进行指导和/或监督,所述工场配置管理方法能够简单并以统一的方式对mom系统工作所涉及的相关机器、设备、人员等进行配置管理。

本申请提供一种机器操作监督mom系统的工场配置管理方法，所述mom系统包括客户端和服务器，所述方法包括：

所述客户端向所述服务器发送工场配置管理请求；以及

所述服务器根据所述工场配置管理请求向所述客户端返回工场配置管理成功应答消息或工场配置管理失败应答消息，所述成功应答消息中包括与所述工场配置管理请求对应的工场配置信息，所述失败应答消息中包括错误码。

较佳的，所述工场配置为工场、工场机器、mom设备、工人或工具，所述工场配置管理为工场配置注册管理、工场配置注销管理、工场配置更新管理或工场配置查询管理。

较佳的，所述工场配置管理为工场信息管理，其中：

所述工场配置管理请求为工场信息注册请求，其中包括工场编号、工场名称和工场地址，所述工场配置信息包括工场编号；或者，

所述工场配置管理请求为工场信息注销请求，其中包括工场编号，所述工场配置信息包括工场编号；或者

所述工场配置管理请求为工场信息更新请求，其中包括工场编号、工场名称和工场地址，所述工场配置信息包括工场编号；或者

所述工场配置管理请求为工场信息查询请求，其中包括工场编号，所述工场配置信息包括工场编号、工场名称和工场地址。

较佳的，所述工场配置管理为机器信息管理，其中：

所述工场配置管理请求为机器信息注册请求，其中包括机器编号和机器名称，所述工场配置信息包括机器编号；或者，

所述工场配置管理请求为机器信息注销请求，其中包括机器编号，所述工场配置信息包括机器编号；或者

所述工场配置管理请求为机器信息更新请求，其中包括机器编号和机器名称，所述工场配置信息包括机器编号；或者

所述工场配置管理请求为机器信息查询请求，其中包括机器编号，所述工场配置信息包括机器编号和机器名称。

较佳的，所述工场配置管理为mom设备信息管理，其中：

所述工场配置管理请求为mom设备信息注册请求，其中包括设备编号、设备角色和设备名称，所述工场配置信息包括设备编号；或者，

所述工场配置管理请求为mom设备信息注销请求，其中包括设备编号，所述工场配置信息包括设备编号；或者

所述工场配置管理请求为mom设备信息更新请求，其中包括设备编号、设备角色和设备名称，所述工场配置信息包括设备编号；或者

所述工场配置管理请求为mom设备信息查询请求，其中包括设备编号，所述工场配置信息包括设备编号、设备角色和设备名称。

较佳的，所述工场配置管理为工人信息管理，其中：

所述工场配置管理请求为工人信息注册请求，其中包括工人工号，所述工场配置信息包括工人工号；或者，

所述工场配置管理请求为工人信息注销请求，其中包括设备编号，所述工场配置信息包括设备编号；或者

所述工场配置管理请求为工人信息更新请求，其中包括工人工号和工人姓名，所述工场配置信息包括设备编号；或者

所述工场配置管理请求为工人信息查询请求，其中包括工人工号，所述工场配置信息包括工人工号和工人姓名。

较佳的，所述客户端为mom客户端，所述mom客户端为穿戴式智能设备，所述服务器是mom根服务器、状态建模服务器、状态监督服务器、操作建模服务器或操作监督服务器。

较佳的，所述客户端为mom根服务器、状态建模服务器、状态监督服务器、操作建模服务器或操作监督服务器，所述服务器为mom数据库服务器或云服务器。

较佳的，所述客户端为穿戴式智能设备，用于接收机器操作规范，以及向用户提示依据所述机器操作规范生成的三维模型或动画。

较佳的，所述穿戴式智能设备为虚拟现实/增强现实眼镜。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示出本申请一实施例的工场配置管理方法；

图2示出本申请一实施例的机器操作指导系统；

图3示出本申请一实施例中用于描述机器操作规范的机器操作模型的结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的组件或具有相同或类似功能的组件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

下面通过具体实施方式结合附图对本发明作进一步详细说明。

本申请提供机器操作监督(machineoperationmonitor,简称mom)系统，可广泛适用于生产、制造、航空、汽车、能源等行业中机器设备的操作。本申请中，将机器操作地点称为工场。对于机器的操作包括但不限于对机器进行运行、拆卸、装配、修理、巡检等。

参考图1，本申请一实施例提供一种机器操作监督mom系统的工场配置管理方法，所述mom系统包括客户端和服务器，所述方法包括：

s1、所述客户端向所述服务器发送工场配置管理请求；以及

s2、所述服务器根据所述工场配置管理请求向所述客户端返回工场配置管理成功应答消息或工场配置管理失败应答消息，所述成功应答消息中包括与所述工场配置管理请求对应的工场配置信息，所述失败应答消息中包括错误码。

较佳的，所述工场配置为工场、工场机器、mom设备、工人或工具，所述工场配置管理为工场配置注册管理、工场配置注销管理、工场配置更新管理或工场配置查询管理。其中，工人指使用mom设备的人，包括操作工人及教练。教练指进行机器操作示范、或标定设备状态正常异常的工人。mom设备指遵循mom协议进行通信的ip设备，其中mom协议是互联网osi七层协议模型中的一个应用层协议。

本申请中，客户端和服务器是相对而言的，例如，客户端为mom客户端，服务器是mom根服务器、状态建模服务器、状态监督服务器、操作建模服务器或操作监督服务器。或者，客户端为mom根服务器、状态建模服务器、状态监督服务器、操作建模服务器或操作监督服务器，服务器为mom数据库服务器或云服务器。

较佳的，所述客户端为穿戴式智能设备，用于接收机器操作规范，以及向用户提示依据所述机器操作规范生成的三维模型或动画。

较佳的，所述穿戴式智能设备为虚拟现实/增强现实眼镜。

图2示出本发明另一实施例的机器操作指导系统。该系统包括用户端设备10、功能服务器12、数据库服务器14以及根服务器16。其中，功能服务器12可包括操作建模服务器122、操作监督服务器124、状态建模服务器126及状态监督服务器128。数据库服务器14可部署操作规范数据库142、操作记录数据库144、状态基准数据库146、状态记录数据库148。可以理解，上述服务器是从功能上进行的区分，可以都部署在同一台物理服务器。在实际应用中，较佳的，上述服务器可以由不同的物理服务器实现，其中，功能服务器12是计算密集型服务器，数据库服务器14是输入输出密集型服务器。功能服务器12和数据库服务器14向根服务器16注册自己的功能。

较佳的，本申请中，功能服务器12、数据库服务器14以及根服务器16均为雾服务器，同一工场中，mom客户端102与雾服务器之间以及不同雾服务器之间通过局域网(例如ip网络)进行通信。同一局域网中，允许多个客户端102和多个雾服务器同时存在。在一段时间内，一个客户端102只与一个固定的雾服务器通信。

一个工场可以包括多个用户端设备10。用户端设备10用于与用户进行人机交互。从产品形态上来看，穿戴式智能设备可包括但不限于mom眼镜(例如可以是虚拟现实/增强现实眼镜)、mom手套、mom手表、mom手环或其他mom穿戴式设备。从功能上分，用户端设备10可包括但不限于图像输入装置、图像输出装置、语音输入装置、语音输出装置、文本输入装置、文本输出装置、头势跟踪装置、手势跟踪装置、眼球跟踪装置、骨骼跟踪装置等功能模块。其中，图像输入装置用于采集图像，例如可是mom眼镜的摄像头。图像输出装置用于显示图形和图像，例如可以是mom眼镜的增强现实屏幕。语音输入装置用于语音采集，例如可以是mom眼镜的微型麦克风(话筒)。语音输出装置用于输出语音，例如可以是mom眼镜的扬声器。文本输入装置可以是一个虚拟键盘，也可以是一个物理的人机交互设备，例如可通过手环输入命令文本。文本输出装置用于输出文本，例如可以是mom眼镜的增强现实屏幕。头势跟踪装置用于识别和跟踪头部姿态，将头部姿态信息输入给mom客户端102。手势跟踪装置用于识别和跟踪手势动作，将手势信息输入给mom客户端102。眼球跟踪装置用于识别和跟踪眼球动作，将眼球动作信息输入给mom客户端102。骨胳跟踪装置识别和跟踪骨骼动作，将骨骼动作信息输入给mom客户端102。上述功能模块可设置在各穿戴式设备中。

每个用户端设备10包括一个工人所装备的所有穿戴式智能设备，可称为该工人的mom配置。一个工人可以装备多个穿戴式设备，例如一副眼镜、两只手套、一块手表。如果一个工人的mom配置中有多个mom穿戴式设备，那么其中一个将充当mom客户端102(也可称为客户端102)，作为用户端设备10和服务器进行通信的信息汇聚和信息分发的枢纽，其他穿戴式智能设备104与该客户端102连接。较佳的，可由mom眼镜充当客户端102。其他穿戴式智能设备104与客户端102可通过蓝牙或近场通信协议通信。

较佳的，本申请的系统中还可配置云服务器40。云服务器40与各个工场的根服务器16可通过广域网通信，实时采集客户端102的工作数据，采用大数据技术进行相关分析。在广域网中，允许有多个云服务器40存在，根服务器16与云服务器40是多对一的关系。

本实施例的mom系统可以通过mom协议实现：采集机器的状态信息，生成机器状态基准；监测机器的当前状态，在设备出现异常时报警；采集工人的机器操作信息，生成机器操作规范；输出机器操作规范信息，监督工人的机器操作；工具信息的查询；管理机器操作规范；管理机器操作记录。

本实施例的mom系统还可以通过mom协议实现：在mom设备之间传递mom协议信息以实现mom设备的自组织、进行工场配置信息管理。较佳的，所述工场配置为工场、工场机器、mom设备、工人或工具，所述工场配置管理为工场配置注册管理、工场配置注销管理、工场配置更新管理或工场配置查询管理。以下通过一个具体实例进行描述。

较佳的，可以在云服务器40上管理mom工场，包括注册、注销、更新或查询工场信息。

注册新的工场信息时，根服务器16向云服务器40发送工场信息注册请求，消息中可包括工场编号、工场名称和工场地址。云服务器40向根服务器16发送工场信息注册成功或失败应答消息，其中，在成功应答消息中返回工场编号，在失败应答消息中返回工场编号和错误码。

注销工场信息时，根服务器16向云服务器40发送工场信息注销请求，消息中可包括工场编号。云服务器40向根服务器16发送工场信息注销成功或失败应答消息，其中，在成功应答消息中返回工场编号，在失败应答消息中返回工场编号和错误码。

更新或修改工场信息时，根服务器16向云服务器40发送工场信息更新请求，消息中可包括工场编号、工场名称和工场地址。云服务器40向根服务器16发送工场信息更新成功或失败应答消息，其中，在成功应答消息中返回工场编号，在失败应答消息中返回工场编号和错误码。

查询工场信息时，根服务器16向云服务器40发送工场信息查询请求，消息中可包括工场编号。云服务器40向根服务器16发送工场信息查询成功或失败应答消息，其中，可在成功应答消息中返回工场编号、工场名称和工场地址，在失败应答消息中返回工场编号和错误码。

较佳的，还可以在根服务器16上管理机器信息，包括注册、注销、更新或查询机器信息。

注册新的机器时，客户端102向根服务器16发送机器信息注册请求，消息中可包括机器编号和机器名称。根服务器16向客户端102发送机器信息注册成功或失败应答消息，可在成功应答消息中返回机器编号，在失败应答消息中返回机器编号和错误码。

注销机器信息时，客户端102向根服务器16发送机器信息注销请求，消息中可包括机器编号。根服务器16向客户端102发送机器信息注销成功或失败应答消息，其中，可在成功应答消息中返回机器编号，在失败应答消息中返回机器编号和错误码。

更新机器信息时，客户端102向根服务器16发送机器信息更新请求，消息中可包括机器编号和机器名称。根服务器16向客户端102发送机器信息更新成功或失败应答消息，其中，可在成功应答消息中返回机器编号，在失败应答消息中返回机器编号和错误码。

查询机器信息时，客户端102向根服务器16发送机器信息查询请求，消息中可包括机器编号。根服务器16向客户端102发送机器信息查询成功或失败应答消息，其中，可在成功应答消息中返回机器编号和机器名称，在失败应答消息中返回机器编号和错误码。

较佳的，还可以在根服务器16上管理mom设备，包括注册、注销、更新或查询mom设备信息。

注册新的mom设备信息时，客户端102向根服务器16发送设备信息注册请求，消息中可包括设备编号、设备角色和设备名称。根服务器16向客户端102发送设备信息注册成功或失败应答消息，其中，可在成功应答消息中返回设备编号，在失败应答消息中返回设备编号和错误码。

系统中可以设置若干协议角色，每个协议角色有对应的协议角色编号。在一个具体实例中，协议角色例如可以包括mom云服务器、mom根雾服务器、操作建模服务器、操作监督服务器、状态建模服务器、状态监督服务器、数据库雾服务器、mom客户端、图像输入终端、语音输入终端、文本输入终端、图像输出终端、语音输出终端、文本输出终端、头势跟踪终端、手势跟踪终端、眼球跟踪终端、骨骼跟踪终端等。多个协议角色可部署在同一个物理设备。例如，一副眼镜可同时充当mom客户端、图像输入终端、语音输入终端、文本输入终端、图像输出终端、语音输出终端、文本输出终端，一台物理服务器可同时充当mom根雾服务器、操作建模服务器、操作监督服务器、状态建模服务器、状态监督服务器、数据库雾服务器。

注销mom设备信息时，客户端102向根服务器16发送设备信息注销请求，消息中可包括设备编号。根服务器16向客户端102发送设备信息注销成功或失败应答消息，其中，可在成功应答消息中返回设备编号，在失败应答消息中返回设备编号和错误码。

更新mom设备信息时，客户端102向根服务器16发送设备信息更新请求，消息中可包括设备编号、设备角色和设备名称。根服务器16向客户端102发送设备信息更新成功或失败应答消息，其中，可在成功应答消息中返回设备编号，在失败应答消息中返回设备编号和错误码。

查询mom设备信息时，客户端102向根服务器16发送设备信息查询请求，消息中可包括设备编号。根服务器16向客户端102发送设备信息查询成功或失败应答消息，其中，可在成功应答消息中返回设备编号、设备角色和设备名称，在失败应答消息中返回设备编号和错误码。

较佳的，还可以在根服务器16上管理工人信息，包括注册、注销、更新或查询工人信息。

注册新的工人信息时，客户端102向根服务器16发送工人信息注册请求，消息中可包括工人工号和工人姓名。根服务器16向客户端102发送工人信息注册成功或失败应答消息，其中，可在成功应答消息中返回工人工号，在失败应答消息中返回工人工号和错误码。

注销工人信息时，客户端102向根服务器16发送工人信息注销请求，消息中可包括工人工号。根服务器16向客户端102发送工人信息注销成功或失败应答消息，其中，可在成功应答消息中返回工人工号，在失败应答消息中返回工人工号和错误码。

更新工人信息时，客户端102向根服务器16发送工人信息更新请求，消息中可包括工人工号和工人姓名。根服务器16向客户端102发送工人信息更新成功或失败应答消息，其中，可在成功应答消息中返回工人工号，在失败应答消息中返回工人工号和错误码。

查询工人信息时，客户端102向根服务器16发送工人信息查询请求，消息中可包括工人工号。根服务器16向客户端102发送工人信息查询成功或失败应答消息，其中，可在成功应答消息中返回工人工号和工人姓名，在失败应答消息中返回工人工号和错误码。

本申请中，还可以通过mom设备之间的信息交互实现mom设备的自组织，包括mom设备广播、mom设备上线、mom设备下线、服务器在线信息查询及服务器在线列表查询。

客户端(包括mom客户端102、状态建模服务器126、状态监督服务器128、操作建模服务器122或操作监督服务器124)上线之前，在工场所在局域网内广播客户端广播通知消息，以告知自己的角色和ip地址，通知消息中包括设备编号、设备角色和设备ip。根服务器16收到广播通知消息后，保存相应的工场mom设备信息或者将设备信息写入本地的内存数据库或工场mom设备数据库，所述设备信息包括设备的协议角色、是否在线及ip地址等，并向工场mom设备发送客户端广播通知成功或失败应答消息，在成功应答消息中返回设备编号和根服务器的设备ip，在失败应答消息中返回设备编号和错误码。

客户端(包括mom客户端102、状态建模服务器126、状态监督服务器128、操作建模服务器122或操作监督服务器124)上线时，向根服务器16发送客户端上线通知消息，消息中包括设备编号、设备角色和设备ip。根服务器16收到客户端上线通知消息后，保存相应的工场mom设备信息或者写入本地的内存数据库或工场mom设备数据库，并向工场mom设备发送客户端上线通知成功或失败应答消息，在成功应答消息中返回设备编号和根服务器的设备ip，在失败应答消息中返回设备编号和错误码。

客户端(包括mom客户端102、状态建模服务器126、状态监督服务器128、操作建模服务器122或操作监督服务器124)下线时，向根服务器16发送客户端下线通知消息，消息中包括设备编号。根服务器16收到客户端下线通知消息后，保存相应的工场mom设备信息或者写入本地的内存数据库或工场mom设备数据库，并向工场mom设备发送客户端下线通知成功或失败应答消息，在成功应答消息中返回设备编号，在失败应答消息中返回设备编号和错误码。若客户端未收到根服务器16的应答消息，则重新发送客户端下线通知消息。

客户端102还可以向根服务器16查询某一工场服务器是否在线。具体实现时，客户端102向根服务器16发送工场服务器在线信息查询请求，请求中包括服务器编号，根服务器16向客户端102发送服务器在线信息查询成功或失败应答消息，其中，可在成功应答消息中返回所查询服务器的设备编号、设备角色和设备ip，在失败应答消息中返回所查询服务器的设备编号和错误码。

客户端102还可以向根服务器16查询某一设备角色的在线服务器列表。具体实现时，客户端向根服务器16发送服务器在线列表查询请求，请求中包括设备角色。根服务器16向客户端102发送服务器在线列表查询成功或失败应答消息，其中，可在成功应答消息中返回所查询设备角色的在线服务器列表信息，所述列表信息包括设备角色、设备编号及设备ip，可在失败应答消息中返回所查询的设备角色和错误码。

客户端102被配置为将各功能模块采集的工人对于机器的操作情况和/或采集的工人输入的机器操作命令等汇总为第一机器操作信息后向外发送，使服务器端可以依据第一操作信息对工人的操作进行监督，以及在发出操作机器的请求后，接收来自服务器的机器操作规范并通过相应功能模块向工人进行提示，使工人可以在操作规范的指导下对机器进行操作。进一步的，客户端102还可以被配置为采集并向外发送机器状态信息。机器状态信息例如包括但不限于对机器巡检时的机器当前状态快照。较佳的，所述机器操作规范包括按照特定规则排列的若干三维模型或动画，可以经由vr/ar眼镜显示给用户，还可以包括语音、文本、图片等信息。

在一个实例中，机器操作规范可以通过图3所示的机器操作模型来描述。在机器操作模型中，对整个机器设备的装配、检修为一个作业，对机器设备的一次装配、检修或其他功能完整的操作为一个任务，一个作业由一系列任务组成，一个任务由一系列任务步骤组成。一个任务步骤包括工人完成一个任务时脚、眼睛、手所采取的行动。依此，机器操作规范可以包括作业规范、任务规范、步骤规范和动作规范。一个作业规范对应一个mom模型文件(.mom文件)，系统每次加载一个mom模型文件。本文后面对于机器操作模型有更为详细的描述。

本实施例中，客户端102发送操作机器请求，根服务器16依据所述操作机器请求访问操作规范数据库142获得机器操作规范，客户端102接收并向用户提示所述机器操作规范。根服务器16可以通过向操作规范数据库142发送查询机器操作规范指令，以及接收来自操作规范数据库142的表示查询机器操作规范成功的反馈消息的方式获得机器操作规范。较佳的，查询机器操作规范指令至少包括查询动作规范指令，所述查询动作规范指令中包括任务规范编号、步骤规范编号及动作规范编号，相应的，表示查询机器操作规范成功的反馈消息包括表示查询动作规范成功的反馈消息，所述反馈消息中包括动作规范信息，所述动作规范信息中包含动作名称、动作起始位置、动作结束位置、几何运动及操作工具。查询机器操作规范指令还可以包括查询作业规范指令、查询任务规范指令及查询步骤规范指令，在查询动作规范指令之前，可以先通过查询作业规范列表指令、查询作业规范指令、查询任务规范列表指令、查询任务规范指令、查询步骤规范列表指令、查询步骤规范、查询动作规范指令列表等获得查询动作规范指令中所需的任务规范编号、步骤规范编号及动作规范编号。对于这些查询指令及相应的反馈指令可参考后面操作建模服务器部分的相关内容采用相同的方式实现，此处不再重复。

系统中还可配置建模终端20。建模终端20可由教练使用，可以是与用户端设备10具有相同或类似配置的远程终端，也可由系统中的一个用户端设备10来担任。教练通过建模终端20进行示范操作，建模终端20将所采集的教练的操作情况和/或输入的操作命令等汇总为第二机器操作信息并向外发送；同时，建模终端20还用于采集并向外发送机器状态基准信息。教练的操作情况例如包括但不限于教练的操作快照。机器状态基准信息例如包括但不限于机器状态正常快照和/或机器状态异常快照。

操作建模服务器122被配置为依据第二机器操作信息生成机器操作规范。例如，可以提取教练的操作快照中的图像特征，生成机器操作规范。操作建模服务器122生成的机器操作规范可存储在操作规范数据库142中。

在一个实施例中，机器操作规范可以通过机器操作模型来描述。一并参照图3，依据一个具体实例，在机器操作模型中，对整个机器设备的装配、检修为一个作业，对机器设备的一次装配、检修或其他功能完整的操作为一个任务，一个作业由一系列任务组成，一个任务由一系列任务步骤组成。一个任务步骤包括工人完成一个任务时脚、眼睛、手所采取的行动。依此，机器操作规范可以包括作业规范、任务规范、步骤规范和动作规范。一个作业规范对应一个mom模型文件(.mom文件)，系统每次加载一个mom模型文件。

脚所采取的行动可以用行进路线来描述。眼睛所采取的行动可以用观察角度和操作视口来描述。若使用机器人代替人来进行机器操作和巡检，在没有障碍物的情况下，行进路线可以是机器人的平移运动，观察角度可以随机器人的旋转运动变化。

观察角度可以包括三组内容。第一组是相机在世界坐标的位置，第二组是相机镜头对准的物体在世界坐标的位置，第三组是相机向上的方向在世界坐标中的方向。如果没有特别需求，观察角度可以不做说明，取假定自明的观察角度。可以选取最佳视角为观察角度。

一个任务步骤针对一个操作视口进行，操作视口是操作人员在执行一个动作快照时所看到的场景。一个设备部件可以对应到多个不同的操作视口；一个操作视口中可以含有多个设备部件。

手所采取的行动用动作快照来描述。一个任务步骤可包括一系列动作快照。一个动作快照针对一个动作位置对进行，且只有一个几何运动；一个动作位置对包括一个起始位置和一个终止位置。如果该动作使用工具，位置可以是工具的重心位置；如果不使用工具，位置可以是指所操作设备部件的重心位置。几何运动可以是平移或旋转。一个动作快照还可以有时间、工具、重复次数等信息。可以不对动作快照指定时间，说明对该动作没有时间限制；也可以对动作快照指定一个时间，该时间可以指该动作的最长延续时间；还可以对动作快照指定两个时间，该两个时间可以是该动作的最长延续时间和最短延续时间。较佳的，在一个动作快照中最多使用一个工具。如果完成一个操作要同时使用两件工具，左手拿一个工具，右手拿一个工具，则分解为两个动作快照来描述。重复次数表示在动作位置对、几何运动、时间、工具保持不变的情况下，动作重复的次数。

较佳的，操作建模服务器包括处理器及存储器，所述存储器中存储有计算机程序代码，所述计算机程序代码被配置为使所述操作建模服务器至少：

接收创建操作规范指令；以及

根据所述操作规范指令创建机器操作规范。

其中，所述机器操作规范包括作业规范、任务规范、步骤规范、动作规范中的部分或全部，所述运动规范包括三维模型和/或动画。

较佳的，所述接收创建操作规范指令包括以下部分或全部：接收创建作业规范指令、接收创建任务规范指令、接收创建步骤规范指令、接收创建操作区域指令及接收创建动作规范指令。

相应地，所述根据操作规范指令创建机器操作规范包括以下部分或全部：根据所述创建作业规范指令创建作业规范、根据所述创建任务规范指令创建任务规范、根据所述创建步骤规范指令创建步骤规范、根据所述创建操作区域指令创建操作区域及根据所述创建动作规范指令创建动作规范，所述动作规范中包括所述三维模型和/或动画。

所述创建作业规范指令中可包括作业名称及创建者工号，也可以包括作业规范编号。创建作业规范指令中不包括作业规范编号时，可由系统自动生成作业规范编号。根据创建作业规范指令创建的作业规范中可以包括作业规范编号、作业名称、创建者工号、创建时间等信息。

所述创建任务规范指令中可包括任务名称，操作建模服务器可以根据创建任务规范指令在系统当前加载的作业下创建任务规范。所创建的任务规范中可以包括任务规范编号、任务名称。

所述创建步骤规范指令中可包括任务规范编号、步骤规范名称及视口图像。本申请中，每个步骤对一个固定的机器视口范围内的部件进行操作，操作视口与步骤具有一一对应的关系。

所述创建操作区域指令中可包括任务规范编号、步骤规范编号及操作区域信息，操作区域信息中可包括顶点x轴坐标、顶点y轴坐标、长、宽等。操作区域用于标定目标位置的定位框，用于辅助目标物体的定位与识别。

所述创建动作规范指令中可包括任务规范编号、步骤规范编号及动作规范信息，动作规范信息中可包括动作名称、动作起始位置、动作结束位置、几何运动、操作工具等。

较佳的，所述计算机程序代码还被配置为使所述操作建模服务器发送创建机器操作规范成功或失败的反馈消息。

表示创建机器操作规范成功的反馈消息中可包括相应操作规范的编号。表示创建机器操作规范失败的反馈消息中可包括错误码，不同的错误码可表示不同的错误原因。

较佳的，所述计算机程序代码还被配置为使所述操作建模服务器：接收操作规范管理指令，根据所述操作规范管理指令管理所述机器操作规范，以及发送表示管理机器操作规范成功或失败的反馈消息。较佳的，所述管理机器操作规范可包括以下部分或全部：删除机器操作规范、修改机器操作规范及查询机器操作规范。

在一个具体实例中，删除作业规范指令中可包括作业规范编号。修改作业规范指令中可包括作业名称和作业规范编号，可选的，也可不包括作业规范名称，这时可默认为系统当前加载的.mom文件所对应的作业规范编号。查询作业规范指令中可包括作业规范编号，可选的也可不包括作业规范编号，这时可默认为系统当前加载的.mom文件所对应的作业规范编号。

删除任务规范指令中可包括任务规范编号。修改任务规范指令中可包括任务名称和任务规范编号。查询任务规范指令中可包括任务规范编号。

删除步骤规范指令中可包括任务规范编号和步骤规范编号。修改步骤规范指令中可包括任务规范编号、步骤规范编号、步骤名称及视口图像。查询步骤规范指令中可包括任务规范编号、步骤规范编号。

删除操作区域指令可包括任务规范编号、步骤规范编号和操作区域编号。修改操作区域指令中可包括任务规范编号、步骤规范编号、操作区域编号及操作区域信息，操作区域信息包括顶点x轴坐标、顶点y轴坐标、长、宽。查询步骤规范指令中可包括任务规范编号、步骤规范编号及操作区域编号。

删除动作规范指令中可包括任务规范编号、步骤规范编号和动作规范编号。修改动作规范指令中可包括任务规范编号、步骤规范编号、动作规范名称及动作规范信息，动作规范信息中包括动作名称、动作起始位置、动作结束位置、几何运动、使用的工具中的部分或全部。查询动作规范指令中可包括任务规范编号、步骤规范编号及动作规范编号。

进一步的，表示管理机器操作规范成功的反馈消息中可以包括相应操作规范编号。表示管理机器操作规范失败的反馈消息中可以包括相应操作规范编号及错误码，不同的错误码可以表示不同的错误原因。

较佳的，还可以查询作业规范列表、步骤规范列表、骤视口图像、步骤视口图像列表、操作区域列表或动作规范列表。

操作监督服务器124被配置为根据机器操作规范，对工人对于机器的实际操作进行监督，例如，可以对客户端102发出的第一机器操作信息和操作规范数据库142中存储的机器操作规范进行比较。更具体地，可以将工人的操作快照中的图像特征与机器操作规范中的教练操作快照的图像特征进行比较，获得操作监督结果。对于操作监督结果，系统可以作出相应的响应，例如，若发现操作不规范，向用户做出提醒等。客户端102发出的第一机器操作信息或者操作监督服务器124的监督结果可以存储在操作记录数据库144中。第一机器操作信息可以被转换为创建操作记录指令，以生成相应的操作记录加以存储。

较佳的操作监督服务器124包括处理器及存储器，所述存储器中存储有计算机程序代码，所述计算机程序代码被配置为使所述操作监督服务器至少：

接收创建操作记录指令；以及

根据所述操作记录指令创建机器操作记录，所述机器操作记录包括完成图像。机器操作记录可以创建在操作记录库144中。

其中，创建机器操作记录指令可以是来自客户端或根服务器。所述机器操作记录包括作业记录、任务记录、步骤记录、动作记录中的部分或全部，所述作业记录、任务记录、步骤记录和动作记录中分别具有相应的的完成图像或视频。

较佳的，所述接收创建机器操作记录指令包括以下部分或全部：接收创建作业记录指令、接收创建任务记录指令、接收创建步骤记录指令及接收创建动作记录指令。

相应地，所述根据所述创建机器操作记录指令创建机器操作记录包括以下部分或全部：根据所述创建作业记录指令创建作业记录、根据所述创建任务记录指令创建任务记录、根据所述创建步骤记录指令创建步骤记录、及根据所述创建动作记录指令创建动作记录。

所述创建作业记录指令中可包括工人编号、作业编号及作业记录信息，作业记录信息包括作业名称、开始时间、结束时间、持续时间、完成图像及错误个数。其中也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的编号。

所述创建任务记录指令中可包括工人编号、作业编号、任务编号及任务记录信息，任务记录信息包括任务名称、开始时间、结束时间、持续时间、完成图像及错误个数。其中，也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的编号，操作监督服务器可以在系统当前加载的作业下创建任务规范。

所述创建步骤任务指令中可包括工人编号、作业编号、任务编号、步骤编号及步骤记录信息，步骤记录信息包括步骤名称、开始时间、结束时间、持续时间、完成图像及错误信息。其中，也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的编号。错误信息包括错误个数及错误列表，错误列表包括错误描述及图像。

所述创建动作记录指令中可包括工人编号、作业编号、任务编号、步骤编号、动作编号及动作记录信息，动作记录信息包括动作名称、开始时间、结束时间、持续时间、完成图像及错误信息。其中，也可以不包括作业编号，此时可默认为系统当前加载的.mom文件所对应的作业的编号。错误信息包括错误个数及错误列表，错误列表包括错误描述及图像。

较佳的，所述计算机程序代码还被配置为使所述操作监督服务器发送创建机器操作记录成功或失败的反馈消息，以通知客户端创建记录成功与否。

表示创建机器操作记录成功的反馈消息中可包括相应操作记录的编号。表示创建机器操作记录失败的反馈消息中可包括错误码，不同的错误码可表示不同的错误原因。

较佳的，所述计算机程序代码还被配置为使所述操作监督服务器：接收操作记录管理指令，根据所述操作记录管理指令管理所述机器操作记录，以及发送表示管理机器操作记录成功或失败的反馈消息。较佳的，所述管理机器操作记录可包括以下部分或全部：删除机器操作记录及查询机器操作记录详情。

在一个具体实例中，删除作业记录指令和查询作业记录详情指令中可包括作业记录编号。删除任务记录指令和查询任务记录详情指令中可包括任务记录编号。删除步骤记录指令和查询步骤记录详情指令中可包括步骤记录编号。删除动作记录指令和查询动作记录详情指令中可包括动作记录编号。

表示删除作业、任务、步骤或动作记录成功的反馈消息中的协议数据部分可以为空。表示删除机器操作记录失败的反馈消息中可包括操作记录编号及错误码，例如，表示删除作业记录失败的反馈消息中可包括作业记录编号及错误码。表示删除任务记录失败的反馈消息中可包括任务记录编号及错误码。表示删除步骤记录失败的反馈消息中可包括步骤记录编号及错误码。表示删除动作记录失败的反馈消息中可包括动作记录编号及错误码。

表示查询机器操作记录详情成功的反馈消息中可包括操作记录编号及操作记录信息。

表示查询机器操作记录详情失败的反馈消息中可包括操作记录编号及错误码。

较佳的，还可以查询操作记录列表。

操作监督服务器还可以接收来自客户端或根服务器的查询任务记录列表指令，以查询某一作业记录的任务记录列表。所述查询任务记录列表指令中可包括作业记录编号。操作监督服务器可以发送表示查询任务记录列表成功或失败的反馈消息。表示查询成功的消息中可包括任务记录列表，任务记录列表中包括任务记录编号、任务名称、开始时间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括作业记录编号及错误码。

操作监督服务器还可以接收来自客户端或根服务器的查询步骤记录列表指令，以查询某一任务记录的步骤记录列表。所述查询步骤记录列表指令中可包括任务记录编号。操作监督服务器可以发送表示查询步骤记录列表成功或失败的反馈消息。表示查询成功的消息中可包括步骤记录列表，步骤记录列表中包括步骤记录编号、步骤名称、开始时间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括任务记录编号及错误码。

操作监督服务器还可以接收来自客户端或根服务器的查询动作记录列表指令，以查询某一步骤记录的动作记录列表。所述查询动作记录列表指令中可包括步骤记录编号。操作监督服务器可以发送表示查询动作记录列表成功或失败的反馈消息。表示查询成功的消息中可包括步骤记录编号及动作记录信息列表，动作记录信息包括动作记录编号、动作名称、开始时间、结束时间、持续时间及错误个数。表示查询失败的消息中可包括步骤记录编号及错误码。

状态建模服务器126被配置为依据建模终端20发送的机器状态基准信息生成机器状态基准文件，例如，可以提取机器状态正常快照和/或机器状态异常快照的图像特征，生成机器状态基准文件。机器状态基准文件可存储在状态基准数据库146中。

状态监督服务器128被配置为依据机器状态基准文件，对工人所操作机器的当前状态进行监督，例如，可以对客户端102发出的机器状态信息与状态基准数据库146中存储的机器状态基准文件进行比较。更具体地，可以将机器当常状态快照中的图像特征与机器状态正常/异常快照的图像特征进行比较，获得状态监督结果。对于状态监督结果，系统可以作出相应的响应，例如，若发现机器状态异常，向用户报警等。客户端102发出的机器状态信息或状态监督服务器128的状态监督结果可以存储在状态记录数据库148中。

系统中还可设置记录终端30，可与操作监督服务器124和/或状态监督服务器128通信。教练可以通过记录终端30查询工人机器操作和/或机器设备状态记录。

每个工场具有根服务器16，根服务器16是工场的核心，具有缓存功能和负载均衡功能。为及时响应客户端102，根服务器16对从其他服务器读入的数据进行缓存。当根服务器16发现某个服务器负载过重时，会将任务的请求分配其他的同类服务器。根服务器16被配置为访问操作规范数据库142获得机器操作规范，向客户端102提供所述机器操作规范；接收客户端102发送的第一机器操作信息，提供给操作监督服务器124，并可存储至操作记录数据库144；接收客户端102发送的机器状态信息，提供给状态监督服务器128，并可存储至状态记录数据库148。

本申请实施例中的机器操作监督系统，可以协助工人的机器操作，提高生产效率，降低操作失误率。另外，可以对工人的操作进行监督和反馈。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换。