可视化监控方法、装置、系统、电子装置和存储介质与流程

本申请涉及监控技术领域，特别是涉及可视化监控方法、装置、系统、电子装置和存储介质。

背景技术：

随时信息化时代的到来，越来越多的企业进行企业信息化建设。企业信息化指的是通过计算机技术的部署来提高企业的生产运营效率，降低运营风险和成本，从而提高企业整体管理水平和持续经营的能力。车间是制造业组织生产的基本单位，数字孪生车间的技术进步对推动整个制造业的虚实融合具有重要意义。随着市场竞争的日益剧烈和产品需求的日趋复杂，车间作业面临产品交付期更短、可靠性要求更高、产品品种变化更频繁等压力，车间管理层需要及时掌握车间现场作业情况，及时发现生产中的异常扰动，从而合理调整生产计划和资源配置，提高生产效率和可靠性。

目前，车间监控方法主要是以监控设备为基础，生成电子看板的二维数据或图形展示。这种方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场。

目前针对相关技术中监控方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场，尚未提出有效的解决方案。

技术实现要素：

本申请实施例提供了一种可视化监控方法、装置、系统、电子装置和存储介质，以至少解决相关技术中监控方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场的问题。

第一方面，本申请实施例提供了一种可视化监控方法，包括：

实时获取车间数据、监控图像以及监控参数；

根据所述车间数据和监控参数建立监控参数下的虚拟三维场景模型；

将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。

在其中一些实施例中，还包括：

获取监控数据，利用视频转码技术对监控数据进行处理，得到监控图像。

在其中一些实施例中，根据所述车间数据和监控参数建立监控参数下的虚拟三维场景模型，包括：

根据所述车间数据利用建模工具建立原始虚拟三维场景模型；

根据监控参数中的相机姿态参数标定原始虚拟三维场景模型中的相机姿态，以建立监控参数下的虚拟三维场景模型。

在其中一些实施例中，根据监控参数中的相机姿态参数标定原始虚拟三维场景模型中的相机姿态，包括：

对比监控图像和原始虚拟三维场景模型中的模型图像，调整原始虚拟三维场景模型中虚拟相机的姿态；在两个画面重合时，取当前虚拟相机的姿态信息作为初始姿态，旋转角度取值0°至360°。

在其中一些实施例中，将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场，包括：

同步真实相机和虚拟相机的姿态；

同步真实相机光学变焦和虚拟相机视场角的值；

基于监控参数和同步结果创建实时可视化场景信息，以实时监控车间现场。

在其中一些实施例中，还包括：

利用websocket技术向页面端推送数可视化场景信息，并在页面端中实时监控车间现场。

第二方面，本申请实施例提供了一种可视化监控装置，包括获取模块、创建模块以及可视化监控模块；

所述获取模块，用于实时获取车间数据、监控图像以及监控参数；

所述创建模块，用于根据所述车间数据和监控参数建立监控参数下的虚拟三维场景模型；

所述可视化监控模块，用于将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。

第三方面，本申请实施例提供了一种可视化监控系统，包括：终端设备、传输设备以及服务器设备；其中，所述终端设备通过传输设备连接服务器设备；

所述终端设备用于实时获取车间数据、监控图像以及监控参数；

所述传输设备用于传输所述车间数据、监控图像以及监控参数；

所述服务器设备用于执行时实现如上述第一方面所述的可视化监控方法。

第四方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的可视化监控方法。

第五方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的可视化监控方法。

相比于相关技术，本申请实施例提供的可视化监控方法、装置、系统、电子装置和存储介质，通过实时获取车间数据、监控图像以及监控参数；根据所述车间数据和监控参数建立监控参数下的虚拟三维场景模型；将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。解决了现有监控方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场的问题，实现了生产车间的可视化管理，充分直观展示车间作业现场。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一实施例提供的可视化监控系统的结构示意图；

图2是本申请一实施例提供的可视化监控方法的流程图；

图3是本申请一实施例提供的焦距和视场角的关系示意图；

图4是本申请一实施例提供的可视化监控装置的结构框图。

图中：100、获取模块；200、创建模块；300、可视化监控模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本发明实施例的可视化监控方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的可视化监控方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

本实施例提供了一种可视化监控方法，图2是根据本申请实施例的可视化监控方法的流程图，如图2所示，该流程包括如下步骤：

步骤s210，实时获取车间数据、监控图像以及监控参数；

步骤s220，根据车间数据和监控参数建立监控参数下的虚拟三维场景模型；

步骤s230，将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。

需要说明的是，车间数据可以为设备状态、生产数据以及测绘数据；设备状态、生产数据可以通过采集对应设备获取，或者通过智能化工厂中的数字化信息系统获取，对此并不进行限制。测绘数据指的是需要进行数字化信息表现的物体，比如机器运行界面、电子生产看板等。在生成车间中设置有真实的相机，通过相机获取监控数据，这里的监控数据经过处理可以得到监控图像和对应的监控参数。比如，利用视频转码技术对监控数据进行处理，得到监控图像。监控参数主要指的是与监控图像对应的相机姿态参数。只要相机姿态参数发生改变，拍摄的监控图像也会发生改变。

直接根据车间数据和监控参数建立监控参数下的虚拟三维场景模型，能够简化建模过程，无需像传统的3dscada进行详细的布局建模，仅需要相机相关的数据和需要测绘在场景中进行数字化信息表现的物体。最后结合监控图像和监控参数能够创建实时可视化场景信息，以实时监控车间现场。

通过上述步骤，解决了现有监控方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场的问题，实现了生产车间的可视化管理，充分直观展示车间作业现场。

在其中一些实施例中，根据车间数据和监控参数建立监控参数下的虚拟三维场景模型，包括以下步骤；

步骤s221，根据车间数据利用建模工具建立原始虚拟三维场景模型；

步骤s222，根据监控参数中的相机姿态参数标定原始虚拟三维场景模型中的相机姿态，以建立监控参数下的虚拟三维场景模型。

于本实施例中，建模工具可以是3dsmax、cinema4d、blender、dimension,maya等。原始虚拟三维场景模型中的场景只需要以下实体：与现实相机位置一致的虚拟相机；与现实场景中需要进行数字化信息表现的物体位置一致的虚拟实体。也就是建模完成后的原始虚拟三维场景模型只包含着虚拟相机和虚拟实体。

在原始虚拟三维场景模型中标定相机姿态，具体可以为获取真实相机初始状态下监控图像，并建立一些参照物模型；对比监控图像和原始虚拟三维场景模型中的模型图像，调整原始虚拟三维场景模型中虚拟相机的姿态；在两个画面重合时，取当前虚拟相机的姿态信息作为初始姿态，旋转角度取值0°至360°。

在其中一些实施例中，将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场，包括以下步骤；

步骤s231，同步真实相机和虚拟相机的姿态；

步骤s232，同步真实相机光学变焦和虚拟相机视场角的值；

步骤s233，基于监控参数和同步结果创建实时可视化场景信息，以实时监控车间现场。

需要知道的是，上述步骤可以在web页面中进行处理。那么可以通过视频转码技术输出现实相机的画面到web页面上；通过webgl技术加载虚拟三维场景模型，并显示各虚拟相机看到的内容(数字化信息显示实体)到现实相机输出的画面之上；通过传统scada和websocket技术向页面端推送数字化信息显示。最后基于监控参数和同步结果创建实时可视化场景信息，以实时监控车间现场。为了方便实现远程的管理，远程的沟通，远程操作，可以在页面端中进行操作和显示。利用websocket技术向页面端推送数可视化场景信息，并在页面端中实时监控车间现场。

同步真实相机和虚拟相机的姿态，具体为：

真实相机会将绕自身y轴的旋转角度p和绕自身x轴的旋转角度t发送到虚拟场景，虚拟相机将会转动相同的角度保持与真实相机的姿态一致。同时可以得到虚拟相机坐标相对于世界坐标的位姿描述，以方便后续的计算。

rz(α)ry(β)rx(γ)；

式中，α＝p为真实相机绕自身y轴的旋转角度；β＝t为真实相机绕自身x轴的旋转角度；γ＝0。rz(α)表示虚拟相机绕z轴的旋转矩阵；ry(β)表示为虚拟相机绕y轴的旋转矩阵，虚拟相机在x轴上不旋转。rx(γ)表示虚拟相机绕x轴的旋转矩阵。

同步真实相机光学变焦z和虚拟相机视场角fov的值，具体为：

假设真实相机的基础焦距为bf则相机的实际焦距f＝bf*z；如图3所示为焦距f和视场角α的关系示意图。

那么焦距f和视场角α的关系为：

w为传感器/胶片尺寸，bf为相机的基础焦距，这两值可从相机参数中获取，为已知量。于一个实施例中w可以为27。

虚拟三维场景中用弧度角表示视场角，最终可以用如下式子表示fov同z的关系为：

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种可视化监控装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本申请实施例的可视化监控装置的结构框图，如图4所示，该装置包括获取模块100、创建模块200以及可视化监控模块300；

获取模块100，用于实时获取车间数据、监控图像以及监控参数；

创建模块200，用于根据车间数据和监控参数建立监控参数下的虚拟三维场景模型；

可视化监控模块300，用于将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。

通过可视化监控装置，解决了现有监控方式不够直观，且展示的信息量远小于三维，无法逼真展示车间作业现场的问题，实现了生产车间的可视化管理，充分直观展示车间作业现场。

在其中一些实施例中，创建模块200，还用于根据车间数据利用建模工具建立原始虚拟三维场景模型；

根据监控参数中的相机姿态参数标定原始虚拟三维场景模型中的相机姿态，以建立监控参数下的虚拟三维场景模型。

在其中一些实施例中，可视化监控模块300，还用于同步真实相机和虚拟相机的姿态；

同步真实相机光学变焦和虚拟相机视场角的值；

基于监控参数和同步结果创建实时可视化场景信息，以实时监控车间现场。

在其中一些实施例中，在图4的实施例的基础上，还包括推送模块；推送模块，用于利用websocket技术向页面端推送数可视化场景信息，并在页面端中实时监控车间现场。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

s1，实时获取车间数据、监控图像以及监控参数；

s2，根据车间数据和监控参数建立监控参数下的虚拟三维场景模型；

s3，将监控图像对可视化场景模型进行处理，并基于监控参数和处理结果创建实时可视化场景信息，以实时监控车间现场。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的可视化监控方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种可视化监控方法。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。