基于mr技术的电力业扩工程辅助系统及其工作方法
【专利摘要】基于MR技术的电力业扩工程辅助系统及其工作方法，涉及电力营销业扩领域。目前，业扩服务效率低。本发明包括MR服务器、连接到MR服务器的MR终端，MR终端包括摄像头、交互语音模块、透明显示屏、MR终端控制处理模块，MR服务器包括电力业扩工程信息数据库存储模块、电力业扩工程信息录入模块、打印模块、OCR识别模块，MR数据及图像处理模块，MR终端控制处理模块、电力业扩工程信息录入模块、打印模块、OCR识别模块均连接到MR数据及图像处理模块，摄像头、透明显示屏和交互语音模块连接到MR终端控制处理模块。本技术方案使业扩工程提质增效。
【专利说明】
基于MR技术的电力业扩工程辅助系统及其工作方法
技术领域
[0001]本发明涉及电力营销业扩领域，尤其涉及一种基于MR技术的电力业扩工程辅助系统及其工作方法。
【背景技术】
[0002]随着虚拟技术相关软件以及硬件的不断成熟，成本降低，用户级的虚拟技术设备逐步问世。相关设备也越来越多地运用到日常娱乐和工作中。而电力行业的业扩服务长期以来模式调整不明显，且面对互联网世界技术的冲击，应适当应用最新的互联网技术提高现有电力业扩行业的效率。
【发明内容】
[0003]本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供基于MR技术的电力业扩工程辅助系统，以为客户提供更好、更快捷的服务目的。为此，本发明采取以下技术方案。
[0004]基于MR技术的电力业扩工程辅助系统，包括MR服务器、连接到MR服务器的MR终端，所述的MR终端包括用于摄入图像信息的摄像头、用于录入语音和进行语音播放的交互语音模块、用于MR影像显示的透明显示屏、用于处理摄录信息并进行显示控制的MR终端控制处理模块，所述的MR服务器包括电力业扩工程信息数据库存储模块、电力业扩工程信息录入模块、打印模块、OCR识别模块，MR数据及图像处理模块，所述的MR终端控制处理模块、电力业扩工程信息录入模块、打印模块、OCR识别模块均连接到MR数据及图像处理模块，所述的摄像头、透明显示屏和交互语音模块连接到MR终端控制处理模块。MR终端的交互语音模块、摄像头和电力业扩工程信息录入模块等模块可以方便的录入MR的原始素材信息，经过MR终端控制处理模块、OCR识别模块和MR数据及图像处理模块的处理存储和反馈给MR终端，实现基于MR技术的实时交互体验，在操作步骤、注意事项、故障排查、语音指示等，实现对电力营销一线员工在装表接电等各类业扩操作全过程中的实时可视化指导。
[0005]作为对上述技术方案的进一步完善和补充，本发明还包括以下附加技术特征。
[0006]所述的MR终端为MR智能可穿戴终端。MR智能可穿戴终端结构轻巧，便于携带。
[0007]所述的MR智能可穿戴终端包括MR眼镜。MR眼镜最容易应用、结构最轻巧，技术上与MR眼镜基本一致，技术成熟。
[0008]所述的打印模块为用于打印电力业扩工程设备物理标签的微型打印装置。通过把物理标签打印出来贴到实际设备上可以降低OCR识别模块对实际设备的技术识别能力，微型打印装置结构小，成本低。
[0009]所述的MR数据及图像处理模块设有用于导入包括CAD文件和文件的数据模型接口。方便应用现有的BIM和CAD模型文件，不需要重复建模。
[0010]电力业扩工程信息数据库存储模块设有电力业扩工程CRM数据导入接口。通过CRM数据导入接口可以直接导入现有CRM系统的各种用户信息，不需要手工录入大量的用户信息，降低的工作强度。
[0011]所述的MR数据及图像处理模块设有设备的识别码生成模块。识别码是设备识别的唯一根据，与传统的多重信息识别相比，识别码对应设备信息速度快、精确，不会出现不确定设备的现象，效率尚。
[0012]所述的OCR识别模块设有人脸、文字图像、条形码和二维码识别子模块。针对人脸、文字图像、条形码和二维码的识别应用普遍，技术成熟，便于直接集成到MR服务器。
[0013]基于MR技术的电力业扩工程辅助系统的工作方法，包括以下步骤:
1)通过MR终端的摄像头和电力业扩工程信息录入模块，录入各种工程信息和图像；
2)0CR识别模块把MR终端控制处理模块传输过来的图像进行特征处理，并通过MR数据及图像处理模块结合电力业扩工程信息录入模块录入的数据信息和数据模型接口导入模型数据进行处理，然后结合电力业扩工程CRM数据导入接口导入的CRM用户信息数据进行对应的编码归类并存储到工程信息数据库存储模块；
3 )MR数据及图像处理模块把数据库存储模块处理过MR数据对象根据MR终端摄像头所摄的现场影像资料进行OCR识别后反馈给MR终端控制处理模块，并把MR影像和工程信息显示在MR终端的透明显示屏上，把语音信息通过交互语音模块与使用人实现交互。
[0014]基于MR技术的电力业扩工程辅助系统工作方法，包括用户识别方法及施工验收方法;
用户识别方法包括以下步骤:
SlOl用户信息汇编:导入现有的营销系统中的用户信息，按照现有的信息将数据分类，并且与用户的个人的照片信息绑定，然后将储存数据装载到MR终端；
S102用户信息识别:服务人员借助MR终端，当画面中出现用户人脸时，通过摄像头捕捉人脸，将信息传递给MR终端控制处理模块，进行识别并提取相匹配的客户信息；
S103客户信息显示:被调取的用户信息传递给透明显示屏，借助眼镜前的透明显示屏成像，使服务人员可以看到相应的客户信息；
施工验收方法括以下步骤:
S201工程信息汇编:借助录入软件，将工程相关信息录入数据库，并且按照设备单元组合为模块，分数据单元储存。
[0015]S202识别码生成装贴:对应各个数据单元，生成对应的电子识别码;借助物联网技术将该电子识别码与相应的图像、编码或二维码相关联;借助图像打印技术，生成相应的物理标签，装贴在设备上的固定位置；
S203工程信息识别:施工、安装或验收人员通过设于MR终端上的摄像头读取设备上的识别码，MR终端控制处理模块进行判断识别，并调取对应的数据库中的信息；
S204工程信息显示:被调取的工程信息，将结合摄像头拍摄的实际影像，将电子信息以直观的图形形式导出；通过眼镜前的透明显示屏成像，使施工、安装或验收人员可以直观了解施工信息，最终达到业扩工程提质增效的效果。
[0016]有益效果:有效提高施工安装环节中工作人员的施工效率，增加施工安装的准确性;有效简化验收步骤，减少人员工作量，提高验收效率。最终提高整体业扩流程的工作效率，减少业扩周期。
【附图说明】
[0017]图1是本发明结构原理示意图。
[0018]图2是本发明的用户识别流程图。
[0019]图3是本发明的施工验收流程图。
[0020]图中:1-摄像头;2-交互语音模块;3-透明显示屏;4-MR终端控制处理模块;5-MR数据及图像处理模块;6-工程信息数据库存储模块;7-工程信息录入模块;8-打印模块;9-0CR识别模块;5-1-数据模型接口； 5-2-识别码生成模块;6-1-CRM数据导入接口。
【具体实施方式】
[0021]以下结合说明书附图对本发明的技术方案做进一步的详细说明。
[0022]如图1所示，基于MR技术的电力业扩工程辅助系统，包括MR服务器、连接到MR服务器的MR终端，MR终端包括用于摄入图像信息的摄像头1、用于录入语音和进行语音播放的交互语音模块2、用于MR影像显示的透明显示屏3、用于处理摄录信息并进行显示控制的MR终端控制处理模块4，MR服务器包括电力业扩工程信息数据库存储模块6、电力业扩工程信息录入模块7、打印模块8、0CR识别模块9，MR数据及图像处理模块5，MR终端控制处理模块4、电力业扩工程信息录入模块7、打印模块8、OCR识别模块9均连接到MR数据及图像处理模块5，摄像头1、透明显示屏3和交互语音模块2连接到MR终端控制处理模块4。
[0023]为了方便携带，MR终端为MR智能可穿戴终端。MR智能可穿戴终端结构轻巧，便于携带。
[0024]为了使用成熟技术和简便应用，MR智能可穿戴终端包括MR眼镜。MR眼镜最容易应用、结构最轻巧，技术上与MR眼镜基本一致，技术成熟。
[0025]为了提升OCR识别精度和降低成本，打印模块8为用于打印电力业扩工程设备物理标签的微型打印装置。通过把物理标签打印出来贴到实际设备上可以降低OCR识别模块9对实际设备的技术识别能力，微型打印装置结构小，成本低。
[0026]为了方便使用现有的模型数据，MR数据及图像处理模块5设有用于导入包括CAD文件和BIM文件的数据模型接口 5-1。方便应用现有的BIM和CAD模型文件，不需要重复建模。
[0027]为了降低用户信息的录入工作量，电力业扩工程信息数据库存储模块6设有电力业扩工程CRM数据导入接口 6-1。通过CRM数据导入接口 6-1可以直接导入现有CRM系统的各种用户信息，不需要手工录入大量的用户信息，降低的工作强度。
[0028]为了提升设备匹配识别效率，MR数据及图像处理模块5设有设备的识别码生成模块5-2。识别码是设备识别的唯一根据，与传统的多重信息识别相比，识别码对应设备信息速度快、精确，不会出现不确定设备的现象，效率高。
[0029]为了降低OCR识别的技术要求，降低成本，OCR识别模块9设有人脸、文字图像、条形码和二维码等常用图像的识别子模块。针对人脸、文字图像、条形码和二维码等常用图像的识别应用普遍，技术成熟，便于直接集成到MR服务器。
[0030]基于MR技术的电力业扩工程辅助系统的工作原理过程如下:
I)通过MR终端的摄像头I和电力业扩工程信息录入模块7，录入各种工程信息和图像。
[0031]2)0CR识别模块9把MR终端控制处理模块4传输过来的图像进行特征处理，并通过MR数据及图像处理模块5结合电力业扩工程信息录入模块7录入的数据信息和数据模型接口 5-1导入模型数据进行处理，然后结合电力业扩工程CRM数据导入接口 6-1导入的CRM用户信息数据进行对应的编码归类并存储到工程信息数据库存储模块6。
[0032]3)MR数据及图像处理模块5把数据库存储模块处理过MR数据对象根据MR终端摄像头I所摄的现场影像资料进行OCR识别后反馈给MR终端控制处理模块4，并把MR影像和工程信息显示在MR终端的透明显示屏3上，把语音信息通过交互语音模块2与使用人实现交互。
[0033]显示在MR终端的MR影像和工程信息包括实操作步骤、注意事项、故障排查、语音指示等多方面信息的提示。
[0034]具体工作方法，例一:
如图2所示，基于MR技术的电力业扩工程辅助系统用户识别方法，主要步骤包括:
(I)用户信息汇编:在MR软件数据库中导入现有的营销系统中的用户信息，按照现有的信息将数据分类，并且与用户的个人的照片信息绑定，然后将储存信息的软件装载到智能可视化设备的终端中。
[0035](2)用户信息识别:服务人员借助智能可穿戴设备(眼镜)，当画面中出现用户人脸时，处理器结合摄像头捕捉人脸，将信息传递给设备终端软件，软件识别并提取相匹配的客户信息。
[0036](3)客户信息显示:被调取的用户信息传递给设备终端，借助眼镜前的透明显示屏成像，使服务人员可以看到相应的客户信息。更具信息快速反应，最终达到营销服务提质增效的效果。
[0037]具体工作方法，例二:
如图3所示，基于MR技术的电力业扩工程辅助系统施工验收方法，主要步骤包括:
(I)工程信息汇编:借助录入软件，将工程相关信息(例如:电气二次设备接线信息等)录入数据库，并且按照设备单元组合为模块，分数据单元储存。
[0038](2)识别码生成装贴:对应各个数据单元，生成对应的电子识别码。借助物联网技术将该电子识别码与相应的图像、编码或二维码相关联。借助图像打印技术，生成相应的物理标签，装贴在设备上的固定位置。
[0039](3)工程信息识别:施工、安装或验收人员利用装载了对应的电力MR业扩工程辅助系统的智能可穿戴终端，通过摄像头读取设备上的识别码，处理器进行判断识别，调取对应的数据库中的信息。
[0040](4)工程信息显示:被调取的工程信息，将结合摄像头拍摄的实际影像，将电子信息以直观的图形形式导出。通过眼镜前的透明显示屏成像，使施工、安装或验收人员可以直观了解施工信息，最终达到业扩工程提质增效的效果。
[0041]本技术方案用一种全新的工作模式代替传统的工作模式，利用基于MR技术的电力业扩工程辅助系统，以准确定位客户、快速高效施工、建议精确验收、增黏性为目标，充分利用混合现实、图像识别、移动互联等技术，实现业扩服务的提速增效，创新拓展了业扩服务的内涵和外延，为优质客户提供更好、更快捷的服务。
[0042]其具体用途包括:
1.实现对电力营销一线员工在装表接电全过程中的实时可视化指导。在现场安装或者新员工培训时，利用MR终端(如MR眼镜等)现实操作步骤、注意事项、故障排查、语音指示等多方面信息的提示。
[0043]2.实现MR操作环境与BM及CAD软件接口的互联互通。可以预留现有CAD文件、BIM文件等多种类型文件的接入口，通过转换使得相关文件可以在该平台上运行。
[0044]3.实现电力营销服务人员通过MR终端(如MR眼镜等)实时地识别并获取客户的姓名、年龄、信誉度、缴费偏好等信息。
[0045]4.实现输变电、配网、新能源等业扩工程施工中的各种施工信息实时显示，无需依赖于纸质图纸。基于MR终端(如MR眼镜等)，直观地显示各个施工部位的详细节点和施工要点。
[0046]5.实现输变电、配网、新能源等业扩工程安装中的各种安装信息实时显示，无需依赖于纸质图纸。基于MR终端(如MR眼镜等)，直观地显示一次接线、二次接线、输电线路走向等重要信息。
[0047]6.实现输变电、配网、新能源等业扩工程验收中的各类验收信息实时显示，无需依赖于纸质图纸。基于MR终端(如MR眼镜等)，直观地显示相应输变电工程的验收要点，进行逐个确认。
[0048]7.实现输变电、配网、新能源等业扩工程检修中的各类检修信息实时显示，无需依赖于纸质图纸。基于MR终端(如MR眼镜等)，直观地显示相应输变电工程的检修要点，进行逐个排查、修理。
[0049]在周途I中，通过MR软件将装表接电全过程中的操作步骤、注意事项、故障排查、语音借助等各种工况下的信息进行整合，导入MR终端(如MR眼镜等)，一线员工或者新进员工通过MR终端直接在设备上根据看到的各类提示进行操作，大大提高了工作效率，减少了新员工培训周期。
[0050]在用途2中，将WM、CAD软件通过开放程序端口并且镶嵌的方式打包到MR辅助系统中。
[0051]在用途3中，通过人脸识别系统和电力营销的大数据库相结合，利用MR终端(如MR眼镜等)实时识别前来办理业务的客户，并通过后台大数据库对客户信息的分析，为客户打上姓名、年龄、信誉度、缴费偏好等重要信息，直接显示在MR终端上，促进业扩服务提速增效。
[0052]在用途4中，将输变电、配网、新能源等业扩工程的设计信息通过软件汇编转换成MR程序，导入MR终端，并生成相应的识别码。通过将识别码与真实工业设备结合，通过MR终端扫描，可实现实时可视化显示节点详图和施工要点。
[0053]在用途5中，将输变电、配网、新能源等业扩工程的设计信息通过软件汇编转换成MR程序，导入MR终端，并生成相应的识别码。通过将识别码与真实工业设备结合，通过MR终端扫描，可实现实时可视化显示一次接线、二次接线、输电线路走向等重要信息。
[0054]在用途6中，将输变电、配网、新能源等业扩工程的设计信息通过软件汇编转换成MR程序，导入MR终端，并生成相应的识别码。通过将识别码与真实工业设备结合，通过MR终端扫描，可实现实时可视化显示验收要点，并逐个进行确认。
[0055]在用途7中，将输变电、配网、新能源等业扩工程的设计信息通过软件汇编转换成MR程序，导入MR终端，并生成相应的识别码。通过将识别码与真实工业设备结合，通过MR终端扫描，可实现实时可视化显示检修要点，并逐个排查、修理。
[0056]以上所示的基于MR技术的电力业扩工程辅助系统及其工作方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行形状、结构等方面的等同修改，均在本方案的保护范围之列。
【主权项】
1.基于MR技术的电力业扩工程辅助系统，包括MR服务器、连接到MR服务器的MR终端，其特征在于:所述的MR终端包括用于摄入图像信息的摄像头(I )、用于录入语音和进行语音播放的交互语音模块(2)、用于MR影像显示的透明显示屏(3)、用于处理摄录信息并进行显示控制的MR终端控制处理模块(4)，所述的MR服务器包括电力业扩工程信息数据库存储模块(6 )、电力业扩工程信息录入模块(7 )、打印模块(8 )、OCR识别模块(9)，MR数据及图像处理模块(5 )，所述的MR终端控制处理模块(4 )、电力业扩工程信息录入模块(7 )、打印模块(8 )、OCR识别模块(9)均连接到MR数据及图像处理模块(5)，所述的摄像头(1)、透明显示屏(3)和交互语音模块(2)连接到MR终端控制处理模块(4)。2.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的MR终端为MR智能可穿戴终端。3.根据权利要求2所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的MR智能可穿戴终端包括MR眼镜。4.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的打印模块(8)为用于打印电力业扩工程设备物理标签的微型打印装置。5.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的MR数据及图像处理模块(5)设有用于导入包括CAD文件和WM文件的数据模型接口(5-1)。6.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:电力业扩工程信息数据库存储模块(6)设有电力业扩工程CRM数据导入接口(6-1)。7.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的MR数据及图像处理模块(5)设有设备的识别码生成模块(5-2)。8.根据权利要求1所述的基于MR技术的电力业扩工程辅助系统，其特征在于:所述的OCR识别模块(9)设有人脸、文字图像、条形码和二维码识别子模块。9.基于MR技术的电力业扩工程辅助系统的工作方法，其特征在于包括以下步骤: 1)通过MR终端的摄像头(I)和电力业扩工程信息录入模块(7)，录入各种工程信息和图像； 2)0CR识别模块(9)把MR终端控制处理模块(4)传输过来的图像进行特征处理，并通过MR数据及图像处理模块(5)结合电力业扩工程信息录入模块(7)录入的数据信息和数据模型接口(5-1)导入模型数据进行处理，然后结合电力业扩工程CRM数据导入接口(6-1)导入的CRM用户信息数据进行对应的编码归类并存储到工程信息数据库存储模块(6); 3)MR数据及图像处理模块(5)把数据库存储模块处理过MR数据对象根据MR终端摄像头(I)所摄的现场影像资料进行OCR识别后反馈给MR终端控制处理模块(4)，并把MR影像和工程信息显示在MR终端的透明显示屏(3)上，把语音信息通过交互语音模块(2)与使用人实现交互。10.根据权利要求9所述的基于MR技术的电力业扩工程辅助系统工作方法，其特征在于:包括用户识别方法及施工验收方法； 用户识别方法包括以下步骤: SlOl用户信息汇编:导入现有的营销系统中的用户信息，按照现有的信息将数据分类，并且与用户的个人的照片信息绑定，然后将储存数据装载到MR终端； S102用户信息识别:服务人员借助MR终端，当画面中出现用户人脸时，通过摄像头(I)捕捉人脸，将信息传递给MR终端控制处理模块(4)，进行识别并提取相匹配的客户信息；S103客户信息显示:被调取的用户信息传递给透明显示屏(3)，借助眼镜前的透明显示屏成像，使服务人员可以看到相应的客户信息； 施工验收方法括以下步骤: S201工程信息汇编:借助录入软件，将工程相关信息录入数据库，并且按照设备单元组合为模块，分数据单元储存； S202识别码生成装贴:对应各个数据单元，生成对应的电子识别码;借助物联网技术将该电子识别码与相应的图像、编码或二维码相关联;借助图像打印技术，生成相应的物理标签，装贴在设备上的固定位置； S203工程信息识别:施工、安装或验收人员通过设于MR终端上的摄像头读取设备上的识别码，MR终端控制处理模块进行判断识别，并调取对应的数据库中的信息； S204工程信息显示:被调取的工程信息，将结合摄像头拍摄的实际影像，将电子信息以直观的图形形式导出；通过眼镜前的透明显示屏成像，使施工、安装或验收人员可以直观了解施工信息，最终达到业扩工程提质增效的效果。
【文档编号】G06Q50/06GK106066700SQ201610491913
【公开日】2016年11月2日
【申请日】2016年6月29日 公开号201610491913.7, CN 106066700 A, CN 106066700A, CN 201610491913, CN-A-106066700, CN106066700 A, CN106066700A, CN201610491913, CN201610491913.7
【发明人】舒恺, 王敬波, 严浩军, 张灿江, 郭高鹏, 张洁, 陈玄俊, 牛文栋, 周勋甜, 张帅, 梁玉洁, 李弘毅, 罗彦虎, 韩潇, 余丹萍, 张甦涛, 王州波, 张颖, 张申娜, 张碧波, 孙科
【申请人】宁波市电力设计院有限公司, 国家电网公司, 国网浙江省电力公司宁波供电公司, 国网浙江省电力公司