一种基于触控手柄和增强现实眼镜的弹药识别方法与流程
本发明涉及弹药识别和综合运用技术领域，尤其是一种基于触控手柄和增强现实眼镜的弹药识别方法增强现实弹药识别方法。
背景技术：
在虚拟现实virtualrealityvr基础上发展而来的基于视觉感知技术的增强现实技术，是一门建立在多个学科基础上的交叉学科，能够将计算机生成的虚拟图像实时地、动态地融合到用户所看到的真实环境中。基于视觉感知技术的增强现实技术是对现实场景进行补充，通过虚实融合来增强使用者对真实环境的理解和感受，以此来达到“增强”的效果，使用者不仅能够通过虚拟现实系统感受到在客观世界中所经历的事物，而且能够突破空间、时间及其他限制，感受到在真实世界中无法亲身经历的体验。增强现实技术主要优势在于，通过真实世界和虚拟世界相互结合，使真实世界得到增加与加强，从而以新的方式大幅提升人们认知和改造真实世界的能力，出现了从“人适应世界”到“世界适应人”的变化。
近几年来，增强现实技术已进入了军事领域的多个方面,并开始发挥重要作用。世界各国也都高度重视增强现实技术在军事领域的运用，在武器装备制造、战场环境显示、部队演习训练、后装综合保障等方面进行了大量的研究探索，取得了系列成果，展示出广阔的应用前景。基于视觉感知技术的增强现实技术运用于军事领域，主要体现在4个方面：一是可实时展示和共享实物、模型、设计图纸等信息，利用多通道人机自然交互技术，使得异地、多人可以实时互动，沟通交流设计思想，修改与改进方案。二是可将武器装备的模型及各种可能的设计方案融合在一起，显示给使用者,使用者可通过增强现实系统全面比较各种方案,且能够将修改意见直接反映到装备的研制模型上。三是可为用户提供先期演示，让研制者和用户同时进入虚实结合的作战环境中操作武器系统，检验武器系统的设计方案、战术、技术性能指标及其操作的合理性。四是可将装配维修的标准工作流程指南准确地显示给用户，大幅提高装备研制效率及装备实用性。
当前，弹药的使用与管理主要存在以下几个问题：(1)当前所使用弹药品种繁多、操作使用各异，造成弹药知识学习成本极高。(2)当前弹药保障和使用人员弹药基础知识匮乏，致使弹药操作使用能力匮乏。(3)由于弹药的特性，在实际学习和使用过程中具有较高的安全隐患。通过增强现实技术的研发和应用，有望从根本上解决上述难题。
技术实现要素：
本发明要解决的技术问题是提供一种基于触控手柄和增强现实眼镜的弹药识别方法。
为解决上述技术问题，本发明所采取的技术方案如下。
一种基于触控手柄和增强现实眼镜的弹药识别方法，该识别方法基于专用的眼镜-手柄连携系统通过数据交互进行弹药识别，其数据交互系统包含如下子数据库：二维码字典子数据库、二维码加密子数据库、弹药基础信息子数据库、弹药三维矢量子数据库、弹药仓库数字化管理子数据库、弹药质量数字化管理子数据库、弹药销毁自动化警示提示子数据库；所述二维码字典子数据库的存储容量兼容不低于100种弹药信息及对应的二维码字典；所述二维码加密子数据库与所述二维码字典子数据库设置类别映射函数架构；所述弹药基础信息子数据库设定标准可交换文本数据格式；所述弹药基本信息至少包含弹药种类数据、弹药名称数据、弹药装配信息数据、弹药诸元信息数据；所述弹药三维矢量子数据库兼容弹药外观数据、弹药部组件结构体征数据、弹药操作使用文本数据、弹药操作使用图形数据、弹药操作使用视频数据、与弹药事故处理数据；所述弹药仓库数字化管理子数据库兼容仓库弹药位置引领数据、弹药调拨自动化登统计数据；所述弹药质量数字化管理子数据库兼容常规检测自动化录入数据、质量状态自动化标识数据；所述弹药销毁自动化警示提示子数据库兼容销毁危险品自动警示提示数据。
作为本发明的一种优选技术方案，数据交互系统设置有两个软件通信端口，第一端口外接透视性光波导显示引擎软件，并进行如下数据设置，设置定时/手动休眠，手动唤醒功能；设置快速实现对弹药二维码的识别，识别时间不大于2秒；设置能够识别弹药弹体柱面上的弹药标示，误判率不大于40％；设置通过触摸板操作切换显示识别出弹药的基本信息、图片、视频、三维模型，兼容对模型进行旋转操作；设置支持语音交互和/或语音助手；第二端口支持将数据库内容打包导入到ar显示设备进行通信和存储。
作为本发明的一种优选技术方案，所述数据交互系统包括如下数据构型模块：二维码数据生成模块、二维码数据加密模块、二维码数据映射模块、图片数据模块、视频数据模块、模型数据模块、仓储数据模块。
作为本发明的一种优选技术方案，所述数据交互系统整体设置有面向模块的可拓展性架构，各个数据模块设置开放性数据增删权限架构。
作为本发明的一种优选技术方案，所述数据交互系统向上、向下分别与二维码扫码端口、ar显示端口进行开放式可读取数据串接。
作为本发明的一种优选技术方案，所述数据交互系统的服务器的配置不低于：仿真计算cpu不低于i7，内存不小于8g，硬盘不小于500g，独立显存不小于1g。
作为本发明的一种优选技术方案，所述专用的眼镜-手柄连携系统包括ar眼镜主体、与所述ar眼镜主体连携使用的手柄以及数据库系统，所述ar眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元，所述图像识别单元用于识别弹药的二维码和弹药标识，所述虚拟场景生成单元用于将所述图像识别单元识别到的信息与储存在所述数据库系统内的弹药信息数据匹配，并将所述交互单元产生的交互数据和跟踪数据进行处理，生成与真实环境数据匹配的虚拟画面并传送至所述头部显示单元，所述头部显示单元用于显示弹药的基本信息、图片、视频以及三维模型，所述低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，所述手柄包括触控板，通过所述触控板实现对所述头部显示单元显示界面的切换。
采用上述技术方案所产生的有益效果在于：本发明研发的基于触控手柄和增强现实眼镜的弹药识别方法系统,可实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示等，使弹药保障和使用人员快速掌握弹药知识，视觉感知弹药结构组成以及操作使用流程，降低弹药使用过程中的安全隐患，为实现弹药精准化、数字化管理，立体化、直观化知识普及奠定基础。本发明研发的专用ar技术和增强现实算法，通过开展二维码识别技术、图像识别技术、增强现实处理中心、人机交互中心、超低功耗设计与智能化能源管理技术等相关技术研究，在充分收集弹药各种信息的基础上，为陆军弹药基础信息的快速识别、直观显示提供识别，分析，数据显示平台。从而为实现弹药技术保障与操作使用人员快速、直观掌握药基本性能，熟悉操作使用。本发明的数据库系统以提高使用者弹药认知能力和操作运用能力为目标，以“突出特色、模拟逼真、技术先进、稳定可靠、易于扩展”为设计原则，完全覆盖弹药基本信息、直观感受、操作使用、维护保养、技术检查和事故处理等内容。系统具有模拟逼真、功能丰富、技术先进、使用方便、易于扩展等技术优点和技术进步。本发明数据库的构型构建和内容交互方式，至少具有如下技术价值和优点：虚实结合性，通过将虚拟环境与实际环境融为一体，几乎感觉不到真假融合所产生的不和谐；实时交互性，可通过交互设备直接与虚拟物体或虚拟环境进行交互，增强了使用者对环境的感知；3d定位性，视频式增强现实系统，由摄像机拍摄所得的视频直接显示在显示器中，使用户看到真实场景，同时由虚拟摄像机拍摄到的虚拟视频被送到显示器，通过虚、实两个摄像机的全方位对准，使虚、实场景融合一体，可在三维空间中自由增添、定位虚拟物体。本发明的数据系统能够满足专业弹药应用需求，通过仿真模型演示和增强现实交互等先进方法手段，可以使弹药使用人员能够实现弹药基础信息的快速准确识别、弹药结构三维立体显示、弹药操作使用流程与要求直观演示等；实现弹药技术保障与操作使用人员快速、直观掌握药基本性能，熟悉操作使用，减少弹药使用准备等待时间，降低弹药的使用安全隐患。本发明的数据系统能够提高弹药知识学习效率和学习效果，采用ar增强现实技术和计算机仿真技术构建可视化虚拟系统，使弹药保障和使用人员快速掌握弹药知识，视觉感知弹药结构组成以及操作使用流程。更重要的是，很多弹药拆开后，无法观察其内部运作机理。采用增强现实视景仿真技术，能够清晰逼真的展示系统的构造特点和工作过程，可以提供大量可视化的弹药结构信息。本发明的数据系统能够减少安全隐患，系统包含弹药的操作使用与事故处理的图片、视频、三维模型等多媒体资料，通过虚拟学习和操作快速掌握弹药使用和处理知识，进一步降低安全事故发生的机率。
基于本发明研发的数据库系统，能够直接实现基于视觉感知技术的增强现实弹药镜软硬件系统，摒弃传统的学习模式，通过增强现实头戴设备完全还原装备，通过数据设备实现人与装备间的互动。构建一种极为逼真的学习训练环境，使用者通过随身携带的增强现实系统,不仅可以看到真实的弹药与环境,而且可以看到场景中增加的各种虚拟物体,使受训者进行沉浸式学习，进一步提升技能水平。本发明数据系统及其眼镜-手柄连携弹药识别系统上的应用，可使弹药保障与使用人员以及非弹药专业人员通过识别弹药包装箱或弹体上二维码，也能在最短的时间内熟悉了解弹药的基本信息(种类、名称、装配信息、诸元信息等)，直观感受(三维)弹药及部组件的结构体征，快速掌握弹药的操作使用(视频)与事故处理。并可通过后续功能拓展实现弹药仓库数字化管理(仓库弹药位置引领、弹药调拨自动化登统计等)、弹药质量数字化管理(常规检测自动化录入、质量状态自动化标识等)以及弹药销毁自动化警示提示(销毁危险品自动警示提示)等，大幅提升陆军弹药的信息化管理水平。
附图说明
图1为本发明的系统组成结构示意图。
图2为本发明的二维码识别透视和变换效果示意图。
图3为本发明的弹药标识示意图。
图4为本发明的图片分割直方示意图。
图5为本发明的视觉特征原理示意图。
图6为本发明的语音识别原理示意图。
图7为本发明的三维建模方案示意图。
图8为本发明的计算机动画技术实现途径示意图。
具体实施方式
以下实施例详细说明了本发明。本发明所使用的各种原料及各项设备均为常规市售产品，均能够通过市场购买直接获得。
在以下实施例的描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
实施例1、基于触控手柄和增强现实眼镜的弹药识别方法系统架构
参见附图1，本实施例介绍了本发明的一个具体实施方式及其系统架构，本实施例的实现基于一种专用眼镜-手柄连携系统,并通过数据交互进行弹药识别，其数据交互系统包含如下子数据库：二维码字典子数据库、二维码加密子数据库、弹药基础信息子数据库、弹药三维矢量子数据库、弹药仓库数字化管理子数据库、弹药质量数字化管理子数据库、弹药销毁自动化警示提示子数据库；二维码字典子数据库的存储容量兼容不低于100种弹药信息及对应的二维码字典；二维码加密子数据库与二维码字典子数据库设置类别映射函数架构；弹药基础信息子数据库设定标准可交换文本数据格式；弹药基本信息至少包含弹药种类数据、弹药名称数据、弹药装配信息数据、弹药诸元信息数据；弹药三维矢量子数据库兼容弹药外观数据、弹药部组件结构体征数据、弹药操作使用文本数据、弹药操作使用图形数据、弹药操作使用视频数据、与弹药事故处理数据；弹药仓库数字化管理子数据库兼容仓库弹药位置引领数据、弹药调拨自动化登统计数据；弹药质量数字化管理子数据库兼容常规检测自动化录入数据、质量状态自动化标识数据；弹药销毁自动化警示提示子数据库兼容销毁危险品自动警示提示数据。数据交互系统设置有两个软件通信端口，第一端口外接透视性光波导显示引擎软件，并进行如下数据设置，设置定时/手动休眠，手动唤醒功能；设置快速实现对弹药二维码的识别，识别时间不大于2秒；设置能够识别弹药弹体柱面上的弹药标示，误判率不大于40％；设置通过触摸板操作切换显示识别出弹药的基本信息、图片、视频、三维模型，兼容对模型进行旋转操作；设置支持语音交互和/或语音助手；第二端口支持将数据库内容打包导入到ar显示设备进行通信和存储；数据交互系统包括如下数据构型模块：二维码数据生成模块、二维码数据加密模块、二维码数据映射模块、图片数据模块、视频数据模块、模型数据模块、仓储数据模块；数据交互系统整体设置有面向模块的可拓展性架构，各个数据模块设置开放性数据增删权限架构；数据交互系统向上、向下分别与二维码扫码端口、ar显示端口进行开放式可读取数据串接。数据交互系统的服务器的配置不低于：仿真计算cpu不低于i7，内存不小于8g，硬盘不小于500g，独立显存不小于1g。
至于专用的眼镜-手柄连携系统，其主体上包括ar眼镜主体、与ar眼镜主体连携使用的手柄以及数据库系统，ar眼镜主体内置有图像识别单元、头部显示单元、交互单元、虚拟场景生成单元以及低功耗管理单元，图像识别单元用于识别弹药的二维码和弹药标识，虚拟场景生成单元用于将图像识别单元识别到的信息与储存在数据库系统内的弹药信息数据匹配，并将交互单元产生的交互数据和跟踪数据进行处理，生成与真实环境数据匹配的虚拟画面并传送至头部显示单元，头部显示单元用于显示弹药的基本信息、图片、视频以及三维模型，低功耗管理单元在无操作时，控制系统进入休眠倒计时，时间到达进入超低功耗状态，手柄包括触控板，通过触控板实现对头部显示单元显示界面的切换。
实施例2、ar增强现实眼镜部组。
产品设计形式：分体；基本功能：支持对模型结构尺寸角度等进行调整；支持对模型进行移动、分拆、组合等多种编辑方式；支持添加多媒体信息和模型进行叠加；支持真实物体与虚拟物体进行虚实叠加；支持第一视角与第三视角同步显示；支持多终端(平板、眼镜、显示器等)同步显示与同步编辑；支持4g/wifi的方式获得云端数据；支持远程语音交流操作交互；支持常见数字模型导入；支持手势识别和语言交互；支持指纹识别；支持nfc功能；支持各种ai算法集成与应用；支持对应用软件进行定制与适配；定位功能：支持gps；支持北斗卫星定位；远程协助功能：支持远程协助功能；眼镜操作系统需提供开放式应用编程接口，满足后续二次开发要求。
指标方面：ar增强现实眼镜处理器：高通骁龙820；内存：2gb；内置储存空间：16gb；连接：wi-fi,bluetooth,usb2.0；显示屏：micro-oled；显示屏数量：双显示屏；单眼分辨率：不低于1024*768；视场角：35°对比度：10000:1；视频：720p@30fps,1080p@30fps；自动对焦：支持；操作系统：android(提供开放式应用编程接口)；手势交互：支持；传感器(眼镜)：加速计,陀螺仪,磁力计，光线传感器；音频：立体声耳机/麦克风；储存卡：可扩展32gmicrosd；近视镜片：支持；电池容量3700mah；满负载使用时间：大于2.5小时；手势识别功能：视场角：水平130°，垂直110°；帧率：30fps；工作距离：20-60cm；图像分辨率：2x640x480pixel；延时：20ms；slam功能：6dof跟踪；定位精度：95％；cpu占用率：10％；初始化时间：＜1s；支持单目/双目模式；闭环重定位速度：＜2s；离线地图：支持多设备云端同步共享统一坐标系；运动预测：＜25ms；3dmapping：刷新率10hz；mesh精度80％；扫描空间尺寸10m*10m*10m。
实施例3、增强现实弹药识别眼镜系统部组
包括如下设置：a.二维码生成模块；采用工业上使用的主流二维码作为弹药识别标识，包括：龙贝码、汉明码等；二维码采用des、rsa双重加密算法，确保明文数据无法被非授权方窃取；全自动生成二维码并可对二维码进行导出、打印、重命名等操作，方便二维码管理。b.图像识别模块；能够快速实现对弹药二维码的识别，识别时间不大于2秒；能够识别弹药柱体及包装箱上的弹药标示，误判率不大于40％；柱面二维码采用8等分分割方式矫正柱面图像畸变提高识别率；对图像识别过程中，通过高分辨率摄像头捕捉图像，进行图像预处理-图像特征抽取进而匹配模型输出结果；适应各种实际环境，能够在过亮、过暗、能见度相对较低、雨雪天气中对图像进行精准识别。c.前端显示模块；通过触摸板操作切换显示识别出弹药的基本信息、图片、视频、三维模型等，可以对模型进行旋转操作；通过视频结合三维模型，让使用者快速掌握弹药的操作与事故处理；合理设计ui界面，优化用户操作体验；显示当前所使用的ar眼镜硬件信息，以达到对硬件性能的实时掌握；通过预留接口实现后期弹药仓库数字化管理，弹药质量数字化管理以及弹药销毁自动化警示提醒等功能。d.交互功能模块；对操作使用人员行为通过交互设备和定位系统进行识别、跟踪；触摸交互要求通过触摸板实现ar眼镜鼠标功能，实现基本的点击和拖拽操作，实现对三位模型的控制；语音交互功能支持通过简短的语言指令实现对ar眼镜的智能交互功能；语音识别有预处理过程，使信号频谱平坦化，增加识别准确度；采用多种交互融合方式，以实体按钮为辅，提高交互自然性、准确性。需要设计统一、协作的交互系统。解决多种交互融合问题，从满足复杂多变的环境条件出发，综合考虑在运算速度及带宽限制下进行有效的通讯和运作；使操作人员和人机操作界面更合理，不至于混淆显示屏幕，根据使用中目标物体的性质按一定层次结构进行信息组织，并通过只能的信息过滤机制，进行智能化处理。e.低功耗管理模块；当系统无识别和操作任务时，系统进入休眠倒计时，时间到达进入超低功耗状态；当有触控时间触发时，休眠被立刻唤醒，进入正常的识别状态。
实施例4、数据库软件部组。
包括如下设置：a.基础信息数据库；基于轻量级的sqllite实现；包含二维码字典及二维码加密数据；文本数据包含弹药的基本信息(种类、名称、装配信息、诸元信息等)数据；多媒体数据包括弹药图片、三维模型、拆解三维视图、弹体结构特征、相关操作视频流程让使用者能够快速掌握弹药操作使用与事故处理；通过弹药识别数据库软件可实现对现有数据库的增、删、改、查操作，随着系统的逐渐完善，可以想数据库不断完善弹药的信息和模型数据；后期通过有线连接的方式实现对眼镜中弹药数据的更新升级。b.生产信息数据库；预留数据功能，弹药质量数字化管理(常规检测自动化录入、质量状态自动化标识等)以及弹药销毁自动化警示提示(销毁危险品自动警示提示)等数据；可对现有数据进行增、删、改、查操作。c.物流仓储数据库；预留数据功能，包含弹药仓库数字化管理(仓库弹药位置引领、弹药调拨自动化登统计等)信息以此为组织、指挥、调度、监督提供数据支持；可对现有数据进行增、删、改、查操作。
指标方面，能够快速实现对弹药二维码的识别，识别时间不大于2秒；能够识别弹药体柱面及包装箱上的弹药标示，误判率不大于40％；支持语音交互、语音助手；弹药增强现实交互式平台存储容量可实现不低于100种弹药信息的直观显示。
实施例5、关键技术-三维引擎技术
三维引擎采用unity3d。该引擎是极为成熟的综合性开发引擎，对于本系统增强现实应用开发拥有成功的较多的同类型产品；
引擎支持pc/android/ios/linux等多平台支持能力，对于本系统所使用的pc平台和移动android平台，具有十分良好的兼容性；引擎的性能好，包括cpu，gpu，内存等可良好的进行按需适配；
能够在增强现实眼镜上流畅稳定的运行；开发效率极高；引擎良好的支持增强现实技术、触摸技术、语音交互技术等技术，可以完美的匹配本系统所需功能；支持更多的drallcall(绘制调用)和更完善的优化；支持高级ai；支持物理仿真；支持热更新，对于系统功能和数据更新支持良好；引擎自带编辑器(动画，场景，特效，ui，粒子等)，并支持扩展；良好支持第三方插件和库；引擎具有良好的文档和技术支持；引擎具备完善的开发工具，如性能分析，打包等等。
实施例6、关键技术-数据库构型和数据架构
数据库包括如下数据构型模块：二维码数据生成模块、二维码数据加密模块、二维码数据映射模块、图片数据模块、视频数据模块、模型数据模块、仓储数据模块，数据库整体设置有面向模块的可拓展性架构，各个数据模块设置开放性数据增删权限架构；所述数据库向上、向下分别与二维码扫码端口、ar显示端口进行开放式可读取数据串接；数据库包含如下子数据库：二维码字典子数据库、二维码加密子数据库、弹药基础信息子数据库、弹药三维矢量子数据库、弹药仓库数字化管理子数据库、弹药质量数字化管理子数据库、弹药销毁自动化警示提示子数据库；数据库的服务器设置为至少满足如下条件：仿真计算cpu不低于i7，内存不小于8g，硬盘不小于500g，独立显存不小于1g。
数据库包含二维码字典子数据库，且二维码字典子数据库的存储容量兼容不低于100种弹药信息及对应的二维码字典。数据库包含二维码字典子数据库、二维码加密子数据库，且二维码加密子数据库与所述二维码字典子数据库设置类别映射函数架构。数据库包含弹药基础信息子数据库，且弹药基础信息子数据库设定了标准可交换文本数据格式。弹药基本信息至少包含弹药种类数据、弹药名称数据、弹药装配信息数据、弹药诸元信息数据。数据库包含弹药三维矢量子数据库，兼容弹药外观数据、弹药部组件结构体征数据、弹药操作使用文本数据、弹药操作使用图形数据、弹药操作使用视频数据、与弹药事故处理数据。数据库包含弹药仓库数字化管理子数据库，兼容仓库弹药位置引领数据、弹药调拨自动化登统计数据。数据库包含弹药质量数字化管理子数据库，兼容常规检测自动化录入数据、质量状态自动化标识数据。数据库包弹药销毁自动化警示提示子数据库，兼容销毁危险品自动警示提示数据。数据库设置两个软件通信端口，第一端口外接透视性光波导显示引擎软件，并进行如下数据设置，设置定时/手动休眠，手动唤醒功能；设置快速实现对弹药二维码的识别，识别时间不大于2秒；设置能够识别弹药弹体柱面上的弹药标示，误判率不大于40％；设置通过触摸板操作切换显示识别出弹药的基本信息、图片、视频、三维模型，兼容对模型进行旋转操作；设置支持语音交互和/或语音助手；第二端口支持将数据库内容打包导入到ar显示设备进行通信和存储。
数据库选择sqlite。用于承载本系统的各类弹药数据。用户通过弹药识别数据库软件可以实现对现有数据库的增、删、改、查操作，随着系统的逐渐完善，可以向数据库不断地完善弹药的信息和模型数据。sqlite是一款轻量级关系型数据库管理系统，占用资源非常低，能够支持本项目需求的windows和android操作系统，能够跟多程序语言相结合，并且处理速度优于mysql、postgresql等，并且是开源数据库。
实施例7、关键技术-二维码识别及加密技术
本研究项目图像识别涉及两个部分，弹药二维码图像识别与弹药标识识别。需要对二维码及弹药标识具有良好的识别能力，需要具备成熟、稳定的性能。
图像识别
计算机的图像识别技术和人类的图像识别在原理上并没有本质的区别，人类的图像识别都是依靠图像所具有的本身特征分类，然后通过各个类别所具有的特征将图像识别出来的，当看到一张图片时，我们的大脑会迅速感应到是否见过此图片或与其相似的图片。
在这个过程中，我们的大脑会根据存储记忆中已经分好的类别进行识别，查看是否有与该图像具有相同或类似特征的存储记忆，从而识别出是否见过该图像。
图像识别技术是以图像的主要特征为基础的。每个图像都有它的特征，如字母a有个尖，p有个圈、而y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息,抽出关键的信息。同时,在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。
图像识别技术的过程分以下几步：信息的获取、预处理、特征抽取和选择、分类器设计和分类决策。信息的获取是指通过传感器，将光或声音等信息转化为电信息。也就是获取研究对象的基本信息并通过某种方法将其转变为机器能够认识的信息。预处理主要是指图像处理中的去噪、平滑、变换等的操作，从而加强图像的重要特征。特征抽取和选择简单的理解就是我们所研究的图像是各式各样的，如果要利用某种方法将它们区分开，就要通过这些图像所具有的本身特征来识别，而获取这些特征的过程就是特征抽取。
弹药二维码图像识别
二维码常见的方法过程主要有图像预处理、定位位置探测图形、定位校正图形、透视变换、译码和纠错。
a图像预处理：灰度化、去噪、畸变矫正以及二值化；二维码识别过程容易受到环境影响而难以识别，预处理过程用来改善图像质量和识别环境。
①图像灰度化：摄像头输出的数据格式很多，黑白摄像头直接输出灰度图，而彩色摄像头输出格式有yuv422，yuv410，rgb565，rgb888等，二维码识别只需要单通道的灰度图，因此需要转化，以rgb888为例，转换公式如下：
gray＝0.2989r+0.5870g+0.1140b
②去噪：噪声的影响会使特征定位不准以及数据阶段译码错误，常见的噪声主要是高斯噪声和椒盐噪声，可以采用高斯滤波，中值滤波或均值滤波来改善图像质量。
③畸变矫正：广角摄像头或鱼眼摄像头带有较大的畸变，越靠近视角边缘图像形变越大，对于畸变较大的图像而言，不仅1：1：3：1：1的特征的比例关系失调，数据区的数据没有标准的模块大小，会造成无法准确译码。对于这种情况，需通过畸变模型矫正，矫正成无畸变的图像。
④二值化：正常情况下背景和qr码目标区分明显，光照均匀，只需要简单使用全局二值化方法即可，常见的方法有固定阈值法、otsu法，直方图双峰阈值化方法等。对于光照不均匀的情况，则不适用，会造成全局亮度失衡而无法正常识码，因此需要自适应局部阈值化方法处理，可以采用分块求阈值再均衡化的方法实现。
b.定位位置探测图形：通过位置探测图形特征查找，水平和垂直方向扫描该特征，多次穿透极为侯选位置探测图像，通过筛选策略剔除假位置探测图形确定真图形，再确定他们的方位。
c.定位校正图形：根据探测图像估计校正符。
d.透视变换：根据定位点和校正符获取单应性矩阵，再通过透视变换获取标准正方形图像，透视变换公式如下：
x＝a11u+a12v+a13
y＝a21u+a22v+a23
z＝a31u+a32v+a33
透视变换效果如附图2所示。
e.译码和纠错：译码是对二维码版本信息、格式信息、数据和纠错码进行解码和对比。将数据区转为0和1的比特流，并用纠错算法对比特流校验和纠错。判断编码格式后译码，就得到了二维码包含的数据。
f.柱面二维码识别：针对本项目研究对象，存在柱面二维码图像识别需求。对此，对于采集的二维码图像采用8等分分割方式矫正柱面畸变，以提高识别率。
g.二维码加密：在二维码生成时，采用des、rsa双重加密算法对明文数据进行加密；在解码过程中进行相应的解密，确保铭文数据无法被非授权方窃取。
弹药标识识别
弹药标识是位于弹药柱体及包装箱上编号数据，由中文、英文、数字组成。位于箱体或弹药的几个位置，分别标注了该弹药的几个组成部分。如附图3所示，绿色是该弹药标识的几个区域，红色是需要识别的数据。
对于此类数据识别，采用文字识别技术，通过相机获取图像，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字。
a.预处理：主要包括灰度化、二值化、噪声去除、倾斜矫正等。
灰度化：灰度图是只含亮度信息，不含色彩信息的图片。在rgb模型中，如果r＝g＝b时，则彩色表示一种灰度颜色，其中r＝g＝b的值叫灰度值。一般满足下面这个公式：
gray＝0.299r+0.587g+0.114b这种参数考虑到了人眼的生理特点。
b.二值化：非黑即白。对摄像头拍摄的图片，大多数是彩色图像，彩色图像所含信息量巨大，对于图片的内容，可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这就是二值化图了。经过灰度处理的彩色图像还需经过二值化处理将文字与背景进一步分离开。二值化的过程中涉及到“阈值”的概念，简单来说就是想找到一个合适的值来作为一个界限，大于或小于这个界限的值变为白色或黑色即0或255。
使用直方图方法(也叫双峰法)来寻找二值化阀值，直方图是图像的重要特质。直方图方法认为图像由前景和背景组成，在灰度直方图上，前景和背景都形成高峰，在双峰之间的最低谷处就是阀值所在。
c.图像降噪：现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，称为含噪图像或噪声图像。减少数字图像中噪声的过程称为图像降噪(imagedenoising)。在演示的过程中可以看到当二值化之后的图片会显示很多小黑点，这些都是不需要的信息，会对后面进行图片的轮廓切割识别造成极大的影响，降噪是一个非常重要的阶段，降噪处理的好坏直接影响了图片识别的准确率。
d.倾斜矫正：拍照或者选取的图片不可能完全是水平的，倾斜会影响后面切出来的图片，所以要对图片进行旋转倾斜矫正最常用的方法是霍夫变换，其原理是将图片进行膨胀处理，将断续的文字连成一条直线，便于直线检测。计算出直线的角度后就可以利用旋转算法，将倾斜图片矫正到水平位置。
e.图片分割：对于一段多行文本来讲，文字切分包含了行切分与字符切分两个步骤，倾斜矫正是文字切分的前提。我们将倾斜矫正后的文字投影到y轴，并将所有值累加，这样就能得到一个在y轴上的直方图，参见附图4。
f.文字识别：通过获取图像切片，把每一部分的图像扫描的文字提取特征向量与特征模板进行模板粗分类和模板细匹配，识别出字符。
实施例8、关键技术-关键技术-空间即时定位技术
空间即时定位技术即slam就是同时进行场景的建模和相机自身位置的定位，它的用途就是估计一些设备在场景中的位置和相对运动轨迹。slam即时定位与地图构建，简单的理解就是：机器在一个完全陌生的环境中，可以依靠视觉和传感器来即时构建周边环境数据。
我们可知，视觉特征的形成原理如下附图5，图中我们可以看到，一个相机的成像，主要是通过相机观测一个3d点，就可以得到图像。
而运用slam方法，主要就是对这些点进行标定，再通过视觉方法，将特征点识别和传感器信号融合到算法里边，重建场景。
空间定位技术，最早是在军事上使用，比如导弹、飞机，需要空中定位位置，优化以后用在智能机器人、无人车和扫地机器人上。vr/ar也是需要用空间定位技术，研发和掌握这些空间定位技术的是这些公司，比如googletango，几年前出的tango平板，还有microsofthololens，高通，一些硬件厂商已经拿到他们的参考设计进行适用，效果很好。apple发布的arkit，类似的技术还有facebook，snapchat，也正在筹备做相关应用。
a.slam空间定位技术/视觉方法
slam空间定位技术需要结合视觉和传感器两方面信息。视觉方法可以分很多，比如用激光雷达、双目摄像头、单摄像头、rgbd等。而视觉slam方法包含两个模块，一个是tracking，已知3d点位置；一个是mapping，更新3d点的位置。同时也需要知道两种视觉特征：基于图像特征点的方法，如ptam,orb；另一种为直接法，比较像素灰度差，如lsd-slam，dso-slam。
b.slam空间定位技术/传感器
传感器是实现slam的两大基本元素之一，目前常见的几种惯性传感器如陀螺仪，是vrar领域较为常见的，分别为机械、激光、微机械陀螺仪。机械陀螺仪，在手机端常见，陀螺仪如果高速旋转的话，整个设备旋转。激光陀螺仪陀螺仪，激光陀螺仪它的方向是不变的，这样可以得到设备的旋转方向，这种陀螺仪早期在几百年前的轮船里应用比较多，但现在高精度的陀螺仪都是用激光陀螺仪，比如导弹在空中飞行几个小时，但误差只有几百米，或者100米之内。微机械陀螺仪中间有个激光源，它会向两个方向发射激光。如果这个物体静止不动的话，这两条光线的长度一样，比较这两条光线的相差就是0，如果这个物体旋转的话，这两个光路就会有稍微特别小的变化，中间产生的相差就会有，通过识别相差就能知道整个设备旋转速度。这里有两个扇片，物体旋转的时候不动，通过识别角度就可以知道它的旋转速度。这种微型化的陀螺仪精度会比激光差很多，如果单独用它的话是没法达到结果，所以必须要结合陀螺仪和视觉信息一起进行。
实施例9、关键技术-三维注册技术
三维注册技术是实现移动增强现实应用的基础技术，也是决定移动增强现实应用系统性能优劣的关键，因此三维注册技术一直是移动增强现实系统研究的重点和难点。主要任务：实时检测出摄像头相对于真实场景的位姿状态，确定所需要叠加的虚拟信息在投影平面中的位置，并将这些虚拟信息实时显示在屏幕中的正确位置，完成三维注册。注册技术性能判断的三个标准：实时性、稳定性和鲁棒性。
ar眼镜集成基于计算机视觉和基于硬件传感器的混合注册算法，实现高质量精度。基于计算机视觉的注册算法：主要是指利用计算机视觉获取真实场景的信息后，经过图像处理方面的知识来识别和跟踪定位真实场景的过程。基于计算机视觉的注册算法又分为基于传统标志的注册算法和基于自然特征点无标志注册算法。基于硬件传感器的注册算法：传统增强现实系统的硬件传感器跟踪技术主要包括惯性导航系统、全球定位系统(gps)、电磁、光学或超声波位置跟踪器等。其中惯性导航系统的主要问题是被跟踪物体的角度及位置的跟踪误差会随时间增长而不断增大，漂移较大，设备的体积重量也较大；gps定位误差较大，在室内、峡谷或其他复杂地形的情况下gps信号经常无法正常接收；电磁、光学或超声波位置跟踪器采用发射和接收的工作方式来进行跟踪，使用场合固定，范围有限。
实施例10、关键技术-虚实融合显示技术
虚实融合场景显示研究的主要问题有两个方面：一是如何完成真实场景和虚拟对象信息的融合叠加，二是如何解决融合过程中虚拟对象信息延迟的现象。对于光学透视式头盔显示器，用户可以实时地看到周围真实环境中的情景，而对真实场景进行增强的虚拟对象信息要经过一系列的系统延时后才能显示到头盔显示器上。当用户的头部或周围景象、物体发生变化时，系统延时会使增强信息在真实环境中发生“漂移”现象。而采用视频透视式显示方式的话可以在一定程度上解决这样的问题。通过程序来控制视频显示和虚拟对象信息的显示频率，可以达到实时性的需求并且缓解甚至杜绝“漂移”的现象。
实施例11、关键技术-语音识别技术
语音识别技术就是让智能设备听懂人类的语音。它是一门涉及数字信号处理、人工智能、语言学、数理统计学、声学、情感学及心理学等多学科交叉的科学。这项技术可以提供比如自动客服、自动语音翻译、命令控制、语音验证码等多项应用。近年来，随着人工智能的兴起，语音识别技术在理论和应用方面都取得大突破，开始从实验室走向市场，走进实际应用。
语音识别的本质是一种基于语音特征参数的模式识别，即通过学习，系统能够把输入的语音按一定模式进行分类，进而依据判定准则找出最佳匹配结果。目前，模式匹配原理已经被应用于大多数语音识别系统中。附图6是基于模式匹配原理的语音识别系统框图。
一般的模式识别包括预处理，特征提取，模式匹配等基本模块。首先对输入语音进行预处理，其中预处理包括分帧，加窗，预加重等。其次是特征提取，因此选择合适的特征参数尤为重要。常用的特征参数包括：基音周期，共振峰，短时平均能量或幅度，线性预测系数(lpc)，感知加权预测系数(plp)，短时平均过零率，线性预测倒谱系数(lpcc)，自相关函数，梅尔倒谱系数(mfcc)，小波变换系数，经验模态分解系数(emd)，伽马通滤波器系数(gfcc)等。在进行实际识别时，要对测试语音按训练过程产生模板，最后根据失真判决准则进行识别。常用的失真判决准则有欧式距离，协方差矩阵与贝叶斯距离等。
实施例12、关键技术-三维弹药实体建模技术
弹药实体模型建模是在虚拟三维空间构建出具有三维数据的实体模型，将实物模型的结构、外观、材质、动作等属性在虚拟空间再现的过程。三维实体模型按其类型可以分为曲面模型和多边形模型。曲面模型适合量化生产用途，多边形模型用于三维仿真、游戏、影视等视觉表现用途。目前，主流三维实体模型建模方法主要包括以下几种：a.三维软件建模；目前市场上有很多优秀建模软件，例如3dmax、maya、ug、autocad等。它们利用一些基本的几何要素，如立方体、球体等，通过一系列几何操作，如平移、旋转、拉伸等来构建复杂的几何场景。主要包括几何建模、行为建模、物理建模、对象特性建模以及模型切分等。b.利用仪器设备建模；三维扫描仪是当前使用的对实际物体三维建模的重要工具之一。它能快速方便的将真实世界的立体彩色信息转换为计算机能直接处理的数字信号，为实物数字化提供了有效的手段。通过扫描，可以获得物体表面每个采样点的三维空间坐标，彩色扫描还可以获得每个采样点的色彩，可以输出物体表面色彩纹理贴图。c.根据图像或视频建模；基于图像的建模和绘制是当前计算机图形学界一个极其活跃的研究领域。同传统的基于几何的建模和绘制相比，基于图像的建模和绘制技术给我们提供了获得照片真实感的一种最自然的方式，采用该技术，建模变得更快、更方便，可以获得很高的绘制速度和高度的真实感。基于图像的建模的主要目的是由二维图像恢复景物的三维几何结构。由二维图像恢复景物的三维形体原先属于计算机图形学和计算机视觉方面的内容。
依据实体模型三维仿真需要，我们制定了三维实体建模的原则：①模型结构、比例高度精准；②模型面数高度可控，满足实时渲染性能需求；③模型具备lod多细节层次，满足不同视距显示和渲染性能优化；④模型具备完好、损伤等外观效果；⑤模型材质、纹理高度仿真。以三维软件建模方法为主，结合多种建模方法，提升建模效率和效果。本项目采用建模方法如下附图7所示。
我们将实体模型建模分为两个阶段：数据采集阶段和模型生成阶段，主要采用三维软件建模方法。
数据采集阶段：获取实物外观参数和行动效果参数：用于高精度、高仿真度的实体模型构建的参数依据。参照模型生成：使用仪器扫描或图像生成的先进方法快速生成模型，作为三维制作的参照和依据。模型生成阶段：原始高精度模型生成：通过三维软件，最大精度的还原实物模型，包括主体结构外观和细微纹理、凹凸等细节。原始高精度模型不能被直接使用，其细节在后续阶段以多种方法转录，在应用阶段完全呈现。应用级高精度模型生成：使用模型拓扑技术将原始高精度模型生成符合虚拟仿真运行级别的高精度模型。使用烘焙技术，记录原始高精度模型的细节信息，主要包括表示模型细节凹凸的法线贴图。材质、纹理生成：采用基于物理的渲染(pbr)技术，直接以物理参数来编写表面材质，使模型的表现更加符合物理规则，对光照的计算也更符合现实。
其核心算法如下：
本项目采用的软件建模方式，具有精度及质量高度可控，高精准度还原实物外观、动作效果；基于物理的渲染(pbr)具备更为出色的显示效果；多外观状态，丰富和满足显示需要；多细节层次lod，满足不同距离的渲染效果和性能优化；参数模型，可对接仿真系统实现参数化驱动。
实施例13、关键技术-计算机动画技术
关于计算及动画技术，相关内容的研究可以分为底层运动控制方法、运动编辑与合成和高层运动控制方法等三个层次。底层运动控制方法主要包括关键帧方法、基于物理的方法、运动学方法、运动捕获数据方法和过程方法等五种。运动编辑主要针对单个运动进行重定向、偏移映射、变形以及平滑等操作，运动合成主要针对多个运动进行插值、连接以及混合等操作。高层运动控制方法主要包括路径规划、行为规划、情感赋予以及路径跟随等内容。虚拟仿真引擎中的动画模块需要封装这些技术，最终支持基于流程的仿真和基于关键帧的仿真。计算机动画技术实现途径如下附图8所示。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
在各个实施例中，技术的硬件实现可以直接采用现有的智能设备，包括但不限于工控机、pc机、智能手机、手持单机、落地式单机等。其输入设备优选采用屏幕键盘，其数据存储和计算模块采用现有的存储器、计算器、控制器，其内部通信模块采用现有的通信端口和协议，其远程通信采用现有的gprs网络、万维互联网等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccesmemory，ram)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！