一种支持语音识别及搜索和图像识别的系统的制作方法

本实用新型涉及人机交互技术领域，具体是一种支持语音识别及搜索和图像识别的系统。

背景技术：

hmi（人工交互界面），在工业自动化领域，hmi实现对设备的监控、管理以及控制，设备管理人员通过hmi对设备的工作状态进行检测、问题分析、及检修，是工业自动化领域的关键要素。

根据国家工业物联网战略，工业设备要实现与大数据平台互联互通，实现智能化识别、定位、跟踪、监控和管理，目前hmi主要做为现场设备的监控和控制，不具备与互联网接入的能力，无法满足工业物联网的要求。hmi的软件通常是不可移植和兼容的，此外hmi软件开发方式一般较为简单的图形开发方法，现有的hmi软件开发技术无法开发更为复杂的软件功能，无法让更多高水平的软件人员参与程序开发，无法有效的发挥大数据平台提供的各种功能，如集成语音识别及搜索，图像分析等sdk，而这些功能可以帮助现场客户解决更为复杂的设备问题，如利用语音识别及搜索技术帮助操作人员快速的找到要查看的指定信息，无须进行复杂的触摸查找，在操作人员无法用文字描述设备问题时，通过语音的方式为客户匹配相关问题的处理方案，利用图像识别技术记录设备操作人员，实现人员的登录和操作管理。hmi的显示方式通常比较单一，显示分辨率较低，无法适应一些需要数据展示的场合，当设备的显示分辨率发生改变后，需要重新编写软件，增加了软件复杂度。

技术实现要素：

本实用新型的目的在于提供一种支持语音识别及搜索和图像识别的系统，以解决上述背景技术中提出的问题。

为实现上述目的，本实用新型提供如下技术方案：

一种支持语音识别及搜索和图像识别的系统，包括pcb板、以太网芯片、核心cpu、wifi及蓝牙模块、ddr模块、显示屏接口、相机接口、实时时钟、emmc、电源、poe、rs232接口、rs485接口、背光控制接口、lineout声音输出接口、麦克风输入接口、hdmi接口、功放接口、i2c接口、usb接口、通用gpio、触摸屏接口，所述以太网芯片、核心cpu、wifi及蓝牙模块、ddr模块、显示屏接口、相机接口、实时时钟、emmc、电源、poe、rs232接口、rs485接口、背光控制接口、lineout声音输出接口、麦克风输入接口、hdmi接口、功放接口、i2c接口、usb接口、通用gpio和触摸屏接口均安装在pcb板上，所述以太网芯片、核心cpu相互连接形成以太网通讯回路，所述wifi及蓝牙模块、核心cpu相互连接形成wifi蓝牙通讯回路，所述ddr模块、核心cpu相互连接形成内存回路，所述显示屏接口、核心cpu相互连接形成mipi屏显示输出回路，所述相机接口、核心cpu相互连接形成图像采集回路，所述实时时钟、核心cpu相互连接形成实时时钟开关机管理回路，所述emmc、核心cpu相互连接形成存储回路，所述rs232接口、核心cpu相互连接形成rs232串口通讯回路，所述rs485接口、核心cpu相互连接形成rs485串口通讯回路，所述lineout声音输出接口、核心cpu相互连接形成音频输出回路，所述麦克风输入接口、核心cpu相互连接形成音频采集回路，所述hdmi接口、核心cpu相互连接形成hdmi输出回路，所述功放接口、核心cpu相互连接形成功放输出回路，所述usb接口、核心cpu相互连接形成hdmi输出回路。

作为本实用新型的进一步技术方案：所述核心cpu包括arm四核a7、arm双核a5和人工智能芯片。

作为本实用新型的进一步技术方案：所述i2c接口、核心cpu相互连接形成hdmi输出回路，所述usb接口、核心cpu相互连接形成usb接口回路。

作为本实用新型的进一步技术方案：所述通用gpio、核心cpu相互连接形成hdmi输出回路。

作为本实用新型的进一步技术方案：所述触摸屏接口、核心cpu相互连接形成hdmi输出回路。

与现有技术相比，本实用新型的有益效果是：本实用新型的核心控制芯片选用为最新的四核armcortex-a73和双核armcortex-a53以及内置独立npu人工智能芯片，大幅度提高运算速度，独立的npu人工智能芯片能够提供5.0tops的算力，支持直接运行人工智能算法。提供更加多远的通讯方式，在传统的百兆网口，串口通讯的基础上，增加千兆网口、4g、wifi多种通讯接口，支持通过有线/无线方式直接接入到大数据平台，增加摄像头接口，最高支持1920x1080分辨率的摄像头，用以实现图像分析、人脸识别和远程交互功能，增加麦克风输入和喇叭输出，支持语音输入、语音分析及语音交互功能。显示方面增加hdmi、vga、mipi多种输出方式，相较于传统hmi，能够适配不同分辨率的显示屏，同时支持通过hdmi直接接入到电视，满足用户的大屏高清显示需求。

附图说明

图1是本实用新型的结构方框图。

图中：pcb板-1、以太网芯片-2、核心cpu-3、wifi及蓝牙模块-4、ddr模块-5、显示屏接口-6、相机接口-7、实时时钟-8、emmc-9、电源-10、poe-11、rs-23-2接口-12、rs485接口-13、背光控制接口-14、lineout声音输出接口-15、麦克风输入接口-16、hdmi接口-17、功放接口-18、i2c接口-19、usb接口-20、通用gpio-21，触摸屏接口-22。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

请参阅图1，实施例1：一种支持语音识别及搜索和图像识别的系统，包括pcb板1、以太网芯片2、核心cpu3、wifi及蓝牙模块4、ddr模块5、显示屏接口6、相机接口7、实时时钟8、emmc9、电源10、poe11、rs232接口12、rs485接口13、背光控制接口14、lineout声音输出接口15、麦克风输入接口16、hdmi接口17、功放接口18、i2c接口19、usb接口20、通用gpio21、触摸屏接口22，所述以太网芯片2、核心cpu3、wifi及蓝牙模块4、ddr模块5、显示屏接口6、相机接口7、实时时钟8、emmc9、电源10、poe11、rs232接口12、rs485接口13、背光控制接口14、lineout声音输出接口15、麦克风输入接口16、hdmi接口17、功放接口18、i2c接口19、usb接口20、通用gpio21和触摸屏接口22均安装在pcb板1中，所述以太网芯片2、核心cpu3相互连接形成以太网通讯回路，所述wifi及蓝牙模块4、核心cpu3相互连接形成wifi蓝牙通讯回路，所述ddr模块5、核心cpu3相互连接形成内存回路，所述显示屏接口6、核心cpu3相互连接形成mipi屏显示输出回路，所述相机接口7、核心cpu3相互连接形成图像采集回路，所述实时时钟8、核心cpu3相互连接形成实时时钟开关机管理回路，所述emmc9、核心cpu3相互连接形成存储回路，所述rs232接口12、核心cpu3相互连接形成rs232串口通讯回路，所述rs485接口13、核心cpu3相互连接形成rs485串口通讯回路，所述lineout声音输出接口15、核心cpu3相互连接形成音频输出回路，所述麦克风输入接口16、核心cpu3相互连接形成音频采集回路，所述hdmi接口17、核心cpu3相互连接形成hdmi输出回路，所述功放接口18、核心cpu3相互连接形成功放输出回路，所述usb接口20、核心cpu3相互连接形成hdmi输出回路，i2c接口19、核心cpu3相互连接形成hdmi输出回路，所述usb接口20、核心cpu3相互连接形成usb接口回路。通用gpio21、核心cpu3相互连接形成hdmi输出回路。触摸屏接口22、核心cpu3相互连接形成hdmi输出回路。

核心cpu3包括arm四核a73、arm双核a53和人工智能芯片。大幅度提高运算速度，独立的npu人工智能芯片能够提供5.0tops的算力，支持直接运行人工智能算法。提供更加多远的通讯方式，在传统的百兆网口，串口通讯的基础上，增加千兆网口、4g、wifi多种通讯接口，支持通过有线/无线方式直接接入到大数据平台，增加摄像头接口，最高支持1920x1080分辨率的摄像头，用以实现图像分析、人脸识别和远程交互功能，增加麦克风输入和喇叭输出，支持语音输入、语音分析及语音交互功能。显示方面增加hdmi、vga、mipi多种输出方式，相较于传统hmi，能够适配不同分辨率的显示屏，同时支持通过hdmi直接接入到电视，满足用户的大屏高清显示需求。

cpu内部采用更加通用的android操作系统，用通用平台来解决hmi软件不可移植的问题，一套软件可以支持在hmi、手机、平板上同时部署，支持c/java/c++等高级语言，用来实现更为复杂的算法及应用开发，目前能用c/java/c++的软件开发人员比较多，能够充分的参与的hmi的软件开发过程中来。

本设计为了让hmi软件人员开发更为简便，在android系统层面上实现了modbustcp/rtu、松下mewtocol、三菱cclink等多种工业总线协议，支持用户自定义协议，用户在需要与设备进行通信时，可直接调用相关api函数，无需对对复杂的通讯协议进行编程。在android系统层面上实现了多种物联网通讯协议，hmi软件人员通过调用相关api实现与大数据平台进行数据传输，无需考虑传输细节，内部实现了线及离线语音识别及搜索apk，将语音与hmi软件人员分离，当用户进行语音输入时，首先通过语音分析apk进行语义解析，然后根据分析调用客户的相关功能，客户无需考虑复杂的语音处理细节。内部实现了在线及离线的图片分析apk，当用户进行图像分析时，首先通过图像分析apk进行图片分析，然后将处理结果提供给客户的apk，用户apk进行相关的功能操作。

附图中的文字标注以及英文标识，属于本领域技术人员的公知常识，且在上文中均作出了标注解释，其内容以上述标注为准。

实施例2，在实施例1的基础上，核心cpu3为arm四核a73和arm双核a53以及算力达5.0tops独立gpu的人工智能芯片，支持tensorflow、caffe等模型，采用android9.0操作系统，系统内部集成了modbustcp/rtu、松下mewtocol、三菱cclink等多种工业总线协议，集成了语音分析及语音交互sdk，图像识别sdk，hmigui程序采用标准android编程，作为一个apk存在于系统中，并具备手机/平板等跨平台能力，用户通过调用系统的工业总线协议实现与现场设备的互联，调用语音分析及语音交互sdk、图像识别sdk实现复杂的应用编程。

对于本领域技术人员而言，显然本实用新型不限于上述示范性实施例的细节，而且在不背离本实用新型的精神或基本特征的情况下，能够以其他的具体形式实现本实用新型。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本实用新型的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本实用新型内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。