嵌入式AI机器视觉硬件结构的制作方法

本申请实施例涉及人工智能技术领域，尤其涉及一种嵌入式人工智能(Artificial Intelligence，AI)机器视觉硬件结构。

背景技术：

人工智能(Artificial Intelligence，AI)，AI是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

现阶段在实时要求不高的场景，但需要处理大量数据或者复杂算法时，通常是把采集的信息传输到云端上，云端进行模型训练或者推断，将结果传输的终端设备上，再由终端设备显示需要的结果。

然而，在实时性高的场合，终端设备在计算能力以及功耗方面远不能满足处理AI算法的能力，上传到云端去计算反馈则需要较长的时间，不能满足实时性的要求。

技术实现要素：

本申请实施例提供一种嵌入式AI机器视觉硬件结构，用于解决上述方案中终端设备在计算能力以及功耗方面远不能满足处理AI算法的能力，上传到云端去计算反馈则需要较长的时间，不能满足实时性的要求的问题。

本申请提供一种嵌入式AI机器视觉硬件结构，包括：上层板和下层板；

所述下层板包括：处理器CPU、多路电源、存储装置、对外接口、调试接口、相机接口、网络PHY芯片、时钟和支撑电路；

所述多路电源分别与所述CPU、所述存储装置、所述调试接口、所述相机接口、所述网络PHY芯片、所述时钟和支撑电路连接，所述多路电源用于向其连接的器件供电；

所述时钟和支撑电路与所述CPU连接，为所述CPU提供时钟以及CPU启动模式选择；所述CPU还分别与存储装置、所述对外接口、所述调试接口、所述网络PHY芯片连接；所述CPU用于实现高速图像识别处理和多模型算法运算；

所述上层板包括：电源电路、相机供电电路，相机模块、高清晰度多媒体接口HDMI转换芯片、有源以太网POE网络模块；

所述电源电路与所述相机供电电路连接，所述相机供电电路与相机模块连接，所述电源电路通过所述相机供电电路为所述相机模块供电；

所述电源电路与所述HDMI转换芯片连接，为所述HDMI转换芯片供电；

所述电源电路还与所述多路电源连接，为所述下层板提供电源；

所述相机模块通过所述相机接口与所述CPU连接；所述HDMI转换芯片与所述CPU连接；所述POE网络模块与所述网络PHY芯片连接。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述存储装置包括EMMC芯片和TF卡。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述调试接口为JTAG接口。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述外部接口包括以下至少一个：

USB2.0接口、USB3.0接口以及USB type C接口。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述多路电源为集成电源管理电路PMIC。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述CPU为图形处理器MA2450。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述上层板还包括安全数字输入输出卡SDIO接口的无线保真WIFI电路；所述WIFI电路与所述CPU连接；所述电源电路为所述WIFI电路供电。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述上层板还包括可扩展的I2C总线和/或通用输入/输出GPIO。

在该嵌入式AI机器视觉硬件结构的一种具体实现中，所述上层板还包括至少一个用于外部连接的接口。

在该嵌入式AI机器视觉硬件结构的另一种具体实现中，所述上层板和所述下层板之间通过连接插件连接。

在该嵌入式AI机器视觉硬件结构的另一种具体实现中，所述上层板位于所述下层板上部。

在该嵌入式AI机器视觉硬件结构的另一种具体实现中，所述电源电路包括POE电源和DC-DC电路。

本申请实施例提供的嵌入式AI机器视觉硬件结构，包括：上层板和下层板，下层板中，多路电源分别与CPU、存储装置、调试接口、相机接口、网络PHY芯片、时钟和支撑电路连接，时钟和支撑电路与CPU连接，为CPU提供时钟以及CPU启动模式选择，CPU还与存储装置、对外接口、调试接口、网络PHY芯片连接，CPU用于实现高速图像识别处理和多模型算法运算，上层板中，电源电路通过相机供电电路为相机模块供电，电源电路还为HDMI转换芯片供电，电源电路还与多路电源连接，为下层板提供电源，相机模块通过相机接口与CPU连接；HDMI转换芯片与CPU连接，POE网络模块与网络PHY芯片连接。端上嵌入式AI能够进行复杂的运算，同时满足实时性要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的嵌入式AI机器视觉硬件结构的原理图；

图2为本申请实施例提供的嵌入式AI机器视觉硬件结构的下层板的一种具体实现的原理图；

图3为本申请实施例提供的嵌入式AI机器视觉硬件结构的上层板的一种具体实现的原理图；

图4为本申请实施例提供的嵌入式AI机器视觉硬件结构一实例的原理图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

所谓嵌入式，就是指一种可被内置于设备或装置的专用计算机系统。通常来说，具有数字接口的设备都具有嵌入式系统，如手机、车载电脑、智能手表等。而嵌入式AI，则是一种让AI算法可以在终端设备上运行的技术概念。换句话说，它的作用就是能让音箱、手机、机器人、智能汽车、安防设备等智能硬件在不联网的情况下实时完成环境感知、人机交互、决策控制等功能。

嵌入式人工智能(Artificial Intelligence，AI)的应用普遍都相对不复杂，主要是以下两个方面：

(1)在实时要求不高的场景，但需要处理大量数据或者复杂算法时，通常是把采集的信息传输到云端上，云端进行模型训练或者推断，将结果传输的终端设备上，再由终端设备显示需要的结果。

(2)在实时性要求高，但数据量不大且算法不复杂时，可以使用性能还不错的ARM，元件可编程逻辑阵列(Field Programmable Gate Array，PFGA)、数字信号处理(Digital Signal Processing，DSP)或者专用ASIC来实现。

上面提到的两类，没有将强大的计算能力和快速的实时性相结合，限制了系统的使用场景以及商业化的推广。第一类的最大缺点就是实时性，对于类似无人驾驶方面需要快速作出响应的场景不适合。第二类的缺点就是计算能力不强大，只能计算不复杂的算法，无法满足较大数据的AI模型算法，且功耗大，成本高。

针对上述方案中存在的问题，本方案提供一种嵌入式AI机器视觉硬件结构，该嵌入式AI机器视觉硬件系统架构是可以让AI算法可以在终端设备上运行的一种硬件架构，具有计算能力强，实时性高、功耗低，成本低的特点。可以实现运行多种AI算法，实时处理数据的嵌入式AI系统，并可以满足低功耗，低成本的要求。

应用该嵌入式AI机器视觉硬件结构的产品或项目：闸机、安防，无人驾驶、无人零售等，对此本方案不做限制。

图1为本申请实施例提供的嵌入式AI机器视觉硬件结构的原理图，如图1所示，该嵌入式AI机器视觉硬件结构，包括：上层板和下层板；即该系统是通过上下两层板实现，下层板主要是最小系统，用来实现基础的数据存储、处理过程。

所述下层板包括：处理器CPU、多路电源、存储装置、对外接口、调试接口、相机接口、网络PHY芯片、时钟和支撑电路；

该方案中，CPU是用来实现高速计算的，一般使用计算能力强，低功耗的处理器实现，具体可根据应用的产品进行选择。

所述多路电源分别与所述CPU、所述存储装置、所述调试接口、所述相机接口、所述网络PHY芯片、所述时钟和支撑电路连接，所述多路电源用于向其连接的CPU、存储装置、各个接口以及网络芯片、时钟电路以及其他的支撑电路等器件进行供电。

所述时钟和支撑电路与所述CPU连接，为所述CPU提供时钟以及CPU启动模式选择；所述CPU还分别与存储装置、所述对外接口、所述调试接口、所述网络PHY芯片连接；所述CPU用于实现高速图像识别处理和多模型算法运算。

上层板可以根据不同的产品功能进行扩展，例如在本方案中是应用在AI机器视觉处理中的，则该上层板可以包括：

电源电路、相机供电电路，相机模块、高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)转换芯片、有源以太网(Power Over Ethernet，POE)网络模块；

所述电源电路与所述相机供电电路连接，所述相机供电电路与相机模块连接，所述电源电路通过所述相机供电电路为所述相机模块供电；这里的相机模块指的是能够获取图像和视频的装置，例如摄像头等。

所述电源电路还分别与所述HDMI转换芯片连接，为所述HDMI转换芯片供电；该方案中的HDMI转换芯片用来将图像进行转换，可以与外部的显示装置连接，将图像进行显示。HDMI是一种数字化视频/音频接口技术，适合影像传输的专用型数字化接口，可同时传送音频和影像信号，同时无需在信号传送前进行数/模或者模/数转换。HDMI支持EDID、DDC2B，因此具有HDMI的设备具有“即插即用”的特点，信号源和显示设备之间会自动进行“协商”，自动选择最合适的视频/音频格式。

所述电源电路还与所述多路电源连接，为所述下层板提供电源；

所述相机模块通过所述相机接口与所述CPU连接；所述HDMI转换芯片与所述CPU连接；所述POE网络模块与所述网络PHY芯片连接。

上层板上的器件与下层板上的器件之间均是电性连接，需要进行数据的交互，上层板和下层板本身可以通过插件或者支架等进行物理连接。

本实施例提供的嵌入式AI机器视觉硬件结构，采用计算能力强，实时性高、功耗低，成本低的处理器芯片，配合其他功能器件，实现大量数据的运算处理，能够进行复杂的运算，同时满足实时性要求，并且功耗较低。

图2为本申请实施例提供的嵌入式AI机器视觉硬件结构的下层板的一种具体实现的原理图，如图2所示，在上述实施例的基础上，该嵌入式AI机器视觉硬件结构的一种具体实现中，所述存储装置包括EMMC芯片和TF卡。

该EMMC芯片是MMC协会订立、主要针对手机或平板电脑等产品的内嵌式存储器标准规格的芯片。eMMC在封装中集成了一个控制器，提供标准接口并管理闪存，由一个嵌入式存储解决方案组成，带有MMC(多媒体卡)接口、快闪存储器设备及主控制器。所有都在一个小型的焊球阵列封装(Ball Grid Array，BGA)封装。

TF卡，也称为Micro SD Card，是一种基于半导体快闪记忆器的新一代记忆设备，由于它体积小、数据传输速度快、可热插拔等优良的特性，被广泛地应用于便携式设备如电子词典、移动电话、数码相机、汽车导航系统，并且在小型化、大容量、高速率数据存储中具有无可替代的作用，本方案中可以用来存储大量的数据。

该EMMC芯片和TF卡均需要多路电源进行供电，由于EMMC芯片和TF卡均是进行数据存储的，因此均需要与CPU连接，以便能跟根据系统的实现对数据进行运算处理以及传输。

可选的，在一种具体实现方案中，所述调试接口为JTAG接口。

可选的，在另一种具体方案中，应理解外部接口可以是一个或者多个，接口的类型也可根据产品的实现进行选择，该外部接口至少包括USB2.0接口、USB3.0接口以及USB type C接口中的一个或者多个，也可以是其他类型的接口，本方案不做限制。

可选的，该方案的一种具体实现中，所述多路电源为集成电源管理电路(Power Management IC，PMIC)用来管理主机系统中的电源设备，常用于手机以及各种移动终端设备，该方案中用于将上层板的电源电路接入的电源进行管理，分别连接到各个不同的器件中进行供电。

在该方案的一种具体实现中，所述CPU为图形处理器MA2450。即可以选择型号为MA2450的芯片实现快速的数据运算，在该方案中也可以选择性能更好的CPU，或者根据实际产品选择不同的处理能力优势的CPU，本方案不做限制。

按照图2所示，示出了嵌入式AI的最小系统框图(即下层板)，由计算能力强、低功耗的主处理MA2450、多路输出电源的PMIC、高速传输的TYPE_C接口、大容量存储EMMC或TF卡存储器、JTAG调试接口、一路MIPI接口，以及千兆网络，以及时钟、复位电路。上下层的连接接口。下层板单独可以使用TYPEC供电，也可以用USB2.0接口供电，可以单独调试，对性能测试以及故障排查提供方便。板上也有对sensor的输入时钟可进行灵活配置，以满足不同sensor。

图3为本申请实施例提供的嵌入式AI机器视觉硬件结构的上层板的一种具体实现的原理图，如图3所示，在上述两个方案的实现中，上层板可以根据不同的需求进行扩展，本方案主要介绍一种应用在机器视觉中的硬件结构，因此设置有相机模块，该上层板的具体实现中，还包括安全数字输入输出卡(Secure Digital Input and Output，SDIO)接口的无线保真(WIreless-Fidelity，WIFI)电路；所述WIFI电路与所述CPU连接；所述电源电路为所述WIFI电路供电。

该方案中的WIFI电路用来与外部网络进行网络连接，根据需要进行数据传输，该WIFI电路是本方案实现中的可选结构。

在该方案的另一种实现中，所述上层板还包括可扩展的I2C总线和/或通用输入/输出(General Purpose Input Output，GPIO)，还可以称为总线扩展器，当微控制器或芯片组没有足够的I/O端口，或当系统需要采用远端串行通信或控制时，GPIO产品能够提供额外的控制和监视功能等。

在该嵌入式AI机器视觉硬件结构的另一种具体实现中，所述上层板还包括至少一个用于外部连接的接口，外部的接口型号本方案不做限制。

如图3所示，该所述电源电路包括POE电源和DC-DC电路。该POE电源指的是在以太网布线基础架构不作任何改动的情况下，在为一些终端设备传输数据信号的同时，还能为此类设备提供直流供电。DC-DC电路是指直流/直流转换电路。主要的目的是进行电压的变换。在该嵌入式AI机器视觉硬件结构的具体实现中，POE电源和DC-DC电路可以同时设置，也可以择一设置，能够为整个嵌入式AI机器视觉硬件结构提供电源即可。

如图3所示的上层板结构框图，主要有MIPI接口、POE接口、HDMI接口、WIFi接口、I2C接口、GPIO接口，上层板主要是POE提供电源，并可以给整个系统提供电源，板上有MIPI接口，可以直接贴摄像头，也可以不同需求灵活改动；板上有I2C和GPIO用于扩展用。

在上述任一方案提供的实现方式中，嵌入式AI机器视觉硬件结构的上层板和所述下层板之间通过连接插件连接。可选的，所述上层板位于所述下层板上部。根据不同的功能的需求，每个嵌入式AI硬件结构中可以扩展多个上层板，对此本方案不做限制。

这种上下层两层结构的设计，可以满足不同需求，客户可以根据需求对上层板进行独立设计，达到想要实现的目的，甚至可以在现有的基础上删减一些功能，实现更低成本的要求。这种系统架构设计增加了灵活性，在商业化应用中可以满足多种使用场景。

图4为本申请实施例提供的嵌入式AI机器视觉硬件结构一实例的原理图，如图4所示，在上述任一具体实现中，端上嵌入式AI采用强大的CPU来实现，例如可以选择：vision processor SOC Myriad 2，集成了4Gb DDR3、12SHAVE、2LEON4 32-BIT RISC processor、over 1TFLOPs Performance,专用PMIC模块可支持多路输出电源，丰富的接口MIPI接口、TF卡接口，SDIO接口、usb 3.0接口、I2C接口、HDMI接口、千兆网络接口，多路GPIO接口等，能够满足现有大多数嵌入式系统外设。

系统采用上下两层板来实现，下层板主要是最小系统，上层板满足不同需求的扩展用。上层板和下层板之间可以通过连接器J15进行物理连接以及电性连接。

整个系统主要用于机器视觉，sensor采集的图像数据通过MIPI接口直接传输到CPU(Myrid 2)内部，利用CPU(Myrid 2)强大计算能力，计算各种AI算法如：人脸识别，人体姿态识别，商品识别等算法。将算法模型放在EMMC或者TF卡中，系统就可以实现不同功能的需求，系统也增加了一个可以识别硬件及软件版本的EEPROM,这样就可以在系统中可以直接看出软件硬件以及算法是否搭配，对以后批量生产出货校验以及后期可能出现故障的产品进行排查提供了方便。系统支持TYPE C供电也支持POE供电，并支持WIFI通信。

本方案提供的嵌入式AI机器视觉硬件结构，采用上下层两层结构的设计，可以满足不同需求，客户可以根据需求对上层板进行独立设计，达到想要实现的目的，甚至可以在现有的基础上删减一些功能，实现更低成本的要求。这种系统架构设计增加了灵活性，在商业化应用中可以满足多种使用场景。选择处理速度快，运算能力强，且功耗较小的CPU，使得端上嵌入式AI系统架构解决了那些需要运行复杂算法，又可以满足实时性要求的场景，因为成本低，功耗低也可以满足传统机器视觉的场景，而且体积小，安装灵活多变，更容易商业化。

在上述嵌入式AI机器视觉硬件结构的具体实现中，应理解，CPU的功能还可以通过其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等来实现。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-only memory，缩写：ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetic tape)、软盘(英文：floppy disk)、光盘(英文：optical disc)及其任意组合。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。