AI图像处理方法及系统、AI图像处理架构、SOC片上系统与流程

本发明涉及图像处理的技术领域，特别是涉及一种ai图像处理方法及系统、ai图像处理架构、soc片上系统。

背景技术：

人工智能(artificialintelligence，ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。具体地，ai是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大。

现有技术中，ai是各个ic方向研究的重点，正被大量应用在监控、医疗、海量数据分析、智能家电、人脸识别等方面。其中，监控、医疗、人脸识别等都需要ai处理器读入大量的图像信息进行运算分析。图像的大小直接影响的ai处理器运算的效率。因此，大小合适的输入图像对ai处理器显得尤为重要。因此，如何获取大小合适的标准化图像成为当前研究的热点课题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种ai图像处理方法及系统、ai图像处理架构、soc片上系统，能够在尽可能保留有效信息的情况下，将原始图像缩放到合适尺寸，并进行归一化和减均值操作，从而为ai处理器提供合适的输入图像。

为实现上述目的及其他相关目的，本发明提供一种ai图像处理方法，包括依次相连的dma模块、数据存储管理模块、缩放模块、色彩空间转换模块、归一化模块和减均值模块；所述dma模块用于从第一外部数据访问控制模块中获取视频数据，并发送至所述数据存储管理模块；所述数据存储管理模块用于存储所述视频数据，并基于所述缩放模块的请求将所述视频数据发送至所述缩放模块；所述缩放模块用于对所述视频数据进行缩放处理，并将缩放处理后的视频数据发送至所述色彩空间转换模块；所述色彩空间转换模块用于将所述缩放后的视频数据转换为图像数据；所述归一化模块和所述减均值模块分别用于对所述图像数据进行归一化处理和减均值处理。

于本发明一实施例中，所述视频数据采用yv12格式；所述数据存储管理模块包括y数据存储管理模块、u数据存储管理模块和v数据存储管理模块，分别用于存储y数据、u数据和v数据。

于本发明一实施例中，所述视频数据仅包含y数据。

于本发明一实施例中，所述色彩空间转换模块、所述归一化和所述减均值模块集成为一体，基于所述色彩空间转换模块的系数配置同时实现色彩空间转换、归一化和减均值。

于本发明一实施例中，所述图像数据为rgb格式，所述减均值模块将处理后的r数据、g数据和b数据独立存储至第二外部数据访问控制模块。

于本发明一实施例中，所述dma模块支持y、u、v输入数据的首地址和一行的跨度1字节对齐。

于本发明一实施例中，所述缩放模块在进行缩放处理时，根据缩放比在垂直方向上进行跳行处理。

本发明提供一种ai图像处理系统，包括上述的ai图像处理架构和ai处理器；

所述ai处理器用于为所述ai图像处理架构提供配置信息，并接收所述ai图像处理架构生成的图像数据。

本发明提供一种soc片上系统，包括上述的ai图像处理架构、ai处理器、中央处理器和数据存储器；

所述数据存储器与所述ai图像处理架构相连，用于为所述ai图像处理架构提供视频数据；

所述ai处理器与所述ai图像处理架构相连，为所述ai图像处理架构提供配置信息，并接收所述ai图像处理架构生成的图像数据；

所述中央处理器与所述ai处理器相连，用于配置所述ai处理器。

本发明提供一种ai图像处理方法，包括以下步骤：

基于dma模块从第一外部数据访问控制模块中获取视频数据，并发送至数据存储管理模块；

基于所述数据存储管理模块存储所述视频数据，并基于缩放模块的请求将所述视频数据发送至所述缩放模块；

基于所述缩放模块对所述视频数据进行压缩处理，并将压缩处理后的视频数据发送至色彩空间转换模块；

基于所述色彩空间转换模块将所述压缩后的视频数据转换为图像数据；

基于归一化和减均值模块分别对所述图像数据进行归一化处理和减均值处理。

如上所述，本发明所述的ai图像处理方法及系统、ai图像处理架构、soc片上系统，具有以下有益效果：

(1)能够在尽可能保留有效信息的情况下，将原始图像缩放到合适尺寸，并进行归一化和减均值操作；

(2)采用流水线单步设计方式，处理速度快，效率高；

(3)能够为ai处理器提供合适的输入图像，相较于原始图像极大地减少了ai处理器的数据运算量；

(4)硬件架构面积小、功耗低，实用性强。

附图说明

图1显示为本发明的ai图像处理架构于一实施例中的结构示意图；

图2显示为本发明的ai图像处理系统于一实施例中的结构示意图；

图3显示为本发明的soc片上系统于一实施例中的结构示意图；

图4显示为本发明的ai图像处理方法于一实施例中的流程图。

元件标号说明

11dma模块

12数据存储管理模块

121y数据存储管理模块

122u数据存储管理模块

123v数据存储管理模块

13缩放模块

14色彩空间转换模块

15归一化模块

16减均值模块

17第一外部数据访问控制模块

18第二外部数据访问控制模块

2ai处理器

3中央处理器

4数据存储器

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的ai图像处理方法及系统、ai图像处理架构、soc片上系统能够在尽可能保留有效信息的情况下，采用流水线方式对原始图像进行缩放、归一化和减均值操作，从而提供与ai处理器匹配的输入图像，极大地提高了ai处理器的工作效率。

如图1所示，于一实施例中，本发明的ai图像处理架构包括依次相连的dma模块11、数据存储管理模块12、缩放模块13、色彩空间转换模块14、归一化模块15和减均值模块16。将视频数据输入所述dma模块11，则可进行流水线式的图像缩放处理、色彩空间转换处理、归一化处理和减均值处理，直到一帧数据被处理完成，从而生成大小合适的图像数据，以输入ai处理器进行ai图像处理。

所述dma模块11用于从第一外部数据访问控制模块17中获取视频数据，并发送至所述数据存储管理模块12。具体地，所述dma模块11检测到所述数据存储管理模块12有存储空间时，就会向所述第一外部数据访问控制模块发起读数据请求。同时，所述dma模块11将所述第一外部数据访问控制模块反馈的视频数据发送至所述数据存储管理模块12。于本发明一实施例中，所述视频数据采用yv12格式。因此，所述读数据请求针对的数据包括3类，分别是y数据、u数据和v数据。于本发明一实施例中，所述dma模块11对输入数据的对齐方式更灵活，支持y、u、v输入数据的首地址和一行的跨度1字节对齐。

所述数据存储管理模块12用于存储所述视频数据，并基于所述缩放模块的请求将所述视频数据发送至所述缩放模块。于本发明一实施例中，所述数据存储管理模块12包括y数据存储管理模块121、u数据存储管理模块122和v数据存储管理模块123，分别用于存储y数据、u数据和v数据。具体地，所述数据存储管理模块12接收到所述dma模块11发送来的视频数据后，将y数据、u数据和v数据分别存储至所述y数据存储管理模块121、所述u数据存储管理模块122和所述v数据存储管理模块123。

所述缩放模块13用于对所述视频数据进行缩放处理，并将缩放处理后的视频数据发送至所述色彩空间转换模块。具体地，所述缩放模块在被激活后向所述数据存储管理模块12发送数据请求。根据缩放算法的要求，所述数据存储管理模块12会提供4个y数据，4个u数据和4个v数据给所述缩放模块13。所述缩放模块13不停的向所述数据存储管理模块12发送数据请求，直到缩放一帧视频图像所需要的数据都读取完成。所述缩放模块13获取数据后，根据缩放算法对数据进行缩放处理，以得到大小合适ai处理器的视频数据。于本发明一实施例中，所述缩放模块13在进行缩放处理时，根据缩放比在垂直方向上进行跳行处理，从而跳过一些无用的行，节省数据带宽。优选地，本发明的ai图像处理架构支持的输入数据最大分辨率是4096x2048，支持从4096x2048里面选取一个1920x1080大小的区域进行缩放、归一化和减均值。于本发明一实施例中，本发明的ai图像处理架构支持只有y数据输入的模式，能够只对y数据进行缩放。

所述色彩空间转换模块14用于将所述缩放后的视频数据转换为图像数据。具体地，由于ai处理器处理的数据是图像格式的数据，不是视频流格式的数据，故需要进行数据的色彩空间转换，将所述缩放后的视频数据变换为图像数据。在本发明中，所述色彩空间转换模块14是可编程的，可以支持各种转换算法，比如bt601算法和bt709算法。

所述归一化模块15和所述减均值模块16分别用于对所述图像数据进行归一化处理和减均值处理。具体地，在本发明中通过硬件对所述图像数据进行归一化和减均值处理，速度快、效率高。其中，所述归一化模块15和所述减均值模块16是可编程的，归一化和减均值的值都是软件配置的。

为了节省面积，减少加法器和乘法器，于本发明一实施例中，所述色彩空间转换模块14、所述归一化15和所述减均值模块16集成为一体，基于所述色彩空间转换模块14的系数配置同时实现色彩空间转换、归一化和减均值。具体地，所述归一化模块15和所述减均值模块16被合并到所述色彩空间转换模块14中，通过对所述色彩空间模块14的系数配置可以同时实现色彩空间转换和归一化、减均值的功能。

于本发明一实施例中，所述减均值模块16将处理后的r数据、g数据和b数据独立存储至第二外部数据访问控制模块18中。不同于常规的rgb数据格式，上述输出方式满足了ai处理器数据输入的要求，降低了ai处理器的运算量。

如图2所示，于一实施例中，本发明的ai图像处理系统包括上述的ai图像处理架构1和ai处理器2。

所述ai处理器2与所述ai图像处理架构1通过总线相连，用于为所述ai图像处理架构1提供配置信息，并接收所述ai图像处理架构1生成的图像数据，并根据所述图像数据进行ai图像处理。具体地，首先由所述ai处理器2下方配置信息至所述ai图像处理架构1的各个模块中，接着所述ai图像处理架构1根据配置信息进行原始的视频数据到缩放、色彩空间转换、归一化和减均值后的图像数据的处理，最后ai处理器2根据所述图像数据进行ai图像处理。

如图3所示，于一实施例中，本发明的soc片上系统包括上述的ai图像处理架构1、ai处理器2、中央处理器3和数据存储器4。

所述数据存储器4与所述ai图像处理架构1相连，用于为所述ai图像处理架构1提供视频数据。具体地，所述数据存储器4与所述ai图像处理架构1通过axi总线相连。

所述ai处理器2与所述ai图像处理架构1相连，为所述ai图像处理架构1提供配置信息，并接收所述ai图像处理架构1生成的图像数据。

所述中央处理器3与所述ai处理器2相连，用于配置所述ai处理器2。具体地，所述中央处理器3与所述ai处理器2通过配置总线相连。当所述ai图像处理架构1在进行图像处理时，无需所述中央处理器3干预，所述中央处理器3可以执行其他任务，从而提升了整个soc片上系统的工作效率。

如图4所示，于一实施例中，本发明的ai图像处理方法包括以下步骤：

步骤s1、基于dma模块从第一外部数据访问控制模块中获取视频数据，并发送至数据存储管理模块。

步骤s2、基于所述数据存储管理模块存储所述视频数据，并基于缩放模块的请求将所述视频数据发送至所述缩放模块。

步骤s3、基于所述缩放模块对所述视频数据进行压缩处理，并将压缩处理后的视频数据发送至色彩空间转换模块。

步骤s4、基于所述色彩空间转换模块将所述压缩后的视频数据转换为图像数据。

步骤s5、基于归一化和减均值模块分别对所述图像数据进行归一化处理和减均值处理。

因此，通过上述流水线式的ai图像处理流程，数据从dma模块开始，一级一级传输，一级一级被处理，不会出现停顿，直到一帧数据被处理完成。

综上所述，本发明的ai图像处理方法及系统、ai图像处理架构、soc片上系统能够在尽可能保留有效信息的情况下，将原始图像缩放到合适尺寸，并进行归一化和减均值操作；采用流水线单步设计方式，处理速度快，效率高；能够为ai处理器提供合适的输入图像，相较于原始图像极大地减少了ai处理器的数据运算量；硬件架构面积小、功耗低，实用性强。因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。