训练图像识别模型的方法、图像识别方法和图像识别设备与流程

1.本技术涉及图像识别技术领域，更具体地涉及一种训练图像识别模型的方法、图像识别方法和图像识别设备。


背景技术：

2.图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同目标和对象的技术，是应用深度学习算法的一种实践应用。图像识别一般基于训练好的神经网络模型来执行，而待识别图像的质量会显著影响神经网络模型执行的图像识别算法的性能。
3.在模型训练中，采用的图像训练集往往是某几款相机所拍摄的图像，而图像识别产品(诸如人脸识别产品)或者sdk在实际的使用中，输入到模型的待识别图像可能是千差万别的，其质量无法得到保证，因此，可能导致模型针对某一些相机拍摄的图像进行识别时性能较差。因此，提升模型对于成像设备(模组)的鲁棒性，是一个值得研究的课题。


技术实现要素：

4.根据本技术一方面，提供了一种用于训练图像识别模型的方法，所述方法包括：获取初始训练图像，对所述初始训练图像进行图像信号处理的增广处理，得到处理后的训练图像；基于所述处理后的训练图像来训练图像识别模型。
5.在本技术的一个实施例中，所述对所述初始训练图像进行图像信号处理的增广处理，包括：对所述初始训练图像进行以下处理中的至少一项：rgb域增广处理、hsv域增广处理以及yuv域增广处理。
6.在本技术的一个实施例中，所述rgb域增广处理包括色彩信息调整、伽马变换以及随机直方图均衡化中的至少一项；其中，其中，所述色彩信息调整中采用的色彩校正矩阵和偏置矩阵中的参数均是根据随机变量对预设参数进行微调而得到的；所述伽马变换中采用的伽马系数是根据随机变量对预设参数进行微调而得到的；所述随机直方图均衡化是指基于随机变量确定是否进行直方图均衡化。
7.在本技术的一个实施例中，当所述rgb域增广处理包括色彩信息调整、伽马变换以及随机直方图均衡化中的至少两项时，所述色彩信息调整在所述伽马变换之前执行，所述伽马变换在所述随机直方图均衡化之前执行。
8.在本技术的一个实施例中，所述hsv域增广处理包括饱和度调整和/或对比度调整；其中，所述饱和度调整中采用的饱和度参数是根据随机变量对预设参数进行微调而得到的，所述对比度调整中采用的对比度参数是根据随机变量对预设参数进行微调而得到的。
9.在本技术的一个实施例中，所述yuv域增广处理包括yuv域降噪和/或边缘增强；其中，所述yuv域降噪中采用的低通滤波器的参数是根据随机变量对预设参数进行微调而得到的，所述边缘增强中采用的参数是根据随机变量对预设参数进行微调而得到的。
10.在本技术的一个实施例中，所述图像识别模型为人脸识别模型。
11.根据本技术另一方面，提供了一种图像识别方法，所述方法包括：获取待识别的图像；基于训练好的图像识别模型对所述待识别的图像进行图像识别，其中，所述图像识别模型是基于上述训练图像识别模型的方法训练得到的。
12.根据本技术再一方面，提供了一种图像识别设备，所述图像识别设备包括存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时，使得所述处理器执行上述图像识别方法。
13.根据本技术又一方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在被运行时，执行上述用于训练图像识别模型的方法或执行上述图像识别方法。
14.根据本技术实施例的训练图像识别模型的方法、图像识别方法和图像识别设备通过对初始训练图像进行图像信号处理的增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
附图说明
15.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
16.图1示出用于实现根据本发明实施例的训练图像识别模型的方法、图像识别方法和图像识别设备的示例电子设备的示意性框图。
17.图2示出根据本技术实施例的训练图像识别模型的方法的示意性流程图。
18.图3示出根据本技术实施例的训练图像识别模型的方法中增广处理的一个示例。
19.图4示出根据本技术实施例的训练图像识别模型的方法中rgb域增广处理的一个示例。
20.图5示出根据本技术实施例的训练图像识别模型的方法中hsv域增广处理的一个示例。
21.图6示出根据本技术实施例的训练图像识别模型的方法中yuv域增广处理的一个示例。
22.图7示出根据本技术实施例的图像识别方法的示意性流程图。
23.图8示出根据本技术一个实施例的图像识别设备的示意性框图。
24.图9示出根据本技术另一个实施例的图像识别设备的示意性框图。
25.图10示出根据本技术再一个实施例的图像识别设备的示意性框图。
具体实施方式
26.为了使得本技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。基于本技术中描述的
本技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本技术的保护范围之内。
27.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
28.下面，参照图1来描述用于实现本发明实施例的用于训练图像识别模型的方法、图像识别方法和图像识别设备的示例电子设备100。
29.如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106以及输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
30.所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
31.所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
32.所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置106也可以是任何接收信息的接口。
33.所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。此外，所述输出装置108也可以是任何其他具备输出功能的设备。
34.示例性地，用于实现根据本发明实施例的用于训练图像识别模型的方法和装置的示例电子设备可以被实现诸如智能手机、平板电脑、摄像头等终端。
35.下面，将参考图2描述根据本技术实施例的训练图像识别模型的方法200。如图2所示，训练图像识别模型的方法200可以包括如下步骤：
36.在步骤s210，获取初始训练图像，对所述初始训练图像进行图像信号处理的增广处理，得到处理后的训练图像。
37.在步骤s220，基于所述处理后的训练图像来训练图像识别模型。
38.在本技术的实施例中，步骤s210所获取的初始训练图像可以是某一款或者几款相机(成像设备，也称为模组)拍摄的图像。如前所述的，如果仅采用某几款相机拍摄的图像作为训练图像集训练图像识别模型，那么训练好的图像识别模型在针对该几款相机拍摄的待识别图像进行图像识别时能够获得很好的性能，但实际上，训练好的图像识别模型在使用的过程中，特别是作为一个sdk售卖的时候，其将识别的图像的来源(模组)是不确定的，因此无法保证图像识别模型的性能。因此，在本技术的实施例中，将步骤s210所获取的初始训练图像进行图像信号处理(image signal process，简称为isp)的增广处理，其中isp增广处理是将isp流程中会对图像识别模型的性能造成影响的参数(诸如色彩变换矩阵的参数、伽马变换的系数、饱和度参数、对比度参数等等，下文中将在示例中更详细描述)根据随机变量对预设参数进行微调而得到的，基于这样的参数对初始训练图像进行处理(处理方式取决于参数本身，诸如色彩变换矩阵的参数用于进行色彩信息调整，伽马变换的系数用于进行伽马变换，饱和度参数用于进行饱和度调整，对比度参数用于进行对比度调整等等)，得到处理后的训练图像再用于训练图像识别，能够保证图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。这是因为，不同的模组之间主要的区别在于isp算法的不同，其中isp算法是一个模组将图像传感器采集到的原始(raw)图像转化为日常使用的rgb图像的过程。因此，在本技术的实施例中，通过对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
39.在本技术的实施例中，步骤s210对初始训练图像进行的isp增广处理可以包括以下中至少一项：rgb域增广处理、hsv域增广处理以及yuv域增广处理。其中，rgb、hsv、yuv分别是不同的色彩空间。相应地，rgb域增广处理是指在rgb色彩空间中的处理，hsv域增广处理是指在hsv色彩空间中的处理，yuv域增广处理是指在yuv色彩空间中的处理。不同色彩空间中一般具有不同的isp处理环节，至少一个isp处理环节进行了增广处理，即可实现对初始训练图像的isp增广，当然，多个isp处理环节均进行增广处理能更加增强训练数据的训练能力，从而增强训练好的图像识别模型针对不同模组的泛化性。
40.rgb域中的处理环节一般会对hsv域中的处理环节有影响，hsv域中的处理环节一般会对yuv域中的处理环节有影响，因此，在本技术的一个实施例中，当isp增广处理包括rgb域增广处理、hsv域增广处理以及yuv域增广处理中的至少两项时，rgb域增广处理在hsv域增广处理之前执行，hsv域增广处理在yuv域增广处理之前执行，这可以简化处理过程，提高效率。例如，可以先对初始训练图像进行rgb域增广处理，得到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行hsv域增广处理，得到经hsv域增广处理后的图像，作为用于训练图像识别模型的图像。再如，可以先对初始训练图像进行rgb域增广处理，得
到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像。又如，可以先对初始训练图像进行hsv域增广处理，得到经hsv域增广处理后的图像，再对经hsv域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像。
41.在又一个示例中，可以先对初始训练图像进行rgb域增广处理，得到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行hsv域增广处理，得到经hsv域增广处理后的图像，再对经hsv域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像，该过程如图3所示的。在该示例中，isp增广处理同时包括rgb域增广处理、hsv域增广处理以及yuv域增广处理这三者，能够最大限度地提高增广处理后的图像的训练能力，最大限度地增强训练好的图像识别模型针对不同模组的泛化性。
42.在本技术的实施例中，rgb域增广处理可以包括色彩信息调整、伽马(gamma)变换以及随机直方图均衡化中的至少一项；其中，所述色彩信息调整中采用的色彩校正矩阵(color correction matrix，简称为ccm，一般为3*3矩阵)和偏置矩阵(一般为3*1矩阵)中的参数均是根据随机变量对预设参数进行微调而得到的；所述伽马变换中采用的伽马系数是根据随机变量对预设参数进行微调而得到的；所述随机直方图均衡化是指基于随机变量确定是否进行直方图均衡化。
43.在该实施例中，通过采用包括根据随机变量对预设参数进行微调得到的参数的色彩校正矩阵和偏置矩阵，可以对初始训练图像进行色彩信息调整(一般是微调)，得到不同色彩信息的训练图像，实现图像色彩信息的增广。此外，通过根据随机变量对预设参数进行微调得到的伽马系数对图像进行全局伽马变换，可以对过曝或曝光不足进行各种随机不同程度的修正，实现图像曝光修正的增广。此外，不同的模组有的会进行直方图均衡化，有的则不会进行直方图均衡化，因此通过随机直方图均衡化，即采用一个随机变量(诸如取值1或0)来控制是否进行直方图均衡化处理，可以实现图像有无直方图均衡化效果的增广。
44.在本技术的实施例中，当rgb域增广处理包括色彩信息调整、伽马变换以及随机直方图均衡化中的至少两项时，所述色彩信息调整在所述伽马变换之前执行，所述伽马变换在所述随机直方图均衡化之前执行，能够得到更好的增广效果。例如，可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行伽马变换，得到伽马变换后的图像，作为经rgb域增广处理的图像。再如，可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像。又如，可以先对初始训练图像进行伽马变换，得到伽马变换后的图像，再对伽马变换后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像。
45.在又一个示例中，可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行伽马变换，得到伽马变换后的图像，再对伽马变换后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像，该过程如图4所示的。在该示例中，rgb域增广处理同时包括色彩信息调整、伽马变换以及随机直方图均衡化这三者，能够最大限度地提高rgb域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
46.在本技术的实施例中，hsv域增广处理可以包括饱和度调整和/或对比度调整；其中，所述饱和度调整中采用的饱和度参数是根据随机变量对预设参数进行微调而得到的，所述对比度调整中采用的对比度参数是根据随机变量对预设参数进行微调而得到的。在不同模组的isp处理过程中，对比度和饱和度往往是根据isp调试人员的审美进行调试，不同的模组的饱和度、对比度风格不同。因此，在该实施例中，通过在hsv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)饱和度参数对初始训练图像或经rgb域增广处理的训练图像进行饱和度调整，可以实现图像饱和度信息的增广。此外，通过在hsv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)对比度参数对图像进行对比度调整，可以实现图像对比度信息的增广。
47.在本技术的实施例中，当hsv域增广处理同时包括饱和度调整和对比度调整这两者时，所述饱和度调整在所述对比度调整之前执行。例如，可以先对初始训练图像或经rgb域增广处理的训练图像进行饱和度调整，得到经饱和度调整的图像，再对经饱和度调整的图像进行对比度调整，得到经hsv域增广处理的训练图像，该过程如图5所示的。在该示例中，hsv域增广处理同时包括饱和度调整和对比度调整这两者，能够最大限度地提高hsv域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
48.在本技术的实施例中，yuv域增广处理可以包括降噪和/或边缘增强；其中，所述yuv域降噪中采用的低通滤波器的参数是根据随机变量对预设参数进行微调而得到的，所述边缘增强中采用的参数是根据随机变量对预设参数进行微调而得到的。在该实施例中，通过在yuv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)低通滤波器的参数对初始训练图像或经rgb域增广处理的训练图像或经hsv域增广处理的训练图像进行降噪，可以实现图像降噪效果的增广。此外，通过在yuv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)锐化算法的参数对图像进行边缘增强，可以实现图像锐化程度的增广。
49.在本技术的实施例中，当yuv域增广处理同时包括降噪和边缘增强这两者时，所述yuv域降噪在所述边缘增强之前执行。例如，可以先对初始训练图像或经rgb域增广处理的训练图像或经hsv域增广处理的训练图像进行降噪，得到降噪后的图像，再对降噪后的图像进行边缘增强，得到经yuv域增广处理的训练图像，该过程如图6所示的。在该示例中，yuv域增广处理同时包括降噪和边缘增强这两者，能够最大限度地提高yuv域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
50.以上示例性地示出了根据本技术实施例的用于训练图像识别模型的方法中对初始训练图像的isp增广处理。基于经isp增广处理后的训练图像来训练图像识别模型，得到的训练好的图像识别模型针对来自不同相机拍摄的待识别图像进行图像识别时均具有较好的性能。
51.在本技术的实施例中，还可以结合初始训练图像和经isp增广处理的训练图像这两者来训练图像识别模型，这可以进一步提高训练图像集的训练能力，得到针对不同模组拍摄的图像具有更高鲁棒性图像识别能力的图像识别模型。
52.在本技术的实施例中，前文所述的图像识别模型可以是人脸识别模型，基于前文所述训练方法得到人脸识别模型对来自不同相机拍摄的图像均能得到高精度的人脸识别结果，这对于一些应用场景，诸如安防、执法领域等具有显著的有益效果。
53.基于上面的描述，根据本技术实施例的用于训练图像识别模型的方法通过对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
54.以上示例性地示出了根据本技术实施例的用于训练图像识别模型的方法。下面结合图7描述根据本技术实施例的图像识别方法。图7示出了根据本技术实施例的图像识别方法700的示意性流程图。如图7所示，根据本技术实施例的图像识别方法700可以包括如下步骤：
55.在步骤s710，获取待识别的图像。
56.在步骤s720，基于训练好的图像识别模型对所述待识别的图像进行图像识别，其中，所述图像识别模型在训练时采用的训练图像是对初始训练图像进行图像信号处理的增广处理后得到的训练图像。
57.在本技术的实施例中，图像识别方法700对待识别的图像进行图像识别时采用的图像识别模型是基于对初始训练图像进行图像信号处理的增广处理后得到的训练图像而训练得到的，即图像识别方法700对待识别的图像进行图像识别时采用的图像识别模型是根据前文所述的根据本技术实施例的用于训练图像识别模型的方法而训练得到的，如前所述的，根据本技术实施例的用于训练图像识别模型的方法通过对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性。因此，采用这样的图像识别模型，根据本技术实施例的图像识别方法700可以针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。本领域技术人员可以结合前文所述理解图像识别方法700采用的图像识别模型的训练方法，为了简洁，此处不再赘述。
58.下面结合图8到图10描述根据本技术另一方面提供的图像识别设备，其可以用于执行前文所述的根据本技术实施例的用于训练图像识别模型的方法和/或图像识别方法。本领域技术人员可以结合前文所述的内容理解根据本技术实施例的图像识别设备的结构及其具体操作，为了简洁，此处不再赘述具体的细节，仅描述一些主要操作。
59.图8示出了根据本技术一个实施例的图像识别设备800的示意性框图。如图8所示，图像识别设备800包括增广模块810和训练模块820。其中，增广模块810用于获取初始训练图像，对所述初始训练图像进行图像信号处理的增广处理，得到处理后的训练图像。训练模块820用于基于增广模块810输出的处理后的训练图像来训练图像识别模型。
60.在本技术的实施例中，增广模块810所获取的初始训练图像可以是某一款或者几款相机(成像设备，也称为模组)拍摄的图像。如前所述的，如果仅采用某几款相机拍摄的图像作为训练图像集训练图像识别模型，那么训练好的图像识别模型在针对该几款相机拍摄的待识别图像进行图像识别时能够获得很好的性能，但实际上，训练好的图像识别模型在使用的过程中，特别是作为一个sdk售卖的时候，其将识别的图像的来源(模组)是不确定的，因此无法保证图像识别模型的性能。因此，在本技术的实施例中，增广模块810所获取的初始训练图像进行图像信号处理(image signal process，简称为isp)的增广处理，其中
isp增广处理是将isp流程中会对图像识别模型的性能造成影响的参数(诸如色彩变换矩阵的参数、伽马变换的系数、饱和度参数、对比度参数等等，下文中将在示例中更详细描述)根据随机变量对预设参数进行微调而得到的，基于这样的参数对初始训练图像进行处理(处理方式取决于参数本身，诸如色彩变换矩阵的参数用于进行色彩信息调整，伽马变换的系数用于进行伽马变换，饱和度参数用于进行饱和度调整，对比度参数用于进行对比度调整等等)，得到处理后的训练图像再由训练模块820用于训练图像识别，能够保证图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。这是因为，不同的模组之间主要的区别在于isp算法的不同，其中isp算法是一个模组将图像传感器采集到的原始(raw)图像转化为日常使用的rgb图像的过程。因此，在本技术的实施例中，通过增广模块810对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而训练模块820基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
61.在本技术的实施例中，增广模块810对初始训练图像进行的isp增广处理可以包括以下中至少一项：rgb域增广处理、hsv域增广处理以及yuv域增广处理。其中，rgb、hsv、yuv分别是不同的色彩空间。相应地，rgb域增广处理是指在rgb色彩空间中的处理，hsv域增广处理是指在hsv色彩空间中的处理，yuv域增广处理是指在yuv色彩空间中的处理。不同色彩空间中一般具有不同的isp处理环节，至少一个isp处理环节进行了增广处理，即可实现对初始训练图像的isp增广，当然，多个isp处理环节均进行增广处理能更加增强训练数据的训练能力，从而增强训练好的图像识别模型针对不同模组的泛化性。
62.rgb域中的处理环节一般会对hsv域中的处理环节有影响，hsv域中的处理环节一般会对yuv域中的处理环节有影响，因此，在本技术的一个实施例中，当增广模块810进行的isp增广处理包括rgb域增广处理、hsv域增广处理以及yuv域增广处理中的至少两项时，rgb域增广处理在hsv域增广处理之前执行，hsv域增广处理在yuv域增广处理之前执行，这可以简化处理过程，提高效率。例如，增广模块810可以先对初始训练图像进行rgb域增广处理，得到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行hsv域增广处理，得到经hsv域增广处理后的图像，作为用于训练图像识别模型的图像。再如，增广模块810可以先对初始训练图像进行rgb域增广处理，得到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像。又如，增广模块810可以先对初始训练图像进行hsv域增广处理，得到经hsv域增广处理后的图像，再对经hsv域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像。
63.在又一个示例中，增广模块810可以先对初始训练图像进行rgb域增广处理，得到经rgb域增广处理后的图像，再对经rgb域增广处理后的图像进行hsv域增广处理，得到经hsv域增广处理后的图像，再对经hsv域增广处理后的图像进行yuv域增广处理，得到经yuv域增广处理后的图像，作为用于训练图像识别模型的图像。在该示例中，isp增广处理同时包括rgb域增广处理、hsv域增广处理以及yuv域增广处理这三者，能够最大限度地提高增广处理后的图像的训练能力，最大限度地增强训练好的图像识别模型针对不同模组的泛化性。
64.在本技术的实施例中，增广模块810进行的rgb域增广处理可以包括色彩信息调整、伽马(gamma)变换以及随机直方图均衡化中的至少一项；其中，所述色彩信息调整中采用的色彩校正矩阵(color correction matrix，简称为ccm，一般为3*3矩阵)和偏置矩阵(一般为3*1矩阵)中的参数均是根据随机变量对预设参数进行微调而得到的；所述伽马变换中采用的伽马系数是根据随机变量对预设参数进行微调而得到的；所述随机直方图均衡化是指基于随机变量确定是否进行直方图均衡化。
65.在该实施例中，增广模块810通过采用包括根据随机变量对预设参数进行微调得到的参数的色彩校正矩阵和偏置矩阵，可以对初始训练图像进行色彩信息调整(一般是微调)，得到不同色彩信息的训练图像，实现图像色彩信息的增广。此外，增广模块810通过(在其合理范围内)为根据随机变量对预设参数进行微调得到的伽马系数对图像进行全局伽马变换，可以对过曝或曝光不足进行各种随机不同程度的修正，实现图像曝光修正的增广。此外，不同的模组有的会进行直方图均衡化，有的则不会进行直方图均衡化，因此增广模块810通过随机直方图均衡化，即采用一个随机变量(诸如取值1或0)来控制是否进行直方图均衡化处理，可以实现图像有无直方图均衡化效果的增广。
66.在本技术的实施例中，当增广模块810进行的rgb域增广处理包括色彩信息调整、伽马变换以及随机直方图均衡化中的至少两项时，所述色彩信息调整在所述伽马变换之前执行，所述伽马变换在所述随机直方图均衡化之前执行，能够得到更好的增广效果。例如，增广模块810可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行伽马变换，得到伽马变换后的图像，作为经rgb域增广处理的图像。再如，增广模块810可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像。又如，增广模块810可以先对初始训练图像进行伽马变换，得到伽马变换后的图像，再对伽马变换后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像。
67.在又一个示例中，增广模块810可以先对初始训练图像进行色彩信息调整，得到色彩信息调整后的图像，再对色彩信息调整后的图像进行伽马变换，得到伽马变换后的图像，再对伽马变换后的图像进行随机直方图均衡化，得到随机直方图均衡化后的图像，作为经rgb域增广处理的图像。在该示例中，增广模块810进行的rgb域增广处理同时包括色彩信息调整、伽马变换以及随机直方图均衡化这三者，能够最大限度地提高rgb域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
68.在本技术的实施例中，增广模块810进行的hsv域增广处理可以包括饱和度调整和/或对比度调整；其中，所述饱和度调整中采用的饱和度参数是根据随机变量对预设参数进行微调而得到的，所述对比度调整中采用的对比度参数是根据随机变量对预设参数进行微调而得到的。在不同模组的isp处理过程中，对比度和饱和度往往是根据isp调试人员的审美进行调试，不同的模组的饱和度、对比度风格不同。因此，在该实施例中，增广模块810通过在hsv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)饱和度参数对初始训练图像或经rgb域增广处理的训练图像进行饱和度调整，可以实现图像饱和度信息的增广。此外，增广模块810通过在hsv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)对比度参数对图像进行对比度调整，可以实现图像对比度信息的增广。
69.在本技术的实施例中，当增广模块810进行的hsv域增广处理同时包括饱和度调整和对比度调整这两者时，所述饱和度调整在所述对比度调整之前执行。例如，增广模块810可以先对初始训练图像或经rgb域增广处理的训练图像进行饱和度调整，得到经饱和度调整的图像，再对经饱和度调整的图像进行对比度调整，得到经hsv域增广处理的训练图像。在该示例中，增广模块810进行的hsv域增广处理同时包括饱和度调整和对比度调整这两者，能够最大限度地提高hsv域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
70.在本技术的实施例中，增广模块810进行的yuv域增广处理可以包括降噪和/或边缘增强；其中，所述yuv域降噪中采用的低通滤波器的参数是根据随机变量对预设参数进行微调而得到的，所述边缘增强中采用的参数是根据随机变量对预设参数进行微调而得到的。在该实施例中，增广模块810通过在yuv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)低通滤波器的参数对初始训练图像或经rgb域增广处理的训练图像或经hsv域增广处理的训练图像进行降噪，可以实现图像降噪效果的增广。此外，增广模块810通过在yuv域根据随机变量对预设参数进行微调而随机生成(合理范围内的)锐化算法的参数对图像进行边缘增强，可以实现图像锐化程度的增广。
71.在本技术的实施例中，当增广模块810进行的yuv域增广处理同时包括降噪和边缘增强这两者时，所述yuv域降噪在所述边缘增强之前执行。例如，增广模块810可以先对初始训练图像或经rgb域增广处理的训练图像或经hsv域增广处理的训练图像进行降噪，得到降噪后的图像，再对降噪后的图像进行边缘增强，得到经yuv域增广处理的训练图像。在该示例中，增广模块810进行的yuv域增广处理同时包括降噪和边缘增强这两者，能够最大限度地提高yuv域增广处理后的图像的训练能力，增强训练好的图像识别模型针对不同模组的泛化性。
72.以上示例性地示出了根据本技术实施例的图像识别设备中增广模块810对初始训练图像的isp增广处理。训练模块820基于经isp增广处理后的训练图像来训练图像识别模型，得到的训练好的图像识别模型针对来自不同相机拍摄的待识别图像进行图像识别时均具有较好的性能。
73.在本技术的实施例中，训练模块820还可以结合初始训练图像和经isp增广处理的训练图像这两者来训练图像识别模型，这可以进一步提高训练图像集的训练能力，得到针对不同模组拍摄的图像具有更高鲁棒性图像识别能力的图像识别模型。
74.基于上面的描述，根据本技术实施例的图像识别设备通过增广模块对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而训练模块基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
75.图9示出了根据本技术另一个实施例的图像识别设备900的示意性框图。如图9所示，图像识别设备900可以包括获取模块910和识别模块920。其中，获取模块910用于获取待识别的图像。识别模块920用于基于训练好的图像识别模型对所述待识别的图像进行图像识别，其中，所述图像识别模型是基于前文所述的根据本技术实施例的用于训练图像识别模型的方法训练得到的。根据本技术实施例的图像识别设备900可以执行前文所述的根据
本技术实施例的图像识别方法700。本领域技术人员可以结合前文所述的内容理解根据本技术实施例的图像识别设备900的具体操作，为了简洁，此处不再赘述。
76.图10示出了根据本技术再一个实施例的图像识别设备1000的示意性框图。如图10所示，根据本技术实施例的图像识别设备1000可以包括存储器1010和处理器1020，存储器1010存储有由处理器1020运行的计算机程序，所述计算机程序在被处理器1020运行时，使得处理器1020执行前文所述的根据本技术实施例的用于训练图像识别模型的方法或图像识别方法。本领域技术人员可以结合前文所述的内容理解根据本技术实施例的图像识别设备1000的具体操作，为了简洁，此处不再赘述具体的细节，仅描述处理器1020的一些主要操作。
77.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，使得处理器1020执行如下步骤：获取初始训练图像，对所述初始训练图像进行图像信号处理的增广处理，得到处理后的训练图像；基于所述处理后的训练图像来训练图像识别模型。
78.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，使得处理器1020执行的所述对所述初始训练图像进行图像信号处理的增广处理，包括：对所述初始训练图像进行以下处理中的至少一项：rgb域增广处理、hsv域增广处理以及yuv域增广处理。
79.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，使得处理器1020执行的rgb域增广处理包括色彩信息调整、伽马变换以及随机直方图均衡化中的至少一项；其中，所述色彩信息调整中采用的色彩校正矩阵和偏置矩阵中的参数均是根据随机变量对预设参数进行微调而得到的；所述伽马变换中采用的伽马系数是根据随机变量对预设参数进行微调而得到的；所述随机直方图均衡化是指基于随机变量确定是否进行直方图均衡化。
80.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，使得处理器1020执行的hsv域增广处理包括饱和度调整和/或对比度调整；其中，所述饱和度调整中采用的饱和度参数是根据随机变量对预设参数进行微调而得到的，所述对比度调整中采用的对比度参数是根据随机变量对预设参数进行微调而得到的。
81.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，使得处理器1020执行的yuv域增广处理包括降噪和/或边缘增强；其中，所述yuv域降噪中采用的低通滤波器的参数是根据随机变量对预设参数进行微调而得到的，所述边缘增强中采用的参数是根据随机变量对预设参数进行微调而得到的。
82.在本技术的一个实施例中，所述图像识别模型为人脸识别模型。
83.在本技术的一个实施例中，所述计算机程序在被处理器1020运行时，还使得处理器1020执行如下步骤：获取待识别的图像；基于训练好的图像识别模型对所述待识别的图像进行图像识别，其中，所述图像识别模型是基于上述训练图像识别模型的方法训练得到的。
84.此外，根据本技术实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本技术实施例的用于训练图像识别模型的方法或图像识别方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd
‑
rom)、usb存储器、或者上述存储介质的任意组合。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
85.基于上面的描述，根据本技术实施例的用于训练图像识别模型的方法、图像识别方法和图像识别设备通过对初始训练图像进行isp增广处理，可以实现基于某一款或某几款相机拍摄的训练图像模拟得到各种不同款相机拍摄的训练图像的效果，因而基于增广处理后的图像训练得到的图像识别模型将增强对不同模组的泛化性，从而使得图像识别模型针对不同成像模组拍摄的待识别图像进行图像识别时均有很好的性能。
86.尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本技术的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本技术的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本技术的范围之内。
87.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
88.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
89.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
90.类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本技术的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
91.本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
92.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
93.本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用
微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的一些模块的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
94.应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
95.以上所述，仅为本技术的具体实施方式或对具体实施方式的说明，本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。本技术的保护范围应以权利要求的保护范围为准。