一种图像处理方法及装置和冰箱与流程

本发明的实施例涉及图像处理领域，尤其涉及一种图像处理方法及装置和冰箱。

背景技术：

现有的智能冰箱大多数利用深度学习进行食材的识别，在识别食材的过程中，需要通过采样的方式获取训练样本，以训练图像识别模型。具体的采样过程包括:通过对冰箱内部拍照获取样本图像，在样本图像中获得采样食物的图像作为训练样本。以冰箱识别食材数目为300种为例，每个样本(采样食物)的训练样本需要2000张，那么就需要采集60万张的训练样本。这样庞大的训练样本采集完了后，还要有专门的数据标注团队对采样食物的食材进行标注，标注食材数据花费的时间比采集数据花费的时间用时更久。因此在短期内完成是不可能的任务，并且采集和标注食材数据耗时耗力，并且需要大量的资金支持，图像识别模型的训练周期较长，因此智能冰箱的研发周期相当费时，一般是两年以上。

技术实现要素：

本发明的实施例提供一种图像处理方法及装置和冰箱，能够减少通过直接采样的方式获取采样物体的图像的数量，从而缩短图像识别模型的训练周期。

第一方面，提供一种图像处理方法，其特征在于，包括：

获取在第一场景中采集的第一样本图像，所述第一样本图像中包含第一采样物体；

获取所述第一采样物体的图像，其中所述第一采样物体的图像标注有所述第一采样物体的标注信息；

获取在第二场景中采集的第二样本图像，所述第二样本图像中包含第二采样物体；

在所述第二样本图像中获取第二采样物体的图像，对所述第二采样物体的图像设置对应所述第二采样物体的标注信息；

根据所述第二采样物体的图像对所述第一采样物体的图像进行风格转换生成转化图像；

根据所述转化图像进行深度学习训练图像识别模型，其中所述图像识别模型用于对在所述第二场景中采集的图像中的物体进行图像识别。

上述方案中，图像处理装置可以获取在第一场景中采集的第一样本图像，第一样本图像中包含第一采样物体；获取第一采样物体的图像，第一采样物体的图像标注有第一采样物体的标注信息；然后图像处理装置获取在第二场景中采集的第二样本图像，第二样本图像中包含第二采样物体；在第二样本图像中获取第二采样物体的图像，对所述第二采样物体的图像设置对应所述第二采样物体的标注信息；根据所述第二采样物体的图像对所述第一采样物体的图像进行风格转换生成转化图像；根据所述转化图像进行深度学习训练图像识别模型，其中所述图像识别模型用于对在所述第二场景中采集的图像中的物体进行图像识别。由于第一场景中的第一采样物体的图像已经包含标注信息，因此可以直接将第一采样物体的图像进行风格转换应用于第二场景中采样物体的图像识别，而本发明中仅需要针对第一采样物体的图像进行风格转换时在采集的部分第二样本图像中获取第二采样物体的图像并设置标注信息，相对于全部重新采集样本图像以获取第二采样物体的图像训练样本库训练图像识别模型，可以降低在第二场景中通过采集第二样本图像获取第二采样物体的数量，从而避免了对第二场景中获取大量的训练样本的标注，因此本发明能够减少通过直接采样的方式获取采样物体的图像的数量，从而缩短图像识别模型的训练周期。

第二方面，提供一种图像处理装置，包括：

获取模块，用于获取在第一场景中采集的第一样本图像，所述第一样本图像中包含第一采样物体；

处理模块，用于获取所述第一采样物体的图像，其中所述第一采样物体的图像标注有所述第一采样物体的标注信息；

所述获取模块，还用于获取在第二场景中采集的第二样本图像，所述第二样本图像中包含第二采样物体；

所述处理模块，还用于在所述第二样本图像中获取第二采样物体的图像，对所述第二采样物体的图像设置对应所述第二采样物体的标注信息；

所述处理模块，还用于根据所述第二采样物体的图像对所述第一采样物体的图像进行风格转换生成转化图像；

所述处理模块，还用于根据所述转化图像进行深度学习训练图像识别模型，其中所述图像识别模型用于对在所述第二场景中采集的图像中的物体进行图像识别。

第三方面，提供一种图像处理装置，包括：通信接口、处理器、存储器、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述图像处理装置运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述图像处理装置执行上述的方法。

第四方面，提供一种计算机存储介质，包括指令，当其在计算机上运行时，使得所述计算机执行如上述的方法。

第五方面，提供一种冰箱，包括上述的图像处理装置，其中，所述第二场景应用于所述冰箱；所述第一场景应用于所述冰箱之外的其他冰箱。

可以理解地，上述提供的任一种图像处理装置或计算机存储介质均用于执行上文所提供的第一方面对应的方法，因此，其所能达到的有益效果可参考上文第一方面的方法以及下文具体实施方式中对应的方案的有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种图像处理方法的流程示意图；

图2为本发明的实施例提供的现有冰箱采集的样本图像；

图3为本发明的实施例提供的图2中梨的图像；

图4为本发明的实施例提供的图2中火龙果的图像；

图5为本发明的实施例提供的冰箱采集的样本图像；

图6为本发明的实施例提供的冰箱场景中通过摄像头采集样本图像的原理示意图；

图7为本发明的实施例提供的图2中梨的图像生成的转化图像；

图8为本发明的实施例提供的图2中火龙果的图像生成的转化图像；

图9为本发明的实施例提供的一种图像处理装置的结构图；

图10为本发明的另一实施例提供的一种图像处理装置的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1所示，本发明的实施例提供一种图像处理方法，包括：

101、图像处理装置获取在第一场景中采集的第一样本图像，第一样本图像中包含第一采样物体。

其中第一场景中的第一样本图像可以为存储在数据库中的大量数据，例如，对300种食材分别采集的2000张样本图像，如图2所示，示出了一种在现有冰箱的场景中采集的一张样本图像。第一采样物体可以为300中食材，在图2中第一采样物体包括梨、火龙果等。其中第一采样物体的图像用于在第一场景进行深度学习训练图像识别模型，从而对第一场景下采集的图像中的物体进行图像识别。

102、图像处理装置获取第一采样物体的图像，第一采样物体的图像标注有第一采样物体的标注信息。

示例性的，参照图3、4所示，第一采样物体的图像包含第一采样物体在第一样本图像中的外接区域。为降低图像识别的误差，步骤102中优先选取第一采样物体的图像中第一采样物体被遮挡的部分小于或等于预定比例的部分，示例性的预定比例为30％。

103、图像处理装置获取在第二场景中采集的第二样本图像，第二样本图像中包含第二采样物体。

示例性的，可以通过图像传感器在第二场景中采集第二样本图像，如图5所示，第二样本图像为本发明冰箱通过传感器采集的一张样本图像。

104、图像处理装置在第二样本图像中获取第二采样物体的图像，对第二采样物体的图像设置对应第二采样物体的标注信息。

示例性的，第二采样物体的图像包含第二采样物体在第二样本图像中的外接区域。

105、图像处理装置根据第二采样物体的图像对第一采样物体的图像进行风格转换生成转化图像。

具体的步骤105具体可以为：根据第二采样物体的图像携带的第二场景的第二亮度信息，对第一采样物体的图像携带的第一场景的第一亮度信息进行转换生成转化图像，其中转化图像携带第二场景的第二亮度信息。具体的步骤105可以为：根据第二采样物体的图像通过VGG19层卷积神经网络对第一采样物体的图像进行风格转换生成转化图像。

在步骤105之前，还包括：根据第一样本物体在第一样本图像中的像素位置对第一采样物体的图像进行缩放得到至少一个缩放图像，其中，每个缩放图像对应第二样本图像中的一个预定像素位置，每个缩放图像对应一个缩放比例。如图6所示，示出了冰箱场景中通过摄像头采集样本图像的原理示意图，其中在样本图像对食材的尺寸主要取决于摄像头与食材平面的距离L以及摄像头的中轴与水平面的角度α，由于不同型号的冰箱参数L以及α可能存在差异，因此只要获取冰箱对应的参数L以及α，则可以根据食材的真实尺寸估计其在采样图像中的尺寸，基于该原理可以计算出两个不同型号的冰箱所获得的采样图像中不同像素位置处的同一食材的图像之间的缩放比例，即可以将第一场景中采集的第一样本图像中某一像素位置的食材(例如苹果)，直接通过缩放(根据上述原理计算的缩放比例)生成该食材在第二场景中预定像素位置的图像。

此外需要说明的是，若在步骤105之前对第一采样物体的图像进行缩放，则步骤106具体为：根据第二采样物体的图像对缩放图像进行风格转换生成转化图像。

106、图像处理装置根据转化图像进行深度学习训练图像识别模型，其中图像识别模型用于对在第二场景中采集的图像中的物体进行图像识别。

此外，第二采样物体的图像也可以直接用于图像识别模型的训练。

上述方案中，图像处理装置可以获取在第一场景中采集的第一样本图像，第一样本图像中包含第一采样物体；获取第一采样物体的图像，第一采样物体的图像标注有第一采样物体的标注信息；然后图像处理装置获取在第二场景中采集的第二样本图像，第二样本图像中包含第二采样物体；在第二样本图像中获取第二采样物体的图像，对所述第二采样物体的图像设置对应所述第二采样物体的标注信息；根据所述第二采样物体的图像对所述第一采样物体的图像进行风格转换生成转化图像；根据所述转化图像进行深度学习训练图像识别模型，其中所述图像识别模型用于对在所述第二场景中采集的图像中的物体进行图像识别。由于第一场景中的第一采样物体的图像已经包含标注信息，因此可以直接将第一采样物体的图像进行风格转换应用于第二场景中采样物体的图像识别，而本发明中仅需要针对第一采样物体的图像进行风格转换时在采集的部分第二样本图像中获取第二采样物体的图像并设置标注信息，相对于全部重新采集样本图像以获取第二采样物体的图像训练样本库训练图像识别模型，可以降低在第二场景中通过采集第二样本图像获取第二采样物体的数量，从而避免了对第二场景中获取大量的训练样本的标注，因此本发明能够减少通过直接采样的方式获取采样物体的图像的数量，从而缩短图像识别模型的训练周期。

以第一场景应用于现有冰箱，第二场景应用于新研发的冰箱进行说明，对于现有冰箱样本训练过程中采集的样本图像，把样本图像中采样食材的图像设置采样食材的标注信息后按照类别进行保存，例如样本图像图2中包含采样食材梨和火龙果，其中将采样食材在样本图像中外接区域内的图像作为采样食材的图像，如图3、4所示，标注信息为梨的图片存到“梨”文件夹，标注信息为火龙果的图片存到“火龙果文件夹”。其中，采样食材的图像中采样食物未被遮挡，或者被遮挡的部分小于或等于预定比例(如30％)。

然后，获取本发明的冰箱在样本训练过程中采集的样本图像如图5所示，示例性的，现有技术冰箱采集的样本图像如图2所示像素尺寸大小为1280×720，采样食材占据图像中的位置为最大380像素高度，本发明的冰箱采集的样本图像如图5所示的像素尺寸大小为1080×1920，共包含四层架，第一层占据从像素600行到900行像素的高度，第二层占据900行到1300行像素的高度，第三层占据1300行到1700行像素的高度，第四层占据1700行到1900行像素的高度。

根据采样食材在样本图像图2中的像素位置对采样食材的图像进行缩放得到至少一个缩放图像，其中，每个缩放图像对应样本图像图5中的一个预定像素位置。例如，对采样食材的图像缩放到本发明的冰箱的不同层架的比例从上到下依次减小，缩放比例依次分别为0.95，0.9，0.7和0.5，采样食材的图像对应标注信息的像素位置，其像素尺寸根据上述的比例同时缩放，例如针对现有技术中的冰箱，图2中的梨若在本发明的冰箱的第一层架，则按照0.95缩放。由于冰箱通常为格挡设置，因此食材在纵向的像素位置通常是固定的，因此，上述的缩放比例可以为根据若干次测试获取的经验值，并存储至冰箱中。

由于现有技术中的冰箱和本发明的冰箱的光照可能存在差别，因此需要把现有技术中的冰箱中的采样食材的光照环境转换到本发明的冰箱的环境中，具体方案如下：

本发明的冰箱采集的样本图像如图5中获取采样食材的图像，类似的采样食材的图像包含采样食材在样本图像中的外接区域；并对采样食材的图像设置对应采样食物的标注信息；示例性的可以对300中采样食材分别采集200个采样食材的图像，共采集6万张采样食材的图像。然后，根据采样食材的图像对缩放图像进行风格转换生成转化图像，具体的可以将6万张采样食材的图像与6万张缩放图像输入深度学习发图风格转换模型中进行训练实现对缩放图像的转换，深度学习训练采用VGG19层卷积神经网络，因为主要是转换图像间的亮度信息，因此卷积神经网络的能量函数采用第一层和第二层的特征信息差的平方和作为深度学习训练用的能量损失函数。新生成的转化图像标注有采样食材的标注信息、并携带像素尺寸大小以及在样本图像中的像素位置等信息，因此不需要人工设置标注信息，节省了大量人力资源，从而可以缩短图像识别模型的训练周期，缩短冰箱的研发周期。经过上述过程的处理，得到图2中梨的图像的转化图像如图7所示，图2中火龙果的图像的转化图像如图8所示。

最后，通过风格转换生成的转化图像就可以用于深度学习训练图像识别模型，从而采用训练得到的图像识别模型对本发明的冰箱中采集的图像中的食物进行图像识别。通过转化图像作为样本食材的图像进行训练，识别精度平均达到95％以上。

本申请实施例提供一种图像处理装置，用于执行上述图像处理方法。本申请实施例可以根据上述方法示例对其进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在采用对应各个功能划分各个功能模块的情况下，如图9所示，提供一种图像处理装置，应用于实施上述图1所示的方法实施例，包括：

获取模块901，用于获取在第一场景中采集的第一样本图像，所述第一样本图像中包含第一采样物体；

处理模块902，用于获取所述第一采样物体的图像，其中所述第一采样物体的图像标注有所述第一采样物体的标注信息；

所述获取模块901，还用于获取在第二场景中采集的第二样本图像，所述第二样本图像中包含第二采样物体；

所述处理模块902，还用于在所述第二样本图像中获取第二采样物体的图像，对所述第二采样物体的图像设置对应所述第二采样物体的标注信息；

所述处理模块902，还用于根据所述第二采样物体的图像对所述第一采样物体的图像进行风格转换生成转化图像；

所述处理模块902，还用于根据所述转化图像进行深度学习训练图像识别模型，其中所述图像识别模型用于对在所述第二场景中采集的图像中的物体进行图像识别。

在一种示例性的方案中，所述处理模块902还用于根据所述第一样本物体在所述第一样本图像中的像素位置对所述第一采样物体的图像进行缩放得到至少一个缩放图像，其中，每个所述缩放图像对应所述第二样本图像中的一个预定像素位置，每个所述缩放图像对应一个缩放比例；

所述处理模块902具体用于所述根据所述第二采样物体的图像对所述缩放图像进行风格转换生成转化图像。

在一种示例性的方案中，所述处理模块902具体用于根据所述第二采样物体的图像携带的所述第二场景的第二亮度信息，对所述第一采样物体的图像携带的所述第一场景的第一亮度信息进行转换生成转化图像，其中所述转化图像携带所述第二场景的第二亮度信息。

在一种示例性的方案中，所述处理模块902具体用于根据所述第二采样物体的图像通过VGG19层卷积神经网络对所述第一采样物体的图像进行风格转换生成转化图像。

此外，第一采样物体的图像中，所述第一采样物体被遮挡的部分小于或等于预定比例。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，其作用在此不再赘述。

在采用集成的单元的情况下，图像处理装置包括：存储单元、处理单元以及接口单元。处理单元用于对图像处理装置的动作进行控制管理，例如，处理单元用于支持图像处理装置执行图1中的过程S102、S104-S106。存储单元，用于存储图像处理装置的程序代码和数据。接口单元用于与其他外部设备连接与其他设备进行信息交互以实现获取单元的功能，例如接口单元与数据库相连执行S101，从数据库读取第一样本图像、接口单元与传感器相连执行S103，通过传感器采集第二样本图像。

其中，以处理单元为处理器，存储单元为存储器，接口单元为通信接口为例。其中，图像处理装置参照图10中所示，包括通信接口1001、处理器1002、存储器1003和总线1004，通信接口1001、处理器1002通过总线1004与存储器1003相连。

处理器1002可以是一个通用中央处理器(Central Processing Unit，CPU)，微处理器，特定应用集成电路(Application-Specific Integrated Circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。

存储器1003可以是只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(Random Access Memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。

其中，存储器1003用于存储执行本申请方案的应用程序代码，并由处理器1002来控制执行。通讯接口1001用于接收外部设备输入的内容，处理器1002用于执行存储器1003中存储的应用程序代码，从而实现本申请实施例中所述的方法。

此外，本发明的实施例还提供一种冰箱，该冰箱包含上述图所述的图像处理装置。

此外，还提供一种计算存储媒体(或介质)，包括在被执行时进行上述实施例中的方法的操作的指令。

另外，还提供一种计算机程序产品，包括上述计算存储媒体(或介质)。

应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称:read-only memory，英文简称：ROM)、随机存取存储器(英文全称：random access memory，英文简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。