图像处理方法、装置、计算机可读存储介质和电子设备与流程

文档序号:15934036发布日期:2018-11-14 02:06阅读:259来源:国知局

本申请涉及计算机技术领域,特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

智能设备可以通过摄像头拍摄图像,也可以通过与其他智能设备的传输来获取图像。图像拍摄的场景可以有很多,例如海滩、雪景、夜景等。拍摄图像中还可能存在很多目标物体,例如汽车、人、动物等。通常情况下,不同场景下拍摄的图像有不同的颜色特征,不同的目标物体的表现特征也不同。



技术实现要素:

本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备,可以提高图像处理的准确性。

一种图像处理方法,所述方法包括:

获取待处理图像;

对所述待处理图像进行识别,得到所述待处理图像的图像分类标签及对应的分类置信度,所述分类置信度用于表示识别为所述图像分类标签的可信程度;

获取拍摄所述待处理图像时的天气数据和拍摄时间;

根据所述天气数据和拍摄时间调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

一种图像处理装置,所述装置包括:

图像获取模块,用于获取待处理图像;

图像识别模块,用于对所述待处理图像进行识别,得到所述待处理图像的图像分类标签及对应的分类置信度,所述分类置信度用于表示识别为所述图像分类标签的可信程度;

数据获取模块,用于获取拍摄所述待处理图像时的天气数据和拍摄时间;

置信度调整模块,用于根据所述天气数据和拍摄时间调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如下步骤:

获取待处理图像;

对所述待处理图像进行识别,得到所述待处理图像的图像分类标签及对应的分类置信度,所述分类置信度用于表示识别为所述图像分类标签的可信程度;

获取拍摄所述待处理图像时的天气数据和拍摄时间;

根据所述天气数据和拍摄时间调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述指令被所述处理器执行时,使得所述处理器执行如下步骤:

获取待处理图像;

对所述待处理图像进行识别,得到所述待处理图像的图像分类标签及对应的分类置信度,所述分类置信度用于表示识别为所述图像分类标签的可信程度;

获取拍摄所述待处理图像时的天气数据和拍摄时间;

根据所述天气数据和拍摄时间调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

上述图像处理方法、装置、计算机可读存储介质和电子设备,可对待处理图像进行识别得到图像分类标签级分类置信度,然后获取拍摄待处理图像时的天气数据和拍摄时间,根据天气数据和拍摄时间调整分类置信度。这样对图像进行识别的时候,可根据实际拍摄图像时的天气数据和拍摄时间来调整图像的识别结果,使得识别得到的结果更加符合当前环境的特性,得到的识别结果也更加准确,提高了图像处理的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用环境图;

图2为一个实施例中图像处理方法的流程图;

图3为另一个实施例中图像处理方法的流程图;

图4为一个实施例中训练神经网络模型的示意图;

图5为又一个实施例中图像处理方法的流程图;

图6为又一个实施例中图像处理方法的流程图;

图7为又一个实施例中图像处理方法的流程图;

图8为一个实施例中图像处理装置的结构示意图;

图9为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。

图1为一个实施例中图像处理方法的应用环境图。如图1所示,该应用环境中包括终端102和服务器104。终端102和服务器104之间可以传输待处理图像,并对待处理图像进行分类处理。在一个实施例中,终端102可以拍摄得到若干张待处理图像,并获取拍摄待处理图像时的天气数据和拍摄时间,然后将待处理图像、天气数据和拍摄时间发送给服务器104。服务器104中存储了对图像进行分类的分类算法,则可以对接收到的待处理图像进行识别,得到待处理图像的图像分类标签及对应的分类置信度。服务器104可以根据天气数据和拍摄时间调整分类置信度,得到图像分类标签对应的目标分类置信度。最后会根据目标分类置信度调整待处理图像的识别结果,并将调整后的识别结果发送给终端102。终端102可以根据得到的识别结果对待处理图像进行处理。其中,终端102是处于计算机网络最外围,主要用于输入用户信息以及输出处理结果的电子设备,例如可以是个人电脑、移动终端、个人数字助理、可穿戴电子设备等。服务器104是用于响应服务请求,同时提供计算服务的设备,例如可以是一台或者多台计算机。在本申请提供的其他实施例中,上述应用环境中还可以只包括终端102或服务器104,在此不做限定。

图2为一个实施例中图像处理方法的流程图。如图2所示,该图像处理方法包括步骤202至步骤208。其中:

步骤202,获取待处理图像。

在一个实施例中,电子设备上可内置或外接式地安装摄像头,安装摄像头的位置和数量不限。例如,可以在手机正面安装一个摄像头,在手机背面安装两个摄像头。在拍摄图像的过程一般分为两个阶段:预览阶段和拍摄阶段。在预览阶段时,摄像头会每间隔一定时长采集一次图像,采集的图像不会进行存储,但会进行显示供用户查看,用户根据显示的图像来调整拍摄的角度、光线等参数。当检测到用户输入的拍摄指令时,进入拍摄阶段,电子设备会将接收到拍摄指令后的下一帧图像进行存储,作为最终得到的拍摄图像。

电子设备可将拍摄的图像进行存储,并发送至服务器或其他电子设备中。可以理解的是,本实施例中获取的待处理图像并不仅限于是电子设备自身拍摄的,也可以是其他电子设备发送的,或者通过网络下载的。电子设备在获取到图像之后,可以立即对图像进行处理,也可以将图像统一存放在一个文件夹中,在该文件夹中存储的图像到达一定数量之后,再将存储的图像统一进行处理。电子设备可以将获取的图像存储到相册中,当相册中存储的图像大于一定数量时,就触发对相册中的图像进行处理。

步骤204,对待处理图像进行识别,得到待处理图像的图像分类标签及对应的分类置信度,分类置信度用于表示识别为该图像分类标签的可信程度。

图像分类标签可用于表示待处理图像的拍摄场景的具体分类。例如,图像的拍摄场景可分为风景、海滩、蓝天、绿草、雪景、逆光、日出/日落、烟火、聚光灯等中的一种。电子设备可以通过识别待处理图像的拍摄场景,从而得到图像分类标签。

具体的,电子设备可以通过分类算法模型对待处理图像进行识别,并得到待处理图像的图像分类标签。在通过分类算法模型进行识别之前,通常需要通过一个训练图像集合将分类算法模型进行训练,得到能够准确进行识别的算法模型。一般情况下,训练图像集合中包含的训练图像越多,最后得到的分类算法模型越精确。分类算法模型训练好之后,将待处理图像输入到训练好的分类算法模型中,通过该分类算法模型输出分类结果。

在一个实施例中,通过分类算法模型可识别到待处理图像对应的图像分类标签和对应的分类置信度,分类置信度用于表示识别为上述图像分类标签的可信程度,分类置信度越大,表示识别得到识别结果越准确。一般的,可预先对图像定义多个应用场景,并根据这多个应用场景定义多个分类标签,通过分类算法模型可以计算图像对应每个分类标签的概率。分类标签的概率越大,说明图像为该分类标签所对应的应用场景的可能性越大。可将概率最大的分类标签作为图像的图像分类标签,该图像分类标签对应的概率即为分类置信度。上述分类算法模型可以但不限于是k最近邻分类模型、最近邻分类模型、朴素贝叶斯分类模型、神经网络模型等。

步骤206,获取拍摄待处理图像时的天气数据和拍摄时间。

电子设备在拍摄图像时,可以通过获取拍摄图像时的天气数据和拍摄时间,并将天气数据和拍摄时间同时进行存储。电子设备在传输待处理图像时,可将天气数据和拍摄时间与待处理图像同时进行传输。

在一个实施例中,当电子设备检测到拍摄指令时,会控制摄像头采集图像,采集到图像之后,调用专用的天气接口来获取天气数据,同时获取当前时间作为拍摄图像时的拍摄时间。例如,获取的天气数据可分为晴天、多云、阴天和雨天等。获取的拍摄时间可以为“2018年5月26日11:53”。

步骤208,根据天气数据和拍摄时间调整分类置信度,得到图像分类标签对应的目标分类置信度。

可理解的是,在不同天气和时间拍摄图像时,拍摄的图像有不同的特点,电子设备的识别结果也有不同的可信度。例如,晴天时采集的图像光线比较充足,拍摄的图像能够很好的还原物体本来的特征,电子设备对图像的识别结果也更加准确。阴雨天气时采集的图像光线比较暗,拍摄的图像就比较偏离物体原来的特征。同样的,在正午时候拍摄的图像比傍晚时候拍摄的图像更能准确地反应物体原来的特征。

在本申请提供的实施例中,如果对图像识别得到的图像分类标签对应的分类置信度过低,通常认为这样的识别结果是不可信的,就会直接将得到的识别结果进行丢弃。由于识别结果收到天气和拍摄时间的影响,因此为了防止识别结果被误操作,可以通过天气数据和拍摄时间对识别结果进行一定的调整,调整之后的识别结果能够更准确地反映图像的真实拍摄场景。例如,若图像是在晴天拍摄的,则可以将识别得到的分类置信度适当地增大,若图像是在阴雨天气拍摄的,在可以将识别得到的分类置信度适当地减小。

上述实施例提供的图像处理方法,可对待处理图像进行识别得到图像分类标签级分类置信度,然后获取拍摄待处理图像时的天气数据和拍摄时间,根据天气数据和拍摄时间调整分类置信度。这样对图像进行识别的时候,可根据实际拍摄图像时的天气数据和拍摄时间来调整图像的识别结果,使得识别得到的结果更加符合当前环境的特性,得到的识别结果也更加准确,提高了图像处理的准确性。

图3为另一个实施例中图像处理方法的流程图。如图3所示,该图像处理方法包括步骤302至步骤312。其中:

步骤302,获取待处理图像。

电子设备在对图像进行处理的时候,可以是自动触发的,也可以是用户手动触发的。可以预设一个自动触发的条件,当满足自动触发条件时,执行步骤302。例如,当电子设备中更新的图像的数量达到预设数量时,开始获取存储的图像,并开始对图像进行处理。或者每次在到达指定时刻时,开始获取待处理图像,并对待处理图像进行处理。

一般待处理图像的数量越多,对图像处理时消耗的内存就越大,耗时也比较长。终端的处理能力一般都比较有限,因此终端需要对大量图像进行批量处理时,可以将图像及对应的天气数据和拍摄时间一起发送到服务器。通过服务器对图像进行识别,再将得到的识别结果返回给终端。终端会根据接收到的识别结果对图像进行处理。

步骤304,将待处理图像作为神经网络模型的输入,通过神经网络模型计算至少一个预设分类标签对应的参考置信度。

在一个实施例中,可以通过神经网络模型对待处理图像进行识别。在识别之前,需要对该神经网络模型进行训练。电子设备可获取用于训练神经网络模型的训练图像集合,训练图像集合中的训练图像都存在用于标记场景类别的标签。在训练过程中将训练图像集合中的训练图像作为神经网络模型的输入,并得到对训练图像的识别结果,将该识别结果与预先标记的标签进行对比,根据对比结果去调整神经网络模型的参数,使神经网络模型的识别结果更加准确。

在训练模型之前,会预先定义图像的拍摄场景,每一个拍摄场景对应一个预设分类标签,根据该神经网络模型可以识别预先定义的拍摄场景中的任意一种。神经网络模型训练好之后,将需要进行识别的待处理图像作为神经网络模型的输入,通过神经网络模型计算预先定义的各个预设分类标签对应的参考置信度,根据参考置信度确定图像最终的分类结果。

图4为一个实施例中训练神经网络模型的示意图。如图4所示,在训练神经网络模型时,将带有类别标签的训练图像作为神经网络模型的输入,从而完成对神经网络模型的训练。神经网络模型训练好之后,可以得到一个损失函数。在识别过程中,可通过训练好的神经网络模型识别图像,并通过损失函数计算各个类别的置信度,根据得到的置信度确定最后的分类结果。

具体地,上述神经网络模型可以预先存储在电子设备中,在获取到待处理图像时,通过上述神经网络模型对待处理图像进行识别处理。可以理解的是,神经网络模型一般会占用电子设备的存储空间,而且在对大量图像进行处理的时候,对电子设备的存储能力要求也比较高。在对终端上的待处理图像进行处理时,可通过终端本地存储的神经网络模型进行处理,也可以将待处理图像发送到服务器,通过服务器上存储的神经网络模型进行处理。

由于终端的处理能力一般比较有限,所以服务器可以将神经网络模型训练好之后,将训练好的神经网络模型发送给终端,终端就无需再对上述神经网络模型进行训练。同时终端存储的神经网络模型可以是经过压缩之后的模型,这样压缩之后的模型占用的资源就会比较小,但是相应的识别准确率就比较低。终端可以根据需要处理的待处理图像的数量决定在终端本地进行识别处理,还是在服务器上进行识别处理。终端在获取到待处理图像之后,统计待处理图像的图像数量,若图像数量超过预设上传数量,则将待处理图像上传至服务器,并在服务器上进行待处理图像的识别处理。服务器处理后,将识别结果发送给终端。

步骤306,根据参考置信度从预设分类标签中确定待处理图像对应的图像分类标签,并将图像分类标签对应的参考置信度作为分类置信度。

预设分类标签是预先定义的,通过神经网络模型计算各个预设分类标签对应的参考置信度。预设分类标签的参考置信度越大,说明图像对应该预设分类标签的可能性越大,根据参考置信度可确定最终识别的图像分类标签。

具体可将参考置信度最大的预设分类标签作为待处理图像对应的图像分类标签,并将最大参考置信度作为图像分类标签对应的分类置信度。例如,预先定义的预设分类标签包括风景、夜景、雪景,将图像作为神经网络模型的输入,计算得到三个预设分类标签对应的参考置信度分别为0.85、0.1、0.05,则可将参考置信度最大的预设分类标签“风景”作为图像的识别结果。即该图像的图像分类标签为“风景”,对应的分类置信度为0.85。

步骤308,判断分类置信度是否超出预设置信度范围。

步骤310,若是,则获取拍摄待处理图像时的天气数据和拍摄时间。

在识别得到的结果中,如果最终得到的图像分类标签的分类置信度超出一定的范围,则认为这个分类结果是不可靠的,电子设备可以直接将该不可靠的分类结果丢弃。但是为了防止因为得到的分类置信度不准确而将识别结果进行丢弃,则可以根据天气数据和拍摄时间将分类置信度进行调整,使得到的分类置信度更加准确。

具体的,可将分类置信度分为可信取值范围和不可信取值范围,当分类置信度在可信取值范围内时,认为分类结果可靠;当分类置信度在不可信取值范围内时,认为分类结果不可靠。分类置信度在预设置信度范围内时,则认为根据置信度增值调整后的分类置信度与调整之前的分类置信度所属的上述取值范围相同,这样调整分类置信度不会影响可靠性的判断结果,就可以不对分类置信度进行调整。

例如,分类置信度在[0,0.4)时,认为分类结果不可靠;分类置信度在(0.4,1]时,认为分类结果可靠。置信度增值最小取值为0.4,最大取值为1.6。可以理解的是,当分类置信度的取值为[0,0.25]时,即时与置信度增值的最大取值1.6相乘,调整后的分类置信度的取值还是在不可信取值范围内,而并不会影响分类结果可靠性的判断。所以分类置信度在上述预设置信度范围[0,0.25]内时,并不需要进行调整。

步骤312,根据天气数据和拍摄时间确定置信度增值,并根据置信度增值调整分类置信度,得到图像分类标签对应的目标分类置信度。

可根据天气数据和拍摄时间确定对分类置信度进行调整的置信度增值,然后根据得到的置信度增值来调整分类置信度。具体的,调整分类置信度的步骤可以包括:

步骤502,根据天气数据确定第一置信度增值,并根据拍摄时间确定第二置信度增值。

在获取到天气数据和拍摄时间之后,可以分别根据天气数据和拍摄时间得到对分类置信度进行调节的增量。具体的,可根据天气数据确定第一置信度增值,根据拍摄时间确定第二置信度增值。第一置信度增值和第二置信度增值可以是相互关联的,也可以是相互独立的,在此不做限定。置信度增值是指调节分类置信度的增量,可以负增量,也可以是正增量。

可以预先定义天气数据与第一置信度增值的对应关系,根据天气数据可以获取第一置信度增值。预先定义拍摄时间与第二置信度增值的对应关系,根据拍摄时间可获取第二置信度增值。例如,定义天气数据包括“00”、“01”、“10”和“11”,分别代表天气“晴天”、“多云”、“阴天”和“雨天”,对应的第一置信度增值分别为1.2、1.1、0.9、0.8。

步骤504,将第一置信度增值与第二置信度增值相乘的结果与分类置信度相乘,得到图像分类标签对应的目标分类置信度。

根据获取的第一置信度增值和第二置信度增值分别调整分类置信度,也可以根据第一置信度增值和第二置信度增值生成一个总置信度增值,再根据该总置信度增值来调节分类置信度。调整分类置信度时,可以通过叠加的方式进行调整,也可以通过乘积方式进行调整,在此不做限定。

在本实施例中,可将将第一置信度增值与第二置信度增值相乘,然后将第一置信度增值与第二置信度增值相乘的结果与分类置信度相乘,得到图像分类标签对应的目标分类置信度。例如,第一置信度增值为1.2,第二置信度增值为0.9,分类置信度为0.8,则通过乘积方式进行调整得到目标分类置信度为1.2*0.9*0.8=0.864。

在一个实施例中,在识别到不同图像分类标签时,调节分类置信度的算法可以不同,即获取置信度增值的方式可以不同。则具体的:

步骤602,根据图像分类标签获取第一对应关系,根据第一对应关系确定天气数据对应的第一置信度增值。

电子设备得到的识别结果不同时,调整分类置信度的算法也可以不同。可预先定义不同识别结果下天气数据和第一置信度增值的对应关系,根据识别得到的图像分类标签可获取第一对应关系,第一对应关系为天气数据和第一置信度增值的对应关系,因此根据第一对应关系可获取天气数据对应的第一置信度增值。

步骤604,根据图像分类标签获取第二对应关系,根据第二对应关系确定拍摄时间对应的第二置信度增值。

预先定义不同识别结果下拍摄时间和第二置信度增值的对应关系,根据识别得到的图像分类标签可获取第二对应关系,第二对应关系为拍摄时间和第二置信度增值的对应关系,因此根据第二对应关系可获取拍摄时间对应的第一置信度增值。

在本申请提供的实施例中,分类置信度可表示图像识别结果的可信程度。一般地,得到的分类置信度具有一定的取值范围,调整后的分类置信度不能超过该取值范围。具体的:

步骤702,根据置信度增值和分类置信度计算得到参考分类置信度。

步骤704,若置信度增值为负数,则判断参考分类置信度是否小于预设的置信度下限值,若是则将置信度下限值作为图像分类标签对应的目标分类置信度,若否则将参考分类置信度作为图像分类标签对应的目标分类置信度。

定义分类置信度的取值范围,最大不能超过置信度上限值,最小不能超过置信度下限值。若获取的置信度增值为负数,那么根据置信度增值调整后的分类置信度就会减小,也就是调整后的分类置信度就不能小于置信度下限值。具体的,首先根据置信度增值调整分类置信度,计算得到一个参考分类置信度。若置信度增值为负数,则将得到的参考分类置信度与置信度下限值进行比较。若得到的参考分类置信度小于置信度下限值,则将置信度下限值作为目标分类置信度;若得到的参考分类置信度大于置信度下限值,则将参考分类置信度作为目标分类置信度。

步骤706,若置信度增值为正数,则判断参考分类置信度是否大于预设的置信度上限值,若是则将置信度上限值作为图像分类标签对应的目标分类置信度,若否则将参考分类置信度作为图像分类标签对应的目标分类置信度。

若获取的置信度增值为正数,那么根据置信度增值调整后的分类置信度就会变大,也就是调整后的分类置信度就不能大于置信度上限值。具体的,首先根据置信度增值调整分类置信度,计算得到一个参考分类置信度。若置信度增值为正数,则将得到的参考分类置信度与置信度上限值进行比较。若得到的参考分类置信度大于置信度上限值,则将置信度上限值作为目标分类置信度;若得到的参考分类置信度小于置信度上限值,则将参考分类置信度作为目标分类置信度。

举例说明,对图像进行识别得到的图像分类标签可以为风景、海滩、蓝天、绿草、雪景、逆光、日出/日落、烟火、聚光灯中的一种。如果识别图像为上述图像分类标签中的一种,则根据天气数据获取的置信度增值为:如果天气为晴天,则置信度增值为1.2;如果天气为多云,则置信度增值为1.1;如果天气为阴天,置信度增值为0.9;如果天气为雨天,置信度增值为0.8。

如果识别图像的图像分类标签为风景、海滩、蓝天、绿草、雪景、逆光中的一种,则根据拍摄时间获取的置信度增值为:若拍摄时间在07:00~10:00,则置信度增值为1.1;若拍摄时间在10:00~14:00,则置信度增值为1.2;若拍摄时间在14:00~17:00,则置信度增值为1.1;若拍摄时间在19:00~21:00,则置信度增值为0.9;若拍摄时间在21:00~02:00,则置信度增值为0.8;若拍摄时间在02:00~05:00,则置信度增值为0.9;其他时间段内置信度增值为1。

如果识别图像的图像分类标签为夜景、烟火、聚光灯中的一种,则根据拍摄时间获取的置信度增值为:若拍摄时间在07:00~10:00,则置信度增值为0.9;若拍摄时间在10:00~14:00,则置信度增值为0.8;若拍摄时间在14:00~17:00,则置信度增值为0.9;若拍摄时间在19:00~21:00,则置信度增值为1.1;若拍摄时间在21:00~23:00,则置信度增值为1.2;若拍摄时间在23:00~05:00,则置信度增值为1.1;其他时间段内置信度增值为1。

如果识别图像的图像分类标签为日出/日落,则根据拍摄时间获取的置信度增值为:若拍摄时间在05:00~07:00,则置信度增值为1.2;若拍摄时间在17:00~20:00,则置信度增值为1.2;其他时间段内置信度增值为0.8。根据上述对应关系获取置信度增值,并将置信度增值乘以分类置信度,得到目标分类置信度,得到的目标分类置信度的取值范围为[0,1]。

生成的图像分类标签之后,可以根据图像分类标签对待处理图像进行标记,这样用户可以根据生成的分类标签对图像进行查找。例如,可将待处理图像进行分类展示,方便用户对待处理图像进行查看。还可以在展示界面展示搜索框,用户可通过搜索框输入查找关键字,电子设备可以搜索分类标签中包含查找关键字的待处理图像进行展示。

电子设备还可以根据图像分类标签对待处理图像进行分类,并对待处理图像进行分类处理。根据图像分类标签获取图像处理算法,并根据获取的图像处理算法对待处理图像进行处理。例如,识别为风景的时候,可以将图像饱和度,识别为夜景时,可适当提高图像的亮度。

上述实施例提供的图像处理方法,可对待处理图像进行识别得到图像分类标签级分类置信度,然后获取拍摄待处理图像时的天气数据和拍摄时间,根据天气数据和拍摄时间调整分类置信度。这样对图像进行识别的时候,可根据实际拍摄图像时的天气数据和拍摄时间来调整图像的识别结果,使得识别得到的结果更加符合当前环境的特性,得到的识别结果也更加准确,提高了图像处理的准确性。

应该理解的是,虽然图2、图3、图5、图6、图7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3、图5、图6、图7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图8为一个实施例中图像处理装置的结构示意图。如图8所示,该图像处理装置800包括图像获取模块802、图像识别模块804、数据获取模块806和置信度调整模块808。其中:

图像获取模块802,用于获取待处理图像。

图像识别模块804,用于对所述待处理图像进行识别,得到所述待处理图像的图像分类标签及对应的分类置信度,所述分类置信度用于表示识别为所述图像分类标签的可信程度。

数据获取模块806,用于获取拍摄所述待处理图像时的天气数据和拍摄时间。

置信度调整模块808,用于根据所述天气数据和拍摄时间调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

上述实施例提供的图像处理装置,可对待处理图像进行识别得到图像分类标签级分类置信度,然后获取拍摄待处理图像时的天气数据和拍摄时间,根据天气数据和拍摄时间调整分类置信度。这样对图像进行识别的时候,可根据实际拍摄图像时的天气数据和拍摄时间来调整图像的识别结果,使得识别得到的结果更加符合当前环境的特性,得到的识别结果也更加准确,提高了图像处理的准确性。

在一个实施例中,图像识别模块804还用于将所述待处理图像作为神经网络模型的输入,通过所述神经网络模型计算至少一个预设分类标签对应的参考置信度;根据所述参考置信度从所述预设分类标签中确定所述待处理图像对应的图像分类标签,并将所述图像分类标签对应的参考置信度作为分类置信度。

在一个实施例中,数据获取模块806还用于判断所述分类置信度是否超出预设置信度范围;若是,则获取拍摄所述待处理图像时的天气数据和拍摄时间。

在一个实施例中,置信度调整模块808还用于根据天气数据和拍摄时间确定置信度增值,并根据所述置信度增值调整所述分类置信度,得到所述图像分类标签对应的目标分类置信度。

在一个实施例中,置信度调整模块808还用于根据所述天气数据确定第一置信度增值,并根据所述拍摄时间确定第二置信度增值;将所述第一置信度增值与所述第二置信度增值相乘的结果与所述分类置信度相乘,得到所述图像分类标签对应的目标分类置信度。

在一个实施例中,置信度调整模块808还用于根据所述图像分类标签获取第一对应关系,根据所述第一对应关系确定所述天气数据对应的第一置信度增值;根据所述图像分类标签获取第二对应关系,根据所述第二对应关系确定所述拍摄时间对应的第二置信度增值。

在一个实施例中,置信度调整模块808还用于根据所述置信度增值和分类置信度计算得到参考分类置信度;若所述置信度增值为负数,则判断所述参考分类置信度是否小于预设的置信度下限值,若是则将所述置信度下限值作为所述图像分类标签对应的目标分类置信度,若否则将所述参考分类置信度作为所述图像分类标签对应的目标分类置信度;若所述置信度增值为正数,则判断所述参考分类置信度是否大于预设的置信度上限值,若是则将所述置信度上限值作为所述图像分类标签对应的目标分类置信度,若否则将所述参考分类置信度作为所述图像分类标签对应的目标分类置信度。

上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例提供的图像处理方法。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义isp(imagesignalprocessing,图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。

如图9所示,图像处理电路包括isp处理器940和控制逻辑器950。成像设备910捕捉的图像数据首先由isp处理器940处理,isp处理器940对图像数据进行分析以捕捉可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。成像设备910可包括具有一个或多个透镜912和图像传感器914的照相机。图像传感器914可包括色彩滤镜阵列(如bayer滤镜),图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息,并提供可由isp处理器940处理的一组原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给isp处理器940。传感器920接口可以利用smia(standardmobileimagingarchitecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外,图像传感器914也可将原始图像数据发送给传感器920,传感器920可基于传感器920接口类型把原始图像数据提供给isp处理器940,或者传感器920将原始图像数据存储到图像存储器930中。

isp处理器940按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,isp处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。

isp处理器940还可从图像存储器930接收图像数据。例如,传感器920接口将原始图像数据发送给图像存储器930,图像存储器930中的原始图像数据再提供给isp处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括dma(directmemoryaccess,直接直接存储器存取)特征。

当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时,isp处理器940可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器930,以便在被显示之前进行另外的处理。isp处理器940从图像存储器930接收处理数据,并对所述处理数据进行原始域中以及rgb和ycbcr颜色空间中的图像数据处理。isp处理器940处理后的图像数据可输出给显示器970,以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit,图形处理器)进一步处理。此外,isp处理器940的输出还可发送给图像存储器930,且显示器970可从图像存储器930读取图像数据。在一个实施例中,图像存储器930可被配置为实现一个或多个帧缓冲器。此外,isp处理器940的输出可发送给编码器/解码器960,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器970设备上之前解压缩。编码器/解码器960可由cpu或gpu或协处理器实现。

isp处理器940确定的统计数据可发送给控制逻辑器950单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备910的控制参数及isp处理器940的控制参数。例如,成像设备910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。isp控制参数可包括用于自动白平衡和颜色调整(例如,在rgb处理期间)的增益水平和色彩校正矩阵,以及透镜912阴影校正参数。

以下为运用图9中图像处理技术实现上述实施例提供的图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1