一种图像处理方法、设备及系统与流程

文档序号:13143589阅读:263来源:国知局
技术领域本发明涉及多媒体技术领域,具体涉及一种图像处理方法、设备及系统。

背景技术:
随着电子技术的不断发展,摄像头已成为手机、平板电脑等终端中必不可少的组成部分,用户可以通过终端中的摄像头记录生活中的点点滴滴。用户在拍照过程中,常常会发现,当对某一场景拍摄时,拍出来的颜色效果与现实中的颜色效果之间差别较多。其主要原因在于,人类都有一种不因光源或者外界环境因素而改变对某一个特定物体色彩判断的心理倾向,这种倾向即为色彩恒常性。某一个特定物体,由于环境(尤其特指光照环境)的变化,该物体表面的反射普会有不同。人类的视觉识别系统能够识别出这种变化,并能够判断出该变化是由光照环境的变化而产生的,当光照变化在一定范围内变动时,人类识别机制会在这一变化范围内认为该物体表面颜色数据是恒定不变的。现有技术中,采用完美发射法实现白平衡,其理论依据为:镜面反射反射到摄像头的光的颜色就是光源的颜色,但是镜面反射通常导致图像高光区域像素过曝。不过曝区域的像素通常并非完美的镜面反射。此外,有些场景可能不存在镜面反射,例如拍摄一个蓝色的T恤,由于T恤上很多绒毛,难以形成镜面,因而,完美发射法对彩色图像的颜色矫正效果不明显。

技术实现要素:
本发明实施例提供一种图像处理方法、设备及系统,可以准确地对彩色图像进行颜色矫正。本发明实施例第一方面提供一种图像处理方法,包括:获取目标图像,所述目标图像是通过摄像头拍摄的图像;从拍摄辅助设备获取主要光源的颜色数据,所述颜色数据是通过设置在所述拍摄辅助设备中的颜色传感器采集的,所述主要光源为发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线,所述颜色数据的采集时间与所述目标图像的拍摄时间的时间差小于预设值;根据所述颜色数据以对所述目标图像进行颜色矫正。本发明实施例第二方面提供一种信息处理方法,包括:建立与终端的连接;通过颜色传感器采集主要光源的颜色数据,并记录采集时间,所述主要光源为发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线;将所述颜色数据和所述采集时间发送给所述终端。本发明实施例第三方面提供一种信息处理方法,包括:拍摄辅助设备建立与终端的连接;所述终端获取目标图像,所述目标图像是通过摄像头拍摄的图像;所述拍摄辅助设备通过颜色传感器采集主要光源的颜色数据,并记录采集时间,所述主要光源为在所述终端获取目标图像时发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线;所述拍摄辅助设备将所述颜色数据和所述采集时间发送给所述终端;所述终端根据所述颜色数据以对所述目标图像进行颜色矫正,所述采集时间与所述目标图像的拍摄时间的时间差小于预设值。本发明实施例第四方面公开一种终端,包括:第一获取单元,用于获取目标图像,所述目标图像是通过摄像头拍摄的图像;第二获取单元,用于从拍摄辅助设备获取主要光源的颜色数据,所述颜色数据是通过设置在所述拍摄辅助设备中的颜色传感器采集的,所述主要光源为发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线,所述颜色数据的采集时间与所述目标图像的拍摄时间的时间差小于预设值;第一矫正单元,用于根据所述第二获取单元获取的颜色数据以对所述第一获取单元获取的目标图像进行颜色矫正。本发明实施例第五方面公开一种拍摄辅助设备,包括:建立单元,用于建立与终端的连接;采集单元,用于通过颜色传感器采集主要光源的颜色数据所述主要光源为发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线;记录单元,用于记录所述采集单元采集所述颜色数据的采集时间,通信单元,用于将所述采集单元采集的颜色数据和所述记录单元记录的采集时间发送给所述终端。本发明实施例第六方面公开一种拍摄系统,包括终端和拍摄辅助设备,其中:所述拍摄辅助设备,用于建立与所述终端的连接;所述终端,用于获取目标图像,所述目标图像是通过摄像头拍摄的图像;所述拍摄辅助设备,还用于通过颜色传感器采集主要光源的颜色数据,并记录采集时间,所述主要光源为在所述终端获取目标图像时发出光线中存在目标光线的光源,所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,所述目标射线为所述摄像头光轴沿拍摄方向的射线;所述拍摄辅助设备,还用于将所述颜色数据和所述采集时间发送给所述终端;所述终端,还用于根据所述颜色数据以对所述目标图像进行颜色矫正,所述采集时间与所述目标图像的拍摄时间的时间差小于预设值。本发明实施例中,终端获取目标图像,以及从拍摄辅助设备获取主要光源的颜色数据,之后根据主要光源的颜色数据以对目标图像进行矫正,因此,可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正,可以准确地对彩色图像进行颜色矫正。附图说明为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例公开的一种网络架构示意图;图2是颜色传感器与光谱曲线的示意图;图3是本发明实施例提供的一种图像处理方法的流程示意图;图4是本发明实施例提供的另一种图像处理方法的流程示意图;图5是本发明实施例提供的又一种图像处理方法的流程示意图;图6是本发明实施例提供的一种终端的结构示意图;图7是本发明实施例提供的另一种终端的结构示意图;图8是本发明实施例提供的一种拍摄辅助设备的结构示意图;图9是本发明实施例提供的另一种拍摄辅助设备的结构示意图;图10是本发明实施例提供的一种图像处理系统的结构示意图。具体实施方式下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。本发明实施例提供一种图像处理方法、设备及系统,可以准确地对彩色图像进行颜色矫正。以下分别进行详细说明。为了更好地理解本发明实施例提供的一种图像处理方法、设备及系统,下面先对本发明实施例的应用场景进行描述。用户为了追求颜色恒常性,希望安装有摄像头的终端采集的图像能够满足颜色恒常性,然而,由于在拍照时的闪光灯的颜色是固定不变的,不会随着环境颜色的不同而改变闪光灯的颜色,在拍照过程中总是以固定的颜色来补光,因此,在某些情况下闪光灯的补光效果不是很好,以致无法达到颜色恒常性,从而需要后续对图像进行处理。其中,环境光源中有些环境光源对采集的图像影响较大,例如:照射在被拍摄物体正面的光源,有些环境光源对采集的图像影响较小,例如:照射在被拍摄物体背面的光源。因此,可以将环境光源中对采集的图像影响较大的光源称为主要光源,即将能够照射在被拍摄物体正面的光源称为主要光源,可以将环境光源中对采集的图像影响较小的光源称为次要光源,即将照射在被拍摄物体背面的光源称为次要光源。由于主要光源对采集的图像的影响较大,可见,可以根据主要光源的颜色对图像进行颜色矫正。为了更好地理解本发明实施例提供的一种图像处理方法、设备及系统,下面先对本发明实施例的网络架构进行描述。请参阅图,图1是本发明实施例公开的一种网络架构示意图。如图1所示,该网络架构可以包括终端101和拍摄辅助设备102,终端101可以为设置有摄像头的智能手机(如Android手机、iOS手机、WindowsPhone手机等)、平板电脑等,拍摄辅助设备102可以为自拍杆,自拍杆可以包括杆本体1021和支撑件1022,支撑件1022可以通过转动连接、固定连接、滑动连接等连接方式连接于杆本体1021,杆本体1021可以包括手柄,颜色传感器位于杆本体上靠近手柄侧,颜色传感器与被拍摄物体间的距离要小于颜色传感器与终端间的距离,以便能够尽可能的采集到主要光源的颜色数据,支撑件1022用于固定终端101以便拍摄图像。在一个实施例中,补光光源设置在终端101上。在一个实施例中,补光光源设置在自拍杆102的支撑件1022上。终端101与拍摄辅助设备102间可以通过USB连接,也可以通过蓝牙连接,还可以通过WIFI连接,还可以通过其它方式连接。本发明实施例中,光源可为不同种类的自然光,例如:不同天气、不同时间、不同季节、不同经纬度正对阳光与背对阳光的光源或者月光。光源还可为:不同种类的人造光源,例如:荧光灯、白炽灯、烛光、高压汞灯、钠灯、LED灯、TL84灯、A光光源、紫外灯、D65光源、路灯、手电筒等等。光源还可为其他光源,例如:萤火虫形成的光源、夜光粉形成的光源、夜明珠形成的光源等等。需要说明的是,若终端的摄像头针对预设颜色卡进行拍照时,若预设颜色卡为灰色,则得到灰卡图像,若预设颜色卡为色卡,则得到色卡图像。需要说明的是,本发明实施例所涉及到的标定数据主要是指两个图像之间的映射关系。准确来说,是指两个图像之间的颜色数据之间的对应关系。举例说明,以灰卡为例进行说明,在主要光源A下得到的主要光源A的颜色数据(主要光源A的颜色数据可由颜色传感器采集)和在该主要光源A下得到的灰卡图像(灰卡图像由摄像头拍摄得到),那么,可建立该主要光源A的颜色数据与该主要光源A下的灰卡图像之间的映射关系,即是对主要光源A和灰卡进行标定,可用公式表示如下:scAM=grayA其中,scA表示主要光源A下的颜色数据,grayA为主要光源A下的灰卡图像,M则为该主要光源A下的颜色数据与主要光源A下的灰卡图像之间的标定数据,也称为映射关系。或者,通过查表方法,建立主要光源与该主要光源下的灰卡图像的标定数据,例如,A表示主要光源下的颜色数据,B表示灰卡,那么,A1表示第一主要光源下的颜色数据,B1表示第一主要光源下的灰卡图像,那么A1和B1之间的映射关系,可称为第一组标定数据;A2表示第二主要光源下的颜色数据,B2表示第二主要光源下的灰卡图像,那么A2和B2之间的映射关系,可称为第二组标定数据,则在知道A1的情况下,可通过查表方式直接得到对应的灰卡图像B1,同理,在知道A2的情况下,可通过查表直接得到对应的灰卡图像B2,该方式即为查表方式。通常情况下,由于光源较多,且光源的颜色较多,因而,需要对多种主要光源中每一种主要光源都进行标定,得到的标定数据越多,那么,在本发明实施例中得到的颜色矫正越精确。同时,可将多种标定数据构成标定数据库。可理解为,每种主要光源下对应一个灰卡图像,该主要光源下的颜色数据与该主要光源下的灰卡图像之间的映射关系即为标定数据。同样的原理,在色卡情况下,依旧可得到主要光源与色卡之间的标定数据。颜色传感器通常由RGBW四个通道的光点转换单元组成,可以为RGBW传感器、色谱传感器等,R、G、B的光谱响应特性分别接近人眼视网膜的三种锥状感光细胞L,S,M的光谱响应特性。W通道的光谱响应特性接近人眼视视网膜的杆状感光细胞的光谱响应特性。其中,RGBW包含4个颜色数据采集通道,因而,可分别利用该4个通道采集不同的颜色数据,该4个颜色数据采集通道可分别为R(红色)通道的颜色数据、G(绿色)通道的颜色数据、B(蓝色)通道的颜色数据和W(白色)通道的颜色数据。请参阅图2,图2是颜色传感器与光谱曲线的示意图。图2所示的光扩散板是通过化学或物理的手段,利用光线在行径途中遇到两个折射率(密度)相异的介质时,发生折射、反射与散射的物理现象,通过在有机玻璃(polymethylmethacrylate,PMMA)、防弹胶(polycarbonates,PC)、聚苯乙烯(polystryrene,PS)、聚丙烯(polypropylene,PP)等基材基础中添加无机或有机光扩散剂,或者通过基材表面的微特征结构的阵列调整光线,使光线发生不同方向的折射、反射与散射,从而改变光线的行进路线,实现入射光充分散色以此产生光学扩散的效果。基于图1所示的网络架构,请参阅图3,图3是本发明实施例提供的一种图像处理方法的流程示意图。其中,该图像处理方法是从终端101的角度描述的。如图3所示,该图像处理方法可以包括以下步骤。301、获取目标图像。本实施例中,当用户对通过摄像头采集的目标图像不满意时,可以通过操作使图像处理应用或图像处理客户端获取目标图像,即图像处理应用或图像处理客户端将目标图像加载在图像处理应用或图像处理客户端中。其中,目标图像是通过终端上的摄像头采集的图像。其中,图像处理应用或图像处理客户端是安装在终端中的应用或客户端。302、从拍摄辅助设备获取主要光源的颜色数据。本实施例中,由于摄像头采集图像时,照射在被拍摄物体上的光源的颜色不同,所采集图像的效果不同。因此,终端可以在摄像头采集目标图像时或采集目标图像前,向拍摄辅助设备发送用于采集主要光源的颜色数据的采集指令,以使拍摄辅助设备通过颜色传感器采集主要光源的颜色数据并发送给终端,可以减少颜色传感器采集主要光源的颜色数据的次数;此外,拍摄辅助设备也可以是实时或周期性采集主要光源的颜色数据,终端也可以是向拍摄辅助设备发送颜色数据获取指令,以便拍摄辅助设备将采集的主要光源的颜色数据发送给终端,也可以是拍摄辅助设备主动将采集的主要光源的颜色数据发送给终端的,之后终端可以从接收的主要光源的颜色数据中选取采集时间与目标图像的拍摄时间的时间差最小的主要光源的颜色数据作为用于矫正目标图像的主要光源的颜色数据。之后终端可以将主要光源的颜色数据和目标图像对应的存储起来,以便后续调用。主要光源的颜色数据是通过设置在拍摄辅助设备上的颜色传感器采集的,主要光源为发出光线中存在目标光线的光源,目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线,即照射在被拍摄物体上的光线,目标射线为摄像头光轴沿拍摄方向的射线,即主要光源为可以照射在被拍摄物体正面,且能够被颜色传感器采集到的光源,当拍摄辅助设备为自拍杆时,可以将杆本体沿被拍摄物体的方向作为目标射线,此时终端的正面与杆本体间的夹角可以为90度,也可以小于90度。其中,在预设颜色卡为灰卡时,主要光源的颜色数据是通过颜色传感器的各个通道采集到的;在预设颜色卡为色卡时,主要光源的颜色数据是通过颜色传感器直接采集到的。其中,为了通过颜色传感器尽可能多地采集到主要光源的颜色,颜色传感器表面可以覆盖一层扩散材料,以便增加颜色传感器采集光源的视场角(ForwardObserverVehicle,FOV),从而使颜色传感器可以采集到入射角度更大的光线,以及使各光电感应电路感应到的光线强度和光谱较为接近。此外,由于扩散作用,测量的方向的集中程度减弱,不容易受到环境中局部鲜艳物体的影响,能够更准确地测量环境中主要光源的颜色。同样,为了通过颜色传感器尽可能多地采集到当前主要光源的颜色,颜色传感器的FOV要大于摄像头的FOV。本实施例中,当颜色传感器为RGBW传感器,且预设颜色卡为灰卡时,由于灰卡为颜色为黑白,因而,它的数据只需要一个通道的数据便可表示,因此,可分别利用该RGBW传感器的4个通道对主要光源采集颜色数据;当颜色传感器为RGBW传感器,且预设颜色卡为色卡时,由于色卡为彩色,包含RGB三个通道的数据,因而,可直接利用RGBW传感器的4个通道直接采集彩色的颜色数据。303、根据主要光源的颜色数据以对目标图像进行颜色矫正。本实施例中,获取到目标图像和主要光源的颜色数据之后,可以通过终端上的图像处理应用或图像处理客户端根据主要光源的颜色数据对目标图像进行颜色矫正,也可以通过终端外的图像处理应用或图像处理客户端根据主要光源的颜色数据对目标图像进行颜色矫正。进行颜色矫正即获取光源与预设颜色卡之间的标定数据,根据标定数据和主要光源的颜色数据确定光源参数,根据光源参数对目标图像进行颜色矫正。本实施例中,获取到光源的颜色数据,以及通过摄像头采集的预设颜色卡的图像之后,可以建立光源的颜色数据与该光源下获取到的预设颜色卡的颜色卡图像之间的标定数据。其中,预设颜色卡可以为灰卡和色卡,灰卡即只能显示黑白颜色,色卡可呈现彩色,常用的色卡,如24色卡、144色卡。本实施例中,可以通过以下方式获取到光源与预设颜色卡之间的标定数据:首先,获取颜色传感器采集的N个不同光源下的N个颜色数据。本实施例中,N个不同光源为环境中的不同的光源,可以通过颜色传感器采集该N个不同光源下的N个颜色数据,该N为不小于3的整数。在每一光源下可得到对应的颜色数据。使用颜色传感器测量不同光源下的颜色数据为sck,1<k≤N,其中N为光源种类的数量,其中,k表示第k个光源。sck=sredksgreenksbluek=SRkSWkSGkSWkSBkSWk]]>其中,SRk,SGk,SBk,SWk是RGBW传感器的4个通道测量得到的颜色数据,SRk为红色通道得到的颜色数据,SGk为绿色通道得到的颜色数据,SBk为蓝色通道得到的颜色数据,SWk为白色通道得到的颜色数据,sredk为归一化后的红色通道的颜色数据,sgreenk为归一化后的绿色通道的颜色数据,sbluek为归一化后的蓝色通道的颜色数据。其中,其次,获取N个不同光源下针对灰卡的N个灰卡图像。本实施例中,在N个不同光源下,可以通过摄像头进行拍摄,以得到针对灰卡的该N个不同光源下的N个灰卡图像,N个不同光源中的每一光源分别对应一个灰卡图像,Ik表示第k个灰卡图像,其中,1<k≤N。具体地,终端可在N个不同光源下对准灰卡,即摄像头的拍摄范围被灰卡占据。在每一光源下,可得到针对灰卡的灰卡图像。最后,根据N个颜色数据和N个灰卡图像确定标定数据。本实施例中,获取到N个颜色数据和N个颜色卡图像之后,可以建立N个颜色数据与N个灰卡图像之间的映射关系。可以先计算各种光源下的针对灰卡的灰卡图像平均灰度grayk,表示第k个光源下的平均灰度。之后计算不同光源下的灰卡的平均颜色:其中,Rk、Gk和Bk分别是第k个光源下灰卡图像的R通道、G通道、B通道的平均值,rk表示归一化后的R通道的平均值,gk表示归一化后的G通道的平均值和表示归一化后的B通道的平均值。最后,建立sck与grayk之间的映射关系,该两者之间的映射关系即是标定数据。具体地,建立sck与grayk之间的映射关系的可如下:sckM=grayk即:sredksgreenksbluekM=rkgkbk]]>通过该等式可求解出每种光源下的M,其中,M即为标定数据,将N种光源下得到的标定数据进行保存,并建立标定数据库。可选地,也可以通过对比方法确定sck与grayk之间的映射关系,然后,通过查表的方法查找该映射关系,即标定数据。其中,每一种光源下都有一组对应的映射关系,对N个映射关系进行拟合,从而,得到标定数据库。本实施例中,可以构造颜色数据和标定数据之间的函数关系,例如,可将颜色数据作为输出数据,而将标定数据作为输入数据,输入数据与输出数据之间可存在映射关系,根据该映射关系构造输入数据和输出数据之间的函数,从而,可将求出的解作为光源参数。或者,可将颜色数据作为输入数据,而将标定数据作为输出数据,输入数据与输出数据之间可存在映射关系,根据该映射关系构造输入数据和输出数据之间的函数,从而,可将求出的解作为光源参数。本实施例中,可利用主要光源的颜色数据和标定数据确定光源参数,即是可以确定标定数据中与主要光源匹配的目标标定数据,根据该目标标定数据与主要光源的颜色数据确定光源参数。还可根据该光源参数计算虚拟灰卡的颜色数据,最后根据虚拟灰卡的颜色数据计算白平衡增益。其中,该光源参数,即为主要光源中各种光源的比例成分。具体求解方法如下:首先,可以确定标定数据中与主要光源匹配的目标标定数据,即计算标定数据中对应于N种光源中欧氏距离最小的三种标定光源的颜色(scm1scm2scm3),记作SCm=(scm1scm2scm3),即确定标定数据中与主要光源匹配的目标标定数据。即计算主要光源中颜色数据与标定数据库中包含的每一标定数据之间的欧氏距离,从而,可得到多个欧氏距离值,选取出该多个欧式距离值中最小的三个欧氏距离值,将该三个欧氏距离值对应的光源的颜色数据作为主要光源的颜色数据。其次,根据目标标定数据与主要光源的颜色数据确定光源参数,可令:其中,pk表示光源参数,k的取值为1,或2,或3,sck表示目标标定数据,sc表示主要光源的颜色数据。该映射关系可根据SCm的秩分为3种情况下,因而,计算矩阵SCm的秩。3种情况下如下:(1)若SCm的秩为1,则取scm1、scm2、scm3中的任一个颜色数据作为主要光源的颜色数据。那么,虚拟灰卡的颜色数据为grayvirtual=graym1,即P=I,I为单位矩阵;(2)若SCm的秩为2,则认为主要光源是标定光源中2种光源线性组合。故,令其中P是加权系数,即光源参数。记为矩阵形式:其中sc=srsgsb=SRSWSGSWSBSW]]>P=p1p2]]>SCm=scm1scm2=srm1srm2sgm1sgm2sbm3sbm3]]>从而,求解该矛盾方程得到光源参数SC+是SC的Moore-Penrose逆矩阵。则,虚拟灰卡的颜色数据grayvirtual为:(3)、若SCm的秩为3,则可认为主要光源是标定光源中3种不同光源的线性组合。故,令其中p是加权系数,即光源参数。记为矩阵形式:其中sc=srsgsb=SRSWSGSWSBSW]]>P=p1p2p3]]>SCm=scm1scm2scm3=srm1srm2srm3sgm1sgm2sgm3sbm1sbm2sbm3]]>从而,求解矛盾方程得到光源参数令得到的光源参数为:P=p1p2p3]]>则,虚拟灰卡的颜色数据grayvirtual为:grayvirtual=graym1graym2graym3p1p2p3]]>本实施例中,可利用光源参数对目标图像进行颜色矫正,具体为:将grayvirtual看作灰卡的颜色数据,将该grayvirtual分为RGB三通道数据,如下:grayvirtual=rgrayggraybgray]]>对该grayvirtual进行归一化处理,即可得到白平衡增益,如下:Rgain=rgrayggray,Bgain=bgrayggray,Ggain=1]]>利用该白平衡增益对目标图像进行矫正:其中,目标图像I={IR,IG,IB
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1