图像处理方法、装置、可读存储介质以及电子设备与流程

1.本发明涉及智能终端技术领域，具体涉及一种图像处理方法、装置、可读存储介质以及电子设备。


背景技术：

2.环境中不同色温的光源，其光谱成分变化较大。摄像头在不同色温的光源下对物体进行拍摄时，照片中呈现的物体颜色不相同。对此，数字相机以及具有相机功能的手机等电子设备中通常会设置自动白平衡(auto white balance，awb)模块。其中，自动白平衡是将互补金属氧化物半导体(complementary metal oxide semiconductor，cmos)等摄像头所采集到的原始图像，通过白平衡增益进行补偿以使该图像的颜色还原到人眼看到的真实颜色。数码相机等电子设备在拍摄时如果不对采集的白平衡补偿或者白平衡补偿不正确，则会导致拍出的照片颜色与人眼看到的真实颜色有明显差异，即照片色彩出现了失真。
3.然而，目前数字相机、手机等电子设备设置的自动白平衡模块所采用的白平衡算法，在计算对图像进行补偿的白平衡增益参数时准确度较低，导致白平衡处理后的图像仍存在偏色问题。尤其在一些图像画面颜色差异性不大的纯色场景或者多种不同色温的光源混合拍摄等白平衡场景中，由于无法确定属于各像素点或者各图像块所属的光源类型对图像整体白平衡增益参数的影响程度，导致目前的白平衡算法在计算白平衡增益参数时准确度较低，因而对图像所进行的白平衡处理效果也较差，导致白平衡处理后的图像色彩失真较严重。


技术实现要素：

4.本技术实施例提供了一种图像处理方法、装置、可读存储介质以及电子设备，能够根据各光源类型对待处理图像白平衡增益的影响程度，综合各光源类型对应的色温计算得到待处理图像的白平衡增益参数，有利于提高计算得到的白平衡增益参数的准确性，进而有利于更加真实的还原图像色彩，利于提高了用户使用体验。
5.第一方面，本技术实施例提供了一种图像处理方法，应用于电子设备，该方法包括：
6.对待处理图像划分以得到多个图像块，其中待处理图像是在预设光源下获得，其中预设光源至少包括第一光源和第二光源；
7.根据每个图像块的rgb值，确定各图像块所属的预设光源的类型；
8.统计类型属于第一光源的第一数量的图像块、以及类型属于第二光源的第二数量的图像块；
9.根据第一数量确定对应于第一光源的第一权重系数，并且根据第二数量确定对应于第二光源的第二权重系数，使得第一权重系数和第二权重系数之间的大小比较关系、与第一数量和第二数量之间的大小比较关系相对应；
10.根据第一权重系数和第二权重系数、以及属于第一光源的各图像块的rgb值和属
于第二光源的各图像块的rgb值，确定对待处理图像的白平衡增益参数。
11.即对于预设光源拍摄得到地待处理图像，可以根据对待处理图像划分得到的各图像块的rgb值，确定各图像块所属的光源类型(即预设光源的类型)，进而根据各光源类型下的图像块数量分布，确定各光源类型对确定白平衡增益参数的影响程度，衡量影响程度的即为上述各光源类型对应的权重系数，即对应于第一光源的第一权重系数、以及对应于第二光源的第二权重系数等。上述预设光源的类型，例如可以是下文实施例中示例的d75、df、cwf、d65、d50、a、h光源等，在此不做限制。
12.在上述第一方面的一种可能的实现中，根据每个图像块的rgb值，确定各图像块所属的预设光源的类型，包括：
13.根据第一图像块的rgb值，计算第一图像块对应的log(r/g)和log(b/g)的值；
14.根据预设的坐标转换规则将计算得到的log(r/g)和log(b/g)的值转换为预设的目标坐标系中的第一坐标值，其中目标坐标系中标记有对应于各预设光源的坐标阈值范围；
15.识别到第一坐标值属于第一光源对应的第一坐标阈值范围，确定第一图像块属于第一光源。
16.即可以基于各图像块rgb值计算得到log(r/g)和log(b/g)的值，通过预设的坐标转换规则转换到用于图像处理的目标坐标系下的相应坐标值(例如上述第一坐标值)，进而基于转换得到的坐标值再确定各图像块所属的光源类型。上述第一光源例如可以是下文实施例中示例的d75、df、cwf、d65、d50、a、h等类型光源中的任一种。上述目标坐标系，例如可以是下文实施例中描述的标准色温框坐标系。
17.在上述第一方面的一种可能的实现中，预设的转换规则包括基于预设光源确定的第一夹角θ、以及基于第一夹角θ确定的坐标转换矩阵。
18.上述第一夹角θ例如可以是下文实施例中描述的日光轨迹线对应的夹角，上述基于第一夹角θ确定的坐标转换矩阵，例如可以是下文实施例中步骤302中示例的坐标旋转矩阵，在此不做限制。
19.在上述第一方面的一种可能的实现中，使得第一权重系数和第二权重系数之间的大小比较关系、与第一数量和第二数量之间的大小比较关系相对应，包括：第一权重系数与第一数量之间成正比例关系，并且，第二权重系数与第二数量之间成正比例关系。
20.即属于某个光源类型(即上述预设光源的类型)的图像块数量越多，该光源类型对应的权重系数则越大。
21.在上述第一方面的一种可能的实现中，第一权重系数为第一数量与对待处理图像划分得到的图像块总数量之间的比值计算得到；第二权重系数为第二数量与对待处理图像划分得到的图像块总数量之间的比值确定。
22.在上述第一方面的一种可能的实现中，确定对待处理图像的白平衡增益参数，包括：根据属于第一光源的各图像块的rgb值，确定属于第一光源的各图像块转换到预设的目标坐标系中的各坐标值的第一平均坐标值；
23.根据属于第二光源的各图像块的rgb值，确定属于第二光源的各图像块转换到目标坐标系中的各坐标值的第二平均坐标值；
24.根据第一平均坐标值与对应于第一光源的第一权重系数、第二平均坐标值与对应
于第二光源的第二权重系数，计算得到对应于待处理图像的第三平均坐标值；
25.根据计算得到的第三平均坐标值以及预设的将目标坐标系下的坐标值转换为白平衡增益参数的计算公式，计算确定对待处理图像的白平衡增益参数。
26.例如，上述确定属于第二光源的各图像块转换到目标坐标系中的各坐标值的第二平均坐标值、或者确定属于第二光源的各图像块转换到目标坐标系中的各坐标值的第二平均坐标值所采用的计算公式，例如可以是下文实施例中步骤302中示例的公式(1)。上述计算对应于待处理图像的第三平均坐标值所采用的计算公式，例如可以是下文实施例中步骤304中示例的公式(3)。上述计算对待处理图像的白平衡增益参数所采用的计算公式，例如可以是下文实施例中步骤304中示例的公式(4)。
27.在上述第一方面的一种可能的实现中，计算第三平均坐标值的计算公式，包括：将第一平均坐标值乘以第一权重系数、与第二平均坐标值乘以第二权重系数进行加和并计算坐标值的平均值，得到第三平均坐标值。
28.第二方面，本技术实施例提供了一种建立用于图像处理的目标坐标系的方法，包括：
29.基于预设的灰卡，获取对应于至少两种预设光源的标准图像的rgb数据；
30.根据各标准图像的rgb数据，计算对应于各预设光源的log(r/g)与log(b/g)的值；
31.建立以log(r/g)为横轴、以log(b/g)为纵轴的中间坐标系，根据各预设光源对应的log(r/g)与log(b/g)的值对应在中间坐标系上的坐标点绘制第一log曲线并基于第一log曲线通过直线拟合得到第一拟合直线；
32.将第一拟合直线上对应于各预设光源中第一光源的坐标点作为目标坐标系的坐标原点，其中第一光源是从各预设光源中选出的参考光源；
33.将第一拟合直线旋转第一夹角θ后作为目标坐标系的横轴，并将经过坐标原点、垂直于旋转后的第一拟合直线的垂直线作为目标坐标系的纵轴，建立目标坐标系，其中，第一夹角θ为第一拟合直线与中间坐标系的横轴之间的夹角。
34.在上述第二方面的一种可能的实现中，目标坐标系包括对应于各预设光源标记的坐标阈值范围，其中对应于各预设光源的坐标阈值范围通过以下方式确定：
35.根据第一夹角θ确定用于将中间坐标系中的坐标值转换至目标坐标系中的坐标值的坐标转换矩阵；
36.对获取的对应于第一光源的第一标准图像划分以得到多个图像块，并确定各图像块的rgb值；
37.根据各图像块的rgb值，分别计算各图像块对应的log(r/g)与log(b/g)的值，并确定各图像块对应在中间坐标系中的第二坐标值；
38.根据坐标转换矩阵，将各图像块对应的第二坐标值转换为各图像块对应在目标坐标系下的第三坐标值；
39.根据各图像块对应的第三坐标值，确定第一光源对应在目标坐标系中的第一坐标阈值范围。
40.第三方面，本技术实施例提供了一种图像处理装置，包括：
41.获取单元，用于获取在预设光源下获得的待处理图像，其中预设光源至少包括第一光源和第二光源待处理图像；
42.划分单元，用于对待处理图像划分以得到多个图像块；
43.光源类型确定单元，根据每个图像块的rgb值，确定各图像块所属的预设光源的类型；
44.统计单元，用于统计类型属于第一光源的第一数量的图像块、以及类型属于第二光源的第二数量的图像块，并用于根据第一数量确定对应于第一光源的第一权重系数、以及根据第二数量确定对应于第二光源的第二权重系数，其中第一权重系数和第二权重系数之间的大小比较关系、与第一数量和第二数量之间的大小比较关系相对应；
45.图像处理单元，用于根据第一权重系数和第二权重系数、以及属于第一光源的各图像块的rgb值和属于第二光源的各图像块的rgb值，确定对待处理图像的白平衡增益参数。
46.第四方面，本技术实施例提供了一种计算机可读存储介质，存储介质上存储有指令，指令在计算机上执行时使计算机执行上述第一方面提供的图像处理方法。
47.第五方面，本技术实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；一个或多个存储器存储有一个或多个程序，当一个或者多个程序被一个或多个处理器执行时，使得电子设备执行上述第一方面提供的图像处理方法。
附图说明
48.图1所示为本技术实施例提供的一种拍摄并处理图像生成相应照片的场景示意图。
49.图2a所示为本技术实施例提供的一种电子设备的结构示意图。
50.图2b所示为本技术实施例提供的一种图像处理装置的结构示意图。
51.图3所示为本技术实施例提供的一种图像处理方法的实施流程示意图。
52.图4所示为本技术实施例提供的一种预设的标准色温框坐标系的示意图。
53.图5所示为本技术实施例提供的一种标准色温框坐标系的建立过程示意图。
54.图6所示为本技术实施例提供的一种标准色温曲线示意图。
55.图7a所示为本技术实施例提供的log色温曲线示意图。
56.图7b所示为本技术实施例提供的一种坐标向原点迁移后的log色温曲线。
57.图8所示为本技术实施例提供的一种向水平方向旋转变换后的log色温曲线。
58.图9所示为本技术实施例提供的一种视频编码系统的结构示意框图。
59.图10所示为本技术实施例提供的一种片上系统(soc)的结构示意框图。
具体实施方式
60.为了便于理解本技术方案，下面先介绍本技术实施例所涉及的部分专业名词。
61.光源的色温：将具有完全吸收与放射能力的标准黑体加热，温度逐渐升高，光度亦随之改变，此过程中标准黑体所显示的颜色变化过程为：红
→
橙红
→
黄
→
黄白
→
白
→
蓝白。标准黑体升温到出现与光源相同或接近光源色光时的温度，定义为该光源的相关色温度，称为色温。标准黑体的光色越偏蓝，则光源色温越高；越偏红，则色光源温越低。
62.常用的部分标准光源以及相应的色温包括：
63.d75，色温是7500k的标准光源。
64.df，色温是6400k，是一种模拟日光氙灯的人造光源。
65.cwf，色温是4150k，是一种商场或办公室常用光源。
66.d65,色温是6500k，通常作为国际标准日光光源使用。
67.d50,色温是5000k，是世界印刷业公认的标准色温(icc标准)。
68.其中，作为标准照明体的d50、d65光源均具有日光光谱的紫外成分，可以用于模拟日光环境，这两种光源下看见的色彩能够体现真实的颜色，不容易产生色差。
69.tl84,色温是4100k，通常作为欧洲商业荧光灯使用。
70.a，色温是2856k，是一种卤钨灯(即白炽灯)。
71.h，是hor的简写，色温是2700k，也是一种卤钨灯(即白炽灯)。
72.灰卡是由18％的灰颜色作为基准颜色的功能卡片，灰卡的白色面和灰色面都是灰卡的功能面。灰卡能测取景物的曝光量、白平衡、灰平衡及色温。如果用灰卡测取曝光量它所测取的是曝光值。如果测取景物的色彩平衡，它所测取的是景物的色温值。灰卡的主要用途包括：确定曝光数值、确定主副光比、确定色彩平衡及密度、确定近摄及翻拍的曝光、确定白色平衡等。也就是说，灰卡能够辅助校准数码相机等电子设备的白平衡功能，以便准确地记录和还原所拍摄图像真实色彩。
73.日光轨迹线，通常对应于基于各标准光源拍摄灰卡采集的图像上各像素点的像素值，例如采用rgb色彩模式表示的各个颜色通道的亮度级数(简称rgb值)，分别计算r/g和b/g进而建立相应坐标系对坐标为(r/g，b/g)的各个观测点绘制得到的一条曲线。由于该曲线上各标准光源的色温分布与不同时段的日光轨迹所对应的光照色温相对应，因此称为日光轨迹线。为了区别描述，在本技术实施例中可以将基于坐标为(r/g，b/g)的各个观测点绘制得到的日光轨迹线描述为标准日光轨迹线。可以理解，现有技术中通常会基于标准日光轨迹线拟合得到一条拟合直线，以用于计算该拟合直线与水平方向之间的夹角，进而用于确定对所拍摄图像的白平衡增益参数的相关计算中。
74.而在本技术实施例所提供的图像处理方法中，可以基于各标准光源拍摄灰卡采集的图像上各像素点的rgb值，分别计算log(r/g)和log(b/g)进而建立相应坐标系对坐标为(log(r/g)，log(b/g))的各个观测点绘制得到一条log色温曲线，再将该log色温曲线作为日光轨迹线，以下可以称为log日光轨迹线。可以理解，参考下文具体实施步骤502中的相关分析可知，基于该log日光轨迹线可以更准确地拟合得到另一条拟合直线，并计算该拟合直线与水平方向之间的夹角，进而将该夹角用于对所拍摄图像上各像素点或各图像块进行相应的坐标转换计算等，从而实现快速、准确地确定对所拍摄图像的白平衡增益参数的目的。具体参考下文相关描述，在此不做赘述。
75.拟合优度(goodness of fit)，是指回归直线对观测值的拟合程度。其中，回归直线例如可以是本技术实施例所描述的拟合直线，观测值例如可以是本技术实施例中描述的用于确定的标准色温曲线的r/g和b/g的值，或者用于log色温曲线上的log(r/g)和log(b/g)的值。通常，度量拟合优度的统计量是可决系数(亦称确定系数)r^2，一般读为r方。其中r^2的最大值为1。度量拟合优度的r^2的值越接近1，则说明回归直线对观测值的拟合程度越好；反之，r^2的值越小，说明回归直线对观测值的拟合程度越差。
76.为了解决上述由于在不同的白平衡场景中，均使用单一的光源类型或色温来确定拍摄到的图像的白平衡增益参数，导致白平衡处理的准确度较低的问题，本技术实施例提
出了一种图像处理方法，应用于具有图像处理功能的电子设备。
77.该方法通过将待处理图像划分为若干图像块，并预测待处理图像上的各图像块所属的光源类型，来确定各光源类型下图像块的数量分布情况,从而基于该数量分布情况进一步确定各光源类型对待处理图像白平衡增益的影响程度，进而确定待处理图像的白平衡增益参数。其中，各光源类型对待处理图像白平衡增益的影响程度，可以采用权重系数来表示。某光源类型下分布的图像块数量越多，说明该光源类型对待处理图像白平衡增益的影响程度越大，相应地该光源类型对应的权重系数也越大。
78.基于此，在一些多光源混合的拍摄场景中，本技术实施例所提供的方法可以根据各光源类型对待处理图像白平衡增益的影响程度(例如权重系数)，综合各光源类型对应的色温计算得到待处理图像的白平衡增益参数，有利于提高计算得到的白平衡增益参数的准确性，进而有利于更加真实的还原图像色彩。
79.例如，在d65和h两种光源混合拍摄场景下，拍摄得到的待处理图像中会有一些图像块对应的色温为6500k，即属于d65光源；有另一些图像块对应的色温为2700k，即属于h光源。对于该待处理图像的白平衡处理，仅基于d65光源对应的色温确定的白平衡增益参数会偏大，而仅基于h光源对应的色温确定的白平衡增益参数会偏小。而基于本技术对该待处理图像确定白平衡增益参数的过程，则可以是：先对该待处理图像划分图像块，例如划分得到64*64个图像块，每个图像块例如可以包括32*32个像素；然后，基于每个图像块所包含像素的rgb值，确定各图像块的平均rgb值，进而可以通过预设的确定各图像块所属光源类型以及统计各光源类型下的图像块数量分布的算法，来确定属于d65光源的图像块数量以及属于h光源的图像块数量。例如，可以确定属于d65光源的图像块数量为2621，占总图像块数量的64％；属于h光源的图像块数量为1475，占总图像块数量的36％。进而可以确定d65光源对应的权重系数为0.64、h光源对应权重系数为0.36，并根据d65光源下的各图像块的平均rgb值、以及所确定的权重系数计算确定待处理图像的白平衡增益参数。具体计算过程可以参考下文详述，在此不做赘述。
80.其中，待处理图像上的各图像块所属的光源类型，例如可以是预设的标准光源类型，例如上述d65、df、a、h光源等。这些光源类型例如可以通过下文描述的预设的色温框坐标系中标定色温框的方式预设在电子设备中，具体参考下文描述，在此不做赘述。
81.另外，本技术实施例所提供的图像处理方法对于一些图像画面颜色差异性不大的纯色场景中拍摄的图像进行处理时，也能够动态匹配所拍摄的待处理图像中各个图像块所属光源类型的权重系数，进而能够在一定程度上提高确定对该待处理图像的白平衡增益的准确性。
82.具体地，作为示例，预测待处理图像上的各图像块所属的光源类型的过程，例如可以根据待处理图像所包含的各图像块的rgb值计算log(r/g)、log(b/g)的值(二者简称为log值)、并结合预设的将log值转换到预设坐标系中坐标值的转换规则等来实现。其中预设的转换规则例如可以是基于预设的坐标转换矩阵，将基于各图像块的rgb值计算得到的log(r/g)、log(b/g)的值转换为预设坐标系上的预测落点对应的坐标值的规则等。该预设坐标系，例如是标定有多个标准色温区域的坐标系(即下文描述的标准色温框坐标系)。
83.而确定各图像块所属光源对应的权重系数的具体过程，例如可以根据预设坐标系上各个预测落点位于各个色温区域(即各色温框)内的分布数量来确定，即根据各个类型的
光源所包括的图像块的数量，来动态确定各个光源对应的权重系数。可以理解，不同的待处理图像，所划分的各个图像块所属的光源、以及分布在各个光源类型下的图像块的数量可能都有所差异，因此，基于本技术实施例所提供的图像处理方法确定的各光源对应的权重系数是适应不同的待处理图像动态变化的。
84.可以理解，待处理图像中属于某个光源类型的图像块数量越多，相应地该光源对应的权重系数可以越大。反映在预设坐标系上，则相应地分布在某个色温框内的预测落点的数量越多。因此，在最终计算对待处理图像的白平衡增益参数时，权重系数大的光源所包含的各个图像块在计算对待处理图像的白平衡增益参数时的贡献值也相应越大。例如在根据预设坐标系中预测落点分布数量最多的色温框(对应于一种光源类型)对应的权重系数最大，该色温框内分布的各预测落点的坐标值在参与对待处理图像的白平衡增益参数计算时，贡献值也是最大的。
85.可以理解，本技术实施例所提供的图像处理方法，能够动态根据不同待处理图像确定属于各个光源类型的图像块数量，进而确定相应光源类型的权重系数，因此可以适应对各种白平衡场景拍摄的待处理图像进行白平衡处理，即场景适应性得以提高。例如，在多种不同色温的混合光源拍摄的白平衡场景中，本技术实施例所提供的图像处理方法能够根据所拍摄图像上各图像块的rgb值经计算log(r/g)、log(b/g)、以及预设的坐标转换矩阵转换到预设坐标系下确定对应的各预测落点所属的色温框，来确定相应的图像块所属的光源类型。然后，根据各个色温框内分布的预测落点数量确定各色温框对应的权重系数，即确定各图像块所属的各种光源分别对应的权重系数，进而基于各种光源分别对应的权重系数来计算确定对待处理图像的白平衡增益参数。
86.并且，本技术实施例所提供的图像处理方法，在确定待处理图像所包括的各个图像块属于何种光源类型的过程中，利用log色温曲线对应的具有较高拟合优度的拟合直线，来计算日光轨迹线对应的夹角以用于确定各图像块所属光源类型的各种转换计算，更加直观、高效，并且有利于提高对各图像块所属光源预测的准确性，进而有利于提高计算白平衡增益参数的准确性。
87.图1根据本技术实施例示出了一种电子设备100拍摄并处理图像生成相应照片的场景示意图。
88.如图1所示，具有图像处理功能的电子设备100的镜头(lens)101，可以采集视角范围内的人物/景物影像，生成光学信号透射到图像传感器102表面的感光区域；之后经过图像传感器102进行光电转换后形成原始(raw)图像数据，该原始图像数据例如可以是经拜耳阵列转换得到的bayer raw格式等；图像传感器102再将转换得到的原始图像数据传送给图像信号处理器(image signal processor，isp)103进行图像处理；isp 103采用预设的各种图像处理算法对原始图像数据进行处理，并输出bmp格式或yuv格式图像给后端的图像采集单元，以得到作为拍摄结果的图像。其中，图像传感器102例如可以是cmos传感器，isp 103进行图像处理时所采用的白平衡算法，例如可以是本技术实施例所提供的图像处理方法。
89.图2a根据本技术实施例示出了一种电子设备100的结构示意图。
90.如图2a所示，电子设备100可以包括处理器110、无线通信模块120、移动通信模块130、电源模块140、音频模块150、接口模块160、摄像头170、存储器180、传感器模块190、按键201以及显示屏202等。
91.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图2a示的部件可以以硬件，软件或软件和硬件的组合实现。
92.处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器cpu(central processing unit)、图像处理器gpu(graphics processing unit)、图像信号处理器(isp)、微处理器(micro-programmed control unit，mcu)、ai(artificial intelligence，人工智能)处理器或可编程逻辑器件fpga(field programmable gate array)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，例如存储器180，用于存储指令和数据。
93.无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。
94.移动通信模块130可以包括但不限于天线、功率放大器、滤波器、低噪声放大器(low noise amplify，lna)等。移动通信模块130可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。
95.在一些实施例中，电子设备100的移动通信模块130和无线通信模块120也可以位于同一模块中。
96.电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。
97.音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
98.接口模块160包括外部存储器接口、通用串行总线(universal serial bus，usb)接口及用户标识模块(subscriber identification module，sim)卡接口等。
99.摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。电子设备100可以通过isp，摄像头170，视频编解码器，gpu(graphic processing unit，图形处理器)，显示屏202以及应用处理器等实现电子设备100的拍摄及图像处理功能。
100.传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
101.显示屏202用于显示人机交互界面、图像、视频等。显示屏202包括显示面板。
102.在一些实施例中，电子设备100还包括按键201、马达以及指示器等。其中，按键201可以包括音量键、开/关机键等。马达用于使电子设备100产生振动效果，例如在用户的电子设备100被呼叫的时候产生振动，以提示用户接听电子设备100来电。指示器可以包括激光指示器、射频指示器、led指示器等。
103.图2b根据本技术实施例示出了一种图像处理装置200的结构示意框图。该图像处
理装置200可以应用在上述图2a所示的电子设备100中，以实现本技术实施例所提供的图像处理方法。
104.如图2b所示，图像处理装置200具体可以包括：
105.获取单元201，用于获取在预设光源下获得的待处理图像，其中预设光源至少包括第一光源和第二光源待处理图像。其中，所获得的待处理图像包括各像素点的rgb数据。
106.划分单元202，用于对待处理图像划分以得到多个图像块。划分单元202划分得到的各图像块的rgb值可以基于各图像块所包括的像素点的rgb值确定。划分单元202可以将对待处理图像的划分结果、以及划分得到的各图像块的rgb值发送给光源类型确定单元203进行相应处理。
107.光源类型确定单元203，根据每个图像块的rgb值，确定各图像块所属的预设光源的类型。光源类型确定单元203可以将确定的属于第一光源的各图像块的rgb值、属于第二光源的各图像块的rgb值发送给统计单元204和图像处理单元205进行相应处理。
108.统计单元204，用于统计类型属于第一光源的第一数量的图像块、以及类型属于第二光源的第二数量的图像块，并用于根据第一数量确定对应于第一光源的第一权重系数、以及根据第二数量确定对应于第二光源的第二权重系数，其中第一权重系数和第二权重系数之间的大小比较关系、与第一数量和第二数量之间的大小比较关系相对应。统计单元204可以将确定的第一权重系数和第二权重系数发送给图像处理单元205进行相应处理。
109.图像处理单元205，用于根据统计单元204确定的第一权重系数和第二权重系数、以及光源类型确定单元203确定的属于第一光源的各图像块的rgb值和属于第二光源的各图像块的rgb值，确定对待处理图像的白平衡增益参数。
110.可以理解的是，本技术实施例示意的结构并不构成对图像处理装置200的具体限定。在本技术另一些实施例中，应用于图像处理装置200可以包括比图示更多或更少的单元或模块，或者组合某些单元，或者拆分某些单元，或者不同的单元结构布置。
111.可以理解，本技术实施例所提供的图像处理方法所适用的电子设备，包括但不限于数码相机、摄像机、平板电脑、手机以及增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备、智能电视、智能手表等可穿戴设备、以及其他具有图像处理功能的电子设备。下面以手机作为电子设备100为例，介绍本技术实施例所提供的图像处理方法的具体实现过程。
112.图3根据本技术实施例示出了一种图像处理方法的实施流程示意图。可以理解，图3所示流程各步骤的执行主体可以均为手机100，也可以是手机100的处理器，例如上述isp103。为了避免重复描述，以下各步骤的描述中，将不再描述各步骤的执行主体。
113.如图3所示，该流程包括以下步骤。
114.301：获取待处理图像，对待处理图像划分为多个图像块，并计算各个图像块的rgb值。
115.其中，每个图像块可以包括多个像素点，每个图像块的rgb值可以是组成该图像块的各个像素点的rgb值的平均值，在另一些实施例中，各图像块的rgb值也可以基于其他计算方式确定，例如可以是组成该图像块的各个像素点的rgb值的加权平均值等，在此不做限制。
116.示例性地，当手机100拍摄照片时采集到某一帧图像或者拍摄视频时采集到某一
帧图像时，isp103可以将该帧图像按照预设划分规则划分为多个图像块，例如划分为32
×
32个图像块。进而isp103可以基于各图像块所包括的各像素点的rgb值(例如r
pgpbp
值)，计算各图像块的rgb值。例如，isp103可以根据各图像块中的各像素点的r
pgpbp
，分别计算得到32
×
32个图像块的rbgbbb值，在此不做赘述。
117.302：基于各图像块的rgb值，确定各图像块所属的光源类型。
118.在另一些实施例中，也可以基于各图像块的rgb值，确定各图像块在预设的包含标准色温框的坐标系中的各个预测落点的坐标以及分布在各色温框内的各个预测落点坐标的平均值，在此不做限制。其中，预设的标准色温框坐标系是指预设在手机100中的包括基于标准光源标定的色温区域(即色温框)的坐标系，该标准色温框坐标系的形成过程，将在下文详细描述，在此不做赘述。
119.示例性地，手机100中的isp103可以基于各图像块的rgb值(例如rbgbbb值)，先计算各个像素点在log色温曲线上的坐标值，记为(log(rb/gb)，log(bb/gb))。
120.然后，结合预设的坐标旋转矩阵其中k为数据类型转换参数，用于将坐标转换过程中涉及的浮点型数据(float)类型转换为整型数据(int)类型的计算，以提高坐标转换的计算速率。
121.基于上述坐标转换矩阵转换，手机100中的isp103可以预测得到各图像块对应的整型数据类型的预测落点坐标，记为(xr，yr)。其中，上述预设的坐标旋转矩阵中，θ为基于标准光源标定的log色温曲线所确定的日光轨迹线与水平方向之间的夹角，具体该夹角的大小确定过程将在下文详细描述，在此不做赘述。
122.最后，基于转换后的各图像块对应的矩阵数据形式的预测坐标(xr，yr)，isp103可以进一步计算得到各图像块在预设的标准色温框坐标系下的预测落点的标准坐标数据。作为示例，由各图像块对应的整型数据类型的预测落点坐标(xr，yr)转换到预设的标准色温框坐标系下的标准坐标数据的转换公式，可以参考下列公式(1)：
[0123][0124]
其中，(x0，y0)为各图像块在预设的标准色温框坐标系下的预测落点的标准坐标数据。i_inv_matrix_k为用于把整型数据类型的预测落点坐标(xr，yr)再次转换为浮点型数据类型的另一种数据类型转换参数，即为了去除计算(xr，yr)时引入的k。
[0125]
示例性地，i_inv_matrix_k可以基于以下公式(2)计算得到：
[0126]
inv_matrix_k＝(k*cosθ)2+(k*sinθ)2(2)
[0127]
图4根据本技术实施例示出了一种预设的标准色温框坐标系的示意图。
[0128]
如图4所示，预设的标准色温框坐标系上可以包括基于7种标准光源确定了相应色温边界坐标的色温框，这7种标准光源例如可以是h、a、tl84、d50、d65、cwf、df和d75。将待处理图像的各个图像块基于上述计算log(rb/gb)、log(bb/gb)，再结合预设的坐标旋转矩阵进行坐标转换，最后结合上述公式(1)和(2)完成逆矩阵变换等之后，在图4所示的标准色温框坐标系上可以确定与各个图像块一一对应的用坐标值(x0，y0)表示的预设落点。可以理解，参考图4所示，对应于待处理图像的某个图像块的预测落点位于哪个色温框内，该图像块则属于该色温框对应的光源类型。例如，位于图4所示的d65对应的色温框内的预测落点，对应
的图像块则属于光源d65采集的数据。
[0129]
可以理解，图4所示的标准色温框坐标系，可以基于h、a、tl84、d50、d65、cwf、df和d75等标准光源拍摄灰卡采集的图像数据经坐标转换以及创建坐标系等处理形成。具体形成图4所示标准色温框坐标系的过程，可以参考下文中图5所示过程中的相关描述，在此不做赘述。
[0130]
其中，可以看出图4所示坐标系中d65对应的色温框覆盖了d50光源所对应的色温区域，因此，图4所示的标准色温框坐标系中，并未重复示出d50所对应的色温框。
[0131]
303：确定属于各种光源的图像块数量，进而确定各种光源分别对应的权重系数。
[0132]
示例性地，手机100可以基于各图像块在上述图4所示坐标系中各色温框内的预测落点坐标，来统计各个色温框内分布的预测落点数量，进而确定各预测落点所在色温框对应的权重系数。其中，某个色温框内的预测落点分布数量越多，相应地该色温框对应的权重系数可以越大。可以理解，手机100所确定的各色温框内分布的预测落点数量，即是属于各色温框对应光源的图像块数量，所确定的各色温框分别对应的权重系数即是相应光源分别对应的权重系数。
[0133]
可选地，在另一些实施例中，在确定待处理图像的各图像块所属光源对应的权重系数的过程中，还可以综合各图像块的rgb值转换到yuv颜色编码格式中的明亮度y进行确定。可以理解，表示明亮度(luminance或luma)的y可以基于相应图像块的rgb值计算得到，计算公式例如可以参考y＝0.299*r+0.587*g+0.114*b，在此不做限制。
[0134]
可以理解，手机100等电子设备上可以预设多种白平衡场景，每种白平衡场景可以对应预设一组场景参数，该场景参数用于限定各白平衡场景对应调整的图像相关参数范围。例如，每种白平衡场景对应的场景参数可以包括：可调整的图像所包括的各图像块转换到预设的标准色温框坐标系中后落在各个色温框区域内的预测落点的坐标参数范围、可调整的图像或图像块的明亮度y的参数范围、以及该场景对应预设的各色温框对应的权重系数等。作为示例，预设的白平衡场景例如可以包括：一种或多种光源混合的单色温或多色温拍摄场景，也可以包括图像画面颜色差异性不大的纯色场景等，在此不做限制。
[0135]
作为示例，如果手机100对所采集的待处理图像中各图像块所预测的在预设的标准色温框坐标系中的落点，集中分布在上述图4所示的d65对应的色温框内，此种情形对应匹配的白平衡场景则可以是d65光源所对应的纯色场景。如果落点分布在d65以及d75所的对应的色温框内，此种情形对应的白平衡场景则可以是d65与d75两种光源混合场景，其中如果d65色温框中的预测落点数量比d75色温框中的预测落点数量更多一些，则d65色温框所对应的权重系数会更大一些。在此不做限制。
[0136]
304：基于所确定的各种光源分别对应的权重系数、以及各图像块在预设坐标系中对应的预测落点坐标，确定对待处理图像的白平衡增益参数(r
gain
,g
gain
,b
gain
)。
[0137]
示例性地，手机100可以对分布在各色温框内的各预测落点的平均落点的坐标，乘以相应色温框对应的权重系数后取均值，得到待处理图像的综合落点坐标值，即(x
wm
,y
wm
)。作为示例，计算(x
wm
,y
wm
)所采用的计算公式可以参考下述公式(3)：
[0138][0139]
其中，x
01
、x
02
…
x
0m
为各个色温框内分布的预测落点横坐标平均值，y
01
、y
02
…y0m
为
各个色温框内分布的预测落点纵坐标平均值；α、β、
…
δ分别为各个色温框对应的权重系数，α+β+
…
+δ＝1；m为待处理图像的各图像块对应的预测落点所分布的色温框数量，即是各图像块所属光源的数量。
[0140]
可以理解，该综合落点坐标(x
wm
,y
wm
)即为综合了待处理图像中各个图像块所属色温对应的权重系数计算得到的、用于确定待处理图像白平衡增益的一种中间参数。
[0141]
进一步地，手机100可以基于上述公式(3)计算确定的综合落点坐标(x
wm
,y
wm
)，确定对待处理图像的各个颜色通道的增益参数(r
gain
,g
gain
,b
gain
)，即白平衡增益参数。可以理解，对待处理图像的各个颜色通道的增益参数主要包括对r通道和b通道中设置的用于控制增益的电路所确定的增益参数，g通道的增益可以设定为一个恒值。
[0142]
例如，以8位二进制数表示的rgb值为例，对r通道所确定的增益参数r
gain
例如可以通过计算确定，对b通道所确定的增益参数例如可以通过计算确定，g通道的增益参数例如可以设定为1。在另一些实施例中，计算各颜色通道的增益参数也可以采用上述r、b通道的增益参数算式的变形式，相应地g通道的增益参数可以设定为其他恒值。
[0143]
例如可以参考下列公式(4)来确定各颜色通道的增益参数等，在此不做限制。
[0144][0145]
其中，x
wm
,y
wm
分别为待处理图像的综合落点坐标中的横坐标值和纵坐标值。
[0146]
可选地，在另一些实施例中，计算白平衡增益参数的公式也可以是不同于上述公式(4)的其他公式，也可以是基于上述公式(4)变换得到的其他形式的公式。
[0147]
可以理解，例如待处理图像采用16位二进制数等来表示rgb值，则基于综合落点坐标(x
wm
,y
wm
)计算各颜色通道的增益参数的方式还可以是相应地其他形式，在此不做限制。
[0148]
基于上述步骤301至304的实施流程，可以看出，本技术实施例所提供的图像处理方法在确定对待处理图像的白平衡增益参数的过程中，能够根据待处理图像所包括的各个图像块的rgb值确定各图像块所属的光源。进而，基于属于各光源的图像块数量，来确定各光源对应的权重系数，即属于各光源下的各图像块对计算待处理图像的白平衡增益参数的影响程度。最终计算得到的对待处理图像的白平衡增益参数准确度较高，从而能够对待处理图像进行精准度较高的白平衡处理，实现对待处理图像的真实颜色更高的还原度。
[0149]
并且本技术实施例所提供的图像处理方法能够适应各种不同的白平衡场景，包括单个光源拍摄场景以及多光源拍摄场景等，场景适应性强。
[0150]
可以理解，手机100等电子设备在实施本技术实施例所提供的图像处理方法之前，可以预设该方法所基于的标准色温框坐标系、上述步骤302至304中进行相关计算所采用的计算公式、以及一些白平衡场景对应的相关参数等。另外，在实施本技术实施例所提供的图像处理方法的过程中，也可以对应更新手机100等电子设备中的白平衡场景相关参数，或者增加新的白平衡场景等，在此不做限制。
[0151]
下面结合相关附图，详细介绍本技术实施例所提供的图像处理方法采用的标准色温框坐标系的具体形成过程。
[0152]
图5根据本技术实施例示出了一种标准色温框坐标系的建立过程示意图。可以理
解，图像处理技术领域的研发人员可以操作手机100等电子设备，实施图5所示过程的各个步骤，实现建立预设在手机100等电子设备中的标准色温框坐标系的目的。为避免重复，以下描述图5所示过程各步骤时将不再重复介绍各步骤的执行主体。
[0153]
如图5所示，标准色温框坐标系的建立过程可以包括以下步骤：
[0154]
501：使用各标准光源拍摄灰卡，获取各标准光源所对应的标准rgb数据。
[0155]
示例性地，在操作电子设备100建立标准色温框坐标系的过程中，可以通过在多种色温的标准光源下分别拍摄灰卡，采集得到对应于各个标准光源的灰卡图像数据，即各标准光源对应的标准rgb数据。
[0156]
其中，各种色温的标准光源例如可以是h、a、tl84、d50、d65、cwf、df、d75光源等；标准rgb数据例如可以是各个标准光源下所采集的灰卡图像上的各像素点的rgb值的平均值，在此不做限制。
[0157]
502：基于各标准光源所对应的标准rgb数据，计算各标准光源对应的对数函数log(r/g)与log(b/g)的值、建立坐标系绘制log色温曲线，并对绘制得到的log色温曲线进行坐标原点迁移以及向水平方向上的旋转变换，得到变换后的log色温曲线。
[0158]
示例性地，在操作电子设备100建立标准色温框坐标系的过程中，可以基于所采集的对应于各个标准光源的灰卡图像数据，可以计算得到各标准光源对应的r/g和b/g值，进而可以计算得到log(r/g)和log(b/g)的值。基于各标准光源对应的r/g和b/g值在相应坐标系中的落点可以生成标准色温曲线，而基于log(r/g)和log(b/g)的值在相应坐标系中的落点可以生成log色温曲线。
[0159]
图6根据本技术实施例示出了一种根据各标准光源对应的标准rgb数据，计算各标准光源对应的对数函数log(r/g)与log(b/g)的值并建立坐标系所绘制的标准色温曲线示意图。
[0160]
如图6所示，以r/g为横坐标、以b/g为纵坐标，可以基于r/g与b/g的值在图6所示的直角坐标系中确定各个标准光源所对应的落点坐标，基于这些落点坐标可以生成相应的标准色温曲线。进而，基于该标准色温曲线可以拟合得到一条拟合直线，即图6所示y＝-0.6488x+0.9115对应的直线，其中的x为r/g的值，y为b/g的值。
[0161]
经分析拟合优度可以得到，图6所示拟合直线y＝-0.6488x+0.9115的r^2＝0.9276。
[0162]
图7a根据本技术实施例示出了一种log色温曲线示意图。
[0163]
如图7a所示，以log(r/g)为横坐标、log(b/g)为纵坐标，可以基于log(r/g)与log(b/g)的值在图7a所示的直角坐标系中各个标准光源所对应的log值落点坐标，其中log值包括log(r/g)与log(b/g)的值，基于这些落点坐标可以生成相应的log色温曲线。进而，基于该log色温曲线可以拟合得到另一条拟合直线，即图7所示y＝-1.243x-1.8683对应的直线，其中的x为log(r/g)的值，y为log(b/g)的值。
[0164]
经分析拟合优度可以得到，图7a所示拟合直线y＝-1.243x-1.8683的r^2＝0.99。相较于上述图6所示的拟合直线y＝-0.6488x+0.9115的r^2＝0.9276更高，更接近于1。这表明基于图7a所示的拟合直线对观测值(log(r/g)，log(b/g))的拟合程度更好，用于后续计算日光轨迹夹角以进一步确定各图像块所属光源时的准确度也会更高。
[0165]
为便于后续坐标转换，基于图7a所示的log色温曲线，可以确定一种标准光源作为
参考光源，并将该参考光源所对应的log(r/g)和log(b/g)值平均落点迁移至坐标原点，先将其他标准光源对应的log(r/g)和log(b/g)值平均落点相对于该原点进行坐标迁移。作为示例，将d65光源对应的log(r/g)和log(b/g)值平均落点迁移至图7a所示的坐标原点，其他标准光源对应的log(r/g)和log(b/g)值平均落点相对于d65光源对应的log(r/g)和log(b/g)值平均落点进行坐标迁移，则可以得到图7b所示的坐标向原点迁移后的log色温曲线。
[0166]
参考图7b所示，此时的log色温曲线的拟合直线可以是y＝-1.243x-0.0586，该拟合直线的r^2＝0.99，即拟合优度不变。
[0167]
可以理解，在另一些实施例中，基于各标准光源对应的标准rgb数据，计算各标准光源对应的对数函数log(r/g)与log(b/g)的值并建立坐标系所绘制的log色温曲线、以及完成坐标迁移后得到的log色温曲线，分别对应的拟合公式也可以是其他公式。具体公式中的相关变量参数是由实验测得的标准rgb数据决定的，在此不做限制。
[0168]
基于图7b所示的迁移后得到的log色温曲线，以此时的原点作为中心点，将log色温曲线向该坐标系的横轴所在方向(即水平方向)上进行旋转变换，可以得到图8所示的向水平方向旋转变换后的log色温曲线。
[0169]
可以理解，上述步骤302中确定预测落点的坐标所基于的坐标旋转矩阵中，基于标准光源标定的log色温曲线所确定的日光轨迹线与水平方向之间的夹角θ，可以基于上述图7a或图7b所示的log色温曲线拟合直线与横坐标轴之间的夹角确定。其中，图7a或图7b所示的log色温曲线拟合直线的斜率1.243即为tanθ，因此θ可以等于arctan(1.243)的值，在此不做限制。进而基于计算得到的θ的值，便可以确定上述坐标旋转矩阵中cosθ以及sinθ的值，在此不做赘述。
[0170]
对比图6所示标准色温曲线与相应拟合直线之间的线性拟合关系，以及图7a或图7b所示log色温曲线与相应拟合直线之间的线性拟合关系，可以看出，各个标准光源下采集的标准rgb数据对应生成的log色温曲线上各个落点的分布更加趋近于直线分布，如果使用log色温曲线代替标准色温曲线计算日光轨迹线相对于水平方向的夹角θ，更有利于提高计算结果的稳定性和准确度。
[0171]
如图8所示，旋转变换后的log色温曲线的拟合直例如可以是y＝-0.003x-0.00346，该拟合直线的r^2＝0.99，即拟合优度不变。可以理解，图8所示拟合直线的斜率为0.003，此时可以认为图8所示的拟合直线是平行于横坐标轴的直线，即向水平方向旋转变换后的log色温曲线对应的拟合直线为平行于图8所示横坐标轴的直线。因此，在下述步骤503中基于图8所示旋转变换后的log色温曲线的拟合直线，便于建立基础坐标系，具体参考下述步骤503中相关描述，在此不做赘述。
[0172]
503：基于变换后的log色温曲线拟合直线建立用于形成标准色温框坐标系的基础坐标系，并且该基础坐标系的原点为参考光源的落点。
[0173]
示例性地，可以以平行于上述图8所示变换后的log色温曲线拟合直线的直线作为横坐标轴、垂直于上述图8所示变换后的log色温曲线拟合直线的直线作为纵坐标轴，建立用于形成标准色温框坐标系的基础坐标系，并且将上述图7a或图8所示的位于原点的参考光源落点作为基础坐标系的原点。
[0174]
504：将各个标准光源所对应的标准rgb数据中各像素点的log(r/g)和log(b/g)值，转换到所建立的基础坐标系中，以确定各标准光源所对应的色温区域范围。
[0175]
示例性地，基于上述步骤502中图7b所确定的θ的值，可以确定用于将标准rgb数据中各像素点的log(r/g)和log(b/g)值转换到基础坐标系下的坐标旋转矩阵，进而基于预设的坐标转换公式确定各像素点在所建立的基础坐标系中的落点坐标。具体坐标旋转矩阵可以参考上述步骤302中示例的矩阵坐标转换公式可以参考上述步骤302中的公式(1)，在此不做赘述。
[0176]
根据标准rgb数据中各像素点在所建立的基础坐标系中的落点坐标，可以确定各标准光源所对应的色温区域范围，例如基于各标准光源所对应的色温区域的边界线上的各落点坐标值可以确定各色温区域的边界线。
[0177]
505：基于各标准光源所对应的色温区域范围，确定基础坐标系上对应于各标准光源的色温框，进而形成标准色温框坐标系。
[0178]
示例性地，可以基于上述步骤504中确定的各色温区域的边界线，形成对应于各标准光源的色温框。基础坐标系加上所形成的色温框，即可以形成标准色温框坐标系。
[0179]
基于上述步骤501至505所形成的标准色温框坐标系，可以参考上述图4所示意的预设的标准色温框坐标系。可以理解，在另一些实施例中，预设在手机100等电子设备上的标准色温框坐标系的形成过程，也可以是不同于图5所示的其他过程，预设在手机100等电子设备上的标准色温框坐标系也可以是不同于上述图4所所示意形式的其他形式。在此不做限制。
[0180]
图9根据本技术实施例示出了一种视频编码系统700的结构示意框图。
[0181]
如图9所示，系统700可以包括一个或多个处理器704，与处理器704中的至少一个连接的系统控制逻辑708，与系统控制逻辑708连接的系统内存712，与系统控制逻辑708连接的非易失性存储器(nvm)716，以及与系统控制逻辑708连接的网络接口720。
[0182]
在一些实施例中，处理器704可以包括一个或多个单核或多核处理器。在一些实施例中，处理器704可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。处理器704可以被配置为执行各种符合的实施例，例如，参考上述图2-8所示描述的实施例。
[0183]
在一些实施例中，系统控制逻辑708可以包括任意合适的接口控制器，以向处理器704中的至少一个和/或与系统控制逻辑708通信的任意合适的设备或组件提供任意合适的接口。
[0184]
在一些实施例中，系统控制逻辑708可以包括一个或多个存储器控制器，以提供连接到系统内存712的接口。系统内存712可以用于加载以及存储数据和/或指令。在一些实施例中系统700的内存712可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(dram)。
[0185]
nvm/存储器716可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机存储介质。在一些实施例中，nvm/存储器716可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如hdd(hard disk drive，硬盘驱动器)，cd(compact disc，光盘)驱动器，dvd(digital versatile disc，数字通用光盘)驱动器中的至少一个。nvm/存储器716可以包括安装系统700的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口720通过网络访问nvm/存
储716。
[0186]
特别地，系统内存77和nvm/存储器716可以分别包括：指令724的暂时副本和永久副本。指令724可以包括：由处理器704中的至少一个执行时导致系统700实施上述图4所示编码器结构的功能的指令。在一些实施例中，指令724、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑708，网络接口720和/或处理器704中。
[0187]
网络接口720可以包括收发器，用于为系统700提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口720可以集成于系统700的其他组件。例如，网络接口720可以集成于处理器704的，系统内存712，nvm/存储器716，和具有指令的固件设备(未示出)中的至少一种，当处理器704中的至少一个执行所述指令时，系统700实现如图1-10所示的功能。
[0188]
网络接口720可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口720可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。
[0189]
在一个实施例中，处理器704中的至少一个可以与用于系统控制逻辑708的一个或多个控制器的逻辑封装在一起，以形成系统封装(sip)。在一个实施例中，处理器704中的至少一个可以与用于系统控制逻辑708的一个或多个控制器的逻辑集成在同一管芯上，以形成片上系统(soc)。
[0190]
系统700可以进一步包括：输入/输出(i/o)设备732。i/o设备732可以包括用户界面，使得用户能够与系统700进行交互；外围组件接口的设计使得外围组件也能够与系统700交互。在一些实施例中，系统700还包括传感器，用于确定与系统700相关的环境条件和位置信息的至少一种。
[0191]
图10根据本技术实施例示出了一种soc(system on chip，片上系统)800的结构示意框图。在图10中，相似的部件具有同样的附图标记。另外，虚线框是更先进的soc的可选特征。在图10中，soc 800包括：互连单元850，其被耦合至应用处理器810；系统代理单元870；总线控制器单元880；集成存储器控制器单元840；一组或一个或多个协处理器820，其可包括集成图形逻辑、图像处理器、音频处理器和视频处理器；静态随机存取存储器(sram)单元830；直接存储器存取(dma)单元860。在一个实施例中，协处理器820包括专用处理器，诸如例如网络或通信处理器、压缩引擎、gpgpu、高吞吐量mic处理器、或嵌入式处理器等等。
[0192]
本技术公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
[0193]
可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
[0194]
在说明书对“一个实施例”或“实施例”的引用意指结合实施例所描述的具体特征、结构或特性被包括在根据本技术实施例公开的至少一个范例实施方案或技术中。说明书中的各个地方的短语“在一个实施例中”的出现不一定全部指代同一个实施例。
[0195]
本技术实施例的公开还涉及用于执行文本中的操作装置。该装置可以专门处于所要求的目的而构造或者其可以包括被存储在计算机中的计算机程序选择性地激活或者重新配置的通用计算机。这样的计算机程序可以被存储在计算机可读介质中，诸如，但不限于任何类型的盘，包括软盘、光盘、cd-rom、磁光盘、只读存储器(rom)、随机存取存储器(ram)、eprom、eeprom、磁或光卡、专用集成电路(asic)或者适于存储电子指令的任何类型的介质，并且每个可以被耦合到计算机系统总线。此外，说明书中所提到的计算机可以包括单个处理器或者可以是采用针对增加的计算能力的多个处理器涉及的架构。
[0196]
另外，在本说明书所使用的语言已经主要被选择用于可读性和指导性的目的并且可能未被选择为描绘或限制所公开的主题。因此，本技术实施例公开旨在说明而非限制本文所讨论的概念的范围。