图像调整方法及照相系统与流程

本发明有关于图像处理，更具体地，有关于照相系统和相应的可使用偏好搜索策略(preference search strategy)调整(tune)捕捉图像的图像调整方法。

背景技术：

随着技术的近期发展。数字相机如今已经广泛使用。对于市场上的大多数相机相关的产品，图像调整偏好(image-tuning preference)常用于精调(fine-tune)捕捉图像。然而，市场上的相机相关产品的图像调整偏好通常配置用于单机版本。换言之，图像调整偏好不能被不同用户定制化以适配个人偏好。因此，每个终端用户仅能获得具有固定格式(pattern)的候选图像的建议。因此，需要一种照相系统和相应的图像调整方法来解决前述问题。

技术实现要素：

有鉴于此，本发明提供一种图像调整方法及照相系统。

本发明提供一种照相系统中使用的图像调整方法，包括：由该照相系统的图像传感器捕捉图像；使用偏好搜索策略分析该捕捉图像的图像内容以获取多个候选图像；提供该多个候选图像以用于由该照相系统的用户进行选择；基于该用户的该选择的多个候选图像的其中一个确定输出图像；以及通过使用该用户的该选择调整该偏好搜索策略。

本发明还提供一种照相系统，包括：图像传感器，用于捕捉图像；以及处理单元，用于使用偏好搜索策略分析该捕捉图像的图像内容以获取多个候选图像；提供该多个候选图像以用于由该照相系统的用户进行选择；基于该用户的该选择的多个候选图像的其中一个确定输出图像；以及通过使用该用户的该选择调整该偏好搜索策略。

本发明提供的图像调整方法可学习用户偏好并提供更接近用户偏好的候选图像。

附图说明

提供阅读后面的具体描述看全面理解本发明且所述示例参考后附的图示，其中：

图1为根据本发明一个实施例的照相系统100的示意图；

图2A为根据本发明一个实施例的候选图像和捕捉图像示意图；

图2B为根据本发明另一个实施例的候选图像和捕捉图像示意图；

图3为根据本发明一个实施例用于照相系统中的图像调整方法流程图。

具体实施方式

下面的描述用于说明本发明的精神并非用于限制本发明。本发明范围由后附的权利要求确定。

图1为根据本发明一个实施例的照相系统100的示意图。照相系统100可为具有获取通信功能的移动装置(例如，平板电脑、智能手机或穿戴式设备)或笔记本电脑。照相系统100可包括图像传感器110及处理单元120。图像传感器110用于捕捉图像。处理单元120可在来自图像传感器110的捕捉图像中对像素的原始数据执行通信处理。照相系统100可更包括存储单元130，该存储单元130可临时存储来自图像传感器110的捕捉图像中像素的原始数据并提供原始数据至该处理单元120以用于后续图像处理，其中的细节将在之后进行描述。例如，存储单元130可为动态随机存取存储器(dynamic random access memory，DRAM)或静态随机存取存储器(static random access memory，SRAM)。处理单元120可为通用处理器、数字信号处理器(DSP)或任何等同电路，但本发明并不限于此。

在一些实施例中，图像传感器110可同时捕捉两个图像，其中一个捕捉图像可具有图像传感器110的全分辨率(full resolution)，且另一个捕捉图像具有图像传感器110的缩减分辨率(down-scaled resolution)。该全尺寸图像和缩放图像都可临时存储在存储单元130中，存储单元130可可做帧缓存器。

在一个实施例中，在图像传感器110捕捉图像(例如全尺寸图像)，处理单元120可分析该捕捉图像的图像内容。例如，处理单元120可识别捕捉图像中的对象(object)或目标(target)并确定是否的对象/目标属于一或多该预设类别中的任何一个。其中，该识别的目标或对象的该预设类别可包括：脸、种族、场景(例如天空、草地、雪、海、夕阳等)、物体、文字、字符、背景或上述的组合，但本发明并不限于此。然后，处理单元120可获取用于属于一或多个预设类别的该识别的对象或目标的其中至少一个的设置值以产生多个候选图像。换言之，候选图像可相应于多个候选设置值，该多个候选设置值用于该捕捉图像中的至少一特定对象/目标。可使用偏好搜索策略执行获取用于在预设类别中的该至少一识别的对象或目标的不同设置值，这也将在后面做更多解释。在一个实施例中，为了用户选择的容易性，候选图像的数目为3，但本发明并不限于此。

处理单元120可更提供多个候选图像以供用户的选择。此时，处理单元120可临时保存该多个候选图像，例如在存储单元130中，且在照相系统100的屏幕(图未示)上显示候选图像或候选图像的代表图。因此，处理单元120可基于用户选择的候选图像的其中之一确定输出图像。换言之，处理单元120可确定用户最偏好的该多个候选图像的其中一个用于后续处理。在一个实施例中，处理单元120可在相册中存储输出图像并删除候选图像中的一或多个未被选择的图像。其中，相册可由软件或在物理文件夹中构建。

然后，可调整捕捉图像并以接近用户偏好的方式存储。当用户未选择任何候选图像时，举例而言，可选择具有该多个候选设置值的中值(medium value)的该候选图像以作为或产生该输出图像。此外，当所有的候选图像对用户而言都不满意，用户可选择删除捕捉图像。需注意，用于用户选择的图像或其代表图具有的分辨率可与输出图像的分辨率不同。换言之，由于，候选图像及其代表图用于展示对捕捉图像上设置不同组候选设置值的调整效果以供用户选择，候选图像及其代表图中的一个或两者都可以与输出图像的分辨率不同的分辨率进行显示。

下面提供的若干实例用于说明为使捕捉图像具有不同场景而产生的候选图像的不同内容。在一个示例中，假设捕捉图像的图像内容为具有大部分草地的场景，处理单元120可识别该部分草地为属于一或多个预设类别的对象/目标并提供具有绿色级别的不同候选设置值的多个候选图像以用于整个图像或该大部分草地。因此，可提供具有不同绿色级别该候选图像且其中一个可被用户所选择作输出图像且对该输出图像进行非临时存储。

在第二示例中，假设捕捉图像的图像内容为具有一或多个脸的场景，处理单元120可识别该一或多个脸的全部或其中至少一个为属于一或多个预设类别的对象/目标并提供具有不同脸部颜色级别(可为“较黑”、“中间色”或“更白”以用于该一或多个人脸的全部或其中至少一个)的不同候选设置值的多个候选图像。因此，可提供具有不同脸部颜色的候选图像，这样其中一个可被用户所选择作输出图像且对该输出图像进行非临时存储。

在第三示例中，假设捕捉图像的图像内容为具有一或多个女人的场景，处理单元120可识别该一或多个女人的全部或其中至少一个为属于一或多个预设类别的对象/目标并提供具有“除皱(wrinkle smoothing)”的不同候选设置值的多个候选图像以用于该一或多个女人中的全部或其中至少一个的脸部。因此，可提供具有不同脸部除皱值的候选图像，这样其中一个可被用户所选择作输出图像且对该输出图像进行非临时存储。

在第四示例中，假设捕捉图像的图像内容为具有多个字符的场景，处理单元120可识别该多个字符的全部或其中至少一个为属于一或多个预设类别的对象/目标并提供具有不同“边强度(edge strength)”设置值的多个候选图像以用于该多个字符的全部或其中至少一个。因此，可提供具有以最合适的锐度显示的字符的候选图像，这样其中一个可被用户所选择作输出图像且对该输出图像进行非临时存储。需注意，捕捉图像中的每个识别的对象和目标的候选设置值可变化，且本发明并不限于上述示例。

在一些示例中，如果识别多个对象/目标为属于预设类别的其中一个，可确定该识别的对象/目标的其中一或多个在候选图像中具有不同的候选设置值。然而，尽管在上述示例中提供若干组候选设置值以用于特定对象/目标，并发明并不限于此。在其他示例中，可将多组候选设置值提供至多个对象/目标的组合。例如，每组候选设置值可相应于天空和脸部的颜色。

图2A为根据本发明一个实施例的候选图像和捕捉图像示意图。图2B为根据本发明另一个实施例的候选图像和捕捉图像示意图。参考图2A，在一个实施例中，候选图像212、214及216可具有不同候选设置值以用于该捕捉图像210的全部或整体区域。或者，候选图像222、224及226可具有不同候选设置值以用于该捕捉图像220的一或多个局部或部分区域，例如，人脸、此外，候选图像222～226中的非确定区域以外的区域保持不变，因此彼此之间是相同的，如图2B所示。

如前所述，在处理单元120确定候选图像中，处理单元120可临时在存储单元130中保持候选图像并在照相系统100的屏幕上显示该候选图像或其代表图。在一些实施例中，候选图像的代表图可为候选图像的全体图像或部分图像，主要显示以各个候选设置值调整的该识别的对象/目标。而且，每个候选图像或其代表图可在照相系统100的屏幕上显示为缩略图。在一个实施例中，可在屏幕上同时将各个候选图像以缩略图形式显示以方便用户比较和选择。

此外，如前所述，在一些实施例中，图像传感器110可同时捕捉两个图像，其中一个捕捉图像可具有图像传感器110的全分辨率，且另一个捕捉图像具有图像传感器110的缩减分辨率。在此实施例中，每个候选图像或其代表图可从较大分辨率的捕捉图像或具有较小分辨率的其他捕捉图像中产生。在一个实施例中，候选图像的代表图显示用于用户进行选择，每个代表图在照相系统100的屏幕上显示为识别的对象/目标的细节图。因此，显示的代表图可为从具有全分辨率的捕捉图像产生的识别的对象/目标的放大区域，这是由于全尺寸捕捉图像中可保留更多图像细节，然后将放大区域显示在缩略代表图中。此外，如上所述，可基于选择的候选图像确定输出图像。

请注意，根据不同需求，候选图像、候选图像的代表及输出图像中的每个可为全分辨率图像或缩放图像。在一个实施例中，候选图像为缩放图像，候选图像的代表为该候选图像的全图像或一部分图像且具有缩放分辨率，以及输出图像为全分辨率图像。在另一个实施例中，候选图像、候选图像的代表及输出图像中的每个可为全分辨率图像。

需注意，每次用户从多个候选图像中选择一个，处理单元120可将用户决定和分析的图像内容加入偏好搜索策略的训练数据，并根据选择的候选图像确定输出图像。然后，处理单元120可精调偏好搜索策略以用于根据训练数据下次提供用于特定类别的候选图像。

在后面的部分，将描述用于调整偏好搜索策略的细节。该调整该偏好搜索策略用于收敛(converge)候选设置值的集合以使候选图像可更接近用户偏好。换言之，用户偏好可被偏好搜索策略学习。在一个实施例中，使用迭代搜索方法以根据此次用户的选择重复调整候选设置值的下一集合。具体地，处理单元120根据每次选择所选择的候选设置值精调用于特定对象或目标的候选设置值的范围。例如，用于特定类别的候选设置值的初始集合可设置为{0,5,10}。当用户选择相应于来自{0,5,10}中的该候选设置值10的候选图像以用于特定类别，处理单元120可增加下一候选设置值集合的值为{8,10,12}以用于特定类别。类似地，此次当用户选择相应于来自{8,10,12}中的该候选设置值8的候选图像以用于特定类别，处理单元120可减少下一候选设置值集合的值为{6,8,10}以用于特定类别。下一次当用户选择相应于来自{6,8,10}中的该候选设置值8的候选图像以用于特定类别，处理单元120可确定候选设置值被收敛，且用户喜欢相应于该候选设置值8的该候选图像以用于该特定类别。

简而言之，初始集合在的候选设置值的范围可为最宽的(即从0～10),但每次基于用户的选择范围可变得更窄更具体。具体化或者收敛过程可让用户更容易确定其最喜欢的候选设置值。

需注意，对应特定类别，用户的选择可能并不是一致或集中在特定候选设置值上(例如偏好较弱)，因此处理单元120可不收敛用于该特定类别的设置值且不能在若干次迭代后确定用户偏好。例如，用于特定类别的候选设置值的初始集合可为{0,5,10}。在第一次选择中，用户选择相应于候选设置值10的候选图像，处理单元120可增加下一候选设置值集合的值为{8,10,12}以用于特定类别。下一次(第二次选择)当用户选择相应于来自{8,10,12}中的该候选设置值8的候选图像以用于特定类别，处理单元120可减少下一候选设置值集合的值为{6,8,10}。下一次(第三次选择)当用户选择相应于来自{6,8,10}中的该候选设置值6的候选图像以用于特定类别，处理单元120可减少下一候选设置值集合的值为{4,6,8}。下一次(第四次选择)当用户选择相应于来自{4,6,8}中的该候选设置值4的候选图像以用于特定类别，处理单元120可减少下一候选设置值集合的值为{2,4,6}。

然而，第一次选择与第四次选择之间具有冲突，这是因为第四次选择中选择的候选设置值4在第一次选择的收敛区域(即从5到10)之外。相应地，处理单元120可确定用户的选择为不确定偏好或假的偏好。在此情形中，处理单元120可确定选择具有默认候选设置值(例如5)的候选图像。换言之，当检测到该用户的选择为不确定偏好或假的偏好时，忽略该用户的该选择且不用于调整关于相应于该用户的该选择的预设种类的该偏好搜索测量。此外，用户可确定重新设定为候选设置值的初始集合。

在一些实施例中，用于提供的候选图像的数目受限制，该候选图像的候选设置值的变形可限制为单一参数，例如，色温(color temperature)、边强度(edge strength)、对比度(contrast)等。在一个实施例中，候选图像的候选设置值的变形可限制为两个或更多个线性相关参数。即，处理单元120可根据一或多个附加的参数精调候选设置值的集合以用于该特定对象或目标。

在一个实施例中，当处理单元120学习到用于多个预设类别的用户偏好之后，处理单元120可扩展偏好搜索策略为覆盖更多预设类别或甚至超出预设类别。换言之，当累加数目的学习指示出在不同情形中的同样用户偏好，对偏好搜索策略的调整可集中为重点关注特定预设类别并逐渐扩展至覆盖不同预设类别。例如，在大量学习之后指示用户对特定预设类别偏爱具有更高亮度，偏好搜索策略可提供具有更高亮度的候选图像以用于使用捕捉图像而不管是否捕捉图像包括属于该特定类别的对象/目标。在另一个示例中，在大量学习之后指示用户对美国人偏爱具有更黄的皮肤，偏好搜索策略可提供黄色的候选图像以用于美国白人皮肤和欧洲白人皮肤。在另一个示例中，基于对用户偏好的充分数量的学习之后，处理单元120可确定用户喜欢某种色温(例如具有低颜色的暖色或具有高色温的冷色)或特定边强度，处理单元120可对每个捕捉图像提供更接近色温或边强度的候选图像。

图3为根据本发明一个实施例用于照相系统中的图像调整方法流程图。该图像调整方法可适用于图1的照相系统100，但本发明并不限于此。仅为说明目的，图像调整方法通过使用图1的照相系统100进行描述。在步骤S310中，由该照相系统100的图像传感器110捕捉图像。在步骤S320中，处理单元120使用偏好搜索策略分析该捕捉图像的图像内容以获取多个候选图像。在步骤S330中，处理单元120提供该多个候选图像以用于由该照相系统的用户进行选择。处理单元120可在该照相系统100的屏幕上显示该多个候选图像或该多个候选图像的代表图。该代表图可为捕捉图像的全部或整体区域，或者，为该代表图像的部分或局部区域。

在步骤S340中，处理单元120可基于用户选择的多个候选图像的其中一个确定输出图像。处理单元可更将输出图像保存在照相系统100的相册中。在步骤S350中，处理单元120可通过使用该用户的该选择调整该偏好搜索策略。具体地，处理单元120在用户已选择多个候选图像的其中之一后可将用户的选择和分析的图像内容加入至偏好搜索策略的训练数据。如果检测到该用户的该选择为不确定偏好或假的偏好，忽略该用户的选择。如果该用户未选择任何候选图像，选择具有该多个候选设置值的中值的该候选图像以确定为该输出图像。通过其他实施例可类推出每个步骤的细节，为简洁，在此省略。

综上所述，本发明提供照相系统和相应的图像调整方法。该照相系统好图像调整方法可根据候选图像的用户选择精调用于捕捉图像中的特定目标或对象的偏好搜索策略，因此照相系统可学习用户偏好并提供更接近用户偏好的候选图像。

本发明虽以较佳实施例揭露如上，然其并非用于限定本发明的范围，任何所述领域的技术人员，在不脱离本发明的精神和范围内，当可做些许的改动与修饰。因此，本发明的保护范围以权利要求为准。