图像处理设备及图像处理方法
【技术领域】
[0001] 本文中所讨论的实施方式涉及图像处理设备以及图像处理方法。
【背景技术】
[0002] 例如，由于来自如日光和照明的光源的光的强度以及遮蔽来自光源的光的遮蔽物 的影响，拍摄图像时的照明环境会有不同的变化。当照明环境变化时，即使被摄体相同，图 像中被摄体的颜色仍会变成各种颜色。
[0003] 在该情况下，取决于照明环境，在被摄体原始具有的颜色与所拍摄的图像中被摄 体的颜色之间会产生差异。因此，例如对其中布置有色块的色图与被摄体一起进行拍摄，色 块通过借助于色度计等预先正确地测量颜色来获得。并且参照图像中的色块的颜色来对被 摄体的颜色进行校正。即，例如计算校正值以使得图像中的色块的颜色接近该色块原始具 有的正确颜色。通过使用所获得的校正值对图像中被摄体的颜色进行校正，可以再现该被 摄体原始具有的颜色。
[0004] 在健康和美容领域中，拍摄皮肤表面的图像，并且根据该图像获得关于皮肤状况 如肤色、毛孔的数目和大小以及雀斑的大小和颜色密度的数据，从而根据该数据来评估皮 肤状况。
[0005] 在这方面，已知用于提高颜色测量准确度的技术。另外，已知以下技术：甚至当对 测试图案进行成像时由于外界光变化或成像被障碍物打断而在成像数据中检索到异常数 据时，该技术仍总是计算出正确的校正数据。已知用于在无需过多工作量和时间的情况下 抑制投影图像的图像劣化的技术。已知用于在不使用色图的情况下校正两个印刷物之间的 色调偏差的技术。已知用于通过抑制非必需的色调转换来校正图像输出装置的色调的技 术。已知用于容易地提取色片标记区域的布置顺序的技术。（例如，参见专利文献1至6)。
[0006] 专利文献1 :日本公开特许公报No. 2013-195243
[0007] 专利文献2 :日本公开特许公报No. 2005-150779
[0008] 专利文献3 :日本公开特许公报No. 2001-134252
[0009] 专利文献4 :日本公开特许公报No. 2013-110696
[0010] 专利文献5 :日本公开特许公报No. 2013-26921
[0011] 专利文献6 :日本公开特许公报No. 2013-196373
【发明内容】
[0012] 实施方式的一个方面的目的是：甚至当在图像中产生照明环境的非均匀性时仍再 现被摄体原始具有的像素值，其中所述非均匀性使多个色块中的一些色块的像素值有限地 波动。
[0013] 根据实施方式的方面，图像处理设备包括：指定单元，所述指定单元被配置成提取 被布置在图像中所拍摄的色图上的不同位置处的多个相同颜色的区域中的每一个的像素 值，并且通过使用所述相同颜色的区域的所提取的像素值以及所述相同颜色的区域的布置 位置来指定具有与以下函数对应的像素值的区域，所述函数表示由于使像素值沿一个方向 以恒定速率波动的照明环境的非均匀性而导致的像素值根据位置的波动；以及校正单元， 所述校正单元被配置成根据所指定的区域的像素值来对所述相同颜色的区域之间的校正 目标区域的像素值进行校正。
【附图说明】
[0014] 图1是示出根据一些实施方式的图像处理设备的功能块配置的图；
[0015] 图2是示出根据第一实施方式的色图的图；
[0016] 图3A至图3C是示出图像的照明环境与根据相同颜色的色块的位置的像素值之间 的关系的图；
[0017] 图4A和图4B是示出在圆的圆周上的点处的像素值的渐变与波动之间的关系的 图；
[0018] 图5A和图5B是示出根据第一实施方式的图像的照明环境与线性区间之间的关系 的图；
[0019] 图6A和图6B是示出根据第一实施方式的图像的照明环境与线性区间之间的关系 的图；
[0020] 图7A和图7B是示出根据第一实施方式的图像的照明环境与线性区间之间的关系 的图；
[0021] 图8A和图8B是示出根据第一实施方式的图像的照明环境与线性区间之间的关系 的图；
[0022] 图9A和图9B是示出根据第一实施方式的图像的照明环境与线性区间之间的关系 的图；
[0023] 图10A和图10B是示出根据第一实施方式的图像的照明环境与线性区间之间的关 系的图；
[0024] 图11是示出根据第一实施方式的色块组信息的图；
[0025] 图12是示出根据第一实施方式的像素值校正处理的操作流程的图；
[0026] 图13是示出根据第一实施方式的线性区间指定处理的操作流程的图；
[0027] 图14A和图14B是示出根据第二实施方式的图像的照明环境与线性区间之间的关 系的图；
[0028] 图15是示出根据第二实施方式的图像的照明环境与线性区间之间的关系的图；
[0029] 图16A和图16B是示出根据第二实施方式的图像的照明环境与线性区间之间的关 系的图；
[0030] 图17A和图17B是示出根据第二实施方式的图像的照明环境与线性区间之间的关 系的图；
[0031] 图18A和图18B是示出根据第二实施方式的图像的照明环境与线性区间之间的关 系的图；
[0032] 图19A和图19B是示出根据第二实施方式的图像的照明环境与线性区间之间的关 系的图；
[0033] 图20是示出根据第二实施方式的色块组信息的图；
[0034] 图21是示出根据第二实施方式的线性区间指定处理的操作流程的图；
[0035] 图22是示出根据第三实施方式的像素值校正处理的图；
[0036] 图23是示出根据第三实施方式的代表值获取处理的操作流程的图；
[0037] 图24是示出根据一种实施方式的参数计算处理的操作流程的图；
[0038] 图25是示出根据第四实施方式的代表值获取处理的操作流程的图；
[0039] 图26是示出根据修改示例的像素值校正处理的图；以及
[0040] 图27是示出用于实现根据一种实施方式的图像处理设备的计算机的硬件配置的 图。
【具体实施方式】
[0041] 在下文中，将参照附图来详细地描述一些实施方式。在上述多个附图中，相同的附 图标记用于对应的要素。
[0042] 在所拍摄的图像中，可以在非均匀照明环境中对色图进行成像。例如，在其中用户 通过使相机靠近色图和被摄体的表面来拍摄图像的情况下，当色图或被摄体的表面相对于 相机透镜倾斜时，由于该倾斜，所拍摄的图像中处处距透镜的距离各不相同。因此，可以以 到达相机透镜的光的量来生成取决于距离的差异，并且可以出现以下现象：在图像中像素 值沿大致一个方向以恒定速率变化。当用户通过使相机靠近色图或被摄体的表面来拍摄图 像时，由于在图像中以大尺寸对色图或被摄体进行成像，所以该现象可能会显著。在以下描 述中，将在图像中像素值沿大致一个方向以恒定速率变化的现象称为渐变。像素值是图像 的像素所具有的值，并且可以是例如亮度值或颜色值。颜色值可以是例如颜色空间中的每 个颜色分量的值。例如，当使用其中将原色设置为红色、绿色和蓝色的RGB(红绿蓝颜色模 型）空间时，像素值可以是红色、绿色和蓝色的每个分量值。
[0043] 当在图像中产生渐变时，在碰撞作为校正目标的被摄体的光与碰撞用于计算用于 校正的校正值的色图上的色块的光之间产生差异。因此，即使当执行下述处理时仍不可以 充分地再现被摄体原始具有的像素值：通过使用图像中色图的色块的像素值来计算校正值 并且通过使用所获得的校正值来校正图像中的被摄体的像素值。被摄体原始具有的像素值 可以是例如与通过利用色度计来测量被摄体而获得的正确颜色等的值对应的像素值。
[0044] 在该情况下，例如，假定用户使用包括以点对称方式成对布置的多个相同颜色的 色块的色图，并且通过将作为校正目标的被摄体夹在成对的色块之间来拍摄图像。然后，例 如，假定通过使用经由对以点对称方式布置在图像中的相同颜色的色块的像素值求平均而 获得的值来计算校正值，并且通过使用该校正值对所拍摄的图像中被摄体的像素值进行校 正。当执行这样的校正时，由于以下影响被消除一上述影响因为由于像素值沿大致一个方 向以恒定速率变化的渐变而导致的照明环境的非均匀性所以被施加给色块的像素值，所以 可以以高的准确度再现被摄体原始具有像素值。
[0045] 然而，作为其中在图像中不在均匀照明环境中对色图进行成像的另一情况，可以 在图像中产生有限地改变存在于色图上的多个色块中的一些色块的像素值的照明环境的 非均匀性。其示例是其中持有色图的手的手指的阴影交叠在一些色块上的情况或其中由于 反射而出现在一些色块上的晕光的情况。在该情况下，即使对像素值进行校正，也不可以从 校正值中消除有限地出现在一些色块上的像素值的变化的影响，并且可能不能够再现被摄 体原始具有的像素值。因此，实施方式的一个方面中的目的是：甚至当在图像中产生照明环 境的非均匀性时仍再现被摄体原始地具有的像素值，该非均匀性使多个色块中的一些色块 的像素值有限地波动。
[0046] 图1是示出了根据一些实施方式的图像处理设备100的功能块配置的图。图像处 理设备100可以是包括用于处理图像的功能的装置如手机、智能电话、平板终端、个人计算 机（PC)或膝上型PC。图像处理设备100包括例如控制单元101和存储单元102。控制单元 101包括如指定单元111和校正单元112的功能单元。图像处理设备100的存储单元102 存储例如程序120以及在下文中将描述的如色块组信息1100和2000的信息。图像处理设 备100的控制单元101通过读出并且执行程序120来用作如指定单元111和校正单元112 的功能单元。在下文中将描述存储在存储单元102中的每个功能部分的细节以及信息的细
[0047] 第一实施方式
[0048] 图2是示出根据第一实施方式的色图1的图。色图1包括中心缺失区域5 (例如， 通孔）。在色图1中，在区域5的外圆周上布置有多个色块（W1至W4和C1至C16)。因此， 例如通过将作为像素值校正目标的被摄体布置在区域5中并且利用成像装置来拍摄图像， 在用色块环绕被摄体的同时拍摄图像。色图1包括针对四种颜色（a、d、c和d)的色块的每 种颜色的两个配对，即，针对每种颜色总共有四个色块。色块颜色为可选的，但是优选地，颜 色与例如作为校正目标的被摄体的像素值相似。例如，当对被摄体的肤色进行校正时，可以 采用其中假定将人类肤色分布在RGB空间中的区域的颜色。例如，可以采用如粉色、黄色、 炭灰色和品红色的颜色。例如，每对色块被布置在以区域5为中心的点对称位置中，其中作 为校正目标的被摄体被成像为对称点30。
[0049] 例如，在色图1中，四个色块C1、C6、C9和C14具有相同的颜色a;色块C2、C5、C10 和C13具有相同的颜色b;色块C3、C8、C11和C16具有相同的颜色c;并且色块C4、C7、C12 和C15具有相同的颜色d。色块Cl和色块C9被成对地布置在关于对称点30的点对称位置 处。类似地，色块C6和色块C14被成对地布置在关于对称点30的点对称位置处。如图2中 所示，相对于色块C2、C5、C10和C13,色块C3、C8、C11和C16以及色块C4、C7、C12和C15， 所述成对的色块被布置在关于对称点30的点对称位置中。在图2的示例中，两对相同颜色 的色块即总共四个色块按照相等的间隔（例如，彼此间隔90° )被布置在对称点30周围。 另外，色图1包括4个白色色块W1至W4,并且可以通过使用图像中的白色色块W1至W4的 像素值来设置白平衡。
[0050] 图3A至图3C是示出了图像的照明环境与根据色图1中的相同颜色的四个色块的 位置的像素值之间的关系的图。图3中的色块C1、C6、C9和C14分别与图2中的色图1中 的色块C1、C6、C9和C14对应。图3A示出了在其中在图像中的均匀照明环境下拍摄色图1 的情况下的照明环境与根据四个相同颜色的色块的位置的像素值之间的关系。如图3A所 示，当在图像的整个区域上的均匀照明环境下拍摄图像时，布置在色图1中的四个相同颜 色的色块Cl、C6、C9和C14表示几乎相同的像素值。因此，例如当将四个相同颜色的色块 Cl、C6、C9和C14的像素值中的任一个像素值用于对布置在图像中色图1的区域5中的被 摄体的像素值进行校正时，可以再现被摄体原始具有的像素值。
[0051] 图3B示出了在其中出现了像素值沿大致方向20以恒定速率增大的渐变的照明环 境与根据相同颜色的四个色块的位置的像素值之间的关系。在该情况下，被布置在色图1 中的四个相同颜色的色块Cl、C6、C9和C14示出了由于渐变而导致的彼此不同的颜色。在 该状态下，即使当参考来自被布置在色图1中的四个相同颜色的色块中的一个像素值来计 算校正值时，用作了参考的色块的照明环境与作为校正目标的被摄体的照明环境仍彼此不 同。因此，即使当使用根据用作了参考的色块而计算的校正值来对像素值进行校正时，仍不 可以再现被摄体原始具有的像素值。
[0052] 在该情况下，如上所述，在渐变中，像素值在图像中沿大致一个方向以恒定速率变 化。在色图1中，如图2所示，相同颜色的两对相同颜色的色块当中的一对色块中的色块即 总共有四个色块被布置在关于对称点30的点对称位置中（例如，色块C1和色块C9)。因 此，例如通过对布置在点对称位置中的色块C1和C9的像素值求平均，可以对由渐变所导致 的照明环境的非均匀性对色块的像素值的影响求平均。因此，例如可以对其中被摄体被成 像的区域5中的对称点30的像素值进行估计。类似地，由于色图1中的色块C6和色块C14 关于对称点30点对称地被布置，所以通过以相同方式对其像素值求平均，可以对由渐变所 导致的照明环境的非均匀性对色块的像素值的影响求平均。因此，例如通过将经由对色块 C1、C6、C9和C14的像素值求平均而获得的值用作参考来计算校正值，并且通过对被摄体的 像素值进行校正，可以再现该被摄体原始具有的像素值。
[0053] 然而，如图3C中所示，例如在图像中可能产生照明环境的非均匀性，该非均匀性 有限地影响多个相同颜色的色块中的一些色块的像素值。这样的情况的示例包括其中当将 色图持于手中时手指等的阴影交叠在一些色块上的情况以及其中照明的反射在一些色块 中较强并且在图像中出现了晕光的情况。在下文中，将有限地影响多个相同颜色的色块中 的一些色块的像素值的照明环境的非均匀性称为部分照明环境变化50。例如，在图3C中， 产生了其中像素值沿大致方向20以恒定速率增大的渐变，并且在色块C1中出现了部分照 明环境变化50。
[0054] 在该情况下，不可以消除由于在一些色块上出现了的部分照明环境变化50的影 响而导致的渐变的影响。因此，即使当对像素值进行校正时，仍不可以再现被摄体原始具有 的像素值。
[0055] 因此，在第一实施方式中，控制单元101指定具有与以下函数对应的像素值的色 块：所述函数表示由于渐变所导致的布置在图像中所拍摄的色图1中的多个相同颜色的色 块当中的像素值根据位置的波动。在此，当色块的像素值与表示由于渐变而导致的像素值 根据位置的波动的函数对应时，估计该色块尚未受除渐变之外的非均匀照明环境的影响。 因此，认为在色块中尚未出现部分照明环境变化50。因此，通过获得用于经由使用指定色块 的像素值来校正像素值的校正值，部分照明环境变化50的影响被消除，并且可以对相同颜 色的色块之间的区域（例如，区域5)的像素值进行校正。因此，可以再现被摄体原始具有 的像素值。
[0056] 图4至图13是说明根据第一实施方式的像素值校正的图。图5至图10中的色块 (：1、06、09和(：14分别与图2中的色图1中的(：1、06、09和(：14对应。在下文中，将正弦式 (sinusoidal)函数用作表示由于渐变而导致的像素值根据位置的波动的函数的示例。正弦 式函数可以是例如正弦函数或余弦函数。然而，用在本实施方式中并且表示由于渐变而导 致的像素根据位置的波动的函数不限于此。例如，还可以使用另外的函数，例如表示像素值 根据图像中的椭圆形或六边形上的位置的波动的函数，只要该函数表示由于渐变而导致的 像素根据位置的波动即可。在该情况下，将多个色块例如沿通过函数表示的椭圆形或六边 形布置在色图上，并且可以判定多个色块的像素值是否与该函数对应。
[0057]图4A和图4B是示出由于出现在图像中的渐变而导致的像素值的波动与以点P为 中心的半径为r的圆的圆周上的点之间的关系的图。例如，在图4A中，由于在其中像素值 沿大致方向20以恒定速率增大的渐变，所以在图像中产生了照明环境的变化。例如，在图 像中以点P为中心、半径为r的圆上，假定点41为在其处角度0为0°的点。假定0。是 从点41至方向20的旋转角度，该旋转角度表示渐变的方向（S卩，0。表示渐变的方向）。在 该情况下，点的像素值y按照正弦式曲线来变化，该点通过在以点P为中心、半径为r的圆 10的圆周上旋转角度9来获得。因此，圆10上的点的像素值y可以通过使用正弦式函数 来表示，并且可以例如通过以下公式1来表示。在以下公式1中，图4A中的逆时针旋转方 向是角度9的正方向，并且a是正弦式曲线的幅度的值。此外，0是正弦式曲线的波的 振动中心的值，并且与点P处的像素值对应。在公式1中，将圆10的圆周上的点与在其中 在图像中出现渐变的情况下该点的像素值之间的关系表示为余弦函数；然而，实施方式不 限于此，并且例如可以使用正弦函数。
[0058][公式1]
[0059] y= a cos ( 9 - 9 0) + 0
[0060] 图4B是表示由公式1表示的像素值y与角度0之间的关系的图。如图4B所示， 当在其中产生了图4A所示的渐变的图像中的圆10的圆周上检测像素值时，像素值按照正 弦式曲线来变化。
[0061]因此，例如当在通过使用图2所示的色图1而拍摄的图像中产生了渐变时，包括在 色图1中的四个相同颜色的色块的像素值与根据位置的正弦式曲线对应。图5A示出了在 图像中产生了的渐变以及在图像中所拍摄的色图1上的四个相同颜色的色块Cl、C6、C9和 C14的布置。在该情况下，如图5B所示，色块C1、C6、C9和C14的像素值大致遵循正弦式函 数来变化。在此，例如，正弦式曲线在围绕图4A中的圆10的区间中包括：其中像素值单调 地减小的减小区间（例如，从图4B中的0。至0。+31的区间）以及其中像素值单调地增加 的增大区间（例如，从图4B中的0。+JT至0。+2JT的区间）。在色图1中，成对的色块点 对称地被布置。因此，绕在其中对被摄体进行成像的区域5中的三个连续的色块（例如，成 对的色块C1与C9之间的区间）与图4B中的正弦式曲线中的宽度为角度JT的区间对应。 因此，如图5B所示，当色图1中的色块C1、C6、C9和C14的像素值按照围绕在其中对被摄体 进行成像的区域5的连续顺序排成一行时，相对于三个连续的色块检测到像素值的两个近 似线性的变化。
[0062]另一方面，如图3C所示，当在相同颜色的色块之一中出现了部分照明环境变化50时，出现了部分照明环境变化50的色块的像素值改变。因此，在与出现了部分照明环境变 化50的色块的位置对应的正弦式曲线的减小区间或增大区间中，未检测到像素值的近似 线性的增大或减