图像输出控制装置及方法、图像输出系统以及记录介质与流程

本发明涉及图像输出控制装置、图像输出控制方法、图像输出系统以及记录介质。

背景技术：

在诸如数码相机、扫描仪、监视器、打印机之类的多个不同设备之间统一管理颜色的色彩管理系统正在普及。然而，由人类视觉看到的图像的外观不仅随着设备特性而变化，也随着周围环境而变化。针对这样的问题，提出了使用图像处理参数实施图像处理、并将实施图像处理而得的视频信号输出给打印机的技术，其中图像处理参数对应于与观察印刷图像的周围环境相关的信息。在该技术中，假定了用ciecam(颜色外观模型)定义的三个等级的明亮度级别，即：使用投影仪进行图像显示的暗室的明亮度(黑暗环境：黑暗)、看电视的房间的亮度(微暗的周围：暗)、以及达到可以确认物体颜色的程度的明亮度(平均周围：平均)，作为印刷品的观察环境(进行观察的周围环境)。

然而，例如，如在访问目的地处的演示这样而使用访问目的地处的图像投影装置时，无法预先知道图像投影装置的特性信息。在这种环境下，在诸如建筑或设计之类的图像的印象很重要的演示中，用于投影预期图像的调节有时是复杂的。

技术实现要素：

本发明是鉴于这样的情况而提出的，目的在于提供一种以简单的方法调节输出图像的技术。

本发明的图像输出控制装置对输出图像的图像输出装置进行控制，并进行调节以使输出图像接近预先设定的基准图像显示装置的基准图像，所述图像输出控制装置包括拍摄部和图像调节部。所述拍摄部对所述输出图像进行拍摄并生成输出图像数据。所述图像调节部使用所述输出图像数据，计算用于使所述输出图像接近所述基准图像的调节量，并使用所述计算出的调节量来调节所述输出图像数据。

本发明的图像输出系统包括所述图像输出控制装置以及输出所述图像的图像输出装置。

本发明的图像输出控制方法对输出图像的图像输出装置进行控制，并进行调节以使输出图像接近预先设定的基准图像显示装置的基准图像，所述图像输出控制方法包括拍摄工序以及图像调节工序。所述拍摄工序包含对所述输出图像进行拍摄并生成输出图像数据的工序。所述图像调节工序，使用所述输出图像数据，计算用于使所述输出图像接近所述基准图像的调节量，并使用所述计算出的调节量来调节所述输出图像数据。

本发明的记录介质记录有用于控制图像输出控制装置的图像输出控制程序，所述图像输出控制装置对输出图像的图像输出装置进行控制，并进行调节以使输出图像接近预先设定的基准图像显示装置的基准图像，所述图像输出控制程序使图像输出控制装置用作拍摄部以及图像调节部。所述拍摄部对所述输出图像进行拍摄并生成输出图像数据。所述图像调节部使用所述输出图像数据，计算用于使所述输出图像接近所述基准图像的调节量，并使用所述计算的调节量来调节所述输出图像数据。

附图说明

图1是示出本发明一个实施方式涉及的图像投影系统10的功能构成的框图；

图2是示出一个实施方式涉及的图像投影系统10中的投影图像调节处理的情形的说明图；

图3是示出一个实施方式涉及的投影图像调节处理的内容的流程图；

图4是示出在lab颜色空间上表示一个实施方式涉及的投影图像调节处理的内容的说明图；

图5是示出用于提示对通过一个实施方式涉及的投影图像调节处理调节后的投影图像进行确认的操作显示画面的说明图。

具体实施方式

下面，参照附图，对用于实施本发明的方式(以下称为“实施方式”)进行说明。

图1是示出本发明一个实施方式涉及的图像投影系统10的功能构成的框图。图像投影系统10也被称为图像输出系统，包括图像投影装置100、智能手机200和个人计算机300。图像投影装置100也被称为图像输出装置，包括控制部110、投影部120、操作显示部130、存储部140、以及通信接口部(也称为通信i/f部)150。智能手机200和个人计算机300的组合也称为图像输出控制装置。

智能手机200包括控制部210、操作显示部230、存储部240、通信接口部250和拍摄部260。个人计算机300是便携式笔记本型计算机，包括控制部310、操作显示部330、存储部340和通信接口部350。控制部310具有图像调节部311。稍后描述图像调节部311的功能。

拍摄部260包括曝光调节部261。曝光调节部261能够根据拍摄对象的光量来操作快门速度、光圈值和iso灵敏度，由此调节曝光。快门速度是拍摄元件暴露于通过光学系统的光的时间(曝光时间)。光圈值是通过光学系统的光量的调节量，能够用f值表示。iso灵敏度相当于从拍摄元件输出的电信号的放大率。

智能手机200和个人计算机300使用通信接口部250和350以短距离无线通信相互连接。在本实施方式中，短距离无线通信使用bluetooth(注册商标)的class2。bluetooth(注册商标)的class2是输出为2.5w的通信，是图像投影装置100和智能手机200在彼此距离在10m以内程度下可通信的短距离无线通信。

图像投影装置100经由显示电缆dc连接到个人计算机300。图像投影装置100基于从个人计算机300发送的视频信号ms投影图像。

图像投影装置100的操作显示部130和智能手机200的操作显示部230用作触摸面板，显示各种菜单作为输入画面，接受用户的操作输入。个人计算机300的操作显示部330包括液晶显示器、键盘、鼠标(省略图示)。

控制部110、210和310包括：诸如ram、rom等的主存储装置、以及mpu((microprocessingunit，微处理器)、cpu(centralprocessingunit，中央处理器)等控制装置等。此外，控制部110具有与各种i/o、usb(通用串行总线)、总线、其他硬件等的接口相关的控制器功能。控制部110、210和310分别控制图像投影装置100、智能手机200和个人计算机300的整体。

存储部140、240和340是存储装置，分别存储控制部110、210和310所执行的处理的控制程序和数据，该存储装置包括作为非暂时性记录介质的硬盘驱动器或闪速存储器等。存储部340中保存有用于安装到智能手机200的图像调节应用程序341(也称为图像输出控制程序或应用程序)以及调节量表lut。稍后描述调节量表lut的细节。

在该示例中，智能手机200从个人计算机300的存储部340下载图像调节应用程序341，并已经安装在存储部240中。

图2是示出一个实施方式涉及的图像投影系统10中的投影图像调节处理的情形的说明图。在该示例中，用户正在准备使用图像投影系统10和屏幕sc(也称为被投影面)的演示。图像投影系统10在从没有图示的荧光灯或其它设备发射的环境光ls2下使用。

个人计算机300在操作显示部330的液晶显示器上显示自发光图像m2。自发光图像m2是基于调节用图像数据以自发光显示的图像。个人计算机300也称为基准图像显示装置。另一方面，图像投影装置100利用投影光ls1将投影图像m1投影到屏幕sc上。基于从个人计算机300经由显示电缆dc输入的视频信号ms显示投影图像m1。视频信号ms是基于与自发光图像m2相同的调节用图像数据生成的视频信号。

如此，投影图像m1和自发光图像m2是基于相同的调节用图像数据显示的图像。然而，由于以下两个原因，投影图像m1和自发光图像m2通常为彼此不同的图像。

第一个原因是投影图像m1和自发光图像m2的图像显示方式的差异。投影图像m1显示作为来自屏幕sc的反射光的图像。由此，屏幕sc以由环境光ls2的反射光和来自图像投影装置100的投射光ls1的反射光合成而得的图像(投影图像m1)在视觉上被人感知。因此，投影图像m1的亮度和色度根据环境光ls2而变化。

具体地，投影图像m1的对比度由于环境光ls2而降低。此外，所谓对比度是指图像中最亮的白色与最暗的黑色的明亮度(亮度)的比率。对比度由于环境光ls2而降低的原因在于环境光ls2使投影图像m1中的最暗的黑色变亮。对比度表示作为图像中最亮的白色和最暗的黑色的范围的动态范围的大小，并且在视觉上被感知为图像的清晰度。

另一方面，自发光图像m2显示在操作显示部330的液晶显示器上。操作显示部330由于以自发光显示图像，因此自发光图像m2与投影图像m1相比具有不易受到环境光ls2影响的性质。

第二个原因在于图像投影装置100的投影部120和个人计算机300的操作显示部330的元件特性、色温及其他图像调节设定内容的差异。图像投影装置100是访问目的地处的装置，因此存在不熟悉调节方法而且不一定允许调节的问题。

图3是示出一个实施方式涉及的投影图像调节处理的内容的流程图。投影图像调节处理是通过用智能手机200对投影图像m1和自发光图像m2进行拍摄并比较来使投影图像m1接近自发光图像m2的处理。

在该示例中，用户带着智能手机200和个人计算机300来到访问目的地，并使用访问目的地的图像投影装置100进行演示。使用个人计算机300的操作显示部330预先调节演示资料的色调、对比度这样的图像质量。

在步骤s10中，用户启动智能手机200和个人计算机300的各图像调节应用程序341，将智能手机200的工作模式设定为投影调节模式。智能手机200通过无线通信自动连接到个人计算机300。由此，个人计算机300使用调节用图像数据，将用于调节的测试图案(省略图示)作为基准图像mr显示在操作显示部330上。由图像调节应用程序341具有调节用图像数据。

在步骤s20中，用户执行pc图像拍摄处理。在pc图像拍摄处理中，用户使用智能手机200的拍摄部260接收作为显示在操作显示部330上的测试图案(自发光图像m2)的发光el来进行拍摄。在拍摄中，拍摄部260使用曝光调节部261调节曝光。

由此，智能手机200生成基准图像数据，该基准图像数据表示作为基准图像的图像数据。基准图像数据是raw图像数据(rawimageformat，原始图像格式)。raw图像数据是执行raw显影处理之前的图像数据。raw图像数据被发送到个人计算机300而不执行raw显影处理。

raw显影处理包含与人类视觉系统对自然界的图像进行的处理相近似的处理。由此，智能手机200使拍摄目标的图像显示接近用人的视觉感测的图像。raw显影处理例如包括曝光调节(微调)、白平衡、对比度调节这样的调节处理。也就是说，raw图像数据是物理上表示操作显示部330的显示状态的数据，与此相对，raw显影处理之后的图像数据(例如，jpeg数据)是经过调节处理以便在视觉上不给人以不适感的数据。

在步骤s30中，用户执行投影图像拍摄处理。在投影图像拍摄处理中，用户使用智能手机200的拍摄部260接收被投影到屏幕sc上的测试图案(投影图像m1)的反射光rl来进行拍摄。测试图案(投影图像m1)是使用调节用图像数据来通过图像投影装置100投影的图像。

由此，智能手机200生成表示投影图像的投影图像数据，并将其发送到个人计算机300。投影图像数据作为raw图像数据被发送到个人计算机300，而不执行raw显影处理。投影图像数据也称为输出图像数据。

在步骤s40中，控制部310的图像调节部311执行投影图像m1和自发光图像m2之间的图案匹配分析处理，判断是否为相同图像。当判断为不是相同图像时，智能手机200在操作显示器230上显示通知图像不一致的画面(省略图示)，将处理返回到步骤s30。当判断为是相同图像时，智能手机200使处理前进到步骤s50。

在步骤s50中，图像调节部311执行差异检测处理。在差异检测处理中，图像调节部311将raw图像数据、即基准图像数据和投影图像数据分别转换成作为lab颜色空间的数据、即基准图像mr和调节前投影图像mt1。

图像调节部311还将基准图像mr和调节前投影图像mt1分解为多个块。多个块使用图案匹配处理等以分别在基准图像mr和调节前投影图像mt1之间对应的方式被分块。例如，预先设定块大小的初始值，例如10个像素(纵向)×15个像素(横向)。块大小的最小值是1个像素(纵向)×1个像素(横向)。

图4是示出在lab颜色空间上表示一个实施方式涉及的投影图像调节处理的内容的说明图。lab颜色空间具有表示亮度的维度l和补色维度(色度)的a和b，使得感知上均匀。“感知上均匀”意味着当色度值变化相同的量时，人类看到时所感知的变化也是相等的。在lab颜色空间中，a+侧是红色(r)，a-侧是绿色(g)，b+侧是黄色(y)，b-侧是蓝色(b)。a轴和b轴正交的点为无颜色。

图像调节器311对于每个块，计算维度l和补色维度(色度)的a及b的平均值。图像调节部311对于每个块，计算在维度l、补色维度a及补色维度b上的基准图像mr的平均值与调节前投影图像mt1的平均值之间的各差异。

在步骤s60中，图像调节部311基于算出的差异执行投影图像调节处理。在投影图像调节处理中，图像调节部311计算用于使调节前投影图像mt1接近基准图像mr的色度调节量ad和亮度调节量lad。对于测试图案中包含的每个块，计算色度调节量ad。图4是对于包含在测试图案中的多个块中的一个块的示例。

即，图像调节部311使用基准图像mr的色度(也称为第一色度)和调节前投影图像mt1的色度(也称为第二色度)，计算用于使第二色度接近第一色度的色度调节量ad1，作为调节量的一部分。

亮度调节量lad1例如是用于使调节前投射图像mt1的对比度接近基准图像mr的对比度的调节量。亮度调节量lad1是用于对调节前投影图像mt1进行调节、以使得在调节前投影图像mt1与基准图像mr中测试图案中的最大亮度与最小亮度的比率相接近的调节量。

即，图像调节部311使用基准图像mr的亮度分量l1(也称为第一亮度分量)和调节前投影图像mt1的亮度分量l2(也称为第二亮度分量)，计算用于使第二亮度分量l2的对比度接近第一亮度分量l1的对比度的亮度调节量lad1，作为调节量的一部分。

色度调节量ad1和亮度调节量lad1例如能够生成为调节量表lut。调节量表lut具有色度调节量ad1的查找表和亮度调节量lad1的查找表。

在步骤s70中，图像调节部311执行投影图像更新处理。在投影图像更新处理中，图像调节部311使用调节量表lut，并根据需要执行诸如内部插值或外部插值这样的处理，从而在lab颜色空间内对调节用图像数据的亮度和色度进行调节，并将调节后的调节用图像数据转换成rgb图像数据进行投影。由此，图像投影系统10能够将调节后投影图像mt2显示到屏幕sc上。

图5是示出用于提示对通过一个实施方式涉及的投影图像调节处理调节后的投影图像进行确认的操作显示画面的说明图。该操作显示画面230a响应于投影图像更新处理的完成而被自动显示到智能手机200的操作显示部230上。

在步骤s80中，图像调节部311通过操作显示画面230a向用户询问投影图像的调节是否完成。用户如果判断为调节后投影图像mt2外观上足够接近基准图像mr，则在操作显示画面230a上触摸确定(ok)图标231，如果判断为期望使调节后投影图像mt2的外观进一步接近基准图像mr，则触摸对比度调节量图标232、色调调节量图标233以及重新拍摄图标234中的一个或多个。

关于对比度调节量图标232，可以通过触摸“减少”区域来线性地减小亮度调节量lad1，通过触摸“增大”区域来线性增加亮度调节量lad1，从而能够来实时改变投影图像。关于色调调节量图标233，可以通过触摸“减少”区域来线性地减少色度调节量ad1，通过触摸“增大”区域来线性增大色度调节量ad1，从而能够实时改变投影图像。

当用户触摸确认图标231而向操作显示部230输入了完成调节的意思时，图像调节部311使处理进入步骤s100，当用户触摸重新拍摄图标234而向操作显示部230输入了请求重新调节的意思时，图像调节部311使处理进入步骤s90。

在步骤s90中，图像调节部311将个人计算机300的处理模式切换到重新拍摄模式。在重新拍摄模式中，用户执行投影图像拍摄处理。在投影图像拍摄处理中，用户使用智能手机200的拍摄部260对投影在屏幕sc上的调节后投影图像mt2进行拍摄，并确认图像的相同性(步骤s30和s40)。

在步骤s50中，图像调节部311在lab颜色空间上针对每个块，计算基准图像mr与调节后投影图像mt2的维度l、补色维度a与补色维度b的差异。在步骤s60中，图像调节部311计算色度调节量ad2和亮度调节量lad2(参照图4)，使用算出的色度调节量ad2及亮度调节量lad2，例如通过与色度调节量ad1及亮度调节量lad1进行相加处理来修正调节量表lut。在步骤s70中，图像调节部311使用修正后的调节量表lut执行投影图像更新处理。

用户根据需要重复执行这样的处理(步骤s30至s90)，在判断为调节后投影图像(例如，调节投影图像mt2)的外观足够接近基准图像mr时，在操作显示画面230a上触摸确定图标231，使处理进行到步骤s100。

在步骤s100中，图像调节部311执行调节数据保存处理。在调节数据保存处理中，图像调节部311将调节量表lut保存到存储部340中。由此，个人计算机300能够基于使用调节量表lut调节后的图像数据来生成视频信号ms，并以接近基准图像mr的颜色重现投影图像。

如此，根据本实施方式涉及的图像投影系统10，能够通过简单的方法调节投影图像，来使图像质量与个人计算机300的操作显示部330的显示图像相匹配。此时，由于在个人计算机300侧进行调节，因此不需要使用图像投影装置100的调节功能。

本发明不仅可以以上述各实施方式实施，也可以以以下变形例实施。

变形例1：在上述实施方式中使用了智能手机，但是只要可以拍摄，本发明可应用于诸如平板电脑这样的便携式终端。

变形例2：在上述实施方式中，图像调节部以查找表的方式生成调节量表进行调节的，但并不一定必须使用查找表，也可以通过调节转换矩阵的系数或生成新的转换矩阵来进行调节。

变形例3：在上述实施方式中，本发明被具体化为具有图像投影装置100和图像输出控制装置(智能手机200和个人计算机300)的图像投影系统10，但并不一定需要智能手机200。

具体而言，例如，个人计算机300也可以具备拍摄部，存储校准用数据，并被配置为仅用个人计算机300调节图像投影装置的图像的图像输出控制装置。校准用数据包括例如预先通过对在操作显示部330的液晶显示器上显示的自发光图像m2进行拍摄而生成的基准图像数据。同样地，也可以被配置为智能手机200输出视频信号ms的图像输出控制装置。

变形例4：在上述实施方式中，使用预先准备好的调节用图像数据进行了调节，但不一定需要调节用图像数据。例如，可以使用打算投影的多个图像进行调节。调节既可以使用表示多个图像中的一个图像的图像数据作为调节用图像数据(样本)来进行，也可以将从多个图像的全部分别获得的多个调节量取平均而获取一个调节量，也可以与多个图像中的每一个相关联地获取多个调节值，或者可以针对多个图像中特别重要的图像分别获取调节值。

变形例5：在上述实施方式中，将本发明应用于图像的投影，但也可以应用于图像形成处理。具体地，在本发明中，例如可以通过拍摄部拍摄印刷品并使印刷品的图像与基准图像匹配。其原因是印刷品通过环境光的反射来显示输出图像。本发明能够通过对通常在拍摄部处易受环境光影响的输出图像进行拍摄来使输出图像与基准图像匹配。