图像处理装置、方法及程序与流程

本公开涉及图像处理装置、方法及程序，更具体地，涉及即使图像处理装置不是专用装置也能够确定投影平面中psf的位置和形状的图像处理装置、方法及程序。

背景技术：

对于投影仪在投影平面的psf(pointspreadfunction，点扩散函数)，已根据投影到投影平面中的测试图案正提出了建议，利用对测试图案进行成像所获得的图像估计测试图案的分布，并利用所估计的分布在投影平面中进行模糊校。例如，在npl1中，采用在投影平面具有排列的多个十字形测试图案的测试图案。

[引用清单]

[非专利文献]

[npl1]

michaels.brown，pengsong和tat-jencham，“非焦点投影仪模糊图像预处理”，计算机视觉和模式识别，2006年10月9日召开的2006ieee计算机协会会议，2006年10月9日。

技术实现要素：

[技术问题]

利用上述技术，非常难以确定psf在投影平面中的每个位置处具有何种形状、难以确定投影仪的单像素的比例的psf。

本公开考虑了上述情况，可以确定psf在投影平面中的位置和形状。

[技术方案]

在本技术的一个方面的图像处理装置包括：psf计算部，其投射具有布置在整体投影平面中的多个小图案的测试图案，所述多个小图案各自具有在预定区域中以预定间隔布置的多个单像素，并利用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个位置处的投影仪的psf(点扩散函数)。

将号码作为位置信息添加到小图案中。

将二进制代码作为位置信息添加到小图案中。

将qr码(aregisteredtrademark，注册商标)作为位置信息添加到小图案中。

psf计算部可包括psf点尺寸计算部，其利用所成像的图像计算相机尺度的psf和点尺寸；以及投影仪psf计算部，其通过缩放由psf点尺寸计算部计算得到的相机尺度的psf、利用由psf点尺寸计算部计算得到的psf点尺寸来计算投影仪的psf。

测试图案用于结构光(structuredlight，sl)。

测试图案用于不可见结构光(imperceptiblestructuredlight，isl)。

在本技术的一个方面的图像处理方法中，图像处理装置投射具有布置在整体投影平面中的多个小图案的测试图案，所述多个小图案各自具有在预定区域中以预定间隔布置的多个单像素，并利用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个位置处的投影仪的psf(点扩散函数)。

本技术的一个方面，测试图案具有布置在整个投影平面中的多个小图案，所述多个小图案各自具有在预定区域中以预定间隔布置的多个单像素，利用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个位置处的投影仪的psf(点扩散函数)。

[发明的有益效果]

利用本技术，可确定投影平面中psf的位置和形状。

本文所描述的效果完全是示例性的效果，本技术效果不限于本文所描述的效果，并且可以存在任何附加的效果。

附图说明

[图1]图1是对应点的检测状态的示例的示意图。

[图2]图2是isl示例的示意图。

[图3]图3是应用本技术的测试图案中的小图案的配置示例的示意图。

[图4]图4是整体测试图案示例的示意图，该整体测试图案中布置有如图3所示的多个小图案，并被投射到整个图像中。

[图5]图5是应用本技术的投影成像系统的配置示例的示意框图。

[图6]图6是psf点尺寸计算部的配置示例的示意框图。

[图7]图7是psf计算处理的示意框图。

[图8]图8是通过仅对一个小图案成像而获得的成像图像的示例的示意图。

[图9]图9是通过一次对多个小图案进行成像而获得的所成像的图像示例的示意图。

[图10]图10是相机尺度psf和点尺寸计算处理的示意流程图。

[图11]图11是待添加到小图案的信息的示例的示意图。

[图12]图12是待添加到小图案的信息的另一示例的示意图。

[图13]图13是待添加到小图案的信息的又一示例的示意图。

[图14]图14是待添加到小图案的信息的又一示例的示意图。

[图15]图15是使用外框中所包含的单点的数量和布置来指示位置信息的图案示例的示意图。

[图16]图16是使用外框中所包含的一个点的亮度来指示位置信息的图案示例的示意图。

[图17]图17是使用外框中所包含的一个点的rgb通道值来指示位置信息的图案示例的示意图。

[图18]图18是应用本技术的计算机的硬件配置示例的示意框图。

具体实施方式

下面将描述实现本公开的形式(下称“实施例”)。

<背景>

为了估计投影仪和相机的位姿，需要检测投影仪和相机之间的对应点。该对应点检测过程通常称为结构光(sl)。

例如，在图1的示例中，具有预定图片图案的标准化光图案12从投影仪11被投射到屏幕13，并利用相机14对所投射的标准化光图案12进行成像获得成像图像15。随后基于标准化光图案12的图片图案确定标准化光图案12和成像图像15的对应点。通过对该对应点进行三角测量等来确定投影仪11和相机14的位姿(位置关系)、屏幕13的形状等，并且可基于该结果来估计投影仪和相机的位姿。

如上所述，为了检测投影仪和相机之间的对应点，需要利用相机对期望从投影仪投射的图像(图案图像，例如灰度代码、点、检查器等，或是输入图像等)进行成像。当图像是静止图像时(图案图像或静止视频图像)，由于始终投射相同的视频图像，所以无需匹配成像时间，也可成像所需的图像，并且可检测到对应的点。

在运动图像的投射期间检测响应点以及估计投影仪和相机的位姿的方法被称为在线感测。利用在线感测来检测对应点的方法包括根据将人眼不易察觉的图案叠加在运动图像上，从而检测到对应点的不可见结构光(isl)(图2)、以及检测运动图像中的特征点，并进行特征点相互关联的方法。

isl方案是一种对预定图案的图像的结构光图案进行正反转、将反转图像隐藏在投影图像中，并投射反转图像以使人不易察觉的技术。

如图2所示，投影仪将预定的结构光图案添加到其中存在输入图像的特定帧中，从而生成其中具有与输入图像耦合的结构光图案的正图像的帧图像，从紧邻输入图像的帧减去结构光图案，从而生成其中具有与输入图像耦合的结构光图案的反图像的帧图像。随后，投影仪连续投射这些帧。由于整体效应，由人眼感测到的高速切换的正帧和负帧的两帧彼此叠加。结果，观看投影图像的用户难以识别隐藏在输入图像中的结构光图案。

相反，相机对这些帧的投影图像进行成像，确定所成像的两帧图像之间的差异，从而仅提取所成像的图像中包含的结构光图案。利用所提取的结构光图案来检测对应点。

以这种方式，在isl方案中，可以仅通过确定所成像的图像之间的差异来容易地提取结构光图案，因此能够以稳定的精度来检测对应点而不依赖于所投射的图像。

<本技术的测试图案>

本技术的测试图案是上述sl方案、以及上述isl方案等中使用的图案。具有以已知间隔布置在其中的多个单点(单像素)的图案被处理成一个区域中的小图案，所述多个小图案作为本技术的测试图案的基本配置被布置在投影平面中。

图3是应用本技术的测试图案中的小图案的配置示例的示意图。在图3的示例中，小图案为具有总计35个点以及在35个点周围具有一个像素的宽度的线(外框)的图案，所述35个点为横向七个点×纵向五个点，以每14个像素为间隔布置在其中。此外，外框的宽度可以不是一个像素而是几个像素，但一个像素的宽度是有利的。

此外，点之间间隔的像素的数量(点间距离)和单点的数量不限于以上所述，可应用等于或大于2的点的各种数量以及对于投影仪的模糊程度而言足够大的点间距离的组合。此外，在小图案中所有点间距离不需要相等，并且点可被布置成具有各种尺寸。也可提高后面描述的点尺寸计算的精度。

图4是整体测试图案示例的示意图，整体测试图案中布置有如图3所示的多个小图案，并被投射到整个图像中(下文中，简称为测试图案)。在图4中的示例中，示例中布置有横向三个x纵向三个小图案总计九个小图案，但其中所布置的小图案的数量不限于此。

在本技术中，从投影仪投射图4所示的测试图案，并通过利用相机对投影状态进行成像所获取的图像来确定投影仪的psf(点扩散函数)。

此外，在这种情况下，在其中布置有小图案的位置计算psf，而在未计算psf的每个位置，可利用线性插值等从该位置周围的多个位置的psf计算其psf，而周围多个位置的psf从所布置的那些位置计算得出。

<投影成像系统的配置示例>

图5应用本技术的投影成像系统的配置示例的示意框图。在图5的示例中，投影成像系统100由投影成像设备101和屏幕102构成。

在图5的示例中，投影成像设备101包括投影仪112、相机112、psf点尺寸计算部113、投影仪psf计算部114、校正部115、输出控制部116和存储部117。

在必要时，投影仪111将来自存储部117的测试图案和来自校正部115的校正图像投射到在屏幕102上。相机112对从投影仪111投射到屏幕上的投影图像进行成像，生成成像图像，并将所成像的图像提供给psf点尺寸计算部113。

此外，可存在多个投影仪111和多个相机112。此外，可为一个投影仪111提供一个相机112，为多个投影仪111提供一个相机112，或是为多个相机112提供一个投影仪111。

psf点尺寸计算部113从相机112成像的图像计算所成像的图像中的psf(称为相机尺度psf)，以及与所成像的图像中的投影仪的单像素相对应的像素的数量(称为点尺寸)，psf点尺寸计算部113将计算出的相机尺度psf和计算出的点尺寸提供给投影仪psf计算部114。

投影仪psf计算部114根据来自psf点尺寸计算部113的相机尺度psf和点尺寸计算投影仪尺度psf，并将计算出的投影仪尺度psf提供给校正部115。

校正部115参考从投影仪psf计算部114计算出的投影仪尺度psf，校正所成像的图像，使得相机112所成像的图像能够被正确地看到，从而生成校正图像，并将所生成的图像输出至输出控制部116。

存储部117存储测试图案等。输出控制部116控制存储部117的测试图案或校正部115的校正部图案输出到投影仪111。

<psf点尺寸计算部的配置示例>

图6是psf点尺寸计算部的配置示例的示意框图。

在该示例中，psf点尺寸计算部113包括预处理部151、帧区域提取部152、帧内点区域提取部153、点峰值坐标检测部154和点尺寸计算部155。

预处理部151执行从通过彩色成像(所成像的图像)获得的输入数据中仅提取一个通道的分量(例如亮度图像，灰度图像等)的预处理。在所成像的图像是raw数据的情况下，开发过程也包含在预处理中。

帧区域提取部152使用二值化、标记处理等去除由预处理部151提取的一个通道的数据中所包含的成像噪声，从而提取帧区域。

对于仅指示帧中内容的提取数据，帧内点区域提取部153进一步使用二值化、标记处理等进行成像噪声和点的相互分离，并将具有大区域的确定为目标，成为点区域。对此，所提取的点区域是相机尺度psf。帧内点区域提取部153将相机尺度psf提供给投影仪psf计算部114。

点峰值检测部154检测来自区域提取部153的点区域中的最大亮度点和重心点，作为点坐标。点尺寸计算部155可利用由点峰值坐标检测部154检测的点坐标确定在所成像的图像中每两个点之间的距离，并通过将该距离除以对应于点间距离的图案中的一个点的间隔来计算点尺寸。点尺寸计算部155将计算出的点尺寸提供给投影仪psf计算部114。

通过使用来自点尺寸计算部155的点尺寸对来自帧内点区域提取部153的相机尺度psf执行缩放处理，投影仪psf计算部114可确定投影仪尺度psf。

<投影成像系统的操作示例>

以下将参考图7中的流程图描述psf计算流程。

在步骤s111中，投影仪111将输出控制部116从存储部117读取的测试图案投射到屏幕112。在步骤112中，相机112对投射在屏幕上的图案进行成像，生成成像图像，并将所成像的图像提供给psf点尺寸计算部113。

例如，图8是通过仅对一个投射的小图案成像而获得的成像图像的示例的示意图。图9是通过一次对多个投射的小图案进行成像而获得的成像图像的示例的示意图。

在步骤s113中，psf点尺寸计算部113根据相机112所成像的图像计算相机尺度psf和点尺寸。将参照图10描述相机尺度psf和点尺寸的计算流程。在步骤s113的处理中计算相机尺度psf和点尺寸，并将其提供给投影仪psf计算部114。

在步骤s114中，投影仪psf计算部114基于来自psf点尺寸计算部113的相机尺度psf和点尺寸计算投影仪尺度psf。

将参考图10中的流程图描述图7的步骤s113中的相机尺度psf和点尺寸的计算流程。

在步骤s131中，预处理部151执行从彩色成像输入数据(所成像的图像)中仅提取一个通道的分量(例如亮度图像或灰度图像)的预处理。

在步骤s132中，帧区域提取部152使用二值化、标记处理等去除在步骤s131提取的一个通道的数据中所包含的成像噪声，从而提取帧区域。例如，如以上参考图9所描述的，在通过将多个小图案成像为一个图像而获得的图像构成输入的情况下，提取多个帧。在这种情况下，提供希望提取的图案的粗略坐标，并提取最接近坐标的帧。

在步骤s133，帧内点区域提取部153提取帧内点区域。换言之，帧内点区域提取部153使用二值化、标记处理等进一步执行成像噪声和点的相互分离，并将具有大区域的确定为目标，成为点区域。对此，所提取的点区域是相机尺度psf。帧内点区域提取部153相机尺度psf到投影仪psf计算部114。

在步骤s134中，点峰值坐标检测部154和点尺寸计算部155计算点尺寸。换言之，点峰值坐标检测部154检测来自帧内点区域提取部153的点区域中的最大亮度点和重心点，作为点坐标。点尺寸计算部155可利用由点峰值坐标检测部154检测的点坐标确定在所成像的图像中每两个点之间的距离，并通过将该距离除以对应于点间距离的图案中的一个点的间隔来计算点尺寸。点尺寸计算部155将计算出的点尺寸提供给投影仪psf计算部114。

由于如上所述，在图7的步骤s114中计算相机尺度psf和点尺寸，所以，投影仪psf计算部114可通过使用来自点尺寸计算部155的点尺寸对来自帧内点区域提取部153的相机尺度psf执行缩放处理来确定投影仪尺度psf。

此外，在本技术中，将这一小图案作为一个区域，从而将对每个图案来说不同的号码、代码等添加到图案的外框的附近。其中所布置的具有小图案的每个位置可被识别。

<待添加到小图案的信息示例>

图11至图17是待添加到小图案的信息的示例的各个示意图。

图11是将位置信息显示为号码的图案的示例的示意图。例如，在图11的示例中，作为位置信息的号码(06)被布置在小图案的外框中的左下方。

图12是将位置信息显示为二进制代码的图案的示例的示意图。例如，在图12的例子中，表示位置信息的二进制代码被布置在小图案的外框的上方。

图13是使用qr码显示位置信息的图案的示例的示意图。例如，在图13的示例中，指示位置信息的数量的qr码被布置在小图案的外框的左下方。

此外，在图11至图13的各个示例中，要布置位置信息的位置不限于所描述的每个示例，可位于外框附近的任何位置。

图14是使用qr码显示位置信息的图案的另一示例的示意图。例如，在图14的示例中，小图案被布置在表示位置信息的数量的qr码中。

在图14的示例中已经描述了小图案布置在qr码的中心的示例，但当小图案在qr码中时，小图案可布置在任何位置。不限于该示例，有利的是尽可能地减小白色区域。

图15是使用外框中所包含的单点的数量和布置来指示位置信息的图案的示例的示意图。例如，利用由实线围绕的五个位置处(在左上角、左下角、右上角、右上角的正下方和右下角)的每个点的显示状态和非显示状态来指示位置信息，在图15的示例中，在由实线围绕的五个位置中，左上角和右下角的点处于显示状态，左下角、右上角、右上角的正下方的点处于非显示状态。另外，图15中的实线在实际中并不显示。

图16是使用外框中所包含的单点的亮度来指示位置信息的图案的示例的示意图。例如，通过改变每个由实线围绕的两个位置(左上角和右上角)处的点的亮度来指示位置信息。在图16的例子中，由实线包围的两个位置处的亮度被设定为低。另外，图16中的实线在实际中也并不显示。在图15和图16中的示例的情况下，当确定位置时，由实线围绕的目标的位置可以是任何位置。

图17是使用外框中所包含的一个点的rgb通道的值来指示位置信息的图案的示例的示意图。例如，通过将外框中所包含的每个点的rgb通道的值设置为彼此不同来指示位置信息。在图17的例子中，每个点由r、g和b中的任何一个构成。

此外，在图16和图17中，可通过改变各自具有彼此不同的rgb通道或亮度的单点的排列顺序来表示位置信息。此外，如图17的例子所示，r、g和b各自的rsf可通过分别为r、g和b中的每一个排列点来获得。

如上所述，根据本技术，投射测试图案，并可通过成像获得的图像来确定投影仪尺度中的r、g和b各自的psf的形状以及与每个psf相对应的投影平面中的位置。

由此，在整个投影平面在一个图像中成像，以及多个位置处的图案分别被成像的情况下均可确定psf的绝对尺寸，并能实现在成像时减少约束的效果。还实现了另一个效果，即在每个位置处获得的psf可用于评估投影仪的镜头和镜头的模糊校正。

<个人电脑>

所描述的一系列过程可以由硬件执行或者也可以由软件执行。在由软件执行的一系列过程由软件安排的情况下安装在计算机中。关于这一点，这种类型的计算机包括结合在专用硬件中的计算机，能够通过安装各种程序执行各种功能的通用个人计算机等。

图18是描绘在根据程序的处理中执行上述一系列处理的个人计算机的硬件配置的示例的框图。

在个人计算机500中，中央处理单元(cpu)501、只读存储器(rom)502和随机存取存储器(ram)503通过总线504彼此连接。

输入部分506、输出部分507、存储部分508、通信部分509和驱动器510连接到输入和输出接口505。

输出部分507包括键盘、鼠标、麦克风等。输出部分507包括显示器、扬声器等。存储部分508包括硬盘、非易失性存储器、以及输出部分507。通信部分509包括网络接口等，驱动器510驱动可移动介质511，例如磁盘、光盘、磁光盘、半导体存储器等。

在如上配置的个人计算机500中，cpu501通过输入和输出接口505和总线504将例如存储在存储部分508中的程序加载到ram503上，并对程序进行编程。由此执行上述一系列处理。

可以提供记录在可移动介质511中由计算机(cpu501)执行的程序。可移动介质511例如是磁盘(包括软盘)、光盘(例如cd-rom、光盘只读存储器)、dvd(数字多功能光盘)等，磁光盘或包括半导体存储器等的封装介质。此外，也通过例如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，程序可通过将可移动介质511附加到驱动器510中而通过输入和输出接口505安装在存储部分508中。此外，程序可通过通信部分509经由有线或无线传输介质接收而安装在存储部分508中。此外，程序可预先安装在rom502或存储部分508中。

此外，由计算机执行的程序可以是用于按本文所描述的顺序执行的流程的程序，或者可以是用于彼此并行执行或者在必要的阶段(例如调用进程时)单个执行的流程的程序。

此外，在本说明书中，描述要记录在记录介质中的程序的步骤的确包括按照所描述的顺序按时间顺序执行的程序、以及无需按时间顺序执行而是彼此并行执行或是彼此分开执行的程序。

此外，在本说明书中，系统表示由多个设备(装置)构成的整个装置。

例如，本公开可采用云计算的架构，在该架构中，多个设备通过网络处理一个功能，从而共享处理并且彼此协作。

此外，在上文中，描述为一个装置(或一个处理部件)的配置可被划分以配置成多个装置(或多个处理部分)。相反，上面描述为多个装置(或多个处理部件)的配置可被集成以配置成一个装置(或一个处理部件)。此外，当然也可在每个装置(或每个处理部件)的配置中添加除了上述配置之外的配置。此外，仅当作为整个系统的配置和操作基本相同时，某个装置(或某个处理部分)的部分配置可被包括在另一装置(或另一处理部分)的配置中。简而言之，本计术不限于上述实施例，并且可以在不脱离本技术的主旨的范围内对其进行各种变型。

已参考上面的附图详细描述了本公开的优选实施例，但本公开不限于所述示例。对本公开所属领域的技术人员显而易见的是，能够在所附权利要求中描述的技术构思的范围内构思各种变型的示例或各种改进的示例，并且应当理解，这些示例自然被包含在本公开的技术范围。

此外，本技术还可采用以下配置。

(1)一种图像处理装置，包括：

psf计算部件，其投射具有布置在整个投影平面中的多个小图案的测试图案，所述多个小图案各自具有在预定区域以预定间隔布置的多个单像素；并利用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个位置处的投影仪的psf(点扩散函数)。

(2)根据上述(1)所中描述的图像处理装置，其中

测试图案被配置为具有布置在其中的多个小图案，每个小图案添加有指示小图案在投影平面中的位置的位置信息。

(3)根据上述(2)所中描述的图像处理装置，其中

小图案添加一个号码作为位置信息。

(4)根据上述(2)所中描述的图像处理装置，其中

小图案添加二进制代码作为位置信息。

(5)根据上述(2)所中描述的图像处理装置，其中

小图案添加qr码作为位置信息。

(6)根据上述(1)所中描述的图像处理装置，其中

测试图案被配置为具有布置在其中的多个小图案，每个小图案包含采用小图案中的单像素的数量、排列、亮度或颜色中的至少一个的位置信息。

(7)根据上述(1)至(6)中任一项所述的图像处理装置，其中，psf计算部包括：

psf点尺寸计算部，其利用所成像的图像计算相机尺度的psf和点尺寸；以及

投影仪psf计算部，其通过缩放由psf点尺寸计算部计算得到的相机尺度的psf、利用由psf点尺寸计算部计算得到的psf点尺寸来计算投影仪的psf。

(8)根据上述(1)至(7)中任一项所述的图像处理装置，其中，测试图案用于结构光(sl)。

(9)根据上述(1)至(7)中任一项所述的图像处理装置，其中，测试图案用于不可见结构光(isl)。

(10)一种图像处理方法，包括：

利用图像处理装置

投射具有布置在整个投影平面中的多个小图案的测试图案，所述多个小图案各自具有在预定区域以预定间隔布置的多个单像素；以及

使用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个投影位置处的投影仪的psf(点扩散函数)。

(11)一种程序，其使计算机用作：

psf计算部，其投射具有布置在整个投影平面中的多个小图案的测试图案，所述多个小图案各自具有在预定区域以预定间隔布置的多个单像素；并利用通过对投射的测试图案进行成像而获得的成像图像，计算投影平面中的每个位置处的投影仪的psf(点扩散函数)。

参考标记列表

100投影成像系统，101投影成像设备，102屏幕，111投影仪，112相机，113psf点尺寸计算部，114投影仪psf计算部，115校正部，116输出控制部分，117存储部，151预处理部，152帧区域提取部，153帧内点区域提取部，154点峰值坐标检测部，155点尺寸计算部。