用于生成全景图像的处理装置及方法
【专利说明】
[0001] 本申请是申请日为2011年9月6日、申请号为201110268148.X、发明名称为"用 于生成全景图像的处理装置及方法"的发明专利申请的分案申请。
技术领域
[0002] 本发明涉及一种用于由多个捕获图像生成全景图像的处理装置及方法。
【背景技术】
[0003] 作为全景图像生成方法，日本专利申请特开2001-136514号公报论述了一种技 术，该技术将拍摄装置能够通过摇摆来摄影的整个区域分割成多个区域，对各个区域的捕 获图像执行投影变换，并将这些图像相连接。
[0004] 作为私密掩模（privacymask)的合成方法，日本专利申请特开2001-69494号公 报论述了一种技术，该技术生成与拍摄装置的摇摆角度相对应的位置和尺寸的私密掩模， 并将该掩模叠加在捕获图像上。
[0005] 然而，存在如下可能：依据于捕获图像经受处理的位置，全景图像的质量可能劣 化。
[0006] 例如，在私密掩模区域在用于生成全景图像的多个捕获图像之间交叠的情况下， 存在如下可能：在通过对叠加有私密掩模图像的多个捕获图像执行投影变换而生成全景图 像时，私密掩模图像在连接部分处移位。
[0007] 此外，例如在私密掩模区域（以下称为"掩模区域"）在多个捕获图像之间不交叠 的情况下，存在如下可能：全景图像上应该是掩模区域的区域没有成为掩模区域。例如，描 述了如下情况，即掩模区域的位置由与掩模区域的中心位置相对应的摄像机的摆动角和倾 斜角的信息来管理，并且掩模区域的尺寸由关于宽度和高度的信息来管理。
[0008] 在此情况下，如果基于捕获所述多个图像时的摆动角和倾斜角将掩模图像叠加在 所述多个捕获图像的各个上，然后生成全景图像，则存在如下可能：应该是掩模区域的区域 从实际叠加有掩模图像的区域处移位。在具有大的倾斜角的区域（通常指全景图像的上部 区域）上该现象尤其显著。这是因为随着倾斜角的增大，与摆动控制相对应的摄像机的图 像捕获（capturing)方向的移动方向变得与绝对水平方向（justhorizontaldirection) 不同。
[0009] 此外，当包括同屏显示（on-screendisplay)功能的拍摄装置生成全景图像时，存 在全景图像的图像质量被劣化的可能。该同屏显示功能将诸如拍摄日期/时间以及拍摄地 点的同屏图像（on-screenimage)叠加在捕获图像上。更具体地说，存在如下可能：根据同 屏图像的叠加位置，将不必要的同屏图像叠加在全景图像的捕获图像的连接部分处。
[0010] 图5示出了由上述方法生成的全景图像的示例。在图5中，阴影区域示出了私 密掩模图像，而下部表示日期/时间的区域示出了同屏图像。如图5所示，根据私密掩模 图像在各捕获图像上的叠加位置，有可能在私密掩模图像的边缘部分生成不平整的区域 (irregulararea)和部分缺失区域。此外，根据同屏图像在各捕获图像上的叠加位置，有可 能叠加上不可辨识的不必要的同屏图像。
【发明内容】
[0011] 本发明提供一种用于提高由多个捕获图像生成的全景图像的质量的方法。
[0012] 根据本发明的一方面，提供了一种能够由通过多次拍摄获得的多个捕获图像生成 全景图像的处理装置，该处理装置包括：发送单元，其被构造成如果在所述捕获图像上显示 与通过摄像机捕获的图像相关的预定图像的功能为开，则向摄像机发送用于关闭所述功能 的命令；接收单元，其接收通过所述摄像机捕获的、没有所述预定图像的多个图像；生成单 元，其被构造成由没有所述预定图像的所述多个捕获图像生成所述全景图像。
[0013] 通过下面参照附图对示例性实施例的详细说明，本发明的其他特征和各方面将变 得清楚。
【附图说明】
[0014] 包括在说明书中并构成说明书的一部分的附图，例示本发明的示例性实施例、特 征和各方面，与文字描述一起，用于解释本发明的原理。
[0015] 图1是示出用于生成全景图像的网络摄像机系统的框图。
[0016] 图2是示出用于生成全景图像的处理的流程图。
[0017] 图3示出了客户机的画面显示的示例。
[0018] 图4示出了捕获图像平面和全景图像平面的概念图。
[0019] 图5示出了由传统方法生成的全景图像的示例。
【具体实施方式】
[0020] 现在，参照附图详细说明本发明的示例性实施例、特征和各方面。
[0021] 图1是示出根据本发明的示例性实施例的网络摄像机系统的框图。
[0022] 在该示例性实施例中，摄像机服务器1、阅读器（viewer)客户机2(以下称为"客 户机2"）以及用于生成全景图像的客户机3经由网络4相连。能够将多个摄像机服务器 1、客户机2以及客户机3连接到网络4。在本示例性实施例中，客户机3是用于由通过多次 拍摄获得的多个捕获图像生成全景图像的处理装置。本示例性实施例中的全景图像是具有 比一次拍摄获得的捕获图像更宽的视场角的图像。
[0023] 网络4是数字网络（例如互联网和内联网），能够利用摄像机服务器1传送摄像 机控制信号和捕获图像。在本示例性实施例中，假定传输控制协议/互联网协议（TCP/IP) (或用户数据报协议/互联网协议（UDP/IP))，作为网络协议。此外，在本示例性实施例中， 针对摄像机服务器1、客户机2和客户机3中的各个分配了不同的互联网协议（IP)地址。
[0024] 摄像机服务器1响应于来自客户机2和客户机3的图像请求命令，经由网络4发 送捕获图像。此外，摄像机服务器1响应于来自客户机2和客户机3的摄像机控制命令，执 行各种类型的摄像机控制（例如，摆动/倾斜/变焦控制）。摄像机服务器1中的图像输入 单元15获得由视频摄像机11捕获的图像（运动图像和静止图像）。在私密掩模和同屏显 示有效时，图像输入单元15将所捕获的图像输入至图像叠加单元19。在私密掩模和同屏显 示无效时，图像输入单元15将所捕获的图像输入至图像压缩单元16。
[0025] 图像叠加单元19将私密掩模图像和同屏图像叠加在输入的捕获图像上，并将叠 加后的捕获图像输入至图像压缩单元16。换言之，摄像机服务器1中的图像叠加单元19将 同屏图像和私密掩模图像叠加在捕获图像上。
[0026] 同屏图像例如是捕获图像的拍摄日期、拍摄时间或拍摄地点、文本图像以及关于 拍摄对象的图形图像、或者摄像机服务器1的标识信息。私密掩模图像例如是使得不能够 确定（specify)人员、名称或者数字的掩模图像。私密掩模可以是，例如用一种颜色绘制的 图像或者马赛克图像（mosaicimage)。
[0027] 本示例性实施例的客户机2的操作输入单元23和客户机3的操作输入单元34能 够输入私密掩模图像的叠加位置。客户机2的通信控制单元21和客户机3的通信控制单 元31根据操作输入单元23和34对叠加位置的输入，向摄像机服务器1发送包含表示叠加 位置的叠加参数的命令。
[0028] 摄像机服务器1中的图像叠加单元19将私密掩模图像叠加在捕获图像上的与从 客户机2和3通知的叠加参数、在输入叠加位置时视频摄像机11的摆动/倾斜/变焦值以 及视频摄像机11的当前摆动/倾斜/变焦值相对应的区域上。当由多个捕获图像生成了 全景图像时，根据对捕获图像上的叠加位置的输入，还将私密掩模图像叠加在全景图像上。
[0029] 然而，私密掩模的叠加位置并不限于由用户输入叠加区域而确定的示例。例如，可 以将叠加位置确定为，叠加在由图像处理检测到的面部区域上。
[0030] 图像压缩单元16将从图像输入单元15或图像叠加单元19输入的捕获图像压缩 成易于发送给客户机的数据大小，并将压缩后的捕获图像输入通信控制单元14。通信控制 单元14将经图像压缩单元16压缩的捕获图像，经由网络4发送给图像请求命令的发送源 客户机。
[0031] 存储单元18存储私密掩模和同屏显示的设定值、由客户机3生成的全景图像的各 种设定值和数据。命令解释单元17解释来自客户机2和3的命令，并控制摄像机服务器1 的各个部分。例如，命令解释单元17响应于通信控制单元14接收到摄像机控制命令，经由 摄像机/云台控制单元13控制可动云台（movablecameraplatform) 12的方向和视频摄 像机11的变焦倍率。
[0032] 本示例性实施例的图像压缩单元16对来自视频摄像机11的美国国家电视制式 委员会（NTSC，nationaltelevisionsystemcommittee)图像信号进行模拟 / 数字（A/ D)转换，然后利用移动式连续图像专家组（Motion-JointPhotographicExpertsGroup， MotionJEPG)压缩转换后的图像信息。然而，可以使用其他压缩方法。此外，命令解释单元 17