图像处理系统和图像处理方法
【专利摘要】本发明涉及一种图像处理系统，其包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视角和视点位置；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围为比所述第一范围更广角度侧。
【专利说明】图像处理系统和图像处理方法
[0001]相关申请的交叉引用
[0002]本申请基于2012年12月26日提交的日本专利申请N0.2012-282899，并主张其优先权,其全部内容以引用的方式合并入本文中。
【背景技术】
[0003]本发明涉及一种图像处理技术的改进，更具体地，涉及一种用于根据三维模型来投影广角图像的图像处理系统和图像处理方法。
[0004]迄今已知全景图像浏览器作为用于在平面上显示摄像机等拍摄的图像的显示系统。全景图像浏览器是一种将多个从不同方向拍摄的局部重合的目标图像组合起来并在显示器中显示所组合的图像的系统。
[0005]众所周知的全景图像浏览器具有多种功能，能够改变显示范围例如摇摆(视场的左右移动)、俯仰(视场的上下移动)和缩放(放大和缩小)。全景图像浏览器常常具有这种技术:将附着在圆柱体侧表面或球体外表面上的图像以该圆柱体或该球体重心上的视图投影到平面上。在这种情况下，在平面显示器上，附着在三维表面上的图像被投影成平面图像，并根据用户设置的每个摇摆、俯仰和缩放设置值进行显示。该图像的焦点取决于圆柱体的侧表面或球体的表面。
[0006]然而，现存的全景图像浏览器存在的问题是:当通过显示范围的改变操作，特别是通过缩放使视场变得比特定范围更广时，在图像的视场边缘上会产生失真等现象。
[0007]作为被设计用于显示例如全景图像的广角图像的技术，已知有非专利文献(下文中称为非专利文献I):在纽约的ACM出版的第93号文章，ACM Transactions onGraphics (TOG) Proceedings of ACM SIGGRAPH 2007，2007 年 7 月，第 3 期，第 26 卷，J.Kopf等人所著的“Capturing and Viewing Gigapixel Images”。非专利文献I公开了以能够获得全景图像的视场来显示图像的浏览器。在非专利文献I中公开的浏览器，连续控制其投影方法以在小的视场内执行透视投影以及在大的视场内执行圆柱状投影或球状投影。
[0008]然而，由于非专利文献I中的一般技术是根据缩放而改变投影方法，所以导致进行实时处理时处理复杂并且需要高性能的计算。另一方面，近来，不但在个人电脑中，而且在计算性能相对低的智能电话或平板电脑终端中也频繁提供有全景图像浏览器。在这种计算性能相对低的信息终端设备中，很难执行如非专利文献I所述的、以30fps (帧/秒，Frameper Second)进行诸如实时显示的复杂处理。
[0009]近来，信息终端设备中除包括CPU之外还常常包括作为图像计算器的GPU(Graphics Processing Unit,图形处理单元)。典型的，GPU包括诸如OPENGL等的对应于API (Application Programming Interface,应用程序接口)的计算功能,并且能够进行高速图像处理计算。然而，由于在智能电话等中提供的GPU是OPEN GL的子集版本，因此其计算模型相对简单。
[0010]考虑到上述情况，描述了这样的技术发展:即使在计算性能有限的信息终端设备中，在提供高速显示的同时，可以在以大的视场显示时，降低因目标的顶/底和左/右边缘被放大而导致的失真等。
【发明内容】
[0011]考虑到上述现有技术中的问题而提出本发明。本发明的目的是:提供一种图像处理系统、一种图像处理方法以及一种程序，部分降低了对计算性能的需求，用于显示全景图像显示器的大的视场，其能够降低因目标的顶/底和左/右边缘被放大而导致的失真等，并且高速显示。
[0012]为了达到该目的，本发明的实施方式提供:一种图像处理系统，包括接收器，用于接收定义输出范围的输入值；生成器，用于生成具有被附着到三维构造上的目标图像的三维模型；决策部，用于根据输入值来决定视点位置和视角；以及投影仪，用于从视点投影三维模型，其中，当输入值在第一范围内时，决策部优选地通过改变视角来改变视场内的目标图像的范围；当输入值在第二范围内时，决策部优选地通过改变视点来改变视场内的目标图像的范围，所述第二范围的角度边界比所述第一范围的角度边界更广。
【专利附图】
【附图说明】
[0013]图1示意性地说明了根据本发明实施例的全向图像显示系统。
[0014]图2是根据本发明实施例的全向图像显示系统的全向图像输出处理功能的框图。
[0015]图3是全向图像输出处理过程中图像数据的流程图。
[0016]图4A-4D示出了在鱼眼镜头的情况下使用的投影方法的示例。
[0017]图5A和5B示出了根据本发明实施例的全向图像格式的图像数据结构。
[0018]图6示出了在三维图形显示中执行的透视投影。
[0019]图7是示出了根据本发明实施例的图像处理器执行的全向图像显示处理的流程图。
[0020]图8示出了在预先确定的范围内显示全向图像的图像浏览器屏幕的示例。
[0021]图9是根据本发明实施例，放置在图像处理器中的平面图像生成器的功能框图。
[0022]图10示出了模型坐标系统、摄像机的视点位置(d)、视角(Θ)和场角(φ)之间的关系。
[0023]图11Α-11Ε示出了根据设计的缩放值来决定图像生成参数的方法。
[0024]图12示出了根据本发明实施例的图像处理器的硬件配置。
【具体实施方式】
[0025]下文将给出根据本发明的实施例的描述，但本发明的实施例并不限于下面的实施例。在实施例的描述中，将作为图像处理系统的例子而描述全向图像显示系统，包括全向成像设备和图像处理器，其通过全向成像设备接收图像，并为显示设备生出输出图像等。
[0026]图1示意性示出了根据本发明实施例的全向图像显示系统100的配置。图1所示的全向图像显示系统100包括:全向成像设备110、智能电话120、平板电脑终端122和个人计算机124。智能电话120、平板电脑终端122和个人计算机124中的每一个都构成了根据本实施例的图像处理器，其具有作为图像浏览器的功能，在显示器等中显示由全向成像设备110获得的图像。[0027]在如图1所示的本实施例中，全向成像设备110和图像处理器120到124通过无线 LAN(Local Area Network,局域网)、无线 USB (Universal Serial Bus,通用串行总线)、Bluetooth (注册商标)等无线连接。然而，这些设备间的连接并不限于上述连接。由全向成像设备110获得的预先确定格式的图像经由无线通信被发送给图像处理器120到124，并在经过预先确定的图像处理之后，在图像处理器120到124中所提供的显示设备上被显示。尽管上述连接状态是示例，也可以使用例如有线LAN、有线USB等有线方式。
[0028]在本文所描述的实施例中，全向成像设备110包括两个成像光学系统，其中的每一个都包括透镜光学系统和固态成像元件，并且通过各个成像光学系统从每个方向拍摄来生成图像。透镜光学系统可被配置为具有六组七镜头的鱼眼镜头。鱼眼镜头的场角大于180度(=360度/n ;n=2)，优选地为185度或更大，更优选地190度或更大。在本实施例中，鱼眼镜头包括所谓的广角镜头和超广角镜头。
[0029]全向成像设备110将由多个固态成像元件中的每一个所成像的图像组合起来，并以4 31弧度立体角生成图像(下文中，称为全向图像)。全向图像具有从拍摄点可见的全向视场。如上所述，由于鱼眼镜头的视角大于180度的场角，因此在每个成像光学系统所获得的图像的超过180度的部分中，拍摄范围是重叠的。在组合图像时，将重叠的部分被指代为基本数据，其表示同一物体，然后生成全向图像。
[0030]在本文描述的实施例中，生成4 弧度立体角的全向图像。然而，另一具体实施例也可以获得水平面上360度的图像，即全景图像。此外，本文描述的实施例具有包括两个光成像学系统的配置，但是成像光学系统的数目并不受限。在另一实施方式中，全向成像设备110可以包括这样成像设备，在光学系统中具有三个或更多的鱼眼镜头，并且具有根据通过三个或多个鱼眼镜头获得的多个图像来生成全向图像的功能。此外，全向成像设备110还可以包括这样的成像设备，其在光学系统中具有单个鱼眼镜头，并且具有根据通过该单个鱼眼镜头获得的不同方向的多个图像来生成全向图像的功能。
[0031]以特定形式的通信将生成的全向图像发送给外部图像处理器120到124。否则，将其输出给外部记录媒介，例如SD卡(注册商标)或紧凑式闪存(注册商标)。
[0032]图像处理器120到124经由连接接收全向图像，或经由记录有全向图像的外部记录媒介接收全向图像，并立即将全向图像存储到图像处理器的记录设备中。图像处理器120到124能够通过所获得的全向图像生成要被输出并要被显示在配置在图像处理器中的显示器上、或者连接在图像处理器上的例如投影仪的平面显示设备上的图像。所生成的输出图像可以被显示在平面显示设备上。图像处理器120到124也能够经由与其连接的图像形成设备将生成的输出图像输出印刷在纸张上。后面将给出对由全向图像生成输出图像的过程的详细描述。
[0033]在图1所示的实施例中，全向图像设备110和图像处理器120到124通过例如访问点、移动路由器或宽带路由器的通信设备104连接到互联网102上。在互联网102上提供有图像显示服务器130。
[0034]图1中所示的图像显示服务器130接收从全向成像设备110或图像处理器120到124发送的全向图像。图像显示服务器130存储并控制接收到的全向图像。图像显示服务器130还响应用于显示来自图像处理器120到124或其他信息处理器的图像的请求，根据全向图像生成输出图像并将该输出图像发送给发出请求的设备。因此，输出图像可以被显示在发出请求的设备中所配置的平面显示设备中。
[0035]特定实施例中，图像显示器130可以被配置为网络服务器。图像显示服务器130接收依照HTTP (超文本传输协议)的、对包括全向图像的图像进行注册的请求，并存储该全向图像。此外，在为输出图像指定了想要的全向图像的情况下，图像显示服务器130接收显示图像的请求，检索指定的全向图像，经过图像处理后生成输出图像，并以输出图像作为响应。在发出请求的设备中，在接收到图像后，由网络浏览器在平面显示设备上显示输出图像。由网络浏览器随意输出打印该输出图像。在本实施例中，图像显示服务器130还被配置为图像处理器来生成输出图像。
[0036]下文中，将参考附图2到12详细描述本实施中，由全向图像生成输出图像的全向图像输出处理。图2示出了根据本实施例的全向图像显示系统中，有关全向图像输出处理的功能框图200。图2中所示的功能框图200包括有关全向成像设备110的功能框图210，和有关图像处理器120到124和130的功能框图250。
[0037]在全向成像设备110中的功能框图210包括两个成像光学系统212A和212B，他们从各各自的不同方向成像，以及组合处理块214，根据由成像光学系统212A和212B的每一个所生成的每个图像的输入，该组合处理块214生成并输出全向图像。
[0038]图像处理器的功能框图250包括:输入部252 ;输出部254 ;全向图像存储部256 ；用户输入接收器(接收器，接收单元)258 ;平面图像生成器260以及图像输出部262。输入部252包括例如触摸屏、鼠标和键盘的输入设备。输出部254包括例如平面显示设备的输出设备，根据用户在输入部252进行的操作来显示图像处理结果；以及图像形成设备，输出图像处理结果进行打印。输入部252和输出部254可被配置在图像处理器中或与图像处理器相连的外部设备中。
[0039]全向图像存储部256存储由全向成像设备110所成像的全向图像，并且该全向图像经由上述连接或外部记录媒介被输入给图像处理器120到124。用户输入接收器(接收器，接收单元)258基于通过输入部252执行的输出范围的改变操作，根据该操作接收提供全向图像的输出范围的输入值，并将该输入值发送给平面图像生成器260。
[0040]在进行输出范围的改变操作时，有左右移动视场的摇摆(pan )操作、上下移动视场的俯仰(tilt)操作和放大或缩小输出图像范围的缩放操作。作为上述改变操作的结果，或者相反地，作为直接输入的结果，可以获得摇摆指定值、俯仰指定值和缩放指定值作为提供全向图像输出范围的输入值。
[0041]在根据所接收的输入值来生成图像的同时，平面图像生成器260确定参数(下文中，称为图像生成参数)，并根据所确定的图像生成参数由全向图像生成输出图像。图像输出部262将输出图像输出给输出部254。输出图像完全成为平面图像，以便在平面显示设备上恰当地被显示。
[0042]当图像处理器被用做例如图像显示服务器130的网络服务器时，输入部252和输出部254的配置如下。也就是说，输入部252被配置为HTTP接收者，接收有关图像注册的HTTP请求。输出部254被配置为HTTP发送者，将生成的输出图像返回给请求发送者，作为对有关图像显示的HTTP请求的响应。
[0043]图3示出了全向图像输出处理中图像的数据配置和数据流。根据本实施例的成像光学系统通过成像处理生成两个图像。在本实施例中，根据预先确定的投影方法，入射到透镜光学系统中的光在相应的固态成像设备的光接收区上成像。由在光接收区内具有平面表面的二维固态成像设备形成上述摄影图像。该图像具有由平面坐标系统标识的图像数据。在本实施例中，镜头被配置为所谓的圆形鱼眼镜头，其图像圈的直径比图像的对角线更小。因此，如图3中所示的，作为摄影图像A和B，获得的图像具有这样的平面图像配置，该平面图像包括每个摄影范围都投影到的全部图像圈。
[0044]图4A-4D示出了鱼眼镜头可以操作的投影方法示例。作为鱼眼镜头，可考虑多种配置。作为用于这种鱼眼镜头的投影方法，可以执行正交投影(图4A)、等距投影(图4B)、立体投影(图4C)和等立体角投影(图4D)。在本文所述的实施例中，由单鱼眼镜头所拍摄的图像显示出从拍摄点看的近似半球视图(从整个超过180度的场角的半球发出)。然后，如图4A-4D所示，生成这样的图像，其高度r对应于与光轴形成的入射角为β。假设焦距为f，则根据预先确定的投影模型，通过下列投影函数，可以确定从入射角β接收光线的光接收区域上的像素位置r (图像高度:从镜头焦点位置到发射方向的距离)。
[0045]r = fsin^ (ORTHOGONAL PROJECTION，正交投影)
[0046]r = f β(EQUIDISTANT PROJECTION，等距投影)
[0047]r = 2/tan(#) (STEREOGRAPHIC PROJECTION,立体投影)
[0048]r = 2/sin(y) (equisolid angle projection,等立体角投影)
[0049]根据上述对应于鱼眼镜头所选择的投影方法的表达式，方向(入射角和围绕轴的旋转角)与平面表面图像上的像素位置坐标联系起来。在优选实施例中，鱼眼镜头能够完成如图4C中所示的立体投 影。
[0050]在组合处理块214中，由两个成像光学系统212A和212B获得的两个摄影图像被组合起来，并且对于其失真和垂直失真，利用未显示的三轴加速度传感器得到的信息来修正。在图像组合处理中，首先，为每个被配置为平面表面图像的每个摄影图像生成部分重叠的半球图像的全向图像。然后，根据重叠区域匹配操作，包括各自半球部分的两个全向图像的位置被调整并且被组合。因此，生成具有整个球面的全向图像。
[0051]图5A和图5B示出了本实施例中所用的全向图像格式中的图像数据的数据配置。如图5A所示，在全向图像格式中的图像数据被表示为像素值阵列，使得与预先确定的轴的垂直角Φ和根据围绕预定轴的旋转角的水平角Θ成为坐标。这里，如图3所示，在如以下所述的坐标系中表示全向图像，该坐标系包括从轴到顶点方向的垂直角(经纬坐标中的纬度)和围绕轴到摄影光辉的顶点方向的水平角(经纬坐标中的经度)。垂直角Φ力-90度和+90度范围之间，水平角Θ为-180度到+180度范围之间。
[0052]全向格式的每个坐标值(θ，φ)对应于球表面上的每个点，所述点代表如图5Β所示的，以拍摄点为中心的全方位方向。球体的全方位方向被表示在全向图像上。通过上述投影函数和适当的坐标变换，通过鱼眼镜头拍摄的摄影图像的平面坐标与全向图像格式的球形表面上的坐标一致。
[0053]在下面，用灰色轴在图5Α中所示的全向图像格式中指示的二维坐标是从左下方开始的全向系统。在以下描述中，二维坐标将水平角的值X从O变换到根据水平方向的像素数目的值，并将垂直角的值y从O变换到根据垂直方向的像素数目的值。例如，当像素被配置为每1/10度时，水平角的值X在从O到3799的范围内，并且垂直角的值y在从O到1800的范围内。下列表达式I和2表示出了水平角的值X和水平角Θ之间的关系以及垂直角的值y和垂直角Φ之间的关系。在下述表达式I和2中，w和h分别代表全向图像格式中图像宽度(例如，3600像素)和图像高度(例如，1801像素)。
[0054]X = w*( Θ+180)/360…(I)
[0055]y = h* ( Φ+90)/180...(2)
[0056]下述表达式3和4计算在图5A中所示的全向图像的二维坐标(x，y)与全向表面的三维坐标(xs，ys, zs)之间的关系。图5B中所示的三维坐标是右手系统，其原点起始于球体中心,并且这里r代表球体的半径。
【权利要求】
1.一种图像处理系统,包括: 接收器，用于接收定义输出范围的输入值； 生成器，用于生成三维模型，其具有附加到三维构造上的目标图像； 决策部，用于根据所述输入值来决定视点的位置和视角；以及 投影仪，用于从所述视点投影所述三维模型，其中 当所述输入值在第一范围内时，所述决策部通过改变所述视角来改变视场内所述目标图像的范围；当所述输入值在第二范围内时，所述决策部通过改变所述视点来改变视场内目标图像的范围，其中，所述第二范围为比所述第一范围更广角度侧。
2.根据权利要求1所述的图像处理系统，其中 所述第二范围包括:根据从所述三维构造中心到所述视点位置的距离的增加而增加的所述视场内所述目标图像的范围，和根据所述三维构象与所述视点位置的距离的增加而减少的所述视场内所述目标图像的范围。
3.根据权利要求2所述的图像处理系统，其中 根据输出区域的大小控制所述视点的位置。
4.根据前述权利要求1-3中任一项所述的图像处理系统，其中 当所述输入值在第一范围内时，所述决策部确定所述视点在远离所述三维构造中心的位置处。
5.根据前述权利要求1-4中任一项所述的图像处理系统，其中 当所述输入值在第三范围内时，所述决策部通过改变所述视点的位置来改变所述视场内目标图像的范围，其中所述第三范围为比第一范围更小角度侧。
6.根据前述权利要求1-5中任一项所述的图像处理系统，其中 所述输入值是缩放指定值，其指定缩放程度； 所述接收器接收俯仰指定值和摇摆指定值中的至少一个，所述俯仰指定值上下改变输出范围，所述摇摆指定值左右改变输出范围；以及 所述图像处理系统还包括改变部，其将所述三维模型旋转到世界坐标系或者改变对应于俯仰指定值和摇摆指定值中的至少一个的视场的方向。
7.根据前述权利要求1-6中任一项所述的图像处理系统，其中 所述三维构造是包括至少一个附着有目标图像的内表面的立方体； 所述目标图像是由坐标系统表示的图像，该坐标系统包括至少一个角度坐标；以及 所述投影仪通过单投影方法投影。
8.一种图像处理方法，用于生成计算机执行的输出图像，该方法包括以下步骤: 接收定义输出范围的输入值； 根据所述输入值确定视点的位置和视角； 生成具有附着在三维构造上的目标图像的三维模型； 从所述视点投影所述三维模型，其中 在所述确定视点的 位置和视角的步骤中，所述计算机执行以下子步骤: 当所述输入值在所述第一范围内时，通过改变所述视角来改变视场内所述目标图像的范围，和 当所述输入值在所述第二范围内时，通过改变所述视点来改变所述视场内所述目标图像的范围，其中， 所述第二范围为比所述第一范围更广角度侧。
【文档编号】H04N5/232GK103905761SQ201310738978
【公开日】2014年7月2日 申请日期:2013年12月26日 优先权日:2012年12月26日
【发明者】庄原诚, 今江望, 原田亨, 山本英明, 上田康雄, 伊藤洋一, 泽口聪, 竹中博一, 增田宪介, 佐藤裕之 申请人:株式会社理光