使用全景图像上的预设信息的相机控制的制作方法_3

文档序号:9691271阅读:来源:国知局
FC和第二全景图像信号DPC来生成显示驱动信号HD,并 且将生成的显示驱动信号HD提供给监视器320。进一步,显示处理部件305使用⑶I视频信号 (其基于从稍后所述的控制部件310提供的GUI显示控制信号CTg而生成)生成显示驱动信号 HD,并且将生成的显示驱动信号HD提供给监视器320。显示处理部件305可以执行控制,以使 得将从多个相机终端装置200发送的实时图像和全景图像作为列表显示在监视器320上。 [0088] 监视器320基于显示驱动信号HD驱动显示元件(例如,液晶显示元件或等离子显示 元件)、阴极射线管等,从而在屏幕上显示第一全景图像、成像方向设为中心位置的第二全 景图像、相机部件201捕获的图像(实时图像)、GUI图像等。
[0089] 在用户接口部件315中使用⑶I,并且用户接口部件315使用监视器320向用户呈现 信息。当基于所呈现的信息通过使用操作输入装置(如,指示装置、键盘等)执行用户操作 时,用户接口部件315将根据用户操作的操作信号US提供给控制部件310,并且使得执行所 期望的操作。
[0090] 基于操作信号US和监视器320的显示状态,控制部件310确定用户已选择了哪个处 理或者用户已请求了哪个处理。然后控制部件310基于确定结果生成控制信号CTm,并且将 生成的控制信号CTm提供给每个部件,从而控制中心服务器300的操作。进一步,控制部件 310基于确定结果生成命令信号CM,并且经由网络接口部件301将生成的命令信号CM提供给 相机终端装置200,从而控制相机终端装置200的操作。进一步,控制部件310生成GUI显示控 制信号CTg,并且将其提供给显示处理部件305。
[0091] 在上述示例中,相机终端装置200根据视频信号Dcam生成第一全景图像的视频信 号DF和第二全景图像的视频信号DP。然而,中心服务器300或客户端400可生成第一全景图 像的视频信号DF和第二全景图像的视频信号DP。在这种情况下,相机终端装置200的网络接 口部件206将从相机部件201输出的视频信号Dcam发送至中心服务器300或客户端400。如果 中心服务器300或客户端400提供有与相机终端装置200的信号处理部件类似的信号处理部 件,则中心服务器300或客户端400可以生成第一全景图像的视频信号DF和第二全景图像的 视频信号DP。第一全景图像的视频信号DF和第二全景图像的视频信号DP存储于中心服务器 300或客户端400中所提供的存储器(如,硬盘)中。
[0092] (3)第一全景图像和第二全景图像的显示操作
[0093]接下来说明第一全景图像和第二全景图像的显示操作。当操作开始时,控制部件 310将请求第一全景图像信号DF、第二全景图像信号DP、相机位置信息信号PM和视频编码信 号DV的传输的命令信号CM发送至每一个相机终端装置200。当第一全景图像信号DF和第二 全景图像信号DP存储于全景图像存储部件207中时,相机终端装置200读出第一全景图像信 号DF和第二全景图像信号DP,并且将它们发送至中心服务器300。另一方面,当第一全景图 像信号DF或第二全景图像信号DP未存储于全景图像存储部件207中时,相机终端装置200控 制相机部件201、信号处理部件202和成像方向控制部件204,并且在移动成像方向的同时执 行成像操作。由此,相机终端装置200生成第一全景图像信号DF和第二全景图像信号DP,并 且将它们发送至中心服务器300。注意,相机终端装置200将生成的第一全景图像信号DF和 第二全景图像信号DP存储在全景图像存储部件207中。
[0094]相机终端装置200将在成像方向控制部件204中生成的相机位置信息信号PM提供 给中心服务器300。进一步,相机终端装置200开始相机部件201的成像操作,在信号处理部 件202中压缩所获得的视频信号Dcam,并且将视频编码信号DV存储在存储器部件203中。进 一步,相机终端装置200将存储器部件203中存储的视频编码信号DV提供给中心服务器300。 注意,当相机终端装置200和网络500如图1所示那样经由代理服务器600连接时,经由代理 服务器600在每一个相机终端装置200和中心服务器300之间发送和接收信息。
[0095]中心服务器300的位置确定处理部件303确定第一全景图像或第二全景图像中的 哪个位置对应于相机位置信息信号PM所指示的成像方向,并且将位置确定结果KP提供给图 像处理部件304。如果以第二全景图像作为示例,则当例如由相机位置信息信号PM指示的角 度差为"〇度"时,由于将成像方向设为基准方向,因此成像方向的位置是第二全景图像的中 心位置。
[0096]图像处理部件304基于位置确定结果KP执行图像处理。当位置确定结果KP指示成 像方向的位置是第二全景图像的中心位置时,成像方向上的图像对应于第二全景图像的中 心。因此,不执行第二全景图像的图像处理,并且第二全景图像信号DP被作为第二全景图像 信号DPC提供给显示处理部件305。另一方面,当成像方向的位置不是第二全景图像的中心 位置时,确定成像方向的所确定出的位置和第二全景图像的中心位置之间的差异量。然后, 基于所确定出的差异量,处理第二全景图像,以使得所确定出的位置对应于图像的中心位 置,并且生成第二全景图像信号DPC。
[0097]因此,在第二全景图像中,当例如相机位置信息信号PM指示的角度差是"0度"时, 在由从显示处理部件305提供的显示驱动信号HD所驱动的监视器320的屏幕上,显示由相机 部件201捕获的图像、基准方向对应于中心位置的第二全景图像、以及与GUI有关的图像 [0098]在第一全景图像的情况下,当处于稍后所述的"用于旋转第一全景图像的模式" 时,以与第二全景图像信号DPC类似的方式,确定所确定的位置和第一全景图像的摇摄方向 中基准位置之间的差异量。然后,基于确定出的差异量,旋转第一全景图像以使得所确定出 的位置放置在图像以下(在稍后所述的中心线L上),并且生成第一全景图像信号DFC。在第 一全景图像信号DFC和第二全景图像信号DPC的每一个之中,图像处理部件304显示基于位 置确定结果KP的成像方向的位置(即,相机部件201的成像光学系统的光轴被引向的位置)。 [0099]在第一全景图像和第二全景图像任一之中,预先设置的基准位置可以固定并显示 为中心位置。在这种情况下,确定位置确定结果KP所确定的位置与预先设置的基准位置之 间的差异量,并且基于确定出的差异量,将指示相机的成像方向(相机部件201中包括的光 学系统的光轴的方向)被引向从中心位置移开该差异量的位置的光标、框等显示在第一或 第二全景图像中。
[0100]扩展处理部件302扩展视频编码信号DV,并且将所获得的视频信号Dcam提供给显 示处理部件305。控制部件310将用于执行⑶I显示的⑶I显示控制信号CTg提供给显示处理 部件305。
[0101] (4)用以生成第一全景图像的处理
[0102] 接下来参考图5到图8,说明用以生成第一全景图像信号DF的处理。当生成第一全 景图像信号DF时,针对第一全景图像的每个区域获取图像。首先,如图5中所示,相机终端装 置200的变焦固定,并且以给定间隔执行摇摄/倾斜操作,并且获取静止图像。图5中所示的 数字表示图像获取的顺序。
[0103] 接下来通过下列过程[1]~[3]执行静止图像坐标系统的坐标转换。这里,如图6中 所示,将静止图像的每个点转换为从相机终端装置200的旋转中心看时的相对位置(x,y, z) 〇
[0104] [1]水平视角为thh[度]并且纵横比为"a"的相机的视角设置在原点,并且被引向 a-ζ方向。如果在距离L的位置上考虑对象平面(x,y,-L),则可见范围为2LxX2Ly的矩形。这 里,建立了下列关系:Lx = L · tan(thh/2),Ly = Lx/a〇
[0105] [2]相机的状态(posture)在初始为(1,7,2^,9,1')。然而,考虑视角的位置固定在 原点,因此获得了等式x = y = z = 0。因此,这里仅考虑(p,q,r)(p:摇摄(y轴选择),q:倾斜(X 轴旋转),r:滚转(z轴旋转))。
[0106] [3]当使用(2Lx) X (2Ly)的矩形中的点(j,i)时,建立下列等式。
[0107] x = LxX (j-Lx)/Lx
[0108] y = Ly X (i-Ly)/Ly
[0109] z=-L
[0110] [4]使用(x,y,z)应用滚转转换、倾斜转换和摇摄转换的下列等式。
[0111] 表达式1

[0118] 这里获得的点(x3,y3,z3)的值对应于当从相机的旋转中心看静止图像中的点(x, y,z)时坐标系统中表示的值。
[0119] 接下里,将相对位置转换到炜度和经度。这里,如图7所示,将如上所述那样获得的 点(x3,y3,z3)转换到炜度和经度。点(x3,y3,z3)的方向和相对于-z方向的水平方向之间的 角度是经度,而(x3,y3,z3)的方向与x-z面之间的角度是炜度,并且炜度和经度可以通过下 列等式获得。
[0120] ?炜度(La)
[0121 ] La = tan_1(y3/: : sqrt(x3*x3+z3*z3))
[0122] # 经度(Lo)
[0123] 当 0.0〈z3 时,
[0124] 如果0·0〈χ3,则 Lo = 90.0+La
[0125] 如果0.0 2 χ3,则Lo=-90.0-La
[0126] 当0.0 2 Z3时,
[0127] Lo = tan_1(x3/z3)/RAD
[0128] 这里,RAD = 3i/180(3T:圆周率)
[0129] 接下来执行对于第一全景图像的转换。这里,如图8所示,表示所获得的炜度和经 度(La,Lo),以使得用径向轴指示炜度,用圆周坐标系统指示经度。
[0130] 以上述方式,可以生成第一全景图像信号DF。
[0131] (5)图形用户界面(GUI)
[0132] 接下来描述⑶I。图9是示出监视器320的显示屏幕的示意图。图9示出正常屏幕显 示和全屏显示两者。在任一情况下,操作面板(控制面板)显示在屏幕的左侧,而实时图像显 示在屏幕的右侧。当操作屏幕的"屏幕模式"设为"全屏(Full)"时,示出全屏显示。
[0133] 图10是图示操作面板上的操作的示意图。操作面板包括用于每一功能的面板,并 且每个面板可以折叠和存储。面板按照下列方式分类。
[0134] # 视图
[0135] 关于显示的设置
[0136] #相机控制
[0137] 关于相机操作的设置
[0138] # 全景
[0139] 全景显示 [0140] ?预设位置 [0141]关于预设的设置 [0142] # 触发
[0143] 关于触发的设置
[0144] # 其它
[0145] 其它设置
[0146] 当点击每个面板时,所点击的面板打开。图10A示出这样的状态:点击面板"视图 (View)",并且在"视图"栏下面显示菜单。另一方面,图10B指示这样的状态:点击面板"相机 控制(Camera control)",并且在"相机控制"栏下面显示菜单。图10C指示这样的状态:拖曳 面板"相机控制",并且面板"相机控制"可通过对其进行拖曳而变为浮置窗口。
[0147] 图11示出这样的状态:当点击面板"视图"时,显示诸如"屏幕模式(Screen Mode)"、"视图大小(View Size)"、"图像编解码(Image Codec)"和"帧速(Frame Rate)"之 类的菜单。对于"屏幕模式"菜单,显示模式可以变为正常模式和全屏模式。对于"视图大小" 菜单,可以指定1/4、1/2、与图像相同的大小以及适配模式。在适配模式下,图像根据当前显 示区域的大小而进行显示。对于"图像编解码"菜单,可以执行编解码改变。对于"帧速"菜 单,可以改变JPEG帧速。运动图像记录按钮用以记录运动图像,静止图像记
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1