专利名称：图像处理设备、图像处理方法及其程序以及包括该程序的记录介质的制作方法
技术领域：
本发明涉及对所拾取的宽视野(wide-field)图像执行处理的图像处理设备、 图像处理方法、其程序以及记录介质。
背景技术：
传统上，已经提出了一种技术，通过使用该技术，用户在通过使用例如鱼 眼镜头所拾取的图像中指定想要的区域，对指定区域的鱼眼镜头图像数据的畸 变像差进行校正，并且将经校正的图像显示在监视器上。所拾取的图像可以是 运动图像，也以可以是静止图像(例如，见日本专利申请公开No. 2000-324386 (见图1和说明书第
段))。
使用该日本专利申请公开No.200-324386中描述的设备，可以期望，如果用 户使用更好的方法来在照相机所拾取的图像中指定区域，则可以得到较高程度 的方便性。期望使用照相机的这种系统在将来被使用在广泛应用中，因此可能 具有将容易使用的接口提供给用户的重要任务。
发明内容
根据本发明的图像处理设备是处理包含图像拾取光学部分的畸变的图像数 据的图像处理设备，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光 学图像而获得的，该图像处理设备包括区域选择模式设置部分，其选择性地 设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像 数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选 择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使 用极坐标系指示该视野的部分区域的被选择区域；以及数据输出部分，其输出 通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所 述区域选择模式设置部分设置的第 一或第二区域选择模式中所选择的被选择区域对应。
本发明被提供有作为区域选择模式的第 一 区域选择模式和第二区域选择模 式，在这些模式中的一种模式中执行所选择区域的设置或者切换。这将实现用 户方便和容易使用的图像处理设备。可以将区域选择模式设置到例如用户偏好 的区域选择模式，或者基于拾取位置、环境、目的等的任何区域选择模式。替 代地，可以将其设置到预定的区域选择模式。因此通过选择性地设置区域选择 模式，在所设置的区域选择模式中执行被选择的区域的设置或者切换。应该注 意，景物的图像主要指的是运动图像但是也可以包括静止图像。
在本发明中，如果选择第一区域选择模式，则使用正交坐标系来切换被选
择的区域，所以，特别在例如人们 一般观看的视野(field of view)的情况下， 也就是说，在拾取诸如具有上下、左右的风景之类的图像的情况下，其是有效 的。也就是说，通过在这种情况下选择第一区域选择模式，可以由人执行非常 直观的操作。另一方面，如果选择第二区域选择模式，则使用极坐标系来切换 被选择的区域，所以特别在拾取具有诸如关于例如从水平面向上或者向下观看 的视野之类的图像的情况下，其是有效的。也就是说，通过在这种情况下选择 第二区域选择模式，可以由人执行直观的操作。
在本发明中，要在图像处理设备中使用的图像数据可以是从图像拾取部分 输出的图像数据或者从存储景物的图像的图像数据的存储设备读取的图像数 据，该图像拾取部分包括图像拾取光学部分和生成景物的图像的图像数据的图 像拾取元件，使得景物的图像通过该图像视频光学部分入射。可以将该图像拾 取部分和存储设备集成安装到图像处理设备或者与其分离。进一步，可以在构 成上仅仅使用该图像拾取部分和存储设备中的任何一个。
如果使用图像拾取部分，则可以例如提供被选择区域的图像的无畸变显示， 该被选择区域指示来自实时获得的景物的宽视野图像的视野的部分区域。另一 方面，如果使用存储设备，则可以例如提供来自已经被拾取的景物的宽视野图 像的被选择区域的图像的无畸变显示。进一步，如果使用图像拾取部分和存储 设备，则可以方便地在一个时间直观地识别实时图像和过去的图像。
在本发明中，图像处理设备可以装有方向检测传感器以根据来自该方向检 测传感器的传感器信号来设置第一或者第二区域选择模式，该方向检测传感器 检测使得光学图像入射在图像拾取光学部分上的方向。进一步，可以根据与基 于来自方向检测传感器的传感器信号确定的垂直方向有关的角度来设置区域选择模式。因此，可以根据图像拾取光学部分的图像拾取方向来切换区域选择模 式，使得例如可以根据景物的图像的向下、向上和水平拾取方向中的任何一个 来选择适当的区域选择模式，从而提高用户友好度。例如，假设在垂直方向中 使得光学图像入射到图像拾取光学部分的情况下角度为0度，如果所检测到的
角度小于45度或者不小于135则将其切换到第二区域选择模式，而如果其不小 于45度并且小于135度，则将其切换到第一区域选择模式。
进一步，可以根据角度是否超过第一阈值将其从第一区域选择模式切换到 第二区域选择模式，而根据角度是否超过与第一阈值不同第二阈值，将其从第 二区域选择模式切换到第 一 区域选择模式。因此通过彼此区分在其上将第 一 区 域选择模式切换到第二区域选择模式的阈值和在其上将第二区域选择模式切换 到第 一区域选择模式的阈值以形成滞后，可以防止由于跨越任何一个阈值的倾 斜角的波动导致在模式之间频繁切换而打扰用户，
在本发明中，图像处理设备可以装有检测与景物的接触的检测传感器，以 根据是否检测到了接触而在第 一和第二区域选择模式之间切换。
因此，在拾取景物的同时移动图像拾取光学部分的情况下，可以基于图像 拾取光学部分和景物之间的距离彼此切换区域选择模式，使得可以使用适当的 模式切换，以通过例如如果没有检测到接触，则将该设备设置到第二区域选择 模式，而如果检测到了接触，则将该设备设置到第一区域选择模式，来适应用
户的应用。
进一步，在该图像处理设备中，根据将被选择的区域设置到的状态来设置 第一区域选择模式或者第二区域选择模式。因此，可以根据被选择的区域被设 置到的状态来自动地彼此切换区域选择模式。而且，通过根据区域选择模式切 换图形用户界面(GUI)的显示，可以容易地确定任何区域选择模式。
根据本发明的图像处理方法是用于处理包含图像拾取光学部分的畸变的图 像数据的方法，该图像数据是通过生成畸变的图像拾取光学部分从无论拾取光 学图像而获得的，该方法包括区域选择模式设置步骤，选择性地设置第一区 域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表 的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而 在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系 指示该视野的部分区域的被选择区域；以及数据输出步骤，输出通过校正图像 数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置步骤设置的第 一或第二区域选择模式中所选择的被选择区域对应。也可 以将本发明应用于程序发明以及记录该程序的记录介质的发明。
因此，根据本发明，可以实现图像处理设备、图像处理方法等，其当使用 包含图像拾取光学部分的畸变的图像数据(该图像数椐是通过生成畸变的上述 图像拾取光学部分而从景物拾取光学图像获得的，执行由该图像数据表示的视 野的部分区域的图像的再现)时，可以由用户方便和容易地使用。
图1是示出根据本发明一种实施方式的图像处理系统的结构的框图2是在图像拾取元件上形成的景物图像和被选择区域之间的关系的示例
示意图3是示出图像处理部分的功能结构的框图； 图4是显示模式和区域选择模式的示例图； 图5是示例图像处理部分的特定结构的框图； 图6是示出完整图像的示意图7是示出在显示部分上显示的图像的一个例子的示意图； 图8是示出处理控制部分的操作的流程图； 图9是示出作为三维空间的球的视野的示意图IO是用于示出由图像拾取部分进行拾取时的各个视野(图像拾取范围) 的示意图11是镜头的图像高度特征的示例示意图； 图12是畸变校正处理的原理的示例示意图； 图13是在区域选择模式中的正交坐标模式中的操作的示例示意图； 图14是在区域选择模式中的极坐标模式中的操作的示例示意图； 图15示出了当用户通过输入部分指令改变被选择的区域时显示的GUI的一 个例子；
图16是当选择正交坐标模式时被指令切换被选择的区域的情况下的示例示 意图17示出了当选择正交坐标模式时顺序切换显示模式时在显示部分14上 显示的显示图像；
图18是示出当选择极坐标模式时在显示部分上显示的显示图像的示意图；图19是示出当选择极坐标模式时在发出切换指令之后的显示图像的示意
图20是示出当选择极坐标模式时在显示部分上显示的显示图像，并且解释 将被分割的显示模式中的显示上下翻转的情况的示意图21是示出在使能被分割的显示模式的选择的情况下的显示模式切换的转 变的示意图22是用于在被选择的区域中显示的图像的比例放大/缩小处理的示例示 意图23是示出在发出旋转指令之前的状态的示意图24是用于在被选择的区域中旋转图像的处理的示例示意图25是用于在被选择的区域中旋转图像的另 一种处理的示例示意图26是示出根据本发明的另 一种实施方式的图像处理系统的结构的框图27是示出由图26所示的图像处理系统执行的处理的一个例子的流程图28是示出由图26所示的图像处理系统执行的处理的另一个例子的流程
图29是示出用于存储位置信息或者轨迹信息的处理的流程图； 图30是以图29所示的流程在所显示的图像上的预定区域的轨迹的示例示 意图31是示出根据本发明的另一种实施方式的图像处理系统的结构的框图； 图32是示出根据本发明的再一种实施方式的图像处理系统的结构的框图； 图33是用于根据其中将图像拾取部分11放置在图32的图像处理系统中的
方向来切换区域选择模式MS的方式的概念示意图34是设置用于切换图33的状态So、S,和S2的阈值的方法的示例示意图； 图35是示出在图32的图像处理系统40将状态So、 S,和S2彼此切换的情
况下的操作的例程的流程图36是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情
况下的坐标计算方法的示例示意图37是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情
况下的坐标计算方法的示例示意图38是在图32的图像处理系统分别设置正交坐标模式和极坐标模式的情
况下的坐标记载方法的示例示意图；图39是在图32的图像处理系统分別设置正交坐标模式和极坐标模式的情
况下的坐标记载方法的示例示意图40是用于根据接触切换显示模式的方法的概念示意图41是示出图像拾取光学部分已经获得了 270度的视角的情况的示意图42是示出其中将图像拾取方向设置到关于水平方向向上45度的状态的
示意图43是示出其中放置图像拾取部分的例子的示意图； 图44是区域选择模式的自动切换的示例示意图45是在自动切换区域选择模式的情况下的GUI显示和图像区域移动方向 的示意图46是在包括组合模式的区域选择模式之间的切换操作的示例示意图； 图47是在包括组合模式的区域选择模式之间的切换操作的流程图； 图48是示出当操作方向按钮时的操作的流程图49是示出在本发明的再一种实施方式中，响应于被选择区域的切换改变 显示模式MH的方式的示意图50是示出在本发明的再一种实施方式中，响应于区域选择模式MS的切 换，改变显示模式MH的方式的示意图51是示出在执行显示模式切换处理的情况下的图像处理系统的操作的流 程图52是示出在执行显示模式切换处理的情况下的图像处理系统的操作的另 一个流程的流程图；和
图53是示出显示模式切换处理的另一种状态的示意图。
具体实施例方式
以下，参照附图来详细说明本发明的实施方式。
图1是示出根据本发明的一种实施方式的图像处理系统的结构的框图。 图像处理系统10被提供有图像拾:f又部分11、输入部分12、图像处理部分
13和显示部分14。进一步，通过使用图像拾取光学部分111和图像拾取元件112
构成图像拾取部分11。
使用图像拾取光学部分111来将景物图像聚焦在图像拾取元件112的成像
区域上。在这种情况下，作为图像拾取光学部分111，例如，使用广角镜头(wide-angle lens )来将宽视野景物(wide-filed subject)图像聚焦在图像拾取元 件112的成像区域上。广角镜头具有至少大约45度的视角，但不限于此。另一 方面，可以通过使用鱼眼镜头、作为一种环形镜头的全景环形镜头(PAL)等来 构成图像拾取光学部分111。进一步，替代于使用广角镜头，可以使用管形 (tube-shaped )、碗形或者圓锥形镜面，使得将宽视野景物图像可以通过该镜面 的反射聚焦在图像拾取元件112的成像区域上。进一步，可以将多个棱镜和镜 面进行组合以进一步扩展视野。例如，通过具有大约180度的视角的两个鱼眼 镜头，可以获得具有全景视角(球形空间(360度))的景物图像。
作为图像拾取元件112,例如，使用电荷耦合器件(CCD)、互补金属氧化 物半导体(CMOS)传感器等，将光转换为电信号。这种图像拾取元件112基于 景物图像生成图像数据DVa并且将其提供给图像处理部分13。
图2示出了在使用鱼眼镜头作为图像拾取光学部分111的情况下，在图像 拾取元件112上形成的景物图像和被选择区域之间的关系。如果图像拾取光学 部分111具有例如大约180度的视角并且可以由图2中的半球形球面51来表示 其视野，则在图像拾取元件112上形成的(下面称为"宽视野图像"的)景物图像 Gc将变为包含由于图像拾取光学部分111导致的畸变的图像，例如圓形图像。 因此，当基于由图像拾取元件112获得的图像数据DVa显示图像时，所显示的 图像变为具有由于图像拾取光学部分111导致的畸变的图像。在这种情况下， 如果提供指示由图像数据DVa表述的视野的部分区域的被选择区域，则该被选 择区域与例如图像拾取光学部分111的视角内的被选择区域71对应，并且与宽 视野图像Gc内的图像区域ARs对应。因此，图像处理部分13可以对图像区域 ARs的图像执行畸变校正处理以校正由于图像拾取光学部分111导致的畸变， 来显示被选择区域的无畸变的图像。因此，通过将这样的被选择区域设置为包 括例如图像拾取光学部分111的视角内的需要景物，可以显示需要景物的无畸 变图像。而且，通过切换被选择区域的位置到新位置或者改变该区域的尺寸或 者形状，还将改变与被选择区域对应的图像区域ARs的位置或者尺寸或者形状。 因此可以在校正由于图像拾取光学部分111导致的畸变的条件下，在图像拾取 光学部分lll的视角内显示任意位置或者区域的图像。
这里，可以通过指定指示图像拾取光学部分111的视角中的被选择区域71 的位置和范围的角度范围等来设置被选择的区域。进一步，因为如上所述，图 像区域Gc与的被选择区域对应，所以还可以通过指定被设置在宽视野图像Gc上的图像区域ARs的位置、范围等来设置被选择的区域。
应该注意，在使用鱼眼镜头的情况下，被选择的区域越小并且其距^L野的 中心越近，则图像区域ARs的范围与被选择区域在形状上越相像。相反，被选 择区域越大并且其距视野的边缘越近，则图像区域ARs的范围关于被选^^区域 在形状上畸变越大。
使用输入部分12来响应于用户的操作，切换被选择区域的位置，改变被选 择区域的区域尺寸和区域形状，并设置被选择区域的切换中的操作模式和图像 显示模式。输入部分12可以是任意设备，只要其可以由用户操作即可。其可以 例如是鼠标、键盘、开关设备、触摸传感器、游戏机控制器、可以被用户抓住 的杆状操控器等。输入部分12生成与用户操作对应的输入信息PS，并且将其提 供给图像处理部分13。
图像处理部分13通过使用从图像拾取部分11提供来的图像数据DVa来执 行畸变校正处理，以生成其中由于图像拾取光学部分111导致的畸变被校正的 被选择区域的图像。进一步，图像处理部分13为要被显示在显示部分14上的 图像设置显示模式，生成与这样设置的显示模式对应的显示图像的图像数据 DVd,并且将其提供给显示部分14。应该注意，图像处理部分13将宽视野图像、 畸变被校正的被选择区域中的图像等用作显示图像。进一步，图像处理部分13 设置作为当切换被选择区域的位置时被激活的操作模式的区域选择模式，并且 基于来自输入部分12的输入信息PS在这样设置的区域选择模式中切换被选择 的区域。而且，图像处理部分13执行将其设置到在初始操作开始的时候事先指 定的显示模式或者区域选择模式的处理，将其设置到显示操作完成的时候的显 示模式或者区域选择模式并且开始操作的处理等。
显示部分14由液晶显示元件、有机EL元件等构成，用于基于从图像处理 部分13提供来的图像数据DVd显示图像。
在根据本实施方式的图像处理系统10中，可以将图像拾取部分11、输入部 分12、图像处理部分13和显示部分14彼此集成或者彼此分离。进一步，可以 只将它们中的一些彼此集成。例如，如果将输入部分12和显示部分13彼此集 成，则可以容易地通过在显示部分14上确认显示来4喿作输入部分12。而且，在 图像拾取部分11中，可以将图像拾取光学部分111和图像拾取元件112彼此集 成或者彼此分离。
图3是示出图像处理部分13的功能构成的框图。图像处理部分13具有畸变校正部分13a、区域选择模式设置部分13b、显示模式设置部分13c、数据输 出部分13d和控制部分13e。
畸变校正部分13a执行畸变校正以通过使用与图像数据DVa中的被选择区 域对应的图像数据，；f交正通过图像拾取光学部分111导致的畸变，从而生成畸 变经校正的数据。
区域选择模式设置部分13b设置作为当设置或者切换被选择区域时的操作 模式的区域选择模式。该区域选择模式设置部分13b被提供有，作为区域选择 模式MS的，例如如图4所示的作为第 一 区域选择模式工作的正交坐标模式MS 1 和作为第一区域选择模式工作的极坐标模式MS2,而且选择性地设置这些区域 选择模式中的任何一个。后面将分别描述这些区域选择模式。
当将畸变经过校正的图像等显示在显示部分14上时，显示模式设置部分 13c设置显示模式。如图4中所示，例如，该显示模式设置部分13c被提供有， 作为显示模式MH的，完整图像显示模式MH1、被选图像显示模式MH2、双显 示模式MH3和分割显示模式MH4，而且设置这些显示模式中的任何一个。后 面将分别描述这些显示模式。
数据输出部分13d输出与这样设置的显示模式对应的显示图像的图像数据。 这里，如果将在由于图像拾取光学部分111导致的其畸变被校正的被选择区域 中的图像显示为显示图像，则其输出畸变经过校正的数据。进一步，如果将宽 视野图像作为显示图像显示，则其输出从图像拾取部分11提供来的图像数据。 进一步，如果显示宽视野图像和由于图像拾取光学部分111导致的其畸变被校 正的被选择区域中的图像，则其通过使用畸变经过校正的数据和从图像拾取部 分11提供来的图像数据来生成新图像数据，并且将该数据输出。
控制部分13e根据由区域选择模式设置部分13b所设置的区域选择模式MS 来设置或者切换被选择的区域。
图5是示例图像处理部分13的特定构成的框图。将图像数据DVa提供到图 像提取处理部分131和畸变校正处理部分133。
图像提取处理部分131从图像数据DVa中提取关于宽视野图像(景物图像) Gc的图像数据DVc,并且将其提供给被选择区域高亮显示处理部分132。这里， 如图2所示，宽视野图像Gc指示图像拾取元件112的传感器表面上的部分区域， 并且由图像拾取光学部分111确定。因此，如果将宽视野图像Gc的区域固定在 传感器表面，则从图像数据DVa中提取预定的图像数据并且提取宽视野图像Gc的区域的像素数据。进一步，如果可以代替图像拾取光学部分111并且宽视野 图像GC的区域在传感器表面上变化，或者如果因为可以改变图像拾取光学部分
111的光学特性所以宽视野图像Gc的区域在传感器表面上变化，则其事先标识 传感器表面上的宽视野图像Gc的区域，然后提取宽视野图像Gc的该标识的区 域的图像数据。通过例如用白色景物(white subject)充满图像拾取光学部分111 的完整视野、对其拾取以及检测图像数据DVa在白电平上占据的像素位置，来 标识宽视野图像Gc的区域，因此，可以容易地标识宽视野图像Gc的区域。
被选择区域高亮显示处理部分132执行处理，使得用户能够容易地基于被 选择区域设置信息JA，在宽视野图像Gc中，在由从后面描述的处理控制部分 135提供来的该被选择区域设置信息JA指示的被选择区域和对应图像区域ARs 之间进行区分。例如，被选择区域高亮显示处理部分132执行显示控制，使得 可以通过提供指示图像区域ARs和除了该图像区域ARs之外的区域之间的界线 的界线显示，或者通过改变除了图像区域ARs之外的区域的亮度或颜色，来标 识图像区域ARs。将该图像区域ARs的图像高亮以可以被标识，并且下面被称 为高亮图像Gs。通过执行这种图像处理，生成使得其图像区域ARs在宽视野图 像Gc中可以被标识为高亮图像Gs的图像(下面称为"完整图像Gcp")的图像 数据DVcp,并且将该数据提供给图像输出处理部分134。
与图3中所示的畸变4交正部分13a对应的畸变才吏正处理部分133通过使用 图像数据DVa生成其中由从处理控制部分135提供来的被选择区域设置信息JA 所指示的被选择区域的畸变被校正的经校正的图像数据DVsc,来校正由于图像 拾取光学部分111导致的畸变，并且将其提供给图像输出处理部分134。
与图3中所示的数据输出部分13d对应的图像输出处理部分134通过使用 图像数据DVcp和/或经校正的图像数据DVsc，基于来自处理控制部分135的显 示控制信息JH,来生成显示图像的图像数据DVd。
处理控制部分135与区域选择模式设置部分13b、显示模式设置部分13c 和控制部分13e对应。处理控制部分135设置区域选择模式，根据这样设置的 区域选择模式基于来自输入部分12的输入信息PS设置或者切换被选择的区域， 生成指示所设置的被选择区域或者新设置的被选择区域的被选择区域设置信息 JA，并且将其提供给被选择区域高亮显示处理部分132和畸变校正处理部分 133。进一步，处理控制部分135设置显示模式，根据这样设置的显示模式生成 显示控制信息JH,并且将其提供给图像输出处理部分134。处理控制部分135进一步执行处理以基于显示控制信息JH等将菜单显示包含在显示图像中。
图像处理部分13由例如诸如中央处理单元(CPU )、随机存取存储器(RAM ) 和只读存储器(ROM)之类的硬件，存储在ROM等中的软件、固件等组成。 进一步，图像处理部分13可以由现场可编程门阵列(FPGA)或者数字信号处 理器(DSP)等组成，并且还可以被提供有视频编码器、声音编码器、用于获取 上述输入信息PS的接口 、用于将图像数据DVd输出到上述显示部分14等的接 口。进一步，以FPGA和DSP分别地执行它们自己的任务的方式使用FPGA和 DSP两者。
要从输入部分12提供到图像处理部分13的输入信息PS是指示显示模式 MH和区域选择模式MS的上述设置的信息、用于切换被选择区域的指令等。进 一步，指示用于切换被选择区域的指令的信息可以包括用于在预定方向中将被 选择区域移动预定单位的信息、指示被选择区域的经改变的位置的信息等。输 入信息PS还可以进一步包括用于改变选择区域的区域尺寸的信息、用于旋转被 选择区域的信息、用于设置被选择区域的区域形状的信息等。
被选择区域不限于其中根据用户操作执行切换等的实施方式。例如，可以 考虑这样的实施方式可以如上所述地将被选择区域设置到事先指定的位置。 在这种情况下，可以事先将关于该被选择区域的信息存储在ROM、未示出的外 部存储设备等之中。进一步，在自动识别宽视野图像Gc中的特定区域的情况下， 可以考虑这样的实施方式将该自动识别的特定区域作为与被选择区域对应的 图像区域ARs处理。例如，在自动识别移动景物的情况下，可以考虑这样的实 施方式可以自动地将包括该移动景物的区域作为图像区域ARs处理。替代地， 这样的实施方式是可能的将由未示出的各种传感器在宽视野图像Gc中检测到 的图像区域作为与被选择区域对应的图像区域ARs处理。在这种情况下，传感 器可以是例如温度传感器、声音传感器、压力传感器、光学传感器、湿度传感 器、振动传感器、气体传感器或者各种传感器中的任何其他一种。将由这种传 感器生成的传感器信号提供给处理控制部分135，然后其利用该传感器信号来切 换被选择的区域或者控制相应的部分。例如，如果检测到有缺陷的温度或者声 音，则通过自动切换与其中检测到该有缺陷的温度或者声音的方向对应的被选 择区域，可以在检测到其畸变的条件下，将其中检测到有缺陷的温度或者声音 的方向的所拾取的图像显示在显示部分14的屏幕上。进一步，通过切换显示模 式、区域的尺寸或者形状等，响应于缺陷的检测，可以以用户能够容易地确认该缺陷的方式来显示图像。
应该注意，图5所示的结构仅仅是示例性的，并且图像处理部分13不限于 图5所示的结构的那种，只要其具有诸如图3中所示的机制即可。例如，如果 从图像拾取部分11提供来的图像数据DVa只指示宽视野图像Gc，则不需要提 供图像提取处理部分131。进一步，可以将被选择区域高亮显示处理部分132放 置在图像输出处理部分134的输出端，替代于放置在输入端。在这种情况中， 如果基于图像数据DVa将宽视野图像包括在图像中，则将以其可以容易被用户 标识的方式处理与宽视野图像中的被选择区域对应的图像区域。
图6示出了完整图像。如果不通过图像处理部分13对图像数据DVa执行畸 变校正，则宽视野图像Gc变为包含通过图像拾取光学部分111生成的畸变的图 像。这里，如果由处理控制部分135设置被选择区域，则被选择区域高亮显示 处理部分132执行图像处理，使得如上所述那样可以容易地标识被选择区域。 也就是说，可以提供边界显示(例如，框显示)以在所显示的宽视野图像Gc中 指示与被选择区域对应的图像区域ARs和除了该图像区域ARs之外的区域之间 的界线，或者改变除了该图像区域ARs之外的区域的亮度或者颜色以提供其中 图像区域ARs被高亮的高亮图像Gs。应该注意，如果将被选择区域设置为在完 整视野上，则与被选择区域对应的图像区域ARs指示完整宽视野图像Gc。
进一步，如果已经通过基于显示控制信息JH控制图像输出处理部分134的 操作来设置完整图像显示模式MH1，则处理控制部分135控制图像输出处理部 分134以生成图像数据DVd,通过该图像数据DVd仅仅完整图像Gcp要被显示， 其中可以诸如图6中所示的那样在宽视野图像Gc中将图像区域ARs标识为高 亮图像Gs。进一步，如果已经设置了被选择的图像显示模式MH2，则处理控制 部分13 5控制图像输出处理部分134以生成图像数据DVd,通过该图像数据DVd 仅仅要显示图像(下面称为"被选择区域显示图像")Gsc，其中对图像区域ARs 的图像校正通过图像拾取光学部分111生成的畸变。进一步，如果已经设置了 双显示模式MH3，则处理控制部分135控制图像输出处理部分134，以生成其 中如图7所示同时显示完整图像Gcp和被选择区域显示图像Gsc的显示图像的 图像数据DVd。而且，如果设置多个被选择区域，则其控制图像输出处理部分 134以生成其中完整图像Gcp与作为被选择区域显示图像Gsc的图像一同显示 的显示图像的图像数据DVd，其中校正与这些被选择区域对应的高亮图像的畸 变。这里，当如图7中所示同时显示完整图像Gcp和被选择区域显示图像Gsc时，图像输出处理部分134可以使用例如同屏显示(on screen display, OSD )技 术。
随后，下面将参照图8的流程图描述处理控制部分135的操作。处理控制 部分135执行显示模式和区域选择模式的初始设置以及被选择区域的设置 (STIOOI)。例如，当初始操作开始时，设置预先设置的显示模式或区域选择模 式。而且，将被选择区域设置到预定的尺寸并且沿着视野的预定方向。进一步， 当操作结束时，可以存储指示显示模式和区域选择模式的设置状态以及选择区 域的设置状态的信息，然后当操作下一次开始时可以使用该信息，使得操作以 之前操作结束的状态开始。
处理控制部分135确定从输入部分12提供来的输入信息PS是否是在设置 等中带来变化的信息(ST1002)。如果输入信息PS是在设置等中带来变化的信 息(在ST1002为"是")，则处理控制部分135根据所获取的输入信息PS改变显 示模式和区域选择模式的设置以及被选择的区域，并且控制畸变校正处理部分 133的操作以对经改变的被选择区域的图像执行畸变校正处理。而且，其控制被 选择区域高亮显示处理部分132,使得能够标识经改变的被选择区域的.图像。进 一步，其控制图像输出处理部分134的操作，使得可以生成与经改变的模式对 应的图像数据DVd (ST1003 )。进一步，如果所获取的输入信息PS在被选择的 区域的尺寸或者形状中带来变化，其控制畸变校正处理部分133和被选择区域 高亮显示处理部分132，使得可以与经改变的被选择区域对应地执行畸变校正处 理和高亮显示处理。例如，如果将被选择区域设置到圓形、椭圓形、三角形、 五角形或者八角形、由直线和曲线构成的形状、或者更加复杂的几何形状，则 其控制畸变校正处理部分133，使得对具有这些形状中任何一个的被选择区域中 所包括的图像执行畸变校正。其进一步控制被选择区域高亮显示处理部分132 的操作，以提供与具有这些形状中的任何一个的被选择区域对应的高亮图像。 应该注意，如果输入信息PS不带来设置或者选择上的变化(在ST1002为"否")， 则操作返回到ST1002以决定从输入部分12新提供来的输入信息PS是否带来了 设置或者选择上的变化。
下面，将在其畸变被校正的条件下处理控制部分135获取输入信息PS并且 获得被选择区域的图像的处理称为显影处理。
随后，将参照图9和IO描述其中放置图像拾取光学部分111的状态模式。 如果将视野表示为图9中所示的三维空间，则可以将被选择区域标识在球52上。应该注意，关于作为光轴的箭头OA的角度e表示入射角。
在这种情况下，如果图像拾取光学部分111由具有例如大约180度的视角 的鱼眼镜头组成，则其视野与球52的半球对应。因此，如果将图像拾取光学部 分lll向右上放置，如图IO(A)所示，则该球的上半部提供图像拾取光学部分 lll的视野。应该注意，将该球的上半部的视野称为上半球视野。而且，如果将 图像拾取光学部分111向右下放置，如图IO(B)所示，则该球的下半部提供图 像拾取光学部分111的一见野。应该注意，将该球的下半部的视野称为下半球视 野。进一步，如果将图像拾取光学部分111水平放置以从前端拾取图像，如图 IO(C)所示，则该球的前半部提供图像拾取光学部分111的视野。应该注意, 将该球的前半部的视野称为前半球视野。而且，如果替代于前端从右或者左侧 拾取图像，则分别获得右或者左半球视野。
在将图像拾取光学部分111向右上放置的情况下，也就是，将图像拾取光 学部分111的光轴大致与垂直线对准以将拾取方向向上，这种情况假设，例如， 用户可能从地面、地板或者桌子向上看。在将图像拾取光学部分111向右下放 置的情况下，也就是说，将图像拾取光学部分111的光轴大致与垂直线对准以 将拾取方向向下的情况下，这种情况假设，例如，用户可能从天花板或者天空 向下看。在水平放置图像拾取光学部分111的情况下，这种情况假设，例如， 用户从与地面垂直的墙等水平地或者平行地观看。
此外，可以考虑这样的视野向上或向下倾斜一半。在这种方式中，沿着 其中放置图像拾取光学部分111的方向(如果将图像拾取光学部分111和图像拾 取元件112彼此集成则其中放置图像拾取部分11的方向)获得半球视野。应该 注意，不仅在其中使用鱼眼镜头的情况中，而且在其中使用广角镜头或者镜面 的情况中，视野的方向根据放置的方向变化。进一步，如果视野大，则可以选 择视野的其范围的 一部分，而且可以利用视野的范围的该选择的部分。
随后，下面将描述通过畸变校正处理部分133进行的畸变校正处理。作为 畸变校正处理方法，也可以使用几何校正技术来使用普通的算法，该算法例如 将包含畸变的二维坐标系转换为不包含畸变的二维正交坐标系。在这种情况下， 可以将转换公式或者表存储在ROM或任何其他未示出的存储器中。然而，除这 种畸变校正技术之外，还可以使用任何其他公知的畸变校正技术。
图11是镜头的图像高度特性的示例示意图。在图11 (A)中，将在O点附 近的上半球:规野二维显示为在y轴方向中观看。在该图中，例如，箭头OPk指示景物方向。假设由该箭头OPk所指示的方向中所放置的景物的焦点是点Q， 则从点O到焦点Q的距离提供图像高度Lh。图11 (B)是示出该图像高度的特 性的图。其水平轴表示角度(入射角)9而其垂直轴表示图像高度Lh。可以事 先将其数据作为转换表存储在存储器中。
图12是畸变校正处理的原理的示例示意图。如果12 ( A)是示出要在显示 部分14上显示的图像的范围的显示面81。图12 (B)示出了其中在上半球视野 中关于球51设置显示面81的状态。这里，如果将被选择区域中的图像显示在 显示部分14上，则在示出该显示图像的范围的显示面81与被选择的区域对应。 图12 (C)示出了其中将图12 (B)中所示的球51投影到x-y面上，使得该球 51投影到的区域与完整图像Gcp的区域对应的状态。
下面将描述例如关于上半球视野的球51设置的显示面81上的点P之类的 点。假设该点P的位置是P(u, v， w),因为OP = (u2+v2+w2)1/2，所以可以通过计 算6-arccos[w/((u2+v2+w2)"2)]来获得角9。应该注意，假设显示面的中心为HO。 进一步，通过事先获得图像拾取光学部分111的上面图像高度特性并且存储角
度e和图像高度Lh的转换表，可以通过计算角度e获得关于点p的图像高度Lh。
进一步，假设x-y面和从点P向x-y面画的垂直线之间的交叉点是点P，(u, v, w)， OP，=OPxsin(e)。 因此，焦点 Q(xp, yp)取这样的位置，其中 xp=uxLh/((u2+v2+w2)1/2xsin(e)l yp = vxLh/((u2+v2+w2)1/2xsin(e),因此，可以获得 焦点Q(xp,yp)。
进一步，可以在获得x轴和与点P对应的x-y面上的点P，的方向之间的角(p 之后，从角0和图像高度Lh中获得焦点Q的位置。这里，可以通过计算cp = arccos[u/((i^+vY"]来计算角cp。因此，关于x轴在角(p的方向中离开点O有图 像高度Lh的位置提供焦点Q。
通过从图像拾取像素112中获得因此获得的焦点Q的像素信号，基于图12D 所示的像素数据在显示面81上画点P。进一步，通过对显示面81上的每个点(像 素)执行相同的处理，可以在显示面81上显示由于图像拾取光学部分111导致 的其畸变被校正的图像。应该注意，如果不存在与焦点Q对应的像素信号，则 可以使用焦点Q附近的像素的像素信号来生成与焦点Q对应的像素信号。例如， 通过焦点Q附近的像素的像素信号之间的内插等，可以生成与焦点Q对应的像 素信号。通过这样通过使用与显示面81上的每个点对应的焦点Q的像素数据来执行 绘制，可以获得畸变经过校正的图像，使得处理控制部分135生成能够标识与 被选择区域对应的焦点的信息，也就是说，与被选择区域对应的图像区域ARs， 作为被选取区域设置信息JA。例如，处理控制部分135通过使用图12B中所示 的角e和cp生成指示被选择区域的信息，作为被选择区域设置信息JA。在这种 情况下，可以从与角0和角cp对应的图像高度Lh中标识与被选择区域对应的图 像区域ARs,使得被选择区域高亮显示处理部分132可以生成其中与被选择区 域对应的图像区域ARs被给作高亮图像Gs的完整图像Gcp的图像数据DVcp 。 进一步，通过基于在与被选择区域对应的显示面上指示那些像素的角0和(p获 得与每个像素对应的像素数据，畸变校正处理部分133可以生成其上执行畸变 校正处理的被选择区域显示图像Gsc的畸变经过校正的图像数据DVsc。进一步， 即使如果将指示被选择区域的范围的坐标值用作被选择区域设置信息JA,通过 执行上述计算处理等，也可以生成完整图像Gcp的图像数据DVcp和被选择区 域显示图像Gsc的畸变经过校正图像数据DVsc。进一步，通过使用坐标值，即 使被选择区域具有复杂的形状，也可以容易地示出被选择区域。
随后，下面将描述区域选择模式。作为区域选择模式MS，如图4所示，准 备作为第 一 区域选择模式工作的正交坐标模式MS 1和作为第二区域选择模式工 作的极坐标模式MS2。
正交坐标模式MS1是这样的模式，其使得如果从与地面垂直的墙水平或者 平行地观看为前半球视野，例如如图IO(C)所示，则可以容易地获得需要景物 的畸变经过校正的图像。具体地说，如果从输入部分12提供指示用于切换被选 择的区域的指令的输入信息PS，则处理控制部分135执行计算处理以基于切换 指令在正交坐标系的轴方向中移动被选择区域71，从而生成指示新设置的被选 择区域的被选择区域设置信息JA。
图13是在区域选择模式中的正交坐标模式MS1中的操作的示例示意图。 在正交坐标模式MS1中，根据切换指令使用正交坐标系来切换被选择区域71。 切换指令例如指示切换后被选择区域的x坐标值和y坐标值，或者该被选择区 域的x方向和y方向移动距离，,人而在正交坐标上切换被选取的区域71。这里， 如果仅仅改变了 x坐标和y坐标中的一个，则被选择区域71沿着正交坐标系的 轴方向移动到新位置。进一步，如果改变了 x坐标和y坐标，则被选择区域71 关于正交坐标系的轴方向倾斜移动5 'J新位置。如果通过基于切换指令在x轴方向中移动它来顺序设置被选择区域71，则 在被选择区域71中的任意点(例如，中心PO)的轨迹跟随线51x。另一方面， 如果通过基于切换指令在y轴方向中移动它来顺序设置被选择区域71,则在被 选择区域71中的中心PO的轨迹跟随线51y。应该注意，当被选择区域71移动 时，图像区域ARs也移动。
以这种方式，在正交坐标模式MS1中，通过改变正交坐标系的坐标值来切 换上述被选择区域。因此，通过在提供前半球视野的情况下选择正交坐标模式 MS1,可以容易地将被选择区域71根据被选择的区域切换指令设置到水平或者 垂直移动的位置，使得可以将显示部分14上所显示的图像容易地切换到在想要 的方向中存在的图像。例如，可以容易地选择水平排列的景物的想要的一个并 且将其进行显示。
随后，下面将描述极坐标模式MS2。极坐标模式MS2是这样的模式，使得 如果从地面、地板或者桌子向上观看作为上半球视野，例如如图10 (A)所示， 或者如果从天花板或者天空向下观看作为下半球视野等，如图IOB所示，可以 容易地获得在其上执行畸变校正的需要景物的图像。具体地说，如果从输入部 分12提供指示用于切换被选择区域的指令的输入信息PS,则处理控制部分135 执行计算处理以基于切换指令，在其中极坐标系的幅角改变的方向中移动被选 择区域71,从而生成指示新设置的被选择区域的被选择区域设置信息JA。
图14是在区域选择模式中的极坐标模式MS2中的操作的示例示意图。在 极坐标模式MS2中，根据切换指令使用极坐标系来切换被选择区域71。如果将 视野表示为如图14所示的三维空间，例如，则切换指令指示切换后被选择区域 的幅角9ag和幅角cpag以及幅角6ag的变化角或者幅角cpag的变化角，使得可以 在极坐标中切换被选4奪区域71。这里，如果只改变了幅角0ag和幅角cpag中的 一个，则被选择区域71在其中极坐标的幅角0ag被改变的方向(下面称为"0ag 改变的方向)中，或者在其中极坐标的幅角cpag被改变的方向(下面称为"cpag 改变的方向)中移动到新位置。进一步，如果幅角eag和幅角cpag被改变，则 一皮选l奪区域71关于才及坐标系的9ag改变的方向或者cpag改变的方向倾斜地移动 到新位置。
如果通过基于切换指令在0ag改变的方向中移动选择区域71来顺序设置 它，则在被选择区域71中的任意点(例如，中心PO)的轨迹跟随线51r。另一 方面，如果通过基于切换指令在cpag改变的方向中移动选择区域71来顺序设置它，则在被选择区域71中的中心PO的轨迹跟随线51s。应该注意，当被选择区
域71移动时，图像区域ARs也移动。
进一步，如果使用在二维空间中表示的图像来表示视野，则其后指令指示 例如切换后被选择区域的幅角cpag和移动半径或者幅角cpag的变化角或者移动 半径的变化，从而也在使用二维空间表示视野的情况下在极坐标中切换被选择 的区域71。
以这种方式，在极坐标模式MS2中，通过改变极坐标系的幅角和/或移动半 径来切换被选择区域。因此，通过在提供上或下半球视野的情况下选择极坐标 模式MS2，可以将被选择的区域71容易地设置到通过根据被选择区域切换指令 在幅角改变的方向中移动而到达的位置，使得可以将在显示部分14上显示的图 像容易地切换到在需要方向中存在的图像。例如，可以容易地选择在图像拾取 光学部分111周围排列的景物中想要的一个并且将其进行显示。
图15示出了当用户使用输入部分12操作被选择区域时所显示的图形用户 界面(GUI)的一个例子。可以将图15 (A)和15 (B)中示出的操作输入屏幕 Gu与已经在图7中示出的完整图像Gcp和被选择区域显示图像Gsc —同显示在 显示部分14上。替代地，可以将操作输入屏幕Gu和完整图像Gcp等在不同的 显示部分上分开显示。进一步，可以在例如显示部分12上提供与在其上显示完 整图像Gcp和被选择区域显示图像Gsc的显示部分14分离的显示部分，这样在 该显示部分上提供GUI显示。操作输入屏幕Gu被纟是供有方向按钮组Gua或者 方向按钮组Gub,"放大，，按钮Gucl，和"缩小"按钮Guc2。在图15 (A)中，作 为方向按钮组Gua，例如，有中间的"选择"按钮Gual和在其周围的诸如"上"、 "下"、"左"和"右"之类的其他方向按钮Gua2。进一步，在图15 (B)中，作为 方向按钮组Gub，例如，有中间的"选择"按钮Gubl和在其周围的诸如"北"和"SE (东南)"之类的其他方位按钮Gub2。
图16是当选择正交坐标模式MS1时指令切换被选择区域的情况的示例示 意图。在该例子中，描述了其中使用双显示模式MH3作为显示模式MH的情况。 进一步，在下面的描述中，使用其中用户在观看图15 (A)中所示的操作输入 屏幕Gu等时执行操作的例子。
假设在图16 (A)所示的状态中用户通过使用鼠标或者键盘等按下方向按 钮Gua2中的"左"按钮一次或者连续多次。应该注意，"连续按下，，指的是其中如 果按钮被按下一次则被保持按住不释放的状态，即"连续按下"。如果以这种方式按下"右"按钮，根据通过输入部分12输入的对应输入信息
PS，在图像处理部分13中的处理控制部分135在与正交坐标模式MS1对应的 方向中对被选择区域执行切换处理，从而生成指示新设置的被选择区域的被选 择区域设置信息JA。进一步，处理控制部分135将所生成的被选择区域设置信 息JA提供给被选择区域高亮显示处理部分132以改变高亮显示区域，使得高亮 图像Gs可以显示与新设置的被选择区域对应的图像区域ARs。而且，处理控制 部分135将所生成的被选择区域设置信息JA提供给畸变校正处理部分133,以 提供与新设置的被选择区域对应的图像区域ARs的图像，作为其中通过图像拾 取光学部分111生成的畸变被校正的被选择区域显示图像Gsc。
进一步，图像输出处理部分134根据显示模式生成包括被选择区域显示图 像Gsc的显示图像的图像数据DVd,并且将其提供给显示部分14。
因此，在显示部分14中，如果图16(B)所示，显示其中被选择区域向右 移动的图像。而且在完整图像Gcp中，更新高亮图像Gs的位置。进一步，如果 多次或者连续按下"右"按钮，则处理控制部分135根据"右，，按键被操作的次数或 者其被按住的时间段为被选择的区域设置移动距离。以这种方式，处理控制部 分135在正交坐标系中执行显影处理，以在显示部分14上显示被选择区域显示 图像。
进一步，如果由用户按下"上"按钮，根据对应的输入信息PS,处理控制部 分135对被选择的区域执行切换处理，以使得显示部分14显示当切换被选择区 域时移动的图像区域ARs的高亮图像Gs,作为其中通过图像拾取光学部分111 生成的畸变被校正的被选择区域显示图像Gsc。
可以以不同的方式利用图15 (A)和15 (B)中的相应"选择"按钮Gual和 Gub 1 。例如，它们可以被用作记录开始按钮以记录当前图像区域ARs中的被选 择区域显示图像Gsc。进一步，在不将图像区域ARs显示为高亮图像Gs的情况 下，它们可以被用作区域选择操作开始按钮来开始区域选择操作，使得用户在 该图像区域ARs被显示为高亮图像Gs的条件下可以选择区域。替代地，它们可 以被用作显示模式MH的切换按钮或者各种其他确定按钮中的任何一个。
进一步，在预定方向中适当地设置图像拾取部分ll上的参考位置的情况下， 例如，在向北的方向上，如果处理控制部分135确定方向按钮Gu2中的"东"按 钮被操作，则处理控制部分135在"东"方向中新设置被选择的区域，从而更新被 选择区域显示图像Gsc。进一步，如果处理控制部分135确定"西"按钮被操作，则其在"西"方向中新设置被选择区域，从而更新被选择区域显示图像Gsc。以这
种方式，通过操作指示想要的方向的按钮，可以将已经把被选择区域设置到想
要的新位置的图像显示在显示部分14上，而不生成畸变。
应该注意，图15 ( A)和15 (B)中所示的GUI显示只是示例性的，当然 不限于此。
图17示出了当如果例如选择了正交坐标模式则顺序切换显示模式时在显示 部分14上显示的显示图像。图17 (A)示出了在设置完整图像显示模式MH1， 只显示完整图像Gcp的情况下的显示图像。图17 (B)示出了在设置被选图像 显示模式MH2只显示被选择区域显示图像Gsc的情况下的显示图像。图17(C) 示出了在设置双显示模式MH3显示完整图像Gcp和被选择区域显示图像Gsc 的情况下的显示图像。进一步，如果彼此顺序切换那些显示模式，则循环切换 完整图像显示模式MH1 、被选图像显示模式MH2和双显示模式MH3。
图18示出了当选4奪极坐标模式MS2时在显示部分14上显示的显示图像。 进一步，图18示出了其中提供两个被选择区域的情况。应该注意，被选择区域 的数量不限于一个或者两个，而是可以由用户任意设置。例如，可以在每次操 作图15(A)或者15 ( B )中所示的"菜单，，按钮Guc3或者其他未示出的任何GUI 显示被使用时将该数量增加。在这种情况下，处理控制部分135根据来自输入 部分12的输入信息PS执行处理，以提供多个被选择区域。替代地，与来自输 入部分12的输入信息PS无关地，之前可以在设置中提供多个预定的被选择区 域。进一步，如果设置分离显示模式MH4，则根据来自输入部分12的输入信息 PS，处理控制部分135可以独立生成被选择区域的被选择区域显示图像，并且 将它们同时显示在显示部分14上。
现在，下面将假设极坐标模式MS2的描述。为了简化描述，在图18中假 设机器人可以通过非常小以致人不能进入的管道的状态。进一步，假设该机器 人装配有由例如广角镜头组成的图像拾取光学部分111。进一步，假设管道具有 在其内壁91的上部形成的裂缝92。被选择区域显示图像Gscl是第一被选择区 域图像。也就是说，其是其中对与第一被选择区域对应的图像区域ARsl的高亮 图像Gsl执行畸变校正处理的图像。进一步，被选择区域显示图像Gsc2是其中 对与第二被选择区域对应的图像区域ARs2的高亮图像Gs2执行畸变校正处理的 图像。
在图18 (A)的状态中，如果从输入部分12提供来的输入信息PS是用于在图14中所示的极坐标系的(pag改变的方向中切换被选择区域的切换指令，例 如，处理控制部分135执行处理以根据切换指令在(pag改变的方向中切换被选 择区域，并且将指示处理后被选择区域的被选择区域设置信息JA提供给被选择 区域高亮显示处理部分132和畸变校正处理部分133。选择区域高亮显示处理部 分132基于被选择区域设置信息JA显示与处理后被选择区域对应的高亮图像 Gsl和Gs2。基于被选择区域设置信息JA，在通过图像拾取光学部分111生成 的畸变被校正的条件下，畸变校正处理部分133校正与处理后被选择区域对应 的图像区域ARs 1和ARs2的图像成为被选择区域显示图像Gsc 1和Gsc2 。因此， 如图18(B)所示，在发出切换指令之后的显示图像是发出切换指令之后的被选 择区域的图像，其将被显示作为被选择区域显示图像Gscl和Gsc2。进一步，高 亮图像Gsl和Gs2适当地指示被选择区域显示图像Gscl和Gsc2的区域。在这 种情况下，已经在完整图像Gcp上逆时针方向移动图像区域ARsl和ARs2，而 如果切换指令是相反方向的，则已经被在顺时针方向上移动。
进一步，在图18 (A)的状态中，如果来自输入部分12的输入信息PS是 用于在图14所示的极坐标系的eag改变的方向中切换被选择区域的切换指令， 例如，处理控制部分135根据切换指令执行处理以在0ag改变的方向中切换被 选择区域，并且将指示处理后被选择区域的被选择区域设置信息JA提供给被选 择区域高亮显示处理部分132和畸变校正处理部分133。被选择区域高亮显示处 理部分132基于被选择区域设置信息JA显示与处理后被选择区域对应的高亮图 像Gsl和Gs2。基于被选择区域设置信息JA,在通过图像拾取光学部分111生 成的畸变被校正的情况下，畸变校正处理部分133将与处理后被选择区域对应 的图像区域ARsl和ARs2的图像校正为被选择区域显示图像Gscl和Gsc2。因 此，如图19所示，在发出切换指令之后显示图像是在发出切换指令后的被选择 区域的图像，将其显示为被选择区域显示图像Gscl和Gsc2。进一步，高亮图像 Gsl和Gs2适当地指示被选择区域显示图像Gscl和Gsc2的区域。在这种情况 下，已经在完整图像Gcp上径向地将图像区域ARsl和ARs2彼此移动靠得更近， 而且如果切换指令是相反方向的，则已经在完整图像Gcp上彼此移动离开更远。
应该注意，在极坐标模式MS2中，例如，可以使用鼠标、键盘、触摸传感 器等来切换被选择区域，在这种情况下GUI可以是任何形式。
在极坐标模式MS2中，例如，关于图18 (A)中所示的显示图像的状态， 如图20所示，可以根据从输入部分12获取的输入信息PS,在其净皮向下旋转180度的情况下将显示部分14的下部上的被选择区域显示图像Gscl进行显示，而 在其被向上旋转180度的情况下将显示部分14的上部上的被选择区域显示图像 Gsc2进行显示。以这种方式，用户可以方便地在容易观看的角度观看图像。
当然，仍然在上述的正交坐标模式MS1中，提供多个被选择区域，使得可 以对应显示分割显示模式MH4,替代地，在正交坐标模式MS1和极坐标模式 MS2中，即使如果提供多个被选择区域，图像处理部分13也替代于生成一个屏 幕的组合的畸变经校正的图像，而生成一个被选择区域的被选择区域显示图像， 并且将其输出到显示部分14。在这种情况下，由图像处理部分13中的处理控制 部分135,根据来自输入部分12的输入信息PS或者预定的设置信息，来控制是 否输出在一个屏幕上显示该一个被选择区域的被选择区域显示图像的图像数据 或者是否生成多个被选择区域的被选择区域显示图像并且将那些被选择区域显 示图像显示在一个屏幕上。
在极坐标模式MS2中，例如，每次用户操作"菜单"按钮Guc3时，处理控 制部分135与正交坐标模式MS1类似地切换显示模式MH。进一步，如果提供 多个被选择区域，则可以选择分割显示模式MH4。
图21是示出在使能分割显示模式MH4的选择的情况下显示模式的改变转 换的示意图。这里假设提供四个被选择区域。例如，在显示中，可以切换其中 在双显示模式MH3中显示一个被选择区域经校正图像的模式(图21 ( A))、其 中在双显示模式MH3中其被上下翻转的条件下显示一个被选择区域显示图像的 模式(图21 (B))、其中在分割显示模式MH4中显示两个被选择区域经校正图 像的模式(图21C)、其中在分割显示模式MH4中将它们上下翻转的条件下显 示其中显示两个被选择区域经校正图像的图像的模式(图21 (D))、其中在分 割显示模式MH4中显示四个被选择区域经校正图像的模式(图21 (E))、以及 其中在分割显示模式MH4中将它们上下翻转的条件下显示其中显示四个被选择 区域经校正图像的图像的模式(图21 (F))。应该注意，由于在图21中不是所 有的被选择区域经校正图像都被显示，所以可以切换要被显示的被选择区域经 校正图像。应该注意，当然允许使能切换到完整图像显示模式MH1和被选图像 显示纟莫式MH2。
以这种方式，根据本实施方式，由于例如通过根据视野的方向切换区域选 择模式将正交坐标模式MS1和极坐标模式MS2提供为区域选择模式，所以可以 执行直观和容易理解的操作，并且实现图像处理设备对用户方便和容易使用。除了上述处理之外，图像处理部分13还可以^执行处理以放大或者缩小以及 旋转被选择区域显示图像。
下面将参照图22描述用于放大/缩小被选择区域显示图像的处理。在图22
(A) 所示的状态中，例如，用户操作图15 (A)和15 (B)中所示的"放大"按 钮Gucl。然后，处理控制部分135执行处理以根据当前输入信息PS缩小被选 择区域的范围，并且将指示处理后被选择区域的被选择区域设置信息JA提供给 被选择区域高亮显示处理部分132和畸变校正处理部分133。被选择区域高亮显 示处理部分132基于被选择区域设置信息JA,显示与处理后被选择区域对应的 高亮图像Gsl和Gs2。畸变校正处理部分133执行校正处理，以将与处理后被 选择区域对应的图像区域ARs 1和ARs2的图像校正为被选择区域显示图像Gsc 1 和Gsc2,在Gscl和Gsc2中，基于被选择区域设置信息JA校正通过图像拾取 光学部分111生成的畸变。这里，如果如图22 ( A)所示提供双显示模式MH3， 则如图22B中所示，除了完整图像Gcp的显示区域以外，将与经缩小的被选择 区域对应的被选择区域显示图像Gsc显示在完整屏幕上，使得显示缩小后的显 示图像以与图22A相比较放大在图像区域ARs中包括的人图像GM。应该注意， 由于将被选择区域缩小，所以在完整图像Gcp中的图像区域ARs变得更小。
相反，如果用户操作"缩小"按钮Guc2，则处理控制部分135执行处理以根 据当前输入信息PS缩小被选择区域的范围，并且将指示处理后选择区域的被选 择区域设置信息JA提供给被选择区域高亮显示处理部分132和畸变校正处理部 分133。因此，与放大被选择区域对应的图像区域ARs的高亮图像Gs使得其畸 变被校正，并且被在除了完整图像Gcp的显示区域的完整屏幕上显示为被选择 区域显示图像，使得显示在图像区域ARs中所包括的人图像GM与图22A相比 较减小。以这种方式，可以执行放大/缩小处理。
随后，下面将参照图23和24描述其中由图像处理部分13转转被选4^区域 的图像并且将其进行显示的情况。图23 (A)和23 (B)示出在指令"旋转"操作 之前的状态，其中图23 (A)示出了其中以这样的方式设置被选择区域的情况 例如将完整图像Gcp中的人图像GM包括在图像区域ARs中。另一方面，图23
(B) 示出了被选择区域显示图像Gsc,其是通过对图像区域ARs的高亮图像 Gs执行畸变校正处理获得的图像。如果用户发出"旋转"操作指令，如图24 ( A) 所示，则处理控制部分135对被选择区域执行改变处理，使得其可以根据输入 信息PS绕着图像区域ARs的大致中点旋转。在这种情况下，在与改变后被选择区域对应的图像区域ARs中，以反方向旋转人图像GM。因此，通过为与改变 后被选择区域对应的图像区域ARs的高亮图像Gs生成被选择区域显示图像
GM的图像，如图24(B)所示。通过这种旋转处理，用户可以以容易观看的角 度方便地观看观察对象。
进一步，替代于旋转被选择区域，可以旋转完整图像Gcp。例如，从如图 25 (A)所示的其中随着轴在正交坐标模式MS1中移动x轴(摇动(pan)轴) 变为水平方向而y轴(俯仰(tilt)轴)变为垂直方向的状态，例如，将完整图 像Gcp与这些x轴和y轴一起逆时针方向旋转，高亮图像Gs也是如此，如图 25 (B)所示.。在这种情况下，没有在被提供到显示部分14的被选择区域显示 图像Gsc中导致的变化。因此可以在上述旋转方向中校正照相机放置角的倾斜， 或者故意旋转完整图像Gcp并且将其作为特殊效果在完整图像显示模式MHl中 显示。
图26是示出根据本发明另一种实施方式的图像处理系统的构成的框图。下 面，将简化或者省略与图1中所示的图像处理系统10的那些类似的装置、功能 等的描述，以集中在不同方面。
图像处理系统20具有这样的结构以将存储设备21添加到图1所示的图像 处理系统10中。存储设备21是用于存储例如由图像拾取部分11生成的图像数 据DVa和由图像处理部分13生成的各种图像数据的设备。作为在存储设备21 中使用的存储装置，可以使用诸如光盘、磁盘、半导体存储器、介电存储器、 类似磁带的存储介质之类的可以存储图像数据的存储装置。
如果例如将图像数据DVa存储在存储设备21中，则图像处理部分13可以 根据来自输入部分12的输入信息PS从存储设备21读取用户想要的图像数据 DVa，并且将其显示在显示部分14上。具体地说，可以根据基于用户操作的输 入信息PS来考虑这方面，图像处理部分13可以读取在存储设备21中所存储的 过去的宽视野图像Gc的图像数据DVa,为该读取的图像数据DVa所代表的视 野设置被选择区域，以及在显示部分14上显示被选择区域显示图像，其是其中 将该被选择区域的畸变校正的图像。替代地，可以与用户无关地考虑这这个方 面，图像处理部分13可以对在存储设备21中所存储的过去的宽视野图像中预 定的被选择区域的图像执行畸变校正处理，并且将其显示在显示部分14上。
在这种情况下，作为具体例子，可以考虑下面方面。例如，假设用户从图像拾取部分ll中选择实时荻得的宽视野图像中的被选择区域，并且实时观看完
整图像Gcp和被选择区域显示图像Gsc或者将它们存储在存储设备21中。然后， 用户还可以选择与实时选择的上述区域不同的区域，并且在观看所存储的完整 图像Gcp的同时观看其被选择的区域显示图像Gsc。
替代地，替代于将完整图像Gcp的图像数据存储在存储设备21中，图像处 理部分13还可以只存储被选择区域显示图像Gsc的图像数据。在这种情况下， 用户可以以后观看该被选择区域显示图像Gsc。当然，其可以存储指示完整图像 Gcp和被选择区域显示图像Gsc两者的图像数据或者这些图像的每一个的图像 数据。
替代地，图像处理部分13还可以执行图27中所示的流程图的处理。图像 处理部分13从图像拾取部分11获取实时宽视野图像(ST2401 ),而且还获取在 存储设备21中存储的过去的宽视野图像或过去的被选择区域显示图像
(ST2402)。图像处理部分13可以执行处理以将这样获得的宽视野图像和过去 的宽视野图像或者过去的被选择区域显示图像组合为一个屏幕图像数据
(ST2403 ),并且将组合的图像数据输出到显示部分14 (ST2404)。替代地，图 像处理部分13可以在不同的显示部分14上显示所获取的宽视野图像和过去的 宽视野图像或者过去被选择区域显示图像。应该注意，可以考虑这样的方面， 即可以在顺序上将ST2401和ST2402颠倒。
替代地，可以考虑这样的方面，即图像处理部分13可以输出通过使用畸变 校正处理获得的被选择区域显示图像Gsc (其可以是从实时宽视野图像中实时生 成的图像或者从在存储设备中所存储的过去宽视野图像中实时生成的图像)和 过去被选择区域显示图像两者。具体地说，如图28中所示，图像处理部分13 从图像拾取部分11实时获取宽视野图像或者从存储设备21获取过去的宽视野 图像(ST2501 )。进一步，图像处理部分13获取在存储设备21中所存储的过去 的被选择区域显示图像(ST2502 )。图像处理部分13对在ST2501中获取的上述 宽视野图像中的被选择区域的图像执行畸变校正处理(ST2503 )。图像处理部分 13执行处理以将由该畸变校正处理生成的被选择区域显示图像和在ST2502获 取的被选择区域显示图像组合为一个屏幕图像数据(ST2504),并且将其作为被 选择区域显示图像Gsc输出到显示部分14(ST2505 )。应该注意，可以考虑这 样的方面，即可以在顺序上将ST2501和ST2502颠倒或者在顺序上将ST2502 和ST2503颠倒。在图28中所示的处理的情况中，进一步，图像处理部分13还可以用这样 的方式输出通过在ST2503执行畸变校正处理获得的被选择区域显示图像(下面 称为实时被选择区域显示图像)和过去被选择区域显示图像，即人可以在显示 部分上区分它们。具体地说，可以考虑例如图像处理部分13生成其中将标识符 适配到实时被选择区域显示图像和过去被选择区域显示图像中的至少 一个中的 图像，或者生成将这些图像两者都包括的框使得可以生成具有该框的改变的颜 色的图^象。应该注意，如果在存储设备21中所存储的图像数据是运动图像，则可以根 据其存储容量将特定容量的运动图像数据存储在存储设备21中，使得可以随后 自动地擦除最近图像帧。进一步，可以考虑使用存储设备21的下面方面。例如，用户执行操作以设 置实时宽视野图像或者基于在任意时间从存储设备21读取的图像数据的宽视野 图像中的被选择区域，而且对应于该才喿作，图像处理部分13然后仅仅将指示如 何设置被选择区域的位置信息存储在存储设备21中。进一步，如果在上述区域 选择模式MS中切换被选择区域，则图像处理部分13可以在存储设备21中存 储使得其可以再现被选择区域的切换的轨迹信息。图29是示出用于存储位置信 息或者轨迹信息的处理的流程图。图像处理部分13获取输入信息，在从图像拾 取部分11中实时获取的宽视野图像或者基于从存储设备21读取的图像数据的 宽视野图像中设置被选择区域时被使用该输入信息(ST2601 )。在图像处理部分 13中的处理控制部分135根据输入信息生成该被选择区域的位置信息，如果对 被选择区域执行切换操作，生成使得其可以再现被选择区域的切换的轨迹信息 (ST2602)。在图像处理部分13中的处理控制部分135将所生成的位置信息或 者轨迹信息存储在存储设备21中(ST2603 )。在其中需要预定范围的图像或者由于例如特定位置中的范围中的轨迹导致 的图像的情况中这个方面是有效的。例如，在其中如果将图像拾取部分11安装 在固定点安全照相机的情况中，可以考虑需要预定范围的图像或者宽视野图像 中的范围中的轨迹的图像。在这种情况下，通过设置与宽视野图像中预定范围 对应的被选择区域或者预定范围的轨迹，用户总可以监视该范围的被选择区域 显示图像或者作为显示图像的其在显示部分14上的轨迹。在这个方面中，例如， 在存储设备21存储预定范围的"轨迹"的被选择区域显示图像的情况下，可以周 期性地重复自动地从其开始点到其结束点的被选择区域的连续移动。进一步，可以将用于每个周期的图像存储在存储设备21中。应该注意，当然，本方面不限于安全目的。要确定，上述预定范围图像可以是静止图像或者运动图像。特定范围的轨 迹的图像还可以是沿着该轨迹的位置上的静止图像，并且可以被作为覆盖从该轨迹的开始点到结束点的运动图像存储。在这种情况下，图像处理部分13可以 执行处理以输出畸变校正后的图像以及静止图像。图30是作为使用存储设备21的方面如上所述设置预定范围的这种轨迹的 方法的说明图。用户将被选择区域设置到宽视野图像以切换被选择区域的位置。具体地说， 这通过重复操作来实现，使得确定例如操作图15 (A)和15 (B)中所示的方向 按钮Gua2和方位位置按钮Gub2的哪一个，以及被选择区域在所操作的按钮所 指示的方向上移动；在图像处理系统20的内部处理中，如图29的ST2602和 ST2603所示，图像处理部分13根据指示"选择"按钮Gual和Gubl的操作的输 入信息，将当前被选择区域的位置信息存储在存储设备21中。例如，如果当与 被选择区域对应的图像区域ARs位于宽视野图像Gc上的位置时操作"选择"按钮 Gual或者Gubl，则其在此时间点存储被选择区域的位置信息。进一步，如果当 切换被选择区域以及与切换后被选择区域对应的图像区域ARs位于宽视野图像 Gc上的位置b时操作"选择"按钮Gual或者Gubl ，则其在该时间点上存储被选 择区域的位置信息。类似地，当与被选择区域对应的图像区域ARs位于宽视野 图像Gc的位置c和d时，在该时间点存储被选择区域的位置信息。替代地，即使如果用户不操作方向按钮Gua2或者方位按钮Gub2，也可以 已经使用事先的程序设置了轨迹，或者可以已经通过上述各种传感器的使用的 自动识别生成了轨迹。在这种情况下，轨迹可以是这样的，使得可以将被选择 区域进行设置以将图像区域ARs设置到诸如图30中的位置a、 b、 c和d之类的 分立点，或者使得可以从点a到d连续设置被选择区域。替代地，如果用户已 经设置了位置a、 b、 c和d的分立点，则图像处理部分13可以具有安装在其中 的这样的程序以设置被选择区域，使得将图像区域ARs设置到用于内插位置a、 b、 c和d的点的位置。替代地，可以事先提供多个轨迹信息，使得用户可以选择它们中的任何一个。图31是示出根据本发明的进一步实施方式的图像处理系统的构成的框图。该图像处理系统30被提供有存储设备21,而不是上述图像拾取部分11。在存 储部分21中，例如，如上所述那样事先存储宽视野图像。这种构成使得图像处 理部分13能够读取宽视野图像的图像数据DVm，并且通过执行显影处理从该 宽视野图像中获得被选择区域显示图像。此外，在图像处理系统30中，图像处理部分13可以通过从基于在事先存 储在存储设备21中的数据的宽视野图像中通过显影处理获取被选择区域显示图 像，且在那些宽视野图像和被选择区域显示图像彼此相关的条件下将它们存 储在存储设备21中。替代地，图像处理部分13还可以存储基于事先存储的图 像数据的宽视野图像，以及指示要在它们彼此相关的条件下从存储设备21中的 宽视野图像中对其执行显影处理的被选择区域的信息。本发明不限于上述实施方式，而是可以进行各种变型。还可以替代地每经过预定时间在显示部分14上显示完整图像Gcp和被显示 在显示部分14上的被选择区域显示图像Gsc。在这种情况中，响应于用户的任 何输入操作，可以显示完整图像Gcp和被选择区域显示图像Gsc两者。在图1和26中，可以将图像拾取部分11中的图像拾取元件112、输入部分 12、图像处理部分13、显示部分14、存储设备21等通过因特网、局域网(LAN) 或者诸如专线之类的其他网络彼此连接。可以在诸如安全系统、电话会议系统、用于检测、管理、和测试机器和设 置的系统、道路交通系统、使用移动照相机(例如，用于从移动的车辆、飞机 或者任何其他可移动景物拍摄的照相机)的系统、婴儿照顾(nursing-care)系 统、医疗系统之类的各种领域中应用根据上述实施方式的图像处理系统。还可以实现将图26和31分别示出的实施方式组合的图像处理系统。也就 是说，可以实现这样的系统以包括在其前端(stage)和后端的每一个上都包括 存储设备。随后，下面将描述本发明的再一个实施方式。在本实施方式中，在图像处 理部分13中的处理控制部分135可以根据其中安装图像拾取部分11的安装方 向(安装角度)来切换区域选择模式MS。下面将描述在这种情况中的图像处理 系统40的构成和"t喿作。图32是示出根据本发明再一种实施方式的图像处理系统的构成的框图。如 图32所示，在该实施方式中，在图1中所示的图l象处理系统10的元件之外， 图像处理系统40还包括方向检测传感器，例如，检测其中使得光学图像入射到32方向的陀螺传感器41。固定到图像拾取光学部分111的陀螺传感器41检测其中使得光学图像入射 到图像拾取光学部分111上的方向，并且将指示方向检测的结果的传感器信号 ES提供给图像处理部分13中的处理控制部分135。应该注意，下面的描述基于 这样的假设,即图像拾取光学部分111、图像拾取元件112和陀螺传感器41都 集成到图像拾取部分11中。图33是用于根据其中在本实施方式中放置图像拾取部分11的方向切换区 域选择模式MS的方式的概念示意图。如图33所示，可以将其中放置图像拾取部分11的状态大致分为三种情况 如上面图10中所示，将其放置在地面、地板、桌子等上以拾取想要的景物MH 的情况(图33 (A)的上半球视野)，将其放置在与地面垂直的墙上以拾取景物 MH的情况(图33 (B)的前半球视野)，以及将其放置在天花板或者天空中以 拾取景物MH的情况(图33 ( C )的下半球视野)。因此，在图像处理部分13中的处理控制部分135自动根据基于来自方向检 测传感器的传感器信号确定的关于图像拾取部分11的垂直方向中的角度来设置 或切换区域选择模式MS。具体地说，如果图像拾取部分11在上或下半球视野中，则将区域选择模式 MS切换到极坐标模式MS2，而且如果其在前半球视野，则将区域选择模式MS 切换到正交坐标模式MS1。通过这样切换模式，如果图像拾取部分ll在上或者 下半球视野中，则可以容易和平均地比宽视野图像Gc的中心处的景物本身更多 地观察该景物的周围。进一步，如果图像拾取部分11处于前半球视野中，通过 设置正交坐标模式MS1，可以容易在宽视野图像Gc的中心详细观察景物的情况 下还观察该景物的上下方向和左右方向。应该注意，在本实施方式中，将如图33 (A)所示的其中将图像拾取部分 11放置在上半球视野并且将区域选择模式MS切换到极坐标模式MS2的状态称 为So，将其中如图33 (B)所示将图像拾取部分11放置在前半球视野并且将区 域选择模式MS切换到正交坐标模式MS1的状态称为S,，而将其中如图33(C) 所示将图像拾取部分11放置在下半球视野并且将区域选择模式MS切换到极坐 标模式MS2的状态称为S2。图34是用于切换状态So、 S,和S2的设置阈值的方法的说明示意图。如图 34所示，在本实施方式中，例如，假设图像拾取部分11在上半球视野的状态为参考位置(屮=0度)，首先，使用两个阈值(^F1，屮2)宽视野图像拾取部分11 的安装角度是否超过阈值甲1或者T2，来确定上述三种状态SO、 S1和S2中的 任何一个，而且基于决定结果，设置区域选择模式MS。进一步，如果图像拾取 目标11的安装角度在已经设置了区域选择模式MS之后被改变，则当那些状态 彼此切换时使用除了上述阈值甲l和屮2之外的阈值给出滞后。具体地说，如图34(A)所示，将例如阈值W1的士10度范围中的值设置为 除了阈值和甲2之外的新阈值和屮4，而将例如阈值屮2的±10度范围中 的值设置为的新阈值甲5和屮6。如图34(B)所示，当状态从状态So向S,切换 时阈值vj/3是阈值，而当状态从S,向So切换时阈值屮4是阈值。进一步，阈值中5 是当状态从S,向S2切换时的阈值，而阈值甲6是状态从S2向Si切换时的阈值。 包括阈值和^F2的这些阈值的大小关系变为如图34(B)所示的 ^4〈甲K屮3〈屮6〈甲2〈T5。应该注意，虽然例如阈值^F1是45度而阈值是135 度，但是它们不限于那些值。进一步，虽然上述阈值^F3、 ^F4、 和不限 于上述士10度的范围，但是它们可以在士5度范围、士15度范围等中，而且进一步， 可以将它们进行设置使得阈值甲1与阈值和^F4之间的差具有不同的绝对值， 或者阈值屮2与阈值甲5和屮6之间的差具有不同的绝对值。随后，下面将描述在本实施方式中彼此切换上述状态S。、 S，和S2的操作。 图3 5是其中图像处理系统40将状态So 、 S,和S2彼此切换的情况中的操作的流 程图。如图35所示，首先，将图像拾取部分11置于上述参考位置(屮=0度)。 图像处理部分13中的处理控制部分135获取在此时陀螺传感器14的测量结果 (ST3201 )。随后，将图像拾取部分11放置到想要的位置。处理控制部分135 此时获取陀螺传感器41的测量结果，并且根据在ST3201获取的该测量结果确 定现在角甲p (ST3202)。随后，处理控制部分135确定现在角是否等于或者小于阈值 (ST3203 )。如果甲p^Fl(是)，则处理控制部分135确定上述状态So被设置并 且将区域选择模式MS设置到上半球视野的极坐标模式MS2 ( ST3204 )。如果在上述步骤ST3203中^Fp〉^1 (否)，则处理控制部分135进一步确定 现在角^p是否等于或小于阈值^2 (ST3207 )。如果屮p^P2(是)，则处理控制 部分135确定上述状态S,被设置，并且将区域选择模式MS设置到前半球视野 的正交坐标模式MS1 (ST3208 )。如果在上述步骤ST3207中^p>T2 (否)，则处理控制部分135确定上述状 态S"皮设置，并且将区域选择模式MS设置到下半球视野的极坐标模式MS2 (ST3212)。在ST3204将区域选择模式MS设置到极坐标模式MS2之后，处理控制部 分135再次从陀螺传感器41读取现在角甲p ( ST3205 ),并且确定现在角甲p是 否等于或者大于阈值(ST3206)。如果屮pS^3 (是)，则处理控制部分135 确定已经将图像拾取部分11改变到上述状态S，，并且将区域选择模式MS设置 到正交坐标模式MSI ( ST3208 )。如果屮p〈^F3 (否)，则处理控制部分135维持 极坐标才莫式MS2的状态(ST3204 )。在ST3208将区域选择^^莫式MS设置到正交坐标模式MS1之后，处理控制 部分135再次从陀螺传感器41读取现在角平p ( ST3209 )，并且确定现在角甲p 是否等于或者小于阈值甲4 (ST3210)。如果甲p^F4(是)，则处理控制部分135 确定图像拾取部分已经改变到上述状态So,而且将区域选择模式MS设置到极 坐标模式MS2 ( ST3204 )。如果在ST3210甲p〉T4 (否)，则处理控制部分135进一步确定上述现在角 ^p是否等于或者大约阔值甲5 (ST3211 )。如果甲p^F5(是)，则处理控制部分 135确定图像拾取部分11已经改变到上述状态S2,并且将区域选择模式MS设 置到极坐标模式MS (ST3212)。如果^Pp^F5(否)，则处理控制部分135维持 正交坐标模式MS1的状态(ST3208 )。在ST3212将区域选择模式MS设置到极坐标模式MS2之后，处理控制部 分135从陀螺传感器41再次读取现在角？p ( ST3213 ),并且确定现在角平p是 否等于或者小于阈值(ST3214)。如果Wp< 6 (是)，则处理控制部分135 确定图像拾取部分ll已经改变到上述状态Sp并且将区域选择模式MS设置到 正交坐标模式MS1 (ST3208 )。如果在ST3214平p^Pl (是)，则处理控制部分135维持极坐标才莫式MS2的 状态(ST3212)。以这种方式，通过重复上面处理，处理控制部分135自动根据图像拾取部 分11的安装角来切换区域选裤:模式MS。这里，下面将描述用于在状态So和S2中设置到极坐标^t式MS2或者在状 态S,中设置到正交坐标模式MS1情况中用于计算坐标，以及在每种模式中显示 被选择区域显示图像Gsc的方法。图36、 37、 38和39是关于这种坐标计算方法的图。首先，如果图36(A)中所示，在上述极坐标模式MS2 (上半球视野)中， 假设显示面81的摇动角(绕着z轴旋转)和俯仰角(绕着x轴或者y轴旋转) 分别是H (x轴方向为0度)和V (x轴方向为0度)。随后，在正交坐标模式MS1中，极坐标模式MS2中对着其将视野的方向 俯仰90度，使得图36(A)中所示的坐标轴交换以转换上述摇动值和俯仰值。具体地说，如图36 (B)中所示，图36 (A)的相应轴，即将x轴、y轴和 z轴分别与y轴、z轴和x轴的旋转角交换，而且图36(A)中的摇动角(H) 和俯仰角(V)分别是摇动角(h)和俯仰角(v)。在这种情况下，指示作为与 要被显示在显示部分14上的圓像对应的区域的被选择区域的设置方向的方向矢 量[D]，通过在每个坐标系中旋转x轴单位矢量而在图37中示出的矩阵中获得。 这样，如下获得上述旋转后摇动角(h)和俯仰角(v)的每一个的正弦值和余弦值sin(v)=-cos(H)cos(V)cos(v)=(l-sin(v)2)1/2sin(h)=cos(H)cos(V)/cos(v)cos(h)=-sin(v)/cos(v)应该注意，在极坐标模式MS2中h=H而v=V。另一方面，如果将诸如视频图形阵列(VGA)之类的固定像素的输出用作 显示部分14,则将把与该输出匹配的显示面[a]的坐标描述如下[a]=[a00=(0，0)， a01=(r,0), ...alO=(0,q)， all=(r，q)， al2=(2r,q)， amn=(nr,mq), ...aMN=(Nr，Mq)]假设显示面[a]是三维面[PO],其中与x轴垂直的点序列与y轴、z轴平行并 且其中心经过x轴上，而且如图38 (B)所示x坐标是R(例如，R二鱼眼半径)， 上述面[a]是三维的，如图38 (C)所示如下[a]=[(xO,yO)， (xl， yO),…(xN， yM, l)]—[AH(xO,yO, 1), (xl,yO， 1),…(xN,yM, l)]将该矩阵[A]乘以图38 (C)示出的矩阵[K]以提供矩阵[PO] ( -[K][A])。 随后，通过使用可以被设置在图15(A)和15 (B)的上述操作输入屏幕Gu 上的如图39 (A)中所示的这种参数，将该面[PO]扩展并且移动到如图38(B)所 示的球。在这种情况下，々I设移动后的面是面[P2]，与面[P0]上的点Pj对应的面 [P2]上的点是点Pj2(x2, y2, z2)。该面[P2]上的每个点可以通过使用图39 ( C )中所示的[PO]、 [P2]、 [X]、 [Y]、 [Z]和[M]的矩阵通过图39 (D)的计算获得。也就是，在正交坐标模式MS1中[P2]-[Z][Y][X][M][P0]而在极坐标模式 MS2中[P2]呵Z][Y][M][P0]。基于这样计算的面[P2]坐标值，使用与点Pj2对应 坐标值(x2, y2, z2 )。然后，在图39 (B)中，通过基于上述面[P2]上的点Pj2(x2, y2， z"执行与 使用图12的上述畸变校正处理原理类似的处理，可以获得与点Pj2(x2, y2, z2) 对应的焦点Qj2。进一步，通过对面[P2]上的每个点执行类似处理，可以获得在 组成正交坐标模式MS1和极坐标模式MS2中执行畸变校正处理之后获得的被选 择区域显示图像Gsc的图像拾取元件112上的每个像素的位置，然后使用这样 获得的像素的位置的像素数据，从而使能其中不生成要显示的畸变的被选择区 域显示图像Gsc。根据本实施方式的图像处理系统40，通过上述构成和操作，可以用陀螺传 感器41检测图像拾取部分11的安装角，以适当地切换与该安装角对应的区域 选择模式MS,从而提高用户方便度。进一步，由于在其中保持滞后的条件上切换区域选择模式，所以即使当在 上述阈值屮l和甲2附近生成安装角中的波动时，也防止区域选择模式MS被基 于该波动频繁地切换，因此防止打扰用户。应该注意，方向检测传感器可以是任何其他传感器，例如，替代于上述陀 螺传感器41的重力传感器，以检测图像拾取部分11的安装角。进一步，虽然本实施方式已经根据图像拾取部分11的安装角切换区域选择 模式MS，但是可以根据例如图像拾取部分11是否已经与景物接触来切换区域 选择模式MS。图40是用于根据接触切换显示模式的方法的概念示意图。例如，在图像拾 取部分11在箭头T的方向中通过管道95移动的情况下，将处理控制部分135 设置到例如管道95中的极坐标模式MS2，从而拾取管道95的周围。进一步， 如果其在管道95的一端与壁表面96接触，则可以将处理控制部分135切换到 正交坐标模式MS1以拾取该壁表面。在这种情况下，图像处理系统可以装配有 用于检测接触的检测传感器，并且可以将检测的结果应用于图像处理部分13中 的处理控制部分135。检测传感器可以是机械传感器或者光学传感器。进一步，可以在不使用方向检测传感器或者任何其他检测传感器的情况下 执行正交坐标模式MS1和极坐标模式MS2之间的自动切换。最后，下面将描述其中在不使用传感器的情况下将正交坐标模式MS1和极坐标模式MS2彼此切换 的情况。这里，为了方便理解自动切换，将在假设图像拾取部分11的视野为例如270 度的情况下进行下面描述。图41示出其中图像拾取光学部分111已经通过使用 超广角镜头获得了 270度视野的情况。入射到图像拾取光学部分111上的光朝 着图像拾取元件112前进，以在图像拾取元件112的传感器表面上形成270度 视野的宽视野图像Gc。进一步，如果图42所示，如果放置具有270度视野的图像拾取部分11使 得作为视野中心方向的箭头OCt的方向关于水平方向向上45度，给出这样的情 况，其中获得前半球视野53h和上半5求视野53u。图43示出了其中放置具有270度视野的图像拾取部分11的例子。例如， 将图像拾取部分11以这样的方式安装到船的船首(bow):视野的中心方向关于 水平方向向上45度。进一步，将坐位FS设置在图像拾取部分11之后。在图像 拾取部分11以这样的方式安装的情况下，如果在适合于前半球视野的情况的正 交坐标模式MS1中的显示部分14上显示向前的景观(landscape),则可以容易 地在想要的方向中将被选择区域设置到景观，从而在显示部分14上在想要的方 向中显示景观的无畸变的图像。进一步，如果在适合于下或者上半球视野的情 况的极坐标模式MS2中的显示部分14上显示坐在任何后座FS上的乘客，则可 以容易地在想要的方向上将被选择区域设置到乘客，从而在显示部分14上在想 要的方向中显示乘客的无畸变的图像。因此，图像处理部分13自动根据其中设 置被选择区域的方向来切换区域选择才莫式MS,从而使能其中将由于图像拾取光 学部分111导致的畸变校正的图像显示在显示部分14上。这里，在其中通过指定被选择区域的方向来设置被选择区域的情况中，可 以通过输入信息PS等指示被选择区域的范围等的角度范围，基于指定被选择区 域的输入信息等来确定被选择区域的方向。进一步，由于被选择区域和图像区 域ARs彼此对应，所以可以从对其执行畸变校正处理的图像区域ARs的图像位 置确定其中设置被选择区域的方向。图44示出了根据其中设置被选择区域的方向自动切换区域选择模式MS的 情况。如果如图43所示放置图像拾取部分11,则具有270度视野的宽视野图像 Gc变为如图44所示的一个。应该注意，如果以这样的方式安装图像拾取部分 11:宽视野图像Gc的中心在图像拾取光学部分111的光轴方向中而视野的中心方向关于水平方向向上45度，则视频前端位置变为例如图像上的点Pf以具有 90度的视野。在图44 (A)中，如果给出区域AS1以包括前端图像而且将被选择区域设 置在这样的方向中使得例如图像区域ARs (未示出)的中心位置可以包括在区 域AS1中，则设置正交坐标模式MS1。进一步，如果给出区域AS2以包括后端 图像并且将被选择区域设置在这样的方向中使得例如图像区域ARs的中心位置 被包括在区域AS2中，则设置极坐标模式MS2。应该注意，如果图像区域ARs 的中心位置不包括在区域AS1或AS2中，则保持设置区域选择模式MS。进一步，如图44(B)所示，在事先在矩阵中子分割宽视野图像Gc的区域 以分配要被设置到每个子分割的区域的区域选择模式MS，然后根据其中例如包 括图像区域ARs的中心位置的任何一个区域来设置区域选择模式MS。例如， 对于包括前图像的每个区域ASml，事先将正交坐标模式MS1分配为要被设置 的区域选择模式MS。进一步，对于包括后图像的每个区域ASm2,事先将极坐 标模式MS2分配为要被设置的区域选择模式MS。这里，如果与被选择区域对 应的图像区域ARs的中心区域与区域ASm 1对应，则设置正交坐标模式MS 1 。 另一方面，如果图像区域ARs的中心位置与区域ASm2对应，则设置极坐标模 式MS2。以这种方式，可以根据在显示部分14上显示的任何视野的图像自动将区域 选择模式MS设置到最佳模式，从而使得在需要方向中放置的景物的图像在显 示部分14上容易地显示。进一步，由于不使用传感器，所以可以将其应用于图像处理系统10、 20和 30中的任何一个。还可以将其应用于使用传感器的图像处理系统40。在这种情 况下，通过基于来自陀螺传感器41的传感器信号ES自动调节与图像拾取部分 11的倾斜对应的区域AS 1 、 AS2 、 ASm 1和ASm2的位置或者区域尺寸，即使如 果不将图像拾取部分11安装为关于水平方向向上45度，也可以以与将图像拾 取部分11安装为关于水平方向向上45度的情况中的那些特性相同的特性对区 域选择模式MS执行切换处理。进一步，如果可以设置与图像拾取部分11的倾 斜对应的区域AS 1 、 AS2 、 ASm 1和ASm2的位置和区域尺寸，则还可以任意设 置区域选择模式MS的切换特性。应该注意，在自动切换区域选择模式MS的情况中，通过提供与每个区域 选择模式对应的GUI显示，可以容易地决定将区域选择模式MS设置到那个模式。图45示出了其中在自动切换区域选择模式MS的情况下图像区域ARs移动 的GUI显示和方向。如果设置正交坐标模式MSl,如图45(A)所示，例如， 给出"上"、"下"、"右"和"左"作为方向按钮Gua2。应该注意，图45 (B)示出了 其中当操作方向按钮Gua2时图像区域ARs在完整图像Gcp中移动的方向。如 果设置极坐标模式MS2，如图45 (C)所示，例如，给出"中心"、"向外"、"右 旋转"和"左旋转"按钮作为方向按钮Gud2 。应该注意，图45 ( D )示出其中当操 作方向按钮Gud2时图像区域ARs在完整图像Gcp中移动的方向。以这种方式，通过提供与区域选择模式对应的GUI显示，用户可以容易地 决定将区域选择模式设置到哪个模式。进一步，当将需要方向中放置的景物的 图像显示在显示部分14上时，用户可以容易地选择方向按钮。而且，图像拾取部分11可以依赖于关于垂直(或者水平)方向的俯仰角来 停止自动切换操作，然后设置正交坐标模式MS1或者极坐标模式MS2。如图46 中所示，如果角甲在"337.5度^屮<22.5度，，或者"157.5度^F〈202.5度"的范围中， 则与图像区域ARs的位置无关地设置极坐标模式MS2。如果角^在"67.5度 ^F〈112.5度"或者"247.5度^F〈292.5度，，的范围中，则与图像区域ARs的位置无 关地设置正交坐标模式MS1。如果角屮在"22.5度$屮<67.5度"、"112.5度 5^<157.5度"、"202.5度^F〈247.5度"或者"292.5度^F〈337.5度，，的范围中,则 根据上述图像区域ARs的位置将正交坐标模式MS1或者极坐标模式MS2自动 设置为组合模式。图47是示出在包括组合模式的区域选择模式之间的切换操作的流程图。处 理控制部分135执行角检测以检测图像拾取部分11的俯仰角T ( ST3301 )。随 后，处理控制部分135基于所检测到的俯仰角T确定是否设置组合模式 (ST3302 )。如果不设置组合模式(NO ),则处理控制部分135基于角^的检测 的结果检测应该将区域选择模式设置到正交坐标模式MS1或者极坐标模式MS2 中的哪一个(ST3303 )。如果设置组合模式(ST3302处为"是")，则处理控制部 分135基于被选择区域的位置来检测应该将区域选择模式设置到正交坐标模式 MS1和才及坐标4莫式MS2的哪一个(ST3304 )。如果已经在ST3303和ST3304完成了区域选择模式的检测，则处理控制部 分135将区域选择模式设置到其中对其进行检测的坐标模式(ST3305 )。随后， 处理控制部分135提供与在ST3305中所设置的区域选择模式对应的GUI显示， 而且过程返回到ST3301 (ST3306 )。通过这样切换区域选择模式，可以提供能够被用户容易使用的界面。图48是示出当操作方向按钮时的操作的流程图。处理控制部分135确定是 否将区域选择模式MS设置到正交坐标模式MSI ( ST3401 )。这里，如果设置正交坐标模式MS1 ("是")，则处理控制部分135基于输入 信息PS确定是否操作方向按钮(ST3402 )。如果已经确定不操作方向按钮("否")， 则过程返回到ST3401，而如果已经确定操作方向按钮("是")，则确定是否操作 "右"按钮。如果已经确定操作了"右"按钮("是")，则处理控制部分135执行处理使得 将被选择区域切换到向上位置，而且过程返回到ST3401 (ST3404)。如果已经 确定没有操作"右"按钮(在ST3403为"否，，)，则处理控制部分135确定是否操 作"左"按钮(ST3405 )。如果已经确定操作了"左"按钮("是，，)，则处理控制部分135执行处理使得 将被选择区域切换到向左的位置，而且过程返回到ST3401 (ST3406 )。如果已 经确定没有操作"左，，按钮(在ST3405为"否")，则处理控制部分135确定是否 操作"上"按钮(ST3407 )。如果已经确定操作了"上"按钮("是")，则处理控制部分135执行处理使得 将被选择区域切换到向上的位置，而且过程返回到ST3401 (ST3408 )。如果已 经确定没有操作"上"按钮(在ST3407为"否")，则处理控制部分135确定是否 操作了"下"按钮，如果是则执行处理使得将被选择区域切换到向下的位置，而且 过程返回到ST3401 ( ST3409 )。如果已经确定设置了极坐标模式MS2 (在ST3401为"否，，)，则处理控制部 分135基于输入信息PS确定是否操作方向按钮(ST3410)。如果已经确定没有 操作方向按钮("否")，在过程返回到ST3401，而且如果已经确定操作了方向按 钮("是")，则确定是否操作了 "右旋转，，按钮(ST3411 ).如果已经确定了操作了"右旋转，，按钮("是")，则处理控制部分135执行处 理以向右旋转^皮选4奪区域，而且过程返回到ST3401 (ST3412)。如果已经确定 了没有操作"右旋转"按钮(在ST3411为"否，，)，在处理控制部分135确定是否操 作了 "左旋转"按钮(ST3413 )。如果已经确定了操作了"左旋转"按钮("是")，则处理控制部分135执行处 理以向左旋转^皮选"l奪区域，而且过程返回到ST3401 (ST3414)。如果已经确定 了没有操作"左旋转，，按钮(在ST3413为"否")，在处理控制部分135确定是否操作了 "中心"按钮(ST3415 )。如果已经确定了操作了"中心"按钮("是")，则处理控制部分135执行处理 使得将被选择区域切换到中心定向的位置，而且过程返回到ST3401 (ST3416)。 如果已经确定了没有操作"中心"按钮(在ST3415为"否，，)，在处理控制部分135 确定是否操作了"向外"按钮，如果是，则执行处理使得被选择区域被切换到作为 与中心方向相反的方向的向外的位置，而且过程返回到ST3401 (ST3417)。通过这些处理，可以容易地将被选择区域切换到想要的方向。也就是说， 可以在其中由于图像拾取光学部分111导致的畸变被校正的条件中在显示屏幕 14的屏幕上显示在想要的方向中放置的景物的图像。然而，本实施方式的图像处理系统具有作为显示^t式MH的上述多个模式， 使得如果例如设置被选择区域显示模式MH2，则不可以决定将被选择区域设置 到那个视野方向。因此，为了确认如何设置被选择区域，需要执行操作以改变 显示模式MH到完整图像显示模式MH1或者双显示模式MH3。因此，如果切 换被选择区域或者切换区域选择模式MS,则改变显示模式使得显示完整图像 Gcp至少经过预定时间，从而即使不改变显示模式也使得用户容易确认被选择区 域。应该注意，在本实施方式中的图像处理系统的构成与图32示出的上述图像 处理系统40的构成相同，所以省略其描述。图49和50示出了显示完整图像Gcp的操作，其中图49示出了用于响应于 被选择区域的切换来改变显示模式MH的方式，而图50示出了用于响应于区域 选择模式MS的切换来改变显示模式MH的方式。如果将显示模式切换到其中不显示完整图像Gcp的显示模式，或者如果被 指令来切换被选择区域或者在设置其中不显示完整图像Gcp的显示模式的条件 下切换区域选择模式MS,则在图像处理系统中的图像处理部分13自动地改变 到其中与所设置的显示模式无关地将完整图像Gcp显示经过预定的时间的显示 模式。图49 (A)示出了其中在被选图像显示模式MH2中显示图像的情况。如果 响应于被选择区域切换指令来切换被选择区域，则执行用于将完整图像Gcp与 所设置的显示模式对应显示的图像组合的处理，并且将组合后的图像作为新显 示图像显示。例如，将显示模式MH改变到双显示^f莫式MH3以显示还在图49 (B)中示出的完整图像Gcp。然后，在经过了预定时间之后，完整图像Gcp的 组合处理结束，而且从显示屏幕上将完整图像Gcp擦除。例如，显示模式MH返回到被选图像显示模式MH2，而且如果图49 (C)所示擦除完整图Gcp。进 一步，如果响应于被选择区域切换指令，被选择区域返回到其原始位置，则显 示模式MH改变到双显示模式MH3 —预定时间，并且以图49 ( C )、 49 ( D )和49 (A)的顺序如这些图所示执行显示。图50 ( A)示出了其中在被选图像显示模式MH2中显示图像而且将区域选 择模式设置到极坐标模式MS2的情况。这里，如果将区域选择模式MS设置到 正交坐标模式MS1，则进行处理以将完整图像Gcp与同所设置的显示模式对应 显示的图像组合，并且将组合后的图像作为新显示图像显示。例如，将显示模 式MH改变到双显示模式MH3，而且还如图50 (B)所示显示完整图像Gcp。 然后，在经过预定时间之后，完整图像Gcp的组合处理结束，而且从显示屏幕 上擦除完整图像Gcp。例如，显示模式MH返回到被选图像显示模式MH2，而 且如图50C所示擦除完整图像Gcp。进一步，而且如果将区域选择模式MS从正交坐标模式MS1切换到极坐标 模式MS2，则显示模式MH改变到双显示模式经过一预定时间，而且以图50( C )、50 (D)和50 (A)的顺序如这些图所示执行显示。应该注意，经过的预定时间 可以是但不限于例如三秒、五秒等。进一步，图像处理部分13可以不仅当区域选择模式MS被切换时而且当被 指令切换被选择区域时来显示完整图像Gcp,而且在经过预定时间之后，将其改 变到其中只显示被选择区域显示图像Gsc的这样的模式。进一步，图像处理部分13可以不仅当响应于被选择区域切换指令生成被选 择区域切换或者区域选择模式MS被切换时，而且当响应于拾取方向的改变与 被选择区域对应的图像区域ARs的图像被改变时，将显示模式改变一预定的时 间段。例如，如果图像拾取部分11的拾取方向改变，则宽视野图像Gc的图像 改变，使得即使如果在图像拾取元件112的传感器表面上的图像区域ARs的位 置没有改变被选择区域显示图像Gsc也改变。也就是说，发生使得被选择区域 改变的状态。因此，例如，如果已经基于来自陀螺传感器41的传感器信号ES 确定图像拾取区域被改变，则显示模式改变一预定的时间段以显示完整圓像 Gcp。因此用户可以容易地决定应该如何被指令来切换^皮选择区域以在显示部分 14上显示放置在需要方向中的景物的图像。图51是示出如图49或者50中所示在改变显示模式的情况下图像处理系统 的操作流程的流程图。在图像处理部分3中的处理控制部分135确定是否切换(移动)被选择区域(ST3601 )。也就是说，确定是否从输入部分12提供指示 用户为了被选择区域切换指令的目的对上述方向按钮Gua2或者Gud2或者方位 按钮Gub2的操作的输入信息PS，或者当基于上述轨迹信息自动切换被选择区 域时是否生成被选择区域切换。这里，如果切换被选择区域("是")，则将显示 控制信息JH提供给图像输出处理部分134，使得图像输出处理部分134可以在 显示部分14上显示完整图像Gcp和被选择区域显示图像Gsc的组合图像
(ST3606)。然后，处理控制部分135确定从该组合的图像输出开始是否已经经 过了预定的时间(ST3607),而且如果已经经过了预定的时间("是")，则将显 示控制信息JH提供给图像输出处理部分134,以将显示从组合的图像改变到从 其擦除完整图像Gcp的被选择区域显示图像Gsc ( ST3608 )。也就是说，在其中 由处理控制部分135控制图像输出处理部分134的条件下，如图49和50所示， 在已经经过预定时间之后，将显示模式MH从双显示模式MH3改变到被选图像 显示一莫式MH2。
如果已经在确定是否由图像处理部分13中的处理控制部分135切换被选择 区域时确定不切换被选择区域("否")，则处理控制部分135确定是否切换上述 显示模式MH或者区域选择模式MS,也就是说，是否从输入部分12提供指示 用户为了模式切换的目的对上述"选择"按钮Gual或者GuM或者"菜单，，按钮 Gub3的操作的输入信息PS (ST3602)。这里，如果将模式切换("是")，则执行 上述ST3606和随后的步骤。另 一方面，如果已经确定不将模式进行切换("否")， 则图像处理部分13确定是否改变图像拾取部分11的姿态(安装角度)
(ST3603 )。也就是说，处理控制部分135基于指示陀螺传感器41检测到的俯 仰角的传感器信号ES,确定例如图32中所示的陀螺传感器41的测量结果和预 定初始值之间的差。如果图像拾取部分11的安装角被改变("是")，则图像处理 部分13执行上述ST3606和随后的步骤。
进一步，如果已经在ST3606确定没有改变图像拾取部分11的安装角
("否")，则处理控制部分135确定是否已经对输入部分12执行了用户搡作，而 且如果已经确定已经执行了任何用户操作("是")，则执行ST3606和后续上述 步骤的处理，而且如果已经确定还没有执行用户操作("否")，则重复ST3601 和后续上述步骤的处理。应该注意，如果这样的用户操作涉及上述显示模式MH 或者区域选择模式MS的切换或者被选择区域的切换，则其处理将与上述 ST3601或者ST3602步骤的处理相同，以便除了那些之外的任何其他用户操作都经历在ST3604 ^f皮确定。
应该注意，虽然在图51中，如果确定被选择区域没有被切换，则已经以这 样的顺序确定了是否切换了模式，是否改变了姿态，和是否输入的操作，还可 以在如图52所示的ST3605,通过确定是否存在任何被选择区域切换、模式切换、 姿态切换和操作输入来显示完整图像Gcp经过一预定时间，而且如果它们中的 一个被确定为"肯定"，则执行ST3606和后续步骤的处理。
通过上面处理，如果切换了被选择区域，或者切换了显示模式MH或者区 域选择模式MS,则改变图像拾取部分11的姿态，或者从用户输入操作，提供 这种显示使得将完整图像Gcp显示至少经过预定时间。因此，如果被选择区域 或者模式被切换，则用户可以容易地确认如何针对完整图像Gcp中的图像区域 ARs的高亮图像Gs设置被选择区域，而且在确认后，观察被选择区域显示图像 Gsc而不被完整图像阻挡。
应该注意，相反，完整图像Gcp已经首先在双显示模式MH3中显示，然后， 在经过预定时间之后，其切换到其中不显示完整图像Gcp的被选图像显示模式 MH2，如果上述显示模式MH或者区域选择模式MS被切换，则在被选图像显 示模式MH2中，图像处理部分13可以首先只输出被选择区域显示图像Gsc,而 且在经过预定时间之后，生成图像数据DVd使得在其中将完整图像Gcp组合的 双显示模式MH3中显示组合的图像。因此可以确认在显示部分14上显示的被 选择区域显示图像Gsc,而没有盲区，而且在经过预定时间之后，观察新显示的 被选择区域显示图像Gsc，并且确认当前所选择的区域。
图53是示出显示模式切换处理的另一种状态的示意图。当显示上述组合的 图像时，图像处理部分13可以提供一个屏幕显示作为例如上述组合图像，其中 将被选择区域显示图像缩小使得其不于完整图像Gcp重叠。进一步，其可以通 过将其半透明地组合到被选择区域显示图像Gsc来输出完整图像Gcp。在任何 一种情况中，图像处理部分13都可以执行这种处理，使得用户在显示完整图像 Gcp的条件下观察被选择区域显示图像Gsc而没有盲区。
而且，图像处理部分13可以动态改变上述预定的经过时间，而不是将其固 定到恒定的值。例如，如果切换区域选择模式MS，则被选择区域的位置可能改 变较大，使得在这种情况中上述的预定的经过时间与在相同区域选择模式MS 中存在任何被选^r区域的切换或者存在图像拾取部分11的姿态等的任何变化的 情况下的上述的经过时间相比更长，使得用户可以确定地确认被选择区域。进一步，例如，如果子分割区域的数量在分割显示模式MH4中增加，确认多个被 选择区域可能需要长的时间，使得如果用户已经执行了这种操作以增加子分割 的区域的数量(在完整图像Gcp中的高亮图像Gs的数量)，则与在切换到任何 其他模式或者姿态生成改变的情况下的预定的经过时间相比将预定的经过时间 延长，使得用户能够确定地确认被选择区域。
产业的可利用性
提供本发明，其带有第一区域选择模式和第二区域选择模式，以校正与所 设置的第一或第二区域选择模式中所选择的区域对应的图像数据中所包含的畸 变，在第一区域选择模式中，选择显示通过使用正交坐标系由图像数据表示的 视野的部分区域的区域，而在第二区域选择模式中，选择显示通过使用极坐标 系由图像数据表示的视野的部分区域的区域。因此，其优选地适合于其中从拾 取的宽视野图像中将想要的区域设置为被选择区域来确认该被选择区域等的图 像的情况。
权利要求
1.一种处理包含图像拾取光学部分的畸变的图像数据的图像处理设备，该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的，该图像处理设备包括区域选择模式设置部分，其选择性地设置第一区域选择模式和第二区域选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的被选择区域；以及数据输出部分，其输出通过校正图像数据中的畸变获得的畸变经过校正的数据，该图像数据与在由所述区域选择模式设置部分设置的第一或第二区域选择模式中所选择的被选择区域对应。
2. 根据权利要求1所述的图像处理设备，还包括畸变校正部分，其校正 与被选择区域对应的图像数据中的畸变。
3. 根据权利要求2所述的图像处理设备，其中，所述畸变校正部分校正 只在与被选择区域对应的图像数据中的畸变。
4. 根据权利要求1所述的图像处理设备，还包括控制部分，其通过在第 一区域选择模式中切换被选择区域的情况下改变正交坐标系的坐标值来切换 被选择区域，或者通过在第二区域选择模式中执行被选择区域的切换的情况 中改变极坐标系的幅角和/或移动半径来切换被选择区域。
5. 根据权利要求1所述的图像处理设备，还包括图像拾取部分，其包含 图像拾取光学部分和生成使得通过所述图像拾取光学部分入射的光学图像的 图像数据的光学拾取元件。
6. 根据权利要求5所述的图像处理设备，其中，所述图像拾取光学部分 通过使用鱼眼镜头构成。
7. 根据权利要求5所述的图像处理设备，还包括方向检测传感器，其检 测使得光学图像入射到图像拾取光学部分上的方向，其中所述区域选择模式 设置部分基于来自所述方向检测传感器的传感器信号来设置第一区域选择模 式和第二区域选择模式中的任何一个。
8. 根据权利要求7所述的图像处理设备，其中，所述区域选择模式设置部分根据关于基于来自所述方向检测传感器的传感器信号所确定的垂直方向 的角度来选择第 一 区域选择模式和第二区域选择模式中的任何一个。
9. 根据权利要求8所述的图像处理设备，其中，所述区域选择模式设置部分根据所述角度是否超过第 一 阈值来从第 一 区域设置模式切换到第二区域 设置模式，而且根据所述角度是否超过与第一阈值不同的第二阈值来从第二 区域选择模式切换到第 一 区域选择模式。
10. 根据权利要求1所述的图像处理设备，还包括检测传感器，其检测 与景物的接触，其中，所述区域选择模式设置部分根据是否基于来自该检测传感器的传 感器信号检测到与景物接触，来选择第 一区域选择模式和第二区域选择模式 中的任何一个。
11. 根据权利要求1所述的图像处理设备，其中，所述区域选择模式设 置部分根据其上选择被选择区域的位置来选择第 一 区域选择模式和第二区域 选择模式中的任何一个。
12. 根据权利要求1所述的图像处理设备，还包括输入部分，其生成包 括用于选择被选择区域的选择指令的输入信息，其中，所述区域选择模式设置部分基于在所述输入信息中所包括的选择 指令来选择被选择的区域。
13. 根据权利要求1所述的图像处理设备，还包括存储设备，其存储包 含由于图像拾取光学部分导致的畸变的图像数据，其中，处理从存储设备读取的图像数据。
14. 根据权利要求1所述的图像处理设备，还包括显示部分，其提供图 形用户界面显示，其中所述区域选择模式设置部分在第 一 区域选择模式和第二区域选择模 式之间切换图形用户界面显示。
15. —种处理包含图像拾取光学部分的畸变的图像数据的图像处理方法， 该畸变是通过生成畸变的图像拾取光学部分从景物拾取光学图像而获得的， 该方法包4舌区域选择模式设置步骤，其选择性地设置第 一 区域选择模式和第二区域 选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过 使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部分区域的^皮选择区域；以及数据输出步骤，其输出通过校正图像数据中的畸变获得的畸变经过校正 的数据，该图像数据与在由所述区域选择模式设置步骤设置的第 一或第二区 域选择模式中所选择的被选择区域对应。
16. —种使得计算机执行图像处理来处理包含图像拾取光学部分的畸变 的图像数据的程序，该畸变是通过生成畸变的图像拾取光学部分从景物拾取 光学图像而获得的，该程序包括区域选择模式设置步骤，其选择性地设置第 一 区域选择模式和第二区域 选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过 使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模 式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部 分区域的被选^^区域；以及数据输出步骤，其输出通过校正图像数据中的畸变获得的畸变经过校正 的数据，该图像数据与在由所述区域选择模式设置步骤设置的第 一或第二区 域选择模式中所选择的被选择区域对应。
17. —种记录介质，其记录使得计算机执行图像处理来处理包含图像拾 取光学部分的畸变的图像数据的程序，该畸变是通过生成畸变的图像拾取光 学部分从景物拾取光学图像而获得的，该程序包括区域选择模式设置步骤，其选择性地设置第 一 区域选择模式和第二区域 选择模式，在第一区域选择模式中，从图像数据所代表的视野中，选择通过 使用正交坐标系指示该视野的部分区域的被选择区域，而在第二区域选择模 式中，从图像数据所代表的视野中，选择通过使用极坐标系指示该视野的部 分区域的被选择区域；以及数据输出步骤，其输出通过校正图像数据中的畸变荻得的畸变经过校正 的数据，该图像数据与在由所述区域选择模式设置步骤设置的第 一或第二区 域选择模式中所选择的被选择区域对应。
全文摘要
图像处理设备处理包含通过经由给出畸变的成像光学单元从景物捕获光学图像获得的成像光学单元的畸变的图像数据。区域选择模式设置单元(13b)选择性地设置第一区域选择模式和第二区域选择模式，第一区域选择模式用于将通过使用正交坐标系指示视野的部分区域的选择区域选择为图像数据表示的视野，而第二区域选择模式用于将通过使用极坐标系表示视野的部分区域的选择区域选择为图像数据表示的视野。畸变校正单元(13a)对与由区域选择模式设置单元(13b)设置的第一或者第二区域选择模式中所选择的选择区域对应的图像数据进行畸变校正，并且获得畸变经校正的数据。数据输出单元(13d)输出畸变经校正的数据。
文档编号G06T3/00GK101305595SQ20068004210
公开日2008年11月12日 申请日期2006年11月10日 优先权日2005年11月11日
发明者山冈成光, 神谷了 申请人:索尼株式会社