成像设备、图像处理设备、缩放控制方法和缩放控制程序的制作方法

专利名称：成像设备、图像处理设备、缩放控制方法和缩放控制程序的制作方法
技术领域：
本发明涉及成像设备、图像处理设备、縮放控制方法和縮放控制程序。
背景技术：
近来诸如数字视频相机的成像设备能够在把要拍摄图像的宽高比(aspect ratio)切换到比如4 : 3和16 : 9的多个宽高比的情况下进行摄像。成像设备可具有在 拍摄具有16 : 9宽高比的运动图像时同时拍摄具有4 : 3宽高比的静态图像的功能。用 户不仅可在成像设备中布置的显示屏幕上而且可以在外部连接的显示器上显示用成像设 备记录的图像数据。 近来的成像设备、图像再现设备等不仅具有拍摄和再现图像数据的能力，还具有
同时拍摄多个宽高比的图像数据或同时在多个显示器上再现相同图像数据的能力。 近来诸如数字视频相机的成像设备还可具有指定拍摄目标的对象并自动进
行縮放处理使得所指定对象适合(fit within)拍摄区域的功能。日本专利申请特开
No. 2002-101393公开了一种当把确定图像数据显示在具有与该图像数据的宽高比不同的
高宽比的显示器上时调整和显示图像数据使得图像数据中包含的预定对象不会缺失图像
(image-defected)的技术。 因而，对于近来的成像设备、图像再现设备等，不仅关注于拍摄和再现图像数据， 还关注于可以控制由用户指定或自动指定的对象以便不从拍摄区域或显示区域中缺失图 像的功能。

发明内容
然而，当同时拍摄多个宽高比的图像数据时，把每个宽高比的拍摄区域在显示屏
幕上呈现给用户。在这样的情况下，即使进行縮放使得拍摄区域中的预定对象不从一个宽
高比的拍摄区域缺失图像，相关对象也可能从另一宽高比的拍摄区域缺失图像。 当同时在具有不同宽高比的多个显示器上再现一个图像数据时，在每个显示器上
显示的图像数据的显示区域有所不同。因而，即使用户縮放使得在观看一个显示器时显示
区域中的预定对象不会从显示区域缺失图像时，相关对象也可能从另一显示器的显示区域
缺失图像。 鉴于前面所述，期望的是，提供新颖的改进的图像处理设备、縮放控制方法和縮放 控制程序，能够当同时拍摄具有不同宽高比的多个图像数据时或当同时在具有不同宽高比 的多个显示器上再现相同图像数据时，控制縮放功能和显示功能，使得预定对象不从设定 宽高比的拍摄区域或再现显示区域缺失图像。 根据本发明的一个实施例，提供了一种成像设备，其包括图像记录范围提取单 元，用于从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的 图像和与由不同于第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；縮放 控制单元，用于放大或縮小该要成像的对象的视频；以及縮放制约设置单元，用于对第一成像区域和第二成像区域中的任一个或两者设置縮放制约，以防止预定对象由于縮放控制单 元的縮放处理而从成像区域缺失图像。根据由縮放处理放大或縮小的预定对象与设有縮放 制约的成像区域的关系，执行用于防止预定对象从设有縮放制约的成像区域缺失图像的预 定处理。 根据这样的配置，成像设备的图像记录范围提取单元能从要成像的对象的视频中 提取和记录与由预定第一宽高比配置的第一成像区域相对应的图像和与由不同于第一宽 高比的预定第二宽高比配置的第二成像区域相对应的图像。縮放控制单元能放大或縮小要 成像的对象的视频。成像设备还可根据由縮放处理放大或縮小的预定对象与设有縮放制约 的成像区域的关系，执行用于防止预定对象从设有縮放制约的成像区域缺失图像的预定处 理。 成像设备还可包括图像显示范围提取单元，用于从要成像的对象的视频中提取 要在显示器上显示的图像；通知图像生成单元，用于根据縮放处理，生成包括縮放状态通知 图标的通知图像，縮放状态通知图标示出预定对象与设有縮放制约的成像区域的关系；图 像合成单元，用于把由所述通知图像生成单元生成的通知图像合成到由所述图像显示范围 提取单元提取的显示图像，以生成合成图像；以及显示控制单元，用于在显示器上显示由图 像合成单元生成的合成图像。 当预定对象被縮放处理放大并到达在设有縮放制约的成像区域中的预定位置处 设置的警告边界时，通知图像生成单元可生成表示预定对象可能从设有縮放制约的成像区 域缺失图像的縮放警告图标，作为縮放状态通知图标。 当预定对象被縮放处理进一步放大并到达设有縮放制约的成像区域的边界时，通
知图像生成单元可生成表示预定对象不能进一步被縮放处理放大以防止预定对象从设有
縮放制约的成像区域缺失图像的縮放限制图标，作为縮放状态通知图标。 如果未设有縮放制约的成像区域比设有縮放制约的成像区域小，则当预定对象被
縮放处理放大并到达在未设有縮放制约的成像区域中的预定位置处设置的警告边界时，通
知图像生成单元可生成以提醒方式表示预定对象可能从未设有縮放制约的成像区域缺失
图像的縮放警告图标，作为縮放状态通知图标。 如果未设有縮放制约的成像区域比设有縮放制约的成像区域小，则当预定对象被 縮放处理放大并超出未设有縮放制约的成像区域的边界时，通知图像生成单元可生成以提 醒方式表示预定对象从未设有縮放制约的成像区域缺失图像的图像缺失通知图标，作为縮 放状态通知图标。 图像显示范围提取单元可从要成像的图像的视频中，在最大程度地显示第一成像 区域的范围中提取由显示器的可显示区域的宽高比配置的显示图像。当第二成像区域存在 于显示器的可显示区域之外时，通知图像生成单元可生成包括表示第二成像区域存在于显 示器的可显示区域之外的区域通知图标的通知图像。 当第二成像区域的边界的一部分存在于显示器的可显示区域之中时，通知图像生 成单元可生成包括表示第二成像区域的边界的引导帧的通知图像。 縮放制约设置单元可根据由第一宽高比配置的第一成像区域和由第二宽高比配 置的第二成像区域的组合，对第一成像区域和第二成像区域中的任一个或两者自动设置縮 放制约。
7
縮放制约设置单元可通过对第一成像区域和第二成像区域的共同区域设置縮放 制约，防止预定对象从第一成像区域和第二成像区域缺失图像。 如果第二成像区域存在于显示器的可显示区域之外并且仅仅对第二成像区域设 置縮放制约，则当预定对象被縮放处理放大并超出未设有縮放制约的第一成像区域的边界 时，图像显示范围提取单元可从要成像的对象的视频中，在最大程度地显示第二成像区域 的范围中提取由显示器的可显示区域的宽高比配置的显示图像。 当预定对象被縮放处理进一步放大并到达设有縮放制约的成像区域的边界时，縮 放控制单元可禁止在放大预定对象的方向上的縮放功能。 成像设备还可包括数据存储单元，用于将图像记录范围提取单元提取的图像数 据存储为再现图像数据。当在由预定宽高比配置的第一显示器和由不同于第一显示器的宽 高比的预定宽高比配置的第二显示器上同时再现和显示数据存储单元中存储的一个再现 图像数据时，图像显示范围提取单元可从再现图像数据中，提取对应于预定第一再现显示 区域的第一再现显示图像，以在第一显示器上再现和显示，以及提取对应于预定第二再现 显示区域的第二再现显示图像，以在第二显示器上再现和显示，縮放控制单元可通过縮放 处理放大和縮小再现图像数据，縮放制约设置单元可对第一再现显示区域和第二再现显示 区域中的任一个或两者设置縮放制约，以防止再现图像数据中包含的预定对象由于縮放控 制单元的縮放处理而从再现显示区域缺失图像，通知图像生成单元可根据縮放处理，生成 包括表示预定对象和设有縮放制约的再现显示区域的关系的縮放状态通知图标的通知图 像，图像合成单元可合成通知图像生成单元生成的通知图像和所述图像显示范围提取单元 提取的每个再现显示图像以生成第一合成图像和第二合成图像，显示控制单元可使得第一 显示器显示图像合成单元生成的第一合成图像，并使得第二显示器显示图像合成单元生成 的第二合成图像。 当预定对象被縮放处理进一步放大并到达设有縮放制约的再现显示区域的边界 时，縮放控制单元可禁止在放大预定对象的方向上的縮放功能。 根据本发明的另一实施例，提供了一种图像再现装置，包括数据存储单元，用于 存储图像数据；图像显示范围提取单元，用于从图像数据中提取对应于预定第一再现显示 区域的第一再现显示图像以在第一显示器上再现和显示，以及对应于预定第二再现显示区 域的第二再现显示图像以在第二显示器上再现和显示；縮放控制单元，用于放大和縮小图 像数据；以及縮放制约设置单元，用于对第一再现显示区域和第二再现显示区域中的任一 个或两者设置縮放制约，以防止再现图像数据中包含的预定对象由于縮放控制单元的縮放 处理而从再现显示区域缺失图像。可以根据由縮放处理放大或縮小的预定对象与设有縮放 制约的再现显示区域的关系，执行用于防止预定对象从设有縮放制约的再现显示区域缺失 图像的预定处理。 根据本发明的另一实施例，提供了一种縮放控制方法，包括以下步骤从要成像的 对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图像和与由不同于 第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；对第一成像区域和第二 成像区域中的任一个或两者设置縮放制约，以防止预定对象从成像区域缺失图像；放大或 縮小要成像的对象的视频；以及根据縮放处理步骤中放大或縮小的预定对象与设有縮放制 约的成像区域的关系，执行用于防止预定对象从设有縮放制约的成像区域缺失图像的预定处理。 根据本发明的另一实施例，提供了一种縮放控制程序，用于使得计算机执行如下 处理从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图 像和与由不同于第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；对第一 成像区域和第二成像区域中的任一个或两者设置縮放制约，以防止预定对象从成像区域缺 失图像；放大或縮小要成像的对象的视频；以及根据由縮放处理放大或縮小的预定对象与 设有縮放制约的成像区域的关系，执行用于防止预定对象从设有縮放制约的成像区域缺失 图像的预定处理。 根据本发明的另一实施例，提供了一种縮放控制方法，包括如下步骤从数据存储 单元中记录的一个图像数据中提取对应于第一再现显示区域的图像以在预定第一宽高比 的第一显示器上再现和显示，以及对应于预定第二再现显示区域的图像以在不同于第一宽 高比的预定第二宽高比的第二显示器上再现和显示；对第一再现显示区域和第二再现显示 区域中的任一个或两者设置縮放制约，以防止图像数据中包含的预定对象从再现显示区域 缺失图像，放大和縮小图像数据；以及根据在縮放处理步骤中放大或縮小的预定对象与设 有縮放制约的再现显示区域的关系，执行用于防止预定对象从设有縮放制约的再现显示区 域缺失图像的预定处理。 根据本发明的另一实施例，提供了一种縮放控制程序，用于使得计算机执行如下 处理从数据存储单元中记录的图像数据中提取对应于第一再现显示区域的图像以在预定 第一宽高比的第一显示器上再现和显示，以及对应于第二再现显示区域的图像以在不同于 第一宽高比的预定第二宽高比的第二显示器上再现和显示；对第一再现显示区域和第二再 现显示区域中的任一个或两者设置縮放制约，以防止图像数据中包含的预定对象从再现显 示区域缺失图像，放大和縮小图像数据；以及根据由縮放处理放大或縮小的预定对象与设 有縮放制约的再现显示区域的关系，执行用于防止预定对象从设有縮放制约的再现显示区 域缺失图像的预定处理。 根据上述本发明的实施例，当同时拍摄具有不同宽高比的多个图像数据时或当同 时在具有不同宽高比的多个显示器上再现相同图像数据时，能控制縮放功能和显示功能， 使得预定对象不从设定宽高比的拍摄区域或再现显示区域缺失图像。


图1是示出根据本发明第一实施例的成像设备100的关于縮放处理的功能配置的 一个例子的框图； 图2是示出在根据第一实施例的成像设备100中，当从用户发出縮放指令时的处 理流程的一个例子的流程图； 图3是示出根据第一实施例在成像设备100中，縮放之前的显示单元112的显示 例子的解释性视图； 图4是示出根据第一实施例的成像设备100中，縮放警告图标134的显示例子的 解释性视图； 图5是示出根据第一实施例的成像设备100中，縮放限制图标136的显示例子的 解释性视 图6是示出在根据第二实施例的成像设备200中，当从用户发出縮放指令时的处 理流程的一个例子的流程图； 图7是示出根据本发明第二实施例的成像设备200中，图像缺失通知图标140的 显示例子的解释性视图； 图8是示出根据第二实施例的成像设备200中，縮放警告图标134的显示例子的 解释性视图； 图9是示出根据第二实施例的成像设备200中，縮放限制图标136的显示例子的 解释性视图； 图IO是示出在相关技术的成像设备中，在具有不同宽高比的多个显示装置上同 时再现图像数据时的问题的解释性视图； 图11是示出根据本发明第三实施例的成像设备300的关于縮放处理的功能配置 的一个例子的框图； 图12是示出在根据第三实施例的成像设备300中，在具有不同宽高比的多个显示 器上同时再现图像数据时的縮放控制的概念的解释性视图； 图13是示出在相关技术的成像设备中，在16 : 9的显示器20上显示与宽高比 4 : 3和16 : 9的图像对应的拍摄区域的例子的解释性视图； 图14是示出在相关技术的成像设备中，在显示器20上最大程度地显示多个宽高 比的拍摄区域中较小宽高比的拍摄区域时的概念的解释性视图； 图15是示出在根据本发明第四实施例的成像设备400中，当同时拍摄具有不同宽 高比的多个图像数据时在显示单元112上最大程度地显示一个宽高比的拍摄区域时的显 示例子的解释性视图； 图16是示出在根据本发明第四实施例的成像设备400中，当同时拍摄具有不同宽 高比的多个图像数据时在显示单元112上最大程度地显示一个宽高比的拍摄区域时的另 一显示例子的解释性视图； 图17是示出在定点观察、实验拍摄等中使用根据第四实施例的成像设备400时的 概念的解释性视图； 图18是示出在根据第四实施例的成像设备400中，用户可任意选择的帧模式 (frame mode)的类型的一个例子的解释性视图； 图19是示出根据第四实施例的成像设备400中，关于縮放处理的一系列流程的一 个例子的流程图； 图20是示出根据第四实施例的成像设备400中，根据縮放处理的显示单元112的 显示例子的解释性视图； 图21是示出根据第四实施例的成像设备400中，根据縮放处理的显示单元112的 另一显示例子的解释性视图； 图22是示出根据第四实施例的成像设备400中，帧模式No. 1中的縮放制约模式 的设置处理的流程的一个例子的流程图； 图23是示出根据第四实施例的成像设备400中，帧模式No. 2中的縮放制约模式 的设置处理的流程的一个例子的流程图； 图24是示出根据第四实施例的成像设备400中，帧模式No. 3中的縮放制约模式的设置处理的流程的一个例子的流程图； 图25是示出根据第四实施例的成像设备400中，帧模式No. 4中的縮放制约模式 的设置处理的流程的一个例子的流程图； 图26是示出根据第四实施例的成像设备400中，帧模式No. 5中的縮放制约模式 的设置处理的流程的一个例子的流程图； 图27是示出根据第四实施例的成像设备400中，帧模式No. 6中的縮放制约模式 的设置处理的流程的一个例子的流程图； 图28是示出在根据本发明第五实施例的成像设备500中，与縮放处理对应的显示 单元112的显示例子的解释性视图； 图29是示出根据每个实施例的成像设备的硬件配置的框图； 图30是示出在相关技术的成像设备中，使得4 : 3的显示器10显示与具有宽高
比4 : 3和16 : 9的图像对应的拍摄区域的例子的解释性视图； 图31是示出图30所示的显示器10的显示状态下通过縮放处理来放大感兴趣的 对象时的概念的解释性视图，示出当同时拍摄多个宽高比的图像时在縮放处理之前和之后 的显示屏幕的显示例子的解释性视图； 图32是示出在相关技术的成像设备中，使得16 : 9的显示器10显示与具有宽高
比4 : 3和16 : 9的图像对应的拍摄区域的例子的解释性视图；以及 图33是示出图32所示的显示器10的显示状态下通过縮放处理来放大感兴趣的
对象时的概念的解释性视图。
具体实施例方式
下文中，将参照附图详细描述本发明的优选实施例。注意，在说明书和附图中，用 相同的附图标记表示具有基本相同功能和结构的结构元件，并省略这些结构元件的重复解 释。将按以下顺序进行描述。1.第一实施例(防止从所有宽高比的拍摄区域缺失图像的例子)1--1.根据第一实施例的成像设备100的概况1--2.成像设备100的功能配置1--3.成像设备100的与縮放处理有关的处理流程2.第二实施例(仅仅防止从优先宽高比的拍摄区域缺失图像的例子)2--1.根据第二实施例的成像设备200的概况2--2.成像设备200的与縮放处理有关的处理流程3.第三实施例(当在具有多个宽高比的显示器上显示拍摄数据时的例子)3--1.根据第三实施例的成像设备300的概况3--2.成像设备300的功能配置4.第四实施例(当在显示器上最大程度地显示主拍摄区域时的例子)4--1.根据第四实施例的成像设备400的概况4--2.帧模式的设置4--3.成像设备400的与縮放处理有关的处理流程5.第五实施例(根据縮放处理切换显示区域的例子)
6.根据每个实施例的成像设备的硬件配置 7.概要 〈1.第一实施例> [1-1.根据第一实施例的成像设备100的概况] 首先，将在说明相关技术的问题之后描述根据本发明第一实施例的成像设备100 的概况。 如上所述，相关技术的诸如数字静态相机和数字视频相机的成像设备有时具有同
时拍摄多个宽高比如4 : 3和16 : 9的图像的功能。当提供了同时拍摄多个宽高比的图
像的功能时，要通过显示器等向用户指示对应于多个宽高比的合适拍摄区域。 图30是示出在现有技术成像设备中，向用户示出与具有多个宽高比的图像对应
的拍摄区域的显示例子的解释性视图。图30是在具有宽高比4 : 3的显示器10上同时显
示具有宽高比16 : 9的拍摄区域12和具有宽高比4 : 3的拍摄区域14的例子。在图30
所示的例子中，在具有宽高比4 : 3的显示器io上最大程度地显示具有宽高比4 : 3的拍
摄区域14，并且显示与具有宽高比16 : 9的拍摄区域12对应的帧(frame)。结果，通过观
看显示器10上显示的帧，在核对(check)具有宽高比4 : 3的拍摄区域14和具有宽高比
16 : 9的拍摄区域12同时，用户能进行预定处理，如縮放、聚焦、开始拍摄等。 假设用户进行縮放处理以拍摄预定对象，使得相关对象在拍摄区域中。在以下说
明中，将描述以富士山(Mt.Fuji)为感兴趣的对象进行縮放处理的例子。图31是示出当在
图30所示的显示器10的显示状态下通过縮放处理来放大作为感兴趣对象的富士山时的概
念的解释性视图。 参照图31，富士山在具有宽高比4 : 3的拍摄区域14内，但富士山的一部分超出 了具有宽高比16 : 9的拍摄区域12。换言之，即使用户进行縮放处理使得富士山在显示器 10内，富士山的一部分也从对应于宽高比16 : 9的图像数据中缺失图像。
无论显示器10的宽高比如何均产生这样的问题。图32是相关技术成像设备中， 在具有宽高比16 : 9的显示器10上同时显示具有宽高比16 : 9的拍摄区域12和具有宽 高比4 : 3的拍摄区域14的例子。在图32所示的例子中，在具有宽高比16 : 9的显示器 IO上最大程度地显示具有宽高比16 : 9的拍摄区域12，并且显示与具有宽高比4 : 3的 拍摄区域14对应的帧。图33是示出当在图32所示的显示器10的显示状态下通过縮放处 理放大作为感兴趣对象的富士山时的概念的解释性视图。参照图33，富士山在具有宽高比 16 : 9的拍摄区域12内，但富士山的一部分超出了具有宽高比4 : 3的拍摄区域14。换 言之，即使用户进行縮放处理使得富士山在显示器10内，富士山的一部分也从对应于宽高 比4:3的图像数据中缺失图像。 因而，当同时拍摄多个宽高比的图像时，即使用户进行縮放处理以使得预定对象 在成像设备的显示器IO内，对象也可能从一个宽高比的图像数据中缺失图像。换言之，当 同时拍摄多个宽高比的图像时，相关技术成像设备具有如下问题如果以显示器10的显示 屏幕作为参照进行縮放处理，则感兴趣的预定对象从一个宽高比的拍摄区域缺失图像。 根据本发明第一实施例的成像设备100解决了相关技术成像设备的这样的问题。
具体地，当同时拍摄多个宽高比的图像时，成像设备IOO对小拍摄区域的宽高比 的拍摄区域设置縮放制约，并执行预定处理以使得预定对象不从设定宽高比的图像中缺失图像。成像系统ioo在预定对象从设有縮放制约的宽高比的图像的拍摄区域缺失图像之
前，可以在显示屏幕上显示警告显示，或者可以禁用縮放功能。结果，用户能进行縮放处理 以使得预定对象不从任何宽高比的图像数据中缺失图像，且同时拍摄多个宽高比的图像数 据。 由此，当同时拍摄多个宽高比的图像时，根据第一实施例的成像设备100可控制 显示功能和縮放功能，使得预定对象不会从所有宽高比的图像数据的拍摄区域缺失图像。
下面将描述具有这样特性的根据第一实施例的成像设备100的细节。在以下说明
中，为了便于解释，用户通过成像设备ioo记录预定对象的动作被表示为"拍摄"，但还包括
原样记录图像的视频的"成像"的含义。
[1-1.成像设备100的功能配置] 首先，将描述根据第一实施例的成像设备100的功能配置。图1是示出根据第一 实施例的成像设备100的关于縮放处理的功能配置的一个例子的框图。
如图1所示，成像设备100被配置为主要包括成像数据输入单元102、图像显示范 围提取单元104、通知图像生成单元106、图像合成单元108、显示控制单元110、显示单元 112、图像记录范围提取单元114、数据存储单元116、操作输入单元120、縮放制约设置单元 122和縮放控制单元124。配置成像设备100的每个这样的功能配置单元通过控制单元126 的控制执行各种功能。下面将描述配置根据第一实施例的成像设备100的功能配置的细 节。(成像数据输入单元102) 通过拍摄透镜、成像元件等，对象的图像数据被连续输入到成像数据输入单元 102。拍摄透镜对对象成像，并且由用于实现縮放功能的縮放透镜、用户对对象聚焦的聚焦 透镜等构成。成像元件由CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等构成。 成像元件将由拍摄透镜成像的对象图像转换为电信号，并生成模拟图像数据。此后，对从成 像元件输出的图像数据进行增益调整和A/D(模拟/数字)转换。 以这种方式输入成像数据输入单元102的图像数据被传输到图像显示范围提取 单元104等，并进行预定处理，然后在显示单元112上显示。当用户命令记录图像数据时，输 入到成像数据输入单元102的图像数据被传输到后面描述的图像记录范围提取单元114， 然后通过预定模式(图像质量、宽高比等)记录在数据存储单元116中。
(图像显示范围提取单元104) 图像显示范围提取单元104从自成像数据输入单元102传输的图像数据中仅仅提 取要在显示单元112上显示的区域的图像。图像显示范围提取单元104可基于显示单元 112的显示性能、用户设置的宽高比、图像尺寸、拍摄模式等，根据来自控制单元126的指令 提取图像区域。图像显示范围提取单元104提取的图像被传输到后面描述的图像合成单元 108，并与通知图像合成，然后显示在显示单元112上。
(通知图像生成单元106) 通知图像生成单元106生成要在显示单元112上显示的各种通知图像。由通知图 像生成单元106生成的通知图像包括表示可拍摄的区域的引导帧(guide frame) 132、警告 预定对象的图像缺失或通知用户縮放功能受限的縮放状态通知图标134等。
依赖于用户期望拍摄的图像尺寸或宽高比，显示单元112上显示的图像可能与可以拍摄的区域不匹配。因而，成像设备100在由用户观看以检查拍摄区域的显示单元112 的图像中示出可以拍摄的区域。通知图像生成单元106生成示出拍摄区域的引导帧132， 以向用户指示在显示单元112上显示的图像中通过拍摄可以记录的区域。通知图像生成单 元106可根据基于用户设置的宽高比、图像尺寸、拍摄模式等的来自控制单元126的指令， 生成包括引导帧132的通知图像。 另外，当预定对象根据縮放处理接近拍摄区域的边界时，通知图像生成单元106 可生成縮放警告图标136用于通知用户图像缺失的风险，作为縮放状态通知图标134。当预 定对象根据縮放处理到达拍摄区域的边界时，通知图像生成单元106可生成縮放限制图标 138，用于通知用户不能在放大方向上进一步进行縮放处理，作为縮放状态通知图标134。由 此，通知图像生成单元106可通过根据縮放处理适当地改变縮放状态通知图标134，生成通 知图像。 通知图像生成单元106生成的通知图像被传输到后面描述的图像合成单元108。 将在后面描述的处理流程中例示縮放状态通知图标134(縮放警告图标136和縮放限制图 标138)的显示例子。
(图像合成单元108) 图像合成单元108把由通知图像生成单元106生成的通知图像合成到由图像显示 范围提取单元104提取的图像数据，并生成要在显示单元112上显示的图像数据。图像合 成单元108生成的图像数据被传输到后面描述的显示控制单元110，然后在显示单元112上 显示。(显示控制单元IIO) 显示控制单元IIO控制显示单元112的显示。显示控制单元IIO控制显示单元112 上的各种显示，如菜单屏幕显示、详细设置屏幕显示、图像编辑屏幕显示、拍摄屏幕显示、消 息显示等。当用户通过操作输入单元120命令显示菜单屏幕时，显示控制单元110在显示 屏幕112上显示预定菜单屏幕。结果，用户在观看显示单元112上显示的菜单屏幕同时，可 进行与诸如初始设置、拍摄模式的选择、图像质量设置、图像尺寸设置、宽高比设置、显示设 置和图像编辑的各种设置有关的操作。显示控制单元110可根据这样的用户操作，适当地 改变在显示单元112上显示的菜单屏幕。 当用户通过操作输入单元120命令切换到图像的拍摄模式时，显示控制单元110 使得显示单元112显示由图像合成单元108生成的图像数据。结果，用户可以看到显示单 元112上显示的引导帧132、縮放状态通知图标134等，并在核对可拍摄的区域的同时进行 縮放操作以执行拍摄。 显示控制单元110可根据从操作输入单元120输入的用户指令或者来自控制单元 126的基于ROM(只读存储器)等中存储的设置信息的指令，控制显示单元112上的显示。 将在后面的处理流程中描述图像拍摄模式下显示控制单元110对显示单元112的显示控制 的例子。 除了以上之外，显示控制单元IIO可另外具有与显示单元112的显示控制有关的 各种功能。显示控制单元110当然可以能够将图像合成单元108生成的图像数据压縮为适 合于显示单元112的显示性能的图像文件，或者将其转换为适合于显示单元112的显示格 式的图像格式。
(显示单元112) 显示单元112包括LCD(液晶显示器)、有机EL(电致发光显示器)等，并且被布 置在成像设备100上。显示单元112显示图像合成单元108生成的图像，即，其中把通知图 像生成单元106生成的通知图像合成到图像显示区域提取单元104提取的图像的的图像。 显示单元112还可显示数据存储单元116中记录的图像数据、对于用户的通知消息(例如， 拍摄模式、可用容量通知、错误通知)、详细设置屏幕等。构成显示单元112的显示器具有 16 : 9、4 : 3等的宽高比的可显示区域，但不限于特定宽高比。 显示单元112可以不布置在成像设备100上。如果外部显示器被布置在连接(有
线或无线)到成像设备100的外部装置中，则通过显示控制单元110将图像合成单元108
生成的图像传输到外部装置128。结果，用户可在观看外部显示器上显示的图像的同时执行
成像设备100的各种功能。(图像记录范围提取单元114) 图像记录范围提取单元114仅仅提取在被输入成像数据输入单元102的图像数据 中能被记录的区域的图像。例如，如果用户操作了操作按钮并命令开始拍摄运动图像，则图 像记录范围提取单元114从输入成像数据输入单元102的图像数据中连续提取拍摄区域的 图像数据，并将其记录在数据存储单元116中，作为预定格式的运动图像流。在此情况下， 图像记录范围提取单元114可基于用户指定的图像尺寸和宽高比提取图像数据，根据拍摄 模式自动确定的图像尺寸和宽高比等来提取图像数据。 当用户命令拍摄静态图像时，图像记录范围提取单元114从输入到成像数据输入 单元102的等于一帧的图像数据中仅提取拍摄区域的图像数据。在此情况下，图像记录范 围提取单元114可基于用户指定的图像尺寸和宽高比，根据拍摄模式自动确定的图像尺寸 和宽高比等来提取图像数据。 如上所述，成像设备100可同时记录多个宽高比的图像。因而，当用户命令开始拍 摄多个宽高比的图像时，图像记录范围提取单元114可从输入到成像数据输入单元102的 图像数据中提取对应于各个宽高比的拍摄区域的图像数据。例如，假设在拍摄对应于宽高 比16 : 9的运动图像时用户命令拍摄对应于宽高比4 : 3的静态图像的情况。在此情况下， 图像记录范围提取单元114从成像数据输入单元102生成的图像数据中连续提取16 : 9的 拍摄区域的图像数据，并连续将其记录在数据存储单元116中，作为预定格式的运动图像 流。另外，与运动图像流的记录并行，图像记录范围提取单元114从成像数据输入单元102 生成的等于一帧的图像数据中提取4 : 3的拍摄区域的图像数据，并将其记录在数据存储 单元116中，作为预定格式的静态图像文件。结果，对于输入成像数据输入单元102的图像 数据，在记录对应于宽高比16 : 9的运动图像数据同时，可记录对应于宽高比4 : 3的静 态图像数据。 由此，当用户命令开始拍摄时，图像记录范围提取单元114从输入成像数据输入
单元102的图像数据中仅仅提取拍摄区域的图像数据，并将其存储在数据存储单元116中。
图像记录范围提取单元114可根据来自控制单元126的基于用户设置的宽高比、图像尺寸、
拍摄模式等的指令，提取图像数据。图像记录范围提取单元114可提取的图像不限于特定
图像尺寸或宽高比。(数据存储单元116)
数据存储单元116用作用于存储由图像记录范围提取单元114记录的图像数据的 非易失性存储区域。数据存储单元116由诸如HDD的磁存储装置、半导体存储装置、光学存 储装置、磁光存储这种等构成，并且不限于特定配置，只要其是能够保存多个图像数据的非 易失性存储装置即可。数据存储单元116可以不内置在成像设备100中。数据存储单元 116可以被布置在被插入于成像设备100上提供的记录介质插入单元(未示出)等的如记 忆棒(注册商标)或SD存储卡的记录介质上。
(操作输入单元120) 操作输入单元120被配置为包括操作单元，如触摸面板、按钮、开关、控制杆和拨 盘。用户操作这样的操作单元以对成像设备IOO命令处理操作(縮放制约设置、模式改变、 宽高比设置、图像质量调整、拍摄操作、縮放/聚焦/光圈/快门速度改变、再现操作等)。 操作输入单元120将通过操作单元从用户接受的指令信息传送给控制单元126。响应于此， 控制单元126基于从操作输入单元120传送的指令信息控制成像设备100的每个功能配置 单元，以执行用户期望的各种类型的功能。
(縮放制约设置单元122) 当同时拍摄多个宽高比的图像数据时，縮放制约设置单元122对一个或所有宽高 比的拍摄区域设置縮放制约。縮放制约意味着控制成像设备100的显示功能和縮放功能， 使得用户设置或自动设置的预定对象不会从拍摄区域缺失图像。换言之，成像设备100在 显示单元112等上显示縮放状态通知图标134或者制约縮放功能，使得预定对象不从设有 縮放制约的宽高比的拍摄区域中缺失图像。因而，根据第一实施例的成像设备100具有在 同时拍摄多个宽高比的图像数据时，控制显示功能和縮放功能使得预定对象不会从设定宽 高比的拍摄区域缺失图像的特性。 縮放制约设置单元122根据从操作输入单元120输入的用户指令或者来自控制单 元126的基于ROM等中存储的设置信息的指令，确定对哪个宽高比设置縮放制约。例如，当 用户通过操作按钮等对预定宽高比命令縮放制约时，縮放制约设置单元122根据来自控制 单元126的指令，对接受了来自用户的指令的宽高比设置縮放制约。 如上所述，根据第一实施例的成像设备100具有如下特性通过对小拍摄区域的 宽高比设置縮放制约，使得用户能够基于显示单元112上显示的图像进行縮放处理。通过
例子，假设如下情况当同时拍摄i6 : 9的图像数据和4 : 3的图像数据时，在4 : 3的
显示单元112上最大程度地显示4 : 3的拍摄区域，并且在比显示单元112的显示区域小 的范围内显示宽高比16 : 9的拍摄区域。在此情况下，用户可通过操作按钮等命令对宽高 比16 : 9的縮放制约。响应于此，縮放制约设置单元122对宽高比16 : 9设置縮放制约， 并将这样的设置信息传输给后面描述的縮放控制单元124等。縮放控制单元124然后基于 所传输的縮放制约的设置信息，控制縮放功能使得预定对象不从16 : 9的拍摄区域缺失图 像，并命令通知图像生成单元106生成縮放状态通知图标134。由此，即使没有来自用户的 指令，縮放制约设置单元122也能自动对多个宽高比的拍摄区域中较小拍摄区域的宽高比 设置縮放制约。
(縮放控制单元124) 縮放控制单元124根据从操作输入单元120输入的用户指令或者来自控制单元 126的基于ROM等中存储的设置信息的指令，进行縮放控制。例如，当用户通过操作按钮等命令所谓的光学縮放时，縮放控制单元124对成像数据输入单元102命令縮放处理的执行。 响应于此，成像数据输入单元102可通过驱动縮放透镜等改变成像的图像区域。縮放控制 单元124可根据来自控制单元126的指令检测拍摄区域中包含的预定对象，并自动进行縮 放控制以使得对象在拍摄区域内。 例如，当用户通过操作按钮等命令所谓数字縮放时，縮放控制单元124对图像显 示范围提取单元104命令縮放处理的执行。响应于此，图像显示范围提取单元104可改变 要从自成像数据输入单元102传输的图像数据提取的区域。 如上所述，当同时拍摄多个宽高比的图像数据时，有时由縮放制约设置单元122 对一个宽高比的图像数据设置縮放制约。在此情况下，縮放控制单元124基于从縮放制约 设置单元122传输的信息，进行縮放控制，使得预定对象不从设有縮放制约的宽高比的图 像数据的拍摄区域缺失图像。例如，縮放控制单元124在预定对象从设有縮放制约的宽高 比的拍摄区域缺失图像之前，限制縮放功能，使得对象落入设定宽高比的拍摄区域。縮放控 制单元124可在预定对象到达设有縮放制约的宽高比的拍摄区域的边界之前，命令通知图 像生成单元106生成縮放警告图标136。 由此，当同时拍摄多个宽高比的图像数据时，縮放控制单元124可执行预定处理， 使得预定对象不从设有縮放制约的宽高比的拍摄区域缺失图像。结果，即使当同时拍摄多 个宽高比的图像数据时，用户也能拍摄图像数据，使得预定对象不从每个宽高比的图像数 据中缺失图像。 可通过各种方法确定被防止从设有縮放制约的宽高比的拍摄区域缺失图像的预 定对象。例如，当用户通过操作操作按钮等指定预定对象时，縮放控制单元124可控制各 种类型的功能，使得用户指定的对象不会从设有縮放制约的宽高比的拍摄区域缺失图像。 例如，当具有诸如脸检测功能的自动检测预定对象的功能时，縮放控制单元124可控制各 种类型的功能，使得自动检测到的预定对象不从设有縮放制约的宽高比的拍摄区域缺失图 像。由此，对防止图像缺失的对象的类型和确定方法没有特别限制。
(控制单元126) 控制单元126是用于控制整个成像设备100的计算处理装置和控制装置，并且可 以是CPU(中央处理单元)。控制单元126根据来自操作输入单元120的指令，命令成像设 备的每个功能配置单元预定处理。下面将描述通过控制单元126每个功能配置单元执行的 处理的流程。 上面已经描述了根据第一实施例的成像设备100的功能配置的一个例子。图1所 示的功能配置主要示出了用于实现縮放功能和显示功能的控制的功能，其是第一实施例的 特征，但不限于此。除了图1所示的功能配置单元之外，成像设备ioo还可包括常用成像设 备的各种类型的功能，如记录功能、音频输入/输出功能、通信功能和图像编辑功能。
[1-2.成像设备100的与縮放处理有关的处理流程] 将参照流程图描述具有上述功能配置的成像设备100的縮放处理的流程。图2是 示出在根据第一实施例的成像设备100中，当从用户发出縮放指令时的处理流程的一个例 子的流程图。图2所示的处理流程示出了当同时拍摄多个宽高比的图像数据时在对较小 拍摄区域的宽高比设置縮放制约时进行的处理流程的例子。例如，图3是示出在接受来自 用户的縮放指令之前显示单元112的显示例子的解释性视图。在图3所示的例子中，在具
17有宽高比4 : 3的可显示区域的显示单元112上最大程度地显示宽高比4 : 3的拍摄区域 150，并且在显示单元112的可显示区域中的一部分上显示宽高比16 : 9的拍摄区域152。 通过例子，将使用对于宽高比16 : 9的较小拍摄区域152设置縮放制约并将"富士山"设 置为感兴趣的预定对象的情况描述图2的处理流程。 首先，在步骤200中，成像设备IOO确定用户的縮放指令是否是在设有縮放制约的 方向(即，放大对象的方向)上的縮放指令。控制单元126基于从操作输入单元120传送 的用户操作有关的信息，确定是否是在放大对象的方向上的縮放指令，并将确定结果传输 给縮放控制单元124。 如果在步骤200中确定用户的縮放指令是在縮小对象方向上的縮放指令，则在步 骤202中，縮放控制单元124进行縮放透镜的驱动控制等。由此，在显示器112上显示比图 3所示例子更小的图像的富士山。 如果在步骤200中确定用户的縮放指令是在放大对象方向上的縮放指令，则成像 设备100进行步骤204的确定处理。换言之，縮放控制单元124确定作为感兴趣对象的富 士山是否已经到达设有縮放制约的宽高比16 : 9的拍摄区域152的警告边界。"警告边界 154"是用于通知用户当进一步连续扩大感兴趣的对象时会发生图像缺失的边界，并且被设 置为设有縮放制约的宽高比的拍摄区域中的预定位置。成像设备ioo可将具有设有縮放制 约的宽高比的拍摄区域的80%大小的区域的边界设置为警告边界154。显然可以任意设置 /改变警告边界154的位置，而不限于特定位置。可由用户适当地改变警告边界154的位 置，或者可根据拍摄模式等自动改变。 如果确定富士山还未到达宽高比16 : 9的拍摄区域152的警告边界154，则即使 在放大对象的方向上进行縮放处理，也不产生富士山从宽高比16 : 9的拍摄区域152缺失 图像的风险。因而，縮放控制单元124在步骤202中进行縮放透镜的驱动控制等。在显示 单元112上显示的图像的富士山被包含在宽高比16 : 9的拍摄区域152中，并且变得比图 3所示的例子更大。 如果确定富士山已经到达宽高比16 : 9的拍摄区域152的警告边界154，那么，如 果再继续縮放处理，富士山可能从16 : 9的拍摄区域缺失图像。然而，如果警告边界154 设有裕量，则即使仍然在放大对象的方向上进行縮放处理，富士山也不会从宽高比16 : 9 的拍摄区域152缺失图像，因此成像设备100进行步骤206的确定处理。换言之，縮放控制 单元124确定作为感兴趣对象的富士山是否已经到达设有縮放制约的宽高比16 : 9的拍 摄区域152的限制边界。"限制边界"是用于限制使得不再放大感兴趣对象的边界，并且被 设置在设有縮放制约的宽高比的拍摄区域中。成像设备IOO可将设有縮放制约的拍摄区域 的边界设置为限制边界。为了一定程度的裕量，成像设备可将具有设有縮放制约的宽高比 16 : 9的拍摄区域152的95%尺寸的区域的边界设置为限制边界。显然可以任意设置/ 改变限制边界的位置，而不限于特定位置。可由用户适当地改变限制边界的位置，或者可根 据拍摄模式等自动改变。 如果在步骤206中确定富士山还未到达宽高比16 : 9的拍摄区域152的限制边 界，则即使在放大对象的方向上进行縮放处理，也不产生富士山从宽高比16 : 9的拍摄区 域152缺失图像的风险。然而，要通知用户，如果再继续在放大对象的方向上的縮放处理， 富士山可能从16 : 9的拍摄区域152缺失图像。因而，成像设备100在步骤208中在显示单元112上显示縮放警告图标136。换言之，通知图像生成单元106生成包括縮放警告图标 136的通知图像，并将其传输给图像合成单元108，縮放警告图标136指示富士山已经到达 宽高比16 : 9的拍摄区域152的警告边界154。响应于此，图像合成单元108合成由图像 显示范围提取单元104提取的图像和包括縮放警告图标136的通知图像，并将其传输给显 示控制单元110。由此，在显示单元112上显示縮放警告图标136，作为縮放状态通知图标 134。 此后，在步骤202，縮放控制单元124进行縮放透镜的驱动控制等，使得放大在显 示单元112上显示的图像的富士山。 图4是示出在步骤208中显示縮放警告图标136的显示单元112的显示例子的解 释性视图。如图4所示，富士山存在于超出警告边界154的范围内，但未到达限制边界(设 置为宽高比16 : 9的拍摄区域152的边界)。因而，在显示单元112上显示字符"警告"的 縮放警告图标136。用户由此可容易地识别出如果进一步进行放大方向上的縮放处理，富士 山可能从16 : 9的图像数据中缺失图像。 如果在步骤206确定富士山已经到达宽高比16 : 9的拍摄区域152的限制边界， 那么，如果在放大对象的方向上进一步进行縮放处理，富士山可能从16 : 9的拍摄区域缺 失图像。因而，縮放控制单元124禁止縮放功能，并且对于来自用户的縮放指令不进行縮放 处理。另外，在步骤210，成像设备100使得显示单元112显示縮放限制图标138。换言之， 通知图像生成单元106生成包括縮放限制图标138的通知图像，并将其传输给图像合成单 元108，縮放限制图标138指示富士山已经到达宽高比16 : 9的拍摄区域152的限制边界。 响应于此，图像合成单元108合成由图像显示范围提取单元104提取的图像和包括縮放限 制图标138的通知图像，并将其传输给显示控制单元110。由此，在显示单元112上显示通 知用户不能再进行放大对象的縮放处理的縮放限制图标138，作为縮放状态通知图标134。
图5是示出在步骤210中显示縮放限制图标138的显示单元112的显示例子的解 释性视图。如图5所示，富士山已经到达限制边界(设置为宽高比16 : 9的拍摄区域152 的边界)。因而，在显示单元112上显示字符"停止"的縮放限制图标138。用户由此能容 易地识别出不能再在放大方向上进行縮放处理。 因而，当同时拍摄多个宽高比的图像数据时，根据第一实施例的成像设备100能 控制显示功能和縮放功能，使得感兴趣的预定对象不会从每个宽高比的图像数据缺失图 像。换言之，成像设备IOO对多个宽高比的拍摄区域中较小宽高比的拍摄区域设置縮放制 约。由此，当感兴趣的预定对象接近设有縮放制约的宽高比的拍摄区域的边界时，成像设备 100能在显示单元112上显示警告显示(縮放警告图标136)。当感兴趣的预定对象已经 到达设有縮放制约的宽高比的拍摄区域的边界时，成像设备100能通过禁止縮放功能，防 止感兴趣的对象从图像数据中缺失图像。此外，成像设备100可使得显示单元112显示通 知图标(縮放限制图标138)，通知用户縮放功能受限并且不能再在放大方向上进行縮放处 理。换言之，当同时拍摄多个宽高比的图像数据时，根据第一实施例的成像设备IOO能控制 显示功能和縮放功能，使得预定对象不会从各个宽高比的图像数据的拍摄区域缺失图像。
在上述说明中，已经通过例子描述了其中显示单元112具有宽高比4 : 3的可显 示区域，并同时拍摄宽高比16 : 9的图像数据和宽高比4 : 3的图像数据的情况，但本发 明不限于此。显示单元112可具有宽高比16 : 9的可显示区域，并且可同时拍摄其他宽高
19比的图像数据。 縮放警告图标136和縮放限制图标138的字符、颜色、尺寸、显示位置等不限于图4 和图5所示的例子。可任意设置和改变縮放警告图标136和縮放限制图标138的字符、颜 色、尺寸、显示位置等。在图4所示的显示例子中，为便于解释，用虚线示出警告边界154，但 实际上，警告边界154可以不显示在显示单元112上。
〈2.第二实施例> [2-1.根据第二实施例的成像设备200的概况] 现在，将描述根据本发明第二实施例的成像设备200的概况，其具有根据第一实 施例的成像设备100的功能并且能够增强縮放制约的设置的自由度。 根据第一实施例的成像设备100可通过对多个宽高比的拍摄区域中较小拍摄区
域的宽高比设置縮放制约，防止预定对象从每个宽高比的拍摄数据中缺失图像。然而，依赖
于用户、拍摄情形等，可能不会防止从所有宽高比的拍摄数据中缺失图像，并且将假设仅仅
优先防止从特定宽高比的拍摄数据中缺失图像的情况。当优先防止从多个宽高比的拍摄区
域中较小拍摄区域的宽高比的拍摄数据中缺失图像时，这可通过根据第一实施例的成像设
备100实现。根据第二实施例的成像设备200具有在优先防止从多个宽高比的拍摄区域中
较大拍摄区域的宽高比的拍摄数据中缺失图像时控制显示功能和縮放功能的特性。 例如，通过例子描述图3，当用户主要拍摄宽高比4 : 3的数据，次要拍摄宽高比
16 : 9的数据时，假设仅仅防止从宽高比4 : 3的拍摄数据中缺失图像的情况。同样在此
情况下，根据第二实施例的成像设备200能通过对宽高比4 : 3的较大拍摄区域150设置
縮放制约，防止感兴趣的预定对象从宽高比4 : 3的拍摄数据中缺失图像。换言之，即使感
兴趣的预定对象根据縮放处理从次要拍摄的宽高比16 : 9的拍摄区域152缺失图像，根据 第二实施例的成像设备200也不限制縮放处理，直到对象到达宽高比4 : 3的拍摄区域150 的限制边界。另外，根据第二实施例的成像设备200可显示縮放状态通知图标134，用于提 醒和警告已经从16 : 9的拍摄数据中发生图像缺失。 当同时拍摄多个宽高比的图像数据时，由用户任意设置或根据拍摄模式等自动设 置对哪个宽高比的哪个拍摄区域设置縮放制约。换言之，如果对图3所示的例子中较小拍 摄区域的宽高比16 : 9的拍摄区域152设置縮放制约，则进行通过第一实施例的成像设备 IOO的縮放控制。如果对较大拍摄区域的宽高比4 : 3的拍摄区域150设置縮放制约，则进 行下面描述的第二实施例的成像设备200的縮放控制。 [OWO] [2-2.成像设备200的与縮放处理有关的处理流程] 将参照流程图描述根据第二实施例的成像设备200的縮放处理流程。图6是示出 根据第二实施例的成像设备200中，当从用户发出縮放指令时的处理流程的一个例子的流 程图。图6所示的处理流程示出了当同时拍摄多个宽高比的图像数据时在对较大拍摄区域 的宽高比设置縮放制约时进行的处理流程的例子。将通过例子，使用其中对于宽高比4 : 3 的较大拍摄区域150设置縮放制约并将"富士山"设置为感兴趣的对象的情况，描述图6的 处理流程。 首先，在步骤300，成像设备200确定用户的縮放指令是否是在设有縮放制约的方 向即放大对象的方向上的縮放指令。 如果在步骤300中确定用户的縮放指令是在縮小对象方向上的縮放指令，则在步骤302中，縮放控制单元124进行縮放透镜的驱动控制等。由此，在显示器112上显示比图 3所示例子更小的富士山。 如果在步骤300中确定用户的縮放指令是在放大对象方向上的縮放指令，则成像 设备200进行步骤304的确定处理。换言之，縮放控制单元124确定作为感兴趣对象的富 士山是否已经到达设有縮放制约的宽高比16 : 9的拍摄区域152的警告边界154。根据第 二实施例的成像设备200可不仅对设有縮放制约的宽高比4 : 3的拍摄区域150还可以对 未设有縮放制约的宽高比16 : 9的拍摄区域152设置警告边界154。由此，成像设备200 能以提醒方式通知用户存在从未设有縮放制约的16 : 9的图像数据发生图像缺失的可能 性。 如果在步骤304中确定富士山还未到达宽高比16 : 9的拍摄区域152的警告边
界154，则在步骤302中，縮放控制单元124进行縮放透镜的驱动控制等。 如果在步骤304中确定富士山已经到达警告边界154，因为对宽高比4 : 3的拍摄
区域150设置了縮放制约，则成像设备200进行步骤306的确定处理。换言之，縮放控制单
元124确定富士山是否存在于超出未设有縮放制约的宽高比16 : 9的拍摄区域152的区域中。 如果在步骤306中确定富士山不存在于超出未设有縮放制约的宽高比16 : 9的 拍摄区域152的区域中，则成像设备200在步骤308中在显示单元112上显示縮放警告图 标136。因而，显示与图4所示例子相同的縮放警告图标136，作为縮放状态通知图标134。 结果，成像设备200能以提醒方式通知感兴趣的预定对象可能对于未设有縮放制约的宽高 比的拍摄区域，即，对于用户期望次要拍摄的图像数据，缺失图像。然后，用户可根据次要拍 摄数据的重要性、拍摄情形的改变等，容易地停止在放大对象的方向上的縮放处理。
此后，在步骤302，縮放控制单元124进行縮放透镜的驱动控制等，使得放大在显 示单元112上显示的图像的富士山。 这里，对宽高比4 : 3的拍摄区域150设置縮放制约。因而，即使在步骤306中确 定富士山存在于超出宽高比16 : 9的拍摄区域152的区域中，成像设备200也进行步骤 310的确定处理。S卩，縮放控制单元124确定作为感兴趣对象的富士山是否已经到达设有縮 放制约的宽高比4 : 3的拍摄区域150的警告边界。 如果在步骤310确定富士山还未到达宽高比4 : 3的拍摄区域150的警告边界 154，则即使在放大对象的方向上进行縮放处理，也不产生富士山从宽高比4 : 3的拍摄区 域150缺失图像的风险。然而，富士山已经从未设有縮放制约的宽高比16 : 9的拍摄区域 152缺失图像。在此情况下，根据第二实施例的成像设备能以提醒方式通知用户已经从未设 有縮放制约的16 : 9的图像数据发生图像缺失。 换言之，在步骤312中，成像设备200在显示单元112上显示图像缺失通知图标 140，以提醒方式通知感兴趣的对象从未设有縮放制约的宽高比的拍摄区域缺失图像。艮卩， 通知图像生产单元106生成包括图像缺失通知图标140的通知图像，并将其传输给图像合 成单元108，图像缺失通知图标140指示富士山已经从宽高比16 : 9的拍摄区域152缺失 图像。响应于此，图像合成单元108合成由图像显示范围提取单元104提取的图像和包括图 像缺失通知图标140的通知图像，并将其传输给显示控制单元110。由此，在显示单元112 上显示图像缺失通知图标140，作为縮放状态通知图标134。
21
此后，在步骤302，縮放控制单元124进行縮放透镜的驱动控制等，使得放大在显 示单元112上显示的图像的富士山。 图7是示出在步骤312中显示图像缺失通知图标140的显示单元112的显示例子 的解释性视图。如图7所示，富士山存在于超出宽高比16 : 9的拍摄区域152的区域中， 但未到达宽高比4 : 3的拍摄区域150的警告边界154。因而，在显示单元112上显示字符 "越过(OVER)"的图像缺失通知图标140。结果，成像设备200能以提醒方式通知感兴趣的 预定对象对于未设有縮放制约的宽高比的拍摄区域，即，对于用户期望次要拍摄的图像数 据，缺失图像。由此，用户根据次要拍摄数据的重要性、拍摄情形的改变等，进行在縮小对象 的方向上的縮放处理，并避免从次要拍摄数据中缺失图像。 如果在步骤310中确定富士山已经到达宽高比4 : 3的拍摄区域150的警告边界 154，那么，如果再继续縮放处理，富士山可能从4 : 3的拍摄数据中缺失图像。然而，如果 警告边界154设有裕量，则即使仍然在放大对象的方向上进行縮放处理，富士山也不会从 宽高比4 : 3的拍摄区域150缺失图像，因此成像设备200进行步骤314的确定处理。换 言之，縮放控制单元124确定作为感兴趣对象的富士山是否已经到达设有縮放制约的宽高 比4 : 3的拍摄区域150的限制边界。 如果在步骤314中确定富士山还未到达宽高比4 : 3的拍摄区域150的限制边界， 则即使在放大对象的方向上进行縮放处理，也不产生富士山从宽高比4 : 3的拍摄区域150 缺失图像的风险。然而，要通知用户，如果再继续在放大对象方向上的縮放处理，富士山可 能从宽高比4 : 3的拍摄区域150缺失图像。因而，成像设备100在步骤316中在显示单 元112上显示縮放警告图标136作为縮放状态通知图标134。 此后，在步骤302，縮放控制单元124进行縮放透镜的驱动控制等，使得放大在显 示单元112上显示的图像的富士山。 图8是在步骤316中显示縮放警告图标136的显示单元112的显示例子的解释性 视图。如图8所示，富士山存在于超出宽高比4 : 3的拍摄区域150的警告边界154的范 围内，但未到达限制边界(设置为宽高比4 : 3的拍摄区域150的边界)。因而，在显示单 元112上显示字符"警告"的縮放警告图标136。用户由此可容易地识别出如果进一步进行 放大方向上的縮放处理，则富士山可能从4 : 3的图像数据中缺失图像。
如果在步骤314确定富士山已经到达宽高比4 : 3的拍摄区域150的限制边界， 那么，如果再在放大对象的方向上进行縮放处理，则富士山可能从4 : 3的图像数据缺失图 像。因而，縮放控制单元124禁止縮放功能，并且对于来自用户的縮放指令不进行縮放处 理。另外，在步骤318，成像设备200使得显示单元112显示縮放限制图标138作为縮放状 态通知图标134。 图9是示出在步骤318中显示縮放限制图标138的显示单元112的显示例子的解 释性视图。如图9所示，富士山已经到达宽高比4 : 3的限制边界(设置为宽高比4 : 3 的拍摄区域150的边界)。因而，在显示单元112上显示字符"停止"的縮放限制图标138。 用户由此能容易地识别出不能再在放大方向上进行縮放处理。 因而，当同时拍摄多个宽高比的图像时，根据第二实施例的成像设备200能控制 显示功能和縮放功能，使得感兴趣的预定对象仅仅不会从较高宽高比的图像数据的拍摄区 域缺失图像。换言之，成像设备200对多个宽高比的拍摄区域中较大宽高比的拍摄区域设置縮放制约。由此，成像设备200能放大物体而不禁止縮放功能，直到感兴趣的预定对象到 达设有縮放制约的宽高比的拍摄区域的边界。即使对于与未设有縮放制约的宽高比的图像 数据的图像缺失有关的状态，成像设备也可在显示单元112上显示縮放状态通知图标134， 同时根据縮放处理的情形适当地改变它。因而，即使对于未设有縮放制约的宽高比的图像 数据，成像设备200也能根据縮放处理，以提醒方式通知用户图像缺失状态。用户由此能根 据次要拍摄数据、拍摄情形的改变等，容易地防止和避免未设有縮放制约的宽高比的图像 数据的图像缺失。由此，当同时拍摄多个宽高比的图像时，根据第二实施例的成像设备200 能控制显示功能和縮放功能，使得仅仅从较高宽高比的图像数据的拍摄区域预定对象不会 缺失图像。 在上述说明中，已经通过例子描述了即使对于未设有縮放制约的宽高比16 : 9的 图像数据的图像缺失显示单元112也以提醒方式显示縮放状态通知图标134的情况，但本 发明不限于此。例如，当用户期望仅仅主要拍摄宽高比4 : 3的图像数据时，可对于未设有 縮放制约的宽高比的图像数据不显示警告图像缺失等的縮放状态通知图标134。可由产品 规格、用户的设置改变等，任意设置与未设有縮放制约的宽高比的图像数据有关的縮放状 态通知图标134的显示的有无。
〈3.第三实施例> [3-1.根据第三实施例的成像设备300的概况] 在第一和第二实施例中，集中描述了在同时拍摄多个宽高比的图像数据时显示功 能和縮放功能的特性。在具有不同宽高比的多个显示器上同时再现成像数据时的显示功能 和縮放功能的控制是一种特性。下面将描述根据第三实施例的成像设备300的概况。
在普通成像设备中，用户可在成像设备中布置的显示器上显示拍摄的图像数据， 并进行浏览。用户还可不仅在成像设备上布置的显示器上还可以在外部连接到成像设备的 外部显示器上显示图像数据并浏览。另外，用户可在浏览在任一显示器上显示的图像数据 的同时，对成像设备发出縮放指令，以按照放大方式显示感兴趣的预定对象。然而，如果在 成像设备上布置的显示器的宽高比和外部连接的显示器的宽高比不同，则两个显示器上的 图像数据显示的范围可能不同。在此情况下，当用户基于一个显示器上显示的图像按放大 方式显示感兴趣的对象时，感兴趣的对象可能超出了 (run out)另一显示器的显示屏幕。
图10是概念性示出这种问题的解释性视图。在图10所示的例子中，成像设备16 和外部显示装置128相连，同时在成像设备16中布置的显示器10和外部显示装置128上 再现在成像设备16中存储的预定图像数据。成像设备16中布置的显示器10的宽高比是 4 : 3，外部显示装置128的宽高比是16 : 9。假设感兴趣的对象是富士山，当用户在观看 成像设备16的显示器10的图像的同时在放大富士山的方向上縮放时，产生类似于图31所 述的例子的问题。即，可能发生下述现象富士山在成像设备16的显示器10中显示而没有 图像缺失，但富士山在外部显示装置128中缺失图像。 根据本发明第三实施例的成像设备300解决这样的问题。具体地，当在具有不同 宽高比的多个显示器上同时再现一个图像数据时，根据第三实施例的成像设备300可使用 第一和第二实施例的特性。换言之，根据第三实施例的成像设备300使用第一实施例的特 性控制显示功能和縮放功能，使得感兴趣的对象不从每个显示器的可显示区域显示为缺失 图像。成像设备300还可使用第二实施例的特性控制显示功能和縮放功能，使得感兴趣的对象仅仅不从优先的任一个宽高比的显示器的可显示区域显示为缺失图像。
[3_2.成像设备加0的功能配置] 图11是示出根据第三实施例的成像设备300的功能配置的一个例子的框图。如 图11所示，除了图1例示的根据第一实施例的成像设备100的功能配置之外，成像设备300 还包括再现图像输入单元118。显示控制单元110不仅向成像设备300的显示单元112，还 向外部显示装置128传输由图像合成单元108合成的图像数据。
(再现图像输入单元118) 再现图像输入单元118提取在数据存储单元116中记录的图像数据，作为再现图 像，并传输到图像显示范围提取单元104。再现图像输入单元118可基于从操作输入单元 120输入的用户指令、ROM中存储的设置信息等，从在数据存储单元116中记录的图像数据 中提取要再现的图像数据。例如，当用户通过操作按钮等命令再现预定图像数据时，再现图 像输入单元118根据来自控制单元126的指令从数据存储单元116提取相关图像数据，并 将其传输到图像显示范围提取单元104。 响应于此，图像显示范围提取单元104从自再现图像输入单元118传输的图像数 据中仅仅提取要在显示单元112和外部显示装置128上显示的区域的图像。图像显示范围 提取单元104可根据基于显示单元112和外部显示装置128的显示性能、用户设置的宽高 比、图像尺寸、拍摄模式等的来自控制单元126的指令提取图像区域。例如，当在显示单元 112和外部显示装置128两者上显示图像数据时，图像显示范围提取单元104可提取与显示 单元112的宽高比对应的图像和与外部显示装置128的宽高比对应的图像。图像显示范围 提取单元104提取的图像被传输到图像合成单元108，并与通知图像合成，然后在显示单元 112和外部显示装置128上再现。 当用户在图像数据的再现模式下通过操作按钮等命令所谓的光学縮放时，縮放控 制单元124对图像显示范围提取单元104命令縮放处理的执行。响应于此，图像显示范围 提取单元104可改变要从再现图像输入单元118传输的图像数据中提取的区域。
将参照图12描述其中由具有上述功能配置的成像设备300解决图IO所示的相关 技术的问题的例子。图12是示出在根据第三实施例的成像设备300中，当在具有不同宽高 比的多个显示器上同时再现图像数据时的縮放控制的概念的解释性视图。
在图12所示的例子中，对外部连接到成像设备300的外部显示装置128的可显示 区域设置縮放制约。因而，即使用户在观看显示单元112上显示的图像的同时在放大富士 山的方向上縮放，縮放功能在富士山到达外部显示装置128的再现显示区域的限制边界的 时间点上也是受限的。在此情况下，即使用户在仅仅观看成像设备300的显示单元113的显 示屏幕的同时进行縮放处理，也能防止富士山从外部显示装置128的显示区域缺失图像。
在图12所示的例子中，縮放状态通知图标134仅仅在成像设备300的显示单元 112上显示，但可以不仅在显示单元112上而且在外部显示装置128上显示。在以上例子 中，仅仅描述了其中显示縮放限制图标138的例子，但并不是仅有这种情况。换言之，类似 于第一和第二实施例，成像设备300可根据縮放状态显示各种縮放状态通知图标134，以防 止发生从具有被设置了縮放制约的宽高比的显示器缺失图像。 成像设备300不仅可用于再现和显示图像数据，还可类似于第一和第二实施例， 同时拍摄具有不同宽高比的多个图像数据。例如，成像设备300可在成像设备300的显示单元112上显示特定宽高比的拍摄区域，并且在外部显示装置128上显示另一宽高比的拍 摄区域。成像设备300可通过对任一宽高比的拍摄区域设置縮放制约，执行如上每个实施 例所示的显示功能和縮放功能。 当在具有不同宽高比的多个显示器上再现一个运动图像数据时，根据第三实施例 的成像设备300可防止感兴趣的对象从每个显示器的再现显示区域缺失图像。当同时在具 有不同宽高比的多个显示器上再现一个运动图像数据时，成像设备300可优先防止感兴趣 的对象从任何显示器的再现显示区域缺失图像。另外，当同时拍摄具有不同宽高比的多个 图像数据时，类似于在多个不同显示器上显示每个宽高比的拍摄区域时那样，成像设备300 可防止感兴趣的对象从每个显示器缺失图像。
〈4.第四实施例> [4-1.根据第四实施例的成像设备400的概况] 下面将描述根据本发明第四实施例的成像设备400，其具有当同时拍摄具有多个 宽高比的图像数据时在显示单元112的显示屏幕上最大程度地显示一个宽高比的拍摄区 域的功能，并使用上述每个实施例的特性。 在相关技术的成像设备中，当同时拍摄具有多个宽高比的图像数据时，在显示单 元112的显示区域中显示每个宽高比的拍摄区域。例如，在图13所示的例子中，在具有宽 高比16 : 9的显示器20上最大程度地显示具有宽高比4 : 3的拍摄区域24。在显示器 20上显示比具有宽高比4 : 3的拍摄区域24小的具有宽高比16 : 9的拍摄区域22。如 果用户主要拍摄宽高比4 : 3的图像数据并次要拍摄宽高比16 : 9的图像数据，则图13
所示的显示器不会出现任何问题。但是，如果用户主要拍摄宽高比i6 : 9的图像数据并次
要拍摄宽高比4 : 3的图像数据，则优选地在显示器20上最大程度地显示主要拍摄的宽高 比16 : 9的拍摄区域22。 图14是示出当在显示器20上最大程度地显示多个宽高比的拍摄区域中的较小 宽高比的拍摄区域，即宽高比16 : 9的拍摄区域22，时的概念的解释性视图。如图14所 示，在显示器20上最大程度地显示宽高比16 : 9的拍摄区域22，但期望次要拍摄的宽高比 4 : 3的拍摄区域24不适合显示器20的可显示区域。因而，通过观看显示器20上显示的 直通图像(through image)，用户可能根本不会识别出宽高比4 : 3的拍摄区域等，由此不 能获得优越的可用性。 根据本发明第四实施例的成像设备400解决上述问题，并且通过使用上述每个实 施例的特性来控制显示功能和縮放功能。 具体地，当同时拍摄具有不同宽高比的多个图像数据时，成像设备400在显示单 元112上最大程度地显示一个宽高比的拍摄区域。如果在此情况下另一宽高比的拍摄区域 不适合显示单元112的可显示区域，则成像设备400通知用户另一宽高比的拍摄区域存在 于显示单元112的可显示区域之外。 通过例子，与图14的例子进行比较。图15是示出在成像设备400中，当同时拍 摄具有不同宽高比的多个图像数据时在显示单元112上最大程度地显示一个宽高比的拍 摄区域时的显示例子的解释性视图。在图15所示的例子中，在宽高比16 : 9的显示单元 112上最大程度地显示用户期望主要拍摄的图像(下文中称为主图像)的宽高比(16 : 9) 的拍摄区域152。用户期望次要拍摄的图像(下文中称为副图像)的宽高比(4 : 3)的拍
25摄区域150存在于显示单元112的可显示区域之外，因为它比主图像的拍摄区域大。在此 情况下，成像设备400在显示单元112上显示区域通知图标130，其表示副图像的拍摄区域 150存在于显示单元112的可显示区域之外。 参照图15，在显示单元112的四个角上，显示表示副图像的拍摄区域150存在于显 示单元112的可显示区域之上和之下的区域通知图标130。用户可识别出副图像的拍摄区 域150存在于显示单元112的可显示区域之上和之下，并能容易地识别出可通过按下拍摄 开始按钮等，在于上下方向上比显示单元112的直通图像宽的范围中拍摄副图像。
区域通知图标130由通知图像生成单元106生成。换言之，当副图像的拍摄区域 150存在于比显示单元112的可显示区域宽的范围内时，通知图像生成单元106生成包括区 域通知图标130的通知图像。通知图像生成单元106可根据来自控制单元126的基于用户 设置的宽高比、图像尺寸、拍摄模式等的指令，生成包括区域通知图标130的通知图像。此 后在图像合成单元108中将通过区域通知图标130生成的包括区域通知图标130的通知图 像与由图像显示范围提取单元104提取的图像合成，并在显示单元112上显示。
图16是示出在当同时拍摄具有不同宽高比的多个图像数据时在显示单元112上 最大程度地显示一个宽高比的拍摄区域时的另一显示例子的解释性视图。在图16所示的 例子中，副图像的拍摄区域150具有存在于显示单元112的可显示器区域中的水平方向上 的拍摄区域边界，以及存在于显示单元112的可显示器区域之外的垂直方向上的拍摄区域 边界。在此情况下，成像设备400在显示单元112上显示上述区域通知图标130，以及示出 在显示单元112的可显示器区域中的副图像的拍摄区域150的引导帧132。由通知图像生 成单元106生成引导帧132。 成像设备400可根据主图像和副图像的宽高比、图像尺寸、拍摄模式等改变区域 通知图标130和引导帧132。图15和图16示出的区域通知图标130和引导帧132是例子， 形状、颜色、尺寸、位置等不限于此。 用户可在各种拍摄中使用成像设备400的这种特性。将参照图17描述用户的一 个使用例子。图17是示出在定点观察、实验拍摄等中使用根据本实施例的成像设备400时 的概念的解释性视图。图17所示的例子是用户在拍摄16 : 9的运动图像作为主图像的同 时拍摄4 : 3的运动图像(或静态图像)的副图像作为参考数据时的成像设备400的使用 例子。因为用户拍摄16 : 9的运动图像作为主图像，所以如上所述，在显示单元112的可 显示器区域上最大程度地显示16 : 9的主图像拍摄区域152。结果，用户可在观看在显示 单元112的可显示器区域上最大程度地显示的主图像的拍摄区域152的同时，进行用于主 要期望拍摄的主图像的拍摄的调整和操作，如闪光(flaming)和聚焦。
另外，因为4 : 3的副图像的拍摄区域150的边界存在于显示单元112，且在上下 方向上超出了图像显示区域，所以在显示单元112上显示区域通知图标130。因而，用户可 视觉地识别出副图像的拍摄区域150存在于在显示单元112的可显示器区域中显示的图像 的范围之外。 当进行定点观察、实验拍摄等时，常常希望在图像文件中同时记录观察地点、拍摄 时间等。在此情况下，如图17所示，用户可通过利用夹具(jig)142等固定描述有观察地 点、拍摄时间的拍摄数据板(plate)，按照仅仅重叠(overl即ping)副图像的方式，记录在 板(plate)上描述的信息。用户切换显示单元112的显示，使得暂时显示副图像的拍摄区
26域150，并核对拍摄数据板被包含在4 : 3的副图像拍摄区域中。此后，可在最大程度地在 显示单元112上显示主图像的拍摄区域152的情况下执行拍摄。因为即使在拍摄期间区域 通知图标130也显示在显示单元112上，所以用户能识别出4 : 3的副图像的拍摄区域150 存在于显示单元112的可显示区域之外，并且同时记录拍摄数据板。换言之，用户可以不用 一直检查次要拍摄的副图像的拍摄区域，并且能在核对期望主要拍摄的主图像的拍摄区域 152的同时，进行适当的调整和操作，如闪光和聚焦。 图17所示的成像设备400的使用例子是根据第四实施例的成像设备400的使用 例子之一，显然可在各种其他拍摄模式下使用根据第四实施例的成像设备400。在上述图 17所示的例子中，用夹具固定拍摄数据板，但成像设备400本身可管理与观察地点、拍摄时 间、拍摄者等的预定板信息，并按照重叠副图像的方式自动记录它们。成像设备400可在诸 如ROM的存储单元中存储要在副图像中记录的板信息，并且在记录副图像时按照重叠存在 于显示单元112的可显示器区域之外的副图像拍摄区域的方式记录板信息。由此，用户能 通过经由操作输入单元120设置任意字符、符号等作为板信息，按照重叠副图像的方式记 录期望的板信息。
[4-2.帧模式的设置] 如上所述，在根据第四实施例的成像设备400中，当同时拍摄多个宽高比的图像 数据时，在显示单元112上显示引导帧132、区域通知图标120等。因而，在显示单元112上 显示的引导帧132、区域通知图标120等依赖于要同时拍摄的图像的宽高比、图像尺寸等而 不同。根据第四实施例的成像设备400能在诸如ROM的非易失性存储区域中事先登记与要 同时拍摄的图像的宽高比、图像尺寸等相对应的显示单元112的显示模式(下文中称为帧 模式)。用户可参照显示单元112上显示的菜单屏幕等，通过操作输入单元120选择任意帧 模式。 图18是示出用户可任意选择的帧模式的类型的一个例子的解释性视图。图18中 示出的六个帧模式是描述本实施例的例子，本发明不限于此。换言之，显示单元112的宽高 比、类型以及帧模式的数目可以不同于图18所示的例子。下面将描述图18所示的帧模式 的例子。 如图18所示，帧模式No. l至3是与具有宽高比16 : 9的可显示区域的显示单元 112对应的帧模式。帧模式No.4至6是与具有宽高比4 : 3的可显示区域的显示单元112 对应的帧模式。由此，成像设备400可具有与具有不同宽高比的多个显示单元112对应的 帧模式。当在具有与显示单元112的宽高比不同的宽高比的外部显示装置128上显示直通 图像时，用户可根据显示单元112和外部显示装置128的可显示区域的宽高比，选择合适的 帧模式。 帧模式No. 1至3是在记录宽高比16 : 9的图像作为主图像并记录宽高比4 : 3 的图像作为副图像时的帧模式。如图18所示，在帧模式No.l至3中，在宽高比16 : 9的 显示单元112上最大程度地显示宽高比16 : 9的主图像的拍摄区域。
副图像的拍摄区域依赖于宽高比4 : 3的图像尺寸而不同。例如，帧模式No.l对 应于当在使副图像和主图像的水平方向上的图像尺寸一致的情况下记录时的情况。换言 之，在显示单元112的可显示区域中最大程度地显示副图像的拍摄区域的水平方向上的边 界，并且副图像的拍摄区域的垂直方向上的边界存在于显示单元112的可显示区域之外。帧模式No.2对应于当副图像和主图像的图像尺寸在水平方向和垂直方向上均不同时的情 况。换言之，副图像的拍摄区域的垂直方向上的边界存在于显示单元112的可显示区域之 外，而副图像的拍摄区域的水平方向上的边界存在于显示单元112的可显示区域之中。帧 模式No.3对应于当副图像和主图像的垂直方向上的图像尺寸一致的记录时的情况。换言 之，在显示单元112的可显示区域中最大程度地显示副图像的拍摄区域的垂直方向上的边 界，并且副图像的拍摄区域的水平方向上的边界存在于显示单元112的可显示区域之中。
帧模式No.4和5是在记录宽高比4 : 3的图像作为主图像并记录宽高比16 : 9 的图像作为副图像时的帧模式。如图18所示，在帧模式No.4和5中，在宽高比4 : 3的显 示单元112上最大程度地显示宽高比4 : 3的主图像的拍摄区域。 副图像的拍摄区域依赖于宽高比16 : 9的图像尺寸而不同。例如，帧模式No.4 对应于当副图像和主图像的垂直方向上的图像尺寸一致的记录时的情况。换言之，在显示 单元112的可显示区域中最大程度地显示副图像的拍摄区域的垂直方向上的边界，并且副 图像的拍摄区域的水平方向上的边界存在于显示单元112的可显示区域之外。帧模式No. 5 对应于副图像和主图像的图像尺寸在水平方向和垂直方向上均不同时的情况。换言之，副 图像的拍摄区域的水平方向上的边界存在于显示单元112的可显示区域之外，而副图像的 拍摄区域的垂直方向上的边界存在于显示单元112的可显示区域之中。
帧模式No. 6是在记录宽高比16 : 9的图像作为主图像并记录宽高比4 : 3的图 像作为副图像时的帧模式。如图18所示，在帧模式No.6中，主图像是宽高比16 : 9的图 像，因此在宽高比4 : 3的显示单元112上最大程度地显示宽高比16 : 9的主图像的拍摄 区域。 尽管副图像的拍摄区域依赖于宽高比4 : 3的图像尺寸而不同，但是相关帧模式 对应于当副图像和主图像的水平方向上的图像尺寸一致的记录时的情况。换言之，在显示 单元112的可显示区域中最大程度地显示副图像的拍摄区域，因为其匹配显示单元112的 可显示区域。 当同时拍摄多个宽高比的图像时，用户可通过操作输入单元120，从预先设置的多 个帧模式中选择任意帧模式。控制单元126可基于用户选择的帧模式，对图像显示范围提 取单元104命令适当范围的图像提取，并对通知图像生成单元106命令适当的引导帧132 和区域通知图标130的生成。 可以不通过用户操作选择以上帧模式。例如，成像设备400可结合拍摄模式来自 动切换帧模式。当拍摄运动图像或静态图像时，用户可选择成像设备400的各种拍摄模式 功能，如HD模式、SD模式、全景模式和电影模式，并进行拍摄。因而，通过预先登记对应于 每个拍摄模式的帧模式，成像设备400可在用户选择预定拍摄模式时，自动切换到与所选 拍摄模式相对应的帧模式。 通过例子描述图18所示的帧模式，考虑如下情况在拍摄16 : 9的HD运动图像 时，同时记录4 : 3的静态图像作为参考数据，其中在偏离(deviatefrom) 16 : 9的拍摄区 域的区域中包括字符串。因而，当选择在拍摄16 : 9的HD运动画面的同时拍摄4 : 3的 静态图像的拍摄模式时，成像设备400可自动切换到帧模式No. 1。 还考虑在拍摄4 : 3的SD图像的同时拍摄16 : 9的全景静态图像作为参考图像 的情况。因而，当选择了在拍摄4 : 3的SD图像的同时拍摄16 : 9的全景静态图像的拍摄模式时，成像设备400可自动将帧模式切换为帧模式No. 4。 因而，根据第四实施例的成像设备400能结合拍摄模式自动改变帧模式。控制单 元126可基于以上述方式自动改变的帧模式，适当地命令改变要由图像显示范围提取单元 104提取的图像的范围和由通知图像生成单元106生成的通知图像。结果，当用户选择期望 的拍摄模式时，能选择适当的帧模式，从而用户可以不执行麻烦的每次在选择拍摄模式之 后指定帧模式的操作。 上述拍摄模式和对应于相关拍摄模式的帧模式的类型是在描述本发明实施例中 的例子，本发明不限于此。换言之，成像设备400可事前登记对应于预定拍摄模式的预定帧 模式，并且拍摄模式的类型、相应帧模式的类型、组合等可任意改变。
[4-3.成像设备400的与縮放处理有关的处理流程] 下面将描述当能够显示通知图像的成像设备400使用上述每个实施例的显示功
能和縮放功能时的处理流程的例子。(同时拍摄模式中的总体处理流出) 图19是示出根据第四实施例的成像设备400中，关于当同时拍摄具有不同宽高比 的多个图像数据时连续执行的縮放处理的一系列流程的一个例子的流程图。例如，图19所 示的流程从用户选择同时拍摄具有不同宽高比的多个图像数据时开始。帧模式No. 1至6 对应于上述图18所示的帧模式的例子。 首先，在步骤300，成像设备400进行模式的初始化设置。模式的初始化设置是关 于帧模式和要设置縮放制约的宽高比等的设置。用户操作操作按钮等选择任意帧模式，或 对任一个或全部宽高比的拍摄区域设置縮放制约。縮放制约设置单元122根据来自控制单 元126的指令，对用户命令的宽高比设置縮放制约。通知图像生成单元106根据来自控制 单元126的指令，生成包括引导帧132和区域通知图标130的通知图像，以便对应于用户命 令的帧模式。 在步骤302，成像设备400用户是否发出拍摄模式的改变指令。如上所述，如果登 记了与改变后的拍摄模式相对应的帧模式，则成像设备400可结合拍摄模式的改变来自动 切换帧模式。因而，控制单元126确定拍摄模式的改变指令的存在情况。
如果在步骤302中确定没有发出拍摄模式的改变指令，则控制单元126在步骤304 中确定用户是否发出帧模式的改变指令。如上所述，用户可从成像设备400中预先登记的 多个帧模式中选择任意帧模式。因而，控制单元126确定帧模式的改变指令的存在情况， 并且如果发出了帧模式的改变指令，则命令每个功能配置单元进行对应于所选帧模式的显 示。 如果在步骤304确定发出了帧模式的改变指令，则成像设备400在显示单元112 上显示对应于每个帧模式的引导帧132等，并对于任何或所有宽高比的拍摄区域设置縮放 制约。首先，控制单元126在步骤306确定改变后的帧模式是否是帧模式No. 1。
如果在步骤306中确定改变为帧模式No. 1，则图像显示范围提取单元104在最大 程度地显示主图像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应 于16 : 9的显示单元112的图像。如图18所示，对应于帧模式No. 1的副图像的拍摄区 域的垂直方向上的边界存在于显示单元112的可显示区域之外。因而，通知图像生成单元 106响应于来自控制单元126的指令，生成包括区域通知图标130的通知图像，区域通知图标130用于通知用户4 : 3的副图像的拍摄区域150存在于显示单元112的可显示区域之 外。图像合成单元108生成图像，其中，合成由图像显示范围提取单元104提取的图像和由 通知图像生成单元106生成的包括区域通知图标130的通知图像。此后，显示控制单元110 响应于来自控制单元126的指令，使得显示单元112显示图像合成单元108生成的图像。
成像设备400在步骤308中执行帧模式No. 1下的縮放制约模式的设置处理。成 像设备400对用户设置或自动设置的防止图像缺失的宽高比的图像数据的拍摄区域设置 縮放制约。如上每个实施例所述，由此成像设备400可控制显示功能和縮放功能，使得感兴 趣的预定对象不会从设有縮放制约的宽高比的图像数据中缺失图像。下面将参照图22描 述步骤308中帧模式1下縮放制约的设置处理的细节。 如果在步骤306中确定没有改变为帧模式No. 1，则控制单元126在步骤310中确 定改变后的帧模式是否是帧模式No. 2。 如果在步骤310中确定改变为帧模式No. 2，则图像显示范围提取单元104在最大 程度地显示主图像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应 于16 : 9的显示单元112的图像。如图18所示，对应于帧模式No.2的副图像的拍摄区域 的垂直方向上的边界存在于显示单元112的可显示区域之外，并且副图像的拍摄区域的水 平方向上的边界存在于显示单元112的可显示区域之中。因而，通知图像生成单元106生 成区域通知图标130，用于通知4 : 3的副图像的拍摄区域150在显示单元112的可显示区 域的上和下方向上超出地存在。通知图像生成单元106还生成引导帧132，用于通知在显 示单元112的可显示区域中的副图像的拍摄区域150的水平方向上的边界。图像合成单元 108生成图像，其中，合成由图像显示范围提取单元104提取的图像和由通知图像生成单元 106生成的包括区域通知图标130和引导帧132的通知图像。此后，显示控制单元110响应 于来自控制单元126的指令，使得显示单元112显示图像合成单元108生成的图像。
成像设备400在步骤312中执行帧模式No. 2下的縮放制约模式的设置处理。下 面将参照图23描述步骤312中帧模式2下縮放制约的设置处理的细节。
如果在步骤310中确定没有改变为帧模式No. 2，则控制单元126在步骤314中确 定改变后的帧模式是否是帧模式No. 3。 如果在步骤314中确定改变为帧模式No. 3，则图像显示范围提取单元104在最大 程度地显示主图像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应 于16 : 9的显示单元112的图像。如图18所示，对应于帧模式No.3的副图像的拍摄区域 的水平方向上的边界存在于显示单元112的可显示区域之中。因而，通知图像生成单元106 生成包括引导帧132的通知图像，引导帧132用于通知在显示单元112的可显示区域中的 副图像的拍摄区域150的水平方向上的边界。图像合成单元108生成图像，其中，合成由图 像显示范围提取单元104提取的图像和由通知图像生成单元106生成的包括引导帧132的 通知图像。此后，显示控制单元110响应于来自控制单元126的指令，使得显示单元112显 示图像合成单元108生成的图像。 成像设备400在步骤316中执行帧模式No. 3下的縮放制约模式的设置处理。下 面将参照图24描述步骤316中帧模式3下縮放制约的设置处理的细节。
如果在步骤314中确定没有改变为帧模式No. 3，则控制单元126在步骤318中确 定改变后的帧模式是否是帧模式No. 4。
30
如果在步骤318中确定改变为帧模式No. 4，则图像显示范围提取单元104在最大 程度地显示主图像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应 于4 : 3的显示单元112的图像。如图18所示，对应于帧模式No.4的副图像的拍摄区域 的水平方向上的边界存在于显示单元112的可显示区域之外。因而，通知图像生成单元106 生成包括区域通知图标130的通知图像，区域通知图标130用于通知16 : 9的副图像的拍 摄区域152存在于显示单元112的可显示区域之外。图像合成单元108生成图像，其中，合 成由图像显示范围提取单元104提取的图像和由通知图像生成单元106生成的包括区域通 知图标130的通知图像。此后，显示控制单元110响应于来自控制单元126的指令，使得显 示单元112显示图像合成单元108生成的图像。 成像设备400在步骤320中执行帧模式No. 4下的縮放制约模式的设置处理。下 面将参照图25描述步骤320中帧模式4下縮放制约的设置处理的细节。
如果在步骤318中确定没有改变为帧模式No. 4，则控制单元126在步骤322中确 定改变后的帧模式是否是帧模式No. 5。 如果在步骤322中确定改变为帧模式No. 5，则图像显示范围提取单元104在最大 程度地显示主图像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应 于4 : 3的显示单元112的图像。如图18所示，对应于帧模式No.5的副图像的拍摄区域 的水平方向上的边界存在于显示单元112的可显示区域之外，并且副图像的拍摄区域的垂 直方向上的边界存在于显示单元112的可显示区域之中。因而，通知图像生成单元106生 成区域通知图标130，用于通知16 : 9的副图像的拍摄区域152在显示单元112的可显示 区域的左和右方向上溢出地存在。通知图像生成单元106还生成引导帧132，用于通知在显 示单元112的可显示区域中的副图像的16 : 9的拍摄区域152的垂直方向上的边界。图 像合成单元108生成图像，其中，合成由图像显示范围提取单元104提取的图像和由通知图 像生成单元106生成的包括区域通知图标130和引导帧132的通知图像。此后，显示控制 单元110响应于来自控制单元126的指令，使得显示单元112显示图像合成单元108生成 的图像。 成像设备400在步骤324中执行帧模式No. 5下的縮放制约模式的设置处理。下 面将参照图26描述步骤324中帧模式5下縮放制约的设置处理的细节。
如果在步骤322中确定没有改变为帧模式No. 5，则控制单元126确定改变后的帧 模式是否是帧模式No. 6。因而，控制单元126对每个功能配置单元命令执行与帧模式No. 6 对应的拍摄区域的显示处理。具体地，图像显示范围提取单元104在最大程度地显示主图 像的成像区域的范围内，从输入成像数据输入单元102的图像中提取对应于4 : 3的显示 单元112的图像。如图18所示，对应于帧模式No. 6的副图像的拍摄区域匹配显示单元112 的可显示区域。因而，对于副图像的拍摄区域不生成区域通知图标130和引导帧132。对于 主图像的拍摄区域，当在4 : 3的显示单元112上最大程度地显示16 : 9的图像时，主图 像的拍摄区域的上和下方向上的边界存在于显示单元112的可显示区域之中。因而，通知 图像生成单元106生成引导帧132，用于通知在显示单元112的可显示区域中的主图像的拍 摄区域152的垂直方向上的边界。图像合成单元108生成图像，其中，合成由图像显示范围 提取单元104提取的图像和由通知图像生成单元106生成的包括引导帧132的通知图像。 此后，显示控制单元110响应于来自控制单元126的指令，使得显示单元112显示图像合成
31单元108生成的图像。 成像设备400在步骤326中执行帧模式No. 6下的縮放制约模式的设置处理。下
面将参照图27描述步骤326中帧模式6下縮放制约的设置处理的细节。 通过上述每个步骤，当同时拍摄具有不同宽高比的多个图像数据时，在显示单元
112上最大程度地显示主图像的拍摄区域，并可根据设置的帧模式，在显示单元112上显示
副图像的拍摄区域。 如果在步骤302确定拍摄模式改变，则控制单元126在步骤328中确定是否登记 了对应于改变后的拍摄模式的帧模式。如果在步骤328中确定未登记相应拍摄模式，控制 单元126通过上述每个步骤对每个功能配置单元命令执行对应于当前设置的帧模式的显 示处理。 如果在步骤328中确定登记了相应帧模式，则控制单元126将当前帧模式改变为 对于改变后的拍摄模式登记的帧模式。在步骤332中，成像设备400使得显示单元112显 示对应于改变后的帧模式的区域通知图标130、引导帧132等。另外，在步骤334中，成像设 备400在改变后的帧模式下进行縮放制约的设置处理(类似于步骤308、312、316、320、324 或326的处理)。因而，当结合拍摄模式登记了帧模式时，在切换拍摄模式时，用户可以不执 行麻烦的改变帧模式的设置的操作。 通过上述处理流程，成像设备400可执行对应于用户选择的帧模式、结合拍摄模 式自动设置的帧模式等的显示处理和縮放制约设置处理。 如果在设置了帧模式和縮放制约之后，在步骤304中未发出帧模式的改变指令， 则成像设备400在步骤336中确定是否从用户发出縮放指令。 如果在步骤336中确定从用户发出了縮放指令，则在步骤338中成像设备400执 行縮放处理。换言之，成像设备400根据縮放制约的设置状态，执行上述图2或图6所示的 处理。由此，成像设备400可基于根据当前设置的帧模式而设置的縮放制约，控制显示功能
和縮放功能，使得感兴趣的对象不会从设有縮放制约的宽高比的图像数据中缺失图像。
将通过例子，描述在帧模式No. 1下对宽高比4 : 3的拍摄区域设置縮放制约时的 显示单元112的显示例子。图20和图21是示出帧模式No. 1中显示单元112的显示例子 的解释性视图。在图20和图21所示的例子中，在宽高比16 : 9的显示单元112上最大程 度地显示宽高比16 : 9的拍摄区域152，并且宽高比4 : 3的拍摄区域150存在于显示单 元112的可显示区域之外。因而，在显示单元112上显示通知宽高比4 : 3的拍摄区域150 存在于显示单元112的可显示区域之外的区域通知图标130。在图20所示的例子中，对于 宽高比4 : 3的拍摄区域150设置縮放制约。 如图20所示，当放大作为感兴趣对象的富士山直到超出宽高比16 : 9的拍摄区 域152的边界时，类似于第二实施例中所示的例子，成像设备以提醒方式显示图像缺失通 知图标140。如图20所示，成像设备400可根据图像缺失通知图标140的显示，改变区域通 知图标130的颜色、形状等。由此，尽管作为感兴趣对象的富士山存在于设有縮放制约的宽 高比4 : 3的拍摄区域150中，但用户能识别出从未设有縮放制约的宽高比16 : 9的拍摄 区域152出现图像缺失。 当此后富士山到达设有縮放制约的宽高比4 : 3的拍摄区域150的限制边界时， 如图21所示，类似于第二实施例中描述的例子，成像设备400通过显示縮放限制图标138而禁止縮放功能。如图21所示，成像设备400可根据縮放限制图标138的显示，改变区域 通知图标130的颜色、形状等。由此，用户能识别出作为感兴趣对象的富士山已经到达存在 于显示单元112的可显示区域之外的宽高比4 : 3的拍摄区域150的限制区域，并且不能 再在放大方向上进行縮放。 当用户在主要拍摄宽高比16 : 9的HD运动图像时定期地次要拍摄宽高比4 : 3 的静态图像时，可使用这样的例子。例如，当整个富士山不能被容纳进宽高比16 : 9的HD 运动图像中的拍摄区域中但要防止富士山从此要拍摄的静态图像数据中缺失图像时，这尤 其有效。 下面将描述图19中所示处理流程的每个帧模式中縮放制约的设置处理的细节的 流程。(帧模式No. 1中縮放制约模式的设置处理) 图22是示出帧模式No. 1中縮放制约模式的设置处理的流程的一个例子的流程 图。如图22所示，成像设备400的控制单元126确定其中感兴趣的预定对象不从具有不同 宽高比的多个图像数据中任一宽高比的图像数据中缺失图像的设置。在设置模式等中，用 户操作操作按钮等任意选择要防止感兴趣对象的图像缺失的图像数据。成像设备400可根 据拍摄模式等自动设置要防止感兴趣对象的图像缺失的图像数据。例如，成像设备400可 根据上述帧模式自动确定对什么宽高比的哪个拍摄区域设置縮放制约。换言之，成像设备 400可基于主图像的宽高比的拍摄区域和副图像的宽高比的拍摄区域的组合，自动对一个
或两个宽高比的拍摄区域设置縮放制约。 在步骤400，成像设备400首先确定是否对于所有宽高比的图像数据(即，宽高比 16 : 9的图像数据和宽高比4 : 3的图像数据)设置图像缺失防止。 如果在步骤400中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备 400进行步骤402的处理。换言之，縮放制约设置单元122对作为较小宽高比的拍摄区域的 宽高比16 : 9的拍摄区域152设置縮放制约(对应于第一实施例)。 如果在步骤400中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤404中确定是否对宽高比4 : 3的图像数据设置图像缺失防止。 如果在步骤404中确定对宽高比4 : 3的图像数据设置图像缺失防止，则成像设
备400进行步骤406的处理。换言之，縮放制约设置单元122对作为较大宽高比的拍摄区
域的宽高比4 : 3的拍摄区域150设置縮放制约(对应于第二实施例)。 如果在步骤404中确定不对宽高比4 : 3的图像数据设置图像缺失防止，则这意
味着对宽高比16 : 9的图像数据设置图像缺失防止。在帧模式No. 1中，宽高比16 : 9的
拍摄区域152被包括在宽高比4 : 3的拍摄区域150中。因而，当对宽高比16 : 9的图像
数据设置图像缺失防止时，必然执行与对所有宽高比的图像数据设置图像缺失防止时相同
的处理。因而，在步骤402中，縮放制约设置单元122对作为较小宽高比的拍摄区域的宽高
比16 : 9的拍摄区域152设置縮放制约(对应于第一实施例)。 基于通过上述处理设置的帧模式No. 1中的縮放制约，图像设备400可以根据来自
用户的縮放指令，控制显示功能和縮放功能。(帧模式No. 2中縮放制约模式的设置处理) 图23是示出帧模式No. 2中縮放制约模式的设置处理的流程的一个例子的流程图。如图23所示，在步骤500中，成像设备400首先确定是否对所有宽高比的图像数据设 置图像缺失防止。在帧模式No.2中，如图18所示，宽高比4 : 3的拍摄区域150的垂直方 向上的边界存在于宽高比16 : 9的显示单元112的可显示区域之中，但水平方向的边界存 在于可显示区域之外。因而，当对任一宽高比的拍摄区域设置縮放制约时，感兴趣的对象均 可能从其他宽高比的拍摄区域缺失图像。 如果在步骤500中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备
400进行步骤502的处理。换言之，縮放制约设置单元122对宽高比4 : 3的拍摄区域150
和宽高比16 : 9的拍摄区域152的共同区域设置縮放制约。由此成像设备400控制显示
功能和縮放功能，使得感兴趣的对象不从任一宽高比的拍摄区域缺失图像。 如果在步骤500中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤504中确定是否对宽高比4 : 3的图像数据设置图像缺失防止。 如果在步骤504中确定对宽高比4 : 3的图像数据设置图像缺失防止，则縮放制
约设置单元122在步骤506中对宽高比4 : 3的拍摄区域150设置縮放制约。 如果在步骤504中确定不对宽高比4 : 3的图像数据设置图像缺失防止，则这意
味着对宽高比16 : 9的图像数据设置图像缺失防止。因而，縮放制约设置单元122对宽高
比16 : 9的拍摄区域152设置縮放制约。 基于通过上述处理设置的帧模式No. 2中的縮放制约，成像设备400可以根据来自
用户的縮放指令，控制显示功能和縮放功能。(帧模式No. 3中縮放制约模式的设置处理) 图24是示出帧模式No. 3中縮放制约模式的设置处理的流程的一个例子的流程 图。如图24所示，在步骤600中，成像设备400首先确定是否对所有宽高比的图像数据设 置图像缺失防止。 如果在步骤600中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备 400进行步骤602的处理。换言之，縮放制约设置单元122对作为较小宽高比的拍摄区域的 宽高比4 : 3的拍摄区域150设置縮放制约(对应于第一实施例)。 如果在步骤600中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤604中确定是否对宽高比16 : 9的图像数据设置图像缺失防止。 如果在步骤604中确定对宽高比16 : 9的图像数据设置图像缺失防止，则成像设
备400进行步骤606的处理。换言之，縮放制约设置单元122对作为较大宽高比的拍摄区
域的宽高比16 : 9的拍摄区域152设置縮放制约(对应于第二实施例)。 如果在步骤604中确定不对宽高比16 : 9的图像数据设置图像缺失防止，则这意
味着对宽高比4 : 3的图像数据设置图像缺失防止。在帧模式No.3中，宽高比4 : 3的拍
摄区域150被包括在宽高比16 : 9的拍摄区域152中。因而，当对宽高比4 : 3的图像数
据设置图像缺失防止时，必然执行与对所有宽高比的图像数据设置图像缺失防止时相同的
处理。因而，在步骤602中，縮放制约设置单元122对作为较小宽高比的拍摄区域的宽高比
4 : 3的拍摄区域150设置縮放制约(对应于第一实施例)。 基于通过上述处理设置的帧模式No. 3中的縮放制约，成像设备400可以根据来自
用户的縮放指令，控制显示功能和縮放功能。(帧模式No. 4中縮放制约模式的设置处理)
34
图25是示出帧模式No. 4中縮放制约模式的设置处理的流程的一个例子的流程 图。如图25所示，在步骤700中，成像设备400首先确定是否对所有宽高比的图像数据设 置图像缺失防止。 如果在步骤700中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备 400进行步骤702的处理。换言之，縮放制约设置单元122对作为较小宽高比的拍摄区域的 宽高比4 : 3的拍摄区域150设置縮放制约(对应于第一实施例)。 如果在步骤700中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤704中确定是否对宽高比16 : 9的图像数据设置图像缺失防止。 如果在步骤704中确定对宽高比16 : 9的图像数据设置图像缺失防止，则成像设
备400进行步骤706的处理。换言之，縮放制约设置单元122对作为较大宽高比的拍摄区
域的宽高比16 : 9的拍摄区域152设置縮放制约(对应于第二实施例)。 如果在步骤704中确定不对宽高比16 : 9的图像数据设置图像缺失防止，则这意
味着对宽高比4 : 3的图像数据设置图像缺失防止。在帧模式No.4中，宽高比4 : 3的拍
摄区域150被包括在宽高比16 : 9的拍摄区域152中。因而，当对宽高比4 : 3的图像数
据设置图像缺失防止时，必然执行与对所有宽高比的图像数据设置图像缺失防止时相同的
处理。因而，在步骤702中，縮放制约设置单元122对作为较小宽高比的拍摄区域的宽高比
4 : 3的拍摄区域150设置縮放制约(对应于第一实施例)。 基于通过上述处理设置的帧模式No. 4中的縮放制约，成像设备400可以根据来自
用户的縮放指令，控制显示功能和縮放功能。(帧模式No. 5中縮放制约模式的设置处理) 图26是示出帧模式No. 5中縮放制约模式的设置处理的流程的一个例子的流程 图。如图26所示，在步骤800中，成像设备400首先确定是否对所有宽高比的图像数据设 置图像缺失防止。在帧模式No.5中，如图18所示，宽高比16 : 9的拍摄区域152的水平 方向上的边界存在于宽高比4 : 3的显示单元112的可显示区域之中，但垂直方向的边界 存在于可显示区域之外。因而，当对任一宽高比的拍摄区域设置縮放制约时，感兴趣的对象 均可能从其他宽高比的拍摄区域缺失图像。 如果在步骤800中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备
400进行步骤802的处理。换言之，縮放制约设置单元122对宽高比4 : 3的拍摄区域150
和宽高比16 : 9的拍摄区域152的共同区域设置縮放制约。由此成像设备400控制显示
功能和縮放功能，使得感兴趣的对象不从任一宽高比的拍摄区域缺失图像。 如果在步骤800中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤804中确定是否对宽高比4 : 3的图像数据设置图像缺失防止。 如果在步骤804中确定对宽高比4 : 3的图像数据设置图像缺失防止，则縮放制
约设置单元122在步骤806中对宽高比4 : 3的拍摄区域150设置縮放制约。 如果在步骤804中确定不对宽高比4 : 3的图像数据设置图像缺失防止，则这意
味着对宽高比16 : 9的图像数据设置图像缺失防止。因而，在步骤806中，縮放制约设置
单元122对宽高比16 : 9的拍摄区域152设置縮放制约。 基于通过上述处理设置的帧模式No. 5中的縮放制约，成像设备400可以基于根据 来自用户的縮放指令，控制显示功能和縮放功能。
35
(帧模式No. 6中縮放制约模式的设置处理) 图27是示出帧模式No. 6中縮放制约模式的设置处理的流程的一个例子的流程 图。如图27所示，在步骤900中，成像设备400首先确定是否对所有宽高比的图像数据设 置图像缺失防止。 如果在步骤900中确定对所有宽高比的图像数据设置图像缺失防止，则成像设备 400进行步骤902的处理。换言之，縮放制约设置单元122对作为较小宽高比的拍摄区域的 宽高比16 : 9的拍摄区域152设置縮放制约(对应于第一实施例)。 如果在步骤900中确定不对所有宽高比的图像数据设置图像缺失防止，则成像设
备400在步骤904中确定是否对宽高比4 : 3的图像数据设置图像缺失防止。 如果在步骤904中确定对宽高比4 : 3的图像数据设置图像缺失防止，则成像设
备400进行步骤906的处理。换言之，縮放制约设置单元122对作为较大宽高比的拍摄区
域的宽高比4 : 3的拍摄区域150设置縮放制约(对应于第二实施例)。 如果在步骤904中确定不对宽高比4 : 3的图像数据设置图像缺失防止，则这意
味着对宽高比16 : 9的图像数据设置图像缺失防止。在帧模式No.6中，宽高比16 : 9的
拍摄区域152被包括在宽高比4 : 3的拍摄区域150中。因而，当对宽高比16 : 9的图像
数据设置图像缺失防止时，必然执行与对所有宽高比的图像数据设置图像缺失防止时相同
的处理。因而，在步骤902中，縮放制约设置单元122对作为较小宽高比的拍摄区域的宽高
比16 : 9的拍摄区域152设置縮放制约(对应于第一实施例)。 基于通过上述处理设置的帧模式No. 6中的縮放制约，成像设备400可以根据来自 用户的縮放指令，控制显示功能和縮放功能。 当同时拍摄具有不同宽高比的多个图像数据时，根据第四实施例的成像设备400 可在显示单元112上最大程度地显示主要拍摄的主图像的宽高比的拍摄区域。当次要拍摄 的副图像的宽高比的拍摄区域存在于显示单元112的可显示区域之外时，成像设备400可 显示区域通知图标130等，用于通知副图像的拍摄区域存在于可显示区域之外。类似于第 一实施例和第二实施例，成像设备400可对任一或所有宽高比的拍摄区域设置縮放制约。 由此，成像设备400可控制显示功能和縮放功能，使得感兴趣的对象不从存在于显示单元 112的可显示区域之外的拍摄区域缺失图像。换言之，当同时拍摄具有不同宽高比的多个图 像数据时，成像设备400可控制显示功能和縮放功能，使得感兴趣的对象不从图像数据中 缺失图像，并实现可用性优越的拍摄区域的显示。 上面说明中例示的帧模式的类型和组合是描述根据第四实施例的成像设备400 的特性之一的例子，本发明不限于此。例如，成像设备400还可拍摄除了以上例子之外的宽 高比的图像，并且还可包括除了以上例子之外的宽高比的显示单元112。在成像设备400中 登记的帧模式的数目也不限于以上例子，并且根据拍摄模式的类型、数目、性能等，成像设 备400可管理任意数目的帧模式。 图15、图16、图21和图22中所示的区域通知图标130和引导帧132是在描述根 据第四实施例的成像设备400的特性之一中的例子，本发明不限于此。区域通知图标130 和引导帧132可具有不同于图15、图16、图21和图22中所示的形状、颜色、尺寸和位置。
〈5.第五实施例> 将描述具有第四实施例的特性的、根据第五实施例的成像设备500的概况，其特性之一是可根据縮放制约的设置状态和感兴趣对象的縮放状态切换拍摄区域的显示方法。
当同时拍摄多个宽高比的图像数据时，根据第四实施例的成像设备400在显示单 元112上最大程度地显示一个宽高比的拍摄区域，由此另一宽高比的拍摄区域有时存在于 显示单元112的可显示区域之外。在此情况下，如图15所示的例子，成像设备400显示区 域通知图标130，由此通知用户，拍摄区域还在显示单元112的可显示区域之外。当也对可 显示区域之外的拍摄区域设置縮放制约时，如图21所示的例子，成像设备400根据縮放处 理的状态显示縮放限制图标138等，以通知用户禁止縮放功能。 然而，在此情况下，与在显示单元112上最大程度显示的拍摄区域相比，设有縮放 制约的、存在于显示单元112的可显示区域之外的拍摄区域可能对于用户重要。例如，在图 20所示的例子中，假设在拍摄宽高比16 : 9的HD运动图像作为主图像的同时拍摄宽高比 4 : 3的静态图像数据作为次要的副图像时暂时放大作为感兴趣对象的富士山的情况。在 此情况下，有时当拍摄静态图像数据时，依赖于对象的縮放状态，在显示单元112上暂时全 部显示宽高比4 : 3的拍摄区域可能是优选的。当对存在于显示单元112的可显示区域之 外的副图像设置縮放制约时，在感兴趣的对象被放大超出可显示区域时，根据第五实施例 的成像设备500改变每个宽高比的拍摄区域的显示方法。 具体地，成像设备500可通过在显示单元112上暂时最大程度地显示副图像的拍 摄区域，来在显示单元112上显示全部的感兴趣对象。图28是示出对应于根据第四实施 例的成像设备400中图20的显示例子的、根据第五实施例的成像设备500中的显示单元 112的显示例子的解释性视图。参照图28，当作为感兴趣对象的富士山被放大超出显示单 元112时，切换显示屏幕，使得在显示单元112上最大程度地显示宽高比4 : 3的拍摄区域 150。然后，用户可以在于显示单元112上显示作为感兴趣对象的整个富士山的情况下进行 次要静态图像拍摄。 如果感兴趣的对象被在縮小方向上再次縮放并适合于(fit within)主图像或宽 高比16 : 9的拍摄区域152，则成像设备500可以再次在显示单元112上最大程度地显示 宽高比16 : 9的拍摄区域152。 因而，根据第五实施例的成像设备500能根据感兴趣对象的縮放状态，自动改变 要在显示单元112上最大程度地显示的拍摄区域。换言之，成像设备500能在同时拍摄具 有不同宽高比的多个图像数据时控制縮放功能和显示功能，使得预定对象不会从图像数据 中缺失图像，并且能实现可用性优越的拍摄区域的显示。
〈6.根据每个实施例的成像设备的硬件配置〉 下面将参照图29描述根据上述每个实施例的成像设备的硬件配置的一个例子。 图29是示出根据本发明实施例之一的成像设备100、200、300、400、500的硬件配置的一个 例子的框图。在以下说明中，将通过例子描述根据第一实施例的成像设备IOO，但假设其他 实施例的成像设备具有类似的硬件配置。成像设备100被配置为主要包括CPU 901、R0M 903、RAM 905、桥909、接口 913、成 像部件914、输入装置915、输出装置917、存储装置919、驱动器921和连接端口 923。
CPU 901充当计算处理装置和控制装置，并根据ROM 903、 RAM 905、存储装置919 或可移除记录介质927中记录的各种程序，控制成像设备100的全部或一些操作。ROM 903 存储CPU 901使用的程序、计算参数等。RAM905主要存储在CPU 901执行时使用的程序、在相关执行中适当改变的参数等。这些组件通过由诸如CPU总线的内部总线配置的主机总线 907相互连接。 成像部件914被配置为包括光学系统、成像元件、A/D(模拟到数字)转换器、信号 处理单元等，并对对象成像和生成图像数据。 输入装置915是由用户操作的操作部件，如触摸面板、按钮、开关和控制杆等。输 入装置915可以是例如使用红外线或其他电波的遥控部件(所谓遥控器)。
输出装置917由能够在视觉或感觉上向用户通知各种信息的装置构成，如包括液 晶显示装置、等离子显示装置和EL显示装置的显示装置，以及包括扬声器和耳机的音频输 出装置。输出装置917充当构成上述显示单元112的显示器。 存储装置919是用于数据存储的装置，被配置为成像设备100的存储单元的一个 例子，并且由诸如HDD的磁存储装置、半导体存储装置、光存储装置或磁光存储装置构成。 存储装置919存储由CPU 901执行的程序、各种数据、运动图像数据和静态图像数据。
驱动器921是记录介质读/写器，并且被合并到或外部连接到成像设备100。驱动 器921读出在所附连的诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质927上记 录的信息，并将其输出给RAM 905。 连接端口 923是用于直接连接到外部显示装置128的端口 ，如USB端口 、光音频端 (terminal)和HDMI端口 。成像设备100可通过将外部显示装置128连接到连接端口 923， 在外部显示装置128上再现和显示运动图像数据和静态图像数据。 上面已经描述了能够实现根据本发明每个实施例的成像设备100、200、300、400、 500的功能的硬件配置的一个例子。每个构成元件可使用通用部件构成，或可由专用于每个 构成元件的功能的硬件构成。因而，可根据实现本实施例时的技术水平适当地改变要使用 的硬件配置。
〈7.概要> 如上所述，当同时拍摄具有不同宽高比的多个图像数据时，根据本发明每个实施 例的成像设备能根据感兴趣对象的縮放状态，控制显示功能和縮放功能。换言之，图像处理 设备可对任一或全部宽高比的拍摄区域设置縮放制约，并控制显示功能和縮放功能，使得 感兴趣的对象不从设有縮放制约的宽高比的图像数据中缺失图像。图像处理设备能通过显 示縮放状态通知图标134，通知用户设有縮放制约的宽高比的拍摄区域和感兴趣对象之间 的关系。当感兴趣对象到达设有縮放制约的宽高比的拍摄区域的边界时，图像处理设备能 自动禁止縮放功能。 即使当在具有不同宽高比的多个显示器上同时再现所拍摄的图像数据时，图像处 理设备也能根据感兴趣对象的縮放状态，控制显示功能和縮放功能。图像处理设备能通过 在显示单元112上最大程度地显示任何宽高比的拍摄区域，增强同时拍摄时的可用性，然 后根据感兴趣对象的縮放状态，控制显示功能和縮放功能。 当同时拍摄具有不同宽高比的多个图像数据时，根据本发明每个实施例的图像处
理设备能控制显示功能和縮放功能，使得感兴趣的对象不从设定宽高比的图像数据中缺失
图像。当在具有不同宽高比的多个显示器上再现同一图像数据时，图像处理设备也能控制
显示功能和縮放功能，使得预定对象不会从设定宽高比的再现显示区域缺失图像。 本领域技术人员应理解，可根据设计要求或其他因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求及其等价物的范围内即可。 例如，以上实施例中描述的成像设备被假设为数字静态相机、数字视频相机、cam coder(注册商标)、便携式电话、PDA、便携式游戏机等，但本发明不限于此。如第三实施例 中所述，当同时在多个显示器上再现拍摄数据时，可以不提供成像功能。换言之，本发明可 以不单单应用于具有成像功能的设备，也可以应用于再现图像数据的图像再现装置，如第 三实施例中所述。本发明的图像装置可以是包括HDD记录器、DVD记录器或蓝光光盘(注 册商标)记录器、游戏机、个人计算机等的再现装置，但本发明不限于此。
在本说明书中，在流程图或序列图中描述的步骤不仅包括按照沿着所述顺序的时 间系列执行的处理，还包括可以不按照时间系列执行的并行或单独执行的处理。可根据情 况，适当地改变按照时间系列执行的步骤的顺序。 本申请包含在2008年12月17日向日本特许厅提交的日本优先权专利申请 JP2008-321545中公开的有关主题，其全部内容通过引用合并于此。
39
权利要求
一种成像设备，包括图像记录范围提取单元，用于从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图像和与由不同于所述第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；缩放控制单元，用于放大或缩小所述要成像的对象的视频；以及缩放制约设置单元，用于对所述第一成像区域和第二成像区域中的任一个或两者设置缩放制约，以防止预定对象由于缩放控制单元的缩放处理而从成像区域缺失图像，其中根据由所述缩放处理放大或缩小的预定对象与设有缩放制约的成像区域的关系，执行用于防止所述预定对象从所述设有缩放制约的成像区域缺失图像的预定处理。
2. 根据权利要求1的成像设备，还包括图像显示范围提取单元，用于从所述要成像的对象的视频中提取要在显示器上显示的 显示图像；通知图像生成单元，用于根据所述縮放处理，生成包括縮放状态通知图标的通知图像， 所述縮放状态通知图标示出所述预定对象与所述设有縮放制约的成像区域的关系；图像合成单元，用于把由所述通知图像生成单元生成的通知图像合成到由所述图像显 示范围提取单元提取的显示图像，以生成合成图像；以及显示控制单元，用于在所述显示器上显示由所述图像合成单元生成的合成图像。
3. 根据权利要求2的成像设备，其中当所述预定对象被所述縮放处理放大并到达在所 述设有縮放制约的成像区域中的预定位置处设置的警告边界时，所述通知图像生成单元生 成表示所述预定对象可能从所述设有縮放制约的成像区域缺失图像的縮放警告图标，作为 所述縮放状态通知图标。
4. 根据权利要求3的成像设备，其中当所述预定对象被所述縮放处理进一步放大并到 达所述设有縮放制约的成像区域的边界时，所述通知图像生成单元生成表示所述预定对象 不能进一步被所述縮放处理放大以防止所述预定对象从所述设有縮放制约的成像区域缺 失图像的縮放限制图标，作为所述縮放状态通知图标。
5. 根据权利要求4的成像设备，其中如果未设有縮放制约的成像区域比所述设有縮放制约的成像区域小， 则当所述预定对象被所述縮放处理放大并到达在所述未设有縮放制约的成像区域中 的预定位置处设置的警告边界时，所述通知图像生成单元生成以提醒方式表示所述预定对 象可能从所述未设有縮放制约的成像区域缺失图像的縮放警告图标，作为所述縮放状态通 知图标。
6. 根据权利要求5的成像设备，其中如果所述未设有縮放制约的成像区域比所述设有縮放制约的成像区域小， 则当所述预定对象被所述縮放处理放大并超出所述未设有縮放制约的成像区域的边 界时，所述通知图像生成单元生成以提醒方式表示所述预定对象从所述未设有縮放制约的 成像区域缺失图像的图像缺失通知图标，作为所述縮放状态通知图标。
7. 根据权利要求6的成像设备，其中所述图像显示范围提取单元从所述要成像的图像的视频中，在最大程度地显示所述第一成像区域的范围中提取由所述显示器的可显示区域的宽高比配置的显示图像，以及当所述第二成像区域存在于所述显示器的可显示区域之外时，所述通知图像生成单元 生成包括表示所述第二成像区域存在于所述显示器的可显示区域之外的区域通知图标的 通知图像。
8. 根据权利要求7的成像设备，其中当所述第二成像区域的边界的一部分存在于所述 显示器的可显示区域之中时，所述通知图像生成单元生成包括表示所述第二成像区域的边 界的引导帧的通知图像。
9. 根据权利要求8的成像设备，其中所述縮放制约设置单元根据由第一宽高比配置的 第一成像区域和由第二宽高比配置的第二成像区域的组合，对所述第一成像区域和第二成 像区域中的任一个或两者自动设置所述縮放制约。
10. 根据权利要求9的成像设备，其中所述縮放制约设置单元通过对所述第一成像区 域和第二成像区域的共同区域设置所述縮放制约，防止所述预定对象从所述第一成像区域 和第二成像区域缺失图像。
11. 根据权利要求10的成像设备，其中如果所述第二成像区域存在于所述显示器的可显示区域之外并且仅仅对所述第二成 像区域设置所述縮放制约，则当所述预定对象被所述縮放处理放大并超出未设有縮放制约的第一成像区域的边 界时，所述图像显示范围提取单元从所述要成像的对象的视频中，在最大程度地显示所述第 二成像区域的范围中提取由所述显示器的可显示区域的宽高比配置的显示图像。
12. 根据权利要求l的成像设备，其中当所述预定对象被所述縮放处理进一步放大并 到达设有縮放制约的成像区域的边界时，所述縮放控制单元禁止在放大所述预定对象的方 向上的縮放功能。
13. 根据权利要求1的成像设备，还包括数据存储单元，用于将所述图像记录范围提取单元提取的图像数据存储为再现图像数据，射当在由预定宽高比配置的第一显示器和由不同于第一显示器的宽高比的预定宽高比 配置的第二显示器上同时再现和显示所述数据存储单元中记录的一个再现图像数据时，所述图像显示范围提取单元从所述再现图像数据中，提取与预定第一再现显示区域对 应的第一再现显示图像，以在第一显示器上再现和显示，以及提取与预定第二再现显示区 域对应的第二再现显示图像，以在第二显示器上再现和显示，所述縮放控制单元通过縮放处理放大或縮小所述再现图像数据，所述縮放制约设置单元对所述第一再现显示区域和第二再现显示区域中的任一个或 两者设置縮放制约，以防止所述再现图像数据中包含的预定对象由于所述縮放控制单元的 縮放处理而从再现显示区域缺失图像，所述通知图像生成单元根据所述縮放处理，生成包括表示所述预定对象和设有縮放制 约的再现显示区域的关系的縮放状态通知图标的通知图像，所述图像合成单元把所述通知图像生成单元生成的通知图像合成到所述图像显示范围提取单元提取的每个再现显示图像以生成第一合成图像和第二合成图像，以及所述显示控制单元使得第一显示器显示所述图像合成单元生成的第一合成图像，并使 得第二显示器显示所述图像合成单元生成的第二合成图像。
14. 根据权利要求13的成像设备，其中当所述预定对象被所述縮放处理进一步放大并 到达设有縮放制约的再现显示区域的边界时，所述縮放控制单元禁止在放大所述预定对象 的方向上的縮放功能。
15. —种图像再现装置，包括 数据存储单元，用于存储图像数据；图像显示范围提取单元，用于从所述图像数据中，提取与预定第一再现显示区域对应 的第一再现显示图像，以在第一显示器上再现和显示，以及提取与预定第二再现显示区域 对应的第二再现显示图像，以在第二显示器上再现和显示；縮放控制单元，用于放大或縮小所述图像数据；以及縮放制约设置单元，用于对所述第一再现显示区域和第二再现显示区域中的任一个或 两者设置縮放制约，以防止再现图像数据中包含的预定对象由于所述縮放控制单元的縮放 处理而从再现显示区域缺失图像，射根据由所述縮放处理放大或縮小的预定对象与设有縮放制约的再现显示区域的关系， 执行用于防止所述预定对象从所述设有縮放制约的再现显示区域缺失图像的预定处理。
16. —种縮放控制方法，包括以下步骤从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图 像和与由不同于所述第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；对所述第一成像区域和第二成像区域中的任一个或两者设置縮放制约，以防止预定对 象从成像区域缺失图像；放大或縮小所述要成像的对象的视频；以及根据縮放处理步骤中放大或縮小的预定对象与设有縮放制约的成像区域的关系，执行 用于防止所述预定对象从所述设有縮放制约的成像区域缺失图像的预定处理。
17. —种縮放控制程序，用于使得计算机执行如下处理从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图 像和与由不同于所述第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；对所述第一成像区域和第二成像区域中的任一个或两者设置縮放制约，以防止预定对 象从成像区域缺失图像；放大或縮小所述要成像的对象的视频；以及根据由縮放处理放大或縮小的预定对象与设有縮放制约的成像区域的关系，执行用于 防止所述预定对象从所述设有縮放制约的成像区域缺失图像的预定处理。
18. —种縮放控制方法，包括如下步骤从数据存储单元中记录的一个图像数据中，提取对应于第一再现显示区域的图像，以 在预定第一宽高比的第一显示器上再现和显示，以及提取对应于第二再现显示区域的图 像，以在不同于所述第一宽高比的预定第二宽高比的第二显示器上再现和显示；对所述第一再现显示区域和第二再现显示区域中的任一个或两者设置縮放制约，以防止所述图像数据中包含的预定对象从再现显示区域缺失图像， 放大或縮小所述图像数据；以及根据在縮放处理步骤中放大或縮小的预定对象与设有縮放制约的再现显示区域的关 系，执行用于防止所述预定对象从所述设有縮放制约的再现显示区域缺失图像的预定处理。
19. 一种縮放控制程序，用于使得计算机执行如下处理从数据存储单元中记录的一个图像数据中提取对应于第一再现显示区域的图像以在 预定第一宽高比的第一显示器上再现和显示，以及对应于第二再现显示区域的图像以在不 同于所述第一宽高比的预定第二宽高比的第二显示器上再现和显示；对所述第一再现显示区域和第二再现显示区域中的任一个或两者设置縮放制约，以防 止所述图像数据中包含的预定对象从再现显示区域缺失图像，放大或縮小所述图像数据；以及根据由縮放处理放大或縮小的预定对象与设有縮放制约的再现显示区域的关系，执行 用于防止所述预定对象从所述设有縮放制约的再现显示区域缺失图像的预定处理。
全文摘要
提供了一种成像设备，其包括图像记录范围提取单元，用于从要成像的对象的视频中提取与由预定第一宽高比配置的第一成像区域相对应的图像和与由不同于第一宽高比的预定第二宽高比配置的第二成像区域相对应的图像；缩放控制单元，用于放大或缩小要成像的对象的视频；以及缩放制约设置单元，用于对第一成像区域和第二成像区域中的任一个或两者设置缩放制约，以防止预定对象由于缩放控制单元的缩放处理而从成像区域缺失图像。根据由缩放处理放大或缩小的预定对象与设有缩放制约的成像区域的关系，执行用于防止预定对象从设有缩放制约的成像区域缺失图像的预定处理。
文档编号H04N1/393GK101753817SQ20091025379
公开日2010年6月23日 申请日期2009年12月17日 优先权日2008年12月17日
发明者铃木浩之 申请人:索尼株式会社