成像装置、图像记录装置及图像记录方法

专利名称：成像装置、图像记录装置及图像记录方法
技术领域：
本发明涉及用于摄取和记录图像的成像装置、图像记录装置及图像记录 方法，尤其涉及适于当多个成像装置分别摄取图像时使用的成像装置、图像 记录装置及图像记录方法。
背景技术：
最近，能够摄取运动图像并以数字数据的形式记录运动图像的家用数码 摄像机得到了广泛使用。这种摄像机可以播放摄像机自己所捕获和记录的图 像信号，并且在摄像机中的LCI)(液晶显示屏)或者外部的监视器上显示图像 信号。某些数码摄像机还具有将通过通信线缆等从另一成像装置或图像记录 装置接收的图像信号记录到记录介质中的功能。此外，还提出了一种具有下 述功能的摄像机装置，即，将摄像机装置自身的成像器摄取的图像信号连同 由其音频收集部分所得到的音频信号一起通过并入在摄像机装置中的无线发 射机或其他部件发送给外部设备(例如,在JP-A-11 -306663中的段
-
、图1中披露)。
另一方面，在诸如广播之类的专业领域中，在分别由多个摄像机摄取的 图像信号当中进行选择以记录所选的图像信号是很常见的。此外，提出了用 于在图像信号当中进行选择的方法，使得预先确定要成像的对象，并且自动 识别和选择其中显示该对象的图像。例如，已知有一种用于自动控制监控摄 像机的装置，其中例如关于作为要成像的对象的多个人中的每一个的数据和 关于多个摄像机的设置的数据被预先登记在数据库中，并且当这些人中的任 一个接近限制区域时，此人携带的小发射机就被天线检测到，从而响应于指 示检测的信号在数据库中进行搜索，以便根据搜索结果选择监控摄像机来控 制(例如，在JP-A-9-46694中的段|0014]-
和图1中披露)。对摄像机类似
的选择和控制可以通过让作为要成像的对象的多个人中的每一个携带无线标
签(wirelesstag)来实现。此外，提出了 一种用于会议等的系统，其中为每个与 会者准备摄像机和麦克风，使得根据通过麦克风进行的讲话的音频等级来改 变选择记录的摄像机图像信号。
随着家用摄像机的普及，最近常常出现这种情况在诸如运动会或结婚 典礼之类的场合，多个观众或参与者中的每一个都携带摄像机。在这种情况 下，要求每个个人的摄像机不仅能够使用该摄像机自身摄取的图像，还能够 使用其他人的其他摄像机摄取的图像。然而，常规上没有提供这种功能。
通常，摄像机记录音频和图像。在从多个摄像机中切换一个摄像机(其中 选择记录来自该摄像机的图像信号)时常常出现这样的情况观察者觉得在切 换时，比起屏幕上场景的转移以及由于转移而伴随而来的屏幕的不规则，音 频连贯性的不自然更令人不满。然而，还没有提出减轻观察者在切换时对不 自然的音频连贯性的不满的方法。
在从多个摄取的图像中选择要记录在记录介质中的图像的情况下，最好 自动识别和记录其中存在预定对象的图像。然而，在如上述公开JP-A-9-46694 中披露的技术中，作为成像对象的人应当携带小发射机、无线标签等，这种 方法除了用于发送和接收图像和音频信号的器件外，还需要引入使用小发射 机、无线标签等的通信系统，这导致该装置的成本和尺寸增加。此外，基于 要成像的对象者进行的讲话音频等级而切换所选图像的摄像机的方法，仅仅 适用于特定的用途(例如在会议中)，而不是通用的。
考虑到上述问题而开发了本发明，因此本发明的一个目的是提供一种能 够记录从分别由多个成像装置摄取的图像当中所选的图像的成像装置。
本发明的另 一 目的是提供一种能够记录从分别由多个成像装置摄取的图 像当中所选的图像的图像记录装置。
本发明的再一个目的是一种用于成像装置的图像记录方法，根据该方法 从分别由多个成像装置摄取的图像当中选择图像，并且记录所选的图像。

发明内容
本发明提供一种用于摄取和记录图像的成像装置，其特征在于包括 成像部件，用于摄取图像；
通信部件，用于与一个以上外部成像装置之间进行信号的发送接收；
显示部件，用于显示图像；
显示控制部件，用于使显示装置显示由所述成像部件得到的摄取图像、
以及由所述外部成像装置摄取和发送并由所述通信部件接收的接收图像； 图像选择部件，用于从所述摄取图像和所述接收图像中选择期望的图像；
以及
记录控制部件，进行控制以将由所述图像选择部件选择的图像的信号记 录在记录介质中，
所述显示控制部件将由所述图像选择部件选择的图像与未被选择的图像 相区别从而以可识别的状态显示。
本发明还提供一种用于记录被输入的图像的图像记录装置，其特征在于 包括
图像接收部件，用于接收包括由外部成像装置摄取并发送来的图像的多 个图像的信号；
显示控制部件，用于进行控制以在显示装置显示由所述图像接收部件接
收的多个接收图像；
图像选择部件，用于从所述接收图像中选择期望的图像；以及 记录控制部件，进行控制以将由所述图像选择部件选择的图像的信号记
录在记录介质中，
所述显示控制部件将由所述图像选择部件选择的图像与未被选择的图像 相区别从而以可识别的状态显示。
本发明还提供一种用于记录由多个成像装置摄取的图像的图像记录方 法，其特征在于，所述成像装置的每一个
将本成像装置的摄取图像的信号发送给其他成像装置，并且接收所述其 他成像装置的摄取图像的信号；
在显示装置显示所述本成像装置的摄取图像和来自所述其他成像装置的 接收图像；以及
进行控制以从所述本成像装置的摄取图像和来自所述其他成像装置的接 收图像中选择期望的图像并且将其信号记录在记录介质上，并且，将选择的 图像与未被选择的图像相区别从而以可识别的状态显示在所述显示装置。
为了实现上述目的，本发明提供一种用于摄取和记录图像的成像装置， 特征在于其包括成像器，用于摄取图像；通信器件，用于向/从至少一个外 部成像装置发送/接收信号；显示器，用于显示图像；图像合成器，用于使显
示器以合成的方式同时显示由成像器摄取的图像、以及分别由至少 一个外部 成像装置的至少一部分的每一个摄取和发送并由通信器件接收的至少一个图
像；图像选择器，用于从成像器所摄取的图像和至少一个接收到的图像当中 选择期望的图像；和记录器，用于将图像选择器所选的图像的信号记录在记
录介质中。
该成像装置可以通过成像器摄取图像，并且通过通信器件接收由外部成 像装置摄取和发送的图像。图像合成器使显示器以合成方式同时显示由成像 器摄取的图像和从外部成像装置接收的图像。图像选择器从成像器所摄取的 图像和接收到的图像中选择期望的图像。记录器将图像选4奪器所选的图像的 信号记录在记录介质中。为此，用户浏览显示器中显示的图像，并且使图像 选择器选择用户期望的图像，以便将该图像记录在记录介质中。
可以这样配置，即，成像器所摄取的图像信号可以通过通信器件发送给 外部成像装置。当采用这样的配置时，可以在结构相同的多个成像装置之间 传输图像，而不管每个图像是由哪个成像装置摄取的，并且可以选择性地记 录图像。 '
本发明还提供一种用于记录分别由多个成像装置摄取的图像的方法，特 征在于，每个成像装置能够将由每个成像装置摄取的图像的信号发送给其 他成像装置中的至少 一个，并且接收分别由至少一部分其他成像装置所摄取 的至少一个图像的信号；合成由每个成像装置所摄取的图像和分别从至少一 部分其他成像装置接收的至少一个图像，以在屏幕上同时显示由每个成像装 置所摄取的图像和至少一个接收到的图像；和从由每个成像装置所摄取的图 像和由至少 一部分其他成像装置所摄取的至少 一个图像中选择期望的图像， 并且记录所选图像的信号。
根据该图像记录方法，摄取各个图像的每个成像装置将每个成像装置摄 取的图像信号发送给至少一部分其他成像装置，接收分别由至少一部分其他 成像装置摄取的至少一个图像的信号，在显示屏上以合成的方式同时显示每 个成像装置摄取的图像和分别从至少 一部分其他成像装置接收的至少 一个图 像，从这些图像中选择期望的图像，并且将所选图像的信号记录在记录介质 中。因此，各个成像装置所摄取的图像可以在结构相同的成像装置之间传输， 从而在每个成像装置中选择性地记录图像。每个成像装置的用户可以浏览屏 幕上显示的图像并且选择期望的图像以记录到记录介质中。


图1是示出根据本发明一个实施例的数码摄像机的内部结构的方框图。 图2示出根据本发明实施例的、包括多个数码摄像机的摄像机系统的结构。
图3是控制部分的功能的方框图，其从由成像装置摄取的图像和分别从
其他成像装置接收的图像当中选择图像，并且记录所选的图像。
图4图解使用视频解码器的解码处理。
图5示出一屏幕式样的例子，其中以合成方式显示了由成像装置摄取的 图像和由其他成像装置摄取的图像。
图6是图解从由成像装置摄取的图像和分别由其他成像装置摄取的图像 当中选择图像、并且记录所选图像的处理的流程图。
图7是控制部分中的功能的方框图，其使用图像识别技术从由成像装置 摄取的图像和从其他成像装置接收的图像当中自动选择图像，并且记录所选
图8A和8B图解作为图像识別处理的例子的色彩识别处理。 图9是图解根据第 一 图像选择方法的处理的流程图。 图10是图解根据第二图像选择方法的处理的流程图。 图11是图解根据第三图像选择方法的处理的流程图。 图12示出当摄取沿着田径场中的跑道奔跑的赛跑者的图像时摄像机设 置的例子。
具体实施例方式
下面将参照附图描述本发明的一个实施例。在下面的描述中，根据本发 明的成像装置采用数码摄像机的形式。
图2示出根据本发明实施例的、包括多个数码摄像机的摄像机系统的结构。
如图2所示，在本实施例中，假设本发明应用于包括多个数码摄像机1-3 的摄像机系统，每个摄像机能够摄取图像并且将该图像以数字数据的形式记 录在记录介质中。数码摄像机1-3能够通过无线通信来相互传输数据。凄t码
摄像机1-3中的每一个具有发送数码摄像机所摄取的图像数据的功能，以及 接收由其他成像装置中的任一个摄取的图像数据的功能。此外，数码摄像机 1-3中的每一个可以从数码摄像机所摄取的图像和分别从至少一个其他成像 装置接收的至少一个图像当中选择图像，并且将所选图像记录在记录介质中。 这样的摄像机系统可以应用于诸如运动会、运动比赛场地、结婚典礼和 派对之类的场合，其中多个观众或参与者分别携带数码摄像机l-3。在这些场 合中，数码摄像机1-3中的每一个可以选择性地记录视频摄像机自身摄取的 图像或从其他视频摄像机接收的图像，从而使得每个用户享受所记录的图像 内容的增强，而更少为错过拍摄机会而懊恼。
尽管在图2所示的例子中提供三个数码摄像机1-3，但该摄像机系统可以
应用到使用两个或更多数码摄像机的情况。
图1是示出根据本发明一个实施例的数码摄像机的内部结构的方框图。
图1代表性地图解了数码摄像机1的内部结构，并且其他数码摄像机2和3 具有相同的内部结构。
如图1所示，数码摄像机1包括摄像块10、摄像信号处理部分20、视频 编码器30、视频解码器40、音频处理部分50、控制部分60、 LCD控制器70、 LCD 80、触摸板90、输入部分100、走带机构(tape deck)部分110和无线通信 才莫块120。
摄像块10包括包括多个镜头的光学块；诸如CCD(电荷耦合器件)之类 的成像元件；预处理电路；光学块、CCD等的驱动器；定时发生电路；和其 他(未示出)。摄像块IO通过成像元件对光学块上入射的光执行光电转换，并 且进一步通过预处理电路执行取样/保持和AGC(自动增益控制)处理。所得到 的信号然后经过A/D转换，以输出数字图像数据。根据来自控制部分60的 控制信号控制光学块和成像元件的操作。
摄像信号处理部分20对从摄像块10输出的图像数据执行诸如AWB(自 动白平衡)处理、AF(自动聚焦)处理和AE(自动曝光)处理之类的各种摄像信号 处理。经受了各种处理的图像数据输出到视频编码器30和控制部分60。
视频编码器30将经受了摄像信号处理的图像数据编码或压缩成诸如 MPEG(运动图像专家组)格式之类的预定视频数据格式，并且将编码的图像数 据提供给控制部分60。
视频解码器40对从控制部分60接收的图像数据执行解压缩或解码处理，并且将解码后的图像数据提供给控制部分60。
音频处理部分50包括放大器、A/D转换器、D/A转换器、用于压缩或编 码处理和解压缩或解码处理等的电路等。麦克风51和扬声器52连接到音频 处理部分50。音频处理部分将表示通过麦克风51收集的音频的信号放大并 转换成数字信号，并且进一步将该数字信号压缩或编码成诸如MPEG-AUDIO 之类的预定音频数据格式。编码的信号被输出到控制部分60。还可以额外提 供模拟音频信号的外部输入端子，以便由音频处理部分50压缩或编码通过外 部输入端子输入的信号，并且将编码的信号提供给控制部分60。音频处理部 分50对从控制部分60提供的编码的音频数据进行解压缩或解码，并且将解 码后的数据转换成模拟信号，模拟信号被放大并播放，即，从扬声器52输出。
控制部分60由微计算机构成，其总体控制数码摄像机l，并且被配置成 使得CPU、 RAM和R()M(未示出)例如通过系统总线相互连接。控制部分60 输出用于通过CPU执行存储在ROM中的程序来控制数码摄像机1的每个功 能部分的控制信号，ROM可以包括例如闪速EEPROM(电可擦可编程ROM)。 由DRAM(动态RAM)构成的RAM主要用作CPU的工作区，并且用来临时存 储例如中间处理结果。
LCI)控制器70从控制部分60提供的图像数据生成图像信号，并且将图 像信号提供给LCD80以在其上显示图像。LCD 80具有触摸板90。用户可以 通过用手指或指示工具按压触摸板90来输入信息。此外，输入部分IOO包括 各种按键、控制杆、拨号盘和/或其他。当通过触摸板90和/或输入部分100 输入一些信息时，从中输出控制信号到控制部分60。
集成了作为记录图像和音频数据的记录介质的磁带的录像带盒(video cassette)lll被装入走带机构部分110和从中弹出。走带才几构部分110调制从 控制部分60提供的图像数据、音频数据和/或其他数据，并且将调制的数据 写入到录像带盒111中的磁带上。从磁带读取的信号被解调以提供给控制部 分60。
无线通信模块120包括使用诸如OFDM(正交频分复用)之类的信号调 制方法传输信号的天线；RF收发机；用于执行控制部分60的基带处理、接 口处理以及其他处理的处理器；以及其他。无线通信片莫块120 #4居由控制部 分60控制的通信过程与外部数码摄像机2、 3进行无线通信。作为通信标准， 可以采用例如lEEE(电气和电子工程师学会)802.11g定义的无线LAN。
将对数码摄像机1的基本操作进行描述。
当要记录由数码摄像机1摄取的图像时，在开始记录之前，来自对象的 光经历摄像块10的成像元件的光电转换，并且执行预处理以获得被输入到信
号处理部分20的数字化的图像数据。经过摄像信号处理的图像数据通过控制 部分60输入到LCD控制器70。这样，摄像块10所捕获的实际图像显示在 LCD 80上。
当在该状态下通过输入部分100输入开始图像记录的指令时，所摄取的 图像数据从摄像信号处理部分20被发送到视频编码器30，在视频编码器30 中，数据被压缩或编码，并且转换成预定的视频格式，然后以视频流的形式 输入到控制部分60。另一方面，通过麦克风收集的音频信号由音频处理部分 50压缩或编码，并且转换成预定音频格式的数据，然后以音频流的形式输入 到控制部分60。控制部分60将视频流和音频流多路复用、输出到走带机构 部分IIO、根据预定的方法进行调制、然后顺序记录在录像带盒111中的磁带 上。
为了播放记录在录像带盒111中的数据，由走带机构部分IIO读取数据， 并且由控制部分60将其分为视频流和音频流。^L频流由^L频解码器40解压 缩或解码，并通过控制部分60输入到LCD控制器70。这样，在LCD 80上 播放图像。另一方面，音频流由音频处理部分50解压缩或解码，并以声音的 形式从扬声器52播放或输出。
当要将所摄取的图像发送到其他数码摄像机2、 3中的每一个时，从摄像 信号处理部分20输出的图像数据通过控制部分60输入到无线通信模块120, 并且根据预定的通信过程无线地发送。
当无线通信模块120接收到由其他数码摄像机2、 3中的每一个摄取并无 线发送的图像时，接收到的数据被输入到控制部分60,并且从中分离出视频 流。视频流由视频解码器40解压缩或解码以获得解码后的图像数据，该图像 数据通过控制部分60输出到LCD控制器70。 LCD控制器70接收到图像后 将其显示在LCD 80上。响应于通过输入部分100或触摸板90进行的输入而 分离的视频流通过控制部分60被输出到走带机构部分110,并且记录在录像 带盒111中的箱t带上。
可以连同图像一起记录通过无线通信模块120接收到的音频。然而，在 本实施例中，由音频处理部分50压缩或编码的音频数据总是记录在磁带上。
数码摄像机1通过无线通信模块120接收由其他数码摄像机2、 3中的每 一个摄取的图像，并且将由此接收到的图像和摄像块IO所摄取的图像以合成 的方式同时显示在LCD 80上，以便允许用户选择期望记录在录像带盒111 中的图像。下文中将详细描述这一操作。
图3是示出控制部分60的功能的方框图，所述控制部分60对从由数码 摄像机摄取的图像和从其他数码摄像机接收的图像当中选择的图像执行记 录。在下面的描述中，数码摄像机1、 2和3所摄取的图像将分別称为图像A、 图像B和图像C。
如图3所示，控制部分60包括用于显示合成图像的图像合成部分61、 用于选择性地记录图像的记录控制部分62、和用于从接收到的信号中提取图 像信号的数据分离部分63。
来自摄像信号处理部分2()、由摄像块IO捕获的实际图像(图像A)数据和 经视频解码器40解压缩或解码的图像B和C的数据输入到图像合成部分61 。 图像合成部分61生成合成图像，其中这些输入的图像显示在单个屏幕上，并 且该合成图像输出到LCD控制器70。在该合成图像中，如稍后所述，根据 通过触摸板90输入的指令选择记录的图像在所有显示的图像中以最大的尺 寸显示，而其他图像以较小的尺寸在子屏幕或分屏幕上显示。
经视频编码器30压缩或编码的图像A的数据和由数据分离部分63从接 收的信号中分离的图像B和C的数据输入到记录控制部分62。记录控制部分 62将根据来自触摸板卯的控制信号从三个图像中选择的图像的数据输出到 走带机构部分IIO,以便让输出的数据记录到录像带盒111中的^兹带上。
数据分离部分63从分别从数码摄像机2和3发送并通过无线通信模块 20接收的信号中分离出图像B和C的数据，并且将分离出的数据输出到记录 控制部分62和视频解码器40。
在通过无线LAN在数码摄像机1-3之间建立通信的情况下，摄像机以不 涉及接入点的"专门模式"(ad hoc mode)进行通信。在这种情况下，使用单 个通信信道将数码摄像机所摄取的图像发送到一个或多个数码摄像机。因此， 当数码摄像机1从数码摄像机2和3接收图像B和C时，为每个图像使用单 独的通信信道进行通信。数据分离部分63识别每个通信信道的接收到的分 组，并且提取每个图像B、 C的数据。
由数据分离部分63分离的各个图像B和C的数据由视频解码器40解压
缩和编码，并输入到图像合成部分61。这样，在通过无线通信接收多个图像 的情况下，应当解压缩或解码多个信道的图像。为了达到这个目的，可以例
如提供对应于要接收的图像数目的多个视频解码器40,以便分别解压缩或解 码图像。或者，可以只提供一个视频解码器40，以分时的方式来工作以便解 压缩或解码每个图像。''
图4图解视频解码器40如何执行图像数据的解压缩或解码。
在该实施例中，控制部分60中的RAM用作临时存储图像数据的緩沖器 64。缓沖器64具有其中分别存储有还未经压缩或编码的各个图像A-C的数 据的区域64a-64c,以及其中存储有已经过压缩或编码的各个图像B和C的 数据的区域64d和64e。这些緩沖器区域可以由例如连接到摄像信号处理部分 20、视频编码器30和视频解码器40中的每一个的帧存储器(未示出)来提供。
数据分离部分63从接收到的分组中顺序地分离各个图像B和C的数据， 并且将分离出的数据写入区域64d和64e。此外，数据分离部分63向视频解 码器40输出信道信息，该信息例如包括对应于接收到图像数目的信道数目、 以及用于识别发送图像的信道的信道ID。在本实施例中，例如分别为图像B 和C分别分配信道ID "Ch-1"和"Ch-2"。
基于通知的信道信息，视频解码器40确定要从/向緩沖器64中的哪个区 域读取/写入特定图像数据。当作为信道信息通知两个信号ID时，首先对ID 为"Ch-1"的信道执行处理，即，首先从区域64d读取图像B的数据并且将 其解压缩或解码，然后将解码后的数据写入区域64b。然后，对ID为"Ch-2" 的信道执行处理，即，从区域64e读取图像C的数据并且将其解压缩并编码， 然后将编码后的数据写入区域64c。以预定数量的像素交替执行对这两个信道 的处理，并且并行地执行对应于图像B和C的相应两个信道的解压缩或解码 处理。
现在将描述图像合成部分61如何生成图像并将其显示在LCD 80上。图 5示出了一屏幕式样的例子，其中以合成方式显示了由成像装置摄取的图像 和由其他成像装置摄取的图像。
当摄取图像的第一个数码摄像机从其他数码摄像机接收图像时，第一数 码摄像机的图像合成部分61生成其中同时显示了多个图像的合成图像。该合 成图像显示在第一数码摄像机的LCD 80上，并且第一数码摄像机的用户可 以通过在所显示的合成图像中的相应位置操控或触摸LCD 80来选择要记录
的图像。例如，图5所示的显示合成图像200包括父屏幕201和两个子屏幕 202和203。
当前选择要记录的图像显示在父屏幕201中，当前未选择的图像显示在 子屏幕202和203中。当用户操控触摸板90或者在触摸板90中触摸子屏幕 202和203时，记录所选的子屏幕202或203的图像，并且当前在父屏幕201 中显示的图像被所选子屏幕的图像代替。这样，用户可以通过浏览显示合成 图像200 —次浏览所有可记录的图像，并且选择要记录的图像。
由A、 B和C构成的合成图像不限于上面所述的合成图像。例如，屏幕 可以被分成其中分别显示图像A、 B和C的多个部分。此外，可以采用这样 的方式，即，当选择图像时，显示图像的位置或屏幕不改变，但所选图像以 某种方式明显地指示出来，例如，改变显示所选图像的屏幕框的色彩。在这 种情况下，由第 一数码摄像机摄取的图像可以总是以最大尺寸显示。
下面将参照图6描述当执行上述图像记录时执行的处理，图6是图解从 由第 一数码摄像机所摄取的图像和从其他数码摄像机接收的图像当中选择性 地记录图像的处理的流程图。
在步骤S61中，以合成的方式在LCD80上显示图^象A、 B和C。当采用 图4所示的结构时，将从摄像信号处理部分20输出的图像A的数据顺序写 入緩沖器64的区域64a中。来自数码摄像机2和3的图像B和C的数据由 视频解码器40解压缩或解码，并且各个解码后的数据被顺序写入区域64b和 64c中。图像合成部分61控制緩冲器64中读取数据的区域，并且合成图像。 例如，默认所选的图像是由第一数码摄像机摄取的图像A,因此在父屏幕201 中显示图像A。
在步骤S62中，基于是否存在来自触摸板90的控制信号，确定是否通过 触摸板90进行了图像的选择。当确定进行了选择时，流程转到步骤S63，而 当确定未进行选择时，流程转到步骤S64。
在步骤S63中，图像合成部分61根据在步骤S52中进行的选择改变LCD 80的屏幕显示。当当前显示图5所示的显示合成图像200时，控制緩沖器64 中读取数据的区域以便在父屏幕201中显示所选图像。
在步骤S64中，基于来自输入部分100中放置的预定开关的控制信号或 者响应于操作触摸LCD 80上显示的开关按键而从触摸板90发送的控制信 号，确定是否进行了指示开始记录的操控。当确定进行了操控时，流程转到
步骤S65，而当确定未进行操控时，流程返回到步骤S62。
在步骤S65中，将当前所选图像的数据连同来自音频处理部分50的音频 数据一同记录在录像带盒111的》兹带上。所记录的音频数据不限于来自音频 处理部分50的数据。例如，可以采用这样的方式，即，从另一数码摄像机接 收音频数据连同图像数据，并且记录音频数据。或者，在诸如便携半导体存 储器之类的另 一记录介质装入到第 一数码摄像机中的情况下，可以读取记录 在该记录介质中的音频数据并将其记录到磁带上。
在步骤S66中，与步骤S62类似，确定是否进行了图像选择。当确定进 行了选择时，流程转到步骤S67，而当确定未进行选择时，流程转到步骤S68。
在步骤S67中，图像合成部分61基于步骤S66中进行的选择，改变LCD 80的屏幕显示。同时，记录控制部分62切换图像数据的输入，以便使走带 机构部分110记录所选图像。要注意的是，此时不进行音频数据的切换，而 是连续记录当前正在记录的音频数据。
在步骤S68中，基于是否存在来自输入部分100或触摸板90的控制信号， 确定是否要终止记录，当不终止记录时，流程返回到步骤S66。
在存在如上述构成的多个数码摄像机的情况下，每个数码摄像机可以从 每个数码摄像机摄取的图像和由其他数码摄像机摄取并通过无线通信接收的 图像当中，选择性地在磁带上记录图像。因此，每个数码摄像机的用户可以 有效地使用数码摄像机所摄取的图像，从而丰富了所记录的图像的内容，而 较少错过拍摄机会。由于在LCD90上以合成的方式一次显示可记录的图像， 以使得用户可以自由地选择图像来记录，因此用户可以在浏览所有图像的同 时选择期望的图像，增进了用户的友谊。
不管所选的图像如何，持续记录来自音频处理部分50等的单通道的音频 数据。这样，在播放所记录的图像的同时，保证在切换图像时音频的连贯性， 不然的话所述连贯性将会恶化使观看者不快。因此，增强了所记录内容的质 量。
尽管在数码摄像机1中的磁带上记录图像A、 B和C中的任一数据，但 也可以适配为记录由这些图像A-C构成的合成图像的数据。在记录合成图像 的数据的情况下，可以采用这样的方式，即，可容易地根据通过触摸板90等 的操作或操控而进行的选择来改变在合成图像的图像中的相对位置，并且在 数码摄像机中，由图像合成部分61生成的合成图像的数据输出到视频编码器
30，该视频编码器压缩或编码数据使得输出编码的数据给走带机构部分110, 以记录在^f兹带上。因此，要求数码摄像机能够并行压缩或编码至少两个信道 的图像。
可以采用这样的方式，即，当选择从一个数码摄像机接收到的图像并将 其记录在另 一摄像机中时，通过无线通信向作为图像发送方的该数码摄像机 通知进行了这样的选择。在这种情况下，向发送方数码摄像机的用户通知关 于由发送方数码摄像机摄取的图像正在被另 一数码摄像机记录的事实的指
示。例如，做出这样的指示，即，发送方摄像机的LCD上由发送方摄像机摄
取的图像的框的色彩改变。
将描述上述实施例的改进。在改进中，使用图像识别技术来确定在每个 可记录的图像中是否存在期望的对象，并且根据确定结果自动选择要记录的图像。
图7是示出控制部分60中的功能的方框图，其控制部分通过图像识别技 术从数码摄像机摄取的图像和来自其他数码摄像机的图像当中自动选择图 像，并且记录所选图像。
在下面的描述中，根据改进实施例的数码摄像机的基本结构与图1所示 的相同。在图7中用相同的附图标记表示与图3所示的数码摄像机的那些部 件对应的部件。
如图7所示，该数码摄像机的控制部分60包括特征设置部分65，用 于设置对象的特征；图像识别和处理部分66，用于在图像中识别具有所设置 的特征的对象；和优先级确定部分67,除了将根据优先级设置将要记录的图 像通知给图像合成部分61外，还将其通知给记录控制部分62和数据分离部 分63。
特性设置部分65接收与图像中要识别的对象的特征的设置有关的输入， 并且将该设置通知给图像识别和处理部分66。例如，可以通过在触摸板90 上进行点击或拖曳、或者通过使用输入部分100中预定的开关输入诸如对象 的色彩的信息或其他关于对象的信息，以选择LCD 80上显示的图像中感兴 趣的对象来输入设置。
图像识别和处理部分66基于来自摄像信号处理部分20的图像A的数据 和经过视频解码器40解压缩或解码的图像B和C的数据，并且根据特征设 置部分65通知的特征信息，执行图像识别处理，并且将其中存在该对象的每
个图像通知给优先级确定部分67。
当被图像识别和处理部分66通知包括对象的多个图像或者没有被通知 任何包括对象的图像时，优先级确定部分67根据通过触摸板卯或输入部分 100输入的关于优先级顺序的信息，将优先级最高的图像通知给图像合成部 分61和记录控制部分62。优先级顺序是按照通过触摸板90或输入部分100 输入信息的用户的期望设置的。
图8A和8B图解作为图像识别处理的例子的色彩识别处理。
作为数码摄像机可以执行的图像识别处理，例如有色彩识别处理。在色 彩识别处理中，使用感兴趣的对象中唯一找到的特定色彩作为特征信息，并 且确定在图像中是否存在该色彩。例如，当运动会中的运动员是要记录的对 象时，运动员戴着在环境中很少出现的特有色彩的丝带，以使得可以执行色 彩识别处理。 .
图8A示意性示出要处理的图像的像素的矩阵的一部分。该附图示出了 在图像的一区域中存在四种色彩CU-CL4的像素的例子。在该例子中，图像 识别和处理部分66根据输入图像中的每个像素的色彩信息计算或累加在给 定区域中每种色彩的像素的数目，并且获得如图8B所示的直方图。使用该直 方图，可以根据是否存在由特征设置部分65按期望预先设置的预定色彩的像 素，确定是否应当记录图像。
可以应用上述方法之外的其他方法。例如，根据对象的轮廓(figure)中的 特征点从图像中提取对象。人脸的模式识别就是这样的例子，其可以这样实 现，即，使用关于作为对象的人脸的几何特征的信息(例如，包括眼睛、嘴、 鼻子和其他部分的形状和位置)，或者捕获整个人脸的特征作为具有密度等级 (density gradation)的普通二维图像。当在编码要识别的图像中采用面向对象的 编码技术时，将有效地提高提取感兴趣的对象的准确度。
回来参照图7,当从输入图像中提取出感兴趣的对象时，图像识别和处 理部分66将该图像通知给优先级确定部分67。当4叉;陂通知一个图像时，优 先级确定部分67将未经过任何处理的这一图像发送给图像合成部分61和记 录控制部分62。然后，图像合成部分61生成一个其中所选的图像被特写的 图像，例如，其中所通知的图像显示在父屏幕中的图像。所生成的图像显示 在LCD 80上。记录控制部分62选择所通知的图像并将该图像输出到走带机 构部分110,该走带机构部分110将图像记录在磁带上。
当被图像识别和处理部分66通知包括感兴趣的对象的多个图像时，优先 级确定部分67根据预置的图像优先级顺序，从所通知的图像中选择优先级最
高的图像，并且将优先级最高的图像通知给图像合成部分61和记录控制部分 62。优先级顺序可以按照用户的期望设置。例如，可以应用这样一条规则， 使得离对象近的摄像机列入优先，或者使相对于对象位于良好角度、能够摄 取比其他摄像机好的图像的摄像机列入优先。
在无法通过图像识别和处理部分66从任何图像中提取出感兴趣的对象 的情况下，可以基于预置的优先级顺序进行图像选择。现在将通过三个例子 说明如何基于优先级顺序选择图像。
图9是图解根据第 一 图像选择方法的处理的流程图。
在步骤S91中，确定包括感兴趣的对象的至少一个图像是否从图像识别 和处理部分66通知给了优先级确定部分67。当作出了肯定的判断时，流程 转到步骤S92。当确定没有通知图像时，流程转到步骤S93。
在步骤S92中，优先级确定部分67从至少一个所通知的图像中选择预置 的最高优先级的图像，并且将所选图像通知给图像合成部分61和记录控制部 分62,以便将所选图像记录在磁带上。
在步骤S93中，优先级确定部分67从所有图像中选4奪优先级最高的图像， 并且将所选图像通知给图像合成部分61和记录控制部分62，以便将所选图 像记录在磁带上。
例如，上述第一图像选择方法适用于下述情况其中将摄取一般最常选 择的主要图像的摄像机是事先已知的，并且很少进行向任何其他摄像机所摄 取的图像的切换，例如棒球转播。
图IO是图解根据第二图像选择方法的处理的流程图。
与图9的流程图类似，在步骤S10]和S102中，确定是否从图像识别和 处理部分66通知了包括感兴趣的对象的至少一个图像，当作出了肯定的判断 时，优先级确定部分67通知至少一个所通知的图像中优先级最高的图像。当 在步骤S101中确定没有通知图像时，流程转到步骤S103。
在步骤S103中，确定从所讨论的图像流开始以来是否通知了包括感兴趣 的对象的至少一个图像。当没有通知图像时，流程转到步骤S104，但是当通 知了至少 一个图像时，流程转到步骤S105 。
在步骤S104中，优先级确定部分67从所有图像中选裤r优先级最高的图
像，并且通知所选图像。
在步骤S105中，优先级确定部分67选择被通知和最近选择过的图像作 为要记录的图像，并且通知所选图像。
图11是图解根据第三图像选择方法的处理的流程图。
与图9和10的流程图类似，在步骤S111和S112中，确定是否从图像识 别和处理部分66通知了包括感兴趣的对象的至少一个图像，当作出了肯定的 判断时，优先级确定部分67通知至少一个所通知的图像中优先级最高的图 像。当在步骤Slll中确定没冇通知图像时，流程转到步骤S113。
与图IO的流程图类似，在步骤S113和S114中，确定从所讨论的图像流 开始以来是否通知了包括感兴趣的对象的至少一个图像，当没有通知图像时， 从所有图像中选择优先级最高的图像，并且通知所选图像，但是当通知了至 少一个图像时，流程转到步骤S115。
在步骤S115中，选择比最近通知和选择过的图像低一级的图像作为要记 录的图像，并且通知该图像。
将参照捕获例如赛跑者沿着田径场中的跑道奔跑的图像的情况，描述通 过采用第二和第三图像选择方法中的每一个获得的效果。图12是图解当摄取 在田径场中的跑道上的赛跑者的图像时摄像机配置的例子的图。
在图12的例子中，为了摄取沿着田径场中的跑道301奔跑的赛跑者302 的图像，采用包括三个数码摄像机1-3的摄像机系统。数码摄像机1-3摄取跑 道301中各个位置的图像，即，起跑线及附近、中间部分和终点线及附近。 然而，三个数码摄像机1-3中没有一个可以摄取整个跑道301的图像，并且 在摄像机拍摄的区域之间还留下未包括在任何摄取图像中的区域303和304。 因此，在赛跑者开始赛跑的时刻和赛跑者越过终点线的时刻之间捕获赛跑者 302的图像期间，存在一段时间，在该段时间中赛跑者没有出现在任何摄像 机的屏幕上。
通常，当在数码摄像机1-3所摄取的任何图像中无法识别感兴趣的对象 的情况下采用图9所示的选择最高优先级图像的方法时，每当感兴趣的对象 变得无法识别时，所选图像就切换回到由最高优先级的数码摄像机所摄取的 图像，导致场景不自然的转移。因此，该方法不适合图12的场合。
另一方面，根据图IO所示的第二图像选择方法，在当前没有在任何摄取 的图像中识别出感兴趣的对象、但从记录开始以来该对象至少被识别出 一次
的情况下，选择最近选择过的图像，这样在摄取图像期间所选图像就不会不 自然地反复切换回同 一数码摄像机摄取的图像。
让我们考虑在图12的场合中摄取图像的情况。当赛跑者302开始赛跑时，
赛跑者302最初在数码摄像机1所摄取的图像中被识别，并且选择这一图像。 然后，在进入区域303后，赛跑者302变得在任何图像中都无法识别，但图 10的步骤S105的处理继续选择数码摄像机1所摄取的图像。然后，赛跑者 302再次在数码摄像机2所摄取的图像中被识别，并因此选择这一图像。这 样，就不会出现起跑线的图像被不自然地插入所记录的奔跑中的赛跑者302 的图像中的情况。因此，创建的图像内容的场景保持平滑移动。
另一方面，在图11所示的第三图像选择方法中，在没有在任何摄取的图 像中识别出感兴趣的对象、但从记录开始以来该对象至少^C识别出一次的情 况下，选择比最近选择过的图像低一级的图像。这样，与第二图像选择方法 类似，就不会出现不自然地插入最高优先级的数码摄像机所摄取的图像的情 况。
让我们考虑数码摄像机1、 2和3以该顺序排优先级时在图12的场合中 摄取图像的情况。最初，开始赛跑的赛跑者302的图像被数码摄像机1摄取。 然后，当赛跑者302进入区域303后，所选图像切换到由第二优先级的数码 摄像机2所摄取的图像。在该切换之后，赛跑者302出现在所选图像被切换 到的图像中。然后，赛跑者到达区域304,并且所选图像切换到由数码摄像 机3所摄取的图像。之后，以与上述类似的方式，赛跑者302出现在所选图 像被切换到的图像中。这样，图像之间的切换是沿着赛跑者302运动的方向 进行的，使切换显得自然。因此，改善了所创建的运动图像内容的质量。
如上所述，数码摄像机中的每一个具有下述功能，即通过图像识别技术 从由每个数码摄像机摄取的图像和从其他数码摄像机摄取的图像中提取对 象，并且自动选择从中提取对象的图像以记录所选图像。这样，用户可以在 专心摄取图像的同时记录内容增强的图像，而不必观看从其他数码摄像机接 收的图像。
上述实施例是本发明对于数码摄像机的应用。然而，本发明可以应用到 诸如数码照相机(特别是具有视频捕获功能的照相机)之类的其他成像装置。此 外，记录所选图像的记录介质不限于录像带盒，而可以是便携半导体存储器， 或者诸如硬盘或光盘之类的盘记录介质。本发明可应用于没有成像功能的图像记录装置。例如，录像机或使用诸 如硬盘或光盘之类的盘记录介质的其他装置，可以适配用来通过无线通信或 其他方式接收分别由多个摄像机摄取的多个图像，并且将这些图像以合成的 方式同时显示在外部监控器上，以便选择一个图像以记录在记录介质中。可 以在存在多个上述数码摄像机的地点设置多个这样的图像记录装置，以便记 录从分别由多个数码摄像机摄取的图像当中选择的图像。这样，可以容易地 创建内容增强的运动图像。
可以在记录介质中记录图像的合成，而不是单独记录图像。例如，使用 图像识别技术将对象从由第 一摄像机摄取的第 一 图像中消除，于是屏幕的左 部变成单色背景。然后，将来自另一摄像机的第二图像与第一图像的背景合 成。可在所有接收的图像中选择要合成的图像。
可以采用这样的方式，即，从另一网络(特别是诸如因特网之类的广域网) 接收多个图像，并且从中选择要记录的图像。例如，将在因特网上流式传输 的运动图像和在网站上找到或从记录介质中读取的静止图像实时地合成，并 且将合成的图像记录在记录介质中。这允许通过轻而易举地从因特网中的大 量内容或用户所拥有的内容中选择图像并合成所选图像来创建新内容。
如上所述，根据本发明的成像装置可以显示由通过成像装置自身摄取的 图像和通过外部成像装置摄取并通过通信设备接收的图像所组成的合成图 像，以便在显示器上显示由这些图像构成的合成图像，以供用户观看，该用 户使用图像选择器选择期望的图像以记录所选图像。这样，丰富了记录图像 的内容，而更少地错过拍摄机会。此外，可以采用这样的方式，即，表示成 像装置自身摄取的图像的信号通过通信设备发送给外部成像装置。在这种情 况下，结构相同的多个成像装置的每一个都可以发送自身摄取的图像并且接 收另 一装置摄取的图像，从而允许选择性地记录图像。
根据本发明的图像记录方法允许结构相同的多个成像装置的每个发送自 身摄取的图像并且接收另 一装置摄取的图像，从而允许选择性地记录图像。 此外，每个成像装置的用户可以观看显示在屏幕上的图像，并且从中选择一 个期望的图像以便将所选图像记录在记录介质中。这样，每个成像装置的用 户可以丰富所记录的图像的内容，并且更少地错过拍摄机会。
权利要求
1.一种用于摄取和记录图像的成像装置，其特征在于包括成像部件，用于摄取图像；通信部件，用于与一个以上外部成像装置之间进行信号的发送接收；显示部件，用于显示图像；显示控制部件，用于使显示装置显示由所述成像部件得到的摄取图像、以及由所述外部成像装置摄取和发送并由所述通信部件接收的接收图像；图像选择部件，用于从所述摄取图像和所述接收图像中选择期望的图像；以及记录控制部件，进行控制以将由所述图像选择部件选择的图像的信号记录在记录介质中，所述显示控制部件将由所述图像选择部件选择的图像与未被选择的图像相区别从而以可识别的状态显示。
2. 如权利要求1所述的成像装置，其特征在于，所述显示控制部件以比 未被选择的图像更大地显示由所述图像选择部件选择的图像。
3. 如权利要求1所述的成像装置，其特征在于，所述显示控制部件通过 使所显示的图像的框的颜色变化，从而将由所述图像选择部件选择的图像设 为可识别的状态。
4. 如权利要求1所述的成像装置，其特征在于，还包括输入操作检测部 件，用于接受与用户对所述显示装置的画面的接触操作对应的输入信号，所述图像选择部件从所述显示装置显示的图像之中，选择在由所述输入 操作检测部件检测到所述接触操作的位置显示的图像。
5. 如权利要求1所述的成像装置，其特征在于，能够用所述通信部件对 所述外部成像装置发送所述摄取图像的信号。
6. 如权利要求1所述的成像装置，其特征在于，所述通信部件通过无线 通信进行信号的发送接收。
7. 如权利要求1所述的成像装置，其特征在于，还包括音频输入部件， 用于接收单通道的音频输入，所述记录控制部件进行控制以将来自所述音频输入部件的音频信号和由 所述图像选择部件选择的图像信号一同记录在所述记录介质中。
8. —种用于记录被输入的图像的图像记录装置，其特征在于包括图像接收部件，用于接收包括由外部成像装置摄取并发送来的图像的多个图像的信号；显示控制部件，用于进行控制以在显示装置显示由所述图像接收部件接收的多个接收图像；图像选择部件，用于从所述接收图像中选择期望的图像；以及 记录控制部件，进行控制以将由所述图像选择部件选择的图像的信号记录在记录介质中，所述显示控制部件将由所述图像选择部件选择的图像与未被选择的图像 相区别从而以可识别的状态显示。
9. 一种用于记录由多个成像装置摄取的图像的图像记录方法，其特征在 于，所述成像装置的每一个将本成像装置的摄取图像的信号发送给其他成像装置，并且接收所述其 他成像装置的摄取图像的信号；在显示装置显示所述本成像装置的摄取图像和来自所述其他成像装置的 接收图像；以及进行控制以从所述本成像装置的摄取图像和来自所述其他成像装置的接 收图像中选择期望的图像并且将其信号记录在记录介质上，并且，将选择的 图像与未被选择的图像相区别从而以可识别的状态显示在所述显示装置。
全文摘要
一种用于摄取和记录图像的成像装置，其特征在于包括成像部件，用于摄取图像；通信部件，用于与一个以上外部成像装置之间进行信号的发送接收；显示部件，用于显示图像；显示控制部件，用于使显示装置显示由所述成像部件得到的摄取图像、以及由所述外部成像装置摄取和发送并由所述通信部件接收的接收图像；图像选择部件，用于从所述摄取图像和所述接收图像当中选择期望的图像；以及记录控制部件，进行控制以将由所述图像选择部件选择的图像的信号记录在记录介质中，所述显示控制部件将由所述图像选择部件选择的图像与未被选择的图像相区别从而以可识别的状态显示。
文档编号H04N5/765GK101355671SQ20081021378
公开日2009年1月28日 申请日期2004年6月23日 优先权日2003年6月26日
发明者田上靖行 申请人:索尼株式会社