专利名称：图像传感设备、方法及程序、记录设备、方法及记录程序的制作方法
技术领域：
本发明涉及允许记录摄像机所拍摄的物体图像信号及其操作信息的图像传感设备、图像传感方法、图像传感程序、记录设备、记录方法、以及记录程序。
背景技术：
摄像机拍摄的物体图像信号记录到记录介质上，所述记录介质例如为录像带、圆盘形记录介质或半导体存储器。随后，在需要时，编辑并使用所记录的图像信号。简而言之，执行编辑操作执行使得用户在观看图像的同时，他或她提取所希望的剪辑，并对每个提取的剪辑标记起点和终点，其中，所述图像作为图像信号从记录介质再现，起点称作开始点，终点称作结束点。相应于标记的开始点和结束点，用户以他或她希望的方式连接多个剪辑，并把连接的图像例如记录到另一记录介质上。结果，获得作为最终图像的所谓完全打包图像。
用户可能需要在他或她观看图像的同时提取他或她希望的剪辑。因而，为了创造完美的组合图像，用户可能需要从许多图像中提取一个或几个剪辑。因而，用户必须再现许多图像，这需要花很长时间。
为了解决此问题，已经提出一种从图像提取特征点、在图像中搜索特征点并提取所希望剪辑的系统。对于特征点，可以使用摄像机的操作状态的变化点。当摄像机的操作状态，如光圈、变焦、聚焦、白平衡、放大器增益、以及快门速度改变时，物体或拍摄环境有可能改变，或者用户有可能有意识地操作了摄像机。因而，这些变化点可用作图像的特征点。
具体地，认为使白平衡控制自动跟随周围色温的自动跟踪白平衡(ATW)的变化点与拍摄环境的较大改变相对应，所述拍摄环境的较大改变例如为拍摄位置从室外改变到室内(或从室内改变到室外)、从一个房间改变到其它房间(如从具有白炽灯的房间改变到具有荧光灯的房间)。因而，自动跟踪白平衡的变化点对于提取剪辑非常有效。
日本专利特开平出版号9-198849描述一种摄像机的结构，当此摄像机拍摄物体并把得到的变化作为摄像机操作信息与图像信号一起记录到记录介质上时，此摄像机获得其操作状态的变化。根据JP9-198849，当用户拍摄物体时，摄像机获得摄像机操作信息，并把该信息与图像信号一起逐帧地记录到记录介质上。当用户编辑图像时，他或她对应于摄像机操作信息而逐帧地搜索图像。利用JP 9-198849中描述的结构，用户可根据摄像机操作状态而快速地搜索他或她希望的场景。
对于在JP 9-198849中公开的结构，由于逐帧地获得并记录摄像机操作信息，需要增大记录介质的记录容量。这在获得和记录许多种摄像机操作信息时产生问题。
另外，为了搜索与摄像机操作信息相应的场景，需要确定所关心的摄像机操作信息项是否超过它们的阈值。对于在JP 9-198849中公开的结构，当用户编辑图像时，他或她需要搜索摄像机操作信息，以确定所关心的摄像机操作信息项是否超过它们的阈值，这花费较长的处理时间。
发明内容
考虑到前面情况，希望提供在编辑图像时允许快速搜索所希望剪辑并允许有效地使用记录介质的图像传感设备、图像传感方法、图像传感程序、记录设备、记录方法、以及记录程序。
本发明的实施例是一种图像传感设备，所述图像传感设备具有图像传感器、自动白平衡调整部分、变化点检测部分以及电子标记数据产生部分。图像传感器传感物体的图像并输出与物体图像相应的图像信号。自动白平衡调整部分根据图像信号的变化而自动调整图像信号的白平衡。在图像传感器传感物体图像的同时，变化点检测部分至少根据白平衡的调整值而检测白平衡的变化点。电子标记数据产生部分基于变化点检测部分检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。
本发明的实施例是一种图像传感方法。传感物体的图像。输出与物体图像相应的图像信号。根据图像信号的变化而自动调整图像信号的白平衡。在传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点。基于所检测变化点的时间信息而产生用于已调整白平衡的电子标记数据。
本发明的实施例是一种使微处理器执行图像传感方法的图像传感程序。传感物体的图像。输出与物体图像相应的图像信号。根据图像信号的变化而自动调整图像信号的白平衡。在传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点。基于所检测变化点的时间信息而产生用于已调整白平衡的电子标记数据。
本发明的实施例是一种记录设备，所述记录设备具有图像传感器、自动白平衡调整部分、变化点检测部分、电子标记数据产生部分以及记录部分。图像传感器传感物体的图像并输出与物体图像相应的图像信号。自动白平衡调整部分根据图像信号的变化而自动调整图像信号的白平衡。在图像传感器传感物体图像的同时，变化点检测部分至少根据白平衡的调整值而检测白平衡的变化点。电子标记数据产生部分基于变化点检测部分检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。记录部分在记录介质上记录其白平衡经过白平衡调整部分调整的图像信号。
本发明的实施例是一种记录方法。传感物体的图像。输出与物体图像相应的图像信号。根据图像信号的变化而自动调整图像信号的白平衡。在传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点。基于所检测变化点的时间信息而产生用于已调整白平衡的电子标记数据。在记录介质上记录其白平衡经过调整的图像信号。
本发明的实施例是一种使微处理器执行记录方法的记录程序。传感物体的图像。输出与物体图像相应的图像信号。根据图像信号的变化而自动调整图像信号的白平衡。在传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点。基于所检测变化点的时间信息而产生用于已调整白平衡的电子标记数据。在记录介质上记录其白平衡经过调整的图像信号。
如上所述，根据本发明的实施例，根据图像信号的变化而自动调整被拍摄物体的图像信号的白平衡。在拍摄物体的同时，根据白平衡的调整值而检测白平衡的变化点。利用所检测变化点的时间信息，产生用于已调整白平衡的电子标记数据。因而，当在记录介质上记录图像信号并且再现和编辑图像信号时，利用电子标记数据，可快速地搜索出其中拍摄环境和物体改变以及摄像机用户改变他或她想法的场景。
另外，根据本发明的实施例，根据图像信号的变化而自动调整所拍摄物体的图像信号的白平衡。在拍摄物体的同时，根据白平衡的调整值而检测白平衡的变化点。利用所检测变化点的时间信息，产生用于已调整白平衡的电子标记数据。在记录介质上记录其白平衡经过调整的图像信号。因而，当再现和编辑记录在记录介质上的图像信号时，利用电子标记数据，可快速地搜索出其中拍摄环境和物体改变以及摄像机用户改变他或她想法的场景。
根据本发明的实施例，用户对摄像机装置的操作以及摄像机装置操作信息的改变受物体改变和摄像机用户想法改变的影响。因而，当相关地记录这些信息和数字图像信号时，可快速而容易地搜索并再现所希望的图像。
另外，由于自动记录用户操作以及摄像机装置操作信息的变化，因此，不必向用户增加特殊拍摄操作就可实现快速而容易地搜索所希望图像的效果。
当记录图像信号时，检测用户操作以及摄像机装置操作信息的变化。相关地记录所检测变化以及变化的时间信息。因而，记录信息的量较小。
另外，根据本发明的实施例，自动跟踪白平衡操作被检测和记录为摄像机装置的操作信息变化。因而，当再现图像信号时，用户容易知道场景是在室内还是在室外拍摄的。因而，可快速地搜索到所希望的场景。
另外，当检测自动跟踪白平衡的操作时，由于考虑到快门速度、增益调整以及滤波器选择的变化，因此即使它们使得白平衡本身的变化有偏移，也可记录被拍摄物体的色温的变化。
从以下结合附图对本发明最佳模式实施例的详细描述中，本发明的这些和其它的目的、特征和优点将变得更加清楚。
从以下结合附图的详细描述中，将更加完全地理解本发明，其中，相似的参考号代表相似的元件，在附图中图1为示出根据本发明实施例的摄像机装置的结构实例的框图；图2为示出自动白平衡电路的结构实例的框图；图3为示出记录和再现部分的结构实例的框图；图4为示出定义电子标记数据的保留字的实例的示意图；图5为示出电子标记数据的数据结构的实例的示意图；图6为描述Take Meta Data File(取得元数据文件)的实例的示意图；图7为示出产生Take Meta Data File的方法实例的流程图；图8为示出根据本发明实施例的光盘的数据管理结构的示意图；以及图9为示出在光盘上记录内容数据和Take Meta Data File的方法实例的示意图。
具体实施例方式
下面描述本发明的实施例。根据本发明的实施例，当摄像机装置拍摄物体时，它检测其操作状态的变化点，并相关地记录变化点及其时间信息。当利用摄像机装置的操作状态变化点的信息对摄像机装置记录的数字图像信号进行编辑时，容易搜索到物体亮度和拍摄环境有较大变化的点以及摄像机用户改变他或她想法的点。因而，用户可有效地执行编辑操作。
图1示出根据本发明实施例的摄像机装置1的结构实例。摄像机装置1具有控制装置，该控制装置产生与程序相应的预定控制信号。控制装置具有微处理器，如中央处理单元(CPU)；随机存取存储器(RAM)；只读存储器(ROM)；以及连接这些装置的总线。CPU产生与程序和预先储存在ROM中的数据相应的各类控制信号等。RAM用作CPU的工作存储器。摄像机装置1的每个部分都由控制装置控制。
从物体发射的光进入作为图像传感器的电荷耦合装置(CCD)11。图像传感器不局限于CCD，还可以由任何其它图像传感器如CMOS传感器或相似装置形成。CCD11储存与入射光相应的各个象素的电荷。CCD11把储存的电荷转换为电信号，并输出电信号。此时，对于每个域，快门22把电荷在CCD11上的存储时间(快门速度)控制为恒定时间。利用快门控制信息来控制每个域的电荷存储时间，其中，所述快门控制信息是根据用户在快门选择菜单23上选择的快门速度而产生的。快门控制信息提供给快门22和自动白平衡电路14。
根据本发明的该实施例的摄像机装置1使用所谓的三调色板系统，所述三调色板系统在CCD11中具有与R(红色)、G(绿色)和B(蓝色)相应的三个CCD。在以下描述中，除非另外说明，否则图像信号均由颜色R、G和B的三种图像信号组成。
从CCD11输出的图像信号提供给A/D转换电路12。A/D转换电路12把图像信号转换为数字图像信号。该数字图像信号提供给增益调整电路13。增益调整电路13根据增益控制信息而设定数字图像信号的增益。增益调整电路13向自动白平衡电路14以及亮度检测和光圈控制电路21提供数字图像信号。根据增益开关24的操作而产生增益控制信息，其中，增益开关24是摄像机装置1的用户界面的开关之一。增益控制信息也提供给自动白平衡电路14。
亮度检测和光圈控制电路21根据数字图像信号的亮度分量而获得数字图像信号的亮度。得到的亮度信息提供给自动白平衡电路14。亮度检测和光圈控制电路21产生光圈控制信号，根据得到的亮度信息，利用光圈控制信号而控制光学系统10的光圈。光圈控制信息提供给镜头光圈机构20。镜头光圈机构20根据提供的光圈控制信息而调整光学系统10的光圈，使得CCD11的入射光的量变为预定量。
布置在光学系统10的光入射一侧上的是具有多个光学滤波器的光学滤波器机构。该光学滤波器机构包括逐渐减小光学系统10的入射光量的多个光学滤波器以及补偿入射光的色温的多个光学滤波器。光学滤波器机构根据用户在滤波器选择机构25中的操作而从多个光学滤波器中选择一个。从滤波器选择机构25输出的滤波器选择信息作为滤波器信息提供给自动白平衡电路14。
自动白平衡电路14调整输入的R、G和B数字图像信号的白平衡。自动白平衡电路14输出经过白平衡的R、G和B数字图像信号。自动白平衡电路14执行所谓的自动跟踪白平衡操作，该操作使输入的数字图像信号根据其变化而自动地白平衡。
下面，简要描述白平衡。首先描述色温。色温是从被加热的完全黑体发射的光的颜色。完全黑体的颜色及其温度用1-1的关系相关地定义。完全黑体以一种颜色的光辐射所需的温度是色温的单位。色温用“K”(Kelvin)表示，“K”是热力学温度的单位。从完全黑体发射的光的颜色随着温度升高而从红色变为白色，再变为蓝色。因而，全红色屏幕称作“低色温”，而全蓝色屏幕称作“高色温”。作为常规光源的60W钨白炽灯的色温为约2800K。中午日光的色温为约5600K。日光灯的色温为约6500K。
白平衡是摄像机等的调整功能之一，它是这样一种功能调整红色(R)、绿色(G)和蓝色(B)的颜色平衡，从而，在特定色温的光源下，白色物体被拍摄为没有偏差的白色图像。
当在低色温光源下例如在60W钨白炽灯下调整摄像机的白平衡时，白色物体被拍摄成白色图像。然而，如果用相同的白平衡设定在具有更高色温的光源下如在中午日光下拍摄相同的物体，白色物体就被拍摄成蓝色图像。因而，当用不同色温的光源拍摄物体时，必需调整白平衡。
图2示出自动白平衡电路14的结构实例。在以下描述中，红色(R)数字图像信号被称作R信号。这同样应用于绿色(G)和蓝色(B)数字图像信号。输入到自动白平衡电路14的R信号、G信号和B信号中的R信号通过可变增益放大器50提供给积分电路52。G信号提供给积分电路53。B信号通过可变增益电路51提供给积分电路54。
积分电路52、53和54对一屏的R、G和B信号分别进行积分，并输出得到的信号。积分电路52、53和54的输出提供给比较电路55。比较电路55比较分别对一屏积分的R、G和B信号的电平。调整放大器50和51的增益，使得R信号、G信号和B信号的电平变得相同。换句话说，通过调整放大器50和放大器51的增益，R信号和B信号的电平根据G信号的电平而相对变化，从而，R、G和B信号的电平变得相同。以此方式，调整白平衡。自动白平衡电路14对每个域执行此处理，或以预定的间隔执行此处理，以便对R、G和B信号的变化随时进行白平衡调整操作。
从积分电路52、53和54的输入侧获得从自动白平衡电路14输出的数字图像信号。输出调整值R和调整值B，根据比较电路55的比较结果，利用调整值R和调整值B而调整可变增益放大器50和51的增益。
另外，自动白平衡电路14获得数字图像信号的亮度信息以及从亮度检测和光圈控制电路21提供的亮度信息和光圈控制信息、从快门选择菜单23提供的快门控制信息、从增益开关24提供的增益控制信息、以及从滤波器选择机构25提供的滤波器信息。自动白平衡电路14根据亮度信息而控制白平衡调整相对数字图像信号变化的随动速度。
换句话说，如果物体的亮度急剧变化，例如，如果拍摄位置从室内改到室外或从室外改到室内，自动跟踪白平衡的随动速度就增加，以便处理物体色温的急剧变化。当确定自动跟踪白平衡操作已经使白平衡调整收敛时，减小自动跟踪白平衡操作的随动速度。
例如，如果在白天拍摄位置从室外改到室内，在白天，室内就比室外暗很多。室内的光量就比室外的光量小很多。因而，当拍摄位置从室内改到室外时，亮度信息有较大变化。如果亮度信息有较大变化，亮度检测和光圈控制电路21就产生使光圈减小亮度信息变化的光圈控制信息。在此情况下，根据拍摄条件等，用户可增加快门速度，用增益开关24减小增益调整电路13的增益，并用滤波器选择机构25选择高衰减滤波器。因而，当物体的亮度改变较大时，亮度信息、光圈控制信息、快门控制信息、增益控制信息、和/或滤波器信息也改变。
偶尔，当拍摄位置从室内移动到室外时，摄像机用户例如调整快门速度，调整增益，并选择滤波器。在此情况下，由于亮度信号没有较大变化，因此，光圈控制信息也无较大变化。然而，由于快门控制信息、增益控制信息、和/或滤波器信息改变，因此，这可用于确定拍摄位置是在室内还是在室外。
光圈控制信息、快门控制信息、增益控制信息和滤波器信息的变化可以与物体亮度的变化相关联。这些信息项可用于表示物体的亮度变化。
例如，亮度信息、光圈控制信息、快门控制信息、增益控制信息和滤波器信息提供给比较电路55。比较电路55确定提供的值是否超过它们的阈值。当一个值超过相应的阈值时，确定物体的亮度有较大改变，并且拍摄位置已经从室内改到室外(或从室外改到室内)。可替换地，当多个信息项的值超过它们的阈值时，可确定拍摄位置已经从室内改到室外(或从室外改到室内)。
当确定拍摄位置已经从室内改到室外(或从室外改到室内)时，控制提供给放大器50和51的调整值R和调整值B，以使由放大器50和/或51以及比较电路55组成的反馈回路的时间常数减小，并且，自动跟踪白平衡的随动速度增加。比较电路55监视积分电路52、53和54的输出。当输出的变化变得等于或小于它们的阈值时，确定白平衡调整已经收敛。此时，控制调整值R和B，以使反馈回路的时间常数增加并且自动跟踪白平衡操作的随动速度减小。
回到图1，从自动白平衡电路14输出的R、G和B数字图像信号发送给记录和再现部分2。记录和再现部分2可与摄像机装置1集成在一起。可替换地，记录和再现部分2可与摄像机装置1独立，它们之间用电缆连接。
图3示出记录和再现部分2的结构实例。主轴电机112根据从伺服控制部分115接收的主轴电机驱动信号，以恒定线速度(CLV)或恒定角速度(CAV)驱动光盘100旋转。
拾波器部分113根据从信号处理部分116提供的记录信号而控制激光的输出，并把记录信号记录到光盘100上。拾波器部分113在光盘100上聚焦激光。另外，拾波器部分113把从光盘100反射的光转换为电，产生电流信号，并把电流信号提供给射频(RF)放大器114。根据从伺服控制部分115提供给拾波器部分113的伺服信号，用激光辐射预定位置。
RF放大器114产生与从拾波器部分113提供的电流信号相应的聚焦误差信号、跟踪误差信号以及再现信号。跟踪误差信号和聚焦误差信号提供给伺服控制部分115。再现信号提供给信号处理部分116。
伺服控制部分115控制聚焦伺服操作和跟踪伺服操作。实际上，伺服控制部分115根据从RF放大器114提供的聚焦误差信号和跟踪误差信号而产生聚焦伺服信号和跟踪伺服信号，并且把产生的信号提供给拾波器部分113的各个执行器(未示出)。伺服控制部分115产生主轴电机驱动信号，所述主轴电机驱动信号驱动主轴电机112并控制主轴伺服操作，其中，所述主轴伺服操作以预定转速旋转光盘100。
另外，伺服控制部分115执行用于径向移动摄像机装置1并改变激光辐射位置的线程控制。光盘100的信号读取位置由控制部分120设定。控制部分120控制拾波器部分113的位置，以从预定读取位置读取信号。
信号处理部分116对从存储控制器117输入的记录数据进行调制，产生记录信号，并把记录信号提供给拾波器部分113。信号处理部分116对从RF放大器114提供的再现信号进行解调，产生再现数据，并把再现数据提供给存储控制器117。
存储控制器117把从数据转换部分119提供的记录数据储存到存储器118中，从其读取记录数据，并把记录数据提供给信号处理部分116。另外，存储控制器117把从信号处理部分116提供的再现数据储存到存储器118中，从其读取再现数据，并把再现数据提供给数据转换部分119。
从摄像机装置1输出的数字图像信号提供给数据转换部分119。摄像机装置1用麦克风(未示出)收集声音，把声音转换为数字音频信号，并输出该数字音频信号。数字音频信号从摄像机装置1发送给记录和再现部分2。数字音频信号提供给数据转换部分119。
数据转换部分119根据压缩编码系统如MPEG2系统，以控制部分120指定的模式对提供的数字图像信号进行压缩编码，并产生记录数字图像信号。另外，数据转换部分119以控制部分120指定的系统对提供的数字音频信号进行压缩编码，并输出编码信号，作为记录数字音频信号。数字音频信号可以不经过压缩编码，而是作为线性脉冲编码调制(PCM)数字音频信号直接输出。
由数据转换部分119处理的记录数字图像信号和记录数字音频信号提供给存储控制器117。
在必要时，数据转换部分119对从存储控制器117提供的再现数字图像信号和再现数字音频信号进行解码，把它们转换为预定格式信号，并输出转换信号。
控制部分120由CPU、诸如ROM和RAM的存储器、以及连接这些装置的总线组成。控制部分120控制整个记录和再现部分2。当记录和再现部分2与前述摄像机装置1集成在一起时，可以共同使用摄像机装置1的控制部分(未示出)和控制部分120。ROM预先储存当CPU启动时读取的初始化程序以及控制记录和再现部分2的程序等。RAM用作CPU的工作存储器。控制部分120控制摄像机部分。
另外，控制部分120提供文件系统，所述文件系统根据预先储存在ROM中的程序而在光盘100上记录数据并从光盘100再现记录数据。换句话说，记录和再现部分2在控制部分120的控制之下，在光盘100上记录数据并从其再现数据。
操作部分121由用户操作。操作部分121向控制部分120提供与用户操作相应的操作信号。控制部分120根据从操作部分121提供的操作信号等而控制伺服控制部分115、信号处理部分116、存储控制器117和数据转换部分119，使这些装置执行记录和再现处理。
另外，控制部分120根据从操作部分121提供的操作信号而例如设定记录数字图像信号的比特率、帧速、图像大小以及图像纵横比。另外，用于记录音频数据的压缩编码处理的ON/OFF(开/关)以及比特分辨率的设定可以由操作部分121执行。与这些设定相应的控制信号提供给存储控制器117和数据转换部分119。
下面，描述根据本发明实施例的电子标记数据的产生和记录。根据本发明实施例的摄像机装置1检测摄像机装置1执行以拍摄物体的各种操作，并在记录介质上记录代表各种操作的摄像机操作信息，作为电子标记数据。
参照图1，聚焦变化检测电路27确定聚焦机构26的聚焦调整值是否超过预定阈值，并检测聚焦变化点。例如，聚焦变化检测电路27对聚焦调整值求微分，并确定该微分区分值是否超过预定阈值。当聚焦调整值超过预定阈值时，聚焦变化检测电路27向电子标记数据产生电路40提供作为检测结果的脉冲。电子标记数据产生电路40产生代表所提供检测结果的电子标记，使电子标记与时间信息相关联，并在电子标记列表42中描述关联数据。电子标记列表42储存在作为CPU(未示出)的工作存储器的RAM中。
根据本发明的此实施例，根据帧号产生电路41产生的帧号而产生时间信息。换句话说，帧号产生电路41产生摄像机装置1正在拍摄的物体图像的数字图像信号的帧号。当帧号用作与电子标记数据相应的时间信息时，容易获得电子标记数据与数字图像信号之间的关系。时间信息不局限于帧号，也可以使用代表真实时间的信息。可替换地，可以使用在电影与电视工程师协会(SMPTE)中定义的时间代码。可替换地，可以使用原始时间信息。
此机构可应用于其它类型的变化点。变焦变化检测电路29确定变焦机构28的变焦调整值是否超过预定的阈值。当变焦调整值超过预定的阈值时，变焦变化检测电路29检测变焦变化点。变焦变化检测电路29的检测结果提供给电子标记数据产生电路40。电子标记数据产生电路40使检测结果与时间信息相关联，并在电子标记列表42中描述关联数据。光圈变化检测电路30确定镜头光圈机构20的光圈调整值是否超过预定阈值。当光圈调整值超过预定值时，光圈变化检测电路30检测光圈变化值。光圈变化检测电路30的检测结果提供给电子标记数据产生电路40。电子标记数据产生电路40使检测结果与时间信息相关联，并且在电子标记列表42中描述关联数据。
变化检测电路15R和15B确定自动白平衡电路14的白平衡调整结果的调整值R和B是否超过它们的阈值，并且检测调整值R和B的变化点。调整值R和B的变化点的检测结果提供给白平衡变化检测电路16。
另一方面，如上所述，自动白平衡电路14利用亮度信息、光圈控制信息、快门控制信息、增益控制信息和滤波器控制信息而检查物体亮度的变化，并且检测拍摄位置是否从室内改到室外(或从室外改到室内)。自动白平衡电路14根据检测结果而控制白平衡调整相对于数据图像信号的随动速度。检测结果的室内/室外改变信息提供给白平衡变化检测电路16。
当白平衡变化检测电路16利用变化检测电路15R的变化检测结果、变化检测电路15B的变化点检测结果以及从自动白平衡电路14提供的室内/室外改变信息而检测到任何变化时，白平衡变化检测电路16确定白平衡已经改变，并且向电子标记数据产生电路40提供检测结果。
换句话说，如上所述，当快门速度、增益调整电路13的增益、或滤波器改变时，可以认为拍摄位置已经从室内改到室外(或从室外改到室内)。可以认为，色温在这些条件下已经改变。此时，如果快门速度、增益或滤波器随着色温的变化而改变，则物体的色温变化就随快门速度、增益或滤波器的变化而偏移。因而，有自动白平衡电路14不能检测与R信号、G信号和B信号相应的白平衡的可能性。因而，根据该实施例，当已经检测到快门速度、增益或滤波器改变时，可以认为拍摄位置已经从室内改到室外(或从室外改到室内)。因而认为已经检测到白平衡的变化。
电子标记数据产生电路40使提供的白平衡变化检测结果与时间信息相关联，并在电子标记列表42中描述关联数据。
检测电路(未示出)确定快门控制信息、增益控制信息和滤波器信息是否超过预定阈值，并检测变化点。检测结果提供给电子标记数据产生电路40。电子标记数据产生电路40使检测结果与时间信息相关联，并在电子标记列表42中描述关联数据。
当通过记录和再现部分2在光盘100上记录所拍摄物体的图像的数字图像信号的剪辑时，电子标记列表42储存在与剪辑相应的一个Take Meta Data File中，并记录到光盘100上。在此实例中，剪辑是在开始拍摄操作之后直到停止为止的一组数据。例如，一个剪辑由在按下启动按钮(未示出)之后直到按下停止按钮(未示出)(或释放启动按钮)为止输入的数字图像信号(以及数字音频信号)组成。
Take Meta Data File是包含拍摄一个剪辑时产生的至少一个电子标记数据单元的文件。元数据是比常规数据更高级的数据，并且用作代表各类数据的内容的索引。Take Meta Data File是代表每个剪辑的内容数据(数字图像信号和数字音频信号)索引的元数据。
组成剪辑的数字图像信号(和数字音频信号)从摄像机装置1提供给记录和再现部分2，并且提供给数据转换部分119。另外，从摄像机装置1输出Take Meta Data File，并且例如提供给记录和再现部分2的控制部分120。控制部分120向存储控制器117提供Take MetaData File。在适当的时间，存储控制器117把Take Meta Data File储存到存储器118中，从存储器118读取文件，并把文件作为记录数据而提供给信号处理部分116。
Take Meta Data File和剪辑可通过记录和再现部分2而记录到相同的记录介质上。可替换地，Take Meta Data File和剪辑可记录或储存到不同的记录介质上。换句话说，剪辑可通过记录和再现部分2记录到光盘100上，而Take Meta Data File可储存在可拆卸非易失性半导体存储器中，所述半导体存储器例如为连接到摄像机装置1的闪存。
下面详细描述取得元数据。图4示出定义电子标记数据的保留字的实例。图4所示的用保留字定义的电子标记数据可在Take MetaData File中描述。电子标记数据的每个项目名由下划线“_”和代表项目内容的字符串如“Flash”、“WhiteBalanceChange”等组成。除图4示出的这些之外，也可另外定义其它的电子标记数据。定义电子标记数据的保留字的规则不局限于这些实例。
“_ReeStart”是表示记录开始位置的拍摄开始标记。“_ReeEnd”是表示记录结束位置的拍摄结束标记。“_ShotMark1”和“_ShotMark2”是表示任意位置如重要时间点的拍摄标记。“_Cut”是表示剪辑位置的剪辑标记。“_Flash”是表示闪光检测位置的闪光标记。
“_FilterChange”是表示图像传感设备的镜头滤波器改变的位置的滤波器改变标记。“_FilterChange”与前述滤波器信息的变化点的检测结果相对应。“_ShutterSpeedChange”是表示图像传感设备的快门速度改变的位置的快门速度改变标记。“_ShutterSpeedChange”与上述快门控制信息的变化点的检测结果相对应。“_GainChange”是表示增益改变的位置的增益改变标记。“_GainChange”与上述滤波器控制信息的变化点的检测结果相对应。“_WhiteBalanceChange”是表示白平衡改变的位置的白平衡改变标记。“_WhiteBalanceChange”与上述白平衡的变化点的检测结果相对应。
“_FilterChange”、“_ShutterSpeedChange”和“_GainChange”可单独描述，或作为室内/室外改变信息而转变为“_WhiteBalanceChange”。可替换地，可组合描述这些独立的标记和它们的转变标记。
“_OverBrightness”是表示图像信号的输出电平超过限值的位置的标记。“_OverAudioLimiter”是表示音频信号的输出电平超过限值的位置的大音量标记。在从“_FilterChange”到“_OverAudioLimiter”的标记中，考虑在记录数字图像信号的同时发生的变化。
“_In-XXX”是表示剪辑或资料的剪辑开始位置的编辑开始标记。“_Out-XXX”是表示剪辑或资料的剪辑结束位置的编辑结束标记。无论何时增加编辑起点(开始点)和剪辑终点(结束点)，都在部分“XXX”如“_In-001”、“_In-002”等中顺序地编上数字或按字母顺序的字符。“_KeyFrame”是表示资料的代表性帧的位置的关键帧标记。
由于以上定义的电子标记数据在对视频数据进行粗略编辑时用作索引信息，因此，可有效地选择所希望的视频屏幕。
图5示出电子标记数据的数据结构的实例。如图4中所述，电子标记数据是元数据，其中视频屏幕的特征用文本数据代表并与数字图像信号相关联。电子标记数据用键长度值(KLV)系统进行编码，并例如可记录在串行数据接口(SPI)中并在此接口中发送。图5示出已经进行KLV编码的电子标记数据的格式。此格式基于SMPTE335M/RP210A元数据目录。
已经经过KLV编码的电子标记数据具有16字节长的“键(Key)”部分、一字节长的“L(长度)”部分、以及最大32字节长的“值”部分。“键”部分是表示的已基于SMPTE335M/RP210A进行KLV编码的数据项标识符。在此实例中，“键”部分是表示电子标记数据的值。“L”部分以字节表示在“L”部分之后的数据长度。“L”部分可表示最大32字节的数据长度。“值”部分是用于电子标记数据的文本数据的区域。
图6示出Take Meta Data File的描述的实例。根据此实施例，用可扩展标记语言(XML)描述Take Meta Data File。XML是用可原始定义的标签来描述信息的语言。对于XML，标签允许特殊定义所描述的信息。由于XML允许XML文件的每个标签包含具有意义的参数，因此容易定义新参数。因而，XML具有高度的扩展性。
下面简单描述XML文件的标签。通常，标签由表示范围开始和结束的一对符号组成。标签可嵌入在文本中。例如，通过用一对符号“<”和“>”(此对符号称作开始标签)包围预定义的字符串而描述表示范围开始的标签。通过用一对符号“</”和“>”(此对符号称作结束标签)包围相同的字符串而描述表示范围结束的标签。在由一对标签包围的范围内，任何意义都可由符号对“<”和“>”(或符号对“</”和“>”)所包围的字符串定义。另外，可在标签中描述预定的参数。标签可嵌套。在XML文件中，嵌套层次用缩进的深度表示。
如图6所示，Take Meta Data File至少包含视频信息部分301、视频文件名部分302以及标记部分303。视频信息部分301是摄像机装置1的视频信息。视频文件名部分302是内容数据文件如数字图像信号和数字音频信号的文件名。标记部分303是电子标记数据。标签中的定义名不局限于图6中示出的。可替换地，可以使用其它定义名。
在标签“<Device>”和标签“</Device>”之间定义视频信息部分301。例如，标签“<Model name＝“ABC-0123”serialNo＝“12-34-56-78”>”定义摄像机装置1的模型名。在标签“<ComponentMaterial>”与标签“</ComponentMaterial>”之间定义视频文件名部分302。例如，内容数据文件的数字图像信号文件的文件名“video1.mxf”被定义为标签“<Video src＝“video1.mxf”>”。数字音频信号文件的文件名“audio1.mxf”被定义为标签“<Audio.src＝“audio1.mxf”>”，这里，“.mxf”表示这些文件的格式基于“资料交换格式”。
在标签“<EssenceMarkTable>”和标签“</EssenceMarkTable>”之间定义标记部分303，作为电子标记数据和与其相应的时间信息。在标签“<EssenceMark value＝“_XXXXXX”>”中，双引号标记“”包围的部分描述电子标记数据的项目名。如图4所示，在下划线“_”之后立即跟随清楚表示内容(如“Flash”、“WhiteBalanceChange”等)的字符串。与电子标记数据相应的时间信息在标签“<EssenceMarkvalue＝“_XXXXXX”>”和标签“</EssenceMark>”之间定义。
在图6中，数字图像信号的帧号用作时间信息。然而，时间信息可以是包括日期和时间信息的真实时间信息。
图7为示出Take Meta Data File的产生方法的实例的流程图。当摄像机装置1开始拍摄剪辑(步骤S10)时，确定是否检测到用于电子标记数据的事件(步骤S11)。当确定结果表示已经检测到用于电子标记数据的事件时，流程前进到步骤S12。在步骤S12中，产生与该事件相应的电子标记数据。在步骤S13中，步骤S12中产生的电子标记数据储存在存储器等中。
当在快门选择菜单23上改变快门速度时，快门控制信息提供给电子标记数据产生电路40。电子标记数据产生电路40产生相应的电子标记数据。该电子标记数据由用于改变快门速度的保留字(如图4中的“_ShutterSpeedChange”)以及变化检测时间的时间信息组成，所述保留字和时间信息是互相关联的并储存在存储器等中。另外，快门控制信息也提供给自动白平衡电路14。自动白平衡电路14产生与快门速度变化相应的室内/室外改变信息。室内/室外改变信息提供给白平衡变化检测电路16。白平衡变化检测电路16产生表示白平衡变化的电子标记数据。该电子标记数据由用于改变白平衡的保留字(如图4中的“_WhiteBalanceChange”)以及变化检测时间的时间信息组成，所述保留字和时间信息是互相关联的并储存在存储器等中。
在步骤S14中，数字图像信号和数字音频信号的内容数据记录在盘100中。在步骤S15中，确定内容数据是否已经记录到盘100中。当还未记录内容数据时，流程返回到步骤S11。在实际系统中，并行地执行步骤S11-S13中的电子标记数据产生处理和步骤S14中的内容数据记录处理。因而，在记录内容数据的同时，产生并储存电子标记数据。
当确定已经记录剪辑时，流程前进到步骤S16。利用在从步骤S11到步骤S13的处理中储存在存储器中的电子标记数据，创造Take MetaData File。在步骤S17中，Take Meta Data File记录到记录介质上。
图8示意性地示出根据本发明实施例的光盘100的数据管理结构。如图8所示，在光盘100上，用目录结构对数据进行分级管理。在目录“ROOT”下创造用于剪辑的目录。在用于剪辑的目录下，记录剪辑文件，即至少记录剪辑的内容数据文件和剪辑的Take Meta DataFile。
在图8所示的实例中，在目录“ROOT”下创造用于这些剪辑的目录“CLIP a”、“CLIP b”等。在目录“CLIP a”下，记录作为剪辑内容数据文件的数字图像信号文件“VIDEO a”、以及与内容数据文件相应的Take Meta Data File“Take Meta Data a”。此关系应用于目录“CLIPb”等。
图9示出在光盘100上记录内容数据和Take Meta Data File的方法的实例。光盘100具有作为记录区的多个轨道。在图9中，同心地示出多个轨道。然而，实际上，螺旋形地形成多个轨道。在从光盘100的中心向外圆周的螺旋形轨道上连续记录数据。
在图7所示的步骤S10中，开始剪辑的记录。在步骤S14中，从光盘100的位置A写内容数据。在数据出现的同时，记录点在螺旋形轨道上移动到外圆周一侧。当在步骤S15中已经记录剪辑时，记录点移动到光盘上的位置B。在已经记录剪辑之后，在光盘100上记录TakeMeta Data File(步骤S17)。在图9所示的实例中，在光盘的位置C之后且在位置D之前记录Take Meta Data File，其中，位置C是比剪辑的记录结束位置B更后的记录位置。
在前面的描述中，假设在内容数据的外圆周一侧上记录TakeMeta Data File。然而，Take Meta Data File可记录在内容数据的内圆周一侧上。在前面的描述中，在记录一个内容之后，记录与其相应的取得元数据。可以在记录多个内容数据文件之后，记录与其相应的多个Take Meta Data File。
在前面的描述中，记录数字图像信号的记录介质是可记录光盘。然而，记录介质可以是磁带、半导体存储器等。
本领域中技术人员应理解，只要不偏离后附权利要求或其等效物的范围，就可根据设计要求和其它因素而作出各种变更、组合、次组合和替换。
显然，根据以上论述，有可能对本发明作出许多变更和改变。从而应理解，在后附权利要求的范围内，除在此具体描述以外，也可以其它方式实践本发明。
权利要求
1.一种图像传感设备，包括图像传感器，所述图像传感器配置为传感物体的图像并输出与物体图像相应的图像信号；自动白平衡调整电路，所述自动白平衡调整电路配置为基于图像信号的变化而自动调整图像信号的白平衡；变化点检测电路，所述变化点检测电路配置为在所述图像传感器传感物体图像的同时，至少基于白平衡的调整值而检测白平衡的变化点；以及电子标记数据产生电路，所述电子标记数据产生电路配置为基于所述变化点检测电路检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。
2.如权利要求1所述的图像传感设备，其中，在所述图像传感器传感物体图像的同时，所述变化点检测电路还基于表示物体亮度改变的信息而检测白平衡的变化点。
3.如权利要求2所述的图像检测设备，进一步包括快门速度控制电路，所述快门速度控制电路配置为控制所述图像传感单元的快门速度，其中，表示物体亮度改变的信息是所述快门控制电路的快门控制信息。
4.如权利要求2所述的图像传感设备，进一步包括增益控制电路，所述增益控制电路配置为控制图像信号的增益，其中，表示物体亮度改变的信息是所述增益控制电路的增益控制信号。
5.如权利要求2所述的图像传感设备，进一步包括滤波器选择电路，所述滤波器选择电路配置为选择至少一个光学滤波器，所述光学滤波器抑制或补偿进入所述图像传感器的入射光，其中，表示物体亮度改变的信息是所述滤波器选择电路的滤波器选择信息。
6.如权利要求2所述的图像传感设备，其中，物体的亮度变化点是基于图像信号的亮度分量的信息。
7.如权利要求2所述的图像传感设备，进一步包括光圈，所述光圈配置为抑制进入所述图像传感器的入射光的光路。
8.如权利要求2所述的图像传感设备，其中，所述自动白平衡调整电路根据表示亮度改变的信息而控制跟随图像信号变化的随动速度。
9.如权利要求1所述的图像传感设备，其中，时间信息是图像信号的帧号。
10.如权利要求1所述的图像传感设备，进一步包括快门速度改变电路，所述快门速度改变电路配置为改变所述图像传感器的快门速度，其中，所述电子标记数据产生电路进一步配置为基于快门速度变化点的时间信息而产生用于快门速度的电子标记数据。
11.如权利要求1所述的图像传感设备，进一步包括增益改变电路，所述增益改变电路配置为改变图像信号的增益，以及其中，所述电子标记数据产生电路进一步配置为根据增益变化点的时间信息而产生用于增益的电子标记数据。
12.如权利要求1所述的图像传感设备，进一步包括滤波器选择电路，所述滤波器选择电路配置为选择至少一个光学滤波器，所述光学滤波器抑制或补偿进入所述图像传感器的入射光，其中，所述电子标记数据产生电路进一步配置为根据所述滤波器选择电路选择光学滤波器的选择点的时间信息而产生用于光学滤波器的电子标记数据。
13.如权利要求1所述的图像传感设备，其中，所述电子标记数据产生电路进一步配置为打包在所述图像传感器发出传感开始命令之后直到所述图像传感器单元发出传感结束命令为止所产生的电子标记数据。
14.如权利要求1所述的图像传感设备，进一步包括记录电路，所述记录电路配置为在记录介质上记录图像信号，其中，所述电子标记数据产生电路产生的电子标记数据与图像信号一起记录到记录介质上。
15.如权利要求1所述的图像传感设备，进一步包括记录电路，所述记录电路配置为在记录介质上记录图像信号，其中，所述电子标记数据产生电路产生的电子标记数据记录或储存到与图像信号记录介质不同的记录介质或存储介质上。
16.一种图像传感方法，包括传感物体的图像并输出与物体图像相应的图像信号；根据图像信号的变化而自动调整图像信号的白平衡；在图像传感中传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点；以及基于在检测变化点时检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。
17.一种记录方法，包括传感物体的图像并输出与物体图像相应的图像信号；根据图像信号的变化而自动调整图像信号的白平衡；在图像传感中传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点；基于在检测变化点时检测的变化点时间信息而产生用于已调整白平衡的电子标记数据；以及在记录介质上记录其白平衡已经在自动调整白平衡时调整过的图像信号。
18.一种使微处理器执行记录方法的记录程序，包括传感物体的图像并输出与物体图像相应的图像信号；根据图像信号的变化而自动调整图像信号的白平衡；在图像传感中传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点；基于在检测变化点时检测的变化点时间信息而产生用于已调整白平衡的电子标记数据；以及在记录介质上记录其白平衡已经在自动调整白平衡时调整过的图像信号。
19.一种图像传感设备，包括用于传感物体的图像并输出与物体图像相应的图像信号的装置；基于图像信号的变化而自动调整图像信号的白平衡的装置；在所述传感装置传感物体图像的同时，至少基于白平衡的调整值而检测白平衡变化点的装置；以及基于所述变化点检测装置检测的变化点时间信息而产生用于已调整白平衡的电子标记数据的装置。
20.如权利要求19所述的图像传感设备，其中，在所述传感装置传感物体图像的同时，所述变化点检测装置还根据表示物体亮度改变的信息而检测白平衡的变化。
21.如权利要求20所述的图像传感设备，进一步包括用于控制所述传感装置的快门速度的装置，其中，表示物体亮度改变的信息是所述快门速度控制装置的快门控制信息。
22.如权利要求20所述的图像传感设备，进一步包括用于控制图像信号的增益的装置，其中，表示物体亮度改变的信息是所述增益控制装置的增益控制信号。
23.如权利要求20所述的图像传感设备，进一步包括选择至少一个光学滤波器的装置，所述光学滤波器抑制或补偿进入所述传感装置的入射光，其中，表示物体亮度改变的信息是所述选择装置的滤波器选择信息。
24.如权利要求20所述的图像传感设备，其中，物体的亮度变化点是基于图像信号的亮度分量的信息。
25.如权利要求20所述的图像传感设备，进一步包括用于抑制进入所述传感装置的入射光的光路的装置。
26.如权利要求20所述的图像传感设备，其中，用于自动调整白平衡的所述装置基于表示亮度改变的信息而控制跟随图像信号变化的随动速度。
27.如权利要求19所述的图像传感设备，其中，时间信息是图像信号的帧号。
28.如权利要求19所述的图像传感设备，进一步包括用于改变所述传感装置的快门速度的装置，其中，所述电子标记数据产生装置进一步基于快门速度变化点的时间信息而产生用于快门速度的电子标记数据。
29.如权利要求19所述的图像传感设备，进一步包括用于改变图像信号的增益的装置，以及其中，所述电子标记数据产生装置进一步基于增益变化点的时间信息而产生用于增益的电子标记数据。
30.如权利要求19所述的图像传感设备，进一步包括用于选择至少一个光学滤波器的装置，所述光学滤波器抑制或补偿进入所述传感装置的入射光，其中，所述电子标记数据产生装置进一步基于所述选择装置选择光学滤波器的选择点的时间信息而产生用于光学滤波器的电子标记数据。
31.如权利要求19所述的图像传感设备，其中，所述电子标记数据产生装置打包在所述传感装置发出传感开始命令之后直到所述传感装置发出传感结束命令为止所产生的电子标记数据。
32.如权利要求19所述的图像传感设备，进一步包括用于在记录介质上记录图像信号的装置，其中，所述电子标记数据产生装置产生的电子标记数据与图像信号一起记录到记录介质上。
33.如权利要求19所述的图像传感设备，进一步包括用于在记录介质上记录图像信号的装置，其中，所述电子标记数据产生装置产生的电子标记数据记录或储存到与图像信号记录介质不同的记录介质或存储介质上。
34.一种使微处理器执行图像传感方法的图像传感程序，包括传感物体的图像并输出与物体图像相应的图像信号；根据图像信号的变化而自动调整图像信号的白平衡；在图像传感中传感物体图像的同时，至少根据白平衡的调整值而检测白平衡的变化点；以及基于在检测变化点时检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。
全文摘要
本发明涉及图像传感设备、方法及程序、记录设备、方法及记录程序，其中的图像传感设备和方法利用图像传感器、自动白平衡调整部分、变化点检测部分以及电子标记数据产生部分。图像传感器传感物体的图像并输出与物体图像相应的图像信号。自动白平衡调整部分根据图像信号的变化而自动调整图像信号的白平衡。在图像传感器传感物体图像的同时，变化点检测部分至少根据白平衡的调整值而检测白平衡的变化点。电子标记数据产生部分基于变化点检测部分检测的变化点时间信息而产生用于已调整白平衡的电子标记数据。
文档编号H04N5/235GK1741575SQ20051009277
公开日2006年3月1日 申请日期2005年8月24日 优先权日2004年8月24日
发明者真贝光俊, 出口裕昭, 柴田贺昭 申请人:索尼株式会社