专利名称：影像声音记录装置和方法以及影像声音再生装置和方法
技术领域：
本发明涉及一种对影像信号和声音信号进行记录的影像声音记录装置和方法，以及再生记录媒体中记录的影像信号和声音信号的影像声音再生装置和方法，上述影像信号是对对象物进行摄像得到的影像信号，上述声音信号是对包含对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号，特别涉及一种可以再生所拍摄的影像以及具有现场感的声音的影像声音记录装置和方法，以及影像声音再生装置和方法。
背景技术：
对拍摄对象物得到的影像信号以及对包含对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号进行记录的影像声音记录再生装置(所谓的摄像机)正在普及。这种影像声音记录再生装置具备用于对声音进行立体录音的立体声麦克风。近年来，影像声音记录再生装置正进一步小型化，存在通过小型化的影像声音记录再生装置上安装的立体声麦克风难以记录具有现场感的声音的问题。因此，期待可以记录现场感更强的声音的影像声音记录再生装置。
在国际公开第96/10884号小册子中公开了以下的影像声音记录再生装置，其通过在影像声音记录再生装置的两侧配置耳构造体，可以对拍摄对象物得到的影像信号以及对摄影者周围的声场进行双声道集音的声音进行记录。
但是，在上述文献公开的在装置自身上安装了双声道麦克风的影像声音记录再生装置中，如果装置本身的宽度，即左右麦克风的间隔与人的头部不是相同的程度，则无法记录具有现场感的声音。近年来生产的影像声音记录再生装置随着高密度记录技术、数字信号记录技术以及影像压缩处理技术的进步已经被小型化，所以即使在影像声音记录再生装置自身上安装以双声道集音为目的的麦克风，也无法得到所期望的效果。此外，由于装置的形状与人的头部相差较大，所以认为难以得到上述文献公开的效果。
发明内容
本发明是鉴于以上问题而发明的，其目的在于提供一种与装置自身的大小或形状无关，可以再生拍摄的影像以及具有现场感的声音的影像声音记录装置和方法，以及影像声音再生装置和方法。
此外，本发明的目的在于提供一种在对对象物进行放大(zoom up)摄像时，可以与对象物的放大联动地再生现场感更强的声音的影像声音记录装置和方法，以及影像声音再生装置和方法。
此外，本发明的目的在于提供一种即使在任意的摄影者进行摄影、任意的视听者视听的情况下，例如视听再生信号的视听者与进行了双声道集音的摄影者不同的情况下，也可以收听几乎没有不协调的感觉的具有现场感的声音的影像声音再生装置和方法。
本发明为了解决上述现有的技术课题，提供一种影像声音记录装置，其在对拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号进行记录，其特征是具备摄像部，其对所述对象物进行摄像；切换部，切换是使用佩戴在所述摄影者耳朵上的双声道麦克风还是使用双声道麦克风以外的麦克风来作为对所述周围声音进行集音的麦克风；视频处理部，其对所述摄像部输出的影像信号进行处理；音频处理部，其处理对所述周围的声音进行集音的麦克风输出的声音信号；标志信息生成部，在作为对所述周围的声音进行集音的麦克风，由所述切换部切换到所述双声道麦克风时，把对所述周围的声音进行集音时的声音模式作为双声道模式，生成表示双声道模式的双声道标志信号；以及记录部，其在记录媒体中记录由所述视频处理部进行了处理的影像信号、由所述音频处理部进行了处理的声音信号以及所述双声道标志信号。
根据本发明，与装置本身的大小以及形状无关，可以再生拍摄的影像以及具有现场感的声音。此外，在对对象物放大摄像时，可以与对象物的放大联动地再生现场感更强的声音。而且，即使在任意的摄影者进行摄影，任意的视听者视听的情况下，例如视听再生信号的视听者与进行双声道集音的摄影者不同的情况下，也可以收听几乎没有不协调的感觉的具有现场感的声音。
在该结构中，最好具有内置于所述影像声音记录装置中的内置麦克风；外部麦克风连接端子；设定所述双声道麦克风或者双声道麦克风以外的麦克风来作为与所述外部麦克风连接端子连接使用的外部麦克风的设定部；对外部麦克风是否与所述外部麦克风连接端子相连接进行检测的连接检测部；作为对所述音频处理部提供的声音信号，在所述内置麦克风输出的声音信号和所述外部麦克风输出的声音信号之间进行切换的切换器；以及在由所述设定部将所述外部麦克风设定为双声道麦克风，并由所述连接检测部检测到在所述外部麦克风连接端子上连接有外部麦克风时，将声音模式设为所述双声道模式的控制部，所述控制部在声音模式为所述双声道模式时，对所述切换器进行切换控制以使将所述外部麦克风输出的声音信号提供给所述音频处理部，并控制所述标志信息生成部使所述标志信息生成部生成所述双声道标志信号。
此外，最好具备对所述摄像部输出的影像信号进行显示的显示部，并且具备显示控制部，其在声音模式为所述双声道模式时，使所述显示部显示表示所述双声道模式的双声道标记。
而且，最好是所述摄像部具备对所述对象物进行放大摄像的缩放功能，并具备声音缩放处理部，其对应所述摄像部的放大率，对使用所述双声道麦克风集音得到的声音信号进行放大。
而且，最好是所述摄像部具备对所述对象物进行放大摄像的缩放功能，并具备声音缩放处理部，所述声音缩放处理部具备传递函数存储器，其对应虚拟音源与收听者的多个距离来存储头部传递函数，所述头部传递函数用于使所述双声道麦克风集音得到的声音信号的音源虚拟地接近收听者来形成虚拟音源；函数取得器，其对应所述摄像部的放大率，选择性地取得该传递函数存储器中存储的多个头部传递函数中的某一个；以及卷积运算器，其对由所述双声道麦克风集音得到的声音信号卷积由所述函数取得器取得的头部传递函数。
本发明为了解决上述现有的技术课题，提供一种影像声音记录方法，该方法对拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号进行记录，其特征是，具备摄像步骤，对所述对象物进行摄像；切换步骤，切换是使用佩戴在所述摄影者耳朵上的双声道麦克风还是使用双声道麦克风以外的麦克风来作为对所述周围声音进行集音的麦克风；视频处理步骤，对拍摄所述对象物得到的影像信号进行处理；音频处理步骤，处理对所述周围的声音进行集音的麦克风输出的声音信号；标志信息生成步骤，作为对所述周围的声音进行集音的麦克风，在所述切换步骤中切换为所述双声道麦克风时，把对所述周围的声音进行集音时的声音模式设为双声道模式，生成表示双声道模式的双声道标志信号；以及记录步骤，在记录媒体中记录在所述视频处理步骤中处理的影像信号、在所述音频处理步骤中处理的声音信号以及所述双声道标志信号。
本发明为了解决上述现有技术的课题，提供一种影像声音再生装置，该装置再生记录了拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号的记录媒体，其特征是，具备再生部，其再生所述记录媒体中记录的记录信号；分离部，其从所述再生部再生的所述记录信号分离所述影像信号和所述声音信号；视频处理部，其对由所述分离部分离出的所述影像信号进行处理；音频处理部，其对由所述分离部分离出的所述声音信号进行处理；标志信息取得部，其在所述记录媒体中记录有表示作为对所述周围的声音进行集音的麦克风使用了佩戴在所述摄影者的耳朵上的双声道麦克风的双声道标志信号时，取得所述双声道标志信号；交调失真(cross talk)消除器，其在所述标志信息取得部取得了所述双声道标志信号时，对所述声音信号进行处理来抵消由扬声器对所述音频处理部处理过的所述声音信号进行发音时产生的交调失真信号；所述交调失真消除器具有滤波器，该滤波器对所述声音信号卷积预先求出的滤波器特性，所述滤波器特性基于头部传递函数，该头部传递函数是使用由圆筒形构造体中安装的一对麦克风对测定信号进行集音得到的声音信号而计量出的头部传递函数。
此外，提供一种影像声音再生方法，该方法再生记录了拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者周围的声音进行集音得到的声音信号的记录媒体，其特征是具备再生步骤，再生所述记录媒体中记录的记录信号；分离步骤，从所述再生步骤中再生的所述记录信号分离所述影像信号和所述声音信号；视频处理步骤，对所述分离步骤中分离出的所述影像信号进行处理；音频处理步骤，对在所述分离步骤中分离出的所述声音信号进行处理；标志信息取得步骤，在所述记录媒体中记录有表示作为对所述周围的声音进行集音的麦克风使用了佩戴在所述摄影者的耳朵上的双声道麦克风的双声道标志信号时，取得所述双声道标志信号；以及交调失真消除步骤，在所述标志信息取得步骤中取得了所述双声道标志信号时，对所述声音信号进行处理来抵消由扬声器对在所述音频处理步骤中处理过的所述声音信号进行发音时产生的交调失真信号；所述交调失真消除步骤是对所述声音信号卷积预先求出的滤波器特性的步骤，所述滤波器特性基于头部传递函数，该头部传递函数是使用由圆筒形构造体中安装的一对麦克风对测定信号进行集音得到的声音信号而计量出的头部传递函数。
图1是表示本发明第一实施方式的影像声音记录再生装置的外观斜视图。
图2表示使用本发明第一实施方式的影像声音记录再生装置对对象物进行摄像时的状态。
图3是表示本发明第一实施方式的影像声音记录再生装置的内部构成例的方框图。
图4表示在本发明的各个实施方式的影像声音记录再生装置中进行声音模式的初始设定的显示画面。
图5表示本发明各个实施方式的影像声音记录再生装置中的双声道麦克风的显示例子。
图6表示在本发明各个实施方式的影像声音记录再生装置中使用的双声道麦克风的变形例。
图7表示在本发明各个实施方式的影像声音记录再生装置中使用的双声道麦克风的变形例。
图8表示在本发明各个实施方式的影像声音记录再生装置中使用的双声道麦克风的变形例。
图9表示本发明各个实施方式的影像声音记录再生装置中的双声道标志信号的记述格式的一个例子。
图10表示本发明各个实施方式的影像声音记录再生装置中的双声道标志信号的记述格式的其他例子。
图11表示本发明各个实施方式的影像声音记录再生装置中的双声道标志信号的记述格式的另一例子。
图12是用于说明本发明第一实施方式的影像声音记录再生装置的记录动作的流程图。
图13是用于说明本发明第一实施方式的影像声音记录再生装置的再生动作的流程图。
图14是表示本发明各个实施方式的影像声音记录再生装置中使用的交调失真消除器的构成例的方框图。
图15表示用于求出在本发明各个实施方式的影像声音记录再生装置中使用的交调失真消除器所使用的头部传递函数特性的头部传递函数测定装置。
图16表示安装了图15所示的头部传递函数测定装置中使用的麦克风部件的圆筒形构造体，以及用于进行比较的人工头(dummy head)戴麦克风。
图17是表示由图15所示的头部传递函数测定装置测定的脉冲响应波形的波形图。
图18是表示由图15所示的头部传递函数测定装置测定出的频率特性的波形图。
图19是表示使用人工头戴麦克风测定出的脉冲响应波形的波形图。
图20是表示使用人工头戴麦克风测定出的频率特性的波形图。
图21是基于滤波器特性的交调失真消除特性的说明图，该滤波器特性基于使用安装了麦克风部件的圆筒形构造体测定出的头部传递函数。
图22是基于滤波器特性的交调失真消除特性的说明图，该滤波器特性基于使用人工头戴麦克风测定出的头部传递函数。
图23是基于滤波器特性的交调失真消除特性的说明图，该滤波器特性基于使用安装了麦克风部件的圆筒形构造体测定出的头部传递函数。
图24是基于滤波器特性的交调失真消除特性的说明图，该滤波器特性基于使用人工头戴麦克风测定出的头部传递函数。
图25是表示在本发明的各个实施方式的影像声音记录再生装置中使用的交调失真消除器的其他构成例的方框图。
图26是表示在本发明的各个实施方式的影像声音记录再生装置中使用的交调失真消除器的另一构成例的方框图。
图27是表示本发明各个实施方式的影像声音记录再生装置中的头戴听筒的再生动作的流程图。
图28是表示本发明第二实施方式的影像声音记录再生装置的内部构成例的方框图。
图29是表示本发明第二实施方式的影像声音记录再生装置中的声音缩放处理部的构成例的方框图。
图30是用于对在本发明第二实施方式的影像声音记录再生装置中进行声音缩放处理时的动作进行说明的流程图。
图31是表示本发明第二实施方式的影像声音记录再生装置中的声音缩放处理部的其他构成例的方框图。
图32表示用于求出由图31的声音缩放处理部的其他构成例中使用的头部传递函数的头部传递函数测定装置。
图33是表示在图32的头部传递函数测定装置中使用的人工头戴麦克风的截面图。
图34表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图35表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图36表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图37表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图38表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图39表示由图32的头部传递函数测定装置测定得到的头部传递函数的特性。
图40是用于说明在本发明第二实施方式的影像声音记录再生装置中使用图31所示的声音缩放处理部的其他构成例进行声音缩放处理时的动作的流程图。
图41是表示本发明第三实施方式的影像声音记录再生装置的内部构成例的方框图。
图42是表示本发明第三实施方式的影像声音记录再生装置中的声音缩放处理部的构成例的方框图。
图43是表示本发明第三实施方式的影像声音记录再生装置中的声音缩放处理部的其他构成例的方框图。
图44是表示本发明第四实施方式的影像声音记录再生装置的内部构成例的方框图。
图45是表示本发明第四实施方式的影像声音记录再生装置中的声音缩放处理部的构成例的方框图。
图46是用于说明本发明第四实施方式的影像声音记录再生装置中的人工(manual)声音缩放处理的流程图。
图47是表示本发明第五实施方式的影像声音记录再生装置的内部构成例的方框图。
图48是表示本发明第五实施方式的影像声音记录再生装置中的声音缩放处理部的构成例的方框图。
图49是表示本发明第六实施方式的影像声音记录再生装置的外观斜视图。
图50是表示本发明第六实施方式的影像声音记录再生装置的内部构成例的方框图。
图51是表示本发明第六实施方式的影像声音记录再生装置中的代码收容部的构造例的平面图。
图52是表示本发明第七实施方式的影像声音记录再生装置的外观斜视图。
图53是表示本发明第七实施方式的影像声音记录再生装置的内部构成例的方框图。
图54是表示本发明第七实施方式的影像声音记录再生装置中的无线型双声道麦克风和无线收发部的具体的构成例的方框图。
图55是在本发明第七实施方式的影像声音记录再生装置中在无线型双声道麦克风超过可以通信的区域时的警告的说明图。
图56表示在本发明第七实施方式的影像声音记录再生装置中，在无线型双声道麦克风超过可以通信的区域时在显示部上所显示的警告标记的例子。
图57是用于说明本发明第七实施方式的影像声音记录再生装置的动作的流程图。
具体实施例方式
以下参照附图对本发明的影像声音记录装置和方法，以及影像声音再生装置和方法的实施方式进行说明。
第一实施方式图1是表示第一实施方式的影像声音记录再生装置101的外观构成例的斜视图。
图1所示的影像声音记录再生装置101具有摄像部11、显示部17、内置立体声麦克风21a、21b、以及外部麦克风连接端子32。在外部麦克风连接端子32上可拆装地连接具有无定向性的左右麦克风31a以及31b的耳机型双声道麦克风3。在此，图示了将双声道麦克风3与外部麦克风连接端子32相连接的状态。麦克风31a、31b在内部具有振动板。如后面详细叙述的那样，影像声音记录再生装置101可以选择性地进行使用了内置立体声麦克风21a、21b的摄影(声音收录)和使用了双声道麦克风3的摄影(声音收录)。此外，所谓摄影不单是对对象物的影像进行摄像，有时还表示对对象物的影像进行摄像以及对包含对象物发出的声音在内的摄影者周围的声音进行集音。
图2表示摄影者300使用影像声音记录再生装置101对没有图示的对象物进行摄像时的状态。在使用双声道声麦克风3一边集音一边对对象物进行摄像时，如图2所示，摄影者300在左右耳朵302上佩戴左右麦克风31a、31b。由此，通过摄影者300的头部30与麦克风31a、31b的位置关系给予的双声道音响特性，对包含对象物发出的声音在内的摄影者300周围的声音进行集音。摄影者300一边目视在显示部17上显示的对象物的监视影像一边通过摄像部11对对象物进行摄像，并且通过双声道麦克风3对周围的声音进行集音。如后面详细叙述的那样，在这里没有图示的记录媒体中记录由摄像部11拍摄的影像信号和由双声道麦克风3集音的声音信号。此外，如后面详细叙述的那样，将记录媒体中记录的影像信号与视听者宛如在与摄影者300相同的摄影环境中进行视听的具有现场感的声音一起进行再生。
图3是表示影像声音记录再生装置101的具体的内部构成例子的方框图。
影像声音记录再生装置101具备摄像部11、视频编码部12、多路复用部13、记录·再生部14、分离部15、视频解码部16、显示部17、内置立体声麦克风21(21为21a和21b的总称)、音频编码部22、音频解码部26、交调失真消除器27、外部麦克风连接端子32、标志信息取得部36、影像输出端子37a、声音输出端子37b、连接检测部41、标志信息生成部42、记录媒体44、控制部47、操作部48、以及切换器Sw1、Sw2、Sw3。此外，作为记录媒体44，可以是盘状记录媒体或盒式磁带等可以拆装的记录媒体，也可以是像硬盘那样，预先安装在影像声音记录再生装置101内的记录媒体。
在影像输出端子37a上连接电视受像机等显示器52。在声音输出端子37b上经由放大器51连接扬声器53、54。从扬声器53、54发出的声音由视听者59收听。此外，在图3中为了方便，同时图示了摄影者300和视听者59，但通常可以分别进行摄影者300的摄影和视听者59的再生影像·声音的视听。
(记录动作)对影像声音记录再生装置101的记录动作进行说明。
首先，当摄影者300通过操作部48进行显示声音模式的初始设定图像(窗口)的操作时，作为一个例子，控制部47在显示部17上显示图4所示的初始设定图像170。作为外部麦克风，可以在外部麦克风连接端子32上连接图1、图2中说明的双声道麦克风3和通常的外部麦克风中的任何一种。通过操作部48的规定操作，摄影者300在使用双声道麦克风3进行集音时，如图4所示选择“双声道”；在使用通常的外部麦克风进行集音时选择“普通”。控制部47成为设定部，该设定部设定双声道麦克风3或者双声道麦克风以外的麦克风来作为与外部麦克风连接端子32连接使用的外部麦克风。在作为外部麦克风输入选择了“双声道”，并且连接检测部41检测到外部麦克风的插头已插入外部麦克风连接端子32中时，控制部47对电路各部进行控制，使影像声音记录再生装置101进行与使用了双声道麦克风3的摄影相对应的记录动作。把使用双声道麦克风3对周围的声音进行集音，来对集音得到的声音信号进行记录的声音模式称为双声道模式。把使用内置立体声麦克风21或者通常的外部麦克风对周围的声音进行集音，来对集音得到的声音信号进行记录的声音模式称为普通模式。
此外，如果将双声道麦克风3的插头制成与普通的外部麦克风不同的双声道麦克风3专用的形状，将外部麦克风连接端子32制成双声道麦克风3专用的连接端子，则可以省略所述声音模式的初始设定。
具体地说，在图3中，当连接检测部41检测到在外部麦克风连接端子32上连接了外部麦克风时，将检测信号提供给控制部47。控制部47如果收到表示在将外部麦克风设定为“双声道”的状态下连接了外部麦克风的检测信号，则将切换器Sw1从输入来自内置立体声麦克风21的声音信号的端子a切换至输入来自双声道麦克风3的声音信号的端子b。由此，把来自双声道麦克风3的声音信号提供给音频编码部22。切换器Sw1是切换部，其切换是使用佩戴在摄影者300的耳朵302上的双声道麦克风还是使用双声道麦克风以外的麦克风来作为对周围的声音进行集音的麦克风。
此外，控制部47进行控制，使标志信息生成部42生成并输出表示双声道模式的标志信息(双声道标志信号)。将双声道标志信号输入给多路复用部13。
如此进行了双声道模式的设定时，控制部47最好使显示部17显示表示成为双声道模式的标记。在图5中表示标记的例子。图5(A)所示的标记171是模式地表示使用双声道麦克风3的摄影者300的标记，图5(B)所示的标记172是模式地表示双声道声音的扬声器再生的标记。作为表示双声道模式的标记，可以使用图5(A)、(B)的某一个标记，当然还可以使用其他的标记。这些标记只要在所述初始设定结束后或者在外部麦克风连接端子32上连接了双声道麦克风3的情况下，与摄像部11拍摄的影像重叠地在显示部17上显示就可以。通过这样的标记显示，摄影者300在使用双声道麦克风3时，可以确认是否已将声音模式设定为双声道模式。在声音模式为双声道模式时，控制部47成为使显示部17显示表示双声道模式的双声道标记(标记171、172)的显示控制部。
在左右耳朵302上佩戴了双声道麦克风3的左右麦克风31a、31b的摄影者300用摄像部11对对象物进行摄像。从摄像部11输出的影像信号被输入给视频编码部(视频处理部)12以及切换器Sw3的端子g。在通过影像声音记录再生装置101进行摄影(记录)时，切换器Sw3切换为端子g，来自摄像部11的影像信号被提供给显示部17，显示对象物的图象。与此同时，根据摄影者300的头部30和麦克风31a、31b的位置关系，从麦克风31a、31b得到使对象物朝向正中面方向的进行双声道集音得到的声音信号。该声音信号经由切换器Sw1输入给音频编码部(音频处理部)22。
在此，当对记录媒体44为DV盒式磁带的情况进行说明时，视频编码部12对输入的影像信号进行A/D转换，并且以DV压缩方式进行编码生成编码影像信号。音频编码部22对输入的声音信号进行A/D转换，并且通过移动(shuffling)重排非压缩的声音信号的数据位置来生成编码声音信号。
多路复用部13按照民用数字VCR标准规定的信号格式对输入的编码影像信号和编码声音信号以及双声道标志信号进行时分多路复用来生成多路复用信号。把多路复用部13输出的多路服用信号输入给记录·再生部14。记录·再生部14将输入的多路复用信号按照由民用数字VCR标准规定的记录格式在记录媒体44中进行记录。在后面将对双声道标志信号的具体的记录方法进行详细地记述。
在此，对双声道麦克风3的变形例进行说明。
(双声道麦克风3的变形例)图6(A)表示了麦克风31a、31b的第一变形例麦克风31c，图6(B)表示了麦克风31a、31b的第二变形例麦克风31d。图6(A)所示的麦克风31c具备插入摄影者300的耳朵302中的麦克风保持部312；以及与麦克风保持部312的上部联结设置的、对振动板等麦克风部件进行收容的麦克风收容部311。通过使双声道麦克风3成为麦克风收容部311与麦克风保持部312分离的结构的麦克风31c，摄影者300即使戴着双声道麦克风3，也可以良好地听到来自外部的声音。图6(B)所示的麦克风31d与麦克风保持部312的下部相联结地设置了麦克风收容部311。麦克风31d也有与麦克风31c相同的效果。
图7是表示麦克风保持部312的具体的构成例的斜视图。在这里表示了在麦克风保持部312的上部设置了麦克风收容部311的图6(A)的麦克风31c。图7(A)所示的麦克风保持部312在保持部自身312a上，形成了沿着向耳朵302内部的方向直径变小的锥形的通音孔313a。图7(B)所示的麦克风保持部312在保持部自身312a上，形成了圆柱状的音孔313b。图7(A)的保持部自身312a容易插入到摄影者300的耳朵302中，图7(B)的保持部自身312b具有佩戴时外部声音衰减小的特性。
图8表示了使图6(A)的麦克风31c的麦克风保持部312的外形不同的例子。在图8中，(A)是具有较大外形的麦克风保持部312；(B)是具有中等外形的麦克风保持部312；(C)是具有较小外形的麦克风保持部312。如此，如果准备多个大小的麦克风保持部312，则摄影者300可以选择适合自己耳朵302大小的麦克风保持部。此外，在图8(A)～(C)中，麦克风收容部311(麦克风部件)的形状以及大小相同，麦克风部件的灵敏度以及响应频率特性也相同。
(双声道标志信号的记录)摄影者300为了识别佩戴双声道麦克风3进行集音得到的双声道声音以及通过内置立体声麦克风21进行集音得到的声音，在进行双声道声音集音时将双声道标志信号与双声道声音一起记录在记录媒体44中。双声道标志信号是在标志信息生成部42生成。
首先，对记录媒体44为DV盒式磁带时的双声道标志信号的具体的记录方法进行说明。
图9是在DV盒式磁带中记录音频数据时的数据格式。在记录0～89字节的音频数据时，第0、1字节记录同步代码，第2～4字节记录ID(识别)代码，第5～9字节记录音频用辅助数据(AUX)，第10～81字节记录音频数据，第82～89字节记录用于错误数据检测以及修正的内码奇偶检验数据。作为一个例子，如果为双声道模式，则标志信息生成部42作为双声道标志信号输出1，如果不是双声道模式(如果为普通模式)则输出0。多路复用部13生成图9所示的数据格式的信号。
然后，对记录媒体44为记录盘时的双声道标志信号的具体的记录方法进行说明。作为记录盘，具有DVD-RAM、DVD-RW、DVD-R等使用红色的激光进行记录再生的盘、和Blu-ray盘或者HD-DVD等使用蓝色激光进行记录再生的盘。在此，对使用在所有这些记录盘中可以适用的DVD视频标准，来重叠双声道标志信号的情况进行说明。
作为使用DVD视频标准来重叠双声道标志信号的第一方法，考虑在DVD视频标准的DVD-Video zone中重叠双声道标志信号的方法。
如图10所示，DVD标准的卷空间(Volume space)由Volume and Filestructure和DVD-Video zone以及DVD others zone构成。DVD-Video zone含有VMG(Video Manager)和VTS(Video Title Set)#1～DVTS#n。n为2以上的规定的整数。各个VTS分别包含控制数据(Control Data)和VOBS(VideoObject Set)。VOBS包含多个VOB(Video Object)。VOBS包含多个CELL。CELL包含多个VOBU(Video Object Unit)。VOBU包含导航包(NV_PACK)、音频包(A_PACK)、视频包(V_PACK)。在本实施方式中，在VOBU内设置了包含双声道标志信号的数据包(D_PACK)。
数据包(D_PACK)包含包头(pack header)、分组头(packet header)、子流ID、音频帧信息、音频数据信息、以及双声道标志信号。双声道标志信号由多个音频帧层构成。
如此，以基于DVD视频标准的形式，将包含双声道标志信号的信息作为数据包(D_PACK)来形成包，进行MPEG多路复用。由此，可以保持与DVD视频标准的互换性，同时可以得知音频信号的哪个音频帧部分是双声道声音信号，哪个音频帧部分是通常的立体声声音。因此，可以简单地判别在哪个音频帧部分进行交调失真消除处理为好。
作为使用DVD视频标准来重叠双声道标志信号的第二方法，考虑在DVD视频标准的DVD others zone重叠双声道标志信号的方法。DVD others zone是对与影像、声音自身的数据相关联的辅助数据进行记录的区域，也是用户数据记录区域。
通过比较图10和图11可知，在本实施方式中，使作为用户数据记录区域的DVD others zone的数据结构采用与DVD-Video zone的数据结构相类似的结构。如图11所示，DVD others zone也包含VMG、VTS、VOBS、VOB、CELL、VOBU等各种信息。为了使图11所示的DVD others zone中的这些各个信息与图10中的信息相区别，采用在头部添加了D的名称。
如图11所示，DVD others zone含有DVMG和DVTS#1～DVTS#n。各个DVTS分别包含DVTSI(Video Title Set information)和DVOBS。DVOBS包含多个DVOB。DVOBS包含多个DCELL。DCELL包含多个DVOBU。DVOBU包含多个音频帧层。音频帧层是对音频信号的编码参数等音频帧数据进行记录的区域，将该音频帧层的一部分区域作为双声道标志信号的记录区域。
如此以基于DVD视频标准的形式在DVD others zone中记述双声道标志信号，由此使DVD-Video zone中包含的音频信号(双声道声音信号或通常的立体声声音)和双声道标志信号相互关联。可以保持与DVD视频标准的互换性，同时可以得知音频信号的哪个音频帧部分是双声道声音信号，哪个音频帧部分是通常的立体声声音。因此，可以简单地判别在哪个音频帧部分进行交调失真消除处理为好。
在图10、图11的情况下，例如把操作开始按钮来开始进行摄影、然后操作停止按钮来结束摄影的期间进行集音得到的音频信号作为一个或者多个音频帧层，并对各个音频帧层附加声音模式信息。然后，在声音模式信息内记述双声道标志信号，作为双声道信息包进行管理。通过将双声道标志信号作为双声道信息包进行管理，可以容易地对每个音频帧取得声音模式信息。由此，在再生记录媒体44时，即使在混合记录了双声道声音信号和通常的立体声声音信号的情况下，也可以对应声音模式恰当地进行后述的交调失真消除器27的切换。至少在每次进行开始摄影的操作时进行声音模式信息的记录，更好的是在每个规定的时间进行记录。
此外，即使在作为记录媒体44例如使用半导体存储器的情况下，也与上述相同地定义双声道标志信号的记录区域，并指定记录的声音信号的声音模式，由此可以识别双声道记录的声音信号，并且可以一边恰当地切换交调失真消除器27的动作/不动作，一边再生声音信号。
而且，还考虑了在MPEG等编码方式的多路复用层的用户数据内记述双声道标志信号。作为一个例子，假设以下的情况使用具有影像以及声音的通信功能的移动电话，从发送侧的移动电话把拍摄到的影像信号与通过双声道麦克风3集音得到的声音信号一起传输给接收侧的移动电话。在这样的情况下，也可以从发送侧的移动电话向接收侧的移动电话传输双声道标志信号。通过对声音信号赋予双声道标志信号来传输，可以在为双声道声音的情况下再生具有现场感的声音。此时，在用移动电话传输的影像以及声音分组(packet)数据的规定位置记述双声道标志信号，来作为分组数据进行传输。例如，在使用MPEG-4中规定的传输方式时，在基本流的用户数据记录区域中，可以传输图9所示的双声道标志信号。在使用MPEG-4标准中规定的传输流时，可以在专用数据区域(privat data_type)记述双声道标志信号。
此外，在将影像数据以及声音数据以附件的形式作为文件数据进行传输时，也可以在该文件头部的部分记述双声道标志信号。
使用图12所示的流程图对影像声音记录再生装置101的记录动作进行进一步的说明。
首先，控制部47在步骤S151中判定图4中说明的初始设定是否为已将与外部麦克风连接端子32连接的外部麦克风设定为双声道麦克风3。如果在步骤S151中判定初始设定已设定为双声道(YES)，则移动至步骤S152。如果没有判断出设定为双声道(NO)，则控制部47将切换器Sw1向端子a切换，在步骤S154中，影像声音记录再生装置101取得来自内置立体声麦克风21的声音信号。在步骤S152中，控制部47判断连接检测部41是否检测出在外部麦克风连接端子32中插入了外部麦克风的插头。如果在步骤S152中判断为在外部麦克风连接端子32上连接了外部麦克风(YES)，则控制部47将切换器Sw1向端子b切换，在步骤S153中影像声音记录再生装置101取得来自双声道麦克风3的声音信号。如果在步骤S152中没有判断出在外部麦克风连接端子32上连接了外部麦克风(NO)，则控制部47将切换器Sw1向端子a切换，在步骤S154中影像声音记录再生装置101取得来自内置立体声麦克风21的声音信号。
然后，在步骤S155中，在视频编码部12内的没有图示的存储器中暂时存储来自摄像部11的影像信号，并把来自双声道麦克风3或者内置立体声麦克风21的声音信号暂时存储在音频编码部22内的没有图示的存储器中。在步骤S156中，视频编码部12对影像信号进行编码，音频编码部22对声音信号进行编码。在步骤S157中，将编码影像信号暂时存储在视频编码部12内的没有图示的缓冲存储器中，将编码声音信号暂时存储在音频编码部22内的没有图示的缓冲存储器中。而且，在步骤S158中，标志信息生成部42在为双声道模式时根据控制部47的指示生成双声道标志信号。
然后，多路复用部13在步骤S159中对编码影像信号和编码声音信号以及双声道标志信号进行多路复用，在步骤S160中生成分组流信号。在步骤S161中，记录·再生部14在记录媒体44中记录流信号。在步骤S162中，视频编码部12和音频编码部22判断是否存在应该进行编码的影像信号和声音信号，如果判断为仍然存在应该进行编码的影像信号和声音信号(YES)，则返回步骤S152重复以上的动作。如果没有判断出仍然存在应该进行编码的影像信号和声音信号(NO)，则结束处理。
(再生动作)返回图3，对影像声音记录再生装置101的再生动作进行说明。在图3中，当对操作部48的没有图示的再生按钮进行操作时，记录·再生部14根据控制部47的控制，再生作为记录媒体44中记录的记录信号的多路复用信号。由记录·再生部14再生的多路复用信号被提供给分离部15，分离部15将输入的多路复用信号分离为编码影像信号、编码声音信号以及双声道标志信号。
将编码影像信号提供给视频解码部(视频处理部)16，将编码声音信号提供给音频解码部(音频处理部)26，将双声道标志信号提供给标志信息取得部36。视频解码部16对输入的编码影像信号进行解码来得到影像信号。伴随再生按钮的操作，根据控制部47的控制将切换器Sw3切换为端子h。在显示部17上显示由视频解码部16输出的影像信号，并且通过影像输出端子37a提供给显示器52进行显示。音频解码部26对输入的编码声音信号进行解码来得到声音信号。将声音信号提供给交调失真消除器27和切换器Sw2的端子c。
交调失真消除器27生成用于抵消第一交调失真成分与第二交调失真成分的信号来附加给声音信号，由此生成交调失真处理信号，所述第一交调失真成分以及第二交调失真成分是在由扬声器53、54对双声道集音得到的声音信号进行再生时产生的、收听者59通过右侧的耳朵收听从左侧的扬声器54发出的信号的交调失真成分和收听者59通过左侧的耳朵收听从右侧的扬声器53发出的信号的交调失真成分。标志信息取得部36保存由分离部15得到的双声道标志信号。控制部47根据标志信息取得部36是否保存了双声道标志信号来对切换器Sw2进行切换控制。即，如果标志信息取得部36保存了双声道标志信号，则进行控制使切换器Sw2与端子d连接，把来自交调失真消除器27的交调失真处理信号对声音输出端子37b进行输出，如果没有保存双声道标志信号，则进行控制使切换器Sw2与端子c连接，把来自音频解码部26的没有进行交调失真处理的声音信号对声音输出端子37b进行输出。
从声音输出端子37b输出、并由放大器52进行放大的声音信号从左右的扬声器53、54发出。在从声音输出端子37b输出的声音信号是从交调失真消除器27输出的交调失真处理信号时，视听者59可以一边观看在显示器52上显示的影像，一边收听作为具有现场感的声音的、摄影者300进行摄影时的摄影者300周围的声音。此时，交调失真消除器27使用后述的头部传递函数来抵消交调失真成分，所以即使在摄影者300和视听者59不同的情况，任意的摄影者300进行摄影、任意的视听者59进行视听的情况下，也可以收听几乎没有不协调的感觉的具有现场感的声音。
使用图13所示的流程图对影像声音记录再生装置101的再生动作进行进一步的说明。
在图13中，在步骤S181中，记录·再生部14再生记录媒体44，得到基于多路复用信号的流信号。在步骤S182中，记录·再生部14对流信号进行解码来生成分组信号。在步骤S183中，分离部15将分组信号分离为视频信号、音频信号以及双声道标志信号。在步骤S184中，视频解码部16对视频信号进行解码，音频解码部26对音频信号进行解码。在步骤S185中，视频解码部16和音频解码部26将解码后的视频信号和音频信号暂时存储在没有图示的缓冲存储器中。在步骤S186中，标志信息取得部36取得双声道标志信号。
然后，在步骤S187中，控制部47根据标志信息取得部36所取得的双声道标志信号，判断再生的音频信号是通常的立体声声音信号还是双声道声音信号。在步骤S187中判断出是双声道声音信号时(YES)，移动至步骤S188。当在步骤S187中判断出不是双声道声音信号时(NO)，移动到步骤S191，控制部47控制电路各部，将切换器Sw2切换为端子c，同步再生视频信号和音频信号。
如果为双声道声音信号，则在步骤S188中，控制部47将切换器Sw2切换为端子d，由此使交调失真消除器27的交调失真消除处理处于有效的状态。在步骤S189中，控制部47控制电路各部，以使同步再生视频信号和通过交调失真消除器27进行了交调失真消除处理的音频信号。在步骤S190中，如果判断为仍然存在应该再生的视频信号和音频信号(YES)，则返回步骤S182，重复以上的动作。如果在步骤S190中，没有判断出仍然存在应该再生的视频信号和音频信号(NO)，则结束处理。
(交调失真消除)在此，使用图14对交调失真消除器27的具体结构以及动作进行说明。如图14所示，交调失真消除器27具备滤波器272a～272d、加法器274a、274b以及滤波器275a、275b。
在图14中，在双声道声音信号中，左声道的信号PL(t)被输入给滤波器272a、272b，右声道的信号PR(t)被输入给滤波器272c、272d。滤波器272a～272d中按照顺序存储有基于后述的头部传递函数hrs(t)、hlo(t)、hro(t)以及hls(t)生成的滤波器特性(滤波器系数)。滤波器272a、272d具有与头部传递函数hrs(t)、hls(t)相同的滤波器特性，滤波器272b、272c具有与头部传递函数hlo(t)、hro(t)反转后的特性相同的滤波器特性。为了方便，将滤波器272a～272d的滤波器特性标记为hrs(t)、-hlo(t)、-hro(t)以及hls(t)。滤波器272a～272d对输入的信号PL(t)、PR(t)赋予各自的滤波器特性来进行输出。
加法器274a对从滤波器272a、272c输出的信号进行加法运算，滤波器275a对加法运算后的信号赋予成为d(t)的滤波器特性。加法运算器274b对从滤波器272b、272d输出的信号进行加法运算，滤波器275b对加法运算后的信号赋予成为d(t)的滤波器特性。
在此，在滤波器275a、275b中存储的滤波器特性d(t)为下面的(1)式。
d(t)＝{hls(t)×hrs(t)-hlo(t)×hro(t)}-1…(1)从滤波器275a、275b输出的信号是为了在从扬声器53、54发出声音时消除交调失真进行了交调失真消除处理的交调失真处理信号。从滤波器275a、275b输出的交调失真处理信号分别通过放大器51的左声道放大器51a和右声道放大器51b进行放大，由扬声器53、54发出。
从扬声器53发出的信号(声音)被视听者59的左耳收听，并且发出的信号的一部分作为虚线表示的第二交调失真信号被视听者59的右耳收听。交调失真消除器27生成用于抵消视听者59通过右耳收听的第一交调失真信号的第一交调失真抵消信号并从扬声器54发出声音。通过第一交调失真抵消信号抵消(衰减)第一交调失真信号。同样地，从扬声器54发出的信号(声音)被视听者59的右耳收听，并且发出的信号的一部分作为虚线表示的第二交调失真信号被视听者59的左耳收听。交调失真消除器27生成用于抵消视听者59通过左耳收听的第二交调失真信号的第二交调失真抵消信号并从扬声器53发出声音。通过第二交调失真抵消信号抵消(衰减)第二交调失真信号。结果，视听者59通过左耳收听消除了交调失真的声音信号Pl(t)，通过右耳收听消除了交调失真的声音信号Pr(t)。
(头部传递函数的测定)使用图15对用于求出滤波器272a～272d、275a、275b中存储的头部传递函数特性的头部传递函数测定装置6进行说明。如图15所示，头部传递函数测定装置6具有个人计算机61、放大器62、扬声器63、麦克风部件65a、65b、圆筒形构造体65e、以及放大器66a、66b。
对头部传递函数的测定方法进行说明。
首先，通过个人计算机61生成例如由脉冲音形成的测定信号。测定信号由放大器62进行放大。由左右的麦克风部件65a、65b接收从左侧的扬声器63发出的测定信号。接收到的左右的信号由放大器66a、66b进行放大，然后输入给个人计算机61。该输入信号是通过安装在圆筒形构造体65e上的左右麦克风部件65a、65b接收到从扬声器63发出的声音的信号的头部传递函数hls(t)、hlo(t)。头部传递函数hls(t)是通过左侧的麦克风部件65a收听从左侧的扬声器63发出的信号的特性，头部传递函数hlo(t)是通过右侧的麦克风部件65b收听从左侧的扬声器63发出的信号的交调失真成分的特性。
同样地，由左右的麦克风部件65a、65b接收从右侧的扬声器64发出的测定信号。接收到的左右的信号由放大器66a、66b进行放大，然后输入给个人计算机61。个人计算机61将生成的测定信号与接收到的信号进行比较，由此求出通过安装在圆筒形构造体65e上的左右麦克风部件65a、65b接收到从扬声器64发出的声音的信号的头部传递函数hrs(t)、hro(t)。头部传递函数hrs(t)是通过右侧的麦克风部件65b收听从右侧的扬声器64发出的信号的特性，头部传递函数hro(t)是通过左侧的麦克风部件65a收听从右侧的扬声器64发出的信号的交调失真成分的特性。
使用图16对圆筒形构造体65e进行说明。在图16中，(A)是圆筒形构造体65e的俯视图，(B)是圆筒形构造体65e的立体图，(C)是为了比较而表示的所谓的人工头戴麦克风的截面图。
如图16(A)、(B)所示，在圆筒形构造体65e的表面间隔180度地安装了麦克风部件65a、65b。如图所示，麦克风部件65a、65b没有耳郭和外耳道。麦克风部件65a、65b的没有图示的振动板被配置在与圆筒形构造体65e的表面大体一致的位置。另一方面，图16(C)所示的人工头戴麦克风69在人工头部691的两侧具备耳郭形部件692a、692b以及耳道693a、693b，在耳道693a、693b的内部具备麦克风部件694a、694b。麦克风部件694a、694b被设置在相当于人的鼓膜位置的位置上，对与人所听取的声音近似的声音信号进行集音。
安装在图16(A)、(B)所示的圆筒形构造体65e上的麦克风部件65a、65b的接收特性是不会受到由于每个人的大小或形状不同的耳郭或外耳道引起的特性差异的影响而可以计量头部传递函数的特性。虽然从扬声器63、64发出的音波受到圆筒形构造体65e的遮挡，但会沿着圆筒形构造体65e衍射到达麦克风部件65a、65b。麦克风部件65a、65b对由从扬声器63、64发出并直接到达的音波和沿着圆筒形构造体65e衍射到达的音波形成的特性进行计量。通过使用圆筒形构造体65e可以得到具有平均的头部遮挡特性的头部传递函数。因此，即使头部的大小或形状不同、头部遮挡特性不同的各种视听者收听双声道声音信号，也可以收听到几乎没有不协调的感觉的具有现场感的声音。
图17(A)～(D)表示了在所述音响信号传递特性测定装置6生成的脉冲音上卷积了由音响信号传递特性测定装置6测定到的圆筒形构造体65e的头部传递函数hls(t)、hlo(t)、hrs(t)、hro(t)后的脉冲响应波形。图17(D)表示了所述的(1)式所示的滤波器特性d(t)。在图17(A)～(E)中，纵轴表示以规定的输出电压归一化的信号电压的振幅，横轴表示以48kHz对测定到的信号进行采样时的样品的个数所表示的时间。
图18(A)～(E)表示对图17(A)～(E)所示的信号进行傅立叶分析得到的频率特性。在图18(A)～(E)中，由虚线的纵线表示100Hz，1kHz，10kHz的频率位置，纵轴的响应特性中的两个虚线横线之间的增益差为10dB。
对图14的滤波器272a～272d赋予基于上述那样得到的头部传递函数hrs(t)、hlo(t)、hro(t)、hls(t)的滤波器特性。如上所述，对滤波器272a、272d赋予相当于头部传递函数hrs(t)、hls(t)的滤波器特性，对滤波器272b、272c赋予相当于将头部传递函数hlo(t)、hro(t)进行极性反转后的-hlo(t)、-hro(t)的滤波器特性。
为了进行比较，在图19、图20中表示代替在圆筒形构造体65e上安装的麦克风部件65a、65b，使用图16(C)所示的人工头戴麦克风69测定到的特性。图19是与图17相同地进行测定得到的特性。通过将图17和图19进行比较可知，使用在圆筒形构造体65e上安装的麦克风部件65a、65b测定到的脉冲响应波形是与使用人工头戴麦克风69测定到的脉冲响应波形相比更接近测定用输入信号即脉冲音的波形。
图20是使用人工头戴麦克风69测定到的频率响应特性。通过将图18与图20进行比较可知，使用圆筒形构造体65e上安装的麦克风部件65a、65b得到的特性，其频率特性的波动小，接近平坦。图20(A)～(E)所示的各个特性在1.5～7kHz的频率中具有响应特性的增强和减弱。图18(A)～(E)所示的特性，其响应特性的增强以及衰减的程度小。其原因在于，在使用圆筒形构造体65e上安装的麦克风部件65a、65b时不存在由于耳郭或外耳道引起的特性的波动。通过人工头戴麦克风69，由扬声器63、64发出的音波的一部分被耳郭反射，反射的音波和直接到达的音波同相合成后增大，或者逆相合成后减弱。此外，由于外耳道的共振和反共振等的影响，以特定的频率增大或者衰减。通过使用圆筒形构造体65e上安装的麦克风部件65a、65b，可以抑制使用人工头戴麦克风69时的不良影响。
对交调失真消除器27的滤波器272a～272d以及滤波器275a、275b赋予基于使用圆筒形构造体65e上安装的麦克风部件65a、65b测定到的头部传递函数的滤波器特性(设为第一条件)、和基于使用人工头戴麦克风69测定到的头部传递函数的滤波器特性(设为第二条件)，进行了多个视听者参与的比较上述两者的视听测试。在视听者的耳道中插入细小的小型麦克风，把该小型麦克风接收到的声音作为由视听者收听到的声音来测定了接收特性。
图21表示了在第一条件下，由某个视听者测定到的特性。在图21中，(A)是将左侧的输入信号PL(t)作为脉冲信号，将右侧的输入信号PR(t)作为无信号从扬声器53、54发出，且由视听者的左耳中安装的小型麦克风接收到的脉冲响应信号的波形。(B)是在与(A)相同的条件下发声，且由视听者的右耳中安装的小型麦克风接收到的交调失真成分的波形。在图21(A)中得到了较大电平的脉冲响应波形，在图21(B)中得到了较小电平的波形。图21(C)是响应波形的频率分析结果，Ca是对(A)的响应波形进行了频率分析后的响应特性，Cb是对(B)的响应波形进行了频率分析后的响应特性。在100Hz～2kHz的范围内得到了超过20dB的交调失真消除效果。
而且，在图21中，(D)是将左侧的输入信号PL(t)作为无信号，将右侧的输入信号PR(t)作为脉冲信号从扬声器53、54发出，且由视听者的左耳中安装的小型麦克风接收到的交调失真成分的波形。(E)是在与(D)相同的条件下发声，且由视听者的右耳中安装的小型麦克风接收到的脉冲响应的波形。在图21(D)中得到了较小电平的波形，在图21(E)中得到了较大电平的脉冲响应波形。图21(F)是响应波形的频率分析结果，Fd是对(D)的响应波形进行了频率分析后的响应特性，Fe是对(E)的响应波形进行了频率分析后的响应特性。在100Hz～2kHz的范围内得到了16dB左右的交调失真消除效果。
图22表示在第二条件下，由与图21相同的视听者测定到的特性。测定条件与图21相同。图22(C)的交调失真消除效果大约为14dB，图22(F)的交调失真消除效果大约为11dB。可知在第二条件下，与第一条件相比效果恶化。
图23表示了换成与图21、图22不同的视听者，在第一条件下，在与图21相同的测定条件下测定到的特性。图23(C)的交调失真消除效果大约为22dB，图23(F)的交调失真消除效果大约为18dB。即使是不同的视听者，也可以得到良好的效果。
图24表示了由与图23相同的视听者，在第二条件下，在与图22相同的测定条件下测定到的特性。图24(C)的交调失真消除效果大约为14dB，图24(F)的交调失真消除效果大约为10dB。可知即使是不同的视听者，在第二条件下与第一条件相比效果恶化。而且，还由不同的视听者进行同样的测定，确认了在第一条件和第二条件下分别得到与上述相同的效果。
根据以上的测定结果，可以确认在对交调失真消除器27的滤波器272a～272d以及滤波器275a、275b赋予的滤波器特性中，与基于使用人工头戴麦克风69测定到的头部传递函数的滤波器特性相比，基于使用圆筒形构造体65e上安装的麦克风部件65a、65b测定到的头部传递函数的滤波器特性，其抵消从左侧的扬声器发声、由右侧的耳朵收听的交调失真成分以及从右侧的扬声器发声、由左侧的耳朵收听的交调失真成分的效果更大。
在基于使用圆筒形构造体65e上安装的麦克风部件65a、65b测定到的头部传递函数的滤波器特性中，高音频频段的频率特性的波动少。即，通过使用圆筒形构造体65e，可以减少频率特性在特定的频率部分大幅度地下降或上升的情况，可以极力抑制音质的恶化。由此，视听者可以听到几乎没有不协调的感觉的、具有现场感的声音。
当把对交调失真消除器27的滤波器272a～272d以及滤波器275a、275b赋予的滤波器特性作为基于使用圆筒形构造体65e上安装的麦克风部件65a、65b测定到的头部传递函数的滤波器特性时，在收听双声道声音信号时的构造体即视听者59的外耳道入口附近进行交调失真消除。因此，针对耳郭或外耳道的音响特性不同的多个视听者59，有效地进行交调失真成分的抵消。
此外，圆筒形构造体65e并不限于完美的圆筒形，也可以是对圆筒形进行了若干变形后的形状。理想的形状是没有像耳郭或外耳道那样造成响应特性变化的凹凸部分的形状，最好在圆筒形构造体65e上安装了麦克风部件65a、65b的状态下，响应特性的波动尽量小。
交调失真消除器27并不限于图14所示的结构，也可以是可以进一步减少在低频带产生的逆相感的频带分割型交调失真消除器。频带分割型交调失真消除器把作为整个频带的信号输入的双声道声音信号分割为低频信号和中高频信号，仅对中高频双声道声音信号进行交调失真消除处理。
在图25中表示了频带分割型交调失真消除器27a，对他的结构以及动作进行说明。对具有与图14所示的交调失真消除器27相同功能的构成部分赋予相同的符号，并省略其说明。
如图25所示，交调失真消除器27a与图14的交调失真消除器27相比，不同点在于追加了低通滤波器(LPF)271a、271d；高通滤波器(HPF)271b、271c；延迟器273a、273b；增益控制放大器(GC)276a～276d；以及加法器277a、277b。
在对交调失真消除器27a输入的双声道声音信号中，左声道的信号PL(t)被输入给LPF271a和HPF271b，右声道的信号PR(t)被输入给LPF271d和HPF271c，被分割成低频和中高频。LPF271a、271d和HPF271b、271c的截止频率被设定为100～200Hz左右。
由HPF271b，271c输出的中高频信号通过与交调失真消除器27具有相同结构的、由滤波器272a～272d、加法器274a，274b以及滤波器275a，275b形成的电路部分进行交调失真消除处理。进行了交调失真消除处理后的中高频信号被输入到增益控制放大器276b、276c中，来调整增益。
由LPF271a、271d输出的低频信号被输入到延迟器273a、273b中，延迟与针对中高频带的信号的交调失真消除处理所需要的时间几乎相同的时间。由延迟器273a、273b输出的低频信号被输入到增益控制放大器276a、276d中，调整增益来消除与中高频信号的电平差。
然后，加法器277a、277b将从增益控制放大器276a～276d输出的低频信号与中高频信号进行相加。由加法器277a、277b输出的信号是仅对中高频信号实施了交调失真消除处理后的交调失真处理信号。从加法器277a、277b输出的交调失真处理信号分别由放大器51的左声道放大器51a和右声道放大器51b进行放大，并由扬声器53、54发声。
在该图25的结构中，因为没有对低频信号实施交调失真消除处理，所以在低频带中再生没有逆相感的信号。
在图14所示的交调失真消除器27中，如通过上述的图21～图24说明的那样，在100Hz以下未能充分地得到基于交调失真消除器27的交调失真消除效果。100Hz以下的低频带是对音源的定位带来的影响较少的频带。不消除交调失真的信号作为逆相的信号，收听时会感觉到不协调。
在图25所示的交调失真消除器27a中，在100～200Hz以下的低频带中不进行交调失真消除，实现了在低频带中不产生逆相信号的交调失真消除器。
在图26中表示了与图25相比滤波器的构成方法不同的频带分割型交调失真消除器27b，并对其构成和动作进行说明。对与图25所示的交调失真消除器27a具有相同功能的构成部分赋予相同的符号，并省略其说明。
图26所示的交调失真消除器27b与图25的交调失真消除器27a相比，不同点在于，代替滤波器272a～272d以及滤波器275a、275b具备滤波器278a、278b以及滤波器279a。79b，并且连接方法也不同。针对交调失真消除器27a以前馈型的FIR(finite Impules response有限脉冲响应)型构成了滤波器特性，交调失真消除器27b以反馈型的FIR型构成了滤波器特性。
在图26中，由HPF271b、271c输出的中高频信号在FIR型滤波器278a、278b、279a、279b以及加法器274a、274b被执行交调失真消除处理。由头部传递函数测定装置6求出的滤波器特性存储在滤波器278a、278b、279a、279b内的没有图示的存储区域，滤波器278a、278b、279a、279b对输入的信号卷积各自的滤波器特性，然后进行输出。根据交调失真消除器27b，在低频带不产生逆相信号来减轻不协调感这一点上起到与交调失真消除器27a相同的作用效果。图26所示的交调失真消除器27b与图25所示的交调失真消除器27a相比可以减少使用的滤波器的个数，可以简化结构。此外，还可以代替FIR型滤波器使用IIR(infinite impulse response无限脉冲响应)。
在图3所示的结构中，将交调失真消除器27(或者27a、27b)与控制部47单独地构成，但在控制部47为具备DSP(Digital signal processor)的微处理器时，可以使控制部47执行交调失真消除器27、27a、27b的功能。此外，交调失真消除器27、27a、27b不限于硬件，也可以通过软件来实现。
(头戴听筒再生)然而，在图3所示的影像声音记录再生装置101中，也可以通过头戴听筒收听由音频解码部26输出的声音信号。在通过头戴听筒收听双声道声音信号时，不会产生上述的交调失真成分。当通过头戴听筒收听由交调失真消除器27处理后的交调失真处理信号时，在左右耳收会听到双声道声音信号的逆相成分。逆相成分是自然界中不存在的音响信号成分，不利于收听，所以通过头戴听筒也收听双声道声音信号时不进行交调失真消除处理。
因此，如图3所示，把音频解码部26输出的声音信号不经由交调失真消除器27地输出给声音输出端子37c。从声音输出端子37c输出的声音被提供给头戴听筒55。视听者59即可以如上所述地通过扬声器53、54收听由交调失真消除器27输出的交调失真处理信号，还可以通过头戴听筒55收听没有进行交调失真消除器27的处理的声音信号。
使用图27对使用头戴听筒55的双声道声音信号的再生顺序进行说明。对与图13所示的流程相同的处理赋予相同的符号，并省略其说明。
在图27中，步骤S181～S186与图13中的说明相同，在步骤S192中判断是否通过头戴听筒55进行再生。由没有图示的连接检测部检测是否在作为头戴听筒55的连接端子的声音输出端子37c中插入了插头就可以。如果在步骤S192中判定为头戴听筒再生(YES)，则在步骤S193中通过头戴听筒55与视频信号同步地再生不进行交调失真消除处理的双声道声音信号，并移动到步骤S190。此外，在所再生的声音信号不是双声道声音信号而是通常的立体声声音时，同样地将音频解码部26输出的声音信号提供给头戴听筒55就可以。
如果在步骤S192中没有判定为头戴听筒再生(NO)，则与图13相同地进行步骤S187～S190的处理。步骤S189的处理与步骤S193中的基于头戴听筒55的再生处理不同，是由扬声器53、54再生双声道声音信号的处理。
第二实施方式摄影者300一边在左右耳302上佩戴双声道麦克风3来集音一边对对象物进行摄像，并且向记录媒体44进行记录，由此视听者59可以收听摄影者300进行摄影时的全方向的周围声音。但是，通常的影像声音记录再生装置(摄像机)摄影的影像是摄像机前方大约60度范围内的影像。在进行缩放摄影时，以更小的视角进行摄影。因此，在进行缩放摄影时，希望可以增强从被放大的对象物的附近发出的声音来进行集音。第二实施方式在对对象物进行放大时还增强对象物附近的声音来进行集音、记录。
在图28中表示第二实施方式的具备声音缩放处理部的影像声音记录再生装置102，并对其结构和动作进行说明。对于具有与图3所示的第一实施方式的影像声音记录再生装置101相同功能的构成部分赋予相同的符号，并省略其说明。影像声音记录再生装置102与影像声音记录再生装置101相比不同点在于具有声音缩放处理部33。此外，在图28中，省略了头戴听筒55和头戴听筒55的连接端子即声音输出端子37c的图示。
在图28中，经由外部麦克风端子32输入的来自双声道麦克风3的声音信号被输入给声音缩放处理部33。摄像部11具备多个镜头(未图示)，具有使一个或多个镜头移动来变更镜头之间的距离，由此对对象物进行放大/缩小的缩放功能。当通过操作部48进行了放大操作时，从控制部47向摄像部11输入放大控制信号对对象物进行放大摄像，并且对声音缩放处理部33输入放大控制信号对输入的声音信号进行声音的放大处理。
声音缩放处理部33根据放大控制信号，在双声道声音信号中对包含更多的从对象物附近发出的声音信号的、在摄影者300的正中面集音得到的声音信号进行放大来生成放大声音信号。放大声音信号经由切换器Sw1输入到音频编码部22中。放大拍摄的对象物的影像信号由视频编码部12进行编码，放大声音信号由音频编码部22进行编码，并与第一实施方式相同地记录在记录媒体44中。
图29是声音缩放处理部33的具体的构成例。如图29所示，声音缩放处理部33具备缩放倍率检测器331、系数计算器332、加法器335、可变放大器337、以及加法器338a，338b。
在图29中，缩放倍率检测器331根据由控制部47提供的放大控制信号检测缩放倍率。系数计算器332按照检测出的缩放倍率，计算表示从对象物附近发出的声音的增强度的系数α。加法器335对由外部麦克风连接端子32输入的左右声道的双声道声音信号进行相加。可变放大器337按照来自系数计算器332的系数α对加法器335的输出信号进行放大。加法器338a、338b对可变放大器337的输出信号分别加上左右声道的双声道声音信号。在将双声道麦克风3的麦克风31a、31b佩戴在摄影者300的左右耳302上的状态下，麦克风31a、31b内的振动板几乎平行。来自摄影者300左右方向的声音包含相互逆相的成分，所以通过加法器335进行左右声道的加法运算的结果，来自左右方向的声音部分抵消减弱。因此，从声音缩放处理部33输出对在摄影者300的正中面集音得到的声音进行放大后的放大声音信号。
使用图30对包含声音缩放处理部33的动作在内的影像声音记录再生装置102的动作进行进一步的说明。在图30中，在步骤S201中，加法器335对来自双声道麦克风3的左右声道的双声道声音信号进行相加，来得到加法运算信号S。在步骤S202中，缩放倍率检测器331检测由控制部47对应操作部48的操作得到的缩放倍率。还可以根据对摄像部11的镜头进行驱动的电动机的施加电压和驱动时间的关系求出缩放倍率。在步骤S203中，系数计算器332对应缩放倍率计算表示增强度的系数α。在步骤S204中，可变放大器337在加法器335的输出信号上乘以系数α来求出αS。在步骤S205中，加法器338a、338b对左右声道的双声道声音信号和可变放大器337的输出信号(αS)进行相加。然后，在步骤S206中，将放大声音信号记录在记录媒体44中。在步骤S207中，控制部47判定记录是否已结束，如果没有结束(NO)，则从步骤S201开始重复动作。在步骤S207中如果记录结束(YES)，则结束声音缩放处理部33的处理。
图31表示了声音缩放处理部33的其他构成例的声音缩放处理部33a。当对正中面的声音信号卷积了给予如视听者接近音源的效果的头部传递函数时，与通过摄像部11进行的对象物的放大联动地感觉到视听者好像接近了音源，可以收听现场感更强的声音信号。图31所示的声音缩放处理部33a对正中面的声音信号卷积给予如接近音源的效果的头部传递函数。
图31所示的声音缩放处理部33a与图29的声音缩放处理部33相比，不同点在于追加了函数取得器333、传递函数存储器334以及卷积运算器336。
在图31中，在传递函数存储器334中存储了用于形成通过虚拟地接近来定位音源的虚拟音源的头部传递函数。该头部传递函数是用于得到从虚拟音源发出的声音的收听特性的函数，收听特性由虚拟音源和收听者的距离决定。
函数取得器333从传递函数存储器334中取得与按照系数运算器332计算出的系数α假设的音源的定位位置相对应的头部传递函数。此外，图29中的系数α未必与图31以及其他附图中的系数α相同，但为了方便赋予相同的符号。卷积运算器336对由加法器335生成的双声道声音的加法运算信号卷积由函数取得器333取得的头部传递函数。可变放大器337按照由系数运算器332得到的系数α对卷积了头部传递函数的加法运算信号进行放大。加法器338a、338b对左右声道的双声道声音信号和可变放大器337的输出信号进行相加。这里，虽然采用了具备可变放大器337的结构，但只通过虚拟地接近来定位音源就可以得到足够的效果，也可以省略可变放大器337。此外，可以使用于函数取得器333选择头部传递函数的系数α与决定可变放大器337的放大程度的系数α为不相同的系数。
使用图32对用于形成虚拟音源的头部传递函数的测定方法进行说明。
图32所示的头部传递函数测定装置6a具备个人计算机61、放大器62、扬声器63、放大器66a、66b以及人工头戴麦克风68。人工头戴麦克风68在人工头部681上安装了麦克风部件684a、684b。头部传递函数测定装置6a与图15所示的头部传递函数测定装置6相比不同点在于，取代在圆筒形构造体65e上安装的麦克风部件65a、65b使用了人工头戴麦克风68以及使用左右扬声器63、64中的一个(在此使用扬声器63)将其配置在人工头戴麦克风68的正中面。
图33表示人工头戴麦克风68的截面图。人工头戴麦克风68在具备耳郭形部件682a、682b的人工头部681的耳道683a、683b的入口附近配置了麦克风部件684a、684b。图16(C)所示的人工头戴麦克风69在耳道693a、693b内部的相当于人鼓膜位置的位置上配置了麦克风部件694a、694b，人工头戴麦克风68中，在耳道683a、683b的入口附近配置了麦克风部件684a、684b，这一点与人工头戴麦克风69不同。此外，通常所说的人工头戴麦克风如图16(C)所示，在耳道693a、693b内部的相当于人鼓膜位置的位置上配置麦克风部件694a、694b，但为了方便，把在具备耳郭形部件682a、682b的人工头部681的耳道683a、683b的入口附近配置了麦克风部件684a、684b的图33的麦克风也称为人工头戴麦克风。
通过使用人工头戴麦克风68，可以将来自扬声器63的声音作为消除了由耳道683a、683b造成的影响的双声道声音来进行集音。
返回图32，通过个人计算机61生成例如由脉冲音形成的测定信号。测定信号由放大器62放大。从扬声器63发出的测定信号由人工头戴麦克风68的左右麦克风部件684a、684b接收。接收到的左右信号由放大器66a、66b进行放大，输入给个人计算机61。个人计算机61通过将生成的测定信号与接收到的信号进行比较，来求出人工头戴麦克风68的头部传递函数hl(t)、hr(t)。头部传递函数hl(t)是根据左侧的麦克风部件684a的接收信号求出的头部传递函数，头部传递函数hr(t)是根据右侧的麦克风部件684b的接收信号求出的头部传递函数。将扬声器63和人工头戴麦克风68的距离D例如设定为0.5m、1m、2m等，依次求出各个距离D的头部传递函数。
在图34～图39中表示通过图32所示的头部传递函数测定装置6a测定到的头部传递函数的特性。
图34(A)所示的脉冲响应波形是在扬声器63与人工头戴麦克风68的距离D为50cm时由左侧的麦克风部件684a接收到的波形。纵轴是归一化后的振幅(电压)。横轴是时间，用采样频率为48kHz的信号采样点数表示。图34(B)是通过个人计算机61对图34(A)表示的脉冲响应波形进行傅立叶分析得到的频率响应特性。横轴是频率(Hz)，纵轴是响应特性。
图35(A)是距离D为50cm时由右侧的麦克风部件684b接收到的脉冲响应波形。图35(B)是对图35(A)表示的脉冲响应波形进行傅立叶分析得到的频率响应特性。测定条件与图34相同。
以下，同样地，图36(A)是距离D为1m时由左侧的麦克风部件684a接收到的脉冲响应波形，图36(B)是其频率响应特性。
图37(A)是距离D为1m时由右侧的麦克风部件684b接收到的脉冲响应波形，图37(B)是其频率响应特性。
图38(A)是距离D为2m时由左侧的麦克风部件684a接收到的脉冲响应波形，图38(B)是其频率响应特性。
图39(A)是距离D为2m时由右侧的麦克风部件684b接收到的脉冲响应波形，图39(B)是其频率响应特性。
比较这些特性，当把距离D的值增加为0.5m、1m、2m时，图34～图39(A)所示的脉冲响应波形的振幅减少。图34～图39(B)所示的频率响应特性在距离D为0.5m时由虚线的椭圆围成的1kHz～4kHz的频率部分中，产生大约400Hz间隔的规则的凹凸特性(峰谷)，在距离D为1m时成为稍微不规则的凹凸特性，在距离D为2m时成为组合了频率间隔不同的多个凹凸特性的特性。此外，在距离D相同时在左右得到大体相同的特性。
个人计算机61通过将生成的脉冲音的测定信号与从放大器66a、66b输入的脉冲响应信号的波形进行比较，来求出按照距离D的头部传递特性。按照距离D求出的头部传递特性是虚拟地将音源定位在距离D的位置上，使收听者收听来自该虚拟的音源的声音信号的特性。此外，在本实施方式中虽然将距离D设为0.5m、1m、2m，但也可以在更多的距离求出各自的特性，可以将距离D的间隔设定为小于0.5m。
将如上得到的头部传递特性存储在图31的传递函数存储器334中。作为判断针对由缩放倍率检测器331检测到的缩放倍率使用哪个被存储的传递函数的一个例子，使用将通过摄像部11中的没有图示的自动焦点测定功能计量的到对象物的距离除以缩放倍率后得到的系数α。例如，在到对象物的距离为10m，缩放倍率为5时，系数α为2。在到对象物的距离为10m，缩放倍率为10时，系数α为1，在缩放倍率为20时，系数α为0.5。
使用图40对包含声音缩放处理部33a的动作在内的影像声音记录再生装置102的动作进行进一步的说明。在图40中，在步骤S211中，加法器335对来自双声道麦克风3的左右声道的双声道声音信号进行相加来得到加法运算信号S。在步骤S212中，缩放倍率检测器331检测对应操作部48的操作由控制部47得到的缩放倍率。在步骤S213中，系数计算器332对应缩放倍率决定选择传递函数存储器334中存储的多个传递函数中的哪一个，或者计算表示可变放大器337的增强度的系数α。此外，作为系数α，可以直接使用将到对象物的距离除以缩放倍率得到的数值，也可以是根据将到对象物的距离除以缩放倍率得到的数值生成的数值。
在步骤S214中，函数取得器333对应系数α从传递函数存储器334中取得传递函数，卷积运算器336对加法器335输出的加法运算信号卷积传递函数。在步骤S215中，可变放大器337对卷积运算器336的输出信号乘以系数α来增强信号。在步骤S216中，加法器338a、338b对左、右声道的双声道声音信号和可变放大器337的输出信号进行相加。然后，在步骤S216中，将放大声音信号记录在记录媒体44中。在步骤S218中，控制部47判断记录是否已结束，如果没有结束(NO)，则从步骤S211开始重复动作。在步骤S218中如果记录已结束(YES)，则结束声音缩放处理部33a的处理。
第三实施方式第二实施方式是在记录一侧进行声音的放大处理，但第三实施方式是在再生一侧进行声音的放大处理。在图41所示的第三实施方式的影像声音记录再生装置103中，对具有与图3所示的第一实施方式的影像声音记录再生装置101相同的功能的构成部分赋予相同的符号，并省略其说明。影像声音记录再生装置103与影像声音记录再生装置101相比不同点在于，在分离部15的后端设置声音缩放处理部33b，在多路复用部13的前端设置了缩放倍率检测器331。此外，在图41中，省略了头戴听筒55和作为头戴听筒55的连接端子的声音输出端子37c的图示。
对影像声音记录再生装置103的动作进行说明。对操作部48进行操作，由控制部47生成的摄像部11的镜头驱动用信号被输入给摄像部11和缩放倍率检测器331。缩放倍率检测器331对镜头驱动用信号的缩放方向、缩放速度以及镜头驱动时间进行分析，来检测缩放倍率。把表示检测出的缩放倍率的缩放倍率信息提供给多路复用部13。多路复用部13将缩放倍率信息和编码影像信号、编码声音信号以及双声道标志信号一起进行多路复用。记录·再生部14将包含缩放倍率信息在内的多路复用信号记录在记录媒体44中。
记录·再生部14再生记录在记录媒体44中的多路复用信号，分离部15除了分离编码影像信号、编码声音信号以及双声道标志信号之外，还分离缩放倍率信息。将缩放倍率信息输入给声音缩放处理部33b。
图42是声音缩放处理部33b的具体的构成例。如图42所示，声音缩放处理部33b与图29的声音缩放处理部33相比，不同点在于，省略了缩放倍率检测器331，以及对加法器338a、338b输入的信号为交调失真消除器27的输出信号。
在图42中，系数计算器332使用由分离部15分离输入的缩放倍率信息，计算由可变放大器337对输入信号进行放大时使用的系数α。加法器335对从音频解码部26输入的双声道声音信号进行相加。可变放大器337按照由系数计算器332输入的系数α对来自加法器335的输出信号进行放大。加法器338a、338b对来自交调失真消除器27的输出信号和来自可变放大器337的放大信号进行相加。
但是，存在以下的情况例如使用DSP通过软件进行运算处理来执行摄像部11的缩放处理。在再生时进行声音缩放处理的情况下，不需要确保缩放处理所需要的DSP的信号处理时间。因此，在记录时可以通过DSP充分地进行所拍摄的影像信号的最佳化处理、影像信号的编码、或者记录控制等信号处理。通过在再生时进行声音缩放处理，可以将DSP的运算工时分配给用于缩放处理的运算处理，可以避免发生用于进行记录的运算时间不足的不良情况。
相对于图42的声音缩放处理部33b，图43表示了与图31相同地对正中面的声音信号卷积给予邻近效果的头部传递函数的声音缩放处理部33c。声音缩放处理部33c与声音缩放处理部33b相比，不同点在于追加了函数取得器333、传递函数存储器334以及卷积运算器336。函数取得器333、传递函数存储器334以及卷积运算器336的动作与图31相同，省略其说明。
第四实施方式图44所示的第四实施方式的影像声音记录再生装置104在再生记录媒体44时，通过外部操作手动进行声音的放大处理。即，在记录媒体44中没有记录缩放倍率信息时，视听者59一边观看在显示器52上再生的影像信号，一边进行声音的放大处理。把视听者59手动进行的声音放大处理称为人工声音缩放处理。
图44所示的影像声音记录再生装置104与影像声音记录再生装置103相比，不同点在于省略了缩放倍率检测器331，取代声音缩放处理部33b具备声音缩放处理部33d。
当视听者59对操作部48进行操作指示进行人工声音缩放时，控制部47将放大控制信号输入给声音缩放处理部33d。声音缩放处理部33d按照放大控制信号，对由音频解码部26解码的双声道声音信号进行放大处理。
图45是声音缩放处理部33d的具体构成例。如图45所示，声音缩放处理部33d与图42的声音缩放处理部33b相比，不同点在于设置了输入来自控制部47的放大控制信号的缩放倍率检测器331a，对系数计算器332不是输入来自分离部15的缩放倍率信息，而是输入在缩放倍率检测器331a生成的缩放倍率信息。其他部分是与缩放处理部33b相同的动作，省略说明。
使用图46，对第四实施方式中的人工声音缩放处理进行进一步说明。在图46中，在步骤S221中，加法器335对再生得到的双声道信号的左右信号进行相加来得到加法运算信号S。在步骤S222中，控制部47判断是否通过操作部48变更了声音缩放倍率。在步骤S222中，在变更了声音缩放倍率时(YES)，移动到步骤S223，在没有变更时(NO)，移动到步骤S226。
在变更了声音缩放倍率的情况下，在步骤S223中，缩放倍率检测器331a根据放大控制信号计算缩放倍率。在步骤S224中，系数计算器332根据从缩放倍率检测器331a输入的缩放倍率计算系数α。系数α可以包含用于在视听者的前方对音源进行定位的头部传递函数的特性。在步骤S225中，将系数α的值更新为新计算出的值。
然后，在步骤S226中，可变放大器337对加法运算信号S乘以系数α来生成αS。此外，在没有经过步骤S223～S225的情况下，系数α是变更声音缩放倍率之前的值。在步骤S227中，加法器338a、338b对通过交调失真消除器27进行了交调失真消除处理的双声道声音信号加上信号αS。在步骤S228中，经由切换器Sw2以及声音输出端子37b输出在步骤S227中得到的声音信号。在步骤S229中，控制部47判断再生是否已结束，如果没有结束(NO)，则返回步骤S221，如果已结束(YES)，则结束处理。
第五实施方式图47所示的第五实施方式的影像声音记录再生装置105展示了适于通过头戴听筒55收听放大声音信号的结构。图47所示的影像声音记录再生装置105与图41的影像声音记录再生装置103相比，不同点在于取代声音缩放处理部33b具备声音缩放处理部33e，把声音缩放处理部33e输出的声音信号经由声音输出端子37c提供给头戴听筒55。对头戴听筒55提供没有通过交调失真消除器27进行交调失真消除处理，而是通过声音缩放处理部33e实施了放大处理的双声道声音信号。
图48是声音缩放处理部33e的具体构成例子。声音缩放处理部33e与图42的声音缩放处理部33b相比，不同点在于追加了加法器338c、338d。加法器338c、338d对通过音频解码部26解码得到的双声道声音信号加上从可变放大器337输出的放大声音信号。把加法器338c、338d计算出的头戴听筒收听用声音信号经由声音输出端子37c提供给头戴听筒55。
以上所说明的第二～第五实施方式的放大声音信号的再生效果如下所述。
在将摄像部11的视角设定为宽视角，并且缩放倍率较小的情况下，在加法器335进行加法运算得到的信号不在可变放大器337被增强，所以视听者59对显示器52上显示的影像信号以及通过扬声器53、54对围绕摄影者300的360度的声音信号进行了再生得到的具有现场感的声音信号进行视听。在将视角设定为宽视角的情况下，视角也是60度左右。有时，视听者59会识别出由于影像的视角与对声音信号进行集音时的角度范围的差异，在显示器52上显示的对象物所发出的声音不足，即所谓的中间缺失声音(dropped mediumrange sound)。对此，上述那样实施了声音放大处理的声音信号是，增强来自面向摄影者300时的正中面方向的信号成分后与双声道声音信号相加，所以成为对中间缺失进行了补偿的声音信号。由此，可以防止视听者59识别出中间缺失的声音，与第一实施方式相比，视听者59可以听到不协调的感觉更少、具有现场感的声音。
第六实施方式图49、图50所示的第六实施方式的影像声音记录再生装置106没有像第一～第五实施方式那样分别设置内置立体声麦克风21和双声道麦克风3，而是展示了公用通常用于立体声集音的麦克风和双声道麦克风的结构。图49是表示第六实施方式的影像声音记录再生装置106的外观构成例子的平面图，图50是表示影像声音记录再生装置106的具体的内部构成例的方框图。在图49、图50中，对具有与图1、图3相同的功能的构成部分赋予相同的符号，并省略其说明。
如图49所示，影像声音记录再生装置106具备用于在上面配置麦克风31e、31f的麦克风配置部35a、35b以及收容与麦克风31e、31f相连接的麦克风线缆310e、310f的线缆收容部34。
在图49中，在使用麦克风31e、31f进行通常的立体声集音时，摄影者300将麦克风31e、31f配置在麦克风配置部35a、35b上进行集音。在进行双声道声音的集音时，摄影者300从线缆收容部34引出麦克风线缆310e、310f，将麦克风31e、31f佩戴在耳朵302上进行集音。影像声音记录再生装置106具有未图示的突起状检测部，其对在麦克风配置部35a、35b上配置的麦克风31e、31f进行检测。通过与突起状检测部联动地动作的切换器(相当于图50的切换器Sw4)的开/关，影像声音记录再生装置106检测是否在麦克风配置部35a、35b上配置了麦克风31e、31f。是否已配置在麦克风配置部35a、35b上的检测不限于此，例如还可以使用霍尔元件、磁阻元件对麦克风31e、31f中内置的永久性磁铁产生的磁场进行检测。
具体地说，在图50中，如果没有将麦克风31e、31f配置在麦克风配置部35a、35b上，则切换器Sw4与端子e连接成为关状态，如果配置了麦克风31e、31f，则与端子f连接成为开状态。配置检测部41a根据切换器Sw4是与端子e连接还是与端子f连接，来检测是否在麦克风配置部35a、35b上配置了麦克风31e、31f。将配置检测部41a的检测信号提供给控制部47。
配置检测部41a在检测到配置了麦克风31e、31f时，麦克风31e、31f进行通常的立体声集音，控制部47对电路各部进行控制，使影像声音记录再生装置106进行与普通模式下的摄影相对应的记录动作。此时，麦克风31e、31f的作用与图3中的内置立体声麦克风21等价，标志信息生成部42不生成表示双声道模式的双声道标志信号。另一方面，在配置检测部41a检测到没有配置麦克风31e、31f时，看作摄影者300将麦克风31e、31f佩戴在耳朵302上进行双声道集音的双声道模式，控制部47控制电路各部，使影像声音记录再生装置106进行与双声道模式下的摄影相对应的记录动作。此时，标志信息生成部42根据控制部47的控制，生成双声道标志信号。
在第六实施方式中，麦克风31e、31f、麦克风配置部35a、35b、配置检测部41a以及控制部47整体作为切换部进行动作，所述切换部切换是使用佩戴在摄影者耳朵上的双声道麦克风还是使用双声道麦克风以外的麦克风来作为对周围的声音进行集音的麦克风。
在此，使用图51对线缆收容部34的结构的一个例子进行说明。图51(A)是从上面俯视线缆收容部34的内部构造，麦克风线缆310e、310f被卷绕在具有旋转轴343的卷轴341上。图51(B)是从下面仰视线缆收容部34的内部构造，在卷轴341的内部具备螺旋状的弹簧342。取代是否在麦克风配置部35a、35b上配置了麦克风31e、31f的检测，或者除此之外，还可以通过对卷轴341的旋转角进行检测来检测是否为双声道模式。
第七实施方式图52表示的第七实施方式的影像声音记录再生装置107展示了使用将集音得到的声音信号无线传输给装置自身的无线型双声道麦克风的结构。在图52中对具有与图1相同的功能的构成部分赋予相同的符号，并省略其说明。
在图52中，影像声音记录再生装置107具备无线收发部39来代替图1的外部麦克风连接端子32，代替双声道麦克风3使用无线型双声道麦克风38进行录音。摄影者300把与装置自身无线结合的无线型双声道麦克风38佩戴在头上，并且将左右麦克风38a、38b插入耳朵302中进行集音，由此可以不受麦克风线缆的妨碍地进行摄影。此外，可以进行摄影者300和未图示的集音者两个人的摄影。
使用图53对影像声音记录再生装置107的内部结构进行说明。在图53中，对具有与图3相同的功能的构成部分赋予相同的符号，并省略其说明。图53所示的影像声音记录再生装置107与图3的影像声音记录再生装置101相比，不同点在于具备无线收发部39来代替外部麦克风连接端子32以及连接检测部41。
在判定为无线型双声道麦克风38处于距装置自身规定的距离内，无线收发部39从无线型双声道麦克风38接收双声道声音信号时，控制部47使切换器Sw1与端子b连接，从无线型双声道麦克风38向音频编码部22提供双声道声音信号。此时，控制部47进行控制使标志信息生成部42生成双声道标志信息。此外，在判定为无线型双声道麦克风38距装置自身的距离超过规定的距离时，控制部47使切换器Sw1与端子a连接，把来自内置立体声麦克风21的立体声声音信号提供给音频编码部22。此时，标志信息生成部42不生成双声道标志信号。
图54表示了无线型双声道麦克风38以及无线收发部39的内部构成例，并对他们的动作进行说明。
如图54所示，无线型双声道麦克风38的麦克风38a具备麦克风部件381、麦克风放大器382、收发部件383、天线384以及警告信号发送部385。虽然省略了图示，但麦克风38b除了不具备警告信号发送部385这一点之外，与麦克风38a的结构相同。无线收发部39具备收发部件391、麦克风判定部392、距离测定部393、可通信区域判定部394、警告信号发送部395以及天线396。
麦克风38a(38b)的麦克风部件381生成双声道声音信号。麦克风放大器382对来自麦克风部件381的双声道声音信号进行放大。收发部件383按照规定的调制方式对来自麦克风放大器382的被放大的双声道声音信号进行调制，并经由天线384进行发送。警告信号发送部385根据由后述的无线收发部39的警告信号发送部395生成并经由收发部件391以及收发部件383传输的警告信号生成警告信号。
无线收发部39的天线396接收从左右的麦克风38a、38b发送的调制信号。收发部件391对收到的调制信号进行解调来生成双声道声音信号，并且对调制信号的接收功率的强度进行测定。距离测定部393根据测定到的接收功率的强度，推定从无线收发部39到无线型双声道麦克风38的距离。可通信区域判定部394对推定出的距离是否在可以通信的规定距离内进行判定。将可通信区域判定部394的判定结果提供给控制部47，如果推定出的距离在可以通信的规定距离内，则控制部47进行控制使切换器Sw1与端子b连接，使标志信息生成部42生成双声道标志信号。如果推定出的距离超过了可以通信的规定距离，则控制部47使切换器Sw1与端子a连接。
在可通信区域判定部394判定为推定出的距离超过了可以通信的规定距离时，警告信号发送部395生成警告信号。将警告信号提供给控制部47。控制部47生成警告标记然后提供给显示部17，在显示部17上显示规定的警告标记。在警告信号发送部395没有生成警告信号时，麦克风判定部392判定为正常地得到双声道声音信号，将由收发部件391解调得到的双声道声音信号经由切换器Sw1提供给视频编码部22。
在图55中，表示了由无线型双声道麦克风38以及影像声音记录再生装置107形成的警告显示的例子。在麦克风38a上设置了在前端安装了发光二极管(LED)386的棒状部件。对LED386提供由警告信号发送部385生成的警告信号，LED386根据警告信号进行闪烁(或点亮)。LED386除了闪烁之外，或者代替闪烁，还可以发出警告音。此时，为了使麦克风部件381收听不到警告音(难以收听到)，最好降低警告音的电平，或者将警告音的频率例如设定为数十Hz以下的低频。
在判定为无线型双声道麦克风38超过了用虚线的圆表示的可通信区域时，警告信号发送部395生成警告信号。如图55所示，如果无线型双声道麦克风38超过了可通信区域，则在显示部17上显示规定的警告标记。
图56表示在显示部17上显示的警告标记的一个例子。图56(A)表示的警告标记171a是在图5(A)所示的双声道标记171上重叠了×所显示的标记。图56(A)表示的警告标记172a是朦胧地显示图5(B)所示的标记172的标记。可以使用图56(A)、(B)中的某一个标记来作为警告标记，当然也可以使用以外的标记。在假设即使进行了警告显示，无线收发部39的接收功率仍为接收界限以下时，控制部47从无线型双声道麦克风38切换为内置立体声麦克风21。
使用图57对影像声音记录再生装置107的动作进行进一步的说明。在图57中，在步骤S251中，控制部47判定是否为双声道模式。在步骤S251中如果没有判定为双声道模式(NO)，则在步骤S253中记录·再生部14通过内置立体声麦克风21进行集音，将通常的立体声声音信号记录在记录媒体44中。如果在步骤S251中判定为双声道模式(YES)，则在步骤S252中无线收发部39接收来自无线型双声道麦克风38的发送信号。在步骤S254中，距离测定部393根据接收功率的强度(接收强度)，检测从无线收发部39到无线型双声道麦克风38的距离。在步骤S255中，可通信区域判定部394判定检测出的距离是否在规定的距离以内。
如果在步骤S255中没有判定为在规定的距离内(NO)，则在步骤S257中，控制部47判定警告显示时间t是否为0(非提示)，如果警告显示时间t为0，则在步骤S300中控制警告信号发送部395使其生成警告信号。在生成警告信号后，返回步骤S254重复相同的处理。在步骤S257中，如果警告显示时间t不是0，则在步骤S258中，控制部47判定警告显示时间t是否超过了预定的最大时间tmax，如果没有超过最大时间tmax(NO)，则移动至步骤S300，同样地返回步骤S254。如果超过了最大时间tmax(YES)，则在步骤S259中控制部47控制切换器Sw1从无线型双声道麦克风38切换为内置立体声麦克风21，并控制警告信号发送部395使其停止生成警告信号。然后，移动至步骤S253。
在步骤S255中判定为在规定的距离内(YES)时，在步骤S256中，如果警告信号发送部395正在生成警告信号，则控制部47控制警告信号发送部395使其停止生成警告信号。然后，在步骤S301中，记录·再生部14通过无线型双声道麦克风38进行集音，将双声道声音信号记录在记录媒体44中。在步骤S302中，控制部47判定是否进行了使记录结束的操作，如果没有进行记录结束操作(NO)，则返回步骤S251，如果进行了记录结束操作(YES)，则结束处理。
产业上的可利用性本发明适用于不仅在民用摄像机中，在产业用摄像机中也需要再生拍摄的影像以及具有现场感的声音的影像声音记录再生装置。此外，还可适用于具有动画拍摄功能的数码照相机、移动电话。而且，本发明最好适用于对影像信号和声音信号双方进行记录再生的影像声音记录再生装置，但即使用于仅对声音信号进行记录再生的声音记录再生装置也可以得到足够的效果。
权利要求
1.一种影像声音记录装置(101、102、103、104、105、107)，其对拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者(300)周围的声音进行集音得到的声音信号进行记录，其特征在于，具备摄像部(11)，其对所述对象物进行摄像；切换部(Sw1)，其切换是使用佩戴在所述摄影者(300)耳朵上的双声道麦克风(3)还是使用双声道麦克风(3)以外的麦克风来作为对所述周围声音进行集音的麦克风；视频处理部(12)，其对从所述摄像部(11)输出的影像信号进行处理；音频处理部(22)，其处理从对所述周围的声音进行集音的麦克风输出的声音信号；标志信息生成部(42)，在由所述切换部(Sw1)切换为所述双声道麦克风(3)来作为对所述周围的声音进行集音的麦克风时，把对所述周围的声音进行集音时的声音模式设为双声道模式，生成表示双声道模式的双声道标志信号；以及记录部(14)，其在记录媒体中记录由所述视频处理部(12)进行了处理的影像信号、由所述音频处理部(22)进行了处理的声音信号以及所述双声道标志信号。
2.根据权利要求1所述的影像声音记录装置(101、102、103、104、105、107)，其特征在于，具备内置于所述影像声音记录装置(101、102、103、104、105、107)中的内置麦克风(21)；外部麦克风连接端子(32)；设定所述双声道麦克风(3)或者双声道麦克风以外的麦克风来作为与所述外部麦克风连接端子(32)连接使用的外部麦克风的设定部(48、47)；对外部麦克风是否与所述外部麦克风连接端子(32)相连接进行检测的连接检测部(41)；在从所述内置麦克风(21)输出的声音信号和从所述外部麦克风输出的声音信号之间进行切换来作为对所述音频处理部(22)提供的声音信号的切换器(Sw1)；以及在由所述设定部(47、48)将所述外部麦克风设定为双声道麦克风(3)，并由所述连接检测部(41)检测到在所述外部麦克风连接端子(32)上连接有外部麦克风时，将声音模式设为所述双声道模式的控制部(47)，在声音模式为所述双声道模式时，所述控制部(47)对所述切换器(Sw1)进行切换控制以使所述切换器(Sw1)将所述外部麦克风输出的声音信号提供给所述音频处理部(22)，所述控制部(47)控制所述标志信息生成部(42)以使所述标志信息生成部(42)生成所述双声道标志信号。
3.根据权利要求1所述的影像声音记录装置(101、102、103、104、105、107)，其特征在于，具备对从所述摄像部(11)输出的影像信号进行显示的显示部(17)，并且具备显示控制部(47)，其在声音模式为所述双声道模式时，使所述显示部(17)显示表示所述双声道模式的双声道标记。
4.根据权利要求1所述的影像声音记录装置(102)，其特征在于，所述摄像部(11)具备对所述对象物进行放大摄像的缩放功能，并具备声音缩放处理部(33)，其对应所述摄像部(11)的放大率，对使用所述双声道麦克风(3)集音得到的声音信号进行放大。
5.根据权利要求1所述的影像声音记录装置(102、103)，其特征在于，所述摄像部(101)具备对所述对象物进行放大摄像的缩放功能，并具备声音缩放处理部(33a、33c)，所述声音缩放处理部(33a、33c)具备传递函数存储器(334)，其对应虚拟音源与收听者的多个距离来存储头部传递函数，所述头部传递函数用于使所述双声道麦克风(3)集音得到的声音信号的音源虚拟地接近所述收听者来形成虚拟音源；函数取得器(333)，其对应所述摄像部(11)的放大率，选择性地取得该传递函数存储器(334)中存储的多个头部传递函数中的某一个；以及卷积运算器(336)，其对由所述双声道麦克风(3)集音得到的声音信号卷积由所述函数取得器(333)取得的头部传递函数。
6.一种影像声音记录方法，其对拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者(300)周围的声音进行集音得到的声音信号进行记录，其特征在于，具备摄像步骤(S155)，其对所述对象物进行摄像；切换步骤(S151)，切换是使用佩戴在所述摄影者(300)耳朵上的双声道麦克风(3)还是使用双声道麦克风以外的麦克风来作为对所述周围声音进行集音的麦克风；视频处理步骤(S156)，其对拍摄所述对象物得到的影像信号进行处理；音频处理步骤(S156)，其处理从对所述周围的声音进行集音的麦克风输出的声音信号；标志信息生成步骤(S158)，在所述切换步骤(S151)中切换到所述双声道麦克风(3)来作为对所述周围的声音进行集音的麦克风时，把对所述周围的声音进行集音时的声音模式设为双声道模式，生成表示双声道模式的双声道标志信号；以及记录步骤(S161)，其在记录媒体(44)中记录在所述视频处理步骤(S156)中处理的影像信号、在所述音频处理步骤(S156)中处理的声音信号以及所述双声道标志信号。
7.一种影像声音再生装置(101、102、103、104、105、106、107)，对记录了拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者(300)周围的声音进行集音得到的声音信号的记录媒体(44)进行再生，其特征在于，具备再生部(14)，其再生所述记录媒体中记录的记录信号；分离部(15)，其从所述再生部(14)再生的所述记录信号分离所述影像信号和所述声音信号；视频处理部(16)，其对由所述分离部(15)分离出的所述影像信号进行处理；音频处理部(26)，其对由所述分离部(15)分离出的所述声音信号进行处理；标志信息取得部(36)，其在所述记录媒体(44)中记录有表示作为对所述周围的声音进行集音的麦克风使用了佩戴在所述摄影者(300)的耳朵上的双声道麦克风的双声道标志信号时，取得所述双声道标志信号；以及交调失真消除器(27)，其在所述标志信息取得部(36)取得了所述双声道标志信号时，对所述声音信号进行处理来抵消由扬声器(53、54)对所述音频处理部(26)处理过的所述声音信号进行发音时产生的交调失真信号，所述交调失真消除器(27)具有滤波器(272a-272d)，该滤波器(272a-272d)对所述声音信号卷积预先求出的滤波器特性，所述滤波器特性是基于头部传递函数的滤波器特性，该头部传递函数是使用由圆筒形构造体中安装的一对麦克风对测定信号进行集音得到的声音信号而计量出的头部传递函数。
8.一种影像声音再生方法，其对记录了拍摄对象物得到的影像信号以及对包含所述对象物发出的声音在内的摄影者(300)周围的声音进行集音得到的声音信号的记录媒体(44)进行再生，其特征在于，具备再生步骤(S181)，其再生所述记录媒体(44)中记录的记录信号；分离步骤(S183)，其从所述再生步骤中再生的所述记录信号分离所述影像信号和所述声音信号；视频处理步骤(S184)，其对在所述分离步骤(S183)中分离出的所述影像信号进行处理；音频处理步骤(S184)，其对在所述分离步骤(S183)中分离出的所述声音信号进行处理；标志信息取得步骤(S186)，其在所述记录媒体(44)中记录有表示作为对所述周围的声音进行集音的麦克风使用了佩戴在所述摄影者(300)的耳朵上的双声道麦克风(3)的双声道标志信号时，取得所述双声道标志信号；以及交调失真消除步骤(S188)，其在所述标志信息取得步骤(S186)中取得了所述双声道标志信号时，对所述声音信号进行处理来抵消由扬声器(53、54)对在所述音频处理步骤(S184)中处理过的所述声音信号进行发音时产生的交调失真信号，所述交调失真消除步骤(S188)是对所述声音信号卷积预先求出的滤波器特性的步骤，所述滤波器特性是基于头部传递函数的滤波器特性，该头部传递函数是使用由圆筒形构造体中安装的一对麦克风对测定信号进行集音得到的声音信号而计量出的头部传递函数。
全文摘要
影像声音记录再生装置(101)具备内置立体声麦克风(21a、21b)和外部麦克风连接端子(32)。在外部麦克风连接端子(32)上连接有佩戴在摄影者(300)的耳朵上的双声道麦克风(3)。在由双声道麦克风(3)对周围的声音进行集音时，把在记录媒体中记录的声音信号从来自内置立体声麦克风(21a、21b)的声音信号切换为来自双声道麦克风(3)的双声道声音信号。摄影者(300)将双声道麦克风(3(31a、31b))佩戴在耳朵上对包含对象物发出的声音在内的摄影者(300)周围的声音进行集音。摄像部(11)对对象物进行摄像。在记录媒体中记录双声道声音信号、摄像的影像信号以及双声道标志信号。
文档编号H04S7/00GK101065991SQ20058003949
公开日2007年10月31日 申请日期2005年11月18日 优先权日2004年11月19日
发明者村田寿子, 铃木琢磨, 安良定浩, 羽石实希, 长谷川胜巳, 相崎正子, 藤浪喜久, 武田正美, 菅原隆幸 申请人:日本胜利株式会社