专利名称：图象/音频再现系统的制作方法
技术领域：
本发明涉及用于把接收的图象及音频加到使用者头戴装置的图象/音频再现系统。
至今，图象/音频再现系统的真实感的再现，主要由大格式屏幕通过多个扬声器放大系统的尺寸来获得，最近，由于尺寸减小的头戴式图象显示屏单元101和与该单元101的音频再现单元102构成的图象/音频再现装置100已投入使用，如
图1所示，它迎合了对个人爱好及降低尺寸的期望所需。
图象显示单元101由驱动电路104驱动，提供有出自视频输入103的视频输入信号以显示图象，如图2所示。
音频再现单元102放大进入输入端105、经放大器106L和106R的音频输入信号，并将放大的信号送到左耳机107L和右耳机107R，以提供使用者声音，如图2所示。
由于音频再现单元102是将声音图象置在使用者的头内，因而该音频与视频显示单元101上的图象不匹配，因而其真实感不能自然地再现。
为克服此不足，已作出的偿试是以实时基础响应物体运动来更新图象和音频，并借助例如数字信号处理单元来环绕声场接近真实感，以再生逼近真实的视/听环境。
这些偿试中，尤其声频处理中需要音量信号处理，使图象/音频再现装置无法降低尺寸而戴在头上，而且，运动检测器使造价高昂。
若能将声音图象置于头外，则能实现声场感觉逼近，但视频系统是在视/听环境中运动以跟随头部运动，因而在声象位置和视象位置间产生严重分离脱节，而导致图象/音频再现的不自然。
如果根据头部运动而利用专门信源更新图象内容，则视频及音频系统都会在造价和尺寸上有所增加。
因此，本发明目的是提供一种图象/音频再现装置，从而使实现以低价格将声音图象位置和视频图象位置相吻合，而无需专用信源。
根据本发明的图象音频再现装置，音频再现单元的音频信号处理器执行信号处理，把再现的声音图象置于头外，并在视/听环境中以预定的方向设置声音图象的方向，而与头部的转动无关。此外，图象再现单元的图象信号处理器执行信号处理，在视/听环境中以预定的方向设置图象视觉位置，而与头部的转动响应。
而且，本发明的图象音频再现装置根据头部转动的转角由其音频再现单元的音频信号处理器将时间差、相位差、电平差或频响加到两个数字滤波器的每一个的输出。数字滤波器根据多个音频输入信号转换脉冲响应的两个频道。另外，图象再现单元执行对于输入图象信号的信号处理，以根据头的转角在视/听环境中设置在预置方向上的输入图象信号的视觉位置。
此外，利用本发明的图象音频再现装置，提供在装置的另外部分而不是在头戴单元的图象音频信号产生装置被引起以固定的视/听环境，根据与转角检测器所测到的头转动相匹配的位置信息将音频信号和图象信号输出到在头戴单元上的两个扬声器和图象显示单元。
利用本发明的图象音频再现装置，由于音频再现单元的音频信号处理器执行在头外的再现声音图象的定位信号处理，以及在与头转动无关的视/听环境的预置方向设置声音图象方向的信号处理，同时该图象再现单元的图象信号处理器则响应头的转动执行在视/听环境中的预置方向上设置图象感觉位置的信号处理。因此，声象可被定位在用户的头的外部，尤其是在难实现定位的正前方向上。由于图象位置被固定于一恒定位置，因而声音图象定位和可视图象定位相互吻合，从而消除了由于这两个位置间的不吻合所引起的感觉的不自然。而且，由于音频和图象的叠加效应，此时的声音的图象的定位可比只产生音频时更为确定，从而实现更为真实的图象音频的再现。另外，可以由更简单方式构形的信号处理实现头部之外的声-象定位，从而可生产出小体积、低价的便携装置。
如果将视差因素考虑到输入视频信号中，就能产生具有三维视觉远-近感图象。定位的声象位置与视觉图象位置相吻合，使得不产生异常感觉。在显示器上所显示的三维音频源永久地与实际的声音图像位置相吻合。
由于图象信号的一部分能够由图象再现单元有选择地显示，所以，定位的声象位置及可视图象位置能相对于视/听环境设置，当观看者在预定角度内移动头部而观看时，不会对可视图象量有所减小。
由于本发明是应用于能够以实时基础合成图象的系统，例如计算机图象系统，所以，图象内容可响应头部转动而被更新及显示，定位的声象位置及可视图象位置可相对于视/听环境而固定设置，当观看者在预定范围内移动头部观看时，不会对可视图象量有所减小。
只有在关于正前方向上的确定范围中心内的视/听环境中，该音频再现单元和图象再现单元才能在预置方向上设置声象方向，而且，只有超出上述范围，该音频方向才响应头部运动而被移动。因此不会在可视图象方向和声音图象方向之间有任何显著偏离的风险，同时可能通过动态音频信号处理实现正向声象的方向。如果图象音频信号源是运动画面，其中的运动量通常很小，且无宽图象显示范围的要求，则图象音频的再现能以充分的真实性和存在来实现。
此外，利用本发明，旋转检测器和音频再现单元是提供在头戴部分上并检测头部运动，而只在关于正前方向为中心的一定范围内可视图象方向和声象方向有改变，这就好象图象方向和声象方向在该视/听环境中被固定在某一确定方向，而且上述范围被超出时，可视图象方向及声象方向都要改变。所以，如果随头部运动的图象显示内容的信息容量受限制的话，则能限制头部转动的范围，并能随机地将可视图象方向和声象方向设置在该视/听环境中的一确定方向上。
通过把音频再现单元包括在头戴单元中，具有共同音频信源的图象音频信号能够被输入，而不需要专门的记录，例如双耳记录声道来实现有充足现场感和头外定位的音频再现。结果是能以小体积构成便携式真实系统。
通过把位置检测器或代替位置检测器提供在头戴单元上，就使得不仅是在携带者转动时，而且在其移动于该视/听环境中时都可能实现图象控制以及声象控制，从而以充分的现场感及小的体积实现模拟真实系统。
图1是传统式头戴式视频-音频再现装置示意图。
图2是传统图象/音频再现装置的框图。
图3是本发明第一实施例的图象音频再现装置的框图。
图4是第一实施例所用音频信号处理器结构的详细框图。
图5是采用第一实施例的音频信号处理器，假设视/听环境图。
图6是由第一实施例采用的音频信号处理器的时间差添加电路所加的延时时间的曲线。
图7是由第一实施例采用的音频信号处理器的电平差添加电路所添加的电平差的曲线。
图8是第一实施例所用视频信号处理器结构的详细构图。
图9是采用第一实施例的视频再现单元显示区的示意图。
图10是包括时间差添加电路和频响控制电路的音频信号处理器的框图。
图11是该频响控制电路执行的频率控制的曲线。
图12是包括相位差添加电路和电平差添加电路的音频信号处理器的框图。
图13示出由相位差添加电路所加相位差的曲线。
图14示出包括相位差添加电路和频响控制电路的音频信号处理器的框图。
图15是运用于第一实施例的转角速度检测器的压电晶振装置的示意图。
图16是运用于第一实施例的转角速度检测器的模拟角度传感器的示意图。
图17是运用于第一实施例的转角速度检测器的数字角度传感器的示意图。
图18是根据本发明的图象音频再现装置第二实施例的结构的电路框图。
图19是第二实施例并行输入装置的视频信号的示意图。
图20是第三实施例的视频再现装置的操作示意图。
图21是本发明第四实施例图象音频再现装置的示意图。
图22是本发明图象音频再现装置第五实施例的视频再现单元的操作示意图。
图23是第五实施例的操作示意图。
参考附图对本发明最佳实施例予以祥述。
如图3所示，与本发明第一实施例的头戴式图象音频再现装置包括一个音频再现单元2，用于在头外定位声音图象，以再现对应于输入音频信号的音频；一个图象再现单元10，用于在预定方向固定一可视图象，以再现输入图象；以及一转角速度检测器16，用以检测头的转动。这些单元及传感器均以头的绷带或头盔的形式整体化地附在头戴单元15。
音频再现单元2有音频信号处理器5，它执行响应于转角速度检测器16检测结果的计算，以使对应于输入音频信号的声象定位在携带该头戴单元15的用户的头部之外，以防止声象方向跟随头的转动面变动，从而将声象方向设置在视/听环境中的预置方向上。在送到音频信号处理器5之前，进入音频信号输入端3的音频信号由A/D转换器4转变成数字信号。音频信号处理器5的输出分别送到与左耳和右耳相关的D/A转换器6L和6R。由6L和6R转变成模拟信号的音频信号经分别与左耳和右耳相关的耳机驱动放大器7L和7R送到分别与左耳和右耳紧邻放置左耳扬声器8L和右耳扬声器8R。左右耳扬声器8L和8R放出与已放大的音频信号相对应的音频信号。
图象再现单元10具有图象信号处理器12，用于响应转角速度传感器16的检测结果，在头戴单元15的用户的观看环境中以预定方向设置输入图象。进入图象信号输入端11的图象信号被送到图象信号处理器12。经图象信号处理器12所处理的图象信号经图象显示驱动单元13L和13R送到分别在左、右眼附近设置的左、右眼图象显示单元14L和14R。
旋角速度传感器16检测到头戴单元15的用户的头的转动角速度，并将检测结果送到微处理器17。该微处理器17计算从正前方开始的头戴单元15的用户的转动角度，并将计算结果送到音频信号处理器5和图象信号处理器12。
参考图4，音频信号处理器5有4个数字滤波器21L、21R、22L、22R，采用从两个实际声源到头戴耳机单元15的用户双耳传递功能，经过输入端201和202接收的双通道输入音频信号的脉冲响应进行缠绕(Convolving)；以及一对加法器23L和23R，用以将两个通道相同L和R信号输出相加。音频信号处理器5还包括一对分别与加法器23L和23R相连的时间差相加电路24L和24R，以及一对分别与该时间差相加电路24L和24R相连的电平差相加电路25L和25R。音频信号处理电路5响应由转角速度传感器16和微处理器17所产生的转角，以便对将由时间差相加电路24L和24R及电平差相加电路25L，25R分别相加的时间差及电平差的增长/下降方向反向。
具体而言，音频信号处理器5在如图5假设的条件下把音频信号送达扬声器8L和8R。即已认为来自声源301和302的两通道，以使输入音频信号将被定位在前方180°的范围内。
一旦数字音频信号进入输入端201、202，在初始状态中从声源301，和302对应到预置正方向定位的，与到用户双耳的传送功能相对应的脉冲响应由数字滤波器21L、21R、22L、22R所转换。(旋绕Convolved)。L一侧的输出由加法器23L和所取和，从经过时间差相加电路24L和电平差相加电路25L在输出端26L输出，而R一侧的输出由加法器23R所取和，以经过时间差相加电路24R和电平差相加电路25R在输出端26R输出。
从声源301和302到听者M的两耳l和r的传送功能被设为HLR、HLr、HRl、HRr，如图5所示。其脉冲响应已由数字滤波器21L、21R、22L、22R所转换(旋绕)的音频由用于左耳的扬声器8L和用于右耳的扬声器8R送到听众M的双耳，以使SLHL1+SRHR1和SRHRr+SLHLr被送到左耳l和右耳r，其中的SL和SR分别表示由各自的扬声器L和R通道输出的信号。
如果听众M左转其头，左耳l则远离声源301和302，而右耳r则靠近该声源301302。结果是使在到达在左耳l和右耳r的输出音频信号中产生出时间差和电平差。正是这种时间差相加电路24h和24R及电平差相加电路25L25R分别产生出时间差和电平差。
由L侧时间差相加电路24L所加的延时以及由R侧时间差相加电路24R所加的延时在图6中分别由连线特性曲线Tb和Ta所表示。特性曲线Ta和Tb的增减相对于听众M的转头方向是完全相反的。结果是，从声源到听众M的双耳的时间变化，类似于当该听众从位置在前方180°的范围。当头在左和右方向转动时从声源到两耳的时间变化被加到进入输入端201和202的信号中。
图7中示出相对于0°状态转角的电平。头转角由L侧电平差相加电路25L所加的电平差和由R侧电平相加电路25R所加的电平差分别由相对电平特性曲线La和Lb所示，可见，特性曲线La和Lb的增减相对于听众M的转头方向完全是相反的。由于电平差相加电路25L和25R分别相加的是特性曲线La和Lb的电平改变，因而其音量变化类似于当听众M实际听到的正向声源加到从输入端201和202发送的输入信号时的音量变化。
从上可见，由音频再现单元2所产生的音频信号类似于当听众M转动其头部时的方式而变化，以使得在视/听环境中的该听众的头部之外的包括正前方向的预置方向上设置声音图象。如果使用两个或多个通道的多音频信号，就能实现其中将声象定位在任意位置的立体声场再现。
参考图8，视频信号处理器12对经过输入端31输入的、由A/D转换器32转换成数字信号的视频输入信号进行编码，将已编码的信号存入图象存储器33，并使图象显示位置随头部转角而改变。
在图象存储器33中作为已编码图象信号的图象数据的存储地址是作为由微处理器17计算的响应转动角由存储控制器37所决定。所以，图象存储器33控制着作为显示区的一部分数据。在没有图象数据被控制的图象存储器33中，存储对应于黑色或其它预定颜色的数据。这些图象数据由D/A转换器34转换成模拟信号，作为显示图象存储33的全部内容的图象信号。这些信号经图象输出放大器35在端36输出到图3所示的图象显示驱动单元13L和13R。对应于图象信号的图象在图象显示单元14L和14R中显示。结果是，图象数据排列位置在图象存储器33上响应头的转角改变，以便在视听环境中的预定方向上将一图象显示在设置在观看者前方附近的图象显示单元14L和14R上。
图象显示单元14L和14R的显示区的构形如图9所示。具体地说，每个显示区由640×640光点构成，每一光点与存储器33中的一个独立的存储区相关联。其存储容量确保每一光点被确定为数字信号比特长度彩色显示及无彩色显示的函数。
假设显示区中的图象数据是以320×320光点的清晰度的有限方式被显示。显示区左上角坐标是(0，0)，而有限显示区左上角的坐标是(X1，Y1)。如果头朝左转，且图象在视/听环境中保持在预定位置，则图象位置需要在有限显示区中右移，即到(X2，Y1)，其中X2＞X2，以使图象在该视/听环境中保持在预定位置。位移X2－X1是由头转角θ(红)及从头部转向到显示装置的距离r所决定，如若θ是一个小值，则该位移大致由X2-X1＝rθ决定。为实现这种运动，存储器控制器37使得图象数据的存储位置成为在存储器33中由坐标(X2Y1)、(X2Y1+200)、(X2+320，Y1+320)和(X2+320，Y1)所定义的一个区域。
利用上述的头戴式图象音频再现装置1的第一实施例，音频信号处理器5和图象信号处理器12根据由微处理器17计算的头转动角执行信号处理，以使声音图象的位置及可视图象的定位保持在视/听环境中头外部的预定方向上。结果是，传统系统中的声象位置和可视图象位置的重叠及其产生的异样感觉被消除，且在图象显示装置上显示图象的声源发音总是与实际声象位置相吻合。利用图象与音频的叠合作用，能够实现比仅由音频再现所实现的更准确的声象位置，从而实现真实的图象音频的再现。
利用头戴式图象音频再现装置1，音频再生单元2的音频信号处理单元5可构形如图10，12和14所示。
图10所示的音频信号处理器5有一对与时间差添加电路24L和24R的输出端相连的频响控制电路27L、27R。27L和27R取代了图4的电平差添加电路25L、25R。
频响控制电路27L、27R根据头戴单元的头转角把图11所示的频响送到输入信号，以控制频响。如头正对前方，指示为0°，如由实线所指示，随频率f的增长该频响保持不变。但当头转过90°，即头朝左或朝右时，则以频率f的增长产生频响差。如果头转动90°朝右(以+90°表示)，响应随频率的增加而增加，如虚线所示。相反，如头转90°朝左(以-90°表示)，响应随频率的上升而下降，如图中虚线所示。这两条响应线相对于由实线所示的头正前位置响应是垂直对称的。
因此，图10所示的音频信号处理器5利用时间差相加电路24L和24R响应头的转角以相反的增减方向把时间差加到两个正向通道的两个声源的输入信号，同时根据头的转角而利用频响控制电路27L、27R控制把频响的变化方向反向，从而实现当对应于正向音频信号的实际声源在听者转动其头部时，在两耳和正向音频信号的频响之间的时间差相等。结果是，在全方向上的最佳头外部的声音场定位。
利用图12的音频信号处理器5，一对相位差添加电路28L、28R而不是图4的时间差添加电路24L、24R分别与电平差添加电路25L、25R的输入相连接。
根据用户的头部转角，相位差添加电路28L、28R把对应于图13所示相位改变特性的相位差送到输入信号。如果头在正前方保持固定(以0°表示)，产生由实线指示的相位差θ。但若头向左或右转90°，则有向左或右的相位移。具体而言，若向右转90°(+90°)，相位超前，如图中链点线所示。相反，若向左转90°(-90°)，相位滞后，如图中虚线所示。
因此，示于图12中的音频信号处理器5利用相位差添加电路28L、28R响应头的转角，以相反的相位差增/减方向把相位差加到两个正向通道声源的输入信号，同时根据头的转角对由电平差添加电路25L25R所加的电平差的变化方向进行反相，从而实现针对正方向音频信号源的双耳间的相位差和电平差特性等效于当听者转动其头部所听到的正向音频信号相对应的实际声源的特性。结果是实际全方向的最佳头外部声场定位。
利用图14的音频信号处理器5，一对相位差添加电路28L、28R而不是图4所示的时间差添加电路24L、24R被分别接到一对频响控制电路27L、27R输入。
对应于图13所示的相位变化特性，相位差添加电路28L、28R根据使用者头的转角，将相位差送到输入信号。
根据使用者头部的转角，频响控制电路27L、27R将图11所示的频响送到输入信号，以控制频响。
因此，图14所示音频信号处理器利用第一相位差添加电路28L、28R和第二相位差添加电路31L、31R，以响应头部转角的增/减方向的相反方式把相位差加到来自两个正向通道的两个声源的输入信号，同时根据头的转角，由第一频响控制电路28L、28R和第二频响控制电路29L和29R控制的频响进行反向，从而实现两耳和频响之间对于正向音频信号的相位差在当听者转动头时而被听到，而该正向音频信号在当对应于正向音频信号的实际信源时，这种相位差是相等的。这就是导致在全方位上的最佳头外声扬定位。
现在说明图3所示的转角速度传感器。转角速度传感器16检测戴有头戴单元15的头的转角速度。具体说，头戴式图象音频再现装置利用压电振荡晶振装置80作为转角速度传感器16。该压电振荡晶振装置80利用压电元件检测运动目标的移动。图15中，振荡压电元件81由包括一个矩形交叉部分的方柱部分，它由多个振荡元件组成。在压电元件81的相反表面装有用于检测压电元件82和83，及用于驱动的压电元件84、85。
用于驱动84、85的压电元件接到驱动信号源86，用于提供交变信号。用于检测82、83的压电元件的输出被送到差分放大器87。差分放大器87的差分输出和驱动信号源86的输出被送到乘法器或相位检测器88，以便相乘或相位检测。乘法器或检测检测器88的输出被送到图3所示的微处理器17。
上述压电振荡晶振装置80的操作如下如果用于驱动84、85的压电元件被馈以来自振荡压电元件81的自然振荡频率的交变信号，该振荡压电元件81根据所示的振荡波形强制振荡。这些振荡产生预置模式的谐振。
如果没施外力，则用于检测82、83的压电元件不产生输出。但是，如果有角速度ω的旋转力被以轴向提供到振荡压电元件81，则作为载波的强制振荡交变信号由复合向心力作调幅，并被检测作为检测信号。检测信号幅度正比于绕轴旋动的角速度ω，旋转方向对应于相对于驱动信号的检测信号相位变异方向。
已作实践的是以调幅检测信号与驱动信号相乘，并将产生的乘积信号经过作为低通滤波器的带宽限制滤波器，以便去除载波成分，给出检测信号。
转角速度传感器16也可以是如图16所示的模拟角度传感器90。该模拟角度传感器90装在头戴单元15上，以检测头的运动。利用模拟角传感器90，由光接收单元构成的光接收器91(阻抗随光强变化，如CDS或光电二极管)安装在头戴单元15的中央。光发射器93，例如发光管或LED，正对着光接收器91安装，以将恒定强度的光束发送到光接收器91。
在由光发射器93投射的光路上，装有可移动快门92，所投射的光随转角的变化而改变发射。可移动快门92用于由磁针94所转动。所以，如果预置电流被引起流经光接收器91，则有指示包括使用者头戴单元15的方向的头运动的模拟输入被提取，以磁针94的S-N方向作为基准方向，将该模拟输入作为光接收器91的光接收部件两端的电压降。
转角速度传感器16也可以是由图17所示的数字角度传感器。该数字角度传感器95在头戴单元15以检测头的运动。利用本数字角传感器95，转动编码器96装在头戴单元15之内，以其输入轴垂直延伸，而将磁针装在输入轴上。因而在转动编码器96处以磁针97的S-N方向为基准方向，提取出指示包括用户头戴单元15的方向的头部运动的输出。
转角速度传感器16也可以用以计算转角，根据设置在前侧或外围边侧的光发出器的输出比率以及至少两个提供在头戴单元15上的光强传感器。
该转角速度传感器16也可用以读出脉冲串信号，该脉冲串信号由头戴单元15前方放置超声波振荡器间歇地产生或由该头戴单元15外周两侧相互分开的话筒所产生，用以从不同接收信号的时间差来计算转角。
现参考图18介绍本发明第二实施例，它是头戴式图象音频再现装置40，包括音频再现单元42，用于实现头外声-象定位，以再现输入音频；图象再现单元48，用于实现在预定方向上的图象设置，以再现输入图象，以及用于检测头转动的转角速度传感器45。该音频再现单元42，图象再现单元48及头戴单元47被整体安装在头戴单元47上，而其视差专门用于在图象再现单元48上提供三维图象。
音频再现单元42的构成与第一实施例的音频再生单元10相似。就是说，音频处理器构成如图4、10、12和14所示，且经输入端43提供的输入音频信号按上述方式被处理，并经D/A转换器和放大器送到扬声器44L、44R。
图象再现单元48经具有左右眼的图象信号的输入端49L、49R输入，这两个图象信号是由左、右眼摄象机56L和56R在同一个物体55上产生并受到视差的影响，如图19所示。左眼图象信号送到左眼图象信号处理器50L，以便响应转角速度传感器45的检测结果在视/听环境中设置在预定方向上。右眼图象信号送到右眼图象信号处理器50R，以便响应转角速度传感器45的检测结果在视/听环境中设置在预定方向上。就是说，图象信号处理器50L、50R响应在图象显示单元52L、52R上头的转角而使左、右眼图象信号的显示位置改变。如果头左转，用于左、右眼的图象信号的合成帧的位置在图象显示单元52L、52R上左移。相反，如果头右转，图象显示单元52L，52R的合成帧右移。结果使得好象是所出现的图象被保持在固定方向。而且，由于上述的视差的原因，图象信号好象具有远-近感的三维图象。
图象信号处理器50L、50R构形如参考图8所描述，而在图象显示单元52L、52R中的每一个中的显示区与图7所示的相同，而为简单起见，详细描述省去。
利用上述的头戴式图象音频再现装置40的第二实施例，音频信号处理器5和图象信号处理器50L、50R根据由微处理器46的头转动角执行信号处理，以使得在该视/听环境中的声象定位的位置及其受到视听影响的图象位置保持在头外的预定方向上。结果是消除了在传统系统中出现的声象和视象位置的重叠及产生的异常感觉，而且，显示装置上的视显示图象音频发声源能够永远与实际声象位置相吻合。利用声、象的叠加效应，能实现更确定的声象定位，因之可能仅以音频再现而实现其真实图象音频的再现。
现来说明本发明第三实施例。第三实施例的构成类似于图3的头戴式图象音频再现装置。然而，图象信号处理器12执行信号处理的方式是使得提取视频信号的有选择的一部分。
就是说，响应由微处理器17从由转角速度传感器16检测转角速度计算出的头部转角，改变显示在图象显示单元14L、14R上的显示内容，就好象这些内容在该视听环境的预定方向上被固定了一样。
选择图象区域的方式将参考图20作说明。假设在初始状态时，图象信号内容的整个显示区57的一个显示区58由图象信号处理器12送到图象显示单元14L和14R之后，用户的头向右转，则图象信号处理器12连续地输出与转角相匹配的显示区59到图象显示单元14L、14R。相反，如果用户的头从此状态向左转，则显示区域被移到显示区58。
图象信号处理器12的构形类似于图8的处理器。但是，在图象存储33中存储整个区域中的图象数据，而且，存储图象数据的一部分被显示作为实际显示区，而不是对在图象存储器33的一部分中的图象数据进行存储并对如此存储的图象进行显示。
音频再现单元2的结构及其操作不作说明，因为他们类似于图1的音频再现单元2的操作。
因为图象信号处理器12使得显示的内容在视/听环境中的预定方向被保持，本第三实施例则假设图象音频再现与音频相吻合。
现参考图21说明本发明的头戴式图象音频再现装置的第四实施例，其中该头戴单元65的使用者的位置信息被送到相对于该头戴单元而独立提供的图象音频信号产生器61，而图象信号和音频信号和音频信号被输出，以响应此位置信息固定地设置该图象音频环境。
由在头戴单元65上的转角传感器66检测的头的转角送到微处理器67，将其转变成位置信息控制信号。该位置信息控制信号经位置信息输出端68送到图象音频信号产生器61。
响应该位置信息控制信号，图象音频信号产生器61得到头戴单元65的位置信息，以便更新图象信号和音频信号的内容。图象音频信号产生器61利用如计算机图象来合成图象信号，并把合成的图象输出。此外，图象音频信号产生器61事先在大规模存储器中存储音频信号，并有选择地从该大规模存储器中提取并输出音频信号。所以，该图象音频信号产生器61提供响应在头戴单元65的用户的头位置而被更新以便由上述的计算机图形技术合成的图象信号，经图象输入端62到图象显示驱动单元63L、63R。该产生器61还经音频输入端把响应头戴单元65的头位置而被更新且有选择地从大规模存储器中提取的音频信号送到音频再现单元70。
音频再现单元70以类似于图1的音频再现单元1的方式对上述音频信号进行处理，把已处理的音频信号送到提供在头戴单元65上的扬声器71L和71R。所以，音频信号的处理使得声音图象将响应其头的运动固定地设置在用户头外的预定位置。如果使用有多个音频信号，可实现三维声场再现，其中的多个声音图象被定位在多个任意位置。
经图象输入端62而被提供有图象信号的显示驱动单元63L，63R把图象信号送到安放在头戴单元65上的图象显示单元64L、64R，以便调节使用者的双眼。图象显示单元64L、64R、显示图象信号，以使其内容固定在该视/听环境中。即，如果头向右转，则可以产生其中的图象向右摇动的图象内容。相反，如果头向左转，则可产生其中的图象向左摇动的图象内容。结果是，在该视/听环境中的显示内容好象被保持在固定的方位上。
利用第四实施例的头戴式图象音频再现装置60，因为图象及音频的设置使得实际的声音图象被定位在具有远近感的图象中的声源，因而实现高真实性的图象音频再现。
现在描述本发明的第五实施例。类似于前述的第三实施例，本实施例是与图3所示头戴式图象音频再现装置1相似。因此，该头戴式图象音频再现装置1执行图象信号处理，以使图象信号处理器12有选择地输出图象信号的一部分，而且，如果显示区达到图象信号内容的极限，则相对于该视/听环境，定位的可视图象和声音图象与头部运动同步而被转动。
就是说，在初始状态中，在图象信号处理器12把图象信号内容的整个区57的显示区58已经输出到图象显示单元14L、14R之后，如果头向右转，则该图象信号处理器12连续地输出与图象显示单元14L和14R相匹配的显示区59。反之，如果头向左转，则从上述的状态开始，处理器12输出显示区58。
如果显示区58如图22所示已达到整个图象信号内容57的整个区域的极限，则可视图象信号和声象信号的位置将相对于该视/听环境(即在达到该极限的显示区58的时间点对于头部的固定关系)与头部的运动同步地转动，以使得显示区变为运动显示区57。如果在该状态中头部已在相反的方向转动，则只要图象信号内容的整个区域允许，可视图象和声象都允许，可视图象和声象都变得相对于该视/听环境固定。
如果观众使用该第五实施例的装置的欣赏现存运动图象的软件，就没有必要在整个范围内固定该可视图象及声音图象。例如，如图23所示，如果图象位置在听众M前方的预定区W内固定，则可视图象位置和声象位置在实际可接受的范围W内被固定。在该范围内W内，该显示的内容固定在视/听环境中预定的方向上，因而使利用该可视图象和声象的图象音频再现在取向上彼此吻合。由头动运动产生的两耳间的音频信号的时间差和电平差也象在听众收听真实声源那样被相加，从而使该声音图象能在包括正前方向的方向内而在头部之外定位。
音频输入信号还可以经射频路径送到头戴单元上的音频再现单元，同时，图象输入信号也可经射频路径送到头戴装置上的图象再现单元。
权利要求
1 一种图象和音频再现装置，包括一种头戴装置，将所说的图象和音频再现装置戴在用户头上；音频再现装置，用于再现一个音频信号，并根据所说的再现的音频信号从扬声器输出声音；图象再现装置，用于再现图象信号并根据所说的再现的图象信号显示画面；以及转角检测装置，用于检测其头戴所说图象及音频再现装置的用户转动其头的转角；其中所说的音频再现装置、图象再现装置和转角检测装置是提供在所说头戴装置之上；所说的音频再现装置具有音频信号处理装置，用于定位所说的声音在头外，并防止所说的声音的方向随头转动面转动，并将所说的声音的所说的方向固定在视/听环境中的预定方向上；所说的图象再现装置具有图象信号处理装置，用于根据所说的头的转动把画面视觉位置固定在所说视/听环境中的预定方向。
2 根据权利要求1的图象音频再现装置，其所说的图象再现装置分别在每个双眼的一个前面显示不同的画面。
3 根据权利要求1的图象和音频再现装置，其中所说的图象再现装置根据由所说转角检测装置所检测的所说转角有选择地显示输入图象信号的一部分。
4 根据权利要求1的图象和音频再现装置，其中的输入图象信号被处理，以便根据由所说转角检测装置所检测的所说转角将所说画面固定在所说视/听环境中的所说预定方向上。
5 根据权利要求1的图象和音频再现装置，当由所说转角检测装置检测的所说转角是在预定的角度范围内时，其中所说的音频再现装置将所说声音的方向固定在预定的方向上；当所说的转角检测装置所检测的所说转角不在预定的角范围时，所说音频信号处理装置处理所说的音频信号，以将所说声音运动的所说方向同步于所说的头部的转动，所说的图象再现装置处理所说的图象信号，以将所说画面视觉位置的所说方向与所说的头转动同步移动，而不论预定的角度范围如何。
6 根据权利要求1的图象和音频的再现装置，当由所说转角检测装置检测的所说转角是在预定的角度范围内时，其中所说的音频再现装置和所说的图象再现装置分别地将所说声音的所说方向和所说画面的所说方向固定在预定的方向上，当所说的转角检测装置所检测的所说转角不在预定的角范围时，所说的音频信号处理装置处理所说的音频信号，以将所说的声音的方向同步于所说头转动而移动，且所说的图象信号再现装置处理所说的图象信号，以将所说的画面视觉位置的方向同步于所说的头转动而移动。
7 根据权利要求1的图象和音频再现装置，还包括位置检测装置，用于将所说的声音位置校正到由所说的头部位置确定的预定的位置，所说位置检测装置是提供的头戴装置上，而不是在转角检测装置或与所说转角检测装置在一起的装置。
8 根据权利要求1的图象和音频再现装置，其中是角速度传感器的压电振荡晶振，用于所说的转角检测装置。
9 根据权利要求1的图象的音频再现装置，其中有地磁方位传感器被用作所说的转角检测装置。
10 根据权利要求1的图象和音频再现装置，其中所说的转角检测装置根据在所说转角检测装置前面或周围放置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率来计算所说的转角。
11 根据权利要求7的图象和音频再现装置，其中所说的位置检测装置根据在所说转角检测装置前面或周围放置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率来计算所说头部的所说位置。
12 根据权利要求7的图象和音频再现装置，其中所说的转角检测装置和所说的位置检测装置根据在所说转角检测检测装置前面或周围放置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率分别地计算所说的转角和所说的头部的位置。
13 根据权利要求1的图象及音频再现装置，其中所说的输入的音频信号以无线方式提供到在所说头戴装置上所说音频再现装置。
14 根据权利要求1的图象和音频再现装置，其中所说的输入图象信号是以无线的方式提供到头戴装置上的图象再现装置。
15 一种图象和音频再现装置，包括头戴装置，用于将所说的图象和音频再现装置戴在使用者的头上；音频再现装置，用于再现音频信号，并根据所说的再现的音频信号从扬声器输出声音；图象再现装置，用于根据所说的再现的图象信号，再现图象信号和显示画面；转角检测装置，用于检测头戴所说的图象和音频再现装置的用户转动其头的转角；其中所说的音频再现装置、图象再现装置和转角检测装置是提供到所说的头戴装置上；所说的音频再现装置具有音频信号处理装置，用于根据所说头部转动的转角将时间差、相位差、电平差或频响加到两个数字滤波器的每一个的输出，所说数字滤波器将两个系统的脉冲响应折合成多个输入音频信号；所说的图象再现装置具有图象信号处理装置，用于处理输入的图象信号，以根据所说的头部转动的转角将画面视觉位置固定在所说视/听环境中的预定方向上。
16 根据权利要求15的图象和音频再现装置，其中所说的图象再现装置分别在双眼的每一只眼前显示不同的画面。
17 根据权利要求15的图象和音频再现装置，其中所说的图象再现装置根据由转角检测装置检测的转角而有选择地显示输入图象信号的一部分。
18 根据权利要求15的图象和音频再现装置，其中对输入的一个图象信号作处理，以根据由所说转角检测装置检测的转角将所说的画面固定在所说视/听环境中的预定方向上。
19 根据权利要求15的图象和音频再现装置，当由所说转角检测装置检测的所说转角是在预定的角度范围内时，其中所说的音频再现装置将所说音频的方向固定在预定的方向上；当由所说的转角检测装置所检测的所说转角不在预定的角度范围时，所说的音频信号处理装置处理所说的音频信号，以将所说声音运动的所说方向同步于所说的头部运动，所说的图象再现装置处理所说的图象信号，以将所说的画面视觉位置的所说方向与所说的头部转动同步移动，而不论预定的角度范围如何。
20 把根据权利要求15的图象和音频的再现装置，当由所说转角检测装置检测的所说转角是在预定的角度范围内时，其中所说的音再现装置和所说的图象再现装置分别地将所说声音的所说方向和所说画面的所说方向固定在预定的方向上，当所说的转角检测装置所检测的所说转角不在预定的角范围时，所说音频信号处理装置处理所说的音频信号，以将所说声音的方向同步于所说的头部的转动而转动，并且所说的图象信号再现装置处理所说的图象信号，以将所说画面视觉位置的方向同步于所说的头转动而移动。
21 根据权利要求15的图象和音频再现装置，还包括位置检测装置，用于将所说声音位置校正到由所说的头部位置所确定的预定的位置，所说位置检测装置是提供在头戴装置上，而不是在转角检测装置或与所说的转角检测装置在一起的装置。
22 根据权利要求15的图象和音频再现装置，其中是角速度传感器的压电振荡晶振，用于所说的转角检测装置。
23 根据权利要求15的图象和音频再现装置，其中有地磁方位传感器被用作所说的转角检测装置。
24 根据权利要求15的图象和音频再现装置，其中所说的转角检测装置根据在所说转角检测装置前面或周围放置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率来计算所说的转角。
25 根据权利要求21的图象和音频再现装置，其中所说的位置检测装置根据在所说转角检测装置前面或周围位置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率来计算所说头部的所说位置。
26 根据权利要求21的图象和音频再现装置，其中所说的转角检测装置和所说的位置检测装置根据在所说转角检测装置前面或周围放置的光发射装置的输出和在所说头戴装置上提供的至少两个光强传感器的输出之间的输出比率分别地计算所说的转角和所说的头部的位置。
27 根据权利要求15的图象及音频再现装置，其中所说的输入的音频信号以无线方式提供到在所说头戴装置上所说音频再现装置。
28 根据权利要求15的图象和音频再现装置，其中所说的输入图象信号是以无线的方式提供到头戴装置上的图象再现装置。
29 一种图象和音频再现装置，包括头戴装置，用于将所说的图象和音频再现装置戴在使用者的头上；靠近双耳放置的扬声器；显示装置，用于在双眼前面显示画面；转角检测装置，用于检测其头戴所说图象及音频再现装置的用户转动其头的转角；和音频及图象信号产生装置，用于将音频信号输出到所说的扬声器及把图象信号输出到显示装置，根据头部位置信息，该信息是根据由所说转角检测装置所检测的转角，所说的音频信号和所说的图象信号被固定在视/听环境中。其中所说的扬声器、所说的显示装置和所说的转角检测装置是提供在所说的头戴装置上；所说的音频和图象信号装置是定位在所说头戴装置之外。
全文摘要
音频再现单元2具有音频信号处理器5，响应由转角速度传感器16的检测结果进行计算，以将输入音频信号定位在头戴单元15的头部之外，以防止声象方向随头的转动而动，从而在使用者所在的视/听环境中将声象方向设置在预定的方向上。图象再现装置10有一个图象信号处理器12，响应由转角速度传感器16的检测结果，以在使用者所在的视/听环境中将输入图象设置在预置方向上。
文档编号H04R5/027GK1158047SQ9612116
公开日1997年8月27日 申请日期1996年9月27日 优先权日1995年9月28日
发明者山田裕司, 稻永洁文 申请人:索尼公司