专利名称：声音混合装置和方法以及多点会议服务器的制作方法
技术领域：
本发明涉及用于混合多个声音信号的技术，且更具体地，涉及用于使用在提供多 点会议服务的服务器等中的声音信号的混合技术。
背景技术：
作为提供多点会议系统的系统，第2000-175170号日本早期公开专利公开了一种 多点视频会议系统。该多点视频会议系统包括多个会议终端和与这些会议终端相连接的多 点控制装置。该会议终端被分配给参与者。在此多点视频会议系统中，各自的会议终端发送声学信号到多点控制装置，该声 学信号与由会议终端检测的声音(语言)相关。多点控制装置将从各自会议终端接收到的 声学信号相加。对于每个会议终端，多点控制装置从已相加的声学信号中减去从会议终端 接收的声学信号，将作为相减的结果所获得的声学信号进行编码，以及将已编码的声学信 号发送到会议终端。多点控制装置可被应用在诸如线路交换网络、移动网络和分组网络之类的各种通 信网络中。在线路交换网络中，使用由ITU-T(电信同盟电信标准化部门)推荐的H323和 H. 324指定的通信协议。在移动网络中，使用由3G-324M指定的通信协议。在基于IP(因特 网协议)的分组网络中，使用IETF (因特网工程任务组)的RFC3550RTP。“RFC”是“Request for Comments (请求注解)”的缩写，而“RTP”是“Real-time Transport Protocol (实时传 输协议)”的缩写。作为多点控制装置，存在挂载有用于电话频带声音的声音编码器的多点控制装 置，该声音具有8kHz的抽样频率，并在3. 4kHz频带传输，以及存在挂载有用于宽带声音的 声音编码器的多点控制装置，该声音具有16kHz的抽样频率，并在7kHz频带传输。作为用于 电话频带声音的声音编码器，使用了在ITU-T推荐的G. 711、G. 729和3GPP中采纳的AMR (适 应性多速率)系统的声音编码器、在ITU-T推荐的3GPP2中采纳的EVRC(增强的可变速率 编码)系统的声音编码器，以及类似的声音编码器。作为宽带声音的声音编码器，使用了由 ITU-T推荐的G. 722和3GPPTS26. 190指定的AMR-WB (宽带)系统的声音编码器。可以通过 使用MPEG-4AAC(高级音频编码)等在更宽的频带处理声音信号。
发明内容
当考虑在使用多点会议服务中的方便度时，需要能在不同频带发送和接收声音 (声学的)信号的终端之间提供多点会议服务，例如，使用电话频带的终端和使用宽带的终 端之间。但是，上述多点控制装置仅处理在诸如用于电话频带声音或宽带声音的声音信号 之类的单一频带中的声音信号。因此，在不同频带中发送和接收声音信号的终端之间提供 多点会议服务是困难的。本发明的示例性目的即是解决上述问题并提供可在具有不同抽样频率的多个频带中混合声音信号的声音混合装置、声音混合方法和多点会议服务器。根据本发明的示例性方面的声音混合装置包括根据抽样频率设置的多个混合处 理单元，其中多个混合处理单元的每个处理单元将同一抽样频率的输入声音信号相加以生成 第一相加声音信号，将第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽 样频率，将已转换至该抽样频率的声音信号提供给其他混合处理单元，以及将自己生成的 第一相加声音信号与已转换至自己可处理的抽样频率并从其他混合处理单元提供的第一 相加声音信号相加，以生成第二相加声音信号。根据本发明的另一示例性方面的声音混合方法包括第一步骤，根据抽样频率将具有不同抽样频率的多个输入声音信号分类为多个 组；第二步骤，对于在第一步骤中已被分类的每个组，将具有相同抽样频率的输入声 音信号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成其他组 中可处理的抽样频率，以及将已转换至所述抽样频率的声音信号分配给其他组；以及第三步骤，对于在第一步骤中已被分类的每个组，将在所述组中生成的第一相加 声音信号与已转换至所述组中可处理的抽样频率且从其他组中分配的第一相加声音信号 相加，以生成第二相加声音信号。根据本发明的其他示例性方面的多点会议服务器经由网络与多个通信终端相连 接，该多点会议服务器包括信号分类器，该信号分类器根据抽样频率对从所述多个通信终端接收的多个声音 信号进行分类；以及多个混合处理单元，该多个混合处理单元根据抽样频率被设置，其中所述多个混合处理单元的每个处理单元将具有相同抽样频率的输入声音信号相 加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成可由其他混合处 理单元处理的抽样频率，将已转换至所述抽样频率的声音信号提供给其他混合处理单元， 以及，将由自己生成的第一相加声音信号与已转换至自己可处理的抽样频率且从其他混合 处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
图1是根据示例性实施例的声音混合装置的配置的框图；图2是使用挂载有在图1中示出的混合装置的多点会议服务器的多点会议系统的 配置的框图；以及图3是图1中示出的声音混合装置的混合处理的过程的流程图。标号说明I1-Ik混合处理单元IO1-IO10, 201-20n,301-30n 声音信号输入终端13r13k组信号加法器H1-IV1,IS1-ISk^1 抽样转换器15r15k 全信号加法器
16r16n, 26r26n, 36r36n 信号减法器Π ,-11^21,-21,, 1H1-1Hd 编码器191-19η,291-29η,391-39η 声音信号输出终端
具体实施例方式
接下来，将参照附图来说明本发明的示例性实施例。图1是根据示例性实施例的声音混合装置的配置的框图。图1所示的声音混合装置被挂载在多点会议服务器上，该多点会议服务器是多点 控制装置，并具有k个混合处理单元I1到lk。可使多点会议服务器在具有不同抽样频率的 多个频带中接收声音信号。混合处理单元被提供给各自频带。混合处理单元I1到Ik的数 量与多点会议服务器可处理的频带的最大数目相关。多点会议服务器被配置用于在k个不 同频带B1到Bk中接收声音信号。已接收的声音信号被提供给根据频带提供的混合处理单 元I1到lko在描述根据此示例性实施例的声音混合装置的详尽配置之前，将简要说明与根据 此示例性实施例的声音混合装置挂载的多点会议服务器的配置。图2是多点会议系统的配置的框图，该系统使用挂载有图1中示出的声音混合装 置的多点会议服务器。该多点会议系统包括多个终端200和多点会议服务器100，这些终端 200经由传输线300与多点会议服务器100相连接。传输线300包括多个通信网络，例如，线路交换网络、移动网络和分组网络。当声 音信号在终端200和多点会议服务器100间被发送和接收时，声音信号的呼叫连接信息 (包括关于发送声音信号的终端的地址信息、关于频带的信息，以及关于抽样频率的信息) 通过各自通信网络的协议被提供给多点会议服务器100。多个终端200包括具有不同频带和抽样频率的声音信号的多个终端，该声音信号 经由传输线300被发送和接收。例如，具有8kHz的抽样频率并在3. 4kHz频带传输的用于 电话频带声音的终端，以及具有16kHz的抽样频率并在7kHz频带传输的用于宽带声音的终 端被用作终端200。终端200的配置基本上是一样的。终端200中的每一个包括AD转换器201、编码器202、发送机203、DA转换器204、 解码器205，以及接收机206。AD转换器201将来自麦克风207的声音信号(模拟信号)转换到数字信号。编码 器202将从AD转换器201提供的声音信号(数字信号)进行编码。发送器203将从编码 器202提供的已编码的声音信号经由传输线300发送到多点会议服务器100。接收机206经由传输线300从多点会议服务器接收已编码的声音信号(数字信 号)。解码器205将从接收机206提供的已编码声音信号进行解码。DA转换器204将来自 解码器205的已解码声音信号(数字信号)转换到模拟信号。已转换为模拟信号的声音信 号从DA转换器204被提供给扬声器208。多点会议服务器100包括接收机101、多个解码器102、信号分类器103、声音混合 装置104，以及发送机105。声音混合装置104是图1中示出的声音混合装置。接收机101经由传输线300从每个终端200接收声音信号。已接收的声音信号从 接收机101被提供给多个解码器102中的任意一个。解码器102将从接收机101提供的声音信号进行解码。已解码的声音信号从解码器102被提供给信号分类器103。信号分类器103根据从解码器102提供的已解码声音信号的抽样频率将已解码声 音信号提供给混合处理单元，该混合处理单元是图1中示出的混合处理单元I1到Ik中与该 已解码声音信号相对应的混合处理单元。信号分类器103将从声音混合装置104提供的声 音信号提供给发送机105。已解码声音信号的抽样频率可从呼叫控制信息中获得，该呼叫控 制信息是当接收机101接收声音信号时获得的。发送机105经由传输线300将从信号分类器103提供的声音信号发送到多个终端 200中的相对应终端。作为发送目的地的终端可基于呼叫控制信息被识别，该呼叫控制信息 是当接收机101接收声音信号时获得的。声音混合装置104将从信号分类器103提供的根据抽样频率分类的多个声音信号 进行混合和编码，并将已编码的声音信号提供给信号分类器103。参照图1具体说明了声音混合装置104的配置。声音混合装置104包括混合处理单元I1到lk。混合处理单元I1到Ik基本上具有 同样的配置。为了方便说明，图1中示出了关于混合处理单元I1、混合处理单元12，和混合 处理单元Ik的具体配置。混合处理单元I1的配置混合处理单元I1包括声音信号输入终端IO1到IOn、组信号加法器U1、抽样转换器 H1到14η、全信号加法器15i、信号减法器Iei到16n、编码器H1到17n，以及声音信号输出 终端到19n。在频带B1中的声音信号被分配给声音信号输入终端IO1到10n。例如，当η个声 音信号被接收作为频带B1中的声音信号时，已接收的声音信号被提供给声音信号输入终端 IO1到IOn中的每一个。来自声音信号输入终端IO1的声音信号被提供给信号减法器Ie1的第一输入部分 和组信号加法器13i。同样地，来自声音信号输入终端IO2到IOn的声音信号被提供给信号 减法器162到16n的第一输入部分和组信号加法器13lt)组信号加法器瑪将来自声音信号输入终端IO1到IOn的声音信号相加，并输出相 加的结果。组信号加法器的输出被提供给抽样转换器H1到Hlri和全信号加法器15lt>除去频带B1，抽样转换器H1到14k与其他频带B2到Bk相关联地提供。抽样转换 器H1将从组信号加法器^工提供的声音信号(相加的结果)的抽样频率进行转换，使得该 抽样频率与在频带B2中的声音信号的抽样频率相符。例如，当在频带B1中的声音信号的抽 样频率是8kHz且在频带B2中的声音信号的抽样频率是16kHz时，抽样转换器H1将来自组 信号加法器H1的声音信号的抽样频率从8kHz转换到16kHz。同样地，抽样转换器142到 IV1中的每个转换器将来自组信号加法器中的声音信号的抽样频率转换到与转换器相 对应的频带中的声音信号的抽样频率。抽样转换器H1的输出被提供给与频带B2相对应的混合处理单元I2的全信号加 法器。同样地，抽样转换器142到Hlri的输出被提供给与频带B3到Bk相对应的混合处理单 元13到Ik的全信号加法器。全信号加法器K1接收来自组信号加法器U1的声音信号，并接收来自其他混合处 理单元I2到Ik的组信号加法器的声音信号作为输入，以及将这些输入信号相加。全信号加法器IS1的输出被提供给信号减法器Iei到16n。信号减法器Iei接收来自声音信号输入终端IO1的声音信号作为第一输入，接收来 自全信号加法器IS1的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所 获得的声音信号。信号减法器16工的输出被提供给编码器17lt)同样地，信号减法器162到 16 的每一个接收来自声音信号输入终端102到IOn中与之相对应的输入终端的声音信号作 为第一输入，接收来自全信号加法器IS1的声音信号作为第二输入，并且输出通过从第二输 入减去第一输入所获得的声音信号。来自信号减法器162到16n的输出被提供给编码器172 到 17n。编码器H1将来自信号减法器Iei的声音信号进行编码。同样地，编码器172到17 将来自信号减法器162到16n中与之相对应的信号减法器的声音信号进行编码。编码器H1 到17n的输出被提供给声音信号输出终端巩到19n。声音信号输出终端巩到19n将已输 入的声音信号提供给图2中示出的信号分类器103。混合处理单元I2的配置混合处理单元I2包括声音信号输入终端20i到20n、组信号加法器132、抽样转换器 24,到24k_i、全信号加法器152、信号减法器26i到26n、编码器27i到27n，以及声音信号输出 终端29!到29n。在频带B2的声音信号被分配给声音信号输入终端20i到20n。声音信号输入终端 20i到20n的数量可与其他混合处理单元的声音信号输入终端的数量相同或不同。来自声音信号输入终端20i的声音信号被提供给信号减法器26i的第一输入部分 和组信号加法器132。同样地，来自声音信号输入终端202到20n的声音信号被提供给信号 减法器262到26n的第一输入部分和组信号加法器132。组信号加法器将来自声音信号输入终端20i到20n的声音信号相加，并且输出相加 的结果。组信号加法器132的输出被提供给抽样转换器21到24k_i和全信号加法器152。除去频带B2,抽样转换器21到24k_i与其他频带B1和B3到Bk相关联地提供。抽 样转换器21将从组信号加法器132提供的声音信号(相加的结果)的抽样频率进行转换， 使得该抽样频率与频带B1中的声音信号的抽样频率相符。同样地，抽样转换器242到24k_i 中的每个转换器将来自组信号加法器132的声音信号的抽样频率转换到与转换器相对应的 频带中的声音信号的抽样频率。抽样转换器21的输出被提供给与频带B1相对应的混合处理单元I1的全信号加 法器。同样地，抽样转换器242到24k_i的输出被提供给与频带B3到Bk相对应的混合处理单 元13到Ik的全信号加法器。全信号加法器152接收来自组信号加法器132的声音信号和来自其他混合处理单 元I1和I3到Ik的组信号加法器的信号作为输入，并且将这些输入声音信号相加。全信号 加法器152的输出被提供给信号减法器26i到26n。信号减法器26i接收来自声音信号输入终端ZO1的声音信号作为第一输入，接收来 自全信号加法器152的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所 获得的声音信号。信号减法器26J々输出被提供给编码器27lt)同样地，信号减法器262到 26n中的每一个接收来自声音信号输入终端202到20n中与之相对应的声音信号输入终端的 声音信号作为第一输入，且将来自全信号加法器152的声音信号作为第二输入，以及输出通过从第二输入中减去第一输入所获得的声音信号。信号减法器262到26n的输出被提供给 编码器272到27n。编码器将来自信号减法器26i的声音信号进行编码。同样地，编码器272到27 将 来自信号减法器262到26n中与之相对应的信号减法器的声音信号进行编码。编码器27i到 27n的输出被提供给声音信号输出终端到29n。声音信号输出终端到29 将已输入 的声音信号提供给图2中示出的信号分类器103。混合处理单元Ik的配置混合处理单元Ik包括声音信号输入终端SO1到30n、组信号加法器13k、抽样转换器 31到34k_i、全信号加法器15k、信号减法器36i到36n、编码器37i到37n，以及声音信号输出 终端39!到39n。在频带Bk中的声音信号被分配给声音信号输入终端SO1到30n。声音信号输入终 端SO1到30n的数量可与其他混合处理单元的声音信号输入终端的数量相同或不同。来自声音信号输入终端SO1的声音信号被提供给信号减法器Sei的第一输入部分 和组信号加法器13k。同样地，来自声音信号输入终端302到30n的声音信号被提供给信号 减法器362到36n的第一输入部分和组信号加法器13k。组信号加法器13k将来自声音信号输入终端SO1到30n的声音信号相加，并且输出 相加的结果。组信号加法器13k的输出被提供给抽样转换器31到34k_i和全信号加法器 15”除去频带Bk，抽样转换器34到34k_i与其他频带B1到Blri相关联地提供。抽样转 换器31将从组信号加法器13k提供的声音信号(相加的结果)的抽样频率进行转换，使得 该抽样频率与在频带B1中的声音信号的抽样频率相符。同样地，抽样转换器342到341;_1中 的每个转换器将来自组信号加法器13k的声音信号的抽样频率转换到与该转换器相对应的 频带中的声音信号的抽样频率。抽样转换器31的输出被提供给与频带B1相对应的混合处理单元I1的全信号加 法器。同样地，抽样转换器342到34k_i的输出被提供给与频带B1到Blri相对应的混合处理 单元I1到Ilri的全信号加法器。全信号加法器15k接收来自组信号加法器13k的声音信号和来自其他混合处理单 元I1到Ilri的组信号加法器的声音信号作为输入，并且将这些输入声音信号相加。全信号 加法器15k的输出被提供给信号减法器36i到36n。信号减法器Sei接收来自声音信号输入终端SO1的声音信号作为第一输入，接收来 自全信号加法器15k的声音信号作为第二输入，并且输出通过从第二输入减去第一输入所 获得的声音信号。同样地，信号减法器362到36n的每一个接收来自声音信号输入终端302 到30n中与之相对应的声音信号输入终端的信号作为第一输入，并且信号减法器362到36n 的每一个将来自全信号加法器15k的声音信号作为第二输入，以及输出通过从第二输入中 减去第一输入所获得的声音信号。信号减法器36i到36n的输出被提供给编码器37i到37n。编码器37i将来自信号减法器36i的声音信号进行编码。同样地，编码器372到37n 将来自信号减法器362到36n中与之相对应的信号减法器的声音信号进行编码。编码器37i 到37n的输出被提供给声音信号输出终端到39n。已输入到声音信号输出终端到39n 的声音信号被提供给图2中示出的信号分类器103。
其他混合处理单元I3到Ilri的配置基本上与上述混合处理单元I1U2和Ik相同。下面将详尽描述根据本示例性实施例的声音混合装置的操作。图3是示出在图1中的声音混合装置的混合处理的过程的流程图。混合处理单元I1到Ik的操作基本上是相同的。参照图1和图3，描述了当图2中 示出的信号分类器103将在频带B1到Bk中的声音信号提供给混合处理单元I1到Ik时混合 处理单元I1的操作。在频带B1到Bk中的声音信号的抽样频率分别是抽样频率F1到Fk。作为在频带B1中的声音信号，具有抽样频率F1DE多个声音信号S1到Sn被提供给 声音信号输入装置IO1到10n(步骤S10)。来自声音信号输入终端IO1到IOn的声音信号S1 到Sn被提供给信号减法器Iei到16n的第一输入部分和组信号加法器13i的第一输入部分。组信号加法器13i将来自声音信号输入终端IO1到IOn的声音信号S1到Sn相加，以 生成第一个相加声音信号(步骤Sll)。第一相加声音信号被提供给抽样转换器H1到Hlri 和全信号加法器15lt)抽样转换器H1将从组信号加法器U1提供的在同样频带中的第一相加声音信号 的抽样频率F1转换成抽样频率F2。同样地，抽样转换器142到Hlri将从组信号加法器U1 提供的在同样频带中的第一相加声音信号的抽样频率F1转换成抽样频率F3到Fk。在同样 频带中的第一相加声音信号被提供给其他混合处理单元I2到Ik的全信号加法器152到15k， 该第一相加声音信号的抽样频率被抽样转换器H1到Hlri转换成在其他频带中的抽样频率 (步骤S12)。全信号加法器K1将从组信号加法器U1提供的在同一频带中的第一相加声音信 号和来自其他混合处理单元I2到Ik的在同一频带中的其他第一相加声音信号(其抽样频 率已被转换)相加，并且输出具有同样抽样频率F1的第二相加声音信号(步骤S13)。从全 信号加法器K1输出的具有相同抽样频率F1的第二相加声音信号被提供给信号减法器Ie1 到 16n。信号减法器Ie1输出通过从第二相加声音信号(第二输入)中减去输入声音信号 (第一输入)所获得的声音信号，该输入声音信号被从声音信号输入终端IO1提供，而第二 相加声音信号被从全信号加法器I5i提供。编码器H1将来自信号减法器Ie1的声音信号 进行编码。同样地，信号加法器收集部件162到16n中的每一个输出通过从第二相加声音 信号(第二输入)中减去声音信号(第一输入)所获得的声音信号，该声音信号(第一输 入)被从声音信号输入终端IO2到IOn中相对应的输入终端提供，而第二相加声音信号被从 全信号加法器15i提供。编码器172到17n将来自信号减法器162到16n的声音信号进行编 码(步骤S14)。编码器H1到17n的输出被经由声音信号输出终端192到19 提供给图2中示出的 信号分类器103(步骤S15)。在其他混合处理单元I2到Ik中，声音混合处理依照与步骤SlO到S15相同的过程 被执行。将通过参照抽样频率的具体数值来说明根据此示例性实施例的声音混合装置的 各自混合处理单元的操作。图2中示出的多个终端200包括第一终端组、第二终端组和第三终端组，第一终端 组发送和接收具有8kHz抽样频率的声音信号(例如，G. 729系统和AMR系统的声音数据)，
10第二终端组发送和接收具有16kHz抽样频率的声音信号(例如，G. 722系统和AMR-WB系统 的声音数据)，第三终端组发送和接收具有32kHz抽样频率的声音信号(例如，AAC系统的 声音数据)。来自第一终端组的声音信号被提供给混合处理单元I1，来自第二终端组的声音信 号被提供给混合处理单元12，以及来自第三终端组的声音信号被提供给混合处理单元13。在混合处理单元I1中，用于来自第一终端组的声音信号的混合处理根据图3中示 出的过程被执行。在此混合处理中，抽样转换器H1将来自组信号加法器U1的同一频带中 的相加声音信号的8kHz抽样频率转换成可由混合处理单元I2处理的16kHz抽样频率。例如，在从8kHz抽样频率到16kHz的上抽样转换中，一个具有值0的样本被插入 到具有8kHz频率的声音信号的样本间，从而生成了具有双倍数量样本的声音信号。所生成 的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于4kHz的频率的频带，从而 获得了具有16kHz抽样频率的声音信号。抽样转换器142将来自组信号加法器U1的同一频带中的相加声音信号的8kHz抽 样频率转换成可由混合处理单元I3处理的32kHz抽样频率。例如，在从8kHz抽样频率到32kHz的上抽样转换中，三个具有值0的样本被插入 到具有8kHz频率的声音信号的样本间，从而生成了具有四倍数量样本的声音信号。所生成 的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于4kHz的频率的频带，从而 获得了具有32kHz抽样频率的声音信号。例如，关于抽样转换的细节，可参照文档“J. 0. Smith的“A Flexible Sampling-Rate Conversion Method(—禾中 M 舌白勺才由 # ■ · .力夕去)，，，Proc. IEEEICASSP，84 第 9 卷，第一部分，112 页到 115 页”。例如，当上抽样转换被执行时，为了防止由混合不同频带的声音信号所致的听觉 不适，可应用用于在高频带加入伪信号的频带扩展处理。例如，关于频带扩展处理的细节， 可参照文档"Yan Ming Cheng, 0. Shaughnessy禾PD. Mermelstein 的"Statistical Recovery of Wideband Speech from Narrowband speech(从窄带语音到宽带语音的统计恢复)”，语 音和音频处理(Speech and Audio Processing)，IEEE Transactions，卷 2，第 4 期，1994 年 10月，544页到548页”。同样在混合处理单元I2中，用于来自第二终端组的声音信号的混合处理根据图3 中示出的过程被执行。在此混合处理中，抽样转换器21将来自组信号加法器132在同一频 带中的相加声音信号的16kHz抽样频率转换成可由混合处理单元I1处理的8kHz抽样频率。例如，在从16kHz抽样频率转换到8kHz抽样频率的下抽样中，在具有16kHz抽样 频率的声音信号经过仅允许传输等于或低于4kHz的频率的频带的限频带滤波器之后，声 音信号的数据被每两个样本地稀疏化，从而获得了具有8kHz抽样频率的声音信号。抽样转换器242将来自组信号加法器132的同一频带中的相加声音信号的16kHz 抽样频率转换成可由混合处理单元I3处理的32kHz抽样频率。例如，在从16kHz抽样频率到32kHz的上抽样转换中，一个具有值0的样本被插入 到具有16kHz频率的声音信号的样本间，从而生成了具有双倍数量样本的声音信号。所生 成的声音信号经过限频带滤波器，该滤波器仅允许传输等于或低于8kHz的频率的频带，从 而获得了具有32kHz抽样频率的声音信号。
同样在混合处理单元I3中，用于来自第三终端组的声音信号的混合处理根据图3 中示出的过程被执行。在此混合处理中，抽样转换器31将来自组信号加法器133在同一频 带中的相加声音信号的32kHz抽样频率转换成可由混合处理单元I1处理的8kHz抽样频率。例如，在从32kHz抽样频率转换到8kHz抽样频率的下抽样中，在具有32kHz抽样 频率的声音信号经过仅允许传输等于或低于4kHz的频率的频带的限频带滤波器之后，声 音信号的数据被每三个样本地稀疏化，从而获得了具有8kHz抽样频率的声音信号。抽样转换器342将来自组信号加法器132的同一频带中的相加声音信号的32kHz 抽样频率转换成可由混合处理单元I2处理的16kHz抽样频率。例如，在从32kHz抽样频率转换到16kHz抽样频率的下抽样中，在具有32kHz抽样 频率的声音信号经过仅允许传输等于或低于SkHz的频率的频带的限频带滤波器之后，声 音信号的数据被每两个样本地稀疏化，从而获得了具有16kHz抽样频率的声音信号。根据如上所述的抽样频率的转换处理，在根据频带提供的混合处理单元的每个处 理单元中，提供给处理单元的声音信号可与提供给其他混合处理单元的声音信号相混合。如上所述，在根据本示例性实施例的声音混合装置中，混合处理单元I1到Ik的每 一个将在同一频带中的已输入相加声音信号的抽样频率转换成可由其他混合处理单元处 理的抽样频率。另外，混合处理单元I1到Ik的每个处理单元将其自己生成的在同一频带中 的相加声音信号与抽样频率被转换成其自己可处理的抽样频率并从其他混合处理单元提 供的在同一频带中的相加声音信号相加，以生成具有同一抽样频率的相加信号。混合处理 单元I1到Ik的每一个从具有同样抽样频率的相加信号中减去输入声音信号，并将作为相减 的结果所获得的声音信号进行编码。根据上述配置，通过将在同一频带中的相加声音信号的抽样频率转换成可由其他 混合处理单元处理的抽样频率，以及通过将自己生成的在同一频带的相加声音信号与其抽 样频率被转换成自己可处理的抽样频率并从其他混合处理单元提供的在同一频带的相加 声音信号相加，混合处理单元I1到Ik的每一个处理单元可混合在多个不同频带的声音。因 此，例如，可以在不同频带发送和接收声音信号的终端间提供多点会议服务，诸如使用电话 频带的终端和使用宽带的终端之间。当混合处理单元I1到Ik的每个处理单元将由处理单元生成的在同一频带中的相 加声音信号与在同一频带的相加信号相加时，该相加信号的抽样频率被转换成该处理单元 的抽样频率并由其他混合处理单元所提供，处理单元可将伪声音信号与相加信号相加，所 述伪声音信号具有预先设置的高频分量。这使得可以防止当上抽样转换被执行时，由混合 不同频带的声音信号所致的听觉不适以及提升具有低抽样频率的信号的声音质量。根据本示例性实施例的声音混合装置是本发明的一个示例。可以在不偏离本发明 的精神的条件下，恰当地变更配置和操作。例如，在图1中示出的声音混合装置中，混合处理单元I1到Ik可使用输出自全信 号加法器15i到15k的声音信号或通过对输出声音信号进行编码所获得的声音数据作为其 输出信号。在图1中示出的声音混合装置中，混合处理单元I1到Ik的编码器(例如，编码器 H1到HkJT1到27k，和37i到37k)可以是预测编码器。在图1和图2所示的配置中，解码器和信号分类器可被提供在声音混合装置或接收机中。图2中示出的多点会议服务器可由根据程序操作的计算机系统来实现。该计算机 系统的一个主要部分包括收集程序、数据等的存储器设备、诸如键盘和鼠标之类的输入设 备、诸如LCD (液晶显示器)的显示设备、诸如调制解调器之类的与外界通信的通信设备、诸 如打印机的输出设备，以及控制设备(CPU:中央处理单元)，该控制设备根据存储在存储器 设备中的程序运行，从输入设备接收输入，并控制通信设备、输出设备和显示设备的操作。 作为可被使用的程序，致使CPU执行图3中示出的混合处理的程序被存储在存储器设备中。 该程序可通过记录介质或因特网被提供。作为可使用的程序，致使DSP (数字信号处理器) 执行图3中示出的混合处理的程序也可被提供。如上所述，根据本发明，因为可以对具有不同抽样频率的多个频带执行用于混合 声音信号的声音混合，所以可以在终端间提供多点会议服务，该终端在不同频带发送和接 收声音(语音)信号，例如，使用电话频带的终端和使用宽带的终端之间。因此，可以实现 在多点声音会议服务中的便利性的改进。除了提供多点会议服务的系统外，本发明可被应用于执行声音混合的通用装置。 例如，本发明可被应用于提供各种媒体服务的系统。系统由3GPP指定的MRF(媒体资源功 能)和与呼叫控制单元相对应的MRCF (媒体资源控制功能)来实现。MRF和MRCF被使用以 实现所谓的多点会议系统的多点控制装置(MCU 多点控制单元)的功能。虽然本发明通过参照示例性实施例来被说明，但是本发明并不限于上述示例性实 施例。本领域的技术人员应当理解，在不偏离本发明的精神的范围内，可对本发明的配置和 操作进行多种修改。本申请基于并要求于2008年2月4日递交日本专利局的第2008-23976号日本专 利申请的优先权，其内容通过引用被结合于此。
权利要求
一种包括根据抽样频率而设置的多个混合处理单元的声音混合装置，其中多个混合处理单元的每个处理单元将同一抽样频率的输入声音信号相加以生成第一相加声音信号，将第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽样频率，将已转换至该抽样频率的声音信号提供给其他混合处理单元，以及将自己生成的第一相加声音信号与已转换至自己可处理的抽样频率并从其他混合处理单元提供的第一相加声音信号相加，以生成第二相加声音信号。
2.如权利要求1所述的声音混合装置，其中，所述多个混合处理单元的每个处理单元 对于具有相同抽样频率的输入声音信号的每一个生成相减声音信号，并且将所述相减声音 信号进行编码，所述相减声音信号是通过从所述第二相加声音信号中减去输入声音信号获 得的。
3.如权利要求1或2所述的声音混合装置，其中，所述多个混合处理单元的每个处理 单元将伪声音信号与所述第二相加声音信号相加，所述伪声音信号具有预先设置的高频分量。
4.如权利要求1到3的任一个所述的声音混合装置，其中，所述多个混合处理单元的每 个处理单元包括组信号加法器，该组信号加法器将具有同样抽样频率的输入声音信号相加以生成所述 第一相加声音信号；全信号加法器，该全信号加法器将由所述组信号加法器所生成的第一相加声音信号与 已转换到所述处理单元可处理的抽样频率且从其他混合处理单元提供的第一相加声音信 号相加，以生成所述第二相加声音信号；多个信号减法器，该多个信号减法器是针对具有相同抽样频率的所述输入声音信号的 每一个而设置的，接收所提供的输入声音信号作为第一输入，接收由所述全信号加法器生 成的所提供的所述第二相加声音信号作为第二输入，以及从所述第二输入中减去所述第一 输入；以及多个编码器，该多个编码器分别对从所述多个信号减法器输出的声音信号进行编码。
5.一种声音混合方法，包括第一步骤，根据抽样频率将具有不同抽样频率的多个输入声音信号分类为多个组；第二步骤，对于在第一步骤中已被分类的每个组，将具有相同抽样频率的输入声音信 号相加以生成第一相加声音信号，将所述第一相加声音信号的抽样频率转换成其他组中可 处理的抽样频率，以及将已转换至所述抽样频率的声音信号分配给其他组；以及第三步骤，对于在第一步骤中已被分类的每个组，将在该组中生成的第一相加声音信 号与已转换至该组中可处理的抽样频率且从其他组分配的第一相加声音信号相加，以生成 第二相加声音信号。
6.如权利要求5所述的声音混合方法，还包括如下步骤在所述第一步骤中已被分类 的组中的每一个中，对具有相同抽样频率的声音输入信号的每一个生成相减声音信号并对 所述相减声音信号进行编码，该相减声音信号是通过从所述第二相加声音信号中减去所述 输入声音信号获得的。
7.如权利要求5或6所述的声音混合方法，还包括如下步骤在所述第一步骤中已被 分类的所述组中的每一个中，将伪声音信号与所述第二相加声音信号相加，所述伪声音信2号具有预先设置的高频分量。
8. —种经由网络与多个通信终端相连接的多点会议服务器，所述多点会议服务器包括信号分类器，该信号分类器根据抽样频率对从所述多个通信终端接收的多个声音信号 进行分类；以及多个混合处理单元，该多个混合处理单元根据抽样频率被设置，其中所述多个混合处 理单元的每个处理单元将具有相同抽样频率的输入声音信号相加以生成第一相加声音信 号，将所述第一相加声音信号的抽样频率转换成其他混合处理单元可处理的抽样频率，将 已转换至所述抽样频率的声音信号提供给其他混合处理单元，以及，将由自己生成的第一 相加声音信号与已转换至自己可处理的抽样频率且从其他混合处理单元提供的第一相加 声音信号相加，以生成第二相加声音信号。
全文摘要
一种声音混合装置包括根据抽样频率设置的混合处理单元11到1k。混合处理单元11到1k的每一个将具有相同抽样频率的输入声音信号相加以生成第一相加声音信号，将该第一相加声音信号的抽样频率转换成可由其他混合处理单元处理的抽样频率，以及将已转换至该抽样频率的声音信号提供给其他混合处理单元，将由自己生成的第一相加声音信号与已转换至自己可处理的抽样频率且从其他混合处理单元所提供的第一相加声音信号相加，以生成第二相加声音信号。
文档编号H04M3/56GK101926159SQ200980102938
公开日2010年12月22日 申请日期2009年1月28日 优先权日2008年2月4日
发明者伊藤博纪, 小泽一范 申请人:日本电气株式会社