专利名称：基于音频特征的收视率调查系统及收视信息检索方法
技术领域：
本发明涉及一种基于音频特征的收视率调查系统及收视信息检索方法。
背景技术：
目前收视率调查的作用已日渐凸显，它不仅有利于帮助电视台更好的编排广告、 评估节目选题及制作效果，还有利于电视台更有针对性的进行栏目规划和设计，最大效益、 高效地利用节目的时间和音/视频资源，实现电视台、观众以及广告商多方的信息传播、经 济效益和收视效果。以往的收视率统计方法存在频道信息采集设备专用、编码标准复杂，受 地域限制，应用推广中设备通用性差、统计数据有局限等缺点。
发明内容
本发明的目的就是为了解决上述问题，提供一种不受地区、国界限制，具有广泛适
用性和推广性等优点的基于音频特征的收视率调查系统及收视信息检索方法。 为实现上述目的，本发明采用如下技术方案 —种基于音频特征的收视率调查系统，它主要由用户端数据采集系统和中心端数
据处理系统两大部分构成，用户端数据采集系统包括音频采集模块、特征提取模块、数据编
码存储模块及发送模块，其中音频采集模块采集电视机AV端子的音频信号，音频采集模块
与特征提取模块连接，特征提取模块对音频信号进行谱能量特征提取，提取的数据经编码
打包送入数据存储模块，数据存储模块再通过发送模块定期发送数据到中心端数据处理系
统；中心端数据处理系统包括相应的接收模块和数据处理模块，数据处理模块根据采集的
音频信号与标准音频库中各收视台的标准音频信号进行比对，搜索出与采集的音频信号相
匹配的标准音频信号所对应的收视台码信息，据此统计电视台的收视率。 —种基于音频特征的收视率调查系统的收视信息检索方法， 1)采集电视机AV端口的音频数据；采集音频数据时，利用用户遥控器发出的频道 切换码作为每个频道音频数据采集的起始计时标记，并按固定采集包长TC跟踪记录用户 收看频道的音频数据的头包和尾包或只有头包。根据收看时长不同，有以下几种情况
收看时长〈一个包长TC，不予记录数据
TC < =收看时长< 2WC，只记录头包 收看时长>=2WC，记录头包+尾包(注尾包要不断跟踪、刷新，是切换台码前 最近时刻的尾包)。 2)对采集到的音频数据提取其谱能量特征作为音频特征矢量，提取时将两次频道 切换间采集的第一个有效收视时长(设为包长TC)的音频数据作为头包，并继续按有效包 长不断采集并刷新第二个数据包的起始时刻和采集数据，以此作为尾包，并将头包或尾包 的属性、各包对应的起始时刻和相应的音频特征矢量数据编码打包，加以存储；若用户收看 某频道的收视时长达不到一个有效收视时长(即包长)，则作为无效收视，不予记录存储； 若用户收看某频道的收视时长大于一个包长而小于两个包长，则只记录存储头包的数据，即单包情况；若用户收看某频道的收视时长大于等于两个包长，期间不论长短，尾包始终跟踪记录切换频道或断电前的最后一个有效包长的起始时刻和音频数据，并以两个数据包(头包+尾包)的形式加以记录存储，即双包情况。这样，基于音频特征的用户收视频道音频数据便以一系列的"头包+尾包"或仅有"头包"的形式按频道切换时间顺序依次存储起来。 谱能量特征提取方法为，逐帧对指定通带上对应频谱幅度值的能量做统计平均，即将采集的每个包长音频数据按帧长依次截取，每帧经P点(P为2的整次幂)FFT变换，在频域上将采样覆盖的整个频率范围划分成指定的M个通带，算出各通带对应的谱能量，其中去除因电视机的高/低音响变化导致谱能量特征值出现较大波动的通带；同时，对选定通带上的幅值做能量归一，以避免同一音段因音量变化导致谱能量特征值大小不一的情况。 3)上述音频特征数据存储到数据编码存储模块，并定期自动上传到中心端数据处理系统； 4)中心端数据处理系统对接收的音频数据判断其是头包还是尾包，然后从中心端
数据处理系统的各频道音频标准库中提取各频道与头包或尾包对应时刻的标准音频数据
段，并对其按照步骤2)中提取谱能量特征相同的计算方法提取各标准台对应音频段谱能
量特征，组成标准音频特征矢量集，将头包音频特征矢量和尾包音频特征矢量分别与标准
音频特征矢量集做距离比对，距离最小者的标准音频所对应的频道台号，即为相应的头包
的台号X或尾包的台号Y ;比对台号X与台号Y是否相等，如两者相等，则该台号即为检索
出的正确台号；如两者不相等，则进行二次检索，二次检索后得到的台号即为正确台号； 二次检索过程为，将接收的头包音频特征矢量和尾包音频特征矢量组成一个测试
联合特征矢量，同时将初判得出的头包和尾包不同频道号对应的标准库对应时段的候选音
频也分别按对应顺序组成候选联合特征矢量，将测试联合特征矢量与两个候选联合特征矢
量再分别作距离计算，取其中距离最小者，其对应台号即为最终检索出的频道号。 5)中心端数据处理系统以得到的正确台号为基础作收视率统计。 本发明提出了一种通用的音频特征低比特收视信息编码和检索方法，用于收视率
调查系统用户端数据采集设备和中心端数据处理频道检索，以改变目前收视率调查装置不
通用问题。本发明利用电视机AV端口的音频信号作频道信息采集点，通过对指定频带上音
频谱能量特征的编码压縮，在标准音频库中搜索出相应的频道号。收视频道号检索中，采用
搜索步长加时间余量的定位搜索方法将用户端设备与中心端设备的时钟误差降至最低；通
过适当划分和选择音频数据的通带、并对谱能量作归一，可适应用户各种电视机音频在音
量和频响上的改变，以提高收视频道号检索的鲁棒性；采用二次检索算法，对初次检索匹配
有歧义的数据包再作细判，以保证频道号检索的一致性；对用户其它非常规收视(如看录
像)的音频数据，通过设定匹配距离门限值，对非标准库音频数据予以剔出。 本发明的有益效果是音频信号取自AV端口 ，不受收视用户背景音干扰，具有很
强的抗扰性；端口通用，设备接插、安装方便；用户端系统构成简单，制造成本低；数据压縮
率高，传输数据快捷、费用低；检索方法可靠、效率高，错误率低；不依赖任何编码或解码标
准，可不受地区、甚至国界限制，系统有广泛适用性和推广性。
图1为本发明的整个系统结构及组成框图； 图2为本发明中心端和用户端数据收/发中数据包的记录或传输格式示意图； 图3为本发明中心端数据处理系统检索算法中二次检索过程流程图； 图4为本发明用户端数据采集模块中音频数据采集流程框图； 图5为本发明用户端特征提取模块中计算音频特征矢量流程框图； 图6本发明中心端数据处理系统对任意待测包(头包或尾包)检索频道号算法流
程框图； 图7a为不同音量下同一频道音频特征矢量各参量分布图； 图7b为能量归一后不同音量下同一频道音频特征矢量各参量分布图； 图7c为频带优化且能量归一后频道2增强低音的实验结果； 图7d为频带优化且能量归一后频带2增强高音的实验结果。 其中，l.音频采集模块，2.特征提取模块，3.数据编码存储模块，4.发送模块， 5.接收模块，6.数据处理模块。
具体实施例方式
下面结合附图与实施例对本发明做进一步说明。 图1中，它主要由用户端数据采集系统和中心端数据处理系统两大部分构成，用 户端数据采集系统包括音频采集模块1、特征提取模块2、数据编码存储模块3及发送模块 4，其中音频采集模块1采集电视机AV端子的音频信号，音频采集模块1与特征提取模块2 连接，特征提取模块2对音频信号进行特征提取、编码打包后送入数据编码存储模块3，数 据编码存储模块3再通过发送模块4定期发送数据到中心端数据处理系统；中心端数据处 理系统包括相应的接收模块5和数据处理模块6，数据处理模块6根据采集的音频信号与标 准音频库中各收视台的标准音频信号进行比对，搜索出采集的音频信号所匹配的标准音频
信号所对应的收视台码信息，据此统计电视台的收视率。
本发明的检索方法为 第一步，进行取自AV端口的音频数据采集；利用用户遥控器发出的频道切换码作 为音频数据采集的起始计时标记，并按数据包长TC跟踪记录用户收看频道的音频特征；根 据声音特征具有短时平稳性的特点，其中音频特征数据按帧长FL逐帧作FFT频谱变换、提 取指定频带的M个谱能量特征，并作能量归一，构成音频特征矢量ET = [ET1， ET2， . . . ， ETM]， 此处下标T表示测试包特征，并将头包或尾包的属性、各包对应的起始时刻和相应的音频 特征矢量数据编码打包，加以存储。 第二步，对采集到的音频数据提取其谱能量特征作为音频特征矢量，提取时将两 次频道切换间采集的第一个有效收视时长(即包长TC)的音频数据作为头包，并继续按包 长不断采集并刷新第二个数据包的起始时刻和采集数据，以此作为尾包，并将头包或尾包 的属性、各包对应的起始时刻和相应的音频特征矢量数据编码打包，加以存储；若用户收看 某频道的收视时长达不到一个包长，则作为无效收视，不予记录存储；若用户收看某频道的 收视时长大于一个包长而小于两个包长，则只记录存储头包的数据，即单包情况；若用户收 看某频道的收视时长大于等于两个包长，则不论时间长短，尾包始终跟踪记录切换频道或断电前的最后一个有效包长的起始时刻和音频数据，并以两个数据包(头包+尾包)的形式加以记录存储，即双包情况。这样，基于音频特征的用户收视频道音频数据便以一系列的"头包+尾包"或仅有"头包"的形式按频道切换时间顺序依次存储起来。该数据采集处理流程框图见图4，特征提取处理流程框图见图5。按上述记录方法获得该户收视频道音频特征数据包的收/发数据格式，如图2所示。用户端设备将已存储在存储模块中的数据定期
自动上传数据处理中心端。 下面给出一种方案实施例情况。 数据采样频率为16KHz，帧长=30毫秒，包长=3秒，分帧做P = 29 = 512点FFT变换，对应信号有效频带范围0—8KHz，划分成16个等分通带，经优选，去掉第1至第4对高/低音响敏感的通带，选定第5到第16通带为指定M个通带，即M = 12。按图5所示特征提取流程计算谱能量特征，得到相关实验结果，如图7a、图7b、图7c和图7d所示。
第三步，数据处理中心端对收视台号进行检索设收到的每个数据包为测试包，根据测试数据包中的属性码和时间码可知该包时间段(Ti，Ti+TC)，在所有频道(设总共有N个频道)标准音库中选出对应的N个候选音段；鉴于用户端和数据处理中心端的时钟可能存在偏差，引入时间余量方法，即将选出的N段候选音段的时间范围均扩大时长TK，则N个扩大的候选音段时间范围变为(Ti-TK，Ti+TC+TK);设搜索步长为TS，在扩大的N段候选音段中按照搜索步长TS推移、逐一截取包长TC数据段，对截取的一系列标准音库中的音段按如图6所示检索算法提取候选音段谱能量特征矢量，得到NXL个候选音段的特征矢量集:
<formula>formula see original document page 7</formula>
其中该集内任意元素为一个M维矢量，即En,! = (Enll， Enl2， . . . ， EnlM)，是频道号n在扩大音段第1个搜索步长起始的候选段的谱能量特征，n = 1，2，. . . ，N为标准频道编号，N为总频道数，L为各频道扩大音段按搜索步长推移按包长截取的总音段数，即
<formula>formula see original document page 7</formula>
1 = 0， 1， 2， . . . ， L-l，为某标准频道按搜索步长TS截取包长TC的候选音段序号。
设某测试数据包的特征矢量为ET = (ET1，ET2，... ，ETM)，其中，M为包内音频特征矢量中参数个数，即选定通带个数。将ET与标准候选音段特征矢量集中每个矢量Ena进行距离计算，
(式中n = 1，2， . ， N ;1 = 0， 1，2， . ， L-l) 比较这N礼个距离值，取其中距离值最小者对应的频道号n，即为检索出的台号，
同时通过此时的1可确定中心端与用户端设备之间的时间偏差TD情况，即TD = TK-1*TS，
两端时间校准可参照以下情况 TD = 0 ，两端时钟对准 TD > 0，中心端时钟快于用户端 TD < 0，中心端时钟慢于用户端
上述检索处理流程在图1、图6中加以说明。 第四步，如果头包和尾包检索出的台号X和Y相等，则台号检索完成；否则，需进行 二次判决(其流程见图3)，以得出最终的频道号。 第五步，在用户收视音频数据包全部被检索出来的基础上，数据处理中心便可对
频道栏目内容或时段等收视信息作后续统计处理，例如，广告时段收视率统计。 所述第一步中，跟踪记录过程为设定两个包长数据采集工作缓冲区，并顺序由
AV端口采集两段音频信号，进行时域到频域的实时变换处理，时域到频域的转换采用逐帧
对声音信号进行快速傅立叶变换(即FFT)，其傅立叶变换所用点数P可根据帧长FL确定，
具体取值必须是2的整数幂。 谱能量特征提取方法为 设数据采集中某包的起始时刻为Ti，这里i表示来自用户端的任意一个数据包 (其序号无实际意义，因为每个包前端有头尾包标志)，在(Ti， Ti+TC)时段内逐帧截取音频 采样值；设帧长为FL，帧移为FD，通常FD《1*FL，每帧作P点FFT变换，得到若干离散频率 点的幅度值，按选定的M个频带划分求出各对应通带的平均能量，构成一帧谱能量特征矢 量& = (ekl，ek2，... ，ekM) (k= 1，2，…，K)，其中K为每个数据包中包含的总帧数，即K二 TC/FD (或TC/FL，当FD = FL)，将K帧特征矢量按对应通带幅值求统计平均，得到数据包特 征矢量Em' = (ET1' ，ET2' ，...，Etm')。设E^为整个数据包选定通带中的最大平均能 量幅值，其能量归一化过程为
五 ' ￡rm ="^" (m = 1， 2， ， M) 这样，得到该数据包的归一化谱能量特征ETi = (ET1， ET2， . . . ， ETM)。
所述第四步中，二次判决过程为将被测的头包特征矢量(ET1， ET2， . . . ， ETM)和尾 包特征矢量(EW1， EW2， . . . ， EJ组成一个测试联合特征矢量ECT = (ET1， ET2， . . . ， ETM， EW1， EW2， . . . ， EJ ，这里下标CT表示二次检索时待测头、尾包构成联合测试特征，其中尾包特征 矢量中各参数与头包的相同，下标W以示区别来自尾包。同时将初判得出的头包和尾包不 同频道号对应的标准音库对应时段的候选音段也分别按对应顺序组成候选联合特征矢量 Ecx — (Exti， Ext" ， Extm， E皿，EXW2 ， ， EXWM) ， ECY — (EYn， EYT2， ， EYTM， EYWi， E，， ， E丽)， 其中各参数来自标准音库候选X台和Y台对应测试头尾包时段的候选特征参量。被测数据 包的联合特征矢量ECT与标准音库对应音段扩大后按搜索步长TS截取的若干包长的两音段 的联合特征矢量E^和EcY再分别进行距离计算，取其中距离最小者，其对应频道号即为最终 检索出的台号，该处理流程见图3 。 对于标准音库以外的音频(例如看录像)，通过设置匹配距离门限值，当检索得出 最小匹配距离超出距离门限，则判此音频数据为非标准音库音，予以剔除。对于"新闻联播" 这类多频道同时联播情况，参照标准音库多台联播固定时间表，将测试数据包中对应该时 段相关数据截出处理，不再做音频检索和收视信息统计。
8
权利要求
一种基于音频特征的收视率调查系统，其特征是，它主要由用户端数据采集系统和中心端数据处理系统两大部分构成，用户端数据采集系统包括音频采集模块、特征提取模块、数据编码存储模块及发送模块，其中音频采集模块采集电视机AV端子的音频信号，音频采集模块与特征提取模块连接，特征提取模块对采集的音频信号进行谱能量特征提取，提取的数据经编码打包后送入数据编码存储模块，数据编码存储模块再通过发送模块定期发送数据到中心端数据处理系统；中心端数据处理系统包括相应的接收模块和数据处理模块，数据处理模块根据用户端采集的音频信号与标准音频库中各收视台的标准音频信号进行比对，搜索出采集的音频信号所匹配的标准音频信号所对应的收视台码信息，据此统计电视台的收视率。
2. —种权利要求1所述基于音频特征的收视率调查系统的收视信息检索方法，其特征是，1) 采集电视机AV端口的音频数据；2) 对采集到的音频数据提取其谱能量特征作为音频特征矢量，提取时将两次频道切换间采集的第一个有效收视时长数据包作为头包，并按包长不断采集并刷新第二个数据包的起始时刻和采集数据，以此作为尾包，并将头包或尾包属性、各包对应的起始时刻和相应的音频特征矢量数据编码打包，加以存储；若用户收看某频道的收视时长达不到一个有效收视时长即包长，则作为无效收视，不予记录存储；若用户收看某频道的收视时长大于一个包长而小于两个包长，则只记录存储头包的数据，即单包情况；若用户收看某频道的收视时长大于两个包长，期间不论长短，尾包始终跟踪记录换频道或断电前的最后一个有效包长的起始时刻和音频数据，并以两个数据包即"头包+尾包"的形式加以记录存储，即双包情况；这样，基于音频特征的用户收视记录数据便以一系列的"头包+尾包"或仅有"头包"的形式按频道切换时间顺序编码存储；3) 上述音频特征数据存储到数据编码存储模块，并定期自动上传到中心端数据处理系统；4) 中心端数据处理系统对接收的音频数据判断其是头包还是尾包，然后从中心端数据处理系统包含所有频道音频的标准音库中截取各频道与头包或尾包对应时刻的标准音频数据段，并对其按照与步骤2)提取谱能量特征的相同处理方法计算出各标准音频谱能量特征，并作为标准音频特征矢量集，将头包音频特征矢量和尾包音频特征矢量分别与标准音频特征矢量集做距离比对，距离最小者的标准音频所对应的频道台号，即为相应的头包的台号X或尾包的台号Y ;比对台号X与台号Y是否相等，如两者相等，则该台号即为检索出的正确台号；如两者不相等，则进行二次检索，二次检索后得到的台号即为正确台号；5) 中心端数据处理系统以得到的正确台号为基础作收视率统计。
3. 如权利要求2所述的基于音频特征的收视率调查系统的收视信息检索方法，其特征是，所述步骤1)中，采集音频数据时，利用用户遥控器发出的频道切换码作为音频数据采集的起始计时标记，并按有效收视时长跟踪记录用户收看频道的音频数据。
4. 如权利要求2所述的基于音频特征的收视率调查系统的收视信息检索方法，其特征是，所述步骤2)中，谱能量特征提取方法为，逐帧对指定通带上对应频谱幅度值的能量做统计平均，即将采集的每个包长音频数据按帧长截取，经FFT变换，在频域上将每帧数据覆盖的整个频率范围划分成指定的M个通带，算出各频带对应的谱能量，其中去除了因电视机的高/低音响变化导致谱能量特征值出现波动的通带；同时，对选定通带上的幅值做 能量归一，以避免同一音段因音量变化导致谱能量特征值大小不一的情况。
5. 如权利要求2所述的基于音频特征的收视率调查系统的收视信息检索方法，其特征 是，所述步骤4)中，数据处理中心端对收视台号进行检索时，鉴于用户端和数据处理中心 端的时钟可能存在偏差，引入时间余量方法，即将选出的各候选音段的时间范围均扩大时 长，并在各扩大的候选音段中按照搜索步长推移、逐一截取数据包长，对截取的一系列标准 音库中的音段按步骤2)的方法提取候选谱能量特征矢量，得到候选音段特征矢量集。
6. 如权利要求2所述的基于音频特征的收视率调查系统的收视信息检索方法，其特征 是，所述步骤4)中二次检索过程为，将接收的头包音频特征矢量和尾包音频特征矢量组成 一个测试联合特征矢量，同时将初判得出的头包和尾包不同频道号对应的标准库对应音段 的候选音频也分别按对应顺序组成候选联合特征矢量，将测试联合特征矢量与两个候选联 合特征矢量再分别作距离计算，取其中距离最小者，其对应台号即为最终检索出的频道号。
全文摘要
本发明涉及一种基于音频特征的收视率调查系统及收视信息检索方法。它具有不受地区、国界限制，不依赖任何编码标准、不受环境噪声、音量及频响变化的影响、有广泛适用性和推广性等优点，其结构为用户端包括音频采集、特征提取、数据存储及发送模块，数据处理中心包括接收模块和通用微机或小型机处理模块。音频采集模块与电视机的AV端连接，采集后的音频信号送入特征提取模块提取指定通带特征、并做能量归一处理，处理后的数据经编码打包存入存储模块，最后，通过发送模块定期/定时(如每月初)以有线或无线方式上传记录的收视用户频道音频特征数据。数据处理中心端对接收到的数据采用本发明提出的音频检索方法对收视信息作统计处理。
文档编号G10L15/00GK101720048SQ20091025831
公开日2010年6月2日 申请日期2009年12月4日 优先权日2009年12月4日
发明者王晓霞, 田岚, 赵静 申请人:山东大学