校正直播节目中互动时间的方法与系统与流程

本发明涉及一种校正互动活动时间的方法与系统，特别是在一直播节目中根据节目内容的特征值校正其中互动活动时间的方法与系统。

背景技术：

一般电视节目或是广播节目的制播单位可提供预录节目播送，仅单向的内容播送而已；另有播送现场节目(live program)的节目，这类节目进行中可以接受拨入(call-in)服务，由观众或听众拨入表示意见，但一次仅有一位观众或听众参与。或有情况是，现场的直播节目可以接受观众通过简讯或是特定管道发表意见，再由电视节目的切割画面的某一显示区域显示这些通过简讯或特定管道接收的信息。

随着智能型行动装置与网络之普及，使得原本提供电视或广播节目的节目制播单位可以提出通过智能型行动装置执行互动的节目。举例来说，电视或广播节目可以提出实时互动的游戏，而听众或观众手持的行动装置中可以安装并执行对应的软件，当互动游戏开始时，行动装置上的软件将可同步运行，例如，当主持人提出问题时，听众或观众可以通过执行于行动装置上的软件响应，由节目制播单位端的伺服主机回收听众或观众通过前述软件所响应的内容。藉此可达到广播或电视节目一次与广大的听众或观众互动，而没有过去一次仅与一位听众或观众实时互动的限制。

不过，此类应用行动装置经由网络与节目制播单位端的伺服主机互动的模式也会遭遇问题，主要是因为每个听众或观众所使用的网络环境不 同，节目因为不同的传输方式，例如数字有线、模拟有线、数字广播等，会有不同的延迟时间，使得使用者进行互动游戏时会与电视节目不同步，将会造成与游戏或是特定互动活动无法正确判断回收自听众或观众信息的时间，如果节目结果与响应时间顺序有关，会影响其公平性。

技术实现要素：

当广播或电视节目通过网络接收自听众或观众利用各式用户装置产生响应的情况下，如果仍要求正确判断出发出响应的时间顺序，本发明公开内容即提出一种校正直播节目时间的方法与系统，其主要手段之一就是藉由播送内容中的特征值作为时间基准点，用以校正直播节目中互动活动的启始与结束时间，避免因为网络传输延迟造成互动活动与进行中的节目不同步的问题。

在校正直播节目中互动时间的方法其中之一实施例中，用户操作一装置自一直播节目系统接收具有特征信息的直播内容，如直播形式的电视节目或广播节目，用户装置内以信号处理手段辨识以取得直播内容中的特征时间，接着自一互动伺服系统接收互动内容，并取得此互动活动的启始时间，如此可以计算特征时间与互动活动启始时间的一时间差，当参与此互动活动的用户操作装置产生一互动消息时，可以根据前述时间差，并以特征时间为基准而校正互动消息产生的时间，再传送互动消息至互动伺服系统。

于是，当互动伺服系统接收到互动消息时，可以因此还原至正确的响应时间，藉此排除直播节目中互动活动因为传输延迟产生响应时间误差的问题。

在校正直播节目中互动时间的系统中，根据一实施方式，系统主要包括一配合直播节目系统的互动伺服系统与执行于各用户装置的软件程序。

在此互动伺服系统中，将根据直播节目系统产生的一启始信号启始一互动活动，直播节目系统则是播送具有特征信息的直播内容至多个用户装置，此互动伺服系统主要功能模块包括一互动内容模块，能通过数据网络播送互动内容至多个用户装置；另有一信息接收模块，用以回收各用户装置产生的互动消息。

执行于各用户装置的软件程序根据功能可包括内容接收模块，用以自直播节目系统接收具有特征信息的直播内容；内容分析模块，以信号处理直播内容；特征辨识模块，可自直播内容中辨识特征信息，并取得一特征时间；互动内容接收模块，自互动伺服系统接收互动内容；互动活动启始模块，自接收互动内容后起始互动活动，并取得一互动活动启始时间；时间校正模块，用以计算特征时间与该互动活动启始时间的一时间差，并能根据时间差与特征时间校正互动消息产生的时间；以及互动消息产生模块，用以产生互动消息，并传送至互动伺服系统。

本发明亦涉及一种计算机可读取储存装置，其中储存以一用户装置内处理器执行的校正直播节目中互动时间的方法的指令集，指令集包括：自一直播节目系统接收具有特征信息的直播内容的指令、辨识以取得一特征时间的指令、自一互动伺服系统接收一互动内容的指令、取得一互动活动启始时间的指令、计算特征时间与互动活动启始时间的一时间差的指令、产生一互动消息的指令、根据时间差与特征时间校正互动消息产生的时间的指令，以及传送互动消息至互动伺服系统的指令。

于是，当客户端计算特征时间与互动活动启始时间的时间差后，可以藉此校正发出互动消息的时间，使得当互动伺服系统接收到互动消息时，可以还原至正确的响应时间，如此可以排除直播节目中互动活动因为传输延迟产生响应时间误差的问题。

为了能更进一步了解本发明为达成既定目的所采取的技术、方法及功效，请参阅以下有关本发明的详细说明、附图，相信本发明的目的、特征 与特点，当可由此得以深入且具体的了解，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图说明

图1显示为本发明校正直播节目中互动时间的系统架构实施例图；

图2显示为本发明校正直播节目中互动时间的系统流程图；

图3显示为本发明校正直播节目中互动时间的系统功能模块实施例图；

图4显示为本发明校正直播节目中互动时间的方法实施例流程图；

图5显示为本发明校正直播节目中互动时间的系统中时间信息示意图；

图6显示为本发明校正直播节目中互动时间的系统中另一时间信息示意图；

图7显示为本发明校正直播节目中互动时间的系统端方法实施例流程图。

具体实施方式

本发明公开内容提出一种校正直播节目中互动活动时间的方法与实现此方法的系统，其目的之一是解决通过网络参与如电视或广播等直播节目提出的互动活动产生信号延迟的问题。当有直播节目提出一通过数据网络执行的互动活动时，因为参与直播活动的终端用户因为所处网络环境不一，当直播节目的制播单位通过各端用户通过网络传送的响应来判断先后顺序或是活动截止时间时，将使得多人一起参与并需要及时或是抢先响应 的直播活动产生不公平的现象，对此，公开内容所提出的方法系为考虑了各端用户所处网络环境的延迟而校正直播节目启始与结束时间，藉此避免直播活动不公平的问题。

关于公开内容所提出的方法所应用的环境，可参考图1所示之本发明校正直播节目中互动时间的系统架构实施例图。

系统端包括有一直播节目系统10，此为一启始直播节目的制播单位的相关计算机系统，主要是提供直播节目，通过此例显示的电视网络14播送节目至各端终端显示器101,103,106，其中电视网络14可以无线、有线，甚至是数据网络实现，而直播节目即载于这类无线、有线或是数据网络而播送到客户端。直播节目除了电视节目外，更不排除通过无线电波播送的广播节目。终端显示器101,103,106为设于各客户端的电视、显示器等，若以直播广播节目为例，终端装置则为收音机。

系统端包括有一互动伺服系统12，互动伺服系统12为一计算机系统实现的设备，依照功能，可以包括以软件程序与搭配硬件装置实现的互动内容模块121与信息接收模块123。其中，互动内容模块121为对客户端播送互动内容的伺服模块，此例显示互动内容模块12经由数据网络16对各客户端用户装置102,104,105(如手机、平板等行动装置)播送互动内容。互动伺服系统12另以信息接收模块123接收各客户端装置经由数据网络16所回传的信息。

前述用户装置102,104,105参与互动活动的方式之一是需要安装对应此直播节目所提出的活动的互动程序，另也不排除可以通过网页执行互动。

举例来说，当用户于终端通过终端显示器101,103,106接收自直播节目系统10经电视网络14所播送的直播节目，由其中人员宣布开始一互动活动，由直播节目系统10传送一启始信号至互动伺服系统12，此时，多 个客户端用户装置102,104,105将经由数据网络16接收到互动内容，并开始这个互动活动。接着，用户将根据直播节目的指示操作用户装置102,104,105上的互动程序，产生响应，如实时回答问题(是非、选择)、参与投票等。之后，经互动伺服系统12中的信息接收模块123经数据网络16回收客户端传送的信息，经统整后根据活动的属性产生结果。

以上互动活动进行时，每个用户根据直播节目进行响应，但是却会因为所处网络环境产生传输延迟不一的问题，致使互动伺服系统12根据接收信息的时间判断先后顺序，或是活动截止时间的不公平问题。于是，公开内容所提出的校正直播节目中互动时间的方法与实现此方法的系统将对此提出解决方案。

在此校正直播节目中互动时间的方法中，在直播节目系统所播送的节目内容加入可识别的特征信息，如一种水印(watermark)技术，包括看得见与看不见的特征，比如在直播影片中加入事先设定软件可辨识出的图形、片段、编码等，声纹等特征，或在广播音频加入声纹、编码等特征，作为时间校正的参考点。

相关方法实施例可参考图2所示本发明校正直播节目中互动时间的系统流程图。

流程运作于图标中直播节目系统21、互动内容模块23、信息接收模块25与用户装置27之间，其中直播节目系统21提供直播节目，特别为已经加入特征信息的影片或广播音频，互动内容模块23为通过数据网络提供互动活动信息的功能模块，信息接收模块25用以回收用户装置27产生的信息，用户装置27例如终端显示器、行动装置等设备。

在此流程中，客户端的用户装置27使用电视、显示器观看直播节目系统21所播送的直播内容(步骤201)，另不排除由直播节目系统21直播影音或广播节目。客户端除了使用电视等设备观看直播节目外，更通过其 他如行动装置等的用户装置27接收这些影音信息，特别是这些影音或广播音频内容播送前已经由系统合成并入特征信息，特征信息为默认可被执行于用户装置27上的软件程序所辨识的特征，经用户装置27的软件程序辨识到特征时(步骤202)，记录下这个特征时间。

接着，直播节目播送中，将可启始一互动活动，并将相关互动内容经由数据网络传送到用户装置27(步骤203)，由其中的用户装置27相关软件程序接收，开始进行互动。此时，用户装置27已经取得特征时间与互动活动启始的时间差，并据此校正活动时间，并参与活动而产生互动消息(步骤204)，互动消息比如通过用户接口点选的选项、答案等，再回传至系统端的信息接收模块25(步骤205)，由信息接收模块25实时传送到互动内容模块23(步骤207)，或是由信息接收模块25汇整各端传送的信息后，再交付互动内容模块23。

接着，互动内容模块23处理此互动消息(步骤208)，并回传互动结果到用户装置27(步骤209)，结果包括回应是否答对、完成投票、已经接收到、互动活动截止等的信息。

根据发明实施例之一，当系统端(如互动内容模块23)接收各端用户传送的信息后，可以执行统计分析，可以得到参与人数、得出各端用户响应时间的时间点分布等，这些分析内容与结果可以回馈至直播节目系统21(步骤211)，藉此可以作为下次活动的决策参考。

前述当用户装置27接收到直播节目系统21传送的直播节目时，如步骤201，可以软件方法通过信号处理手段辨识其中特征出现的时间，如步骤202，此特征时间作为校正直播节目时间的参考点，其中信号处理系根据信号属性而选择以一视频处理或以一音频处理辨识特征信息。视频处理例如取得影片中每帧的信号，比对默认埋入的特征信息，以辨识出特征所在；若以声纹埋入影片，则可以音频处理比对声纹而取得特征所在；若直播内容为广播节目，则主要采用以音频处理比对声纹的方式。

在进行互动活动时，用户装置27同样可以记录下接收到互动内容而启始互动活动的时间点，如步骤203，于是实时计算互动活动启始时间与特征出现时间点之时间差，这个时间差即用以对照直播节目所产生的互动活动启始时间，校正用户装置27上互动活动的启始时间，并以此补偿传输延迟造成互动活动与直播节目不同步的时间差，之后系统端接收到终端产生的互动消息时，可以还原至正确的响应时间，如此可以排除直播节目中互动活动因为传输延迟产生响应时间误差的问题，并进一步调整互动活动的截止时间。

实现图2所描述的方法流程的各端软件模块可参考图3所示之校正直播节目中互动时间的系统功能模块实施例图，同时搭配图4所描述的方法流程实施例。

图3左方显示在客户端的用户装置(如手机、平板等行动装置，或笔记本电脑等计算机装置)中所运行的软件模块，软件模块如储存于一计算机可读取储存装置的指令集，形式上如安装于用户装置内存储器的软件程序，如行动装置内的应用程序(Application；APP)、软件包或一执行文件，这类软件程序以用户装置内处理器执行，校正直播节目中互动时间的方法的指令集包括自直播节目系统接收具有特征信息的直播内容的指令、辨识以取得特征时间的指令、自互动伺服系统接收互动内容的指令、取得互动活动启始时间的指令、计算特征时间与互动活动启始时间的时间差的指令、产生互动消息的指令、根据时间差与特征时间校正互动消息产生的时间的指令，以及传送互动消息至互动伺服系统的指令。

如图所示，各个软件模块的功能主要包括有内容接收模块301、内容分析模块303、特征辨识模块305、互动内容接收模块307、互动活动启始模块309、时间校正模块311、互动消息产生模块313。

右方显示有直播节目系统32，其中包括有直播节目递送模块321与特征埋入模块323。另提出有互动伺服系统34，其中具有互动内容数据库 341、互动内容递送模块343、互动消息处理模块345，以及互动结果分析模块347。

直播节目系统32表示提供节目内容的制播单位计算机系统，并事先准备加入水印(或其他特征信息)的片头或过场画面，并在直播节目进行中决定每个互动活动开始的时间，比如由节目主持人宣布互动活动开始，这时由互动伺服系统34取得此开始活动的信息，即开始播送互动内容。

在此校正直播节目中互动时间的方法实施例流程中，直播节目系统32在原本直播节目播送时，实时以特征埋入模块323将默认可辨识的特征埋入节目影音内容，或是广播音频中。接着由直播节目递送模块321经由有线或无线方式将具有特征的直播内容(影音、音频等)播送到用户装置上，由用户装置之内容接收模块301所接收，如步骤S401。

接着，在用户装置内，通过内容分析模块303处理接收的直播的影音内容，或是音频。例如，取出串流接收的影音内容的帧(frame)与时间信息，通过特征辨识模块305辨识出其中默认可辨识的特征，如经由每帧影像比对默认的特征信息，如特定图形、符号、埋入的特殊编码、声纹等，藉此辨识得到埋入直播内容(影片、声音)中的特征信息，如步骤S403，并记录特征出现的时间。

接着，由系统端的互动伺服系统34预备互动活动，并根据直播节目的信息开始执行互动活动，互动伺服系统34中的互动内容递送模块343先自互动内容数据库341取得互动内容，经数据网络以网络封包等的形式播送到用户装置，由用户装置的互动内容接收模块307接收，取得互动活动启始时间。互动内容接收模块307在互动活动进行当中会取得互动活动的时间，除上述互动活动的启始时间，还有互动活动进行时间，如有必要，还会包括互动活动回收信息的截止时间。

之后由互动活动启始模块309启始互动活动，如步骤S405，包括通过用户装置的显示设备产生互动画面、互动影音内容等，引导使用者参与活动，并形成互动消息。

在步骤S405互动活动进行期间，执行如步骤S407，实时计算特征时间与互动活动启始时间的时间差，用户装置的時間校正模組311将依据此时间差以及特征时间等时间信息校正互动活动延迟的时间，包括校正互动活动启始时间(步骤S409)，比如调整互动活动结束与回收信息截止时间，更特别的是，当互动活动需要参与活动的用户利用用户装置在活动当中响应，如步骤S411，由用户操作用户装置产生响应的互动消息，時間校正模組311将根据时间差校正响应消息的时间，使得互动消息的时间是以辨识到特征的时间点为基准而校正的，再由互动消息产生模块313传送互动消息到系统端的互动消息处理模块345，之后当互动伺服系统34接收到互动消息时，可以还原至正确的响应时间，如此可以排除直播节目中互动活动因为传输延迟产生的问题，特别是因为数据网络传输信息所产生响应时间误差的问题。如步骤S413所述，调整互动消息产生的时间，或是在某些情况下，使用者迟未响应而到了互动活动结束时间或是回收截止时间，这个时间也经过校正的。

在互动伺服系统34中，当互动消息处理模块345接收来自用户装置传送的互动消息后，包括接收到响应或无响应等的信息，互动结果分析模块347将对这些信息进行统计与分析，让系统端，特别是直播节目的制播单位可以参考其中各端延迟分布状况以及响应时间的分布状况作为下次活动的决策参考资料。

如图5所示，图中显示为一互动活动在本发明系统中运行时的时间轴各项信息。

其中，时间点tx表示在用户装置辨识出直播内容中的特征信息的时间，以此作为校正时间的参考点。接着，系统端传送互动内容，并启始互 动活动，启始活动的时间以时间点ty表示，时间点tx与ty的时间差为时间d1，时间d2表示互动活动进行的时间。

而互动活动自启始时间点ty进行后，到互动活动结束时间点tz之间，使用者可能在时间点ta响应，产生互动消息，这时，互动消息产生的时间将根据前述时间d1与侦测到特征的时间点tx进行校正，才能使得系统端得到的响应时间是在排除传输延迟而使用使用者被公平对待。

若使用者并未在活动期间响应，直至互动活动结束的时间点tz，系统也会取得此未于活动期间响应的互动消息。另有可能是，互动活动结束后，仍开放有一段信息回收的截止时间点td。以上时间点都可以在本发明系统中因为用户特征时间，以及与活动启始的时间差进行校正，让系统端可以在直播节目进行中依据使用者响应时间或响应数量而动态调整互动活动结束或回收截止时间。

以上，当系统端从各端用户在活动进行中接收到各种时间信息，这些时间信息可以储存在系统端数据库，以利往后分析。

图6列举一例，为一直播节目进行中，系统端启始一互动游戏，此游戏需要使用者根据直播节目中主持人提出的问题抢答，或是在预定时间内响应，然后直播节目的制播单位会依据各端响应的时间与内容给予奖励，对此，本发明校正直播节目中互动时间的系统将根据各端延迟的信息校正用户的回传时间，或校正游戏结果回收截止时间，可排除各端使用者参与此游戏会因为网络传输延迟造成响应时间、游戏结束时间或是回收截止时间等误差产生不公平的问题。

先参考图6的A，此为直播节目与互动游戏原始的时间信息，包括时间a表示播送影片开始，影片中埋有特征信息；接着，由用户装置内软件程序辨识出其中特征，特征时间b；经接收到系统端所传送信息，用户装 置接收到互动游戏启动的时间c；时间d为互动游戏结束时间；时间e则是互动游戏回收截止时间。

在图6的B中，此为使用者端因为传输延迟的关系造成各时间点被延迟的范例。此图表示用户装置接收到系统端播送的直播影片时，已经有延迟产生，为时间f，也就是与实际播出时间有了时间差；接着时间g表示为辨识出影片中特征，同样也与默认的特征时间有差；时间h表示在差不多的延迟下启动互动游戏，同理，因为得知此次影片开始的延迟，于是包括游戏结束时间i，但截止时间j可以不用调整。

值得一提的是，此例中截止时间j的调整可以根据过去系统回收信息的分布信息决定是否要延后截止时间，或是不用调整。举例来说，当根据过去回收信息的统计得到大部分接收到用户端传送的信息的绝大部分落于截止时间j前，即可以斟酌不用调整截止时间；反之，根据过去回收时间点的分析，如果大多数人，或是特定门坎下判断的多数人都在截止时间前后，则可能要考虑回收时间的时间调整。

图6的C则表示具有另一延迟时间的范例。时间k表示直播影片开始，显然具实际开始时间有较长的时间差；接着时间l表示辨识到特征信息的时间；时间m为启动游戏的时间；再是，当游戏结束时间n已经迟至原设定回收截止时间，也可能不再调整截止回收时间。

在图6的D中，自影片开始后，用户装置延迟至时间o接收到系统所播送的影片内容，再于一段时间后，于时间p辨识到影片中的特征，接着因着延迟，启动游戏的时间也延至时间q；此例中，在游戏结束之间，以及截止时间s之前，使用者响应了游戏，为时间r，不过，由于之前已经取得特征时间与游戏开始的时间差，使得执行于用户装置上的软件程序可以对响应时间r校正，让响应时间r的计算是以特征点为基准点，能够补偿因为传输等各种环境因素产生的延迟，使得让系统可以取得经过校正而还原的时间。

如果游戏进行是抢答型的游戏，系统端将比对经过校正的响应时间，得到公平的结果；如果游戏是在规定时间内要回收信息的，也可以在经过校正的截止时间内得到响应，不会因为传输延迟而漏失信息所造成不公平的问题。

在本公开内容所提出的校正直播节目中互动时间的方法中，系统端更可根据各终端使用者的响应时间或响应数量进行统计分析，藉此作为往后方法互动游戏的时间决策参考，实施例流程图如图7。

开始如步骤S701，由系统端提供欲进行互动的直播内容，在系统端，如步骤S703，根据预设的时间点在直播内容中埋入特征信息，这个特征时间成为各端用户装置校正互动消息的时间的基准点，也是系统端已知，并作为事后统计分析的信息之一。

之后，如步骤S705，由系统端启始互动活动，并传送到各用户装置上，由用户装置辨识直播内容中埋入的特征，藉此特征时间，以及与互动活动启始时间的时间差，作为校正互动消息的时间依据，如步骤S707，系统接收到用户装置产生的互动消息，并根据用户装置所传送的时间信息调整互动活动时间，包括活动结束时间与回收时间，如步骤S709，形成数据库，如步骤S711，这些数据库内容经统计分析，可以建立一个互动消息回收响应时间或响应数量的分布信息，如步骤S713，藉此形成互动活动(如游戏)的时间决策参考。在一实施例中，系统端可根据各终端使用者的响应时间或响应数量动态调整提供直播内容时间、起始互动活动时间或互动活动截止时间。

举例来说，当累积多人经校正的互动消息时间点形成时间的分布图时，可以得到各种回复时间与/或数量的百分比，或许多数人(在一定百分比内)在互动活动一开始就响应，很少人在接近截止时间才回复，这些信息可以作为往后活动设定截止时间的参考，比如把截止时间缩短。若设定的百分比门坎内的多数人回复接近截止时间，则可考虑拉长截止时间。

是以，在此公开内容所提的校正直播节目中互动时间的方法中，主要是应用在直播节目中提出的互动活动上，由于互动内容与信息是通过网络传递，网络上的延迟将可能影响响应时间，于是此校正方法即藉由事先设定的特征的时间点作为校正直播节目的互动活动的基准点，提供系统端还原产生互动消息的时间，解决因节目传输方式延迟造成不同步的问题，更者，各客户端回传的信息可提供系统端调整互动活动的截止时间的参考。

以上所述仅为本发明的较佳可行实施例，非因此即局限本发明的保护范围，所以凡是运用本发明说明书及附图内容所作的等效结构变化，均同理包含于本发明的范围内，合予陈明。

【符号说明】

直播节目系统10 互动伺服系统12

互动内容模块121 信息接收模块123

电视网络14 数据网络16

终端显示器101,103,106 行动装置102,104,105

直播节目系统21 互动内容模块23

信息接收模块25 用户装置27

传送直播内容201 辨识特征202

传送互动内容203 传送分析内容211

运行时间校正与产生互动消息204

回应互动消息205 传送互动消息207

处理互动消息208 回传互动结果209

内容接收模块301 内容分析模块303

特征辨识模块305 互动内容接收模块307

互动活动启始模块309 时间校正模块311

交互消息产生模块313 直播节目系统32

直播节目递送模块321 特征埋入模块323

互动伺服系统34 互动内容数据库341

互动内容递送模块343 互动消息处理模块345

互动结果分析模块347

时间点tx,ty,ta,tz,td 时间d1,d2

时间a,b,c,d,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s

步骤S401～S413互动时间校正流程

步骤S701～S713系统端方法流程。