专利名称：网络交互环境下视频、音频、控制同步的方法
网络交互环境下视频、音频、控制同步的方法 技术领域-本发明涉及一种将控制代码插入流媒体通过计算机网络进行交互控制对 方硬件或设备，实现视频、音频与控制同步的基于网络视频交互环境下控制 对方硬件或设备的方法。
背景技术：
现有技术大都采用WINDOWS XP提供的单向远程协助功能或其它单向 远程控制软件，上述方法对系统外硬件和设备进行控制比较困难，无法实现 交互双方视频、音频和硬件控制的同步，其他远程控制方式需要计算机硬件 和软件资源；即系统驱动、接口驱动、应用程序等和I/O接口硬件和其它相 关硬件，对于一般专业人员安装、调试比较麻烦、开发周期长、系统的通用 性差，系统的造价高，普通用户实现和使用比较困难。
发明内容
本发明的目的是提供一种基于网络视频交互环境下将控制代码插入流媒 体的方式，同步控制交互对方硬件或设备，实现视频、音频和控制同步的方法。上述的目的通过以下的技术方案实现-一种网络交互环境下视频、音频、控制同步的方法，在网络视频交互状 态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，由控制 板内按键、开关量输入控制电路、模拟转换电路接收通过按键输入或由模拟、 开关量传感器产生控制对方的信息，经控制板处理转换成DTMF控制代码， 通过模拟开关插入音频的R声道或L声道中与USB摄象头获得的视频信号一 起同步转换成流媒体即控制代码插入流媒体方式，经计算机网络接 INTERNET传输，控制对方与控制板连接的各类继电器、可控硅和各类模拟 量执行元件，或通过红外线输出电路遥控外部设备。这个技术方案有以下有益效果l.本发明的技术方案硬件结构简单造价低廉；应用软件开发简单方便、周 期短；不占用系统接口资源，无需驱动；同步性优于现有技术。
2.本发明技术一般人员便可安装、调试、使用；通用性强，只需开发简单 的应用软件便可方便地在移动领域中的手机、PDA(掌上电脑)中应用；或通过对硬件的一些小改动在有线电话通讯系统的可视电话领域应用。
附图1是本发明控制代码时序图；附图2是本发明交互双方系统连接示意图；附图3是本发明各部分结构连接图；附图4是本发明方法的控制卡1的电路结构示意图；附图5是发明方法的工作流程图。附图中各部分说明1控制板1. 1单片机系统1. 2控制数据存储1.3状态显示电路(LED)1.4红外线输出电路(38k载波的红外线遥控信号驱动、输出电路)1.5 DTMF编译码电路 1. 5-1 DTMF编译码器 1.5-2 DTMF码输出1.5- 3 DTMF码输入1.6 DTMF/音频切换电路1.6- 1音频R信号输出(接喇叭) 1.6-2音频R信号输入/DTLM信号输入 1.6-3音频L信号输出(接喇叭) 1.6-4音频L信号输入1.6-5音频L信号输出 1.6-6话筒R信号输出/DTMF输出 1.6-7话筒R信号输入(接话筒) 1.6-8话筒L信号输入(接话筒) 2输入/输出电路
2.1 A/D转换、预处理电路(温度/压力…等模拟量传感器的控制电路) 2.2按键、开关量输入控制电路(连接各类开关、按键、开关量传感器) 2.3开关量隔离、驱动电路(接连各类继电器、可控硅等驱动元件) 2.4 D/A隔离、驱动电路(接连各类模拟量执行元件) 3计算机 3. 1 USB接口 3. 2接INTERNET 3.3声卡喇叭R信号输出 3.4声卡喇叭L信号输出 3. 5声卡立体声话筒R信号输入 3. 6声卡立体声话筒L信号输入 4喇叭或耳机 5立体声话筒 6 USB摄像头 本发明的
具体实施例方式
实施例l:网络交互环境下视频、音频、控制同步的方法，(网络视频交互环境是指网络视频聊天、交互式网络课程、网络视频会议等状态)如图1、 2、 3、 4、 5 所示。交互双方控制板1的控制信号\音频信号R 1.6-6与计算机3声卡的 立体声话筒输入R 3.5连接，控制信号通过声卡输出R 3.3 (喇叭R声道/或 L声道或线路输出R声道/或L声道)；声卡喇叭输出L 3. 4进入控制板1的音 频R信号输入端1. 6-2，在网络视频交互状态下，交互一方计算机3连接的控 制板1由输入/输出电路2的A/D转换、预处理电路2. 1，通过模拟传感器获 取的模拟量信息，和开关量输入控制电路2.2通过按键或开关量传感器获取 的开关量信息，通过单片机系统1. 1控制下的DTMF编译码电路1. 5转换成4 位DTMF编码信号,通过DTMF/音频切换电路1. 6切换,经话筒R信号输出/DTMF 输出1. 6-6插入与计算机话筒输入端3. 5连接的R (右)声道，同时将话筒R (右)声道话筒R信号输入端1.6-7输出信号切换至L (左)声道(保证在控 制信号传输过程中本地声音信号的正常输出)，当这一过程结束，控制板l回
到初试状态。这样控制信号与本机的音频信号及USB摄象机获得的视频信号 经计算机3处理转换为同步的流媒体信号，通过网络同步传送至交互的另一 方，实现视频信号、音频信号、控制信号的同步。由交互另一方计算机3收 到通过网络传入的流媒体信号，分离出包含有控制代码的音频信号，通过计 算机3声卡喇叭输出R 3.3进入控制板1的音频R声道输入/DTLM信号输入 端1.6-2，由单片机系统1.1控制下的DTMF编译码电路1.5译码和单片机系 统1.1的处理转换成控制信号，通过与输入/输出电路2连接的开关量隔离、 驱动电路2.3接连放各类继电器、可控硅等驱动各类开关量执行元件和D/A 隔离、驱动电路2. 4接连各类模拟量执行元件或通过红外线输出电路1.4用红 外线方式控制具有红外遥控功能的电器设备。同时将音频R信号输出1.6-1 信号切换至音频L (左)信号输出端1.6-3，保证在控制信号接收过程中二个 喇叭输出音频信号，当这一过程结束，控制板1系统回到初始状态。 实施例2:
网络交互环境下视频、音频、控制同步的方法，如图l、 2、 3、 4、 5所示， 网络视频交互双方计算机3声卡喇叭的R、 L输出端3.3、 3.4 (或线路输出端) 通过连接电缆分别与控制板1的音频R信号输入/DTLM信号输入1.6-2、音频L 信号输入1.6-4连接，立体声话筒R声道输入端3.5/L声道输入端3.6分别与控 制板1话筒L信号输出1.6-5、话筒R信号输出1.6-6连接，外接喇叭或耳机4的 R声道/L声道输入端和外接立体声话筒R声道/L声道输出端分别与控制板1的 音频R信号输出端1.6-1、音频L信号输出端1.6-3和话筒R信号输入端1.6-7、 话筒L信号输入端1.6-8连接。
网络视频交互环境下控制交互对方硬件和电器设备的控制板有3种状态， 即初始状态、主控状态、被控状态。
初始状态，从计算机3声卡喇叭输出端R声道3.3/和输出端L声道3.4输 出的音频信号进入控制板1 DTMF/音频切换电路1.6的音频R信号输入端1.6-2 和音频L信号输入端1.6-4，在单片机系统1.1 P1.6端口控制下DTMF/音频切换 电路1.6的SW1的状态为保持音频R信号输出端1.6-1与音频R信号输入1.6-2 连接；音频L信号输入端1.6-4与音频L信号输出端1.6-3直接连接；计算机3 的R声道/L声道音频信号通过音频R信号输出端1.6-1/音频L信号输出端1.6-
进入外接喇叭或耳机4。立体声话筒5的R声道/L声道输出信号进入DTMF/ 音频信号切换电路1.6的话筒5的R信号输入端1.6-7/话筒L信号输入端1.6-8, 在单片机系统1. 1的P1.5控制下DTMF/音频信号切换电路1.6 SW2的初始化 状态为保持1.6-5与话筒R信号输入端1.6-7连接，话筒L信号输入端1.6-5 与话筒L信号输入端1.6-8直接连接，即立体声话筒5输出的音频信号通过上 述连接进入计算机声卡的话筒输入R端3.5/声卡立体声话筒输入L端3.6，既计 算机音频系统功能不变。
主控状态，控制板l内单片机系统l.l的P0 口 (定义为输入端口)及相关 电路与输入/输出电路2的模拟量采样和预处理电路2.1连接，该电路与温度/ 压力…等模拟量传感器连接；连接有按键、开关量传感器的开关量输入控制电 路2，2也与单片机系统U的P0 口及相关电路连接；同时P0 口 、 INTO (注 中断接口)等相关电路与DTMF编译码器1.5-1的D0 D3端及其它相关电路 连接。单片机系统1.1初始化后进入等待中断申请和对P0 口和相关接口扫描状 态，在单片机系统l. l相关电路控制下，DTMF编译码电路1.5交替进入编码 和译码状态。在编码状态，从P0 口获得来至A/D转换、预处理电路2. 1的模拟 量信号和按键、开关量输入控制电路2. 2的开关量输入信号后，进行处理和A/D 转换；调用存储器1.2中预先设定的控制程序，处理结果经过DTMF编译码电路 1. 5的编码转换成4位DTMF码，通过DTMF编译码电路1. 5的DTMF码输出端 1. 5-2输出。(这里一位DTMF代码构成一位16进制数，其中4位DTMF码的第1 位为识别码，即16进制数A-D中一个，第2位是控制地址码即卜F，最多可控 制16种设备；第3、 4位是控制量码，控制分辨率精度为00-FF。 1位指令占 100ms时间段，在100ms时间片，DTMF信号持续50ms，间隔50ms为0电平， 即1条完整控制指令占用400ms，见图一，如果交互双方仅为开关量控制，控 制指令为3位DTMF码，控制量码为1位这样1条完整控制指令占用300ms时间。) 在单片机系统1. 1的Pl. 6 口控制下，模拟开关1. 6的SW2切换与立体声话筒5 连接的R声道信号1. 6-7至话筒L信号输出端1. 6-5，使DTMF信号通过DTMF 码输出端1. 5-2和话筒R信号输出/DTMF输出端1. 6-6直接进入计算机3立体 声话筒输入R端3. 5，话筒L信号通过话筒L信号输出端1. 6-5与话筒L信号 输入端1.6-8连接直接进入立体声话筒输入端3.6。这样来自声卡话筒输入L
端3. 6的音频信号和话筒输入R端3. 5的控制信号与USB接口 3. 1连接的摄像 头6获得的视频信号一起，经计算机的处理转换成流媒体信号，通过网络传送 给另一方计算机3。当这一过程结束控制板1回到初始状态。
被控状态，计算机3通过网络收到对方的流媒体信号(即视频+音频+控制 代码)，经过计算机处理分成视频和音频2个部分，其中音频部分(即音频信号 +控制代码)通过计算机3声卡喇叭输出L端3. 3/和声卡喇叭输出R端3. 4至 控制板1的音频R信号输入端1. 6-2/音频L信号输入端1. 6-4 (这时音频信号 和控制信号分别占用R声道和L声道)，当DTMF编译码电路1. 5为译码状态， DTMF信号通过音频R信号输入端1. 6-2进入DTMF码输入端1. 5-3,在收到第1 位DTMF信号时，DTMF编译码1.5-1的IRQ/CF端产生一个中断申请信号，这个 信号被单片机系统1. 1的INTO端接收，判断有效后读P0 口，确定为识别码后， 单片机系统1. 1通过Pl. 5端口控制DTMF/音频信号切换电路1. 6中模拟开关的 SW1将1. 6-4音频L输入切换至音频L信号输出端1. 6-3，保证R声道/L声道 喇叭输出为音频信号(这时为单声道)。后3位控制码通过音频/DTMF码控制电 路1. 6-2的SW1直接进入DTMF编码电路1. 5的DTMF码输入端1. 5-3。上述信 号在IRQ/CF端产生3个中断申请信号，单片机系统1. 1在接到3个中断申请信 号后，从P0 口读取这3位信号进行处理；调用控制数据存储器1. 2中预先设定 的控制程序；产生控制指令；通过单片机系统1. 1的P2 口 (定义为输出控制端 口)经隔离、驱动电路2.3驱动与其连接的各类继电器、可控硅等开关量元件; 或通过P2 口连接的D/A隔离驱动电路2. 4驱动各类模拟执行元件；或通过单片 机系统的Pl. 7输出控制基波，经红外线输出电路1.4内的38k载波调制驱动以 红外方式遥控具有红外遥控功能的外部电器设备，当这一过程结束系统回到初 始状态。
权利要求
1.一种网络交互环境下视频、音频、控制同步的方法，其特征是在网络视频交互状态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，由控制板内按键、开关量输入控制电路、模拟转换电路接收通过按键输入或由模拟、开关量传感器产生控制对方的信息，经控制板处理转换成DTMF控制代码，通过模拟开关插入音频的R声道或L声道中与USB摄象头获得的视频信号一起同步转换成流媒体即控制代码插入流媒体方式，经计算机网络接INTERNET传输，控制对方与控制板连接的各类继电器、可控硅和各类模拟量执行元件，或通过红外线输出电路遥控外部设备。
全文摘要
网络交互环境下视频、音频、控制同步的方法。在网络视频交互状态下双方计算机通过声卡的输入或输出端分别与各自的控制板连接，由控制板内按键、开关量输入控制电路、模拟转换电路接收通过按键输入或由模拟、开关量传感器产生控制对方的信息，经控制板处理转换成DTMF控制代码，通过模拟开关插入音频的R声道或L声道中与USB摄象头获得的视频信号一起同步转换成流媒体即控制代码插入流媒体方式，经计算机网络接INTERNET传输，控制对方与控制板连接的各类继电器、可控硅和各类模拟量执行元件，或通过红外线输出电路遥控外部设备。本发明可广泛运用在网络游戏、中低速远程控制领域、远程家庭医疗监控、远程交互教学等领域。
文档编号H04N7/52GK101166278SQ20061015092
公开日2008年4月23日 申请日期2006年10月20日 优先权日2006年10月20日
发明者严复铁, 张天华, 张金傲 申请人:黑龙江大学;黑龙江黑大高新科技产业有限公司