专利名称：视频会议信号处理系统的制作方法
技术领域：
本发明涉及一种视频会议信号处理系统，特别涉及一种可节省计算机系统资源及 传输带宽使用的视频会议信号处理系统。
背景技术：
随着图像处理技术以及网络传输技术的进步，使得通过网络视频进行双向交谈或 多方会议的方式已广泛地被大众所接受，由于网络视频可不限时间地点进行，且比起电话 联络方式更增加了对话方的即时图像信息，大幅地提升使用上的便利性。现今网络视频大多通过计算机执行具有相关视频功能的软件来传送即时视频数 据，而视频数据可包括图像数据及音频数据两部分。但此类软件在执行状态下极占计算机 系统资源，且通过网络传输视频数据会占据大部分的带宽。当网络状态不甚理想或计算机 资源不足的情况下，很容易使得所接收到的图像或音频断续或延迟不顺畅，造成使用者的 困扰。因此如何能降低视频软件于执行过程中所占用的系统资源及网络带宽使用量，以提 高数据传输效率并减少对使用者的影响，实为一值得研究的课题。
发明内容
本发明的主要目的在于提供一种可节省计算机系统资源及传输带宽使用的视频 会议信号处理系统。为达到上述的目的，本发明的视频会议信号处理系统包括接收端及发送端。发送 端包括图像提取装置及编码模块，图像提取装置用以取得原始信号，编码模块用以对原始 信号进行编码，以产生视频会议信号。接收端包括视频会议模块，用以接收并输出视频会议 信号，其中视频会议模块包括状态监控模块，用以监控视频会议模块的信号输出状态，以产 生输出状态信息。其中发送端的编码模块进行编码之前先取得输出状态信息，以根据输出 状态信息对原始信号进行编码。本发明还提供一种视频会议信号处理系统，包括一视频会议模块，其用以向一远 端装置传送一视频会议信号，其中该视频会议模块包含一远端状态接收模块，用以接收该 远端装置的一输出状态信息；以及一编码模块，其根据该输出状态信息对该视频会议信号 进行编码，其中经过编码后的视频会议信号具有相对较低的编码品质。本发明另外又提供一种视频会议信号处理系统，包括一视频会议模块，其用以向 一远端装置传送一视频会议信号，其中该视频会议模块包含一状态监控模块，用以监控该 视频会议模块的一信号输入状态以及该远端装置的一信号输出状态；以及一编码模块，其 根据该信号输入状态及该信号输出状态其中之一来对该视频会议信号进行编码，其中经过 编码后的视频会议信号具有相对较低的编码品质。借此设计，本发明的视频会议信号处理系统可视不同状况对原始信号进行对应的 编码处理，达到视频数据最佳编码化的效果。
图1为本发明的视频会议信号处理系统的示意图。图2为本发明的视频会议信号处理系统针对视频数据状态为主要状态或次要状 态进行判断处理的示意图。图3为本发明的视频会议信号处理系统的局部图像区域的编码调整示意图。
上述附图中的附图标记说明如下
1视频会议信号处理系统
10接收端
11视频会议模块
111状态监控模块
Illa主要状态检测模块
Illb次要状态检测模块
12音频输出装置
20发送端
21视频会议模块
211接收模块
212编码模块
213音频监控模块
213a主要状态检测模块
213b次要状态检测模块
22图像提取装置
23音频输入装置
wl图像输出视窗
w2其他视窗
具体实施例方式为能更了解本发明的技术内容，特举出较佳实施例说明如下。以下请先参考图1为本发明的视频会议信号处理系统1的示意图。如图1所示， 本发明的视频会议信号处理系统1包括接收端10及发送端20，于接收端10及发送端20间 可进行双向的视频会议信号传输功能，在本实施例中，接收端10及发送端20各为一计算机 装置，但本发明并不以此为限。接收端10包括视频会议模块11及音频输出装置12，视频会议模块11用以接收并 输出自发送端20传送过来的视频会议信号，并将视频会议信号以一视窗型式界面输出显 示视频信号，且通过音频输出装置12播放音频信号，其中音频输出装置13可为一扬声器。 视频会议模块11更包含状态监控模块111，用以监控视频会议模块的一信号输出状态，以 产生输出状态信息，其中输出状态信息包括视频会议模块11的图像输出视窗状态信息及 音频输出状态信息其中之一。由于本发明的视频会议信号处理系统1于视频信号处理部分，依据接收端10的视 频会议模块11的图像输出视窗状态信息进行对应编码处理，因此通过状态监控模块111来监控视频会议模块11的图像输出视窗状态，进而取得对应的图像输出视窗状态信息，其中 图像输出视窗状态信息包括视窗状态参数及视窗坐标位置参数。接收端10的使用者可能 因为某些需求暂时将视频会议模块11的图像输出视窗于操作系统桌面上进行缩放，或针 对图像输出视窗大小做调整，或是因正在使用其他软件视窗而挡住了视频会议模块11的 图像输出视窗，这些操作均会变更图像输出视窗的状态。其中前述视窗状态参数表示视频 会议模块11的图像输出视窗的状态，其包括视窗最小化、视窗缩放比例及视窗遮蔽状态其 中之一。视窗坐标位置参数表示视频会议模块11的图像输出视窗的坐标位置。本发明的视频会议信号处理系统1于音频信号处理部分，可依据接收端10的音频 输出装置12的音频输出状态进行对应编码处理，因此也通过状态监控模块111来监控音频 输出装置12的音频输出状态。接收端10的使用者可能会视需求开启或关闭音频输出装置 12或对其进行音量输出调整，而改变于接收端10所输出的视频会议信号的音频输出状态。 这些操作均会变更音频输出装置12的状态。以下针对前述各输出信号状态以取得对应视窗状态参数的监控处理方式加以说 明1.视窗最小化利用状态监控模块111针对视频会议模块11的图像输出视窗取 得其目前的视窗坐标位置参数，以判断是否处于视窗最小化的状态。2.视窗缩放比例利用状态监控模块111取得视频会议模块11的图像输出视窗 目前的视窗坐标位置参数，并计算比对目前图像输出视窗与视频会议模块11预设图像输 出视窗的比例，来判断图像输出视窗被调整缩放的程度。3.视窗遮蔽状态利用状态监控模块111取得视频会议模块11的图像输出视窗 及至少一个其他视窗目前的坐标位置后，通过彼此坐标来判断图像输出视窗是否被至少一 其他视窗所遮蔽，并判断图像输出视窗被部分遮蔽或是被完全遮蔽，以取得视窗坐标位置 参数。当图像输出视窗被部分遮蔽时，状态监控模块111可利用坐标计算图像输出视窗被 遮蔽的程度，以取得视窗坐标位置参数，此处的视窗坐标位置参数表示视频会议模块11的 图像输出视窗被遮蔽处的坐标位置。4.音频输出装置12的状态利用状态监控模块111监控音频输出装置12是否开 启或输出音量是否为零。此外状态监控模块111也可监控音频输出装置12的音频输出品 质，例如音频输出装置12由多声道输出调整成单声道输出等。发送端20包括视频会议模块21及图像提取装置22，图像提取装置22用以取得发 送端20使用者所在位置的原始信号；视频会议模块21可为一视频会议软件，用以传送原始 信号至接收端10 ；视频会议模块21包括接收模块211及编码模块212，编码模块212用以 对原始信号进行编码，以产生视频会议信号。其中接收模块211用以接收自接收端10传来 的输出状态信息，编码模块212于进行编码前先取得输出状态信息，并依据输出状态信息 对原始信号进行编码，以形成视频会议信号，再通过视频会议模块21将视频会议信号传输 至接收端10。发送端10的视频会议模块21还包括音频监控模块213，音频监控模块213用以 监控发送端10的音频输入装置23的输入状态以取得输入状态信息，使得编码模块212可 同时依据此输入状态信息及前述输出状态信息对原始信号执行编码处理，其中音频输入装 置23可为一麦克风。由于发送端20的使用者可能视需求开启或关闭音频输入装置23或对其进行音量输入调整，而改变所输入的音频信号状态，因此通过音频监控模块213来监 控音频输入装置23的状态，以便于本发明的视频会议信号处理系统1依其针对音频数据部 分进行后续编码处理。接收端10的状态监控模块12可为操作系统所提供的应用程序界面(Application Program Interface, API)或微功能电路(Micro Function circuit, MFC)，以针对接收端 10的信号输出状态进行即时或周期性地检测，但状态监控模块111也可采用其他具有类似 功能的元件所取代，本发明并不以此为限。同理，发送端20的音频监控模块213也可采用 相同的设计，以针对发送端20的音频输入装置23的输入状态进行即时或周期性地检测。前述由接收端10的状态监控模块12所监控的信号输出状态，以及由发送端20的 音频监控模块213所监控的音频输入装置23的输入状态，均可区分为主要状态或次要状 态。其中主要状态定义为不可降低原始信号的编码品质的状态，例如接收端10的视频会议 模块11的图像输出视窗自最小化恢复为非最小化、图像输出视窗放大、图像输出视窗被遮 蔽区域减小、音频输出装置12被开启(或音量从零调整为非零)、音频输入装置23被开启 (或音量从零调整为非零)等。次要状态则定义为可降低原始信号的编码品质的状态，例如 接收端10的视频会议模块11的图像输出视窗最小化、图像输出视窗缩小、图像输出视窗被 遮蔽区域增加、音频输出装置12被关闭(或音量调整为零)、音频输入装置23被关闭(或 音量调整为零)。状态监控模块111可包括主要状态检测模块11 Ia及次要状态检测模块11 Ib。次要 状态检测模块Illb以一第一周期检测信号输出状态以判断是否出现次要状态，并依检测 结果产生输出状态信息以通知发送端20，以便进行后续编码处理。主要状态检测模块Illa 即时或以一第二周期检测视频数据状态以判断是否出现主要状态，并依检测结果立即产生 输出状态信息以通知发送端20，且第二周期小于第一周期。同理，发送端20的音频监控模 块213也可采用相同的设计，通过主要状态检测模块213a及次要状态检测模块213b，以针 对发送端20的音频输入装置23的输入状态进行即时或周期性地检测。在监控信号输出状态的同时，状态监控模块111可依前述的定义判断目前的信号 输出状态为主要状态或次要状态，其中当检测到信号输出状态出现主要状态时，主要状态 于第一周期结束之前，不会因为发生新的信号输出状态而有所变动。请参考图2为使用本发明的视频会议信号处理系统针对信号输出状态为主要状 态或次要状态进行判断处理的示意图。如图2所示，以视窗最小化的调整为例，次要状态检 测模块Illb以时间长为t的第一周期定时检查图像输出视窗是否被最小化，并于每一周期 结束时(如图中黑色圆点处)记录为输出状态信息以传送至发送端20;主要状态检测模块 Illa则即时检测是否有图像输出视窗自最小化恢复为非最小化的状态发生。假设在区段A 中，使用者将图像输出视窗最小化(如图中斜线箭头Ni)，当区段A结束时，次要状态检测 模块Illb会检测到m的操作并判断为次要状态，因此将此状态记录为输出状态信息后传 送至发送端20以进行对应编码处理。接着进入区段B中，使用者将图像输出视窗自最小化 恢复为非最小化(如图中黑色箭头Ml)，在使用者操作的同时主要状态检测模块Illa可即 时检测此主要状态，并记录为输出状态信息后立即通知发送端20以进行对应编码处理。而 在此操作后到区段B结束之前(如图中所示tl的范围内)，不论使用者再次进行图像输出 视窗的最小化(如图中斜线箭头N2)，或是反复操作图像输出视窗最小化与恢复至非最小化(如图中斜线箭头Ni、M2、N2)，主要状态检测模块Illa及次要状态检测模块Illb均不 会将所检测到新出现的其他信号输出状态记录为输出状态信息。此设计用以防止使用者在 短时间内重复改变信号输出状态时，发送端20必须在短时间内进行对应编码处理，反而造 成视频会议信号处理不及导致视频或音频信号模糊不清的情况。发送端20取得接收端10的输出状态信息，或又取得输入状态信息后，依据不同的 输出状态信息(及输入状态信息)来针对原始信号执行对应编码处理，经编码处理后的原 始信号即形成视频会议信号。编码模块212可针对原始信号的视频信号部分或音频信号部 分各别进行编码处理。编码模块212的编码处理为原始信号的压缩程度调整，其中压缩程 度调整包括音频编码的停止或恢复、每秒帧数(frames per second, fps)调整、解析度调整 及局部图像区域的编码调整等其中之一，但也可包括其他有关原始信号调整功能的编码处 理方式，本发明不以此为限。以下针对各种压缩程度调整分别说明1.每秒帧数(frames per second, fps)调整当接收端10的视频会议模块11的 图像输出视窗最小化或被其他视窗完全遮蔽时，发送端20的视频会议模块21可依据对应 的输出状态信息降低原始信号的每秒帧数，以减少发送端20及接收端10所处理的信号数 据量。在前述状态下，由于使用者无法观看到图像输出视窗，降低原始信号的每秒帧数并不 会影响使用者的视觉效果。2.解析度或图像品质调整当通过视窗坐标比对判断视频会议模块11的图像输 出视窗被缩小到一定程度时，由于小画面的图像输出视窗采用高画质编码图像(VGA或HD) 或较低画质编码图像(QVGA)，所呈现出的画面并无显著差异，因此通过发送端20的视频会 议模块21依据对应的输出状态信息可降低原始信号的画面解析度或图像编码品质，以减 少系统资源的使用。3.局部图像区域的编码调整请参考图3为本发明的视频会议信号处理系统的局 部图像区域的编码调整示意图。如图1及图3所示，视频会议模块11的图像输出视窗wl可 通过状态监控模块111运算划分为大小一致的多个区块，并对所述多个区块加以编号。假 设图像输出视窗wl被一其他视窗w2部分遮蔽，可利用现有所取得的视窗坐标先取得图像 输出视窗wl实质上被其他视窗w2所遮蔽范围的四个顶点A、B、C、D的坐标值，通过这四点 坐标先计算出图像输出视窗wl实质上被遮蔽范围大小(如图3中右下角较粗的虚线部分 所围成的范围)，接着计算出一被遮蔽区，被遮蔽区由此范围内被完全遮蔽的多个区块所构 成(如图3中的斜线部分)。这些被完全遮蔽的多个区块可通过前述针对多个区块的编号 来确认其位置，因此在这些信息传送至发送端20后，能够通过视频会议模块21的编码模块 212仅针对被遮蔽区进行特定编码处理，以局部降低视频数据的编码品质。在本实施例中虽 以图像输出视窗《1被一个其他视窗《2所遮蔽的情况加以说明，但当图像输出视窗wl被多 个其他视窗所遮蔽时，也适用前述图像区域编码的处理方法，不以本实施例为限。4.音频编码的停止或恢复当利用状态监控模块111判断音频输出装置12被关 闭或输出音量调整为零时，代表接收端10并无法播放音频信号，因此发送端20的视频会议 模块21则依此输出状态信息停止对原始信号的音频编码，以减少不必要的音频信号处理； 同理，利用音频监控模块213判断音频输入装置23被关闭或输出音量调整为零时，代表发 送端20并未输入音频信号，因此也停止对原始信号的音频编码。相反地，当利用状态监控 模块111判断音频输出装置12被开启或输出音量从零调整为非零时，代表接收端10已具有音频信号播放功能，因此发送端20的视频会议模块21则依此输出状态信息恢复对原始 信号的音频编码；同理，利用音频监控模块213判断音频输入装置23被开启或输出音量从 零调整为非零时，代表发送端20已具有音频信号输入功能，因此也恢复对原始信号的音频 编码。5.音频品质调整当接收端10的音频输出装置12所采用的音频输出品质低于发 送端20的音频输入装置23所采用的音频输入品质，例如音频输出装置12为单声道而音频 输入装置23为多声道时，在此情况下由于音频输出装置12并未同步支持高音质输出，因此 通过视频会议模块21的编码模块212调降音频信号的压缩编码品质，以节省带宽使用及减 少不必要的信号处理。借此，本发明的视频会议信号处理系统1可针对原始信号依所监控到的视频或音 频信号状态不同，而进行对应的编码处理，以视情况调整所形成的视频会议信号的编码品 质，达到最佳化编码的效果。又如图1所示，于发送端20将原始信号经编码处理而形成视频会议信号后，利用 发送端20的视频会议模块21将视频会议信号传送至接收端10，并以接收端10的视频会议 模块11输出此视频会议信号。经编码处理后的视频会议信号依据前述输出状态信息(及 输入状态信息)对应调整其视频及音频编码品质，可有效控制其数据传输带宽及数据处理 量，使得接收端10的视频会议模块11于输出视频会议信号时可减少不必要的系统资源浪 费；因此当接收端10为一笔记本电脑时，运用本发明的视频会议信号处理系统能够减少电 池耗电量以延长笔记本计算机使用时间。此外，又如图3所示，对于前述图像输出视窗wl 被其他视窗《2部分遮蔽的处理，由于进行编码处理的被遮蔽区小于图像输出视窗wl实质 上被遮蔽的范围，使得接收端10的视频会议模块11于输出视频会议信号时，图像输出视窗 wl的视频会议信号与其他视窗w2重叠的边缘处(即图3中的AB线及AC线)不会产生图 像不连续的状况，仍可保持使用者良好的观看效果。与公知仅对原始信号进行一般编码处理的技术相较，本发明经编码处理后产生的 视频会议信号，可视其为不可降低原始信号的编码品质的主要状态，或是可降低原始信号 的编码品质的次要状态，以针对原始信号调整视频及音频信号的编码品质，如此可减少数 据传输量，以降低数据传输带宽及系统资源的使用。借此设计，本发明的视频会议信号处理系统可运用于一般网络视频对谈或是视频 会议上，由于双方均可作为发送端及接收端，因此可同时针对双方进行信号监控及相关编 码处理，以节省双方系统资源及带宽的使用。综上所陈，本发明无论就目的、手段及功效，均显示其迥异于公知技术的特征，为 一大突破。惟须注意，上述实施例仅为例示性说明本发明的原理及其功效，而非用于限制本 发明的范围。任何本领域普通技术人员均可在不违背本发明的技术原理及精神下，对实施 例作修改与变化。本发明的权利保护范围应如所附的权利要求所述。
权利要求
一种视频会议信号处理系统，包括一发送端，包括一图像提取装置，用以取得一原始信号；以及一编码模块，用以对该原始信号进行编码，以产生一视频会议信号；一接收端，其包括一视频会议模块，用以接收并输出该视频会议信号，其中该视频会议模块更包含一状态监控模块，用以监控该视频会议模块的一输出状态，以产生一输出状态信息；其中该发送端的该编码模块进行编码之前先取得该输出状态信息，以根据该输出状态信息对该原始信号进行编码。
2.如权利要求1所述的视频会议信号处理系统，其中该输出状态信息包括该视频会议 模块的一图像输出视窗状态信息及一音频输出状态信息其中之一。
3.如权利要求2所述的视频会议信号处理系统，其中该图像输出视窗状态信息包括一 视窗状态参数及一视窗坐标位置参数。
4.如权利要求3所述的视频会议信号处理系统，其中该视窗坐标位置参数表示该视频 会议模块的图像输出视窗的坐标位置。
5.如权利要求3所述的视频会议信号处理系统，其中该视窗状态参数表示该视频会议 模块的图像输出视窗的状态，包括视窗最小化、视窗缩放比例及视窗遮蔽状态其中之一。
6.如权利要求5所述的视频会议信号处理系统，其中该视窗坐标位置参数表示该视频 会议模块的图像输出视窗被遮蔽处的坐标位置。
7.如权利要求5所述的视频会议信号处理系统，其中该视窗缩放比例利用该视窗坐标 位置参数比对目前图像输出视窗与预设图像输出视窗的比例来判断。
8.如权利要求1所述的视频会议信号处理系统，其中该编码模块的编码处理为该原始 信号的压缩程度调整。
9.如权利要求8所述的视频会议信号处理系统，其中该压缩程度调整为一每秒帧数调 整、一解析度调整及一局部图像区域的编码调整其中之一。
10.如权利要求9所述的视频会议信号处理系统，其中该局部图像区域的编码调整针 对该图像输出视窗的至少一被遮蔽区降低其编码品质。
11.如权利要求1所述的视频会议信号处理系统，其中该发送端还包括一音频监控模 块，用以监控该发送端的一音频输入装置的输入状态，以取得一输入状态信息。
12.如权利要求11所述的视频会议信号处理系统，其中该编码模块同时依据该输入状 态信息对该原始信号进行编码。
13.如权利要求12所述的视频会议信号处理系统，其中当该音频输入装置被关闭或音 量调整为零时，进行该原始信号的编码。
14.一种视频会议信号处理系统，包括一视频会议模块，其用以向一远端装置传送一视频会议信号，其中该视频会议模块包含一远端状态接收模块，用以接收该远端装置的一输出状态信息；以及一编码模块，其根据该输出状态信息对该视频会议信号进行编码，其中经过编码后的 视频会议信号具有相对较低的编码品质。
15.如权利要求14所述的视频会议信号处理系统，其中该视频会议信号包含一视频信 号及一音频信号其中之一。
16.一种视频会议信号处理系统，包括一视频会议模块，其用以向一远端装置传送一视频会议信号，其中该视频会议模块包含一状态监控模块，用以监控该视频会议模块的一信号输入状态以及该远端装置的一信 号输出状态；以及一编码模块，其根据该信号输入状态及该信号输出状态其中之一来对该视频会议信号 进行编码，其中经过编码后的视频会议信号具有相对较低的编码品质。
17.如权利要求14所述的视频会议信号处理系统，其中该视频会议信号包含一视频信号及一音频信号其中之一。
全文摘要
一种视频会议信号处理系统。视频会议信号处理系统包括接收端及发送端。由发送端所取得的原始信号，可依据监控接收端的视频会议模块的输出状态以取得输出状态信息，来进行对应编码处理，以产生视频会议信号，节省系统资源及传输带宽的使用。
文档编号H04N7/26GK101990083SQ200910164919
公开日2011年3月23日 申请日期2009年7月29日 优先权日2009年7月29日
发明者曾建堂, 李俊桦, 林志祥, 林绍捷, 魏志荣 申请人:宏碁股份有限公司