显示控制设备、图像显示系统、显示控制方法及计算机可读记录介质的制作方法

显示控制设备、图像显示系统、显示控制方法及计算机可读记录介质的制作方法
【专利摘要】一种显示控制设备，从输入装置接收视频信号的输入并且进行使得视频显示在显示设备上的控制。显示控制设备包括：捕获单元(410)，经配置用以捕获表示输入视频信号的帧图像的图像数据；信号检测器(420)，经配置用以检测视频信号是否输入，并基于检测的结果发布用以使显示设备显示视频或帧图像的指令；以及控制单元(400、430、440、450、460)，经配置用以当检测到视频信号未输入并且控制单元接收到用以使显示设备显示帧图像的指令时，从最近捕获的图像数据来生成帧图像，以使显示设备显示所生成的帧图像。
【专利说明】显示控制设备、图像显示系统、显示控制方法及计算机可读 记录介质

【技术领域】
[0001] 本发明涉及用于控制要在显示屏上显示的视频的显示控制设备、包括该显示控制 设备的图像显示系统、显示控制方法、以及计算机可读记录介质。

【背景技术】
[0002] 电子白板得到应用，在所述电子白板中在诸如液晶显示器和等离子体显示器之类 的平板显示设备或使用投影仪的显示设备上提供有触摸板。由于电子白板可与个人计算机 (PC)连接并且能够显示从所连接的PC提供的图像的放大图像，所以这种电子白板用于教 学、公司的会议等。
[0003] 电子白板还具有这样的功能：该功能利用电子白板的触摸板特征，通过使用户直 接触摸所显示的图像来操作提供在电子白板上所显示的图像的PC。在PC上运行的交互式 白板应用程序还与电子白板一起提供。交互式白板应用程序使屏幕起到白板的作用并且使 用户能够利用触摸板特征来用手在屏幕上写字符等，并且使用户能够捕获从PC提供的图 像和以覆盖的方式（overlaying manner)在所捕获的图像上的书写内容等。
[0004] 这种交互式白板的具体实例产品包括Hitachi Solutions有限公司的 StarBoard (注册商标）以及 Pioneer 公司的 Cyber Conference System (注册商标）。
[0005] 当在会议中使用这种使用户能够用手写字符等并且能够将书写叠加在所捕获的 图像上的电子白板时，笔记等可直接写在电子白板的屏幕上，在该电子白板中适当地显示 用于表达的材料。还能够根据需要记录包括所添加的笔记等的屏幕图像。因此，由于所显 示的屏幕图像能够被回放并且在会议的结束时重新使用，所以可高效地作出结论等。
[0006] 同时，随着视频输入技术的发展，支持包括高清多媒体接口（HDMI)和视频图形阵 列（VGA)的多种类型的视频输入的设备激增。随着这种激增，各种规范的视频输入线缆需 要得到支持。电子白板还支持多个视频输入并且可与各种规范的视频输入线缆相连。因此， 用户能够将多个PC与电子白板相连并且在从不同PC提供的图像中切换在电子白板上显示 的图像。
[0007] 例如日本专利申请待审公开2002-366343公开了与此相关的技术。根据该技术， 多台计算机通过转换开关（switcher)与电子白板相连；选择所述多台计算机中的任意一 台计算机；将视频信号从所选择的计算机提供给电子白板；在所选择的计算机与电子白板 之间交换控制信号。
[0008] 为了在会议中使用这种具有这些功能的电子白板，需要能够执行对电子白板的操 作、在电子白板上显示必要的信息、并且将必要的信息输入电子白板而不阻碍会议的进程。 然而，传统的电子白板的缺陷在于：当从与用以显示视频的电子白板相连的装置提供的视 频信号停止时，或者当执行诸如收回连接线缆之类的操作时，视频不再显示在电子白板上， 使得屏幕变空白，这是不受欢迎的。由于在会议期间屏幕变空白，所以这不受欢迎地阻碍了 会议的进程。
[0009] 因此，需要一种用于即使当电子白板与提供当前所显示的图像的装置之间的线缆 断开时，也能够在电子白板上进行连续图像显示而不是使电子白板变空白的方法和设备。


【发明内容】

[0010] 本发明的目的是至少部分地解决传统技术中的问题。
[0011] 根据实施例，提供一种显示控制设备，所述显示控制设备可与多个输入装置连接， 从所述多个输入装置中的一个输入装置接收视频信号的输入，并且进行使视频显示在显示 设备上的控制。所述显示控制设备包括：捕获单元，所述捕获单元经配置用以捕获表示输入 视频信号的帧图像的图像数据；信号检测器，所述信号检测器经配置用以检测所述视频信 号是否输入，并基于所述检测的结果发布用以使所述显示设备显示所述视频或所述帧图像 的指令；以及控制单元，所述控制单元经配置用以当检测到所述视频信号未输入并且所述 控制单元接收到用以使所述显示设备显示所述帧图像的指令时，从由所述捕获单元最近捕 获的所述图像数据来生成所述帧图像，以使所述显示设备显示所生成的帧图像。
[0012] 根据另一实施例，提供一种图像显示系统，包括根据上述实施例所述的显示控制 设备；所述显示设备；以及所述多个输入装置中的至少一个。
[0013] 根据再一实施例，提供一种显示控制方法，所述显示控制方法由显示控制设备执 行，所述显示控制设备可与多个输入装置连接，从所述多个输入装置中的一个输入装置接 收视频信号的输入，并且进行使视频显示在显示设备上的控制。所述显示控制方法包括：连 续捕获表示输入视频信号的帧图像的图像数据；检测所述视频信号是否输入；基于所述检 测的结果发布用以使所述显示设备显示所述视频或所述帧图像的指令；当检测到所述视频 信号输入并且接收到用以使所述显示设备显示所述视频的指令时，从连续捕获的所述图像 数据来生成连续的帧图像并且将所述连续的帧图像显示在所述显示设备上；以及当检测到 所述视频信号未输入并且接收到用以使所述显示设备显示所述帧图像的指令时，从在所述 捕获步骤中最近捕获的所述图像数据来生成帧图像并且将所生成的帧图像显示在所述显 示设备上。
[0014] 根据再一实施例，提供一种计算机可读记录介质，在所述计算机可读记录介质上 存储有可执行程序。所述程序指示计算机执行根据以上实施例所述的显示控制方法。
[0015] 当结合附图考虑本发明的上述及其它目的、特征、优点和技术及工业意义时，通过 阅读下文本发明的当前优选实施例的详细说明将更好对其进行理解。

【专利附图】

【附图说明】
[0016] 图1是示出根据本发明的第一实施例的图像显示系统的示例性配置的示图；
[0017] 图2是示出与根据第一实施例的显示控制装置相对应的控制器的硬件结构的示 图；
[0018] 图3是示出视频捕获装置的示例性硬件结构的示图；
[0019] 图4是示出根据第一实施例的控制器的功能性框图；
[0020] 图5是示出由控制器的信号检测器执行的操作的过程的流程图；
[0021] 图6是示出涉及输入至由信号检测器所设置的端口的信号的示例性标记（flag) 的示图；
[0022] 图7是示出由控制器执行的操作的过程的第一流程图；
[0023] 图8是示出由控制器执行的操作的过程的第二流程图；
[0024] 图9是示出由控制器执行的操作的过程的第三流程图；
[0025] 图10是示出视频再现的顺序图；
[0026] 图11是示出根据本发明的第二实施例的控制器的功能性框图；
[0027] 图12是示出在中断（interrupt)发生时所执行的例程的顺序图；
[0028] 图13是示出当信号检测器检测到视频信号输入时所执行操作的过程的流程图；
[0029] 图14是示出当信号检测器检测到视频信号不再输入时所执行的操作的过程的流 程图；
[0030] 图15A和图15B是示出视频捕获装置的另一示例性硬件结构的示图；
[0031] 图16是示出涉及输入至端口的信号的其它示例性标记的示图。

【具体实施方式】
[0032] 下面参照附图描述本发明的优选实施例。
[0033] 图1是示出根据本发明的第一实施例的图像显示系统100的示例性配置的示图。 图像显示系统100包括显示视频的显示设备110、PC120以及控制器130。PC120起到输入 装置的作用，将表示组成视频的帧图像的图像数据输入至显示设备110。控制器130用作显 示控制设备，其在显示设备110与PC120之间连接，并且控制显示设备110的图像显示。在 本实例中，采用分离配置，在该配置中，显示设备110和控制器130彼此独立。可选择地，可 采用整体配置，在该配置中，显示设备110和控制器130装在同一外壳中。
[0034] 显示设备110通过线缆140与控制器130相连，并且通过以固定的速度按顺序显 示由控制器130渲染的连续的帧图像来显示视频。显示设备110包括显示单元和数据输入 单元，所述显示单元显示帧图像，所述数据输入单元接收表示帧图像的图像数据。
[0035] 表示帧图像的图像数据例如是在逐色的基础上被提供作为赋值给每个像素的亮 度值的数字数据。当显示单元接收到图像数据时，显示单元通过将亮度值赋值给显示屏上 的相应位置处的每个像素来显示帧图像。数字数据以固定的速度提供表示连续的帧图像的 图像数据。因此，显示单元能够通过再现连续的帧图像来在显示屏上显示视频。
[0036] 显示单元可包括在其表面上的触摸板。当显示单元提供有触摸板时，显示单元能 够通过使用触摸位置传感器来检测由用户触摸的位置，所述触摸位置传感器是触摸板中所 包括的定位器装置。存在有在操作原理方面不同的多种触摸板技术。该技术的实例有：电 阻式触摸技术、表面声波触摸感测技术、红外触摸感测技术、电磁感应触摸感测技术、以及 电容式触摸感测技术。可采用这些技术中的任何一种。关于由用户触摸的位置的信息通过 线缆（未示出）发送至控制器130作为用户输入，并且由控制器130处理。
[0037] 显示设备110可包括多个操作按钮。操作按钮可被用于执行例如：在仅被提供用 于显示图像的显示模式与能够进行手动输入的输入模式之间切换；在能够通过手指触摸来 选择并输入字符等的触摸模式与能够通过使用手写笔（stylus pen)来选择并输入字符等 的笔模式之间切换；通过笔来改变要输入的颜色；在工具条上切换显示；操作用于擦除输 入的字符等的擦除工具；以及执行对PC的操作。
[0038] 当显示单元包括触摸板时，控制器130能够基于通过使用显示设备110上的操作 按钮所选择的模式等，确定由用户通过对触摸板进行触摸所执行的是哪个操作。操作的实 例包括选择位置、放大或缩小图像、以及输入字符等。当控制器130被置于能够手动输入 字符等的输入模式时，控制器130可接收关于屏幕上连续地触摸的位置的信息作为用户输 入，根据该信息生成表示字符等的图像数据，生成将要重叠在当前所显示的图像上的图像 数据，并且将所生成的图像数据输入至显示设备110。
[0039] 数据输入单元从控制器130连续地接收表示帧图像的图像数据。在第一实施例 中，数据输入单元可以是包括HDMI端子的HDMI输入连接器、包括VGA端子的VGA输入连 接器等，并且能够通过视频线缆140从控制器130接收表示连续的帧图像的图像数据作为 HDMI信号或VGA信号。在替代实施例中，数据输入单元可通过执行基于诸如Bluetooth (注 册商标）或Wi-Fi (注册商标）之类的无线通信协议的无线通信来接收从控制器130输入 的表示帧图像的图像数据。出于该原因，显示设备110和控制器130可包括用于发送和接 收无线电波的收发机。
[0040] PC120包括显示屏并且通过控制器130将表示在显示屏上显示的图像的图像数据 输入至显示设备110。因此，PC120通过线缆150与控制器130连接。PC120可以是例如台 式PC、笔记本PC、或平板PC。可选择地，PC120可以是蜂窝电话、智能电话、个人数字助理 (PDA)等。由于PC120通过线缆150与控制器130连接，所以PC120可包括与数据输入单 元的输入连接器相似的HDMI输入连接器或VGA输入连接器。在本实例中，PC120通过线缆 150与控制器130连接。可选择地，PC120可包括用于发送和接收无线电波的收发机，以便 PC120与控制器130无线连接。
[0041] PC120包括诸如Pentium(注册商标）处理器或兼容处理器之类的处理器，并且 可在操作系统（0S)控制下运行以编程语言描述的程序，所述编程语言例如是汇编语言 (assembler)、C、C++、Java(注册商标）、JavaScript (注册商标）、Perl、Ruby、或 Python, 所述操作系统例如是Windows (注册商标）、UNIX (注册商标）、Linux (注册商标）、ITR0N或 微工业TR0N(y ITR0N)。PC120包括随机存取存储器（RAM)和硬盘驱动器（HDD)，所述随机 存取存储器提供用于运行程序的存储空间，所述硬盘驱动器用于永久地保存程序、数据等。 PC120运行程序，所述程序生成视频信号并且将该视频信号输入到控制器130,从而使显示 设备110显示视频。
[0042] 控制器130处理表示从PC120接收的视频信号的帧图像的图像数据，生成表示通 过根据需要将手写的字符等的图像叠加在帧图像上所产生的合成图像的图像数据，并且将 图像数据输入到显示设备110。控制器130包含用于执行所述操作的程序。所述程序可被 分布为存储在计算机可读记录介质中，所述计算机可读记录介质例如HDD、光盘（CD)只读 存储器（ROM)、磁光（M0)、软盘、电性可擦除可编程只读存储器（EEPR0M)、或可擦除可编程 随机只读存储器（EPR0M)。可选择地，可通过经网络下载来提供程序。
[0043] 下面参照图2至图4详细描述控制器130。图2是示出控制器130的硬件结构的 示图。控制器130具有PC架构并且包括存储器200、0?似10、册0220、视频适配器230、以及 视频捕获装置240。存储器200用于存储数据和指令。HDD220用于长期存储应用程序（下 文称为"应用")、〇S等。CPU210从存储器200读出数据和指令，从HDD220读出应用、0S等， 并且运行所述数据、指令、应用、0S等。通过运行所述数据、指令、应用、0S等，CPU210控制 显示设备110的图像显示。
[0044] 视频适配器230将表示帧图像的图像数据输入到显示设备110并且使该帧图像显 示在显示设备110的显示屏上。视频捕获装置240从PC120输入的视频信号捕获表现包含 在该视频信号中的帧图像的图像数据，并将该图像数据存储在存储器200中。因而，视频捕 获装置240起到捕获单元的作用。
[0045] 图3中示出了视频捕获装置240的示例性硬件结构。视频捕获装置240包括用于 接收从PC120输入的视频信号的显示端口 300和VGA端口 310。显示端口 300是为诸如液 晶显示器之类的数字显示设备设计的视频输入接口，并且所述显示端口 300被提供用于接 收数字视频接口（DVI)信号。VGA端口 310是被提供用于接收RGB分量视频信号的视频输 入接口。
[0046] 显示端口 300包括显示接收器。VGA端口 310包括VGA接收器。这些接收器量化 输入信号。所述接收器中的每个接收器均以固定的间隔逐行扫描已量化的信号并将其传递 给缓冲器控制单元330,稍后将描述所述缓冲器控制单元330。
[0047] 与所述显示端口 300和VGA端口 310中的每个端口相连的视频转换开关（SW) 320 选择显示端口 300和VGA端口 310中的任何一个端口并将从所选择的端口接收的已量化的 信号传递给缓冲器控制单元330。缓冲器控制单元330通过视频SW320接收已量化的信号 或数字信号，并暂时将数字信号作为表示帧图像的图像数据存储在存储器350中。在全部 数据已经通过视频SW320发送至缓冲器控制单元330并且暂时存储在存储器350中以后， 缓冲器控制单元330指示数字存储器访问（DMA)传输单元340启动DMA。DMA是这样的方 案：该方案使输入/输出装置能够将数据传输至存储器并且从存储器传输数据，而不涉及 CPU。
[0048] DMA传输单元340 -接收到指令便通过利用缓冲器控制单元330将表示帧图像的 图像数据传输至控制器130的存储器200,所述图像数据已准备好通过外围组件互联高速 (PCIe)接口 360从存储器350传输。每次从DMA传输单元340传输所述图像数据时，均可 重写并更新表示帧图像的图像数据；可选择地，可采用这种配置：在该配置中，每次从DMA 传输单元340传输这种图像数据时，均将图像数据另外存储在存储器200中作为独立的文 件。鉴于存储器200具有容量上限这一事实，期望重写并更新图像数据，以仅保存最近的图 像数据。
[0049] PCIe接口 360将表示帧图像的图像数据分成多个包、将序列号和错误检测码添加 到所述多个包、并且将所述多个包作为串行数据传输至存储器200。
[0050] 在控制器130中，CPU210调用并运行存储在HDD220中的0S，并且在0S的控制之 下加载并运行应用。图4中示出了根据第一实施例的控制器130。通过运行0S，CPU210起 到渲染操作单元400和视频捕获装置驱动器410的作用。通过运行应用，CPU210起到信号 检测器420、再现控制单元430、采样获取单元440、渲染单元450以及手写操作单元460的 作用。
[0051] 渲染操作单元400生成用于应用和其它软件的绘图指令并控制视频适配器230， 以便在显示设备100的显示屏上显示两个图像的合成图像。视频捕获装置驱动器410控制 视频捕获装置240。
[0052] 渲染操作单元400可通过利用由0S提供的功能来实现该渲染操作单元400的功 能。例如，当0S为Windows 0S时，?宣染操作单兀400可利用Desktop Windows Manager、 图形装置接口（⑶I)、DirectX等的功能。视频捕获装置驱动器410通过例如设置在视频捕 获装置240的寄存器中保持的值（以下称为"寄存器值"）并且指定用于DMA传输的存储器 350中的目标物理地址，来控制视频捕获装置240。
[0053] 信号检测器420通过视频捕获装置驱动器410来检测是否存在输入视频信号。再 现控制单元430起到控制单元的一部分作用，并且根据从信号检测器420或用户馈送的指 令来控制采样获取单元440和渲染单元450的操作。采样获取单元440还起到控制单元的 一部分作用，并且通过视频捕获装置驱动器410来发布用以逐帧捕获图像的指令。
[0054] 渲染单元450还起到控制单元的一部分作用。渲染单元450指示渲染操作单元 400 :通过将由手写操作单元460所生成的用户手写图像叠加在PC120的屏幕上所显示的图 像上来创建合成图像，并且将该合成图像显示在显示设备110的显示屏上的指定部分。手 写操作单元460获取由用户通过触摸显示屏而输入的关于字符、图形等的信息并且根据所 获取的信息生成用于在产生合成图像中所使用的输入图像。由手写操作单元460所获取的 信息例如是触摸位置的位置坐标。
[0055] 渲染操作单元400生成表示合成图像的图像数据，将该图像数据输入到显示设备 110,并且使显示单元显示该合成图像。在该实例中，使得显示合成图像；然而，当没有输入 手写图像时，不必创建合成图像。
[0056] 即使当视频信号不再输入时，控制器130也预先自动捕获视频；由此，可显示所捕 获的视频。因此，即使当在会议期间线缆断开时，也不必手动切换屏幕。因而可实现不会阻 碍会议进程的显示方案，这是用户所期望的。
[0057] 下面详细描述由控制器130所执行的这些操作。下面首先描述控制器130启动时， 由信号检测器420所执行的操作。图5是示出由信号检测器420所执行的操作的过程的流 程图。操作从步骤S500开始。在步骤S505,信号检测器420通过利用视频捕获装置驱动 器410的寄存器访问功能，对视频捕获装置240的显示端口 300和VGA端口 310中的每个 端口询问是否有视频信号输入至该端口。
[0058] 由视频捕获装置240所保存的寄存器值是指示是否有视频信号输入的值。信号检 测器420可通过读取所述寄存器值来确定是否存在输入视频信号。
[0059] 接下来，在步骤S510,为每个端口设置指示连接状态的标记。图6所示的表中示 出了示例性标记。每个标记均指示关于输入装置是否与端口连接的连接状态，并且每个标 记均与一端口号和时间戳（time stamp)相关联，所述端口号被赋值给相应的端口，所述时 间戳指示当输入装置与端口连接时的时间。在图6中，0N和OFF被赋值如下：0N指示视频 信号输入的连接状态；OFF指示没有视频信号输入的连接状态。在步骤S510,将标记设置为 OFF并且将时间戳设置为零作为所有端口的初始状态。
[0060] 例如，如果确定视频信号输入至端口号为2的端口，则将该端口的连接状态设置 为0N，并且及时将该时间点设置为时间戳。当已经为所有端口设置了标记时，控制进行至步 骤S515,到这里所述启动操作结束。
[0061] 下面参照图7至图9中所示的第一至第三流程图来描述在启动操作之后由控制器 130所执行的操作。操作从图7中所示的第一流程图中的步骤S700开始。在步骤S705,信 号检测器420以固定的时间间隔对于每个端口确定是否存在至该端口的输入视频信号。更 具体地说，在控制器130启动之后，以固定的时间间隔发生0S计时器中断。由此，信号检测 器420对计时器中断进行监视，并且一检测到发生计时器中断，就通过视频捕获装置驱动 器410访问视频捕获装置240以读出由视频捕获装置240所保存的寄存器值。由此，信号 检测器420可基于寄存器值来确定是否存在输入视频信号。
[0062] 在步骤S710,信号检测器420将一个端口的连接状态与针对该端口的标记而设置 的连接状态相比较。在步骤S715,信号检测器420确定关于连接状态是否已经改变。当连 接状态保持与之前确定的连接状态相同时，控制进行至步骤S720,在该步骤中，信号检测器 420将指令提供给再现控制单元430。根据该指令，再现控制单元430控制采样获取单元440 的操作以便从与端口连接的输入装置接受并获取表示组成视频的帧图像的图像数据。信号 检测器420指示渲染单元450以将表示帧图像的图像数据输入至显示设备110并且确定是 否显示视频。
[0063] 当正在显示视频时，从连接到与最近的时间戳相关联的端口号的输入装置提供视 频。因此，在步骤S725,控制器130通过视频捕获装置驱动器410使信号检测器420暂时存 储由视频捕获装置240所捕获的图像，以便继续显示。
[0064] 所捕获的图像还被用作在提供当前所显示的视频的输入装置断开的情形中所显 示的图像。具体地，所捕获的图像存储在存储器350中作为表示帧图像的图像数据。当断开 发生时，从存储器350读出所捕获的图像，由视频适配器230对其进行渲染，并且将其显示 在显示设备110的显示屏上。更具体地，信号检测器420从存储器350取得图像数据。信 号检测器420指示再现控制单元430,所述再现控制单元430转而指示渲染单元450,所述 渲染单元450转而指示渲染操作单元400。渲染操作单元400通过使用视频适配器230来 执行渲染。
[0065] 另一方面，当不显示视频时，可得出结论：PC等既未在之前的确定过程中与端口 连接，也未在当前的确定过程中与端口连接，或者可得出结论：尽管PC等与端口连接，但是 由于由时间戳所指示的时间是旧的（old)，所以未显示视频。在该情形中，信号检测器420 不执行操作，并且控制进行至步骤S745。
[0066] 当在步骤S715确定连接状态已经改变时，控制进行至步骤S730,在该步骤中标记 被更新。这是因为，当在之前的确定过程中不存在输入信号并且连接状态已改变时，则目前 存在输入信号，而当在之前的确定过程中存在输入信号并且连接状态已改变时，则目前不 存在输入信号。通过参考在步骤S735已更新的标记来进行关于连接状态是否为0N以及是 否存在输入视频信号的确定过程。当存在输入视频信号时，表明提供视频信号的输入装置 新连接到端口。由此，在步骤S740更新标记的时间戳。然后，控制进行至步骤S745。
[0067] 当在步骤S735确定出连接状态为OFF并且不存在输入视频信号时，表明已发生了 断开。由此，控制进行至步骤S745而不采取任何动作。由于时间戳指示输入装置连接时的 时间，所以当断开发生时，时间戳不更新。然而，在步骤S725捕获图像之后，控制进行至步 骤S740,并且即使输入装置不是新连接的，时间戳也更新为捕获图像时的时间。
[0068] 在步骤S745,为每个端口进行连接状态与针对端口的标记设置的连接状态之间的 比较。当存在还未对其进行比较的端口时，控制返回至步骤S710,以便对还未比较的端口执 行比较。另一方面，当已经为每个端口进行完比较时，控制进行至经图7中所示的连接符A 的处理步骤。
[0069] 图8是从图7中所示的第一流程图延续的第二流程图，图8示出了由控制器130 所执行的操作的过程。在步骤S805,信号检测器420检查与各个标记相对应的端口中的每 个端口的时间戳。接下来，在步骤S810,信号检测器420检查一个端口的连接状态。在步骤 S815,信号检测器420确定连接状态是否为ON。当连接状态为ON时，控制进行至步骤S820， 在该步骤中信号检测器420确定端口的时间戳是否指示最近的时间。如果是，则控制进行 至步骤S825,在该步骤中信号检测器420暂时记录端口的端口号。然后，控制进行至步骤 S830。
[0070] 当在步骤S815确定出连接状态为OFF时，或者当确定出时间戳并未指示最近的时 间时，控制进行至步骤S830。在步骤S830,确定是否已检查了每个端口的连接状态。当存在 连接状态尚未检查的端口时，控制返回至步骤S810以便通过执行从步骤S810至步骤S825 的处理来对尚未检查的端口的连接状态进行检查。
[0071] 当在步骤S830确定出每个端口的连接状态均已检查时，控制进行至步骤S835,在 该步骤中将当前在显示设备110的显示屏上所显示的视频的视频信号所输入的端口（下文 称为"视频显示端口"）的端口号与在步骤S825所暂时记录的端口号进行对比，以确定所述 端口号是否不同。每次当检测到新的输入时，均更新指定所述视频显示端口的变量。在初 始状态中，将伪值赋值给该变量。
[0072] 当在步骤S835确定出所述端口号不同时，控制进行至步骤S840,在该步骤中停止 显示当前所显示的视频。期望在显示设备110的显示屏上显示最近的视频，所述最近的视 频是在最近的时间从与控制器130连接的输入装置提供的视频。当在步骤S835确定出所 述端口号不同时，表明当前所显示的视频不是最近的视频。因此，在步骤S840,停止显示比 最近的视频更早的当前所显示的视频，以便执行切换至最近的视频。
[0073] 在步骤S845,信号检测器429指示再现控制单元430释放采样获取单元440和渲 染单元450的资源，以便能够捕获最近的视频。结果，采样获取单元440停止捕获当前所显 示的视频的下一帧图像；渲染单元450还停止在显示设备110的显示屏上的图像渲染。
[0074] 在步骤S850,视频捕获装置驱动器410在最近的时间将视频SW320切换至与输入 端口连接的输入装置，并且从该输入装置接收视频信号的输入。在步骤S855,再现控制单 元430初始化采样获取单元440和渲染单元450。在步骤S860,再现控制单元430指示采 样获取单元440开始捕获视频采样，并且指示渲染单元450在显示设备110的显示屏上开 始进行渲染，从而开始显示视频。然后，控制进行至经图8所示的连接符B的处理步骤。
[0075] 当在步骤S835确定出所述端口号相同时，将继续显示当前所显示的视频。因此， 不必执行从步骤S840至步骤S860的处理，并且控制直接进行至经图8中所示的连接符B 的处理步骤。
[0076] 图9是从图8中所示的第二流程图延续的第三流程图，图9示出了由控制器130 所执行的操作的过程。在步骤S905,信号检测器420参照视频显示端口的标记来确定针对 该标记所设置的连接状态是否为OFF。
[0077] 当针对视频显示端口的标记所设置的连接状态不是OFF时，控制进行至步骤 S915,在该步骤中，信号检测器420确定视频显示端口的端口号是否与暂时记录的端口号 相同。当这两个端口号彼此不同时，控制进行至步骤S920，在该步骤中，更新视频显示端口 的端口号。在步骤S925,该操作结束。
[0078] 另一方面，当针对视频显示端口的标记所设置的连接状态为OFF时，表明已发生 断开。因此，显示在端口断开之前最近捕获的图像。为了执行该操作，控制进行至步骤S910， 在该步骤中，从存储器350取得表示最近捕获的图像的图像数据，并且在显示设备110的显 示屏上显示该图像。在显示该图像之后，控制进行至步骤S915,在该步骤中，如上所述，进行 关于视频显示端口的端口号是否与暂时记录的端口号相一致的确定过程。当这两个端口号 彼此不同时，更新视频显示端口的端口号。在步骤S925,该操作结束。
[0079] 当在步骤S915确定出视频显示端口的端口号与暂时记录的端口号相一致时，控 制直接进入步骤S925,在该步骤中该操作结束。
[0080] 上文已经详细描述了由控制器130执行的操作。下文中，参照图10中所示的顺序 图来描述当再现视频时控制器130的组件如何操作。控制器130就硬件而言包括CPU210、 HDD220以及视频捕获装置240。CPU210运行存储在HDD220中的应用和0S，从而起到渲染 操作单元400、视频捕获装置驱动器410、渲染单元450、再现控制单元430以及采样获取单 元440的作用。
[0081] 为了在显示设备110的显示屏上显示视频，捕获表示组成视频的帧图像的图像数 据是必要的。因此，再现控制单元430 -接收到来自信号检测器420或用户的指令，就指示 采样获取单元440捕获图像数据。所述指令通过与输入装置相连的端口的端口号来指定要 从其捕获图像数据的输入装置。采样获取单元440需要调用接收视频信号输入的视频捕获 装置240来捕获采样，即图像数据。因此，采样获取单元440指示视频捕获装置驱动器410 调用视频捕获装置240并捕获采样。
[0082] 视频捕获装置驱动器410 -接收到来自采样获取单元440的指令，就调用视频捕 获装置240并且指示视频捕获装置240的缓冲器控制单元330以捕获采样。当接收到指令 时，缓冲器控制单元330指示视频SW320捕获表示一个帧图像的经量化的图像数据。视频 SW320捕获表示一个帧图像的图像数据，所述帧图像被输入至指定的端口号的端口并且从 该端口输出。
[0083] 视频SW320将所捕获的表示一个帧图像的图像数据返回至缓冲器控制单元330。 缓冲器控制单元330接收表示一个帧图像的图像数据，并且指示DMA传输单元340执行DMA 传输。DMA传输单元340根据从视频捕获装置驱动器410馈送的指令来对图像数据执行DMA 传输，以传输至指定的存储地址。
[0084] 当DMA传输单元340完成图像数据的DMA传输时，DMA传输单元340将通知 (notification)发送至视频捕获装置驱动器410。视频捕获装置驱动器410 -接收到通知， 就通知采样获取单元440采样捕获已完成，并且视频捕获装置驱动器410将关于其中存储 有图像数据的存储地址和图像数据的数据大小的信息传递至采样获取单元440。采样获取 单元440通知再现控制单元430采样捕获已完成，并且采样获取单元440将关于存储地址 和数据大小的信息传递至再现控制单元430。
[0085] 再现控制单元430将信息传递至渲染单元450,并且指示渲染单元450执行渲染以 使视频显示。渲染单元450访问存储地址以取得表示一个帧图像的图像数据，处理该图像 数据，并且指示渲染操作单元400执行渲染。渲染操作单元400 -接收到指令，就在显示屏 上执行渲染，从而根据指令在该显示屏上显示一个帧图像。
[0086] 在通知再现控制单元430表示一个帧的图像数据的捕获已完成之后，采样获取单 元440指示视频捕获装置驱动器410执行采样捕获，以捕获表示下一帧图像的图像数据。用 这种方式，控制器130捕获表示所有帧图像的图像数据，并且以所捕获的顺序逐个渲染并 显示帧图像，从而在显示设备110的显示屏上显示视频。
[0087] 图4中所示的控制器130经配置来以固定的时间间隔确定是否存在输入视频信 号。可选择地，控制器130可经配置以便当在存在输入视频信号或不存在输入视频信号发 生变化时，通过中断将通知发送给信号检测器420。图11中示出了能够实现这种方案的控 制器130的示例性配置。
[0088] 图11是示出根据本发明的第二实施例的控制器130的功能性框图。根据第二实 施例的控制器130与第一实施例的控制器130在如下方面相同：控制器130包括渲染操作 单元400、视频捕获装置驱动器410、信号检测器420、再现控制单元430、采样获取单元440、 渲染单元450、以及手写操作单元460 ;然而根据第二实施例的控制器130与第一实施例的 控制器130的不同在于：另外包括进程管理（process-management)操作单元470。由于已 经对渲染操作单元400等进行了描述，所以下面仅对进程管理操作单元470进行描述。
[0089] 参照图12中所示的顺序图来描述进程管理操作单元470。显示端口 300和VGA端 口 310中的每个端口均包括接收器。接收器检测存在或不存在输入视频信号中的变化，或 者更具体地说，接收器检测从存在输入视频信号的状态到不存在输入视频信号的状态的状 态变化，反之亦然。当向端口的视频信号输入启动时，显示端口 300和VGA端口 310中的每 个端口均启动DMA传输，而当不再向端口输入视频信号时，显示端口 300和VGA端口 310中 的每个端口均停止DMA传输。
[0090] 在存在输入视频信号或不存在输入视频信号的变化被发送至运行0S的CPU210。 响应于此，CPU210使0S中断发生。通过运行0S所实现的视频捕获装置驱动器410检测所 述中断。视频捕获装置驱动器410调用进程管理操作单元470,从而使进程管理操作单元 470处理所述中断。
[0091] 进程管理操作单元470保持回调（callback)功能，所述回调功能调用在控制器 130的启动期间已寄存的应用。回调功能描述用于检测中断的例程以及在中断发生时所执 行的例程。视频捕获装置驱动器410将关于中断的通知发送至进程管理操作单元470。进 程管理操作单元470 -接收到通知就检测中断，并且将关于存在输入视频信号或不存在输 入视频信号的通知发送至信号检测器420,作为所要执行的例程。信号检测器420 -接收到 所述通知就执行上述操作。回调功能的实例包括当0S为Windows 0S时处理Windows消息 的功能。
[0092] 例如，信号检测器420 -接收到存在输入信号的通知，就执行图13中所示的操作。 图13中所示的操作从步骤S1300开始。在步骤S1305,检测视频信号的输入。此时，获取视 频信号被输入至的端口的端口号。在步骤S1310,与端口号相关联的标记的连接状态从OFF 变为ON。标记的实例在图6中示出。该动作与图7中所示的流程图中的步骤S730相对应。
[0093] 由于信号检测器420已经接收到存在输入信号的通知，所以在步骤S1315,信号检 测器420更新标记的时间戳。因此，所述时间戳指示最近的时间。视频信号的输入在这此 时开始。因此，如果当前在显示设备110的显示屏上显示有视频，则新输入的视频信号与当 前显示的视频的视频信号不同。
[0094] 在步骤S1320,停止显示当前显示的视频。该动作与图8中所示的流程图的步骤 S840相对应。执行该动作以便执行切换至新输入的视频信号，从而显示新输入的视频信号 的视频。
[0095] 接下来，在步骤S1325,信号检测器420指示再现控制单元430释放采样获取单元 440和渲染单元450的资源。结果，采样获取单元440停止捕获当前显示的视频的下一帧图 像；渲染单元450停止在显示设备110的显示屏上的图像渲染。
[0096] 在步骤S1330,视频捕获装置驱动器410将视频SW320切换至端口，以从与该端口 连接的输入装置接收新输入的视频信号。在步骤S1335,再现控制单元430初始化采样获取 单元440和渲染单元450。在步骤S1340,再现控制单元430指示采样获取单元440开始捕 获视频采样，并且指示渲染单元450开始在显示设备110的显示屏上进行渲染，从而开始显 示视频。然后，控制进行至步骤S1345,在该步骤中，更新当前视频显示端口的端口号。在步 骤S1350,所述操作结束。
[0097] 图13中示出了当输入装置新连接到端口并且视频信号输入至该端口时所执行的 操作。然而，可存在这样的情形：用户无意地触碰并收回将输入装置与端口连接的线缆使得 输入装置断开。还可存在这样的情形：用户有意地收回线缆从而断开输入装置，或者还可存 在这样的情形：来自输入装置的视频信号供应被停止。参照图14描述这些情形中所执行的 操作。当发生视频信号不再输入至端口的变化时，发生中断。视频捕获装置驱动器410处 理所述中断。
[0098] 该操作从步骤S1400开始。在步骤S1405,信号检测器420从视频捕获装置驱动器 410接收没有视频信号输入的通知。此时，获取视频信号不再输入至的端口的端口号。在步 骤S1410,与该端口号相关联的标记的连接状态从0N变为OFF。该标记的实例在图6中示 出。所述动作与图7中所示的流程图中的步骤S730相对应。
[0099] 在步骤S1415,由于信号检测器420已经接收到没有视频信号输入至端口的通知， 所以信号检测器420确定提供当前显示的视频的视频信号的输入装置是否与该端口连接。 更具体地，信号检测器420将该端口的端口号与当前显示视频的端口的端口号进行比较。 当所述端口号相同时，可不再提供当前显示的视频的视频信号。因此，在步骤S1420,在紧邻 再现控制单元430停止DMA传输之前，信号检测器420指示再现控制单元430获取由DMA 传输单元340传输至存储器200的图像数据。再现控制单元430指示采样获取单元440获 取图像数据。因此，采样获取单元440获取图像数据。在步骤S1425,再现控制单元430将 所获取的图像数据发送至再现单元450,指示获取单元450渲染图像，并且使该图像显示在 显示设备110的显示屏上。当显示图像时，在步骤S1430,操作结束。
[0100] 另一方面，当所述端口号彼此不同时，表明提供当前显示的视频的视频信号的输 入装置与另一端口连接并能够提供视频信号。因此，能够连续提供视频信号。由此，控制直 接进入步骤S1430,在该步骤中，操作结束。
[0101] 由此，已经详细描述了根据两个实施例的显示控制设备的配置以及所执行的操 作。然而，显示控制设备并不限于这些实施例。
[0102] 例如，控制器130并不必须具有图3中所示的、其中控制器130包括具有多个端口 的视频捕获装置240的配置。可选择地，控制器130可具有图15A和图15B中所示的配置， 在该配置中控制器130包括多个视频捕获装置，每个视频捕获装置包括一个端口、控制单 元、存储器和PCIe接口。
[0103] 如果采用所述替代配置，则代替端口号使用装置标识信息，例如用于识别每个视 频捕获装置的装置号。图16示出与装置号相关联的标记的示例表。参照该表，标记与装置 号、指示连接状态的"ON"或"OFF"、以及指示连接建立时的日期和时间的时间戳相关联。
[0104] 任何包括图2中所示的硬件的装置均可用作控制器130。控制器130可以是PC、 服务器、工作站等。由控制器130所执行的显示控制操作可实现为程序并且在程序中实现， 所述程序例如应用和0S。也可将根据上述实施例的方法提供为程序。可将程序提供为存储 在诸如CD-ROM或SD卡之类的记录介质中，或者可选择地，可以以从其中存储有程序的服务 器等下载的形式来提供程序。
[0105] 即使当输入装置的断开必须发生时，显示控制设备、显示控制方法和程序中的每 个也能够自动显示预先捕获的图像而无需执行手动切换。因此，即使当输入装置在记笔记 或照快照之前断开，图像也能自动显示，使用户记笔记和/或照快照。此外，当用户期望添 加书写时，可将书写添加到图像上。
[0106] 当视频信号从新连接的输入装置输入时，自动执行切换和显示。因此，可显示从新 连接的输入装置输入的视频信号的视频，而无需用户的操作。新输入的视频是图像显示系 统的用户所观看到的、具有最高优先级的视频。因而，通过如上所述的显示新输入的视频， 能够实现用户所期望的显示方案。此外，即使交互式白板应用并未安装在输入装置上，当图 像显示系统配置有上述功能和程序时，所显示的视频或所显示图像也能够自动切换至通过 在视频或图像上叠加书写所创建的合成图像。由此，可防止与显示控制相关的操作阻碍会 议等的进程的情形。
[0107] 根据实施例，提供一种显示控制设备，所述显示控制设备可与多个输入装置连接， 从多个装置中的一个输入装置接收视频信号输入，并且执行控制使视频显示在显示设备 上。所述设备包括：捕获单元，捕获表示所输入的视频信号的帧图像的图像数据；信号检测 器，检测视频信号是否输入，并基于检测的结果发布用以使显示设备显示视频或帧图像的 指令；以及控制单元，当该控制单元接收到用以使显示设备显示帧图像的指令时，从由捕获 单元最近捕获的图像数据来生成帧图像，并使显示设备显示帧图像。
[0108] 当信号检测器检测到另一输入装置新连接到显示控制设备并且视频信号从所述 另一输入装置输入时，所述信号检测器优选地指示控制单元使显示设备显示根据从所述另 一输入装置输入的视频信号所生成的视频。当信号检测器检测到视频信号未从所述输入装 置输入而从另一输入装置输入视频信号时，信号检测器优选地指示控制单元使显示设备显 示根据从所述另一输入装置输入的视频信号所生成的视频。
[0109] 信号检测器优选地包括以固定的时间间隔检测视频信号是否输入的检测器以及 检测存在或不存在视频信号的输入的变化的检测器两者中的任何一个。这使得可以根据以 固定的时间间隔所执行的检测的结果，将当前显示的视频切换至另一视频或图像，从而防 止显示设备的屏幕变空白，其中所述检测是关于视频信号是否输入以及视频信号是否发生 使得已经输入的视频信号变得不存在的变化。
[0110] 尽管为了清楚完整的进行公开，已经相对于特定实施例对本发明进行了描述，然 而，所附权利要求并非意在就此进行限制，而是意在解释为包含本领域技术人员可想到的、 完全落在本文所阐述的基本教导范围内的所有修改和替代结构。
【权利要求】
1. 一种显示控制设备，可与多个输入装置连接，从所述多个输入装置中的一个输入 装置接收视频信号的输入，并且进行控制使视频显示在显示设备上，所述显示控制设备包 括： 捕获单元，经配置用以捕获表示输入视频信号的帧图像的图像数据； 信号检测器，经配置用以检测所述视频信号是否输入，并基于所述检测的结果发布用 以使所述显示设备显示所述视频或所述帧图像的指令；以及 控制单元，经配置用以当检测到所述视频信号未输入并且所述控制单元接收到用以使 所述显示设备显示所述帧图像的指令时，根据所述捕获单元最近捕获的所述图像数据来生 成所述帧图像，以使所述显示设备显示所生成的帧图像。
2. 根据权利要求1所述的显示控制设备，其中，当所述信号检测器检测到另一输入装 置新连接到所述显示控制设备并且视频信号从所述另一输入装置输入时，所述信号检测器 指示所述控制单元使所述显示设备显示根据从所述另一输入装置输入的视频信号所生成 的视频。
3. 根据权利要求1所述的显示控制设备，其中，当所述信号检测器检测到所述视频信 号未从所述一个输入装置输入而从另一输入装置输入视频信号时，所述信号检测器指示所 述控制单元使所述显示设备显示根据从所述另一输入装置输入的视频信号所生成的视频。
4. 根据权利要求1所述的显示控制设备，其中，所述信号检测器包括经配置来以固定 的时间间隔检测所述视频信号是否输入的单元或者经配置用以检测存在或不存在所述视 频信号的输入的变化的单元。
5. 根据权利要求1所述的显示控制设备，其中 所述捕获单元包括经配置用以捕获表示所述视频信号的帧图像的图像数据的单元以 及经配置用以传输所获取的图像数据的单元，并且 所述控制单元包括经配置用以接收所传输的图像数据并且根据所述图像数据执行渲 染的单元，由此使所述视频或所述帧图像显示在所述显示设备的显示屏上。
6. 根据权利要求1所述的显示控制设备，还包括 经配置用以获取从所述显示设备的显示屏输入的信息并且根据所获取的信息生成输 入图像数据的单元，其中 所述控制单元通过将根据所述输入图像数据生成的输入图像叠加在所述帧图像上来 创建合成图像，并且使所述显示设备显示所述合成图像。
7. -种图像显示系统，包括： 根据权利要求1所述的显示控制设备； 显示设备；以及 多个输入装置中的至少一个。
8. -种显示控制方法，由显示控制设备执行，所述显示控制设备可与多个输入装置连 接，从所述多个输入装置中的一个输入装置接收视频信号的输入，并且进行控制使视频显 示在显示设备上，所述显示控制方法包括： 连续捕获表示输入视频信号的帧图像的图像数据； 检测所述视频信号是否输入； 基于所述检测的结果发布用以使所述显示设备显示所述视频或所述帧图像的指令； 当检测到所述视频信号输入并且接收到用以使所述显示设备显示所述视频的指令时， 根据连续捕获的所述图像数据来生成连续的帧图像并且将所述连续的帧图像显示在所述 显示设备上；以及 当检测到所述视频信号未输入并且接收到用以使所述显示设备显示所述帧图像的指 令时，根据在捕获时最近捕获的所述图像数据来生成帧图像并且将所生成的帧图像显示在 所述显示设备上。
9. 一种计算机可读记录介质，在所述计算机可读记录介质上存储有可运行的程序，其 中所述程序指示计算机执行根据权利要求8所述的显示控制方法。
【文档编号】B43L1/04GK104067336SQ201280068117
【公开日】2014年9月24日 申请日期:2012年11月21日 优先权日:2011年11月25日
【发明者】朱匡一 申请人:株式会社理光