专利名称：电子会议系统中的会议终端装置、电子会议系统、以及显示图像控制方法
技术领域：
本发明涉及显示图像控制，用于在由计算机控制的显示屏上显示由计算机接收的多个图像信息项，并且更具体地涉及在接收的图像信息项的数目与由计算机控制的显示屏的数量不同的情况下的显示图像控制。
背景技术：
电子会议系统通常使得在彼此远离的会议室中提供的计算机彼此连接，用于传送和接收实时图像信息。接收的图像信息显示在显示屏上，例如液晶显示器，而该显示屏由会议室中的计算机控制。在展示者在特定会议室中执行展示的情况下，显示在此会议室中的显示屏上的图像信息被发送到位于另一间会议室的计算机中，并显示在该计算机的显示屏上。同样地，出席在接收端的会议室中的与会者可以确定在远程会议室中执行的展示内容。
另外，如果展示者在执行展示的同时，利用多个显示屏同时显示多个信息项，在远程会议室中的与会者可以在他/她自己的会议室中观看多个显示屏的同时确认展示内容。如上所述的多个屏幕的使用使得在远程会议室中的与会者能够同时确定大量信息，使得他可以容易地理解该展示。
这里，当应用在信息传送端的会议室中的屏幕数量，与在信息接收端的会议室中的屏幕数量相等时，将不会引起任何问题，因为传送端的显示屏上的图像信息项可以直接分配给并显示在接收端的显示屏上。
然而，当应用在信息传送端的会议室中的屏幕数量，与在信息接收端的会议室中的屏幕数量不同时，而且具体地，当应用在接收端的屏幕数量少于应用在传送端的屏幕数量时，就不可能在接收端的会议室中提供的显示屏上，同时显示从传送端的会议室传送的所有图像信息项。
为了克服此类缺点，在接收端的会议室中的观众或听众，从被传送的图像信息项中选择一定数量的信息项，其中这些信息项的数量对应于接收端的会议中的显示屏数量；也就是，与接收端的会议室中的显示屏数量相等的信息项数量。然而，借助这种方法，观众以他/她自己的判断力选择图像信息项，而没有用于选择展示者希望观众选择的图像信息项的标准。因此，由观众选择的图像信息项未必是展示者希望观众选择的图像信息。
为了处理上述问题，可以是这样一种情况，其中展示者自己选择展示者希望观众选择的图像信息项。然而，这种方法引起下列问题。首先，该方法往往使展示者产生混淆，因为展示者在他或她执行展示的同时，必须选择图像信息项。当展示者必须选择多个图像信息项的时候，这个问题变得特别严重。另外，当在接收端提供多个会议室时，展示者在选择图像信息以满足所有会议室中的参与者的要求方面会遇到困难。
发明内容
根据本发明的一个方面，提供由电子会议的演说者使用的会议终端装置，用于传送显示在屏幕上的图像信息，并使由听众使用的远程会议终端装置在远程屏幕上显示图像信息。该会议终端装置包括屏幕控制部分，其在屏幕上显示多个图像信息项；优先级分配部分，其为每个被显示的图像信息项分配在远程屏幕上显示的优先级；以及信息传送处理部分，其向远程会议终端装置传送被显示的图像信息项以及分配给每个图像信息项的优先级。
根据本发明的另一个方面，提供由电子会议的听众使用的会议终端装置，用于显示从由演说者使用的远程会议终端装置传送来的图像信息。该会议终端装置包括信息接收处理部分，其接收在远程屏幕上显示的多个图像信息项以及被显示的图像信息项的优先级信息；以及显示处理部分，其根据用于显示图像信息项和优先级信息的屏幕数量，显示接收的图像信息。
根据本发明的另外一个方面，提供一种电子会议系统，包括传送终端装置，其在屏幕上显示多个图像信息项，为每个被显示的图像信息项分配在远程屏幕上显示的优先级，并向远程会议终端装置传送被显示的图像信息项以及分配给每个图像信息项的优先级；以及终端装置，其接收从另一个会议终端装置传送来的多个图像信息项以及用于显示接收的图像信息项的优先级信息，并根据优先级信息和用于显示图像信息的屏幕数量，显示接收的图像信息。
根据本发明的另外一个方面，提供传送用于电子会议中的图像信息项的方法，其包括为每个用于电子会议中的多个图像信息项分配在远程屏幕上显示的优先级，以及向远程会议终端装置传送被显示的图像信息项以及分配给每个图像信息项的优先级。
根据本发明的另外一个方面，提供显示用于电子会议中的接收的图像信息项的方法，其包括接收在远程屏幕上显示的多个图像信息项以及被显示的图像信息项的优先级信息，以及根据用于显示图像信息项和优先级信息的屏幕数量，显示接收的图像信息。
如上所述，会议终端装置可以向远程会议终端装置传送分配给每个图像信息项的优先级信息，因而允许远程会议终端装置以优先级信息为基础，选择图像信息项，其中优先级信息可以用作为确定是否显示某一图像信息项的标准。
附图简述将要参考下列附图详细描述本发明的优选实施例，其中
图1为示出根据本发明实施例的电子会议系统的总体结构的结构示图；图2为示出在会议室中执行的展示流程的示图；图3为示出传送信息的数据结构的示意图；图4为示出本地会议终端和远程会议终端结构的方框图；图5为示出通过分析图像数据探测展示者动作的处理流程的流程图；图6为示出通过使用附加图像信息探测展示者动作的处理流程的流程图；图7为示出关注点确定处理部分中的处理流程的流程图；图8为在图像信息的优先级升高的情况下，示出优先级确定部分的处理流程的流程图；图9为在图像信息的优先级降低的情况下，示出优先级确定部分的处理流程的流程图；图10为示出传送信息的数据结构的详图；图11为示出依照远程会议终端中屏幕的数量而执行的处理流程的流程图；图12为示出当本地会议终端的屏幕数量大于远程会议终端的屏幕数量时，屏幕分配处理流程的流程图；图13为示出会议室中屏幕和展示者的位置的示图，其中本地会议终端位于该会议室；以及图14为示出显示在远程会议终端的屏幕上的图像信息和屏幕的显示模式的示图。
发明详述将要参考附图详细描述本发明的优选实施例。
图1为示出根据本发明实施例的电子会议系统10的总体结构的示图。参考图1，在电子会议系统10中，会议终端14a至14f安装在彼此远离的多个会议室12a至12f中，并通过通信线路彼此连接。这里，每个会议终端14a至14f均为信息处理终端，例如计算机，其控制在电子会议中通信的图像信息和音频信息。应该注意，不是本发明的目的的音频信息的通信不在本申请中描述。
在电子会议中，通过通信线路，将显示在特定会议室12a中的屏幕16a上的图像信息传送到其他会议室12b至12f。在会议室12b至12f中接收并在屏幕16b至16f上显示图像信息。因此，在会议室12a至12f的屏幕16a至16f上显示公共图像信息，使得会议室12a至12f中的与会者可以共享公共图像信息。
可以为每个会议终端14a至14f提供可以同时显示多个图像信息项的显示屏。然而，在所有会议终端14a至14f中，屏幕的数量未必相等。
当接收端的会议终端中提供的屏幕数量大于传送端的会议终端传送的图像信息项的数量时，可以同时显示所有图像信息项。然而，当传送的信息项的数量大于接收端的会议终端中提供的屏幕数量时，接收端的会议终端不能同时显示所有传送的图像信息项。
为了致力于以上问题，根据本实施例，为接收端的每个会议终端提供标准，该标准允许从传送端的会议终端传送的图像信息项中，选择显示在屏幕上的图像信息项。
参考图2，将要描述由接收端的每个会议终端使用的标准，其用于选择显示在屏幕上的图像信息项。这里，由于会议终端14a至14f具有相同的结构，为了便于解释，将提供这样一种描述，其中采用本地会议终端14a作为传送图像信息的会议终端，并且采用远程会议终端14b作为接收图像信息的会议终端，其中会议终端14b代表其他会议终端14b至14f。本地会议终端14a具有四个屏幕16a(为了便于解释，下文中将称为屏幕20a至20d)，而远程会议终端14b具有两个屏幕16b(为了便于解释，下文中将称为屏幕30a至30b)。图2示出在会议室12a中执行的展示的流程，其中本地会议终端14a位于该会议室中。
会议室12a包括四个屏幕20a至20d，展示者利用这些屏幕来展示。这里，图2所示的屏幕从该图的左端开始被指定为20a、20b、20c、和20d。当展示者在展示过程中，利用显示在四个屏幕上的所有图像用于解说时，展示者不能同时利用显示在四个屏幕上的图像。正常地，展示者一次利用一幅显示图像用于解说。
例如，在展示起始处，为了解说展示的议程，展示者移动到显示关于议程的图像的屏幕20a附近，并利用显示在屏幕20a上的图像解说该议程(图2中的步骤100)。随后，为了解说展示的主要议题，展示者移动到屏幕20b的右侧，并利用显示在屏幕20b上的图像解说主要议题。另外，展示者可以利用指示器或指示设备以表示屏幕20b的具体位置用于解说(图2中的步骤101)。在展示的中间部分，为了补充解说主要议题，展示者将他或她的身体转向屏幕20c，该屏幕上显示补充内容，而且展示者在利用显示在显示屏20c上的图像的同时，解说主要议题(图2中的步骤102)。展示者也可以在显示图像上书写(图2中的步骤103)。
如上所述，展示者用于解说的屏幕随着展示的推进而改变。这里，当展示者利用显示图像用于解说时，展示者对于显示展示者用来解说的图像的屏幕采取一些动作，而不使用其他屏幕。
如果展示者长时间没有对特定屏幕采取任何动作，显示在该屏幕上的图像被视为与此时展示者试图解说的内容没有多少关系。因此，展示者未对一个屏幕采取动作的时间段的长度被用作为设定优先级的标准，其中该优先级用于确定图像信息项是否应该显示在远程会议终端14b的屏幕30a和30b上。
通过参考图3，现在将描述一种借助远程会议终端14b，用于从传送到远程会议终端14b的四个图像信息项中，选择要显示在两个显示屏上的图像信息项，以及以不同于其他图像信息项的模式显示的图像信息项。图3示意性地示出传送信息18的数据结构，其中该传送信息从本地会议终端14a传送到远程会议终端14b。
传送信息18包括对应于为本地会议终端14a提供的显示屏的传送信息项。每个传送信息项18a至18d包括屏幕ID 22、图像信息24、优先级信息26、以及关注点信息(focus information)28。
屏幕ID 22为对应于屏幕20的标识符，屏幕20由本地会议终端14a显示，而内在的屏幕ID 22a至22d分别分配给相应的屏幕20a至20d。图像信息24为显示在由屏幕ID 22指定的屏幕20上的图像的信息。优先级信息26为用作为标准的信息，其确定是否在远程会议终端14b上显示相应的图像信息24。在本实施例中，优先级信息26的数值越低，在远程会议终端14b上显示对应于屏幕ID 22的图像信息24的可能性就越高。关注点信息28为关于使用或不使用图像的信息，它表示显示在本地会议终端14a的屏幕20上的图像信息24是否被展示者用于解说。关注点信息“1”表示图像信息用于解说，而关注点信息“0”表示图像信息不用于解说。
本地会议终端14a将图像信息24a至24d、优先级信息26a至26d、以及关注点信息28a至28d，与每个屏幕ID 22a至22d关联，因此生成传送信息项18a至18d，并将传送信息项18a至18d传送到远程会议终端14b。在接收传送信息项18a至18d的基础之上，远程会议终端14b，以分别对应于屏幕ID项22a至22d的优先级信息项26a至26d为基础，选择要显示在远程会议终端14b的屏幕30上的图像信息。另外，远程会议终端14b以不同于其他图像信息项24的模式，显示对应于该屏幕上的关注点信息为“1”的屏幕ID 22的图像信息项24。例如，此类图像信息项24与具有固定宽度的彩色图像一同显示，使得屏幕边缘被色彩装饰。
通过远程会议终端14b选择图像信息24的方法将作为发明的一个实施例而描述。现在假定本地会议终端14a生成传送信息18，其对应于屏幕ID 22a至22d的优先级信息项分别为“3、1、2、和3”，并将传送信息18传送到远程会议终端14b。远程会议终端14b，对应于远程会议终端14b的屏幕数量，从传送信息项18a至18d中，选择优先级信息项26a至26d具有较小数值的一定数量的传送信息项。更具体地，假定以优先级信息值的升序安排上述传送信息项18(以优先级的降序)，可以以下列顺序安排屏幕ID 22屏幕ID 22b(优先级信息＝1)；屏幕ID 22c(优先级信息＝2)；屏幕ID 22a(优先级信息＝3)；屏幕ID 22d(优先级信息＝3)。因为远程会议终端14b具有两个显示屏30a和30b，对应于屏幕ID 22b和ID 22c的图像信息项24显示在这些屏幕上。另外，远程会议终端14b探测屏幕ID 22b所标识的传送信息项18b的关注点信息28为“1”，并以不同于其他图像信息项的模式显示图像信息项24b。
如上所述，为了使远程会议终端14b选择要被显示在屏幕30上的图像信息24，本地会议终端14a分别将优先级信息项26a至26d分配给图像信息项24a至24d，其中这些优先级信息项用作为标准，确定哪条图像信息项24应该显示在远程会议终端14b的屏幕上，并且本地会议终端14a将作为结果的传送信息项18传送到远程会议终端14b。以优先级信息项26a至26d为基础，远程会议终端14b以优先级信息26的更小数值的顺序(也就是以更高优先级的顺序)，选择与远程会议终端14b的屏幕数量相等的图像信息项24。
参考图4，将要描述本实施例的本地会议终端14a和远程会议终端14b的结构。图4为示出本地会议终端14a和远程会议终端14b的结构的方框图。本地会议终端14a包括显示控制处理部分40、动作探测部分48、关注点确定处理部分52、优先级确定部分54、传送信息产生部分56、以及通信处理部分60。同时，远程会议终端14b包括通信处理部分61以及显示控制处理部分62。显示控制处理部分62进一步包括屏幕分配处理部分64、关注点分配处理部分66、以及显示状态存储部分68。
由于在本实施例中本地会议终端14a和远程会议终端14b具有类似的结构，在图4的方框图中以它们的结构相互对应的方式示出它们，并通过箭头表示信息流中的差异。这里，为了便于解释，远程会议终端14b和本地会议终端14a分别被指定为传送信息18的接收端的终端和传送信息18的传送端的终端，并且也可能将传送信息18从远程会议终端14b传送到本地会议终端14a。
显示控制处理部分40包括多个屏幕20a至20d，并且具有显示图像信息的功能。显示控制处理部分40与外部存储部分41连接，用于获得材料数据和注释数据(下文中将合并为材料数据)。
每个屏幕20a至20d(下文中将由屏幕20a表示)具有显示从显示控制处理部分40传送的图像信息的功能。当触笔设备的尖端接触屏幕20a时，屏幕20a进一步具有将屏幕ID 22、坐标信息、以及色彩识别信息传送到显示控制处理部分40的功能，其中屏幕ID 22为用于识别屏幕20a的信息；坐标信息表示屏幕20a上由触笔设备44的尖端接触的位置；色彩识别信息表示使用的触笔设备44的颜色。
在接收屏幕ID 22、坐标信息、以及色彩识别信息的基础上，显示控制处理部分40在由屏幕ID 22指定的屏幕20a上，由坐标信息指定的位置处，显示由色彩识别信息指定的色彩图像。
即使在触笔设备44的尖端移动以后，也保留显示的色彩图像。因此，当展示者移动触笔设备44，而其尖端接触屏幕时，笔尖的轨迹保留在屏幕上。因此，展示者可以利用触笔设备44在屏幕20a上书写。
显示控制处理部分40在每个屏幕20a至20d上一同显示材料数据和图像信息，其中该图像信息是展示者通过利用触笔设备44书写而加入的(下文中将称为附加图像信息)。在本实施例中，由本地会议终端14a传送到远程会议终端14b的图像信息24是指将材料数据与附加图像信息叠加而获得的信息。显示控制处理部分40将显示在屏幕20a至20d上的图像信息项24a至24d传送到传送信息产生部分56，其中使得图像信息项24a至24d分别与屏幕20a至20d的屏幕ID22a至22d关联。显示控制处理部分40进一步将显示在屏幕20a至20d上的每个附加图像信息项传送到动作探测部分48，其中使得附加图像信息项分别与屏幕20a至20d的屏幕ID 22a至22d关联。
动作探测部分48与相机50连接。相机50安装在会议室12a中，并将所有屏幕20a至20d的图像和在相机50的画面中的展示者图像采集下来，用于生成图像数据。动作探测部分48具有对从相机50接收的图像数据执行图像分析的功能，并从而指定展示者在其上采取某些动作的动作屏幕，以及表示由展示者执行的动作类型的动作类型。动作探测部分48同样具有借助于从显示控制处理部分40接收的附加图像信息来指定动作屏幕和动作类型的功能。动作探测部分48包括内部存储部分m1(未示出)，其存储动作屏幕的屏幕ID 22和动作类型。另外，动作探测部分48向关注点确定处理部分52和优先级确定部分54传送动作屏幕的屏幕ID 22的信息和对应于屏幕ID 22的动作类型的信息。
关注点确定处理部分52确定关注点信息28的数值，该信息指定屏幕20显示被展示者用于解说的图像信息24。关注点确定处理部分52从动作探测部分48接收动作屏幕的屏幕ID 22和动作类型，并且以接收的信息为基础，生成关注点信息28，用于识别被展示者用于解说的图像信息24。关注点确定处理部分52包括内部存储部分m2(未示出)，其存储屏幕ID 22a至22d和对应于屏幕ID 22a至22d的关注点信息28。另外，关注点确定处理部分52向传送信息产生部分56传送屏幕ID 22a至22d和对应于屏幕ID 22a至22d的关注点信息28。
优先级确定部分54确定优先级信息26的数值，其用作为确定图像信息24是否应该显示在远程会议终端14b的屏幕上的标准。优先级确定部分54从动作探测部分48接收动作屏幕的屏幕ID 22和动作类型，并且以接收的信息为基础，分别关于显示在屏幕20a至20d上的图像信息项24a至24d，生成优先级信息26，表示用作为确定远程会议终端14b是否应该在屏幕上显示图像信息24的标准的优先级。优先级确定部分54在优先级确定部分54中设置的内部存储部分m3(未示出)中存储与屏幕ID 22a至22d关联的屏幕ID 22、优先级信息26、事件类型(将在以下详细描述)25、以及事件接收时间(将在以下详细描述)27，并同时将类似信息传送到传送信息产生部分56。
传送信息产生部分56生成传送信息，传送到远程会议终端14b。传送信息产生部分56从关注点确定处理部分52接收关注点信息28，从优先级确定部分54接收优先级信息26，从显示控制处理部分40接收图像信息24，并依照接收的信息生成传送信息18，并将传送信息18传送到通信处理部分60。传送信息产生部分56包括内部存储部分m4(未示出)，其存储与屏幕ID 22a至22d关联的屏幕职责23、优先级信息26、事件类型25、以及事件接收时间27。以存于存储部分m4中的信息和从显示控制处理部分40接收的图像信息24为基础，传送信息产生部分56生成传送信息18。
通信处理部分60从传送信息产生部分56接收传送信息18，并将传送信息18传送到远程会议终端14b。
这里，本地会议终端14a中每个部分的功能由设置在本地会议终端14a中的应用程序和硬件资源的合作来实现。
现在，将要描述远程会议终端14b的结构。
远程会议终端14b的通信处理部分61从本地会议终端14a接收传送信息18，并将传送信息18传送到显示控制处理部分62。
显示控制处理部分62在远程会议终端14b的屏幕30上显示图像信息24。显示控制处理部分62包括多个(本实施例中为两个)屏幕30a和30b、屏幕分配处理部分64、关注点分配处理部分66、以及显示状态存储部分68。
显示控制处理部分62从通信处理部分61接收传送信息18，依照由屏幕分配处理部分64确定的屏幕分配显示图像信息24，并以不同于其他图像信息项24的模式，显示由关注点分配处理部分66确定的图像信息项24。
屏幕分配处理部分64将包括在接收到的传送信息18中的屏幕ID 22分配给远程会议终端14b的屏幕30a和30b。屏幕分配处理部分64包括内部存储部分m5(未示出)，其存储彼此关联的远程屏幕ID32和传送信息18的屏幕ID 22，其中远程屏幕ID 32为用于指定远程会议终端14b的每个屏幕30a和30b的标识符，而传送信息18包括要显示在远程会议终端14b的屏幕30上的图像信息项24。
关注点分配处理部分66包括内部存储部分m6(未示出)，其存储彼此关联的远程屏幕ID 32和关注点信息28，其中关注点信息28表示是否以不同于其他信息项的模式显示图像信息项24。
显示状态存储部分68为用于存储包括在传送信息18中的屏幕ID 22以及包括在传送信息18中的关注点信息28的存储部分，其中屏幕ID 22对应于远程屏幕ID 32a和32b。
显示控制处理部分62在远程会议终端14b的每个屏幕30a和30b上，显示从本地会议终端14a传送的图像信息24。此时，显示控制处理部分62以存于显示状态存储部分68中的信息为基础，选择图像信息项24，并在屏幕30上显示图像信息24。
这里，由设置在远程会议终端14b中的应用程序和硬件资源的合作来实现远程会议终端14b的每个结构元件。
通过参考图10，将要描述从本地会议终端14a传送到远程会议终端14b的传送信息18的数据结构。图10所示的传送信息18为图3所示的传送信息18的详尽形式。因此，由相同的附图标记指定与图3中的信息项具有相同职责的信息项。传送信息18包括屏幕ID 22、图像信息24、优先级信息26、关注点信息28、屏幕职责23、事件类型25、以及事件接收时间27。
屏幕ID 22为对应于由本地会议终端14a显示的每个屏幕20a至20d的标识符。在本实施例中，本地会议终端14a的屏幕数量为四，而内在的屏幕ID 22a至22d分别分配给相应的屏幕20a至20d。
屏幕职责23为表示是否在展示中主要使用由屏幕ID 22指定的屏幕的信息。由“1”指定在展示中主要使用的屏幕(下文中称为主屏幕)，而由“0”指定其他屏幕(下文中称为辅屏幕)。对应于每个屏幕ID 22a至22d的屏幕职责23的数值固定为预定数值。
优先级信息26为用作为标准的信息，用于确定是否应该在远程会议终端14b中显示对应于屏幕ID 22的图像信息24。以优先级的降序，优先级信息26可以具有“1、2、3、无”的数值。在本实施例中，在远程会议终端14b中，更优先地显示传送信息18中具有较低的优先级信息26数值的图像信息24。更具体地，优先级信息的数值越低，图像信息24的优先级越高。优先级信息26的数值“无”表示数值不固定的状态。
关注点信息28为表示在本地会议终端14a中，由屏幕ID 22指定的屏幕20的图像信息24是否被展示者使用。关注点信息28的数值“0”表示展示者不使用图像信息24，而数值“1”表示展示者正在使用图像信息24。
事件类型25为表示关于屏幕20的展示者动作的类型，而且与上述动作类型同义。事件类型25可以是展示者动作的类型，例如“身体朝向”表示展示者转向屏幕20，“书写”表示展示者在屏幕20上执行书写，而“指向”表示展示者指向屏幕20的一个部分，事件类型25也可以是信息，包括“屏幕显示”，其表示屏幕20上的显示内容已经改变，也就是页面改变；“经过Δt1”，表示从优先级数值变成“1”时起，展示者在屏幕20上没有采取动作的时间已经经过了时间段Δt1；以及“经过Δt2”，表示从优先级数值变成“2”时起，展示者在屏幕20上没有采取动作的时间已经经过了时间段Δt2。
事件接收时间27表示优先级确定部分92接收上述事件类型25的时间。事件接收时间27的数值越大，优先级确定部分92接收上述事件类型25的时间越晚。
图像信息24为关于显示屏幕20上的图像的信息，其中屏幕20由屏幕ID 22指定。
将要描述本地会议终端14a和远程会议终端14b中的详细处理和处理流程。
显示控制处理部分40在每个屏幕20a至20d上显示图像信息项。显示控制处理部分40将屏幕20a至20d的屏幕ID 22与显示在屏幕20a至20d上的图像信息项24关联，并将信息传送到传送信息产生部分56。显示控制处理部分40也将屏幕20a至20d的屏幕ID 22与显示在屏幕20a至20d上的附加图像信息项关联，并将信息传送到动作探测部分48。
借助于以下两个实例，动作探测部分48可以探测展示者的动作。将要描述每个实例。
该方法的第一个实例为通过分析从连接到本地会议终端14a的相机50传送的图像数据，探测展示者的动作。将要参考图5所示的流程图描述该方法。
动作探测部分48从相机50获得图像数据(S1)，并执行关于图像数据的图像分析，从而指定展示者的动作类型以及动作屏幕(S2)。
动作探测部分48如下指定动作类型和动作屏幕。具体地，动作探测部分48以接收的图像数据为基础，执行图像分析，从而识别每个屏幕20a至20d的位置和外形、展示者的位置和外形、以及不同于屏幕20a至20d和展示者的背景，并存储信息，作为位置信息和图像信息(S3)。根据屏幕20和展示者的位置信息，动作探测部分48接着探测展示者关于每个屏幕20a至20d的相对位置(S4)。
随后，动作探测部分48以展示者外形信息为基础，探测展示者身体的方向。例如，动作探测部分48探测展示者鼻子的位置和展示者身体的左右侧部的位置，从而根据鼻子关于侧部的相对位置，探测身体的朝向(S5)。
动作探测部分48以关于展示者外形的图像信息为基础，探测展示者的动作类型(S6)。接着，动作探测部分48以展示者关于每个屏幕的相对位置和展示者身体的朝向为基础，指定动作屏幕(S7)。在获得如图2的S102所示的图像数据时，例如，动作探测部分48根据图像分析，探测到展示者位于屏幕20b和屏幕20c之间，而且如从相机50观看的那样，展示者将其身体转向右边，并因此根据探测到的信息，探测到动作屏幕为“屏幕20c”，而动作类型为“身体朝向”。
动作探测部分进一步从48存储部分m1获得对应于被探测到的动作屏幕的屏幕ID 22的动作类型(S8)。
动作探测部分48接着确定由图像分析获得的动作类型和由存储部分m1获得的动作类型是否一致。具体地，动作探测部分48确定由步骤S2中的处理通过图像数据的图像分析而获得的动作类型是否与由步骤S8中的处理获得的动作类型一致；也就是，是否与已经存储的紧接在之前动作类型一致(S9)。
如果这些动作类型彼此不同(S9/否)，动作探测部分48将对应于存于存储部分m1中的动作屏幕的动作类型信息更新为作为图像分析结果而获得的动作类型(S10)。动作探测部分48接着向关注点确定处理部分52和优先级确定部分54传送动作屏幕的屏幕ID 22的信息和对应于动作屏幕的动作类型的信息(S11)。另一方面，当动作类型一致时(S9/是)，动作探测部分48不执行步骤S10中的处理；也就是，不更新存于存储部分m1中的信息，并执行步骤S11中的处理。
现在将要参考图6所示的流程图描述用于探测展示者动作的该方法的第二个实例。图6所示的流程图示出，通过分析从显示控制处理部分40传送到动作探测部分48的附加图像信息，用于探测展示者动作的处理流程。
动作探测部分48周期性地接收屏幕ID 22和对应于屏幕ID 22的附加图像信息。动作探测部分48也从动作探测部分48中的存储部分m1获得对应于屏幕ID 22的附加图像信息；也就是，已经接收的紧接在之前的附加图像信息(S20)。
动作探测部分48接着确定由存储部分m1获得的附加图像信息与由显示控制处理部分40接收的附加图像信息是否一致(S21)。
如果两个附加图像信息项不同(S21/否)，动作探测部分48将对应于存于存储部分m1中的屏幕ID 22的动作类型更新为“书写”(S22)，并进一步将对应于存于存储部分m1中的屏幕ID 22的附加图像信息更新为从显示控制处理部分40接收的附加图像信息(S23)。动作探测部分48接着从存储部分m1中获得屏幕20的屏幕ID 22和对应于屏幕ID 22的动作类型，其中在屏幕20上采取“书写”动作，并将因此获得的信息传送到关注点确定处理部分52和优先级确定部分54。具体地，动作探测部分48确定在由屏幕ID 22指定的屏幕20上采取书写动作，并且，在更新存于存储部分m1中的信息之后，传送动作屏幕的屏幕ID 22和动作类型(S24)。如果两个附加图像信息项一致(S21/是)，无需传送关于动作屏幕的屏幕ID 22和动作类型的信息，完成处理。
如上所述，动作探测部分48从通过采集屏幕和展示者的图像而获得的图像数据中，也从附加图像信息中，探测展示者的动作，其中图像数据由相机50传送，而附加图像信息由显示控制处理部分40传送。
通过参考图7，将要描述由关注点确定处理部分52执行的处理流程。图7为示出关注点确定处理部分52的处理流程的流程图。当从动作探测部分48获得动作屏幕的屏幕ID 22和动作类型时，关注点确定处理部分52确定接收到的动作类型是否为“屏幕显示”(S30)。如果动作类型为“屏幕显示”(S30/是)，关注点确定处理部分52开始执行步骤S32中的处理，而无须更新存于存储部分m2中的信息。
如果接收到的动作类型信息表示不同于“屏幕显示”的动作(S30/否)，关注点确定处理部分52更新存于存储部分m2中的信息，使得对应于接收到的屏幕ID 22的关注点信息28更新为“1”，而对应于其他屏幕ID 22的关注点信息28更新为“0”(S31)。
关注点确定处理部分接着从存储部分m2获得屏幕ID 22a至22d和对应于屏幕ID 22a至22d的关注点信息28a至28d，并将信息传送到传送信息产生部分56(S32)。
通过参考图8和9，将要描述优先级确定部分54中的处理流程。图8为当图像信息的优先级升高时(也就是当优先级信息26的数值减少时)，示出由优先级确定部分54执行的处理流程的流程图；而图9为当图像信息的优先级降低时(也就是当优先级信息26的数值增加时)，示出由优先级确定部分54执行的处理流程的流程图。在从动作探测部分48获得动作屏幕的屏幕ID 22和动作类型的基础上，优先级确定部分54开始以下处理。
首先，将会参考图8，描述当图像信息的优先级24升高时(也就是当优先级信息26的数值减少时)，由优先级确定部分54执行的处理。在从动作探测部分48获得动作屏幕的屏幕ID 22和动作类型的基础上，开始该处理。
优先级确定部分54确定接收到的动作类型是否为“屏幕显示”(S40)。如果接收到的动作类型为“屏幕显示”(S40/是)，优先级确定部分54将优先级信息更新为“2”，其中该优先级信息存于存储部分m3中，并对应于接收到的动作屏幕的屏幕ID，而“2”为分配给“屏幕显示”的优先级信息26的数值(S41)。如果接收到的动作类型不是“屏幕显示”(S40/否)，优先级确定部分54确定从动作探测部分48传送的动作类型应该为“书写”、“身体朝向”、以及“指向”中的任何一个，并将优先级信息26更新为“1”，其中该优先级信息存于存储部分m3中，对应于接收到的动作屏幕的屏幕ID(S42)。优先级确定部分54接着在存储部分m2中，将接收到动作类型的时间设定为事件接收时间(S43)。优先级确定部分54进一步在存储部分m3中将接收到的动作类型设定为事件类型25(S44)。随后，优先级确定部分54从存储部分m3获得屏幕ID 22a至22d和相应的优先级信息26，并将因此获得的信息传送到传送信息产生部分(S45)。
第二，参考图9，将要描述当图像信息24的优先级降低时(也就是，当优先级信息26的数值增加时)，由优先级确定部分54执行的处理。图9为示出监控优先级信息26的处理流程的流程图。在优先级确定部分54中周期性地执行该处理。
优先级确定部分54从存储部分m3获得屏幕ID 22a至22d的优先级信息26(S50)，并确认获得的优先级信息26的数值，从而进入如下所述的不同处理(S51)。
如果优先级信息26的数值为“1”(S51/优先级信息数值＝1)，优先级确定部分54获得当前时间Tn。从本地会议终端14a的系统信息中获得当前时间Tn(S52)。接着，优先级确定部分54从存储部分m3获得事件接收时间Tx。事件接收时间Tx表示优先级确定部分54从动作探测部分48接收到动作屏幕和动作类型的信息的时间(S53)。优先级确定部分54接着计算经过的时间(Tn-Tx)，该时间对应于当前时间Tn和事件接收时间Tx之间的时间差，并将经过的时间和第一优先级降低时间Δt1进行比较(S54)。如果经过的时间(Tn-Tx)大于第一优先级降低时间Δt1(S54/是)，优先级确定部分54将存于存储部分m3中的优先级信息26的数值加一，对应于接收到的动作屏幕的屏幕ID 22，从而将数值更新为“2”。换句话说，优先级别降低一级(S55)。优先级确定部分54同时将事件接收时间Tx更新为当前时间Tn，并将事件类型更新为“经过Δt1”(S56)。同时，如果经过的时间(Tn-Tx)小于第一优先级降低时间Δt1(S54/否)，优先级确定部分54进入执行步骤S65中的处理，无须更新存于存储部分m3中的信息。
如果优先级信息26的数值为“2”(S51/优先级信息数值＝2)，优先级确定部分54获得当前时间Tn(S60)。接着，优先级确定部分54从存储部分m3获得事件接收时间Tx(S61)。优先级确定部分54接着计算经过的时间(Tn-Tx)，该时间对应于当前时间Tn和事件接收时间Tx之间的时间差，并将经过的时间和第二优先级降低时间Δt2进行比较(S62)。如果经过的时间(Tn-Tx)大于第二优先级降低时间Δt2(S62/是)，优先级确定部分54将存于存储部分m3的优先级信息26的数值更新为“3”，对应于接收到的动作屏幕的屏幕ID 22(S63)。优先级确定部分54同时将事件接收时间Tx更新为当前时间Tn，并将事件类型更新为“经过Δt2”(S64)。如果经过的时间(Tn-Tx)小于第二优先级降低时间Δt2(S62/否)，优先级确定部分54进入执行步骤S65中的处理，无须更新存于存储部分m3中的信息。
如果优先级信息26的数值既不是“1”也不是“2”(S51/优先级信息数值≠1和2)，优先级确定部分54进入执行步骤S65中的处理，无须更新存于存储部分m3中的信息。
在依照优先级信息26的数值，执行如上所述的处理之后，优先级确定部分54获得屏幕ID 22a至22d、对应于屏幕ID 22a至22d的优先级信息26、事件类型25、以及事件接收时间Tx，并将获得的信息传送到传送信息产生部分56(S65)。
在从关注点确定处理部分52接收到屏幕ID 22a至22d和相应的关注点信息28的基础上，传送信息产生部分56将存于存储部分m4中的关注点信息28的数值更新为接收到的关注点信息28的数值。另外，在从优先级确定部分54接收到屏幕ID 22a至22d和相应的优先级信息26的基础上，传送信息产生部分56将存于存储部分m4中的优先级信息26的数值更新为接收到的优先级信息26的数值。
传送信息产生部分56周期性地从显示控制处理部分40接收屏幕ID 22a至22d和相应的图像信息项24a至24d。接着，传送信息产生部分56从存储部分m4获得屏幕ID 22a至22d和相应的屏幕职责23a至23d、相应的优先级信息项26a至26d、相应的关注点信息项28a至28d、相应的事件类型25a至25d、以及相应的事件接收时间27a至27d。传送信息产生部分56接着将具有相应屏幕ID 22的图像信息24加入上述信息，从而生成传送信息18，并将传送信息传送到通信控制处理部分58。
通信控制处理部分58将从传送信息产生部分56接收的传送信息18传送到当前连接的远程会议终端14b。
本地会议终端14a具有上述结构，并执行上述处理。
现在将要描述由远程会议终端14b执行的处理。
通信处理部分61从本地会议终端14a接收传送信息18，并将传送信息18传送到显示控制处理部分62。
通过参考图11和12所示的流程图，将要描述由屏幕分配处理部分64执行的屏幕分配的方法。图11为示出依照远程会议终端14b的屏幕数量的处理流程的流程图。图12为示出当本地会议终端14a的屏幕数量大于远程会议终端14b的屏幕数量时，由屏幕分配处理部分64执行的屏幕分配处理的流程的流程图。
屏幕分配处理部分64首先获得远程会议终端14b的屏幕数量(＝r)，该数量在远程会议终端14b中预设。屏幕分配处理部分64从通信处理部分61接收传送信息18，并从包括在传送信息18中的屏幕ID 22的类型数量中获得本地会议终端14a的屏幕数量(＝n)(S70)。屏幕分配处理部分64接着将远程会议终端14b的屏幕数量r与本地会议终端14a的屏幕数量n进行比较(S71)。
如果远程会议终端14b的屏幕数量r为1(r＝1)，远程会议终端14b显示屏幕20的图像信息24，该信息以受关注的方式显示在本地会议终端14a上。因此，屏幕分配处理部分64在传送信息项18a至18d中，指定用于关注点信息28为“1”的屏幕ID 22，并将指定的屏幕ID 22分配给远程会议终端14b的屏幕30。
以下将要详细描述当远程会议终端14b的屏幕数量r小于本地会议终端14a的屏幕数量n(n＞r)时执行的处理(S73)。
如果远程会议终端14b的屏幕数量r等于(n＝r)或大于(n＜r)本地会议终端14a的屏幕数量n时，执行以下处理。这里，远程会议终端14b的屏幕30预先与包括在传送信息18中的屏幕ID 22关联。接着，在接收传送信息18的基础上，远程会议终端14b将屏幕ID 22a至22d分配给远程会议终端14b的关联屏幕30(S74和S75)。
如上所述，屏幕分配处理部分64将从本地会议终端14a传送的图像信息项24的数量与远程会议终端14b的屏幕数量进行比较，并从而确定屏幕分配。
将要参考图12详细描述当远程会议终端14b的屏幕数量r小于本地会议终端14a的屏幕数量n(n＞r)时执行的处理。在本实施例中，本地会议终端14a中提供的屏幕数量n为四，且传送四个传送信息项18a至18d。另外，远程会议终端14b具有两个屏幕(r＝2)，屏幕30a和屏幕30b。
屏幕分配处理部分64获得传送信息18的屏幕ID 22，其中用于该传送信息的屏幕职责23的数值为“1”。因为在本实施例中，传送信息项18c的屏幕职责23的数值为“1”，屏幕分配处理部分64获得屏幕ID 22c。这里，在本地会议终端14a中，屏幕职责23的数值被预先分配给传送信息项18a至18d，并在远程会议终端14b中保持不变。随后，屏幕分配处理部分64获得屏幕ID 22，其中用于该ID的关注点信息28的数值为“1”。屏幕分配处理部分64进一步获得远程屏幕ID 32，该ID为远程会议终端14b中主屏幕的标识符。在本实施例中，由于假定远程会议终端14b的屏幕30b为主屏幕，屏幕分配处理部分64获得对应于屏幕30b的远程屏幕ID 32b。
接着，屏幕分配处理部分64为接收到的传送信息项18a至18d分类，以确定顺序。在重新安排传送信息项时，确定顺序的标准如下。优先级信息26的数值越小(也就是，优先级越高)，等级顺序越高。对于具有相同数值的优先级信息26的传送信息项，事件接收时间27的数值越大，等级顺序越高。换句话说，事件发生得越晚，等级顺序越高。当事件接收时间27也相同时，以“书写”、“身体朝向”、“指向”、“屏幕显示”、“经过Δt1”、以及“经过Δt2”的顺序依次排列更高的等级顺序。如果事件类型25也相同，就利用被预设为初始值的传送信息项18a至18d的顺序。例如，屏幕ID 22的数量越少，等级顺序越高(S81)。
接着，通过参考对应于远程会议终端14b的屏幕数量(＝r)的数量，屏幕分配处理部分64从更高等级依次提取重新安排的传送信息项18a至18d(S82)。换句话说，屏幕分配处理部分64以更高等级的顺序，提取与远程会议终端14b的屏幕数量相同的传送信息项18。
屏幕分配处理部分64接着确定传送信息项18的屏幕职责数值是否为“1”；也就是本地会议终端14a中主屏幕的传送信息是否包括在步骤S82中提取的传送信息项的列表中，其中将要显示该传送信息项的列表(S83)。
如果屏幕职责23的数值为“1”的传送信息项18包括在提取的传送信息项18中(S83/是)，确定传送信息项18的优先级信息26的数值是否小于3。换句话说，检查在本地会议终端14a中的主屏幕上显示的图像信息项24的优先级信息26(S84)。如果屏幕职责23的数值为“1”的传送信息项18不包括在其中(S83/否)，处理进入步骤S86。
如果屏幕职责23的数值为“1”的传送信息项18中，优先级信息26的数值小于3(也就是，优先级高)(S84/是)，屏幕分配处理部分64将屏幕职责23的数值为“1”的传送信息项18分配给屏幕30b，其中该屏幕为远程会议终端14b中的主屏幕(S85)。具体地，屏幕分配处理部分64将屏幕ID 32b与屏幕职责23的数值为“1”的传送信息项18的屏幕ID 22关联，并将信息存入屏幕分配处理部分64的存储部分m5中。在另一方面，如果屏幕职责23的数值为“1”的传送信息项18中，优先级信息26的数值为3或更大(也就是，优先级低)(S84/否)，处理进入步骤S86。
接着，执行对于远程会议终端14b中的辅屏幕的屏幕分配处理。对于在步骤S81中逐个比较而重新安排的传送信息项18a至18d，执行该处理。然而，在该处理中，消除了在上述步骤S83到S85的处理中已经分配给主屏幕的那个传送信息项18。
屏幕分配处理部分64首先依照提取的传送信息项18的顺序，获得单个传送信息项18(S86)。
屏幕分配处理部分64接着确定步骤S86中获得的传送信息项18中的图像信息24是否显示在远程会议终端14b的屏幕30a或30b上，其中该图像信息为比较对象。更具体地，屏幕分配处理部分64从显示状态存储部分68获得与远程屏幕ID 32a和32b关联的屏幕ID 22。换句话说，屏幕分配处理部分64获得包括在图像信息项24中的传送信息项18，其中该图像信息项已经显示在远程会议终端14b的屏幕30a和30b上。屏幕分配处理部分64接着将步骤S86获得的传送信息的屏幕ID 22与从显示状态存储部分68获得的每个屏幕ID 22进行比较，从而确定两个ID是否一致。具体地，确定传送信息项18的屏幕ID 22是否与对应于图像信息项24的任一屏幕ID 22一致，其中传送信息项18的屏幕ID为比较对象，而该图像信息项已经显示在远程会议终端14b的屏幕30a和30b上(S87)。
如果任一屏幕ID 22与传送信息项18的屏幕ID 22一致，其中该ID为比较对象(S87/是)，屏幕分配处理部分64使对应于屏幕ID 22的远程会议终端14的远程屏幕ID 32保持不变。更具体地，屏幕分配处理部分64将步骤S86获得的传送信息18的屏幕ID 22和相应的远程屏幕ID 32保持在屏幕分配处理部分64的存储部分m5中。换句话说，当远程会议终端14b的屏幕30显示对应于屏幕ID 22的图像信息24，其中该ID与比较对象的ID一致时，屏幕分配处理部分64使对应于显示在屏幕30上的相同屏幕ID 22的图像信息保持不变(S88)。
另一方面，如果没有屏幕ID 22与比较对象的屏幕ID 22一致(S87/否)，屏幕分配处理部分64将比较对象的屏幕ID 22分配给远程会议终端14b中的屏幕，在尚未确定屏幕分配的屏幕30中，其靠近主屏幕(在本实施例中，该屏幕不同于主屏幕)。具体地，屏幕分配处理部分64将与远程屏幕ID 32关联的屏幕ID 22存入其存储部分m5，其中该远程屏幕ID 32对应于靠近主屏幕的屏幕的远程屏幕ID 32，且尚未与屏幕ID 22关联。这里，表示靠近或远离主屏幕的屏幕顺序的信息预先注册到远程会议终端14b中，而且屏幕分配处理部分64依照该顺序信息确定屏幕30的顺序(S89)。
屏幕分配处理部分64以一定次数重复步骤S86至S89中执行的处理，其中该次数对应于远程会议终端14b的屏幕数量，并将对应于所有远程屏幕ID 32的传送信息项18的屏幕ID 22存入存储部分m5。
显示控制处理部分62从屏幕分配部分64的存储部分m5中，获得远程屏幕ID 32a和32b，以及相应的传送信息项18的屏幕ID 22，并将存于显示状态存储部分68中的信息更新为获得的屏幕分配的信息。换句话说，显示控制处理部分62将存于显示状态存储部分68中的信息更新为对应于被显示的图像信息24的屏幕ID 22(S90)。在信息更新之后，屏幕分配处理部分64清除存储部分m5中的信息。
关注点分配处理部分66具有将图像信息24的显示模式与远程会议终端14b的每个屏幕30a和30b关联的功能。关注点分配处理部分66在传送信息项18a至18d中，获得传送信息项18的屏幕ID 22，其中在传送信息项中，关注点信息28的数值为“1”。
关注点分配处理部分66进一步从显示状态存储部分68获得分别对应于远程屏幕ID 32a和32b的屏幕ID 22，以及远程屏幕ID 32。换句话说，关注点分配处理部分66获得对应于图像信息24的屏幕ID22，其中该图像信息显示在远程会议终端14b的屏幕30上。
关注点分配处理部分66接着确定传送信息项18的关注点信息28的数值是否为“1”，其中该数值对应于从显示状态存储部分68获得的屏幕ID 22。
如果关注点信息28的数值为“1”，关注点分配处理部分66更新存储部分m6中的屏幕ID 22，同时将存储部分m6中的关注点信息28更新为“1”，其中该关注点信息对应于从显示状态存储部分68获得的远程屏幕ID 32(也就是，以强调方式显示，或以不同于其他屏幕的模式显示)。如果，另一方面，关注点信息28的数值为不同于“1”的数值，关注点分配处理部分66将关注点信息28更新为“0”(也就是，以正常方式显示，或以与其他屏幕类似的方式显示)。同样地，对应于远程屏幕ID 32a和32b的关注点信息项28存于存储部分m6。
显示控制处理部分62从关注点分配处理部分66的存储部分m6获得远程会议终端14b的远程屏幕ID 32a和32b，以及对应于远程屏幕ID 32a和32b的关注点信息项28，并将因此而获得的关注点信息项28的数值注册到显示状态存储部分68。
显示控制处理部分62从显示状态存储部分68获得对应于远程屏幕ID 32a和32b的屏幕ID 22，并接着将包括在传送信息项18中的图像信息24分别显示在远程会议终端14b的屏幕30a和30b上，其中由获得的屏幕ID 22识别传送信息项(S91)。
另外，显示控制处理部分62从显示状态存储部分68获得对应于远程屏幕ID 32a和32b的关注点信息28。如果对应于特定远程屏幕ID 32的关注点信息28的数值为“1”，显示控制处理部分62以不同于其他屏幕的模式，在屏幕30上显示要显示在屏幕30上的图像信息24，其中该图像信息的远程屏幕ID 32指定。
如上所述，本地会议终端14a可以向远程会议终端14b传送图像信息24，以及分配给图像信息24的优先级信息26、事件类型25、和事件接收时间27，从而允许远程会议终端14b以因此获得的信息为基础，选择图像信息24。
通过参考图13，现在将要描述由展示者的移动引起的优先级信息26的数值变化，以及对应于每个屏幕20a至20d的关注点信息28的数值变化。图13为示出会议室12a中的屏幕20和展示者位置的示图。图13所示的屏幕对应于本地会议终端14a的屏幕20a至20d，这些屏幕20a至20d在图中以从左到右的顺序安排。
在展示的开始，由于不显示任何屏幕，所有屏幕ID 22的优先级信息26的数值都为“0”。当展示者开始展示时，在屏幕20b和20c上显示图像信息。在此处，展示者站在屏幕20b和屏幕20c之间，并将他/她的身体转向屏幕20b。因此，动作探测部分48探测到“动作屏幕＝屏幕ID 22b”和“动作类型＝身体朝向”。另外，因为图像信息也显示在屏幕20c上，动作探测部分48同时探测“动作屏幕＝屏幕ID 22c”和“动作类型＝屏幕显示”。如上所述的关于动作屏幕和动作类型的信息接着被传送到关注点确定处理部分52和优先级确定部分54。
在接收到关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22b的优先级信息26的数值设定为“1”，并将对应于屏幕ID 22b的事件类型25的数值设定为“身体朝向”，因为关于屏幕ID 22b的动作类型为“身体朝向”。另一方面，因为关于屏幕ID 22c的动作类型为“屏幕显示”，优先级确定部分54将对应于屏幕ID 22c的优先级信息26的数值设定为“2”，并将对应于屏幕ID 22c的事件类型25的数值设定为“屏幕显示”。这里，因为屏幕20a和20d上没有显示图像，对应于屏幕ID 22a和22d的优先级信息26的数值保持为初始值“0”(见图8的流程图)。
另外，因为关于屏幕ID 22b的动作类型为“身体朝向”，关注点确定处理部分52将对应于屏幕ID 22b的关注点信息28的数值设定为“1”，并将对应于不同于屏幕ID 22b的屏幕ID 22的关注点信息28的数值设定为“0”(见图13的步骤S800)。
现在，为了利用显示在屏幕20c上的图像信息提供解说，展示者转向屏幕20c并指向屏幕20c的一个部分。动作探测部分48探测到“动作屏幕＝屏幕ID 22c”和“动作类型＝指向”。接着，如上所述的关于动作屏幕和动作类型的信息被传送到关注点确定处理部分52和优先级确定部分54。
在接收到关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22c的优先级信息26的数值设定为“1”，并将对应于屏幕ID 22c的事件类型25的数值设定为“指向”，因为关于屏幕ID 22c的动作类型为“指向”。另外，关注点确定处理部分52将对应于屏幕ID 22c的关注点信息28的数值设定为“1”，并将对应于不同于屏幕ID 22c的屏幕ID 22的关注点信息28的数值设定为“0”(见图13的步骤S801)。
接着，随着展示者继续转向屏幕20c，已经经过了第一优先级降低时间Δt1。优先级确定部分54将对应于屏幕ID 22b的优先级信息26的数值改变为“2”。因为展示者采取动作的屏幕20保持不变，由动作探测部分48探测的动作屏幕就保持相同。因此，关注点确定处理部分52不更新对应于屏幕ID 22a至22d的关注点信息28的数值(见图13的步骤S802)。
现在，当展示者保持转向屏幕20c，图像信息显示在屏幕20d上时。此时，动作探测部分48探测到“动作屏幕＝屏幕ID 22d”和“动作类型＝屏幕显示”，并将如上所述的关于动作屏幕和动作类型的信息传送到关注点确定处理部分52和优先级确定部分54。
在接收到关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22d的优先级信息26的数值更新为“2”，并将对应于屏幕ID 22d的事件类型25的数值更新为“屏幕显示”，因为关于作为动作屏幕的屏幕ID 22d的动作类型为“屏幕显示”。当接收到“屏幕显示”的通告时，关注点确定处理部分52不更新对应于每个屏幕ID的关注点信息28的数值(见图13的步骤S803)。
如果从屏幕20b的优先级信息26的数值被更新为“2”时起，已经还经过了时间段Δt2，优先级确定部分54将对应于屏幕ID 22b的优先级信息26的数值更新为“3”。因为展示者采取动作的屏幕20保持不变，由动作探测部分48探测的动作屏幕保持相同。因此，关注点确定处理部分52不更新对应于屏幕ID 22的关注点信息28的数值(见图13的步骤S804)。
接着，展示者转向屏幕20d并在屏幕20d上书写。动作探测部分48探测“动作屏幕＝屏幕ID 22d”和“动作类型＝书写”。在接收到如上所述的关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22d的优先级信息26的数值更新为“1”，因为关于作为动作屏幕的屏幕ID 22d的动作类型为“书写”。另外，关注点确定处理部分52将对应于屏幕ID 22d的关注点信息28的数值更新为“1”，并将对应于不同于屏幕ID 22d的屏幕ID 22的关注点信息28的数值更新为“0”(见图13的步骤S805)。
现在，当展示者保持转向屏幕20d时，图像信息显示在屏幕20a上。动作探测部分48探测到“动作屏幕＝屏幕ID 22a”和“动作类型＝屏幕显示”，并将如上所述的关于动作屏幕和动作类型的信息传送到关注点确定处理部分52和优先级确定部分54。
在接收到关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22a的优先级信息26的数值更新为“2”，并将对应于屏幕ID 22a的事件类型25的数值更新为“屏幕显示”，因为关于作为动作屏幕的屏幕ID 22a的动作类型为“屏幕显示”。在接收到“屏幕显示”的通告的基础上，关注点确定处理部分52不更新对应于每个屏幕ID的关注点信息28的数值(见图13的步骤S806)。
现在，从展示者利用屏幕20d开始解说时；也就是从展示者对屏幕20c不采取任何动作的时间起，已经经过了时间段(Δt1+Δt2)。优先级确定部分54将对应于屏幕ID 22c的优先级信息26的数值改变为“3”。另外，在从图像显示在屏幕20a上时起，在已经经过的时间段Δt2的时间点上，优先级确定部分54将对应于屏幕ID 22a的优先级信息26的数值更新为“3”。因为展示者采取动作的屏幕20保持不变，由动作探测部分48探测的动作屏幕保持相同。因此，关注点确定处理部分52不更新对应于屏幕ID 22的关注点信息28的数值(见图13的步骤S807)。
现在，展示者通过利用屏幕20a执行展示。动作探测部分48探测到“动作屏幕＝屏幕ID 22a”和“动作类型＝身体朝向”，并将如上所述的关于动作屏幕和动作类型的信息传送到关注点确定处理部分52和优先级确定部分54。
在接收到如上所述的关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22a的优先级信息26的数值设定为“1”，并将对应于屏幕ID 22a的事件类型25的数值设定为“身体朝向”，因为关于屏幕ID 22c的动作类型为“身体朝向”。另外，关注点确定处理部分52将对应于屏幕ID 22a的关注点信息28的数值改变为“1”，并将对应于不同于屏幕ID 22a的屏幕ID 22的关注点信息28的数值设定为“0”(见图13的步骤S808)。
接着，展示者通过利用屏幕20c执行展示。另外，基本上在同时，屏幕20d的显示内容改变。动作探测部分48探测到“动作屏幕＝屏幕ID 22c”和“动作类型＝身体朝向”。同样，由于图像显示在屏幕22d上，动作探测部分48探测到“动作屏幕＝屏幕ID 22d”和“动作类型＝屏幕显示”。关于动作屏幕和动作类型的信息接着被传送到关注点确定处理部分52和优先级确定部分54。
在接收到如上所述的关于动作屏幕和动作类型的信息的基础上，优先级确定部分54将对应于屏幕ID 22c的优先级信息26的数值设定为“1”，并将对应于屏幕ID 22c的事件类型25的数值设定为“身体朝向”，因为关于屏幕ID 22c的动作类型为“身体朝向”。另一方面，因为关于屏幕ID 22d的动作类型为“屏幕显示”，优先级确定部分54将对应于屏幕ID 22d的优先级信息26的数值设定为“2”。关注点确定处理部分52将对应于屏幕ID 22c的关注点信息28的数值改变为“1”，并将对应于不同于屏幕ID 22c的屏幕ID 22的关注点信息28的数值设定为“0”(见图13的步骤S809)。
现在参考图14，将要描述显示在远程会议终端14b的屏幕上的图像信息和每个屏幕的显示模式。以图13所示的方式，图14示出在本地会议室12a中执行展示的情况下，显示在远程会议终端14b的屏幕上的图像信息和屏幕上的显示模式。为了描述远程会议终端14b中的屏幕显示处理，由带有“A”的同样附图标记来指定对于远程会议终端14b的屏幕显示处理步骤，其中该步骤对应于本地会议终端14a的传送信息发生处理步骤。另外，在远程会议终端14b中，屏幕30b预设为主屏幕。
屏幕分配处理部分64接收传送信息18，包括“屏幕ID 22a、22b、22c、22d”，作为屏幕ID 22；数值“0、0、1、0”，作为屏幕职责23的数值；数值“0、1、2、0”，作为优先级信息26的数值；以及数值“0、0、1、0”，作为关注点信息28的数值。
对应于远程会议终端14b的屏幕数量(＝2)，屏幕分配处理部分64依次选择一定数量的具有更小优先级信息数值(也就是更高优先级)的传送信息项18(也就是，屏幕分配处理部分选择与远程会议终端14b的屏幕数量(＝2)相同的传送信息项)。这里，传送信息项18中，由屏幕ID 22b和22c指定的传送信息项18b和18c的优先级信息26的数值小于传送信息项18a和18d的优先级信息的数值。因此，屏幕分配处理部分64选择对应于屏幕ID 22b和屏幕ID 22c的传送信息项。
由屏幕ID 22c指定的传送信息项18c中的屏幕职责23的数值为“1”(表示主屏幕)。另一方面，远程会议终端14b的屏幕30b为主屏幕。因此，屏幕ID 22c被分配给对应于远程会议终端14b的屏幕30b的远程屏幕ID 32b。另外，屏幕ID 22b被分配给对应于远程会议终端14b的另一屏幕30a的远程屏幕ID 32a。接着，包括在传送信息项18中对应于分配的屏幕ID的图像信息24分别显示在屏幕30a和30b上。
另外，因为由屏幕ID 22b指定的传送信息项18b中的关注点信息28b的数值为“1”，图像信息项24b以不同于其他屏幕模式的模式，显示在对应于屏幕ID 22b的屏幕30a上(图14的步骤S800A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22b指定的传送信息项18b的关注点信息28b的数值被改为“0”，而由屏幕ID 22c指定的传送信息项18c的优先级信息26c的数值和关注点信息28c的数值均被改为“1”。在此情况下，由于传送信息项18c的屏幕职责数值为“1”，而传送信息项18c的优先级信息26c的数值小于3(也就是，高优先级)，屏幕分配处理部分64不更新对应于远程会议终端14b的屏幕30b的屏幕ID 22(见图12的步骤S83和S84)。另外，因为由屏幕ID 22b指定的传送信息项18b的关注点信息28b的值为“0”，图像信息24b以正常显示模式显示在屏幕30a上，其中屏幕ID22b分配给该屏幕。另一方面，因为由屏幕ID 22c指定的传送信息项18c的关注点信息28c的数值为“1”，图像信息24c以不同于其他屏幕模式的显示模式显示在屏幕30b上，其中屏幕ID 22c分配给该屏幕(见图14的步骤S801A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22b指定的传送信息项18b的优先级信息26的数值被改为“2”。在此情况下，因为传送信息项18b的优先级信息26的数值为“2”，而分别由屏幕ID 22a和22d指定的传送信息项18a和18d的优先级信息26的数值均为“0”，屏幕ID 22b仍然分配给远程会议终端14b的屏幕30a(见图14的步骤S802A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22d指定的传送信息项18d的优先级信息26的数值被改为“2”。在此情况下，分别由屏幕ID 22b和屏幕ID 22d指定的传送信息项18b和18d的优先级信息26的数值均为“2”，而因此相同。当优先级信息26的数值相同时，更高的等级顺序被安排给事件接收时间27的数值更大的传送信息项。在此情况下，因为传送信息项18d的事件接收时间27d的数值大于传送信息项18b的事件接收时间27b的数值，屏幕ID22d被分配给远程会议终端14b的屏幕30a(见图14的步骤S803A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22b指定的传送信息项18b的优先级信息26的数值被改为“3”。在此情况下，因为由屏幕ID 22d指定的传送信息项18d的优先级信息26的数值小于(也就是，优先级高于)传送信息项18b的优先级信息26的数值，屏幕ID 22d被分配给远程会议终端14b的屏幕30a(见图14的步骤S804A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22c指定的传送信息项18c的关注点信息28c的数值被改为“0”，而由屏幕ID 22d指定的传送信息项18d的优先级信息26d的数值和关注点信息28d的数值均被改为“1”。在此情况下，由于传送信息项18d的优先级信息26d的数值为“1”，显示控制处理部分62将屏幕ID 22d分配给远程会议终端14b的屏幕30a。另外，因为传送信息项18d的关注点信息28d的数值为“1”，图像信息24d以不同于其他屏幕30模式的显示模式显示在屏幕30a上(见图14的步骤S805A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22a指定的传送信息项18a的优先级信息26的数值被改为“2”。在此情况下，因为传送信息项18a的优先级信息26的数值大于(也就是，优先级低于)分别由屏幕ID 22c和22d指定的传送信息项18c和18d的优先级信息26的数值，对应于屏幕ID 22a的图像信息不显示在远程会议终端14b中(见图14的步骤S806A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22a指定的传送信息项18a的优先级信息26的数值被改为“3”，而由屏幕ID 22c指定的传送信息项18c的优先级信息26的数值被改为“3”。因此，对应于分别由屏幕ID 22a、屏幕ID 22b、和屏幕ID 22c指定的传送信息项18a、18b、和18c的优先级信息26数值都为“3”，而因此相同。从而，比较对应于各个屏幕ID 22a至22c的事件接收时间的数值。结果，因为传送信息项18c的事件接收时间27c的数值为最大，所以屏幕ID 22c分配给远程会议终端14b的屏幕30b(见图14的步骤S807A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22a指定的传送信息项18a的关注点信息28和优先级信息26的数值被改为“1”，而由屏幕ID 22d指定的传送信息项18d的关注点信息28的数值被改为“0”。因为传送信息项18a和18d的优先级信息26的数值小于(也就是，优先级高于)对应于其他屏幕ID 22的优先级信息26的数值，传送信息项18a和18d的屏幕ID 22a和屏幕ID 22d分别分配给远程会议终端14b的屏幕30。此时，对应于屏幕ID 22d、已经显示在远程会议终端14b的屏幕30a上的图像信息，仍然显示在屏幕30a上。另外，因为对应于屏幕ID 22a的关注点信息28的数值为“1”，图像信息以不同于其他屏幕模式的显示模式，显示在对应于屏幕ID22a的屏幕30b上(见图14的步骤S808A)。
显示控制处理部分62接着接收传送信息18，其中由屏幕ID 22a指定的传送信息项18a的关注点信息28的数值被改为“0”，而由屏幕ID 22c指定的传送信息项18c的关注点信息28和优先级信息的数值被改为“1”。显示控制处理部分62在传送信息项18a至18d中，选择优先级信息的数值更小(也就是，优先级更高)的传送信息项18a和18c。因为传送信息项18c的屏幕职责为“1”，指定传送信息项18c的屏幕ID 22c分配给作为远程会议终端14b的主屏幕的屏幕30b(见图14的步骤S809A)。
如上所述，包括对于每个屏幕ID 22的优先级信息26、关注点信息28、事件类型25、事件接收时间27、以及图像信息24的传送信息18，从本地会议终端14a传送到远程会议终端14b。因此，可以在远程会议终端14b中获得用作为标准的信息，其中该标准用于确定包括在传送信息项18中的图像信息24是否应该显示在远程会议终端14b的屏幕上，使得远程会议终端14b可以在显示在屏幕30上的图像信息项24和未显示在屏幕30上的图像信息项24中选择。
根据本实施例，本地会议终端14a的屏幕假定为提供于显示设备中的屏幕，其中该显示设备与本地会议终端14a连接，而本地会议终端14a假定为在显示设备的单个屏幕上显示图像信息的单个项目。然而，也可能假定本发明中本地会议终端14a的屏幕对应于通过将单个显示设备的显示区分成多个区域而获得的每个显示区。
另外，如果远程会议终端14b的屏幕数量大于本地会议终端14a的屏幕数量，高优先级的图像信息可以显示在没有分配屏幕或者这些屏幕上不显示图像的屏幕上。或者，可以显示的图像信息项的列表可以显示在远程会议终端14b中不受屏幕分配支配的屏幕上。
另外，在本实施例中，每个第一优先级降低时间Δt1和第二优先级降低时间Δt2被设定为关于所有屏幕ID 22a至22d的公共时间段。然而，因为对每个屏幕ID 22执行降低优先级(也就是，增加优先级信息的数值)的处理，每个第一优先级降低时间Δt1和第二优先级降低时间Δt2可以被设定为关于每个屏幕ID 22的不同时间段。例如，对于主屏幕的屏幕ID 22c，如果第一优先级降低时间Δt1增加，就可以延长其中对应于屏幕ID 22c的优先级信息26的数值为“1”的时间段。因此，可能增大显示在主屏幕上的图像信息24出现在远程会议终端14b的屏幕上的可能性。
在已经利用具体术语描述本发明的优选实施例的同时，此类描述仅用于说明性的目的，并且能够理解，在没有背离附加的权利要求的精神或范围的情况下，可以做出变化和修改。
根据本发明的一个方面，可以提供探测演说者动作的动作探测部分，其中以探测到的动作为基础，优先级分配部分将优先级分配给图像信息项。
根据本发明的另一个方面，可以提供采集演说者图像的图像采集部分，其中以采集到的图像为基础，动作探测部分探测演说者的动作。
根据本发明的另外一个方面，可以提供图像信息指定部分，它以动作探测部分探测到的动作为基础，指定演说者用于解说的图像信息项，其中信息传送处理部分将演说者使用的图像信息项的信息传送到远程会议终端装置。
根据本发明的另外一个方面，可以提供生成传送信息的传送信息产生部分，传送信息包括显示的图像信息项、优先级信息、以及关注点信息，其中信息传送处理部分将生成的传送信息传送到远程会议终端装置。
根据本发明的另外一个方面，可以提供信息接收处理部分，用于接收表示是哪个图像信息项被演说者用于解说的关注点信息；以及显示处理部分，以不同于其他图像信息项的模式，显示被演说者使用的图像信息项。
根据本发明的另外一个方面，可以提供对电子会议的演说者动作的探测，以及以探测到的动作为基础，将优先级分配给图像信息项。
根据本发明的另外一个方面，可以提供对演说者图像的采集，以及以采集到的图像为基础探测演说者动作。
根据本发明的另外一个方面，可以以探测到的动作为基础，提供对被演说者用于解说的图像信息项的指定，以及将演说者使用的图像信息项的信息传送到远程会议终端装置。
根据本发明的另外一个方面，可以提供对关注点信息的接收，其中该关注点信息表示是哪个图像信息项被演说者用于解说；以及以不同于其他图像信息项的模式，显示演说者所使用的图像信息项。
通过参考其全部内容，这里引入日本专利申请No.2005-185090的公开内容，其中该公开内容包括说明书、权利要求、附图、以及摘要。
权利要求
1.一种由电子会议的演说者使用的会议终端装置，用于传送在屏幕上显示的图像信息，并使得由听众使用的远程会议终端装置在远程屏幕上显示该图像信息，该会议终端装置包括屏幕控制部分，其在该屏幕上显示多个图像信息项；优先级分配部分，其为每个被显示的该图像信息项分配在该远程屏幕上进行显示的优先级；以及信息传送处理部分，其向该远程会议终端装置传送被显示的该图像信息项以及分配给每个该图像信息项的该优先级。
2.根据权利要求1所述的会议终端装置，进一步包括动作探测部分，其探测该演说者的动作，其中以探测到的该动作为基础，该优先级分配部分将该优先级分配给该图像信息项。
3.根据权利要求2所述的会议终端装置，进一步包括图像采集部分，其采集该演说者的图像；其中以采集到的该图像为基础，该动作探测部分探测该演说者的该动作。
4.根据权利要求2所述的会议终端装置，进一步包括图像信息指定部分，其以该动作探测部分探测到的该动作为基础，指定该演说者用于解说所使用的图像信息项，其中该信息传送处理部分将该演说者使用的该图像信息项的信息传送到该远程会议终端装置。
5.根据权利要求4所述的会议终端装置，进一步包括生成传送信息的传送信息产生部分，其中该传送信息包括该显示的图像信息项、该优先级信息、以及该关注点信息，其中该信息传送处理部分将生成的该传送信息传送到该远程会议终端装置。
6.一种由电子会议的听众使用的会议终端装置，用于显示从由演说者使用的远程会议终端装置传送的图像信息，该会议终端装置包括信息接收处理部分，其接收显示在远程屏幕上的多个图像信息项以及被显示的该图像信息项的优先级信息；以及显示处理部分，其根据用于显示该图像信息项的屏幕数量和该优先级信息，显示接收的该图像信息。
7.根据权利要求6所述的会议终端装置，其中该信息接收处理部分接收关注点信息，该关注点信息表示该演说者使用哪个图像信息项来解说，以及该显示处理部分以不同于其他图像信息项的模式，显示该演说者所使用的该图像信息项。
8.一种电子会议系统，包括传送终端装置，其在屏幕上显示多个图像信息项，为每个被显示的该图像信息项分配在远程屏幕上进行显示的优先级，并向远程会议终端装置传送被显示的该图像信息项以及分配给每个该图像信息项的该优先级；以及终端装置，其接收从另一个会议终端装置传送来的多个图像信息项以及用于显示接收的该图像信息项的优先级信息，并根据该优先级信息和用于显示该图像信息的屏幕数量，显示接收的该图像信息。
9.一种传送电子会议中使用的图像信息项的方法，包括为每个用于该电子会议中的多个图像信息项分配用于在远程屏幕上进行显示的优先级；以及向远程会议终端装置传送被显示的该图像信息项以及分配给每个该图像信息项的该优先级。
10.根据权利要求9所述的方法，进一步包括探测该电子会议的演说者的动作，以及以探测到的该动作为基础，将该优先级分配给该图像信息项。
11.根据权利要求10所述的方法，进一步包括采集该演说者的图像；以及以采集到的该图像为基础，探测该演说者的该动作。
12.根据权利要求10所述的方法，进一步包括以探测到的该动作为基础，指定被该演说者用于解说的图像信息项；以及将该演说者使用的该图像信息项的信息传送到该远程会议终端装置。
13.一种显示电子会议中接收的图像信息项的方法，包括接收在远程屏幕上显示的多个图像信息项以及被显示的该图像信息项的优先级信息；以及根据用于显示该图像信息项的屏幕数量和该优先级信息，显示接收的该图像信息。
14.根据权利要求13所述的方法，进一步包括接收关注点信息，其中该关注点信息表示该演说者使用哪个图像信息项进行解说，以及以不同于其他图像信息项的模式，显示被该演说者使用的该图像信息项。
全文摘要
一种由电子会议的演说者使用的会议终端装置，用于传送显示在屏幕上的图像信息，并使得由听众使用的远程会议终端装置在远程屏幕上显示该图像信息。在该会议终端装置中，屏幕控制部分在屏幕上显示多个图像信息项。优先级分配部分为每个被显示的图像信息项分配在远程屏幕上进行显示的优先级。信息传送处理部分向远程会议终端装置传送被显示的图像信息项以及分配给每个图像信息项的优先级。
文档编号G06F13/00GK1885942SQ200510136950
公开日2006年12月27日 申请日期2005年12月15日 优先权日2005年6月24日
发明者田丸惠理子, 堀切和典, 渡边美树, 稻垣政富 申请人:富士施乐株式会社