显示控制方法以及显示系统与流程

文档序号:31877724发布日期:2022-10-21 22:11阅读:37来源:国知局
显示控制方法以及显示系统与流程

1.本发明涉及显示控制方法以及显示系统。


背景技术:

2.以往,已知有对从多个终端装置供给的图像进行画面分割并显示的装置。
3.例如,专利文献1公开了一种图像显示系统,其具有:供给图像的多个图像供给装置;以及图像显示装置,其能够将从这多个图像供给装置供给的图像显示于1个或多个画面区域。
4.图像供给装置分别显示能够操作由图像显示装置显示的图像的显示状态的共同画面操作用图像。共同画面操作图像包含具有表示1个或多个画面区域的结构的分割布局框的布局图像,分割布局框能够通过用户在共同画面操作用图像上的操作来变更。
5.专利文献1:日本特开2010-278824号公报
6.但是,在变更显示于共同画面操作用图像的分割布局框,变更图像显示装置显示图像的画面区域的分割数、大小的情况下,可变更的分割数、画面区域的大小是固定的,在布局的操作性方面存在改善的余地。


技术实现要素:

7.本公开的一个方式是一种显示控制方法,其包含以下处理:第1终端装置受理在指定图像的范围的多个模式中选择所述第1终端装置使用的模式即第1终端用模式的操作;第1终端装置输出所述第1终端装置生成的图像中的、通过所述第1终端用模式指定的第1范围的图像即第1图像;第2终端装置受理在所述多个模式中选择所述第2终端装置使用的模式即第2终端用模式的操作;第2终端装置输出所述第2终端装置生成的图像中的、通过所述第2终端用模式指定的第2范围的图像即第2图像;以及显示装置显示将所述第1图像和所述第2图像排列而成的图像。
8.本公开的一个方式是一种显示系统,其包含第1终端装置、第2终端装置以及显示装置,其中,所述第1终端装置包含执行以下处理的至少1个第1处理器:受理在指定图像的范围的多个模式中选择所述第1终端装置使用的模式即第1终端用模式的操作;以及输出所述第1终端装置生成的图像中的、通过所述第1终端用模式指定的第1范围的图像即第1图像,所述第2终端装置包含执行以下处理的至少1个第2处理器:受理在所述多个模式中选择所述第2终端装置使用的模式即第2终端用模式的操作;以及输出所述第2终端装置生成的图像中的、通过所述第2终端用模式指定的第2范围的图像即第2图像,所述显示装置包含光学设备,所述光学设备显示将所述第1图像和所述第2图像排列而成的图像。
附图说明
9.图1是表示系统结构的一例的图。
10.图2是表示终端装置的结构的图。
11.图3是表示主机装置的结构的图。
12.图4是表示应用图像的图。
13.图5是表示应用图像的图。
14.图6是表示应用图像的图。
15.图7是表示应用图像的图。
16.图8是表示界面图像的例子的图。
17.图9是表示拍摄范围的设定例的图。
18.图10是表示拍摄范围的设定例的图。
19.图11是表示拍摄范围的设定例的图。
20.图12是表示拍摄范围的设定例的图。
21.图13是表示显示于投射面的投射用图像的图。
22.图14是表示显示于投射面的投射用图像的图。
23.图15是表示显示于投射面的投射用图像的图。
24.图16是表示显示于投射面的投射用图像的图。
25.图17是表示终端装置的动作的流程图。
26.图18是表示终端装置的动作的流程图。
27.图19是表示终端装置的动作的流程图。
28.图20是表示主机装置的动作的流程图。
29.标号说明
30.10:投射面;50:投影仪;50a:投影仪;55:拍摄图像;55a~55d:拍摄图像;100、100a~100d:终端装置;110:第1无线通信部;120:第1显示部;130:第1操作部;140:拍摄部;150:第1控制部;160:第1存储部;165:客户端用会议应用;170:第1处理器;200:主机装置;210:第2无线通信部;220:第2显示部;230:第2操作部;250:第2控制部;260:第2存储部;261:主机用会议应用;263:布局信息;270:第2处理器;300:应用图像;310:按钮显示区域;311:登录按钮;312:参加按钮;313:退出按钮;314:突出显示按钮;315:均等显示按钮;316:图像选择按钮;320:图像显示区域;325、325a~325i:缩略图像;350:拍摄范围;360:应用图像。
具体实施方式
31.1.系统结构
32.图1是表示显示系统的系统结构的一例的图。
33.图1所示的本实施方式的显示系统具有投影仪50、多个终端装置100和主机装置200。
34.从无线连接的主机装置200向投影仪50供给投射用图像15。投影仪50相当于显示装置。投影仪50具有光源、液晶面板等光调制装置、镜头等光学设备,根据所供给的投射用图像15生成图像光,将所生成的图像光放大投射到投射面10上。由此,在投射面10上显示投射用图像15。此外,显示装置也可以是包含显示面板、光源等光学设备的直视型的显示器。
35.在图1所示的显示系统中,示出了使用1台投影仪50的情况,但也可以使用多台投影仪50进行使图像显示于投射面10的拼接投射。此外,投影仪50与主机装置200的连接可以是无线的,也可以是有线的。
36.终端装置100和主机装置200是具有通信装置的信息处理装置。终端装置100和主机装置200例如使用笔记本型pc(personal computer:个人计算机)、台式pc、平板终端、智能手机、pda(personal digital assistant:个人数字助理)等。
37.各终端装置100与主机装置200无线连接,将后述的拍摄图像55发送到主机装置200。在图1中,作为多个终端装置100,示出了终端装置100a、100b、100c以及100d这4台,但终端装置100的台数并不限定于4台。另外,在图1中示出了终端装置100与主机装置200通过无线连接的结构,但终端装置100与主机装置200的连接也可以是有线的。
38.终端装置100a相当于第1终端装置,终端装置100b相当于第2终端装置,终端装置100c相当于第3终端装置,终端装置100d相当于第4终端装置。
39.主机装置200根据从各终端装置100接收到的拍摄图像55,生成使投影仪50投射的图像即投射用图像15。主机装置200将从多个终端装置100接收到的拍摄图像55排列,生成使投射面10显示的图像即投射用图像15。主机装置200将生成的投射用图像15输出到投影仪50。
40.2.终端装置的结构
41.图2是表示终端装置100的结构的框图。
42.终端装置100a、终端装置100b、终端装置100c以及终端装置100d具有大致相同的结构。因此,以终端装置100a的结构为例进行说明。此外以下,在不需要区分终端装置100a、终端装置100b、终端装置100c和终端装置100d的情况下,有时将它们称为终端装置100。对与终端装置100a关联的结构标注a的标号,对与终端装置100b关联的结构标注b的标号。另外,终端装置100c、终端装置100d也同样如此,在对更多的终端装置100进行说明的情况下也同样地,对特定的终端装置100以及与该终端装置100关联的结构,在标号的末尾标注相同且固有的字母来进行说明。关于与终端装置100关联的结构,在不需要区分结构彼此的情况下,也可以省略标号末尾的字母。
43.终端装置100a具有第1无线通信部110a、第1显示部120a、第1操作部130a、拍摄部140a以及第1控制部150a。
44.第1无线通信部110a是与包含主机装置200在内的外部装置进行无线通信的接口。第1无线通信部110a例如由无线lan(local area network:局域网)卡等网络接口卡构成。第1无线通信部110a与外部装置进行无线通信,收发各种信息。
45.第1显示部120a包含液晶面板、有机el(electro-luminescence:电致发光)面板等显示面板125a和驱动该显示面板125a的驱动电路。省略驱动电路的图示。从第1控制部150a向第1显示部120a输入显示信号。第1显示部120a基于输入的显示信号,使驱动电路驱动显示面板125a,使显示面板125a显示与显示信号对应的图像。
46.终端装置100a所具有的显示面板125a相当于第1画面。终端装置100b所具有的显示面板125b相当于第2画面。
47.第1操作部130a例如具有鼠标、键盘等输入设备,受理用户的操作。第1操作部130a将与所受理的操作对应的操作信号输出到第1控制部150a。
48.第1操作部130a也可以由检测对显示面板125a的触摸操作的触摸面板构成。在该情况下,第1操作部130a将表示检测出的触摸操作的位置的显示面板125a的坐标信息输出到第1控制部150a。
49.拍摄部140a具有ccd(charge coupled device:电荷耦合器件)、cmos(complementary metal oxide semiconductor:互补金属氧化物半导体)等图像传感器、以及基于从图像传感器输出的电信号来生成图像的数据处理电路。省略图像传感器以及数据处理电路的图示。
50.拍摄部140a例如生成包含使用终端装置100a的用户的脸部的拍摄图像,并将所生成的拍摄图像输出到第1控制部150a。拍摄部140a拍摄的拍摄图像可以是动态图像,也可以是静态图像。第1控制部150a将所输入的拍摄图像存储于第1存储部160a。
51.第1控制部150a是具有第1存储部160a和第1处理器170a的计算机装置,统一控制终端装置100a的各部分。
52.第1存储部160a具有ram(random access memory:随机存取存储器)、rom(read only memory:只读存储器)等存储器。ram用于临时存储各种数据等,rom存储用于控制终端装置100的动作的控制程序、各种设定信息。控制程序包含应用程序。以下,将应用程序简单地称为应用。第1存储部160a存储包含客户端用会议应用165a在内的多个应用。客户端用会议应用165a是终端装置100a一边与主机装置200以及连接于主机装置200的其他终端装置100共享图像一边用于进行会议的应用。
53.另外,第1存储部160a也可以是具有ssd(solid state drive:固态硬盘)、hdd(hard disk drive:硬盘驱动器)等辅助存储装置的结构。
54.第1处理器170a是由cpu(central processing unit:中央处理器)、mpu(micro-processingunit:微处理器)构成的运算处理装置。第1处理器170a执行控制程序来控制终端装置100a的各部分。第1处理器170a可以由单一的处理器构成,也可以由多个处理器构成。
55.第1处理器170a控制第1无线通信部110a,与包含主机装置200在内的外部装置相互进行数据通信。
56.第1处理器170a参照第1存储部160a,执行包含客户端用会议应用165a在内的应用。第1处理器170a通过执行客户端用会议应用165a,生成后述的拍摄图像55a,或者将拍摄图像55a发送给主机装置200。
57.关于第1处理器170a执行了客户端用会议应用165a的情况下的动作,在后面叙述。
58.3.主机装置的结构
59.图3是表示主机装置200的结构的框图。
60.主机装置200具有第2无线通信部210、第2显示部220、第2操作部230以及第2控制部250。
61.第2无线通信部210、第2显示部220以及第2操作部230的具体结构与终端装置100相同,因此省略详细的说明。
62.第2控制部250是具有第2存储部260和第2处理器270的计算机装置,统一控制主机装置200的各部分。
63.第2存储部260具有ram、rom等存储器。另外,第2存储部260也可以是具有ssd、hdd等辅助存储装置的结构。
64.ram用于各种数据等的临时存储,rom存储用于控制主机装置200的动作的控制程序、各种设定信息。第2存储部260存储主机用会议应用261、拍摄图像55、缩略图像325以及
布局信息263。主机用会议应用261是统一控制终端装置100与主机装置200的图像共享、投射用图像15的生成以及发送等的应用。另外,本实施方式的应用是会议用的应用,但用途是一例,也可以是会议以外的用途的应用。存储在第1存储部160a或第2存储部260中的应用可包含文档应用、电子表格应用、图像编辑应用和动态图像再现应用各种应用。以下,将客户端用会议应用165a或者主机用会议应用261以外的应用称为其他应用。
65.第2处理器270控制第2无线通信部210,与投影仪50、包含终端装置100在内的外部装置相互进行数据通信。另外以下,将主机装置200所具有的处理器称为第2处理器270。但是,在需要根据名称来区分各终端装置100的处理器的情况下,也可以将终端装置100a的处理器称为第1处理器170a,将终端装置100b的处理器称为第2处理器270b等,将主机装置200的处理器称为主机处理器。
66.第2处理器270参照第2存储部260,执行包含主机用会议应用261在内的应用。第2处理器270通过执行主机用会议应用261,基于从终端装置100a接收到的拍摄图像55a生成投射用图像15。拍摄图像55a是第1处理器170a拍摄由用户选择的图像而生成的图像。另外,第2处理器270进行缩略图像325的生成以及发送、布局信息263的生成以及收发等。
67.关于第2处理器270执行了主机用会议应用261时的动作,在后面叙述。
68.4.第1处理器的动作
69.4.1.基本的动作
70.接下来,对执行客户端用会议应用165a的第1处理器170a的动作进行说明。与至此同样地,以终端装置100a为例进行说明,但各终端装置100具有与终端装置100a同样的功能,能够执行同样的动作。图4是表示显示于显示面板125a的应用图像300a的一例的图。
71.应用图像300a包含按钮显示区域310a和图像显示区域320a。
72.在按钮显示区域310a中显示参加按钮312a、退出按钮313a、突出显示按钮314a、均等显示按钮315a以及图像选择按钮316a。
73.参加按钮312a是在终端装置100a参加会议时被按下的按钮。
74.退出按钮313a是在终端装置100a从会议退出时被按下的按钮。
75.突出显示按钮314a和均等显示按钮315a是在操作布局时被按下的按钮。关于布局的变更将在后面叙述。另外,将突出显示按钮314a以及均等显示按钮315a统称为布局按钮。
76.图像选择按钮316a是在指定终端装置100a中的拍摄范围350a时被按下的按钮。关于拍摄范围350a将在后面叙述。
77.缩略图像325是终端装置100a从主机装置200接收到的图像。在图4中显示了3个缩略图像325。缩略图像325是主机装置200将终端装置100发送到主机装置200的拍摄图像55缩小而生成的图像。
78.当通过用户的操作启动客户端用会议应用165a时,第1处理器170a首先生成应用图像300a,并使其显示于显示面板125a。由于在该时刻没有参加会议,所以在图像显示区域320a中不显示缩略图像325。
79.当按下参加按钮312a时,第1处理器170a向主机装置200发送参加会议的请求。主机装置200在允许参加会议的情况下,开始会议的会话。此外,会议的开始方法没有限定。例如,也可以在参加按钮312a被按下的情况下使用户输入登录信息,并在主机装置200中实施用户认证。也可以从主机装置200取得与登录信息对应的会议的一览,选择终端装置100a的
用户参加的会议。
80.当与主机装置200之间开始会议的会话时,第1处理器170a将终端装置100a的识别信息发送给主机装置200。识别信息是用于识别各终端装置100的信息,是每个终端装置100固有的信息。识别信息例如是各终端装置100的mac(media access control:媒体访问控制)地址、ip(internet protocol:互联网协议)地址。另外,第1处理器170a从主机装置200接收表示投射用图像15的尺寸的尺寸信息。尺寸信息是表示投射用图像15的宽度和高度的信息,以下,只要没有特别说明,尺寸是指宽度和高度。尺寸信息例如可以使用分辨率、或者将投射用图像15的坐标系归一化后的归一化坐标系中的值来表现。以下,假设投射用图像15、图像显示区域320a以及显示面板125a分别由以左上为原点的坐标系来表示,在主机装置200与终端装置100a之间收发的坐标信息、尺寸信息等使用以左上为原点、将横宽归一化为1.0的归一化坐标系来表示。第1处理器170a在接收到表示投射用图像15的尺寸的信息时,以与投射用图像15的纵横比相同的纵横比显示图像显示区域320a。另外,在使用投射用图像15的坐标系或图像显示区域320a的坐标系来收发坐标信息等的情况下,只要在进行发送的装置或进行接收的装置中适当地进行坐标转换即可。
81.另外,当会议的会话开始时,第1处理器170a受理用户对拍摄范围350a的指定。拍摄范围350a是表示终端装置100a生成的图像中的、由第1处理器170a拍摄的图像的范围的信息。拍摄范围350a利用显示面板125a的坐标系来表示。当图像选择按钮316a被按下时,第1处理器170a使显示面板125a显示用于受理拍摄范围350a的指定的界面图像20,受理用户的操作。第1处理器170a基于所受理的用户操作,决定拍摄范围350a。第1处理器170a通过每隔规定时间对拍摄范围350a所包含的图像进行拍摄,来生成拍摄图像55a。第1处理器170a将所生成的拍摄图像55a与终端装置100a的识别信息对应起来发送到主机装置200。对所发送的拍摄图像55a赋予利用归一化坐标系来表示的拍摄图像55a的尺寸信息。可拍摄的图像中包含终端装置100所生成的图像。例如,包含由包括客户端用会议应用165a以及其他应用在内的各种应用生成的图像、由拍摄部140a拍摄到的拍摄图像等。由应用生成的图像可以是静态图像,也可以是动态图像。
82.终端装置100a向主机装置200输出的拍摄图像55a相当于第1图像。与终端装置100a同样地,终端装置100b、终端装置100c及终端装置100d分别将拍摄图像55输出到主机装置200。终端装置100b向主机装置200输出的拍摄图像55b相当于第2图像。终端装置100c输出到主机装置200的拍摄图像55c相当于第3图像。终端装置100d输出到主机装置200的拍摄图像55d相当于第4图像。
83.另外,当会议的会话开始时,第1处理器170a开始从主机装置200接收布局信息263以及缩略图像325。布局信息263是表示显示参加会议的各终端装置100的缩略图像325时的布局的信息。具体而言,布局信息263包含各终端装置100的识别信息、与识别信息建立了对应的坐标信息、以及缩略图像325的尺寸信息。坐标信息是用于决定缩略图像325在图像显示区域320a中的显示位置的坐标信息,例如是归一化坐标系中的缩略图像325的左上角的坐标。缩略图像325的尺寸信息用归一化坐标系中的值来表现缩略图像325的宽度以及高度。第1处理器170a将接收到的布局信息263以及缩略图像325存储于第1存储部160a。第1处理器170a以与将归一化坐标系转换为图像显示区域320a的坐标系的倍率相同的倍率对缩略图像325的尺寸信息进行转换,并在与坐标信息对应的图像显示区域320a的位置处展开
来生成应用图像300a。第1处理器170a使生成的应用图像300a显示于显示面板125a。图4是该时刻的应用图像300a的显示例。在图4中,基于布局信息263显示缩略图像325a、缩略图像325b和缩略图像325c。
84.另外,第1处理器170a能够生成并发送布局信息263。第1处理器170a受理指定布局的用户的操作,并基于所受理的操作生成布局信息263。第1处理器170a将生成的布局信息263发送给主机装置200。另外,第1处理器170a基于生成的布局信息263生成应用图像300a,并显示于显示面板125a。
85.4.2.第1处理器对布局信息的生成
86.如上所述,第1处理器170a能够通过执行客户端用会议应用165a来生成布局信息263并发送。即,能够基于对应用图像300a所显示的缩略图像325的显示位置、显示尺寸进行指定的用户操作来生成布局信息263,并发送给主机装置200。另外,以下说明的指定突出显示、均等显示、位置以及尺寸的操作相当于指定布局的操作。
87.首先,对使用突出显示按钮314a来控制布局的情况下的基本动作例进行说明。图5是表示应用图像300a的图。图5是进行了突出显示的情况下的缩略图像325的布局的一例。以下,参照图5,以终端装置100a生成突出显示缩略图像325b的布局信息263的情况为中心进行说明,但使用其他终端装置100也能够进行同样的动作。
88.第1处理器170a在受理了突出显示按钮314a的操作时,将图像显示区域320a的布局设为突出显示的布局。换言之,第1处理器170a在受理布局按钮中的突出显示按钮314a的操作时,以作为布局模式之一的突出显示模式进行动作。
89.当突出显示按钮314a被按下时,第1处理器170a受理在显示于图像显示区域320a的缩略图像325中选择要放大显示的缩略图像325的操作。在图5的例子中,第1处理器170a受理从3个缩略图像325a、缩略图像325b、缩略图像325c中选择要放大显示的缩略图像325的操作。在本实施方式中,可选择的缩略图像325并不限定于与进行了操作的终端装置100a对应的缩略图像325a。第1处理器170a能够选择其他终端装置100的缩略图像325。图5是用户选择了缩略图像325b的情况下的例子。用户例如通过操作第1操作部130a来选择缩略图像325b。
90.第1处理器170a基于所受理的操作,生成布局信息263。具体而言,作为所选择的缩略图像325b的尺寸,指定与未选择的缩略图像325a以及缩略图像325c的尺寸相比相对大的值,由此生成具有突出显示的尺寸信息的新的布局信息263。进而,也可以以所选择的缩略图像325b配置在图像显示区域320a的中央的方式,生成新的坐标信息。例如,在选择前缩略图像325b位于图5中的图像显示区域320a的位置处的情况下,也可以通过选择缩略图像325b,将缩略图像325a或缩略图像325c的位置与缩略图像325b的位置调换。
91.第1处理器170a用新的布局信息263覆盖存储于第1存储部160a的当前的布局信息263。然后,基于新的布局信息263生成新的应用图像300a,并显示于显示面板125a。另外,第1处理器170a将新的布局信息263发送给主机装置200。
92.通过以上的动作,在图像显示区域320a中放大显示缩略图像325b的尺寸。即,突出显示缩略图像325b。另外,通过将布局信息263发送到主机装置200,在投射用图像15以及其他终端装置100的应用图像300中,也以与终端装置100a中的布局相同的布局进行显示,详情将后述。因此,终端装置100a的用户能够使用自身的终端装置100a来指定投射用图像15、
终端装置100b以及终端装置100c所显示的应用图像300的布局。另外因此,终端装置100a受理对图像显示区域320a中的缩略图像325的布局进行指定的操作,也是受理对投射用图像15中的拍摄图像55的布局、以及其他终端装置100的图像显示区域320中的缩略图像325的布局进行指定的操作。
93.在突出显示中,优选为,将从主机装置200接收到的全部的缩略图像325显示在图像显示区域320a中。另外,缩略图像325的纵横比优选保持为从主机装置200接收到的缩略图像325的纵横比。优选突出显示中的缩略图像325b的尺寸比在后述的均等显示中显示与突出显示相同数量的缩略图像325的情况下的缩略图像325的尺寸大。该情况下,在突出显示中,第1处理器170a使缩略图像325b的尺寸比均等显示中的缩略图像325的尺寸放大,使缩略图像325b以及缩略图像325c的尺寸比均等显示中的尺寸缩小。由此,如图5所示,放大后的缩略图像325b、缩小后的缩略图像325a以及缩略图像325c全部显示于图像显示区域320a。另外,在突出显示中,也可以不变更缩略图像325b的尺寸,而缩小缩略图像325a以及缩略图像325c的尺寸。
94.另外,突出显示按钮314a的按下和缩略图像325的选择也可以以与上述相反的顺序进行。即,在选择了缩略图像325b的状态下按下突出显示按钮314a的情况下,第1处理器170a也可以突出显示选择中的缩略图像325b。另外,也可以对与按下了突出显示按钮314的终端装置100对应的缩略图像325进行突出显示。例如,当突出显示按钮314a被按下时,第1处理器170a使与对应于终端装置100a的识别信息建立了对应的缩略图像325a放大显示。在该情况下,可以省略缩略图像325的选择。
95.接着,返回图4,对使用均等显示按钮315a来控制布局的例子进行说明。图4示出了执行均匀显示时缩略图像325的布局。当均等显示按钮315a被按下时,第1处理器170a使图像显示区域320a的布局成为均等显示的布局。换言之,第1处理器170a当受理布局按钮中的均等显示按钮315a的操作时,以作为布局模式之一的均等显示模式进行动作。
96.当均等显示按钮315a被按下时,第1处理器170a生成新的布局信息263。具体而言,通过指定相同的尺寸作为全部缩略图像325的尺寸,生成具有均等显示的尺寸信息的新的布局信息263。然后,第1处理器170a与突出显示的情况同样地,更新第1存储部160a的布局信息263,生成新的应用图像300a,并显示于显示面板125a。另外,第1处理器170a将新的布局信息263发送给主机装置200。
97.例如,当在图像显示区域320a的布局为突出显示的布局的情况下按下均等显示按钮315a时,第1处理器170a结束突出显示,进行均等显示。即,如图5那样被放大的缩略图像325b和被缩小的缩略图像325a以及325c如图4那样以相同的尺寸显示。在从突出显示变更为均等显示的情况下,均等显示中的缩略图像325的配置的顺序也可以与之前的突出显示中的缩略图像325的配置的顺序相同。在该情况下,第1处理器170a参照之前的突出显示中的布局信息,决定新的布局信息中的缩略图像325的坐标信息。另外,也可以是,如果均等显示按钮315a被按下,则按照初始的配置顺序、例如开始会议时的顺序配置缩略图像325。在该情况下,第1处理器170a至少将最初的布局信息存储于第1存储部160a,如果均等显示按钮315a被按下,则参照最初的布局信息来决定新的坐标信息。
98.在均等显示的情况下,从可视性的观点出发,缩略图像325的尺寸优选为能够在图像显示区域320a中以相同的尺寸显示全部缩略图像325的最大的尺寸。在图4中,在图像显
示区域320a中显示的缩略图像325a、325b以及325c的尺寸相同且最大。另外,在图4中,同一尺寸的缩略图像325a、325b以及325c排成一列地显示。在图4中,示出了将缩略图像325a、325b以及325c排列为横向一列的例子,但排列根据图像显示区域320a的纵横比决定即可,也可以排列为纵向一列。另外,也可以根据参加会议的用户的数量、即缩略图像325的数量,以横m行、纵n列的矩阵状排列缩略图像325。另外,m、n为1以上的整数。
99.接着,对突出显示的其他例子进行说明。图6和图7是表示应用图像300a的图。图6和图7表示按下突出显示按钮314a时的缩略图像325的布局的例子。图6和图7是终端装置100a~100i这9台终端装置100参加会议的情况下的显示例。
100.在使用图6例示的布局中,在配置于中央的缩略图像325a的4边的周围,设置用于配置未被选择的缩略图像325的区域。在图6中,显示有缩略图像325a~325i这9个缩略图像325。图6是选择缩略图像325a并进行突出显示的例子,但也可以选择缩略图像325a~325i中的任意一个。这一点对于图7也是同样的。在图6所示的图像显示区域320a的布局中,在放大后的缩略图像325a的周围配置其他缩略图像325b~325i。
101.以下,以用户看着应用图像300a的朝向为基准,说明图6中的缩略图像325的位置关系。即,假设以下的上下左右与显示于按钮显示区域310a的字符串的上下左右一致来进行说明。
102.缩略图像325c配置在缩略图像325a上方,缩略图像325h配置在缩略图像325a下方。
103.缩略图像325b配置在缩略图像325a左方,缩略图像325d配置在缩略图像325a右方。
104.缩略图像325e配置在缩略图像325a的左斜上方,缩略图像325f配置在缩略图像325a的右斜上方。
105.缩略图像325g配置在缩略图像325a的左斜下方,缩略图像325i配置在缩略图像325a的右斜下方。
106.缩略图像325e、缩略图像325c以及缩略图像325f在缩略图像325a的上侧沿图像显示区域320a的横向排成一列地配置。
107.缩略图像325g、缩略图像325h以及缩略图像325i在缩略图像325a的下侧沿图像显示区域320a的横向排成一列地配置。
108.缩略图像325e、缩略图像325b以及缩略图像325g在缩略图像325a的左侧沿图像显示区域320a的纵向排成一列地配置。
109.缩略图像325f、缩略图像325d以及缩略图像325i在缩略图像325a的右侧沿图像显示区域320a的纵向排成一列地配置。
110.图7也示出显示缩略图像325a~325i这9个缩略图像325、并放大显示所选择的缩略图像325a的例子。在使用图7例示的布局中,在所选择的缩略图像325a的连续的2边的周围,设置用于配置未被选择的缩略图像325的区域。缩略图像325a从应用图像300a的图像显示区域320a的中央配置到右上部,在缩略图像325a的上边以及右边不配置其他缩略图像325。其他缩略图像325b~325i配置在放大后的缩略图像325a的左方或下方。
111.在图7中,缩略图像325b、325d、325e、325f以及325g在缩略图像325a的左侧沿着图像显示区域320a的纵向配置成一列。
112.缩略图像325g、325c、325h以及325i在缩略图像325a的下侧沿着图像显示区域320a的横向配置成一列。此外,配置未被放大的缩略图像325的位置并不限定于缩略图像325a的左边侧以及下边侧。
113.关于使用图5、图6以及图7所例示的布局中的哪一个来进行突出显示,也可以由第1处理器170a根据缩略图像325的数量或者投射用图像15的纵横比来决定。例如,也可以基于投射用图像15的纵横比和缩略图像325的数量,选择使各缩略图像325的尺寸为最大的布局。另外,也可以选择使突出显示的缩略图像325的尺寸为最大的布局。另外,也可以根据所选择的缩略图像325的位置来决定突出显示的布局。例如,也可以是,在缩略图像325a~325i被矩阵配置的情况下,如果选择了中央的缩略图像325a,则以图6的布局进行突出显示,如果选择了右上的缩略图像325c,则以在图7中的缩略图像325a的位置配置了缩略图像325c的布局进行突出显示。
114.另外,第1处理器170a也可以基于用户的操作来决定在突出显示中使用的布局。例如,第1处理器170a也可以显示提示突出显示中的布局的候选的布局选择图像,使用户选择布局。省略布局选择图像的图示。布局选择图像既可以在突出显示按钮314a被按下时显示,也可以由用户从未图示的设定按钮调出。也可将主机装置200所指定的突出显示的布局发送至终端装置100,在主机装置200及所有终端装置100中使用共同的布局。
115.对第1处理器170a生成布局信息263的其他例子进行说明。在该例子中,用户通过操作第1操作部130a,能够任意地指定缩略图像325的位置以及尺寸。这些控制方法可以通过按下未图示的按钮来选择,也可以在按下突出显示按钮314a之后进行了下述操作的情况下执行。另外,第1处理器170a也可以不进行按钮操作而受理下述的操作。与上述的例子同样地,第1处理器170a根据用户的操作生成布局信息263并向主机装置200发送。另外,第1处理器170a根据用户的操作生成应用图像300a,并显示于显示面板125a。
116.例如,用户也可以通过拖放操作使缩略图像325移动。用户使手指触摸应用图像300a所显示的缩略图像325中的1个,并使触摸的手指在显示面板125a上移动。第1处理器170a使所选择的缩略图像325的显示位置与用户的手指的动作对应地移动。第1处理器170a生成将用户放开手指的位置作为缩略图像325的新的位置的新的坐标信息。
117.并且例如,用户也可以通过捏合(pinch in)、撑开(pinch out)那样的放大缩小操作来变更缩略图像325的尺寸。用户使2根手指触摸应用图像300a所显示的缩略图像325中的1个,进行扩大或缩小所触摸的手指的间隔的操作。第1处理器170a以与用户的2根手指的间隔变化对应的变化量,使所选择的缩略图像325的尺寸放大或缩小,生成包含新的尺寸信息的新的布局信息263。
118.4.3.拍摄图像的生成
119.接下来,对图像选择按钮316a被按下的情况下的第1处理器170a的动作进行说明。如上所述,第1处理器170a基于用户的操作来决定作为图像的范围的拍摄范围350a,对拍摄范围350a所包含的图像进行拍摄并发送给主机装置200。
120.图8是用于受理拍摄范围350a的指定的界面图像20的一例。当图像选择按钮316a被按下时,第1处理器170a使界面图像20显示于应用图像300a。
121.客户端用会议应用165a具有指定拍摄范围350a的多个模式。多个模式包含全画面选择模式、应用选择模式、框选择模式以及自由选择模式。以下,将指定拍摄范围350a的模
式统称为指定模式。终端装置100a所使用的指定模式相当于第1终端用模式。另外,与终端装置100a同样地受理选择指定模式的操作,终端装置100b所使用的指定模式相当于第2终端用模式。另外,终端装置100a中的拍摄范围350a相当于第1范围,终端装置100b中的拍摄范围350b相当于第2范围。此外,各终端装置100能够分别独立地选择指定模式,因此多个终端装置100可以选择相同的指定模式,也可以选择不同的指定模式。
122.界面图像20是受理这些指定模式中的任意1个的选择的用户界面图像。在图8中,显示有与上述的各指定模式分别对应的全画面选择按钮21、应用选择按钮22、框选择按钮23以及自由选择按钮24。用户使用第1操作部130a选择这些按钮中的1个。第1处理器170a通过判定用户选择的按钮来受理指定模式的选择。框选择模式和自由选择模式相当于第1模式。应用选择模式相当于第2模式。全画面选择模式相当于第3模式。
123.图9~图12是表示拍摄范围350a的设定例的图。在图9~图12中示出了显示于显示面板125a的图像的整体。在图9~图12的例子中,在显示于显示面板125a的图像中包含其他应用生成的应用图像360a以及各种应用的图标330a。另外,拍摄范围350a用虚线表示。以下,参照图9~图12说明4个指定模式。
124.图9是全画面选择模式中的拍摄范围350a的设定例。全画面选择模式是将显示于显示面板125的图像的整体设为拍摄范围350的模式。当按下全画面选择按钮21时,第1处理器170a转移到全画面选择模式。在全画面选择模式中,第1处理器170a将显示于显示面板125a的图像的整体设定为拍摄范围350a。第1处理器170a也可以通过使应用图像300a最小化或透明化,使用户看到在拍摄范围350a中设定的显示面板125的图像。此时,也可以在显示面板125的外周显示图9那样的框线。另外,在全画面选择模式中,也可以不进行拍摄图像55a的显示。
125.图10是应用选择模式下的拍摄范围350a的设定例。应用选择模式是受理用户对应用的选择,将所选择的应用生成的图像作为拍摄范围350的模式。在应用选择模式下,只要是终端装置100a能够执行的应用就能够选择。当按下应用选择按钮22时,第1处理器170a转移到应用选择模式。第1处理器170a显示未图示的应用选择画面。第1处理器170a使启动中的应用的一览显示于应用选择画面,受理用户选择应用的操作。用户对第1操作部130a进行操作而从应用的一览中选择应用。第1处理器170a将所选择的应用生成的图像的整体设定为拍摄范围350a。图10是在应用选择模式下选择了图像编辑应用的情况下的例子,图像编辑应用生成的应用图像360a被设定为拍摄范围350a。另外,应用选择模式中的拍摄范围350a是描绘应用图像360a的第1存储部160a的区域的坐标系。即使应用图像360a未显示于显示面板125a,第1处理器170a也能够拍摄应用图像360a。在应用选择模式中,也与全画面选择模式同样地,可以显示拍摄图像55a而使用户看到,也可以不进行显示。
126.图11是框选择模式中的拍摄范围350a的设定例。框选择模式是通过用户在显示面板125a上指定拍摄范围350a的形状以及位置来设定拍摄范围350a的模式。第1处理器170a通过受理表示拍摄范围350a的形状以及位置的框的描绘,来决定拍摄范围350a。第1处理器170a受理指定框的形状以及配置框的显示面板125a上的位置的、用户的操作。框的形状包含框的几何形状和尺寸。在框不是矩形的情况下,尺寸例如也可以通过与框外接的矩形的尺寸来表示。当框选择按钮23被按下时,第1处理器170a转移到框选择模式,使显示面板125a显示操作图标330a。此时,如图11所示,也可以通过使应用图像300a最小化或透明化,
使用户能够看到显示于显示面板125a的应用图像300a以外的图像。这一点对于后述的自由选择模式也是同样的。
127.可选择的框的形状例如包含矩形、圆形、椭圆、多边形等各种形状。在操作图标330a中显示表示能够选择的多个框的形状的图形。用户从显示于操作图标330a的图形中选择期望形状的图形。接着,将通过鼠标等的操作而选择的图形以期望的位置及尺寸描绘在显示面板125a上。例如,如图11所示,第1处理器170a使显示面板125a显示用户所描绘的轨迹。用户也可以通过操作所描绘的图形来变更一次描绘的图形的位置、尺寸。当用户结束图形的描绘时,第1处理器170a在显示面板125a中将由所创建的图形的形状以及位置规定的框的内侧设定为拍摄范围350a。
128.在图11中,摄像头应用被显示为参照第1存储部160a而生成的应用图像360a,其中的一部分被四边形的框包围而设定为拍摄范围350a。第1处理器170a对拍摄范围350a所包含的图像进行拍摄,因此在框选择模式下,对显示于显示面板125a的图像中的被框包围的内侧的部分进行拍摄。因此,如图11所示,能够将应用图像360a中的被框包围的一部分作为拍摄图像55a。另外,也可以将包含应用图像360a的一部分和显示于显示面板125a的其他图像的范围设定为拍摄范围350。另外,在框选择模式中,由于指定了显示面板125a上的范围,所以例如通过使显示在显示面板125a上的应用的窗口位置移动,能够在拍摄范围350a中显示期望的图像,或者使其不显示。
129.另外,在框选择模式中,也可以在显示面板125a上指定配置框的顶点的位置而在显示面板125a上设定期望的框。例如,在框的形状为矩形或多边形的情况下,用户依次指定框的各顶点的位置。另外,在框选择模式中,也可以通过纵横比指定框的形状。
130.并且,作为表示框选择模式的框的图像,也可以使用掩模图像。掩模图像是具有与显示面板125a相同的分辨率的图像,各像素具有0或1的值,如果是0,则表示拍摄范围350a的像素,如果是1,则表示不是拍摄范围350a的像素。0和1也可以相反。将值为1的区域称为掩模,在该情况下,拍摄图像55a的形状成为所指定的掩模的形状。掩模的轮廓、即像素的值为1的区域与0的区域的边界相当于框。另外,位置成为配置掩模的显示面板125a的位置。
131.图12是自由选择模式下的拍摄范围350a的设定例。自由选择模式是与框选择模式同样地在显示面板125a上设定表示拍摄范围350a的框的模式,但通过用户描绘来决定框的形状这一点与框选择模式不同。用户通过鼠标的操作或显示面板125a的触摸操作,指定想要作为拍摄图像55a显示的图像的范围。在自由选择模式中,不进行如框选择模式那样的框的形状的选择。用户通过使鼠标或手指移动来描绘框,通过包围想要作为拍摄图像55a显示的图像的范围,指定拍摄范围350a。在图12的例子中,在用户选择了显示于操作图标330a的笔的图标的情况下,第1处理器170a转移到自由选择模式。在操作图标330a中未选择框的形状而对显示面板125a进行了描绘的情况下,第1处理器170a也可以以自由选择模式进行动作。在图12中,应用图像360a的一部分(具体而言,由图像编辑应用显示的应用图像360a中的描绘了汽车的部分)通过被框包围而被设定为拍摄范围350a。
132.终端装置100a检测在显示面板125a上移动的鼠标、手指的轨迹来生成轨迹数据。轨迹数据是在描绘中指示的点的集合。在轨迹数据中包含表示构成轨迹的各点的坐标以及各点被指示的顺序的信息。终端装置100a在轨迹数据中起点与终点一致后,进行针对轨迹数据所示的轮廓的、显示面板125a的各像素的内外判定。终端装置100a将被判定为轨迹数
据表示的轮廓的内侧的像素设定为拍摄范围350a。终端装置100a对拍摄范围350a中包含的图像进行拍摄而生成拍摄图像55a。在该情况下,框的形状和尺寸通过自由选择的坐标和坐标的顺序、即轨迹数据来表示,位置例如通过轨迹的起点位置来表示。
133.5.第2处理器270的动作
134.接着,说明第2处理器270的动作。
135.当通过使用主机装置200的用户的操作而启动主机用会议应用261时,第2处理器270受理来自终端装置100的参加会议的请求。第2处理器270在从终端装置100a接收到参加会议的请求时,在允许参加会议的情况下,开始会议的会话。第2处理器270取得终端装置100a的识别信息,并将终端装置100a的识别信息存储到第2存储部260。主机装置200向终端装置100a发送投射用图像15的尺寸信息。主机装置200在从终端装置100a接收到拍摄图像55a时,保持纵横比地缩小接收到的拍摄图像55a,由此生成缩略图像325a。主机装置200将拍摄图像55a、缩略图像325a以及终端装置100a的识别信息对应起来存储在第2存储部260中。第2处理器270每当从新的终端装置100接收到参加会议的请求时,执行以上的动作。另外,每当从终端装置100a接收到新的拍摄图像55a时,生成新的缩略图像325a,对存储在第2存储部260中的拍摄图像55a和缩略图像325a进行更新。
136.接下来,主机装置200生成布局信息263。主机装置200例如基于识别信息的数量来判定参加会议的终端装置100的数量。主机装置200以与终端装置100的数量相对应的布局来生成布局信息263。在本实施方式中,第2处理器270最初生成的布局信息263是均等显示的布局信息。首先,第2处理器270决定配置缩略图像325的排列。排列例如由矩阵排列的行列数和表示排列的各位置的坐标信息来表示。第2处理器270例如也可以在基于终端装置100的数量和图像显示区域320a的纵横比,以相同的尺寸显示了全部缩略图像325的情况下,决定能够以最大的尺寸显示的排列。另外,第2处理器270也可以使排列的候选、或者矩阵配置的行数以及列数的输入画面显示于第2显示部220,基于用户的输入来决定布局。
137.接着,第2处理器270通过将所决定的排列的各坐标与各终端装置100的识别信息分别建立对应来生成布局信息263。第2处理器270将生成的布局信息263存储于第2存储部260。坐标与识别信息的组合是任意的,但例如也可以按照主机装置200从排列的一端起受理了参加会议的请求的顺序来对应识别信息。
138.例如,在终端装置100的数量为1的情况下,矩阵数被决定为1行1列。坐标信息是图像显示区域320的中央的坐标。因此,生成1个缩略图像325配置在图像显示区域320的中央的布局信息263。
139.另外,在终端装置100的数量为3的情况下,主机装置200例如如图4所示,选择将3个缩略图像325a、325b以及325c排列成1行3列的排列。在此,假设主机装置200按照终端装置100a、终端装置100b、终端装置100c的顺序受理了参加会议的请求。在按照受理了参加请求的顺序从左起配置缩略图像325的情况下,第2处理器270生成将终端装置100a的识别信息与排列的左端的坐标、终端装置100b与排列的中央的坐标、终端装置100c与排列的右端的坐标分别对应起来的布局信息263。由此,如图4所示,得到在图像显示区域320a中从左起依次配置缩略图像325a、缩略图像325b、缩略图像325c的布局信息263。
140.然后,主机装置200从第2存储部260读出所生成的布局信息263和与布局信息263建立了对应的缩略图像325,并发送给参加会议的各终端装置100。
141.另外,第2处理器270在从参加会议的终端装置100接收到布局信息263时,用接收到的布局信息263覆盖存储于第2存储部260的布局信息263。然后,从第2存储部260读出接收到的布局信息263和缩略图像325。第2处理器270将接收到的布局信息263以及缩略图像325发送给参加会议的各终端装置100。终端装置100分别使用接收到的布局信息263来生成应用图像300,并显示于显示面板125。由此,在参加会议的所有终端装置100中,以相同的布局显示缩略图像325。
142.另外,第2处理器270按照存储在第2存储部260中的布局信息263,配置从参加会议的终端装置100每隔一定间隔接收的拍摄图像55,生成投射用图像15。布局信息263也是表示在投射面10上显示的投射用图像15中包含的拍摄图像55的显示位置的信息。主机装置200将从终端装置100接收到的拍摄图像55以与布局信息263对应的配置展开而生成投射用图像15。第2处理器270将生成的投射用图像15发送到投影仪50。投影仪50使接收到的投射用图像15显示于投射面10。由此,通过投影仪50在投射面10上显示投射用图像15。
143.图13是表示显示于投射面10的投射用图像15的图。拍摄图像55a~55c分别对应于缩略图像325a~325c。图13表示与图4所示的缩略图像325的布局对应的布局的投射用图像15。
144.图13表示多个终端装置100指定了不同的拍摄范围350的情况下的拍摄图像55的例子。终端装置100a为应用选择模式。在图13的例子中,显示图9所示的应用图像360a的拍摄图像55a。终端装置100b为框选择模式。拍摄图像55b是终端装置100b显示与图11的应用图像360a相同的应用图像360b、并设定了与图11的拍摄范围350a相同的拍摄范围350b的情况下的例子。终端装置100c为自由选择模式。拍摄图像55c是终端装置100c显示与图12的应用图像360a相同的应用图像360c、并设定了与图12的拍摄范围350a相同的拍摄范围350c的情况下的例子。
145.图14表示与图5所示的缩略图像325的布局对应的布局的投射用图像15。当终端装置100a将图5所示的布局的布局信息263发送到主机装置200时,主机装置200使用接收到的布局信息生成投射用图像15,并输出到投影仪50。其结果,如图14所示,在投射面10上显示以与图5的布局相同的布局排列了拍摄图像55的投射用图像15。图5是缩略图像325b被放大的突出显示的布局,因此在图14中,突出显示与缩略图像325b对应的拍摄图像55b。
146.图15和图16是表示显示于投射面10的投射用图像15的图。拍摄图像55a~55i分别对应于缩略图像325a~325i。
147.图15表示与图6所示的缩略图像325的布局对应的布局的投射用图像15。主机装置200使用从终端装置100a接收到的图6所示的布局的布局信息263,使投射用图像15显示于投射面10。图6是缩略图像325a被放大的突出显示的布局,因此在图15中,突出显示与缩略图像325a对应的拍摄图像55a。另外,图15中的拍摄图像55a~55i的位置关系与图6中的缩略图像325a~325i的位置关系相同。
148.在图15中,拍摄图像55a相当于第1图像。拍摄图像55b相当于在拍摄图像55a的横向排列的第2图像。另外,拍摄图像55d相当于在与拍摄图像55b相反侧排列的第4图像。拍摄图像55c相当于在拍摄图像55a的纵向排列的第3图像。另外,在图6的布局中,拍摄图像55e、55f、55g、55i中的任意一个也可以是第2图像或第4图像。拍摄图像55h也可以是第3图像。
149.图16表示与图7所示的缩略图像325的布局对应的布局的投射用图像15。主机装置
200使用从终端装置100a接收到的图7所示的布局的布局信息263,使投射用图像15显示于投射面10。图7是缩略图像325a被放大的突出显示的布局,因此在图16中突出显示拍摄图像55a。另外,图16中的拍摄图像55a~55i的位置关系与图7中的缩略图像325a~325i的位置关系相同。
150.在图16中,拍摄图像55a相当于第1图像。拍摄图像55b相当于在第1图像的横向排列的第2图像。另外,拍摄图像55d相当于在与第2图像相同的一侧排列的第4图像。另外,拍摄图像55c相当于与拍摄图像55a纵向排列的第3图像。另外,在图7的布局中,拍摄图像55d~55g的任意一个也可以是第2图像或第4图像。拍摄图像55g~55i中的任意一个也可以是第3图像。
151.6.终端装置的动作流程图
152.图17、图18以及图19是表示终端装置100a的动作的流程图。
153.参照图17、图18以及图19所示的流程图对终端装置100a的动作进行说明。
154.图17是表示终端装置100a的动作概要的流程图。第1控制部150a使客户端用会议应用165a启动(步骤s1)。例如,第1控制部150a在通过用户的操作选择了客户端用会议应用165a的情况下,使客户端用会议应用165a启动。
155.第1控制部150a在启动客户端用会议应用165a时,使显示面板125a显示应用图像300a(步骤s2)。接着,第1控制部150a发送参加会议的请求(步骤s3),当会议的会话开始时,发送终端装置100a的识别信息,从主机装置200接收表示投射用图像15的尺寸的信息。
156.接着,第1控制部150a判定是否指示了图像选择(步骤s4)。例如,第1控制部150a在图像选择按钮316a被按下的情况下,判定为指示了图像选择(步骤s4/是),进行设定拍摄范围350a的处理(步骤s5),并转移到步骤s6。设定拍摄范围350a的处理的详细内容在后面叙述。第1控制部150a在图像选择按钮316a未被按下的情况下,判定为未指示图像选择(步骤s4/否),不进行步骤s5而转移到步骤s6。
157.接着,第1控制部150a对在步骤s52~s55中设定的拍摄范围350a的图像进行拍摄而生成拍摄图像55a(步骤s6)。根据指定模式,在拍摄范围350a中设定的范围不同,因此在步骤s6中生成的拍摄图像55a根据在步骤s5中判定的指定模式而不同。在判定为没有指示图像选择的情况下(步骤s4/否),步骤s6中,根据之前已设定的拍摄范围350a生成拍摄图像55a。第1控制部150a将生成的拍摄图像55a发送到主机装置200(步骤s7)。然后,第1控制部150a转移到步骤s8。另外,在步骤s3之后的步骤s4中判定为未指示图像选择的情况下(步骤s4/否),未设定拍摄范围350a。在该情况下,第1控制部150a可以省略步骤s6及步骤s7而转移到步骤s8,也可以设定第3模式的拍摄范围350a而执行步骤s6及步骤s7。
158.接着,第1控制部150a判定是否从主机装置200接收到布局信息263以及缩略图像325(步骤s8)。第1控制部150a在判定为未接收到布局信息263以及缩略图像325的情况下(步骤s8/否),待机至接收到布局信息263以及缩略图像325为止。第1控制部150a在判定为接收到布局信息263以及缩略图像325时(步骤s8/是),按照接收到的布局信息263在图像显示区域320a中展开缩略图像325而生成应用图像300a,第1控制部150a使生成的应用图像300a显示于显示面板125a(步骤s9)。
159.接着,第1控制部150a判定是否指示了布局操作(步骤s10)。第1控制部150a在布局按钮被按下的情况下,判定为指示了布局操作(步骤s10/是),进行将布局信息263发送到主
机装置200的处理(步骤s11),转移到步骤s12。后面叙述发送布局信息263的处理的详细内容。第1控制部150a在布局按钮未被按下的情况下,判定为布局操作未被指示(步骤s10/否),不进行步骤s11而转移到步骤s12。
160.第1控制部150a判定是否指示了退出(步骤s12)。第1控制部150a在退出按钮313a被按下的情况下,判定为指示了退出(步骤s12/是),结束缩略图像325在图像显示区域320a上的显示、以及终端装置100a与主机装置200的通信,从而使该处理流程结束。另外,第1控制部150a在退出按钮313a未被按下的情况下,判定为未指示退出(步骤s12/否),返回步骤s4的判定。
161.接着,参照图18,详细叙述步骤s5的设定拍摄范围350a的处理。第1控制部150a在判定为指示了图像选择时(步骤s4/是),使显示面板125a显示界面图像20,受理用户对指定模式的选择(步骤s51)。第1控制部150a在受理了对界面图像20的选择操作时,判定所选择的指定模式是第1模式、第2模式以及第3模式中的哪一个(步骤s52)。
162.第1控制部150a在判定为所选择的指定模式是第1模式的情况下(步骤s52/第1模式),受理指定拍摄范围350a的形状及位置的操作(步骤s53)。例如,第1控制部150a受理显示面板125a中的用户的描绘操作。然后,将描绘的图形的形状及位置作为拍摄范围350a的形状及位置来设定拍摄范围350a(步骤s55)。第1控制部150a在判定为所选择的指定模式是第2模式的情况下(步骤s52/第2模式),受理应用的选择(步骤s54),将所选择的应用设定为拍摄范围350a(步骤s55)。另外,第1控制部150a在判定为所选择的指定模式是第3模式的情况下(步骤s52/第3模式),将显示于显示面板125a的图像的整体设定为拍摄范围350a(步骤s55),并转移到步骤s6。
163.接着,参照图19,说明步骤s11的发送布局信息263的处理。第1控制部150a在判定为指示了布局操作时(步骤s10/是),判定所指定的布局是突出显示和均等显示中的哪一个(步骤s111)。例如,第1控制部150a判定被按下的布局按钮是突出显示按钮314a和均等显示按钮315a中的哪一个。
164.第1控制部150a在突出显示按钮314a被按下的情况下,判定为指示了突出显示(步骤s111/突出),受理要突出显示的缩略图像325的选择(步骤s112)。第1控制部150a在受理了要突出显示的缩略图像325的选择时,生成所选择的缩略图像325被放大显示的突出显示的布局信息263(步骤s113)。在突出显示中采用哪种布局可以由第1控制部150a根据缩略图像325的数量来决定,在预先指定了布局的情况下,也可以采用该布局。
165.第1控制部150a在均等显示按钮315a被按下的情况下(步骤s111/均等),生成均等显示的布局信息263(步骤s114)。然后,第1控制部150a将在步骤s113或步骤s114中生成的布局信息263发送到主机装置200(步骤s115)。然后,第1控制部150a转移到图17所示的步骤s10的判定。
166.7.主机装置的动作流程图
167.图20是表示主机装置200的动作的流程图。
168.参照图20所示的流程图对主机装置200的动作进行说明。
169.首先,若启动主机用会议应用261,则第2控制部250开始受理来自终端装置100的参加请求(步骤t1)。第2控制部250当从终端装置100接收到参加请求时,与发送了参加请求的终端装置100之间开始会议的会话。另外,主机装置200从发送了参加请求的终端装置100
接收识别信息,并存储到第2存储部260。主机装置200向终端装置100发送投射用图像15的尺寸信息。第2控制部250在每次接收新的参加请求时重复以上的动作。
170.第2控制部250判定是否是投射用图像15以及缩略图像325的更新定时(步骤t2)。第2控制部250例如基于从上次的更新时刻起的经过时间,判定是否是更新定时。在判定为是更新定时的情况下(步骤t2/是),转移到步骤t3。另外,第2控制部250在判定为不是更新定时的情况下,待机至更新定时(步骤t2/否)。
171.第2控制部250在判定为是更新定时的情况下(步骤t2/是),判定是否从终端装置100接收到拍摄图像55(步骤t3)。第2控制部250在判定为从存储有识别信息的终端装置100中的任意一个均未接收到拍摄图像55的情况下(步骤t3/否),转移到步骤t5。
172.第2控制部250在判定为从存储有识别信息的终端装置100中的1台以上接收到拍摄图像55的情况下(步骤t3/是),将接收到的拍摄图像55缩小而生成缩略图像325(步骤t4)。第2存储部260将接收到的拍摄图像55及生成的缩略图像325与发送了拍摄图像55的终端装置100的识别信息对应起来存储在第2存储部260中。
173.接着,第2控制部250判定是否从任意的终端装置100接收到了布局信息263(步骤t5)。第2控制部250在判定为接收到布局信息263的情况下(步骤t5/是),将第2存储部260的布局信息263更新为接收到的布局信息263,并转移到步骤t8。
174.第2控制部250在未接收到布局信息263的情况下(步骤t5/否),接着判定正在参加会议的终端装置100的台数是否有变更(步骤t6)。第2控制部250例如基于存储于第2存储部260的识别信息的数量是否与当前参照的布局信息263所包含的识别信息的数量一致,来判定台数是否有变更。第2控制部250在识别信息的数量一致的情况下,判定为台数没有变更(步骤t6/否),并转移到步骤s10。
175.第2控制部250在识别信息不一致的情况下,判定为台数有变更(步骤t6/是),生成新的布局信息263(步骤t7)。第2控制部250基于存储于第2存储部260的最新的识别信息的数量来决定新的布局。也可以是,第2控制部250例如在之前的布局是均等显示的情况下、以及不存在之前的布局信息263的情况下,生成均等显示的布局信息263。第2控制部250在之前的布局是突出显示的情况下,也可以生成放大所选择的缩略图像325的、突出显示的布局信息263。另外,由于台数发生变化,因此,第2控制部250也可以与之前的布局无关地生成与识别信息的数量相应的均等显示的布局信息263。第2控制部250使第2存储部260存储所生成的布局信息263。
176.接着,第2控制部250将存储在第2存储部260中的最新的布局信息263和最新的缩略图像325发送到各终端装置100(步骤t8)。在从终端装置100接收到布局信息263的情况下(步骤t5/是),发送接收到的布局信息263,在第2控制部250生成了新的布局信息263的情况下(步骤t7),第2控制部250发送所生成的布局信息263。
177.接着,第2控制部250按照存储在第2存储部260中的最新的布局信息263展开拍摄图像55,生成投射用图像15(步骤t9)。第2控制部250将生成的投射用图像15发送到投影仪50,通过投影仪50显示投射用图像15(步骤t10)。
178.然后,第2控制部250判定是否指示了会议的结束(步骤t11)。例如,第2控制部250基于是否受理了对主机用会议应用261指示会议或者应用的结束的操作,来判定是否指示了会议的结束。第2控制部250在没有受理指示应用结束的操作的情况下,判定为没有指示
会议的结束(步骤t11/否),返回到步骤t2,重复一系列的处理。第2控制部250在受理了指示应用结束的操作的情况下,判定为指示了会议的结束(步骤t11/是),结束与终端装置100以及投影仪50的通信,结束该处理流程。
179.8.总结
180.终端装置100a受理在指定图像的范围的多个模式中选择终端装置100a使用的指定模式的操作,输出终端装置100a生成的图像中的、由所受理的指定模式指定的拍摄范围350a的图像即拍摄图像55a。终端装置100b受理在多个指定模式中选择终端装置100b所使用的指定模式的操作,输出终端装置100b所生成的图像中的、由所受理的指定模式指定的第2范围的图像即拍摄图像55b。投影仪50显示将拍摄图像55a和拍摄图像55b排列而成的图像。
181.因此,通过分别选择终端装置100a的指定模式和终端装置100b的指定模式,能够使投影仪50显示将与由终端装置100a及100b选择的指定模式指定的拍摄范围350a及拍摄范围350b分别对应的拍摄图像55a及拍摄图像55b排列而成的投射用图像15。
182.因此,能够通过终端装置100a和终端装置100b分别选择投影仪50所显示的图像的范围,因此能够提高所投射的图像的选择的自由度,提高用户的便利性。
183.终端装置100a包含显示面板125a。多个指定模式包含框选择模式和自由选择模式。在选择框选择模式或自由选择模式作为指定模式的情况下,终端装置100a受理拍摄范围350a的形状、以及显示面板125a中的拍摄范围350a的位置的指定。
184.终端装置100a将在显示面板125a的位置处具有形状的拍摄范围350a中显示的图像作为拍摄图像55a输出,由此输出拍摄图像55a。
185.因此,用户能够将显示面板125上的图像以期望的位置以及形状作为拍摄图像55输出到显示装置,所以能够提高图像选择的自由度,提高用户的便利性。
186.多个指定模式包含应用选择模式。终端装置100a在选择了应用选择模式作为指定模式的情况下,受理选择应用的操作。
187.终端装置100a将由应用生成的应用图像360a作为拍摄图像55a输出,由此输出拍摄图像55a。
188.因此,能够将由所选择的应用生成的应用图像360a作为拍摄图像55a输出,能够提高用户的便利性。
189.指定模式是框选择模式或自由选择模式,在拍摄范围350a中包含由应用生成的应用图像360a的一部分的情况下,终端装置100a通过输出包含应用图像360a的一部分的拍摄图像55a来输出拍摄图像55a。
190.因此,作为在显示面板125上指定的拍摄范围350a中包含的图像,能够将包含由应用生成的应用图像360a的一部分的图像作为拍摄图像55a输出,所以能够提高用户的便利性。
191.终端装置100c输出拍摄图像55c,终端装置100a受理指定图像的布局的操作。
192.投影仪50显示将拍摄图像55a、拍摄图像55b、拍摄图像55c以布局排列而成的图像。
193.指定布局的操作包含从拍摄图像55a、拍摄图像55b及拍摄图像55c中选择在图像中要放大显示的图像的操作。
194.因此,能够从投射用图像15所包含的拍摄图像55a、拍摄图像55b以及拍摄图像55c中选择要放大显示的图像,能够提高用户的便利性。
195.投影仪50在显示图像的情况下,要放大显示的图像是拍摄图像55a时,显示包含放大后的拍摄图像55a、在放大后的拍摄图像55a的横向排列的拍摄图像55b、和与放大后的拍摄图像55a纵向排列的拍摄图像55c的图像。
196.因此,在将包含拍摄图像55a、55b及55c且放大显示拍摄图像55a的投射用图像15显示于投射面10的情况下,能够以适当的布局进行显示。
197.终端装置100d输出拍摄图像55d。
198.投影仪50在显示图像的情况下,显示包含放大后的拍摄图像55a、在放大后的拍摄图像55a的横向排列的拍摄图像55b、与放大后的拍摄图像55a纵向排列的拍摄图像55c、相对于放大后的拍摄图像55a在拍摄图像55b的相反侧排列的拍摄图像55d的图像。
199.另外,终端装置100d输出拍摄图像55d。
200.投影仪50在显示图像的情况下,将包含放大后的拍摄图像55a、在放大后的拍摄图像55a的横向排列的拍摄图像55b、与放大后的拍摄图像55a纵向排列的拍摄图像55c、相对于放大后的拍摄图像55a在与拍摄图像55b相同的一侧排列的拍摄图像55d的图像显示在1个画面上。
201.因此,在使投射面10显示包含拍摄图像55a、55b、55c及55d且放大显示拍摄图像55a的投射用图像15的情况下,能够以适当的布局进行显示。
202.本实施方式的显示系统1包含终端装置100a、终端装置100b以及投影仪50。
203.终端装置100a具有第1处理器170a,该第1处理器170a受理在指定图像的范围的多个指定模式中选择终端装置100a所使用的指定模式的操作,输出终端装置100a生成的图像中的、由所选择的指定模式指定的拍摄范围350a的图像即拍摄图像55a。
204.终端装置100b具有第1处理器170b,该第1处理器170b受理在多个模式中选择终端装置100b所使用的指定模式的操作,输出终端装置100b生成的图像中的、由所选择的指定模式指定的拍摄范围350b的图像即拍摄图像55b。
205.投影仪50包含对排列了拍摄图像55a和拍摄图像55b的图像进行显示的光学设备。
206.因此,通过分别选择终端装置100a的指定模式和终端装置100b的指定模式,能够使投影仪50显示将与由终端装置100a及100b选择的指定模式指定的拍摄范围350a及拍摄范围350b分别对应的拍摄图像55a及拍摄图像55b排列而成的投射用图像15。
207.因此,能够通过终端装置100a和终端装置100b分别选择投影仪50所显示的图像的范围,因此能够提高所投射的图像的选择的自由度,提高用户的便利性。
208.上述实施方式是本发明的优选实施方式。但是,不限于上述实施方式,能够在不脱离本发明主旨的范围内实施各种变形。
209.例如,在上述的实施方式中,说明了主机装置200向终端装置100发送布局信息263和缩略图像325的例子。为了削减从主机装置200向终端装置100发送的数据量,主机装置200也可以是仅将布局信息263向终端装置100发送的结构。在该情况下,终端装置100不显示缩略图像325。终端装置100在接收到布局信息263时,将表示拍摄图像55的显示区域的框的图像显示在由图像显示区域320的布局信息指定的位置。
210.另外,在上述的实施方式中,终端装置100执行客户端用会议应用165a,主机装置
200执行主机用会议应用261。可以如上述的例子那样,客户端用会议应用165a和主机用会议应用261分别是不同的软件,但也可以在单独的软件中搭载双方的功能。在该情况下,终端装置100和主机装置200通过执行同一会议应用来实现各自的功能。
211.另外,在上述的实施方式中,使用来自终端装置100的拍摄图像55生成并显示应用图像300以及投射用图像15。在主机装置200执行的应用包含客户端用会议应用165a的功能的情况下,主机装置200也可以作为主机装置200以及终端装置100双方发挥功能。即,也可以显示包含主机装置200的拍摄图像55的应用图像300以及投射用图像15。
212.另外,在上述的实施方式中,多个终端装置100参加了会议,但生成拍摄图像55的装置只要是1台以上即可。例如,也可以仅使用终端装置100a的拍摄图像55a,在主机装置200执行的应用包含客户端用会议应用165a的功能的情况下,也可以仅使用主机装置200生成的拍摄图像55。
213.另外,在上述的实施方式中,以进行会议的系统和应用为例进行了说明,但显示系统的用途不限于会议用。实施方式的显示系统以及显示控制方法能够适当使用于显示将来自多个终端装置100的拍摄图像55排列而成的投射用图像15的任意用途。
214.在上述实施方式中可以用硬件实现由软件实现的一部分功能,并且可以用软件实现由硬件实现的一部分功能。此外,关于投影仪50的其他各部分的具体细节结构,能够在不脱离本发明主旨的范围任意进行变更。对于图3所示的主机装置200也同样如此。
215.另外,图17~图19所示的表示终端装置100的处理的流程图是为了容易理解第1控制部150a的处理而根据主要的处理内容进行了分割而得的。本发明不受图17~图20所示的处理单位的分割方式或名称限制。此外,第1控制部150a的处理可以根据处理内容分割为更多的处理单位,也可以合并为1个处理单位包含更多的处理。另外,上述的流程图的处理顺序也不限于图示的例子。对于图20所示的表示第2控制部250的处理的流程图也同样如此。
216.另外,在使用终端装置100和主机装置200所具有的计算机来实现显示控制方法的情况下,也能够以记录介质或传送该程序的传送介质的方式构成使这些计算机执行的程序。记录介质可以使用磁性、光学性的记录介质或半导体存储设备。另外,上述记录介质也可以是服务器装置所具有的内部存储装置即ram、rom、hdd等非易失性存储装置。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1