信息处理装置、信息处理系统、信息处理方法以及存储介质与流程

1.本发明涉及信息处理装置、信息处理系统、信息处理方法以及存储介质。


背景技术：

2.在专利文献1中，作为网络负荷的改善方法，公开了根据是单向通信还是双向交流等来变更分辨率、帧率、比特率的通信系统。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2016
‑
178419号公报


技术实现要素：

6.发明所要解决的问题
7.然而，在现有技术的通信系统中，若网络的通信负荷变高，则与声音信息相比，动态图像信息的通信可能会产生延迟。
8.本发明的目的在于提供一种信息处理技术，在经由网络与其他装置之间进行动态图像信息以及声音信息的通信时，能够降低动态图像信息的通信相对于声音信息的通信的延迟。
9.用于解决课题的手段
10.本发明的第一方式所涉及的信息处理装置是能够经由网络在与其他装置之间进行动态图像信息以及声音信息的发送接收的信息处理装置，其特征在于，
11.所述信息处理装置具备：
12.通信部，其经由所述网络从所述其他装置接收所述动态图像信息以及所述声音信息、或者由于所述网络的通信负荷成为阈值以上的高负荷而离散地提取由所述其他装置的拍摄部拍摄到的被摄体的特征部位而成的被摄体信息以及所述声音信息；
13.信息处理部，在所述通信部从所述其他装置接收到所述动态图像信息及所述声音信息的情况下，所述信息处理部使声音输出部输出所述声音信息，使显示部显示与所述声音信息对应的所述动态图像信息；
14.存储部，其存储所述动态图像信息；以及
15.生成部，在所述通信部接收到所述被摄体信息以及所述声音信息的情况下，所述生成部通过使用了所述被摄体信息的认证处理而从所述存储部选择拍摄同一被摄体而成的动态图像信息的被摄体图像，依据根据所述被摄体图像的各部位与所述被摄体信息的位置偏移计算出的动作量，生成使所述被摄体图像位移后的再现动态图像信息，
16.所述信息处理部在由所述生成部生成了所述再现动态图像信息的情况下，使所述显示部显示所述再现动态图像信息作为与所述声音信息对应的所述动态图像信息。
17.在本发明的第二方式的信息处理装置中，所述信息处理装置还具备：
18.声音输入部，其输入被摄体的声音信息；
19.拍摄部，其拍摄所述被摄体的动态图像信息；
20.被摄体信息获取部，其获取从由所述拍摄部拍摄到的动态图像信息中部分地提取所述被摄体而成的被摄体信息；
21.状态信息获取部，其基于与所述其他装置的通信，获取表示所述网络的通信负荷的状态的状态信息；以及
22.发送控制部，其基于所述状态信息是否为阈值以上的判定，经由所述网络进行将所述动态图像信息或所述被摄体信息和所述声音信息发送给所述其他装置的发送控制。
23.在本发明的第三方式的信息处理装置中，所述发送控制部在所述状态信息为阈值以上的情况下，将所述被摄体信息和所述声音信息发送给所述其他装置，
24.所述发送控制部在所述状态信息小于阈值的情况下，将所述动态图像信息和所述声音信息发送给所述其他装置。
25.在本发明的第四方式的信息处理装置中，所述信息处理装置还具备动态图像更新部，该动态图像更新部根据在所述被摄体信息的帧间拍摄到的被摄体的比较的结果、或者基于来自操作部的输入的时机，对存储于所述存储部的所述动态图像信息进行更新。
26.在本发明的第五方式的信息处理装置中，所述动态图像更新部对从所述其他装置接收到的所述被摄体信息的帧间所拍摄到的被摄体进行比较，在判定为拍摄到新的被摄体的情况下，向所述被摄体信息的发送源的所述其他装置请求仅发送动态图像信息，
27.所述动态图像更新部基于针对所述发送的请求从所述其他装置发送来的动态图像信息，进行存储于所述存储部的所述动态图像信息的更新。
28.在本发明的第六方式的信息处理装置中，所述动态图像更新部基于来自操作部的输入，在所述声音输入部的动作被断开的情况下，向所述被摄体信息的发送源的所述其他装置请求仅发送动态图像信息，
29.所述动态图像更新部基于针对所述发送的请求从所述其他装置发送来的动态图像信息，进行存储于所述存储部的所述动态图像信息的更新。
30.在本发明的第七方式所涉及的信息处理装置中，所述信息处理装置还具备动态图像修正部，该动态图像修正部对由所述拍摄部拍摄到的所述动态图像信息及由所述生成部生成的所述再现动态图像信息进行修正，
31.所述动态图像修正部修正所述动态图像信息及所述再现动态图像信息，使得所述动态图像信息及所述再现动态图像信息中的所述被摄体的视线与所述摄像单元一致。
32.在本发明的第八方式的信息处理装置中，所述生成部通过基于所述认证处理的所述被摄体信息与存储于所述存储部的所述动态图像信息的比较，选择所述被摄体的类似度最高的动态图像信息的被摄体图像作为拍摄同一被摄体而成的动态图像信息的被摄体图像，使用该动态图像信息的被摄体图像生成所述再现动态图像信息。
33.在本发明的第九方式的信息处理系统中，该信息处理系统具有信息处理装置，该信息处理装置能够经由网络在与其他装置之间进行动态图像信息以及声音信息的发送接收，其特征在于，
34.所述信息处理装置具备：
35.通信部，其经由所述网络从所述其他装置接收所述动态图像信息以及所述声音信息、或者由于所述网络的通信负荷成为阈值以上的高负荷而离散地提取由所述其他装置的
拍摄部拍摄到的被摄体的特征部位而成的被摄体信息以及所述声音信息；
36.信息处理部，在所述通信部从所述其他装置接收到所述动态图像信息及所述声音信息的情况下，所述信息处理部使声音输出部输出所述声音信息，使显示部显示与所述声音信息对应的所述动态图像信息；
37.存储部，其存储所述动态图像信息；以及
38.生成部，在所述通信部接收到所述被摄体信息以及所述声音信息的情况下，所述生成部通过使用了所述被摄体信息的认证处理而从所述存储部选择拍摄同一被摄体而成的动态图像信息的被摄体图像，依据根据所述被摄体图像的各部位与所述被摄体信息的位置偏移计算出的动作量，生成使所述被摄体图像位移后的再现动态图像信息，
39.所述信息处理部在由所述生成部生成了所述再现动态图像信息的情况下，使所述显示部显示所述再现动态图像信息作为与所述声音信息对应的所述动态图像信息。
40.在本发明的第十方式的信息处理方法中，涉及一种能够经由网络在与其他装置之间进行动态图像信息以及声音信息的发送接收的信息处理装置的信息处理方法，其特征在于，
41.所述信息处理方法具有：
42.通信步骤，在该通信步骤中，经由所述网络从所述其他装置接收所述动态图像信息及所述声音信息、或者由于所述网络的通信负荷成为阈值以上的高负荷而离散地提取由所述其他装置的拍摄部拍摄到的被摄体的特征部位而成的被摄体信息及所述声音信息；
43.信息处理步骤，在该信息处理步骤中，在所述通信步骤中从所述其他装置接收到所述动态图像信息及所述声音信息的情况下，使声音输出部输出所述声音信息，使显示部显示与所述声音信息对应的所述动态图像信息；
44.存储步骤，在该存储步骤中，将所述动态图像信息存储于存储部；
45.生成步骤，在该生成步骤中，在所述通信步骤中接收到所述被摄体信息以及所述声音信息的情况下，通过使用了所述被摄体信息的认证处理而从所述存储部选择拍摄同一被摄体而成的动态图像信息的被摄体图像，依据根据所述被摄体图像的各部位和所述被摄体信息的位置偏移计算出的动作量，生成使所述被摄体图像位移后的再现动态图像信息；以及
46.在所述生成步骤中生成了所述再现动态图像信息的情况下，使所述显示部显示所述再现动态图像信息作为与所述声音信息对应的所述动态图像信息的步骤。
47.本发明的第十一方式所涉及的存储有程序的存储介质存储有使计算机执行能够经由网络在与其他装置之间接收发送动态图像信息以及声音信息的信息处理装置的信息处理方法的各工序的程序，其特征在于，
48.所述信息处理方法具有：
49.通信步骤，在该通信步骤中，经由所述网络从所述其他装置接收所述动态图像信息及所述声音信息、或者由于所述网络的通信负荷成为阈值以上的高负荷而离散地提取由所述其他装置的拍摄部拍摄到的被摄体的特征部位而成的被摄体信息及所述声音信息；
50.信息处理步骤，在该信息处理步骤中，在所述通信步骤中从所述其他装置接收到所述动态图像信息及所述声音信息的情况下，使声音输出部输出所述声音信息，使显示部显示与所述声音信息对应的所述动态图像信息；
51.存储步骤，在该存储步骤中，将所述动态图像信息存储于存储部；
52.生成步骤，在该生成步骤中，在所述通信步骤中接收到所述被摄体信息和所述声音信息的情况下，通过使用了所述被摄体信息的认证处理而从所述存储部选择拍摄同一被摄体而成的动态图像信息的被摄体图像，依据根据所述被摄体图像的各部位和所述被摄体信息的位置偏移计算出的动作量，生成使所述被摄体图像位移后的再现动态图像信息；以及
53.在所述生成步骤中生成了所述再现动态图像信息的情况下，使所述显示部显示所述再现动态图像信息作为与所述声音信息对应的所述动态图像信息。
54.发明效果
55.根据本发明的第一方式的信息处理装置，在经由网络与其他装置之间进行动态图像信息以及声音信息的通信时，能够降低动态图像信息的通信相对于声音信息的通信的延迟。
56.根据本发明的第二方式以及第三方式的信息处理装置，能够基于表示网络的通信负荷的状态的状态信息是否为阈值以上的判定，经由网络进行将动态图像信息或者被摄体信息和声音信息发送给其他装置的发送控制。
57.根据本发明的第四方式的信息处理装置，能够根据在被摄体信息的帧间所拍摄的被摄体的比较的结果、或者基于来自操作部的输入的时机，更新存储于存储部的动态图像信息。
58.根据本发明的第五方式的信息处理装置，在进行被摄体信息的帧间所拍摄的被摄体的比较、并判定为拍摄了新的被摄体的情况下，能够基于拍摄了新的被摄体的动态图像信息，对存储于存储部的动态图像信息进行更新。
59.根据本发明的第六方式的信息处理装置，能够不受动态图像信息的通信延迟的影响的、在声音输入部的动作被断开的时机下对存储于存储部的动态图像信息进行更新。
60.根据本发明的第七方式的信息处理装置，能够以使被摄体的视线与拍摄部一致的方式修正动态图像信息和再现动态图像信息。由此，经由网络在与其他装置之间进行动态图像信息以及声音信息的发送接收，在进行电视会议的情况下，能够进行使被摄体图像中的视线的方向朝向更自然的方向的双方向的通信。
61.根据本发明的第八方式的信息处理装置，通过基于认证处理的、被摄体信息与存储于存储部的动态图像信息的比较，选择被摄体的类似度最高的动态图像信息的被摄体图像作为拍摄了同一被摄体的动态图像信息的被摄体图像，由此能够生成精度更高的再现动态图像信息。
62.根据本发明的第九方式的信息处理系统、第十方式的信息处理方法以及第十一方式的存储了程序的存储介质，在经由网络与其他装置之间进行动态图像信息以及声音信息的通信时，能够减少动态图像信息的通信相对于声音信息的通信的延迟。
63.本发明的其他特征以及优点将通过参照附图的以下的说明而变得明确。此外，在附图中，对相同或同样的结构标注相同的附图标记。
附图说明
64.图1是表示实施方式所涉及的信息处理系统的构成的一例的图。
65.图2是表示信息处理装置的硬件构成的一例的框图。
66.图3是表示信息处理装置的功能构成的一例的框图。
67.图4是示例性地说明被摄体信息的图。
68.图5是对信息处理装置中的信息的接收处理的流程进行说明的图。
69.图6是对信息处理装置中的信息的发送处理的流程进行说明的图。
70.图7是示例性地说明基于通信负荷进行控制的动态图像信息的发送或被摄体信息的发送的图。
71.附图标记说明
72.10：信息处理系统；100a：信息处理装置；210：cpu；212：存储部；213：通信部；214：操作部；215：显示部；216：声音输出部；217：拍摄部；218：声音输入部；310：信息处理部；311：生成部；312：被摄体信息获取部；313：状态信息获取部；314：发送控制部；315：动态图像更新部；316：动态图像修正部。
具体实施方式
73.以下，参照附图详细说明实施方式。另外，以下的实施方式并不限定权利要求书所涉及的发明，另外，实施方式中说明的特征的组合并非全部是发明所必须的内容。也可以任意组合在实施方式中说明的多个特征中的两个以上的特征。另外，对相同或同样的结构标注相同的附图标记，并省略重复的说明。
74.(系统构成)
75.图1是表示实施例所涉及的信息处理系统10的构成的一个例子的图。在图1中，信息处理系统10包括通过无线通信或有线通信与网络160连接的多个信息处理装置100a、100b和100c。信息处理装置100a、100b和100c能够经由网络160在与其它装置之间发送接收动态图像信息和声音信息。例如，信息处理装置100a能够经由网络160在与其他装置(信息处理装置100b或100c)之间发送接收动态图像信息和声音信息。根据信息处理系统10的构成，例如，能够经由网络160在与远程的用户之间进行谈话等交流或电视会议等。
76.在图1的例子中，信息处理装置100a、100b构成为台式的装置，信息处理装置100c构成为便携终端型的装置，但本实施方式的信息处理装置也可以是任意的装置构成。另外，图1所示的网络160所连接的信息处理装置的数量是示例性的，能够将更多个信息处理装置与网络160连接，双向地进行动态图像信息以及声音信息的发送接收。
77.多个信息处理装置100a、100b、100c具备同样的构成，代表性地以下作为信息处理装置100a进行说明。另外，从信息处理装置100a来看，将信息处理装置100b或100c作为其他装置进行说明。
78.(信息处理装置100a的硬件构成)
79.图2是表示信息处理装置100a的硬件构成的一个例子的框图。信息处理装置100a包括用于控制整个装置的cpu(central processing unit)210、用于存储由cpu210执行的程序的rom(read only memory)211、以及用于存储各种信息作为由cpu210执行程序时的作业区域的存储单元212。存储部212例如能够由ram(random access memory)、存储卡、闪存、hdd(hard disk drive)等构成。信息处理装置100a能够将通过经由网络160的与其他装置的通信而获取的信息保存于存储部212。
80.此外，信息处理装置100a包括用作连接到网络160的接口发挥功能的通信部213和用于操作信息处理装置100a的操作部214。另外，信息处理装置100a包括显示动态图像信息的显示部215、输出声音信息的声音输出部216、输入动态图像信息的拍摄部217、以及输入声音信息的声音输入部218。
81.显示部215能够显示经由网络160从其他装置接收到的动态图像信息，例如采用使用了液晶、有机el(electro
‑
luminescence)等的显示器装置、投影仪等。
82.声音输出部216能够通过扬声器等声音信息的再现装置再现经由网络160从其他装置接收到的声音信息，cpu210能够进行使动态图像信息和声音信息同步的再现控制。
83.拍摄部217是能够进行动态图像拍摄的摄像机，例如使用具备cmos(complementary metal
‑
oxide semiconductor)传感器、ccd(charge coupled device)传感器等图像传感器的数字摄像机。
84.声音输入部218是麦克风等集音装置，通过声音输入部218，与由拍摄部217拍摄被摄体的图像的情况匹配地获取用户的声音信息。声音输入部218的种类等没有限定，例如使用能够与被摄体的数量、被摄体的周围环境匹配地设定指向性的麦克风等。
85.(信息处理装置100a的功能构成)
86.图3是表示信息处理装置100a的功能构成的一个例子的框图。信息处理装置100a具有信息处理部310、生成部311、被摄体信息获取部312、状态信息获取部313、发送控制部314、动态图像更新部315以及动态图像修正部316来作为功能构成。这些功能构成通过信息处理装置100a的cpu210执行从rom211读入的规定的程序来实现。信息处理装置100a的功能构成的各部分的构成只要发挥相同的功能即可，它们也可以由集成电路等构成。
87.信息处理装置100a的通信部213经由网络160从其他装置(例如，信息处理装置100b或信息处理装置100c)接收动态图像信息及声音信息、或由于网络160的通信负荷成为阈值以上的高负荷而离散地提取由其他装置的拍摄部拍摄的被摄体的特征部位而成的被摄体信息及声音信息。
88.信息处理部310对经由网络160从其他装置(信息处理装置100b或信息处理装置100c)接收到的信息进行处理。在通信部213从其他装置接收到动态图像信息及声音信息的情况下，信息处理部310使从其他装置接收到的声音信息从声音输出部216输出，使与声音信息对应的动态图像信息显示于显示部215。
89.在信息处理部310进行动态图像信息的显示处理时，存储部212存储信息处理装置100a的通信部213经由网络160接收到的动态图像信息。这里存储的动态图像信息在后面说明的生成部311根据被摄体信息生成(再现)动态图像信息(再现动态图像信息)时使用。
90.被摄体信息获取部312获取从由拍摄部217拍摄到的动态图像信息中部分地提取被摄体而成的被摄体信息。图4是示例性地说明被摄体信息的图。如图4所示，被摄体信息获取部312针对动态图像信息的各帧(例如，图4的帧401)，确定所拍摄的被摄体402(人物)。在动态图像信息的各帧拍摄了多个被摄体的情况下，被摄体信息获取部312确定帧中的各被摄体，针对各被摄体获取被摄体信息。
91.被摄体信息获取部312将离散地提取被确定为实体模型的被摄体的特征部位的信息(点组的稀疏信息)获取为被摄体信息。被摄体的特征部位例如包括各部位的关节(肩、肘、手腕、膝)、手脚或脸部的位置或朝向、脸部的要素(眼、鼻、口、耳)等，被摄体信息中包含
与各特征部位的位置信息、角度信息、相对于拍摄部(摄像机)的焦深相关的信息。
92.被摄体信息能够表示为将被摄体的特征部位的信息(位置信息)连接而成的线状的被摄体403，与动态图像信息的各帧中的实体模型的被摄体402相比，能够减少信息量。
93.状态信息获取部313基于与其他装置(例如，信息处理装置100b或信息处理装置100c)的通信，获取表示网络160的通信负荷的状态的状态信息。状态信息例如是与信息处理装置100a同其他装置进行通信所需的时间相关的信息，状态信息获取部313将一定量的信息与其他装置定期地进行通信，获取状态信息。
94.状态信息获取部313经由通信部213定期地与其他装置进行通信，判定相对于成为基准的通信时间(阈值)是否产生了延迟。在状态信息为通信时间(阈值)以上的情况下，状态信息获取部313判定为网络的通信负荷成为阈值以上的高负荷。另一方面，在状态信息小于通信时间(阈值)的情况下，状态信息获取部313将网络的通信负荷判定为小于阈值的低负荷。
95.图7是示例性地说明基于通信负荷进行控制的动态图像信息的发送或被摄体信息的发送的图，横轴表示时间，纵轴表示通信负荷。通信负荷随时间经过而变动，在通信负荷为阈值以上的情况下，成为基于发送控制部314的被摄体信息的发送区域。在被摄体信息的发送区域中，发送控制部314将被摄体信息和声音信息发送给其他装置。另外，在通信负荷小于阈值的情况下，成为基于发送控制部314的动态图像信息的发送区域。在动态图像信息的发送区域中，发送控制部314将动态图像信息和声音信息发送给其他装置。
96.发送控制部314基于状态信息是否为阈值以上的判定，经由网络160进行将动态图像信息或被摄体信息和声音信息发送给其他装置的发送控制。在此，动态图像信息是由拍摄部217拍摄到的信息，被摄体信息是由被摄体信息获取部312获取到的信息(图4的403)。
97.在状态信息为阈值以上的情况下，发送控制部314将被摄体信息和声音信息发送给其他装置，在状态信息小于阈值的情况下，将动态图像信息和声音信息发送给其他装置。发送控制部314在向其他装置发送信息时，将能够区分动态图像信息或者被摄体信息的属性信息与发送信息组合起来进行发送。在信息的接收侧，通信部213能够基于属性信息来区分动态图像信息或被摄体信息。
98.在通信部213接收到由于网络160的通信负荷成为阈值以上的高负荷而离散地提取由其他装置的拍摄部拍摄的被摄体的特征部位而成的被摄体信息以及声音信息的情况下，生成部311通过使用了被摄体信息的认证处理而从存储部212中选择拍摄了同一被摄体的动态图像信息的被摄体图像，依据根据所选择的动态图像信息的被摄体图像的各部位与被摄体信息的位置偏移计算出的动作量，生成使被摄体图像位移后的动态图像信息(再现动态图像信息)作为被摄体的动态图像信息。
99.当通信部213从其他装置接收到被摄体信息时，生成部311根据被摄体信息的特征，从存储部212中选择拍摄了对应的被摄体(人物)的动态图像信息。生成部311通过使用了被摄体信息的认证处理(例如，脸部认证技术)，将与被摄体信息的被摄体对应的被摄体从在动态图像信息中拍摄的被摄体(人物)确定为同一被摄体。
100.而且，在能够确定同一被摄体(人物)的情况下，生成部311从存储部212中选择拍摄了所确定的同一被摄体(人物)的动态图像信息。生成部311通过基于认证处理的、被摄体信息与存储于存储部的动态图像信息的比较，将被摄体的类似度最高的动态图像信息的被
摄体图像选择为拍摄了同一被摄体(人物)的动态图像信息的被摄体图像，依据根据该选择出的被摄体图像的各部位与所述被摄体信息的位置偏移计算出的动作量，生成使所述被摄体图像位移后的动态图像信息(再现动态图像信息)。通过基于认证处理的、被摄体信息与存储在存储部212中的动态图像信息的比较，选择被摄体的类似度最高的动态图像信息的被摄体图像作为拍摄了同一被摄体的动态图像信息的被摄体图像，由此能够生成精度更高的再现动态图像信息。
101.在存在多个动态图像信息的候补的情况下，生成部311对被摄体信息的帧以及动态图像信息的帧进行类似度的比较，选择具有类似度最高的帧的动态图像信息的被摄体图像。即使在存在多个动态图像信息的候补的情况下，通过以帧为单位进行类似度的比较，生成部311也能够选择最接近被摄体信息的帧中的摄影场景(例如，带着笑脸说话、以站立的状态说话、以落座的状态说话等)的动态图像信息的被摄体图像。
102.当生成部311选择了动态图像信息的被摄体图像时，生成部311进行被摄体信息中的被摄体的特征部位与动态图像信息的被摄体图像中的被摄体的特征部位的对应，将各特征部位的偏移计算为表示被摄体的动作的特征部位矢量。生成部311根据特征部位矢量的方向、大小，计算各特征部位的动作量。生成部311使动态图像信息的被摄体图像中的被摄体的各特征部位按照计算出的动作量进行位移。
103.另外，关于各特征部位以外的其他部位(周边部位)，基于特征部位及周边部位的相对位置关系和针对特征部位计算出的动作量，计算周边部位的动作量。生成部311根据计算出的周边部位的动作量，使动态图像信息的被摄体图像中的被摄体的周边部位位移。
104.生成部311生成使从存储部212选择的动态图像信息的被摄体图像中的被摄体的各特征部位和周边部位分别按照计算出的动作量进行了位移的被摄体图像，作为基于被摄体信息的动态图像信息(再现动态图像信息)。
105.在由生成部311生成了动态图像信息(再现动态图像信息)的情况下，信息处理部310使显示部215显示再现动态图像信息作为与声音信息对应的动态图像信息。
106.动态图像更新部315根据在被摄体信息的帧间拍摄的被摄体的比较的结果、或者基于来自操作部214的输入的时机，更新存储部212中存储的动态图像信息。作为更新动态图像信息的时机，动态图像更新部315进行从其他装置接收到的被摄体信息的帧间所拍摄的被摄体的比较，在判定为拍摄到新的被摄体的情况下，向被摄体信息的发送源的其他装置请求仅发送动态图像信息。然后，动态图像更新部315根据针对发送的请求从其他装置发送来的动态图像信息，进行存储在存储部212中的动态图像信息的更新。
107.例如，在被摄体信息的帧f1中拍摄被摄体a时，在被摄体信息的下一帧f2中拍摄到被摄体a和新的被摄体b的情况下，为了将被摄体b的信息存储到存储部212，向被摄体信息的发送源的其他装置请求仅发送动态图像信息，根据针对发送的请求从其他装置发送来的动态图像信息(被摄体a和新的被摄体b被拍摄到的动态图像信息)，进行存储于存储部的动态图像信息的更新。由此，进行被摄体信息的帧间所拍摄的被摄体的比较，在判定为拍摄了新的被摄体的情况下，能够基于拍摄到新的被摄体的动态图像信息，更新存储于存储部212的动态图像信息。
108.另外，作为更新动态图像信息的时机，动态图像更新部315基于来自操作部214的输入，在声音输入部218的动作被断开的情况下，向其他装置通知声音输入部218的断开状
态，向被摄体信息的发送源的其他装置请求仅发送动态图像信息。然后，动态图像更新部315基于针对发送的请求从其他装置发送的动态图像信息，进行存储在存储部212中的动态图像信息的更新。由此，能够不受动态图像信息的通信延迟的影响的、在声音输入部的动作被断开的时机下更新存储部212中存储的动态图像信息。
109.动态图像修正部316对由其他装置的拍摄部拍摄到的动态图像信息以及由生成部311生成的动态图像信息(再现动态图像信息)进行修正。动态图像修正部316对动态图像信息和再现动态图像信息进行修正，以使得动态图像信息和再现动态图像信息中的被摄体的视线与拍摄部一致。由此，在经由网络与其他装置之间进行动态图像信息以及声音信息的发送接收而进行电视会议的情况下，能够进行使被摄体图像中的视线的方向朝向更自然的方向的双方向的通信。
110.(信息的接收处理例)
111.接下来，对信息处理装置100a中的信息处理的流程进行说明。图5是说明信息处理装置100a中的信息的接收处理的流程的图。
112.在st501中，通信部213经由网络160从其他装置接收动态图像信息及声音信息、或者由于网络160的通信负荷成为阈值以上的高负荷而离散地提取由其他装置的拍摄部拍摄到的被摄体的特征部位而成的被摄体信息及声音信息。通信部213所接收的信息中组合有能够区分动态图像信息或被摄体信息的属性信息，能够基于属性信息，判定与声音信息一起接收到的信息的类别(动态图像信息或被摄体信息)。
113.在st502中，在通信部213接收到动态图像信息及声音信息的情况下(st502
‑
是)，在st503中，存储部212存储通信部213经由网络160接收到的动态图像信息。
114.在st504中，信息处理部310使经由网络160从其他装置接收到的声音信息从声音输出部216输出，使显示部215显示与声音信息对应的动态图像信息。
115.在步骤st505中，动态图像更新部315判定是否更新在存储单元212中存储的动态图像信息。作为动态图像信息的更新的时机，动态图像更新部315能够根据在被摄体信息的帧间拍摄到的被摄体的比较的结果、或者基于来自操作部214的输入的时机，更新存储于存储部212的动态图像信息。
116.在进行动态图像信息的更新的情况下(st505
‑
是)，在st506中，动态图像更新部315向被摄体信息的发送源的其他装置请求仅发送动态图像信息。然后，在st507中，动态图像更新部315基于针对发送的请求从其他装置发送来的动态图像信息，进行存储部212中存储的动态图像信息的更新。
117.另一方面，在st505的判定中，在不进行动态图像信息的更新的情况下(st505
‑
否)，信息处理装置100a使处理返回到st501，反复执行同样的处理。
118.在st502的判定中，在通信部213接收到被摄体信息及声音信息的情况下(st502
‑
否)，在st508中，生成部311通过使用了被摄体信息的认证处理而从存储部212中选择拍摄到同一被摄体的动态图像信息的被摄体图像。在st509中，生成部311依据根据在st508中选择出的动态图像信息的被摄体图像的各部位与被摄体信息的位置偏移计算出的动作量，生成使被摄体图像位移后的动态图像信息(再现动态图像信息)作为被摄体的动态图像信息。
119.然后，在st510中，在由生成部311生成了动态图像信息(再现动态图像信息)的情况下，信息处理部310使显示部215显示再现动态图像信息作为与声音信息对应的动态图像
信息。信息处理部310进行使动态图像信息(再现动态图像信息)和声音信息同步的再现控制。
120.(信息的发送处理例)
121.图6是说明信息处理装置100a中的信息的发送处理的流程的图。在st601中，拍摄部217通过动态图像拍摄来输入被摄体(人物)的动态图像信息，声音输入部218与由拍摄部217拍摄被摄体(人物)的图像相匹配地获取被摄体(人物)的声音信息。
122.在st602中，被摄体信息获取部312获取从由拍摄部217拍摄到的动态图像信息中部分地提取被摄体而成的被摄体信息。
123.在st603中，状态信息获取部313基于与其他装置的通信，获取表示网络160的通信负荷的状态的状态信息。
124.在st604中，状态信息获取部313经由通信部213定期地与其他装置进行通信，判定相对于成为基准的通信时间(阈值)是否产生了延迟。
125.在st604的判定中，在状态信息为通信时间(阈值)以上的情况下(st604
‑
是)，状态信息获取部313判定为网络的通信负荷成为阈值以上的高负荷。然后，在st605中，发送控制部314在状态信息为阈值以上的情况下，将被摄体信息和声音信息发送给其他装置。在将被摄体信息和声音信息发送到其他装置时，发送控制部314将能够区分动态图像信息或者被摄体信息的属性信息与发送信息组合起来进行发送。通过将属性信息与发送信息(被摄体信息和声音信息)组合起来进行发送，在信息的接收侧，能够基于属性信息来区分动态图像信息或被摄体信息。
126.另一方面，在st604的判定中，在状态信息小于通信时间(阈值)的情况下，状态信息获取部313将网络的通信负荷判定为小于阈值的低负荷。然后，在st606中，在状态信息为阈值以上的情况下，发送控制部314将被摄体信息和声音信息发送给其他装置，在状态信息小于阈值的情况下，发送控制部314将动态图像信息和声音信息发送给其他装置。在将动态图像信息和声音信息向其他装置发送时，发送控制部314将能够区分动态图像信息或者被摄体信息的属性信息与发送信息组合起来进行发送。通过将属性信息与发送信息(动态图像信息以及声音信息)组合起来进行发送，在信息的接收侧，能够基于属性信息来区分动态图像信息或者被摄体信息。
127.[其他实施方式]
[0128]
本发明也能够通过将实现上述实施方式的1个以上的功能的程序经由网络或者存储介质供给至系统或者装置、并由该系统或者装置的计算机中的1个以上的处理器读取并执行程序的处理来实现。另外，也能够通过实现1个以上的功能的电路来实现。
[0129]
本发明并不限定于上述的实施方式，能够在发明的主旨的范围内进行各种变形、变更。