数据处理装置、方法、记录介质的制作方法

专利名称：数据处理装置、方法、记录介质的制作方法
技术领域：
本发明涉及计算多个摄像机的位置关系的技术、以及根据算出的位置 关系生成用户界面的技术。
背景技术：
在处于多个摄像机彼此互相拍摄或者能够拍摄的情况下，表示各个摄 像机的位置关系的信息是有用的。
例如，在人等移动体上安装可佩戴式摄像机，在利用可佩戴式摄像机 拍摄的同时各个移动体分别移动的情况下(例如在会议或聚会等时，各个 人佩戴摄像机的情况)，有时各个摄像机不能持续拍摄特定的被摄体，使得 拍摄对象不固定。该情况时，用户仅观看摄影图像无法得知未摄入摄影图 像中的信息。例如，被遮挡在被摄体后面的物体是什么等。但是，如果得 知各个摄像机的位置关系，则用户将能够容易地确定例如拍摄被摄体后面 的摄像机。并且，也容易从不同角度观看拍摄时的场景。
上述优点仅是一例，这种表示各个摄像机的位置关系的信息可以用于 各种用途中，所以期望能够容易生成这种信息。
为了满足这种要求，可以考虑以下方法。
例如，通过使用进行无线通信的基站及GPS(Global Positioning System: 全球定位系统)，测定各个摄像机的世界坐标系。在对各个摄像机求出其在 世界坐标系中的位置后，可以利用该位置计算摄像机彼此的位置关系。另 外，在下述的专利文献1和2中记载了使用基站推断出当前地域的技术。 专利文献l:日本国专利公开公报特开10-239416 专利文献2:日本国专利公开公报特开2005 — 86579 但是，如上所述，为了求出在世界坐标系中的位置，需要GPS及基站 等。即，在室内或地下等来自卫星的电波无法到达的场所，使用GPS计算 位置关系是比较困难的，并且，为了使用基站求出位置，需要合适地设置基站。

发明内容
本发明的目的在于，提供一种数据处理装置，不使用GPS或基站等测 定在世界坐标系中的位置的机构，即可计算各个摄像机的位置关系。
为了解决上述问题，本发明提供一种数据处理装置，管理多个摄像机 的位置关系，其特征在于，具有摄影图像获取部，获取由所述多个摄像 机拍摄的多个不同的摄影图像数据；图像识别部，通过对每个所述摄影图 像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象 数据；计算部，根据检测到的每个检测对象数据，计算相对信息，该相对
信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐
标系为基准时的、另一方摄像机的坐标和摄影方向；判定部，对于由所述 计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个 摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方 向的信息；相对信息转换运算部，根据所述判定部的判定结果进行所述转 换；以及相对位置信息管理部，通过将所算出的各个相对信息中、在相对 信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对 信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置 信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄 影方向。
发明效果
上述数据处理装置通过进行图像识别，首先对各个摄影图像数据计算 对摄影图像数据进行拍摄的摄影摄像机、与作为被摄体被摄入到摄影图像 数据中的被摄体摄像机之间的位置关系。计算的结果是生成相对信息。
使用该相对信息，例如，如果在某个相对信息中表示出摄像机1和摄 像机2的位置关系，在某个相对信息中表示出摄像机2和摄像机3的位置 关系，则通过将它们合成，可以计算摄像机1和摄像机3的位置关系。通 过重复该处理，可以计算各个摄像机的位置关系。
上述数据处理装置具有判定部，从而在需要时可以使用相对信息转换 计算部进行相对信息的转换。通过进行这种转换，可以进行上述合成，结
9果，可以得到表示以多个摄像机中的一个摄像机的坐标系为基准时的、各 个摄像机的坐标和摄影方向的信息(相对位置信息)。
因此，上述数据处理装置不具有GPS或基站等用于和外部通信的结构 时，也能够计算摄像机之间的位置关系。即，可以缓解计算摄像机间的位 置关系时的制约。
在上述结构中，具体地讲，数据处理装置的所述判定部判定在所述相 对信息中成为坐标系的基准的原点摄像机是否是基准摄像机，在判定为不 是基准摄像机、而且所述相对信息的摄影侧摄像机或被摄体摄像机满足预 定的条件时，判定为进行所述转换。
根据这种结构，可以将除了基于基准摄像机拍摄的摄影图像的相对信 息之外的相对信息用于相对位置信息的生成。
在这种结构中，所述相对位置信息管理部保存所述相对位置信息，对 于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为 基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息， 所述判定部包括保存所算出的各个相对信息的数据管理部，所述判定部顺 序读出保存在所述数据管理部中的各个相对信息，在所读出的相对信息的 摄影侧摄像机和被摄体摄像机都不是基准摄像机、而且都不是在所述相对 位置信息中登记了基准信息的摄像机时，将该读出的相对信息返回给所述 数据管理部。
在相对信息不能用于相对位置信息的生成时，如果是在算出了其他摄 像机与基准摄像机的位置关系之后，则可以使用有关其他摄像机的相对信 息，向相对位置信息中追加信息。
根据上述结构，在相对信息不能用于相对位置信息的生成时，暂且将 相对信息返回给数据管理部，所以能够高精度地求出摄像机之间的位置关 系。
并且，所述相对位置信息管理部保存所述相对位置信息，对于各个摄 像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的 坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定 部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信 息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机，是在所述相对位置信息中没有登记基准信息的摄像机时，将该相对信息所
表示的摄影侧摄像机与被摄体摄像机之间的位置关系作为所述基准信息，
登记在所述相对位置信息中。
根据这种结构，能够高效率地生成相对位置信息。
在这种结构中，所述判定部，在所述相对信息的原点摄像机是基准摄 像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时 的坐标和摄影方向的摄像机，是在所述相对位置信息中登记了基准信息的 摄像机时，将该相对信息废弃，而不追加在所述相对位置信息中。
由此，可以防止再次登记己经登记在相对位置信息中的信息，可以避 免相对位置信息变冗长。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述 相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准 摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存 的相对位置信息，所述判定部，在所述相对信息的原点摄像机是在所述相 对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出 了以原点摄像机的坐标系为基准时的坐标和摄影方向的摄像机不是基准摄 像机时，判定为进行所述转换。
在该情况下，也可以是，所述相对信息转换运算部，使用所述基准信 息所表示的、基准摄像机与所述判定涉及的相对信息的原点摄像机之间的 位置关系，将该相对信息转换为表示以基准摄像机的坐标系为基准时的、 在该相对信息中示出了以原点摄像机的坐标系为基准的位置关系的摄像机 的坐标及/或摄影方向的信息。
由此，在与基准摄像机的位置关系已知的摄像机是摄影侧摄像机时， 可以将有关该摄影侧摄像机拍摄的被摄体摄像机的、以基准摄像机的坐标 系为基准时的坐标和朝向登记在相对位置信息中。
并且，所述判定部，在所述相对信息的原点摄像机是在所述相对位置 信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原 点摄像机的坐标系为基准时的坐标和摄影方向的摄像机是基准摄像机时， 将该相对信息废弃，而不追加在所述相对位置信息中。
由此，可以防止再次登记已经登记在相对位置信 中的信息，可以避免相对位置信息变冗长。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述 相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准 摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存 的相对位置信息，所述判定部，在所述相对信息中示出了以原点摄像机为 基准时的坐标系中的位置关系的摄像机是基准摄像机的情况下，当该相对 信息的原点摄像机是在所述相对位置信息中没有登记基准信息的摄像机 时，判定为进行所述转换。
在这种情况下，也可以是，所述相对信息转换运算部计算所述相对信 息所表示的摄像机之间的位置关系的逆矢量，从而进行转换为表示以基准 摄像机的坐标系为基准时的原点摄像机的坐标及/或摄影方向的信息的所述 转换。
由此，可以把有关正在拍摄基准摄像机的摄影侧摄像机的、以基准摄 像机的坐标系为基准的坐标和朝向，登记在相对位置信息中。
并且，具体地讲，数据处理装置的所述相对位置信息管理部保存所述 相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准 摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存 的相对位置信息，所述判定部，在所述相对信息的原点摄像机不是基准摄 像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时 的位置关系的摄像机，是在所述相对位置信息中登记了基准信息的摄像机 时，判定为进行所述转换。
在这种情况下，也可以是，所述相对信息转换运算部，使用所述基准 信息所表示的、与所述判定涉及的相对信息的原点摄像机的位置关系被示 出的摄像机与基准摄像机之间的位置关系以及该相对信息所表示的摄影侧 摄像机与被摄体摄像机之间的位置关系，进行矢量运算，从而进行转换为 表示以基准摄像机的坐标系为基准时的摄影侧摄像机的坐标及摄影方向的 信息的所述转换。
由此，在具有拍摄与基准摄像机的位置关系已知的摄像机的摄影侧摄 像机时，可以将有关该摄影侧摄像机的、以基准摄像机的坐标系为基准时 的坐标和朝向登记在相对位置信息中。在此，也可以使用上述生成的相对位置信息进行以下处理。 艮口，所述数据处理装置还具有图像选择辅助部，该图像选择辅助部根 据所述生成的相对位置信息，生成表示以所述多个摄像机中的基准摄像机 的坐标系为基准时的、各个摄像机的坐标和朝向的图像数据，并使显示部 显示用于使用所生成的图像数据来选择各个摄影图像数据的用户界面。 由此，可以辅助用户选择摄影图像数据。
并且，在这种情况下，也可以是，所述用户界面包括摄像机间位置 关系显示区域，显示所生成的所述图像数据；以及摄影图像显示区域，显 示被选择的摄像机的摄影图像数据，所述图像选择辅助部包括位置确定 部，确定进入到在所述摄影图像显示区域中显示的摄影图像数据的摄影侧 摄像机的摄影范围中的摄像机在该摄影图像数据中的位置；以及叠加显示 部，在基于由所述位置确定部确定的位置的位置上，将作为用于识别摄像 机的图像的被摄体识别图像，叠加显示在该摄影图像数据上。
由此，用户能够容易识别作为被摄体被摄入到摄影图像数据中的被摄 体摄像机是哪个摄像机。
并且，在这种情况下，也可以是，所述图像选择辅助部在受理了对由 所述叠加显示部叠加显示的被摄体识别图像进行选择的操作时，将由被选 择的被摄体识别图像所识别的摄像机的摄影图像，显示在所述摄影图像显 示区域中。
并且，也可以是，所述叠加显示部对各个摄像机分配颜色，利用分配 给各个摄像机的颜色叠加显示该摄像机的被摄体识别图像，所述图像选择 辅助部生成所述图像数据，以便利用分配给各个摄像机的颜色从视觉上区 分显示表示各个摄像机的图像。
并且，也可以是，所述叠加显示部，根据从拍摄了摄影图像数据的摄 影侧摄像机到由所述被摄体识别图像表示的摄像机的距离，以分别不同的 状态显示所述被摄体识别图像，以便能够从视觉上区分所述距离。
并且，在这种情况下，也可以是，所述位置确定部，根据以所显示的 摄影图像数据的摄影侧摄像机为基准摄像机时的所述相对位置信息所表示 的各个摄像机的坐标、或者以所述摄影侧摄像机为原点摄像机的相对信息 中的至少任一方，以及表示该摄影侧摄像机的摄影范围的摄影范围信息，进行所述确定。
由此，由于根据各个摄像机的坐标进行所述确定，所以在使用相对位 置信息进行所述确定时，对于没有作为被摄体被摄入到摄影图像数据中的 摄像机，也能够将该摄像机的位置显示在摄影图像数据中。
另外，也可以是，所述位置确定部对于进入到所述摄影范围中的各个 摄像机，根据所述相对位置信息所表示的各个摄像机的坐标，判定是作为 被摄体而被摄入到所述摄影图像数据中的被摄体摄像机、还是被遮挡的摄 像机，所述叠加显示部以能够从视觉上区分进入到摄影范围中的摄像机是 被摄体摄像机还是被遮挡的摄像机的方式，叠加显示所述被摄体识别图像。
由此，用户能够容易识别到存在没有作为被摄体被摄入的摄像机。
并且，也可以是，所述相对位置信息管理部保存所述相对位置信息， 对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系 为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息， 所述数据处理装置在每个预定时刻生成所述相对位置信息，在预定时刻的 相对位置信息中，当存在没有所述基准信息的不定摄像机时，根据该预定 时刻的前后时刻的相对位置信息所表示的不定摄像机的坐标和摄影方向， 对以基准摄像机的坐标系为基准时的所述预定时刻的所述不定摄像机的坐 标和摄影方向进行插补。
由此，即使存在位置关系不明的摄像机时，也能够使用前后时间段的 相对位置信息对其位置关系进行插补。
并且，本发明提供一种数据处理方法，管理多个摄像机的位置关系， 其特征在于，包括摄影图像获取步骤，获取由所述多个摄像机拍摄的多 个不同的摄影图像数据；图像识别步骤，通过对每个所述摄影图像数据实 施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；计 算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对信息表 示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为 基准时的、另一方摄像机的坐标和摄影方向；判定步骤，对于由所述计算 部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像 机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的 信息；相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信 息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信 息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信 息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影 方向。
并且，本发明提供一种计算机可读取的记录介质，记录了控制程序， 该控制程序使数据处理装置执行用于管理多个摄像机的位置关系的各个步 骤，其特征在于，所述控制程序包括摄影图像获取步骤，获取由所述多 个摄像机拍摄的多个不同的摄影图像数据；图像识别步骤，通过对每个所 述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的 检测对象数据；计算步骤，根据检测到的每个检测对象数据，计算相对信
息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的
任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；判定步骤， 对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示 以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐 标和摄影方向的信息；相对信息转换运算步骤，根据所述判定部的判定结 果进行所述转换；以及相对位置信息管理步骤，通过将所算出的各个相对 信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信 息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信 息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄 像机的坐标和摄影方向。


图l是表示本发明中的各个摄像机的摄影状况的一例的图。 图2是表示本发明的数据处理系统的概况的功能方框图。 图3是表示相对信息计算部6的细节的功能方框图。 图4是表示二维标记30的图。 图5是表示匹配表36的图。
图6是表示被摄入摄影图像中的二维标记30的图。
图7是表示摄影侧摄像机与被摄体摄像机的相对位置关系的图。图8是表示相对信息的图。
图9是表示位置关系计算部7的细节的功能方框图。 图IO是表示登记在队列中的相对信息的图。 图11是表示相对位置信息60的图。 图12是表示数据处理装置2的整体动作的流程图。 图13是表示相对信息计算部6的具体动作的流程图。 图14是表示位置关系计算部7的具体动作的流程图。 图15是表示数据判定部54的判定处理的细节的图。 图16是表示对象摄像机和摄影侧摄像机相同时的转换运算的运算方法 的图。
图17是表示基准摄像机和被摄体摄像机相同时的转换运算的运算方法 的图。
图18是表示对象摄像机和被摄体摄像机相同时的转换运算的运算方法 的图。
图19是表示由图像选择辅助部8生成的图像的一例的图。 图20是表示用户界面的一例的图。 图21是表示用户界面的一例的图。
图22是表示把各个摄像机作为基准时与其他摄像机的位置关系的图。 图23是表示用户界面的一例的图。
图24是表示有无被被摄体摄像机遮挡的摄像机的判定方法的图。 图25是表示显示终端1000的外装的图。 图26是表示数据处理系统的结构的图。 标号说明
l摄像机；2数据处理装置；3显示部；6相对信息计算部；7位置关系 计算部；8图像选择辅助部；ll摄影图像获取部；12相同时刻摄影图像提 取部；13摄影侧摄像机识别部；14图像识别部；15被摄体摄像机识别部； 16被摄体摄像机信息计算部；17被摄体摄像机朝向计算部；18被摄体摄像 机坐标计算部；19相对信息生成部；51相对信息获取部；52基准摄像机设 定部；53数据管理部；54数据判定部；55相对位置信息管理部；56相对
信息转换运算部。
具体实施例方式
(实施方式1)
以下，关于本发明涉及的数据处理装置以及使用数据处理装置的数据 处理系统，使用

一个实施方式。 1概况
图1是表示本发明中的各个摄像机的摄影状况的一例的图。
在本发明中，如图1所示，假设每人佩戴摄像机(la、 lb、 1C、…)进
行摄影的情况。并且，根据各个摄像机拍摄的摄影图像，计算各个摄像机 的位置关系。并且，假设摄像机和人是一对一地对应的。每个人可以到处 走动，也可以不怎么移动。在本发明中，计算各个时刻的摄像机间的相对 位置关系即每个人的位置关系。
另外，在本实施方式中提供一种图像选择辅助系统，在计算摄像机间 的位置关系时，使用所算出的位置关系，对摄像机拍摄的摄影图像的选择 进行辅助。此外，即使仅将所算出的位置关系原样显示为图像也是有用的， 摄像机间的位置关系可以用于各种用途。
下面进行具体说明。
2结构
图2是表示本发明的数据处理系统的概况的功能方框图。 如图2所示，数据处理系统由多个摄像机(la、 lb、 lc、…)、数据处 理装置2和显示部3构成。 2.1摄像机
多个摄像机(la、 lb、 lc、…)中的各个摄像机，在本实施方式中按照 预定时间间隔进行静态图像的摄影。另外，对各个摄像机拍摄的静态图像 附加用于识别进行了拍摄的摄像机的信息、及进行拍摄的摄影日期时间等 信息，作为元数据。
2.2数据处理装置2
数据处理装置2由后面叙述的位置关系计算部7管理多个摄像机的位 置关系。具体地讲，数据处理装置2从各个摄像机接收各个摄像机生成的 摄影图像，根据接收到的摄影图像计算在某个时间点的各个摄像机的位置关系。另外，所说位置关系指在把某个摄像机作为基准时的其他摄像机的 坐标以及朝向。
并且，可以使用算出的位置关系进行各种处理，但在本实施方式中， 数据处理装置2通过后面叙述的图像选择辅助部8，生成用于对用户选择各
个摄像机的摄影图像进行辅助的用户界面。关于数据处理装置2的具体结 构，将在后面叙述的"2.4数据处理装置2的具体内容"中说明。 2.3显示部3
显示部3接收从数据处理装置2输出的图像信号，根据接收到的图像 信号显示图像。例如，可以实现为LCD (Liquid Crystal Display:液晶显示 器)、PDP (Plasma Display Panel:等离子显示面板)、有机EL (Organic Electro-Luminescence: 有机电致发光)等。
2.4数据处理装置2的具体内容
在此，具体说明数据处理装置2。
如图2所示，数据处理装置2包括相对信息计算部6、位置关系计算部 7、图像选择辅助部8。
相对信息计算部6获取多个摄像机的各个摄像机生成的摄影图像，分 析各个摄影图像，对各个摄影图像计算拍摄了摄影图像的摄影侧摄像机、 与作为被摄体被摄入摄影图像中的被摄体摄像机之间的相对位置关系。具 体情况将在后面使用图3说明。
位置关系计算部7根据相对信息计算部6对各个摄影图像的计算结果， 计算在把多个摄像机中的一个摄像机作为基准时的各个摄像机的相对位置 关系。具体情况将在后面使用图9说明。
图像选择辅助部8根据位置关系计算部7的计算结果生成用户界面， 将用于使显示部3显示用户界面的图像信号输出给显示部3。
2.5相对信息计算部6的具体内容
在此，具体说明相对信息计算部6。
图3是表示相对信息计算部6的细节的功能方框图。
相对信息计算部6由摄影图像获取部11、相同时刻摄影图像提取部12、 摄影侧摄像机识别部13、图像识别部14、被摄体摄像机识别部15、被摄体 摄像机信息计算部16、被摄体摄像机朝向计算部17、被摄体摄像机坐标计算部18、相对信息生成部19构成。 2.5.1摄影图像获取部11
摄影图像获取部11获取各个摄像机拍摄的摄影图像。例如，通过与各 个摄像机连接，或与记录了各个摄像机的摄影图像的记录介质连接，并从 记录介质读出摄影图像等，获取各个摄像机的摄影图像。
2.5.2相同时刻摄影图像提取部12
相同时刻摄影图像提取部12参照作为元数据被附加到各个摄影图像的 摄影日期时间，根据预先设定的设定时刻，从由各个摄像机获取的各个摄 影图像中提取摄影图像。
2.5.3摄影侧摄像机识别部13
摄影侧摄像机识别部13参照附加到摄影图像的元数据，获取进行了摄 影图像的拍摄的摄影侧摄像机的识别信息。 2.5.4图像识别部14
图像识别部14进行摄影图像的图像识别，检测用于识别作为被摄体被 摄入摄影图像中的区域。具体地讲，在本实施方式中，使用二维标记进行 上述检测。具体情况将在后面使用图4等进行说明。
2.5.5被摄体摄像机识别部15
被摄体摄像机识别部15根据通过图像识别检测到的区域，获取被摄体 摄像机的识别信息。具体情况将在后面使用图4等进行说明。 2.5.6被摄体摄像机信息计算部16
被摄体摄像机信息计算部16对摄影图像计算摄影侧摄像机与被摄体摄 像机之间的相对位置关系。在本实施方式中，计算在把摄影侧摄像机的摄 像机坐标系作为基准时的、摄影侧摄像机与被摄体摄像机之间的位置关系。
具体地讲，被摄体摄像机信息计算部16包括被摄体摄像机朝向计算部 17和被摄体摄像机坐标计算部18。
被摄体摄像机朝向计算部17计算在把摄影侧摄像机的摄像机坐标系作 为基准时的、被摄体摄像机的朝向。在此，所说被摄体摄像机的朝向指被 摄体摄像机进行摄影的方向。
并且，被摄体摄像机坐标计算部18计算在把摄影侧摄像机的摄像机坐 标系作为基准时的、被摄体摄像机的坐标。2.5.6.1被摄体摄像机识别部15等的具体说明的概况
在此，具体说明被摄体摄像机识别部15和被摄体摄像机信息计算部16。
即，说明进行摄影图像的图像识别，并且
(i) 被摄体摄像机识别部15识别被摄体摄像机，以及
(ii) 被摄体摄像机信息计算部16计算在把被摄体摄像机和摄影侧摄像 机中任一方的摄像机坐标系作为基准时的、另一方摄像机的相对坐标和朝 向的方法。
在本实施方式中，具体地讲，对各个摄像机的预定位置附加二维标记， 图像识别部14从摄影图像中检测摄影侧摄像机拍摄的摄影图像中摄入的二 维标记。
由此，被摄体摄像机识别部15及被摄体摄像机信息计算部16进行(i)
被摄体摄像机的识别，(ii)上述相对坐标和朝向的计算。另外，在标记的 参数(标记的大小、形状等)或摄像机的参数(焦距、摄像分辨率等)已 知时，检测被摄入摄影图像中的二维标记，进行(i) 二维标记的识别、和 (ii)摄像机与二维标记之间相对位置关系的计算，这种技术已经公知有各 种技术，并得到实际应用。例如，根据下述文献等已被公知，非专利文献 Kato, H.， Billinghurst, M. (1999) Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System. In Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99).October， San Francisco,USA.。因此，在以下的说明中省略具体的说明，只简单地说明本 实施方式中的具体实施方法。
2.5.6.2被摄体摄像机识别部15的具体内容
首先，说明(0被摄体摄像机识别部15识别被摄体摄像机的方法。 图4是表示二维标记30的图。
二维标记30如图所示呈具有4个顶点的四方形的形状，被附加在各个 摄像机的预定位置。另外，假设二维标记30的参数(标记的尺寸、大小、 形状等)和各个摄像机的参数(焦距、摄像分辨率等)是已知的。在本实 施方式中，如图所示，在以摄像机为基准的摄像机坐标系中的预定的坐标 处配置二维标记30。即，摄像机坐标系中的二维标记30的坐标是已知的。 另外，摄像机坐标系(Xc,Yc，Zc)是把摄像机的焦点位置作为原点，把与图像平面垂直的方向(即摄像机拍摄的方向)作为Z轴。并且，把与图像
平面中的x轴、y轴平行的方向分别设为X轴、Y轴。
二维标记30如图所示具有摄像机识别区域31。摄像机识别区域31是 用于识别附加有二维标记30的摄像机的区域。
为了识别各个摄像机，在本实施方式中使用二维代码(2Dcode)。具体 地讲，摄像机识别区域31如图4所示被划分为4行X4列的小区域，各个 小区域被涂成两种颜色来进行区分。例如，各个小区域被涂成白色或黑色 任一颜色。并且，对于每个摄像机，各个小区域的白色和黑色的区分涂色 方式是固有的。
另外，每个摄像机的区分涂色方式如图5所示，被作为匹配表36保存 在图像识别部14中。匹配表36中的一个记录如图5所示，由摄像机识别 信息37和代码图案38构成。即，在匹配表36中，使识别摄像机的摄像机 识别信息和表示每个摄像机固有的二维代码的图案的信息相对应。
如上所述，在本实施方式中，在各个摄像机的预定位置附加具有各个 摄像机固有的代码图案的二维标记30。并且，如图6所示，在二维标记30 被摄入摄影图像中时，图像识别部14通过对摄影图像进行图像识别来检测 二维标记30的轮廓线。并且，被摄体摄像机识别部15将检测到的二维标 记30的摄像机识别区域31的代码图案与匹配表36的代码图案比较，并进 行图案匹配，从而识别附加有该二维标记30的被摄体摄像机。
2.5.6.3被摄体摄像机信息计算部16的具体内容
下面，说明(ii)计算摄影侧摄像机与被摄体摄像机的相对坐标和朝向 的方法。在本实施方式中，使用上述非专利文献记载的技术。
通过基于上述非专利文献记载的技术的运算，算出在以摄影侧摄像机 为基准时、被摄入摄影图像中的二维标记30的朝向和坐标。在此，二维标 记30的朝向与被摄体摄像机拍摄的方向基本相同。即，假设二维标记30 的朝向与被摄体摄像机的朝向近似。并且，由于被摄体摄像机与配置在被 摄体摄像机中的二维标记30之间的相对位置关系是已知的，所以修正以摄 影侧摄像机为基准时的二维标记30的坐标，并计算被摄体摄像机的坐标。
这样，被摄体摄像机信息计算部16计算以摄影侧摄像机为基准时的、 被摄体摄像机的朝向和被摄体摄像机的坐标。所算出的被摄体摄像机的朝向、坐标按照图7所示进行表示。
图7是表示摄影侧摄像机与被摄体摄像机之间的相对位置关系的图。 另外，在本实施方式中，把以摄影侧摄像机为基准的摄像机坐标系中的被
摄体摄像机的坐标设为(X、 Y、 Z)，假设Y轴的值"Y"小于X轴的值"X" 及Z轴的值"Z"。因此，摄影侧摄像机与被摄体摄像机的相对位置可以表 示为把X轴的值"X"设为"x"、把Z轴的值"Z"设为"y"的由(x、 y) 构成的二维坐标。并且，关于被摄体摄像机的朝向，在把以摄影侧摄像机 为基准的摄像机坐标系的Z轴(即图7所示的y轴)作为基准时，把顺时 针方向作为正的角度来表示。
2.5.7相对信息生成部19
返回相对信息计算部6的说明。
相对信息生成部19对各个摄影图像生成相对信息，把所生成的相对信 息输出给位置关系计算部17。 2.5.7.1相对信息
在此说明相对信息。图8是表示相对信息(80a、 80b、…)的图。如 图8所示，在一个相对信息中，使摄影时刻81、摄影侧摄像机识别信息82、 被摄体摄像机识别信息83、被摄体摄像机朝向84、被摄体摄像机坐标85 相对应。
2.5.7.2相对信息的具体内容
相对信息中的摄影时刻81表示拍摄摄影图像的时刻，与相同时刻摄影 图像提取部21进行提取所涉及的时刻对应。
摄影侧摄像机识别信息82表示摄影侧摄像机，与由摄影侧摄像机识别 部13获取的识别信息对应。
被摄体摄像机识别信息83表示被摄体摄像机，与由被摄体摄像机识别 部15获取的识别信息对应。
被摄体摄像机朝向84表示被摄体摄像机的相对朝向，与被摄体摄像机 朝向计算部17的计算结果对应。
被摄体摄像机坐标85表示被摄体摄像机的相对坐标，与被摄体摄像机 坐标计算部18的计算结果对应。
以上说明了相对信息计算部6。2.6位置关系计算部7
下面，具体说明位置关系计算部7。
图9是表示位置关系计算部7的具体内容的功能方框图。
位置关系计算部7生成相对位置信息60，该相对位置信息60表示把一 个摄像机作为基准时的其他摄像机的相对朝向和坐标。如图9所示，位置 关系计算部7由相对信息获取部51、基准摄像机设定部52、数据管理部53、 数据判定部54、相对位置信息管理部55、相对信息转换运算部56构成。
2.6.1相对信息获取部51
下面顺序地进行说明，相对信息获取部51逐次获取由相对信息计算部 6输出的相对信息，把获取到的相对信息输出给数据管理部53。 2.6.2基准摄像.机设定部52
基准摄像机设定部52设定作为基准的摄像机(基准摄像机)，以便计 算在把一个摄像机作为基准时的各个摄像机的朝向和坐标。基准摄像机的 设定方法可以考虑各种方法，例如，把由后面叙述的数据管理部53登记在 队列中的相对信息中的、第1件相对信息的摄影侧摄像机识别信息82所表 示的摄影侧摄像机作为基准等。
2.6.3数据管理部53
数据管理部53管理预定的设定时刻的各个相对信息。
具体地讲，数据管理部53受理从相对信息获取部51输出的相对信息， 例如按照图10所示登记在队列中并进行管理。具体情况将在"3.3位置关 系计算部7的动作"中说明。
在此，说明表示登记在队列中的相对信息的图10。
如上所述，在队列中登记有相对信息。从队列中按照序号86所示的序 号顺序输出相对信息。另外，登记在队列中的各个相对信息的摄影侧摄像 机识别信息82等，与在图8中已经说明的识别信息相同，所以省略说明。 并且，在该图中，省略相对信息中的摄影时刻81来加以说明。
2.6.4数据判定部54
数据判定部54进行用于生成相对位置信息60的处理的一部分。具体 地讲，数据判定部54获取相对信息，对所获取的各个相对信息，判定相对 信息是否能够用来生成相对位置信息60、是否需要后面在"2.6.6相对信息转换运算部56"中叙述的相对信息转换运算部56的转换运算(是否转换)。 另外，所说转换运算指把所受理的相对信息转换为表示以基准摄像机为基 准时的其他摄像机的位置关系的信息。数据判定部54根据判定结果控制相 对信息的输出目的地，或废弃相对信息。具体情况将在后面使用图15说明。
2.6.5相对位置信息管理部55
相对位置信息管理部55管理相对位置信息60。
在此，具体说明相对位置信息60。
图11是表示相对位置信息60的图。
相对位置信息60中的一个记录包括时刻61、基准摄像机62、对象摄 像机63、相对位置64和相对朝向65。
时刻61表示摄像机间的位置关系是哪个时刻时的位置关系。
基准摄像机62表示在计算摄像机间的相对位置关系时被作为基准的摄 像机。基准摄像机62是由上述基准摄像机设定部52设定的摄像机。
对象摄像机63表示把基准摄像机62所示的摄像机作为基准时、成为 计算相对位置关系的对象的摄像机(对象摄像机)。
相对朝向65表示把基准摄像机62所示的摄像机作为基准时的对象摄 像机的朝向。对象摄像机的朝向在该示例中，在把以基准摄像机为基准的 摄像机坐标系的Z轴(拍摄的方向)作为基准时，利用把顺时针方向设为 正的角度来表示。
相对位置64表示把基准摄像机62所示的摄像机作为基准时的对象摄 像机的位置(坐标)。对象摄像机的位置在该示例中，被表示为把基准摄像 机的摄像机坐标系中的X轴设为x轴、把Z轴设为y轴的xy平面的坐标。
预定的设定时刻时的各个相对信息经过相对信息转换运算部56的转换 运算，如图11中的相对位置信息60所示，成为表示在把一个摄像机作为 基准时的各个摄像机的相对朝向和坐标的信息。另夕卜，在图11中，摄像机 "A"是基准摄像机。
2.6.6相对信息转换运算部56
返回位置关系计算部7的说明。
相对信息转换运算部56从数据判定部54接收相对信息，把相对信息 所表示的摄影侧摄像机与被摄体摄像机之间的位置关系转换为以基准摄像机的坐标系为基准的信息。具体情况将在后面使用图16 图18说明。 3动作
下面，说明数据处理装置2的动作。
3.1数据处理装置2的整体动作
图12是表示数据处理装置2的整体动作的流程图。
如图12所示，数据处理装置2的相对信息计算部6对在相同时刻拍摄 的各个摄影图像，计算以摄影侧摄像机为基准时的被摄体摄像机的朝向和 坐标(S1000)。相对信息计算部6通过该计算，对各个摄影图像生成相对 信息，把所生成的各个相对信息输出给位置关系计算部7。
位置关系计算部7接收多个相对信息，计算以一个摄像机为基准时的 各个摄像机的朝向和坐标，并生成相对位置信息60 (S2000)。
3.2相对信息计算部6的动作
在此，具体说明由相对信息计算部6进行的步骤S1000的动作。 图13是表示相对信息计算部6的具体动作的流程图。 相对信息计算部6通过摄影图像获取部11获取由各个摄像机拍摄的摄 影图像。
相同时刻摄影图像提取部12从获取到的摄影图像中，提取在包括预先 设定的设定时刻的预定时间段拍摄的摄影图像(Sll)。例如，提取在包括 设定时刻的数秒钟的期间内拍摄的摄影图像。相对信息计算部6在步骤Sll 存储提取的摄影图像的数量(S13)。具体地讲，例如对变量"n"，存储在 步骤Sll提取摄影图像的数量。
n^提取的摄影图像的数量
并且，将变量"i"初始化，对"i"存储值"0"。
i=0
其中，变量"n"表示所提取的摄影图像的总数。并且，变量"i"表示 所提取的摄影图像中进行了用于生成相对信息的处理的数量。在步骤Sll 所提取的各个摄影图像，例如在队列中被存储了表示摄影图像的识别符， 以后成为逐个地成为处理的对象，并生成相对信息。
摄影侧摄像机识别部13从队列中读出表示成为处理的对象的一个摄影 图像的识别符，参照该识别符所示的摄影图像的元数据，从元数据中提取该摄影图像的摄影侧摄像机的识别信息并存储(S15)。
图像识别部14进行在步骤S15成为摄影侧摄像机识别部13的处理对 象的摄影图像的图像识别，尝试检测二维标记。如果检测到二维标记，被 摄体摄像机识别部15获取被摄入到该摄影图像中的被摄体摄像机的识别信 息并存储(S17)。另外，在步骤S17，在没有检测到二维标记30时，相对 信息计算部6向变量"i"加l (i=i+l)，进行步骤S15的处理，重新从队 列中读出识别符，并进行以后的处理。
并且，当在步骤S17由图像识别部14检测到二维标记时，被摄体摄像 机朝向计算部17计算以摄影侧摄像机为基准的摄像机坐标系中的、被摄体 摄像机的相对朝向(S19)。并且，被摄体摄像机坐标计算部18计算以摄影 侧摄像机为基准的摄像机坐标系中的、被摄体摄像机的相对坐标(S21)。
相对信息生成部19使在步骤S15、 S17、 S19、 S21得到的信息与在步 骤Sll进行了提取的设定时刻相对应，生成有关一个摄影图像的相对信息。 相对信息生成部19把所生成的相对信息输出给位置关系计算部7 (S23)， 向变量"i"加1。
i=i+l
判定是否已对在步骤Sll提取的全部摄影图像生成相对信息(S25)。 具体地讲，判定变量"i"是否为变量"n"以上。在步骤S25，如果没有对 全部摄影图像生成相对信息(即存在还没有生成相对信息的摄影图像) (S25:否)(i<n)，则对存储在队列中的下一个摄影图像进行步骤S15以后 的处理，并生成相对信息。
在步骤S25，在判定已对全部摄影图像生成相对信息时(S25:是)，相 对信息计算部6的动作结束。
3.3位置关系计算部7的动作
下面，具体说明由位置关系计算部7进行的步骤S2000的动作。 图14是表示位置关系计算部7的具体动作的流程图。 位置关系计算部7通过相对信息获取部51获取相同时刻的相对信息 (S2001)。
然后，位置关系计算部7通过数据管理部53，利用图IO所示的例如队 列等保存由相对信息获取部51获取的相同时刻的相对信息(S2002)。并且，位置关系计算部7通过基准摄像机设定部52设定作为位置关系 的基准的基准摄像机(S2003)。
然后，位置关系计算部7通过数据管理部53，把保存的相对信息顺序 地发送给数据判定部54 (S2004)。
然后，位置关系计算部7通过数据判定部54，判定从数据管理部53接 收的相对信息的以后的处理方法。具体情况将在后面使用图15说明，数据 判定部54根据判定结果，将相对信息进行如下处理
(i) 发送给相对位置信息管理部55，或
(ii) 废弃，或
(iii) 发送给相对转换运算部56，或
(iv) 返回给数据管理部53。
位置关系计算部7在上述(i)的情况下，将由数据判定部54发送给相 对位置信息管理部55的相对信息，保存在图11所示的相对位置信息60中。 并且，在上述(iii)的情况下，位置关系计算部7对由数据判定部54发送 给相对信息转换运算部56的相对信息，通过相对信息转换运算部56进行 转换。关于该转换将在后面使用图16 图18说明。位置关系计算部7把转 换后的相对信息从相对信息转换运算部56发送给相对位置信息管理部55， 并保存在相对位置信息60中。
并且，在上述(iv)的情况下，对由数据判定部54返回给数据管理部 53的相对信息，通过数据管理部53登记在例如队列的末尾(S2005)。
位置关系计算部7在
(a) 已将数据管理部53保存的全部相对信息反映到相对位置信息60 中，或者
(b) 由数据管理部53保存的相对信息不能再继续反映到相对位置信息 60中时，结束处理。
另外，上述(a)即意味着由数据管理部53利用队列等保存的相对信 息没有了。并且，上述(b)即意味着即使参照由数据管理部53保存的任 一相对信息的摄影侧摄像机识别信息82和被摄体摄像机识别信息83，也不 存在与由相对位置信息管理部55保存的相对位置信息60的基准摄像机或 对象摄像机一致的信息。
273.4数据判定部54的具体动作
在此，说明步骤S2005中的数据判定部54的判定处理的细节。 首先进行简要说明。
在相对位置信息管理部55中管理的相对位置信息60表示基准摄像机 和对象摄像机之间的位置关系。
因此，如果相对信息的摄影侧摄像机或被摄体摄像机是基准摄像机、 或者包含于相对位置信息60的各个记录的对象摄像机中，则可以使用该相 对信息向相对位置信息60追加记录。
图15是表示数据判定部54的判定处理的细节的图。在以下的示例中， 数据判定部54首先判定相对信息的摄影侧摄像机
(i) 是否是基准摄像机(S91)，
(ii) 是否作为对象摄像机包含于相对位置信息60中(S97)。 然后，判定相对信息的被摄体摄像机
(iii) 是否是基准摄像机(S103)，
(iv) 是否作为对象摄像机包含于相对位置信息60中(S107)。 在上述各个步骤中，如果相对信息的摄影侧摄像机及被摄体摄像机没
有作为基准摄像机或对象摄像机包含于相对位置信息60中，则不能向相对 位置信息60追加记录，所以把该相对信息返回给数据管理部53 (Slll)。 在简要说明之后，使用图15进行具体说明。
(i)数据判定部54在步骤S2004接收到从数据管理部53输出的相对{言 息时，参照相对信息的摄影侧摄像机识别信息83，判定摄影侧摄像机识别 信息83所表示的摄像机(摄影侧摄像机)是否是在基准摄像机设定部52 中设定的基准摄像机(S91)。
在步骤S91，在摄影侧摄像机与基准摄像机一致时(S91:是)，数据判 定部54参照相对信息的被摄体摄像机识别信息83所表示的摄像机(被摄 体摄像机)、和保存在相对位置信息管理部55中的相对位置信息60的各个 记录的对象摄像机63，判定被摄体摄像机是否已存在于相对位置信息60的 对象摄像机中(S93)。
说明在步骤S93,相对信息的被摄体摄像机不存在于相对位置信息各个 记录的对象摄像机中的情况(S93:否)。该情况时，相对信息所表示的摄影侧摄像机和被摄体摄像机之间的位置关系(被摄体摄像机的朝向和坐
标)，还没有反映到相对位置信息60中。因此，数据判定部54向相对位置 信息管理部55输出以下信息，即把相对信息的摄影侧摄像机识别信息82 所表示的摄像机作为基准摄像机62，把相对信息的被摄体摄像机83所表示 的摄像机作为对象摄像机63的信息(S95)。相对位置信息管理部55接收 从该数据判定部54输出的信息，把接收到信息追加到相对位置信息60中。
并且，说明在步骤S93，相对信息的被摄体摄像机存在于相对位置信息 的各个记录的对象摄像机中的情况(S93:是)。该情况时，由于相对信息 所表示的摄影侧摄像机和被摄体摄像机之间的位置关系已经登记在相对位 置信息60中，所以数据判定部54把相对信息废弃(SIOI)。
(ii)说明在步骤S91相对信息的摄影侧摄像机与基准摄像机不一致的 情况(S91:否)。
该情况时，数据判定部54参照相对位置信息60的各个记录的对象摄 像机63，判定相对信息的摄影侧摄像机是否己经存在于相对位置信息60的 对象摄像机中(S97)。
说明在步骤S97进行了肯定判定的情况，即，相对信息的摄影侧摄像 机存在于相对位置信息60的各个记录的对象摄像机中的情况(S97:是)。 该情况时，由于已知基准摄像机和摄影侧摄像机之间的位置关系、以及摄 影侧摄像机和被摄体摄像机之间的位置关系，所以能够计算基准摄像机和 被摄体摄像机之间的位置关系。但是，在基准摄像机和被摄体摄像机相同 时，基准摄像机和被摄体摄像机之间的位置关系已经包含于相对位置信息 60中。因此，数据判定部54判定相对信息的被摄体摄像机是否与相对位置 信息的基准摄像机相同(S99)。
当在步骤S99进行了肯定判定时(S99:是)，数据判定部54把相对信 息废弃(SIOI)。
当在步骤S99进行了否定判定时(S99:否)，则基准摄像机和被摄体 摄像机之间的位置关系不包含于相对位置信息60中。因此，为了计算该位 置关系，数据判定部54把相对信息输出给相对信息转换运算部56 (S105)。
通过以上各个处理，在摄影侧摄像机包含于相对位置信息60的基准摄 像机或对象摄像机中时，可以使用相对信息向相对位置信息60追加记录等。
29(iii) 在相对信息的摄影侧摄像机不包含于相对位置信息60的基准摄像 机或对象摄像机中时，如果相对信息的被摄体摄像机包含于相对位置信息
60的基准摄像机或对象摄像机中，则可以使用该相对信息向相对位置信息 60追加记录。因此，当在步骤S97进行了否定判定时(S97:否)，数据判 定部54根据被摄体摄像机是否包含于相对位置信息60的基准摄像机或对 象摄像机中，控制相对信息的输出目的地。
下面进行具体说明，在步骤S97，在相对信息的摄影侧摄像机不存在于 相对位置信息60的对象摄像机中时(S97:否)，数据判定部54判定相对 信息的被摄体摄像机是否与基准摄像机相同(S103)。
当在步骤S103进行了肯定判定时(S103:是)，即，被摄体摄像机和 基准摄像机相同时(摄影侧摄像机正在拍摄基准摄像机的情况)，数据判定 部54把相对信息输出给相对信息转换运算部56 (S105)。
(iv) 当在步骤S103进行了否定判定时(S103:否)，数据判定部54 参照相对位置信息60的各个记录的对象摄像机，判定相对信息的被摄体摄 像机是否包含于相对位置信息60的对象摄像机中(S107)。
当在步骤S107进行了肯定判定时(S107:是)，由于被摄体摄像机和 对象摄像机相同，而且已知基准摄像机和对象摄像机之间的位置关系、以 及摄影侧摄像机和被摄体摄像机之间的位置关系，所以能够计算基准摄像 机和摄影侧摄像机之间的位置关系。因此，数据判定部54把相对信息输出 给相对信息转换运算部56 (S105)。
当在步骤S107进行了否定判定时(S107:否)，由于该相对信息与相 对位置信息60的各个记录没有关联，所以不能向相对位置信息60追加记 录。因此，数据判定部54把相对信息返回给数据管理部53 (Slll)。另外， 数据管理部53把所返回的相对信息登记在队列的末尾。
3.5相对信息转换运算部56的具体动作
在此，说明在步骤S105向相对信息转换运算部56输出相对信息后， 由相对信息转换运算部56进行的转换运算。在相对信息转换运算部56中 进行转换运算的情况有以下三种情况。艮P:
(0在步骤S99进行了否定判定的情况(S99:否)
(ii)在步骤S103进行了肯定判定时(S103:是)(iii)在步骤S107进行了肯定判定时(S107:是)。
相对信息转换运算部56在从数据判定部54发送过来相对信息时 (S105)，根据属于上述三种情况中的哪一种情况，控制转换运算的运算方 法。下面顺序说明(i) (iii)的情况。
首先，说明(i)在步骤S99进行了否定判定的情况。
图16是表示对象摄像机和摄影侧摄像机相同时的转换运算的运算方法 的图。
在图16中，把基准摄像机设为"i"，把对象摄像机(摄影侧摄像机) 设为"j"，把被摄体摄像机设为"k"。另夕卜，在以后的说明中，例如在出王见 了摄像机"s"和摄像机"t"时，把以摄像机"t"为基准的xy平面的坐标 系中的摄像机"s"的坐标表示为(Xs_t、 Ys_t)。另夕卜，y轴表示作为基准 的摄像机的摄影方向。并且，在把角度表示为WsJ时，表示以摄像机"t" 为基准的摄像机坐标系中的摄像机"s"所朝向的方向。另外，在图16 图 18中记载箭头取代了坐标(Xs_t、 Ys_t)及角度Ws—t中的下划线"_"。并 且，在图16 图18中，使用欧米茄表示角度WsJ。
使用图16进行说明，在数据判定部54在步骤S99进行了否定判定后， 相对信息转换运算部56接收从数据判定部54发送过来的相对信息。相对 信息转换运算部56参照相对位置信息60，检索相对位置信息60中包含的 各个记录中、与相对信息的摄影侧摄像机相同的摄像机包含于对象摄像机 中的记录。检索到的记录表示基准摄像机和对象摄像机(摄影侧摄像机) 之间的位置关系。因此，对从相对位置信息60检索到的表示以基准摄像机 为基准时的对象摄像机(摄影侧摄像机)的坐标和朝向的记录、和从数据 判定部54接收到的相对信息(以摄影侧摄像机为基准时的被摄体摄像机的 坐标和朝向)进行矢量合成，从而能够计算以基准摄像机为基准时的被摄 体摄像机的坐标和朝向。具体如图16所示，以基准摄像机"i"为基准时的 摄像机坐标系中的被摄体摄像机"k"的坐标(Xk_i、 Yk—O和朝向Wk一i 表示如下。
<formula>formula see original document page 31</formula>这样计算坐标(Xkj、 Yk_i)和朝向Wk一i后，相对信息转换运算部 56生成用于追加到相对位置信息60中的记录。记录中包含的各个参数如下 所述。即，在将基准摄像机62表示为"i"、将对象摄像机63表示为"k" 时，相对的朝向64表示为"Wk—i"，相对的位置65表示为"(Xkj、 Yk一i)"。 在生成该记录后，相对信息转换运算部56把所生成的记录输出给相对位置 信息管理部55。另外，相对位置信息管理部55接收所输出的记录，并追加 到相对位置信息60中。
下面，说明(ii)在步骤S103进行了肯定判定的情况。
图17是表示基准摄像机和被摄体摄像机相同时的转换运算的运算方法 的图。在图17中，把基准摄像机(被摄体摄像机)设为"i"，把摄影侧摄 像机设为"q"。所说基准摄像机和被摄体摄像机相同的情况，换言之，指 的是摄影侧摄像机正在拍摄基准摄像机的情况。因此，为了计算以基准摄 像机为基准时的摄像机坐标系中的摄影侧摄像机的朝向和坐标，可以计算 相对信息所表示的、表示以摄影侧摄像机为基准时的被摄体摄像机(基准 摄像机)的坐标和朝向的矢量的逆矢量。具体如图17所示，以基准摄像机 "i"为基准时的摄像机坐标系中的摄影侧摄像机"q"的坐标(Xq_i、 Yq—i) 和朝向WqJ表示如下。
即，
Xq—i = cosWLq'( - Xi_q) + (- sinWi一q)'(- Yi_q) Yq—i = sinWi—q'(- Xi_q) + cosWLq'(- Yi_q) Wq—i = 360 - Wi一q
在进行转换运算后，相对信息转换运算部56生成用于追加到相对位置 信息60中的记录。说明该记录的各个参数，在将基准摄像机62表示为"i"、 将对象摄像机63表示为"q"时，相对的朝向64表示为"Wq_i"，相对的 位置65表示为"(Xq_i、 YqJ)"。相对信息转换运算部56把所生成的记录 输出给相对位置信息管理部55。
下面，说明(iii)在步骤S107进行了肯定判定的情况。 图18是表示对象摄像机和被摄体摄像机相同时的转换运算的运算方法 的图。在图18中，把基准摄像机设为"i"，把对象摄像机(被摄体摄像机)
32设为"m"，把摄影侧摄像机设为"p"。该情况时，首先求出表示以摄影侧
摄像机的摄像机坐标系为基准时的被摄体摄像机(对象摄像机)的坐标和 朝向的矢量的逆矢量。然后，求出以被摄体摄像机(对象摄像机)的摄像
机坐标系为基准时的摄影侧摄像机的坐标和朝向。以后与图16所示情况相 同。具体如图18所示，以基准摄像机"i"为基准时的摄像机坐标系中的摄 影侧摄像机"p"的坐标(Xp—i、 Ypj)和朝向Wp—i表示如下。 即，
Xp一i = Xm—i + cosWmj'Xp—m + sinWmj'Yp—m Yp—i = Ym—i + (- sinWm_i),Xp—m + cosWm_i*Yp_m Wp一i = Wm_i + Wp_m
其中，Xp—m、 Yp—m、 Wp一m如图所示表示如下。 Xp—m = cosWm_p (- Xm_p) + (- sinWm_p) (- Ym—p) Yp_m = sinWm—p.(- Xm_p) + cosWm一p.(- Ym一p) Wp一m = 360 - Wm_p
在进行转换运算后，相对信息转换运算部56生成用于追加到相对位置 信息60中的记录。说明该记录的各个参数，在将基准摄像机62表示为"i"、 将对象摄像机63表示为"p"时，相对的朝向64表示为"Wp—i"，相对的 位置65表示为"(Xpj、 Yp_i)"。相对信息转换运算部56把所生成的记录 输出给相对位置信息管理部55。
以上结束有关位置关系计算部7的动作的说明。
3.6图像选择辅助部8的动作
下面，说明图像选择辅助部8的动作。
图像选择辅助部8从相对位置信息管理部55获取有关某个设定时刻的 相对位置信息60。
图像选择辅助部8参照所获取的相对位置信息60中包含的各个记录中 的对象摄像机63及相对的朝向64及相对的位置65，生成表示把一个摄像 机作为基准时的其他摄像机的相对位置关系的图像。图19表示由图像选择 辅助部8如此生成的图像的一例。在图19的图像70a中，表示以摄像机"A"为基准时的其他摄像机的 坐标和朝向。在图19中，"A"或"B"等符号表示各个摄像机(摄像机A、 摄像机B、…)。使用参照符号进行说明，摄像机71表示摄像机A，摄像机 72表示摄像机B。以后相同，摄像机73表示摄像机C，摄像机74表示摄 像机D，摄像机75表示摄像机E，摄像机76表示摄像机F，摄像机77表 示摄像机G。并且，在图19中，从"A"或"B"等表示摄像机的符号延伸 出来的箭头表示各个摄像机的朝向。
图像选择辅助部8在这样生成表示各个摄像机的位置关系的图像后， 使用所生成的图像，生成由用户进行图像选择用的用户界面。图20、图21 是表示用户界面的一例的图。
用户界面90 (作为用户界面90的一例，在图20中示出两个用户界面 90a、 90b，在图21中示出两个用户界面90c、 90d)包括摄影图像显示区域 91、摄像机间位置关系显示区域92、和摄像机识别信息显示区域93。
摄影图像显示区域91是显示由用户选择的摄像机的摄影图像的区域。 图像选择辅助部8使用相对位置信息60的时刻61和所选择的摄像机的识 别符，与摄影图像的元数据进行比较，由此确定对应于显示对象的摄影图 像，并读出来进行显示。
另外，在本实施方式中，不仅显示摄影图像，也将确定并识别被摄入 摄影图像中的被摄体摄像机的图像数据(被摄体识别图像96)叠加显示在 摄影图像上。
被摄体识别图像96的显示方式有各种方式。
例如，把以被摄入摄影图像中的被摄体摄像机为中心的圆形图像和用 于识别被摄体摄像机的信息，作为被摄体识别图像96进行叠加显示。这样， 用户容易识别被摄入摄影图像中的被摄体摄像机，并且用户容易识别该被 摄体摄像机是哪个摄像机。除此之外，也可以利用颜色或其他形状等各种 方法来确定并识别各个摄像机。
并且，在利用颜色识别各个摄像机时，对于相同的摄像机，把摄影图 像显示区域91中用于识别被摄体摄像机的颜色、和摄像机间位置关系显示 区域92中的各个摄像机的颜色，设为相同的颜色，从而用户能够容易掌握 摄像机间的位置关系。并且，也可以把摄像机间位置关系显示区域92中的
34基准摄像机的颜色、和摄影图像显示区域91中的边框(摄影图像的边缘)
颜色或摄像机识别信息显示区域93的颜色，设为相同的颜色。这样，能够 容易识别显示在摄影图像显示区域91中的摄影图像是利用哪个摄像机拍摄
的图像。
另外，被摄体摄像机在摄影图像中的位置已经由相对信息计算部6通 过图像识别部14的图像识别而确定，所以由此也可以确定被摄体识别图像 96的显示位置。此外，还可以参照相对信息，根据以摄影侧摄像机为基准 时的摄像机坐标系中的被摄体摄像机的坐标，推测被摄体摄像机在摄影图 像中的摄入的区域，在所推测的区域中显示被摄体识别图像96。如果己经 知道摄像机的焦距等各个参数，则能够进行上述推测。
并且，也可以以能够识别从拍摄了摄影图像的摄影侧摄像机到被摄体 摄像机的距离的方式显示被摄体识别图像96。例如，可以考虑根据从摄影 侧摄像机到被摄体摄像机的距离，改变被摄体识别图像96的大小、或改变 其颜色等的各种方法。
例如，在用户界面90a中，显示被摄体识别图像96b和被摄体识别图 像96c。被摄体识别图像96b表示被摄体摄像机是摄像机B，被摄体识别图 像96c表示被摄体摄像机是摄像机C。
另外，在图20中显示摄像机的识别符，但也可以显示被摄体摄像机的 佩戴者(人物等)的名称。
摄像机间位置关系显示区域92是显示表示把一个摄像机作为基准时的 其他摄像机的坐标和朝向的图像(图19中示出的图像70a等)的区域。图 像选择辅助部8使表示各个摄像机的符号(摄像机71等)与各个摄像机拍 摄的摄影图像，在上述图像中相对应。在用户界面90中，在用户选择摄像 机71等的符号后，被选择的摄像机的摄影图像被显示在摄影图像显示区域 91中。
另外，也可以预先使显示在摄影图像显示区域91中的被摄体识别图像 96与该被摄体识别图像96表示的被摄体摄像机的摄影图像相对应，在用户 选择被摄体识别图像96后，与该被摄体识别图像96对应的摄像机的摄影 图像显示在摄影图像显示区域91中。例如，在用户界面90a的示例中，在 用户选择被摄体识别图像96c后，摄像机C的摄影图像显示在摄影图像显示区域91中。
另外，在图20中，图像选择辅助部8将用户选择的摄像机与其他摄像 机区分显示，以便能够容易识别用户选择了哪个摄像机。例如，如图所示， 在摄像机间位置关系显示区域92中反转显示被选择的摄像机。
摄像机识别信息显示区域93是显示在摄影图像显示区域91中显示的 摄影图像是由哪个摄像机拍摄的区域。即，是显示被用户选择的摄像机的 区域。
另外，图20中的用户界面90a是用户选择了摄像机A时的示例。以下 相同，用户界面90b是用户选择了摄像机B时的示例，图21中的用户界面 90c是用户选择了摄像机C时的示例，用户界面90d是用户选择了摄像机D 时的示例。
图像选择辅助部8生成以上说明的用户界面90，并显示在显示部3上。 另外，用于受理用户进行的摄像机选择操作的操作受理部可以是任何单元。 例如，也可以把显示部3作为触摸屏来受理用户的操作。该情况时，若用 户通过触摸触摸屏来选择表示各个摄像机的符号、在显示部3上显示有被 摄体识别图像96的部分，则被选择的摄像机的摄影图像显示在摄影图像显 示区域91中。并且，也可以在数据处理装置2设置操作受理部(键盘、鼠 标、触摸垫等的输入单元)，还可以通过网络将用户的操作内容输入数据处 理装置2。
并且，也可以在上述用户界面90中縮略显示各个摄像机拍摄的摄影图像。
(生成以被选择的摄像机为基准的图像)
并且，图像选择辅助部8除上述说明的实施方式之外，也可以采用以 下方式。
艮P，图像选择辅助部8在每当用户选择摄像机时，把被选择的摄像机 作为基准，生成表示其他摄像机的坐标和朝向的图像，将所生成的图像显 示在摄像机间位置关系显示区域92中。
图22是表示把各个摄像机作为基准时与其他摄像机的位置关系的图。 图22所示的各个图像在每当选择了摄像机时被显示在摄像机间位置关 系显示区域92中。另外，把选择了摄像机A的情况表示为摄像机间位置关系显示区域92a。以下相同，把用户选择了摄像机B的情况表示为摄像机间 位置关系显示区域92b，把用户选择了摄像机C的情况表示为摄像机间位 置关系显示区域92c，把用户选择了摄像机D的情况表示为摄像机间位置 关系显示区域92d。
这样，在生成以各个摄像机为基准的图像时可以考虑以下方法。例如， 可以在每当选择了摄像机时，利用位置关系计算部7计算把被选择的摄像 机作为基准摄像机时的相对位置信息60，并生成上述图像。并且，对于某 个摄像机，也可以在生成表示与其他摄像机的位置关系的图像后，在每当 选择了其他摄像机时，将上述生成的图像旋转或縮小放大，从而显示把被 选择的摄像机作为基准摄像机时的上述图像。
(显示被摄体摄像机的朝向)
并且，如图23中的用户界面90e、 90f所示，也可以在摄影图像显示区 域91中叠加显示作为表示被摄体摄像机的朝向(摄影方向)的图像的、摄 像机摄影方向97。
在用户界面90e中，例如把摄像机B的摄影方向设为摄像机摄影方向 97b等，并利用箭头形状显示。
另外，由于已经根据相对位置信息60或相对信息得知各个摄像机的朝 向，所以通过预先使朝向和箭头形状的图像相对应、或者根据朝向使箭头 形状的图像旋转，能够叠加显示摄像机摄影方向97。
(显示被遮挡的摄像机)
并且，在摄影图像显示区域91中，例如，如用户界面90e的摄影图像 显示区域91所示，也可以对被物体等遮挡的摄像机(例如被摄像机C遮挡 的摄像机G)显示被摄体识别图像96。另外，也可以以能够判别摄像机被 遮挡的方式显示被摄体识别图像96。在用户界面90e的示例中，把圆形的 图像利用虚线显示为被摄体识别图像96e。 g卩，显示为与有关未被遮挡的摄 像机的被摄体识别图像96不同的状态。另外，在该情况时，可以显示有关 被遮挡的摄像机的朝向(摄像机摄影方向97g)，也可以不显示。另外，按 照下面所述那样来确定被遮挡的摄像机在摄影图像中的位置。首先，判定 是否存在被遮挡的摄像机(关于判定方法将在后面说明)，当存在时确定被 遮挡的摄像机。并且，参照把该摄影图像的摄影侧摄像机作为基准摄像机
37的相对位置信息60，使用相对位置信息60所表示的被遮挡摄像机的坐标、
和摄影侧摄像机的摄像机参数(利用焦距表示的摄影范围等的信息)，确定 摄影图像中被遮挡的摄像机的位置。在这样确定的位置，以能够判别摄像
机被遮挡的方式显示被摄体识别图像96。
另外，关于是否存在被遮挡的摄像机的判定，例如对某个摄影图像提 取进入摄影侧摄像机的摄影范围的摄像机。生成以摄影侧摄像机为基准摄 像机的相对位置信息60，如果已知摄影侧摄像机的视场角等，则能够提取 摄影范围内的摄像机。并且，在该摄影侧摄像机的摄影图像中，确定通过 图像识别被识别为被摄体摄像机的被摄体摄像机。从位于上述摄影范围内 的摄像机组中去除被摄体摄像机，即可确定被遮挡的摄像机。
参照图23的用户界面90e进行说明，在摄像机A的摄影范围内(摄影 范围94a)包含摄像机B、摄像机C、摄像机G，提取这些摄像机。在摄像 机A的摄影图像中，摄像机B和摄像机C作为被摄体摄像机被摄入。从所 提取的摄像机B、摄像机C、摄像机G中去除被摄体摄像机，则摄像机G 剩了下来。该摄像机G被确定为被遮挡的摄像机。
在此，也可以按照下面所述判定是否存在被遮挡的摄像机。在以下示 例中，能够判定有无被其他摄像机遮挡的摄像机。
具体地讲，图像选择辅助部8把拍摄了显示在摄影图像显示区域91中 的摄影图像的摄像机作为基准摄像机(在用户界面90e的示例中指摄像机 A)，使位置关系计算部7计算相对位置信息60。并且，图像选择辅助部8 确定被摄入该基准摄像机的摄影图像中的被摄体摄像机(在该图的示例中 指摄像机B、摄像机C)。例如，通过参照基准摄像机是摄影侧摄像机的相 对信息来进行确定。
图像选择辅助部8在确定被摄体摄像机后，在把基准摄像机的位置作 为原点的摄像机坐标系中，求出通过原点和被摄体摄像机的坐标的直线(在 该图的示例中，指通过摄像机A和摄像机B的坐标的直线，以及通过摄像 机A和摄像机C的坐标的直线)。图像选择辅助部8判定在利用以该直线的 斜率为基准的一定范围内的倾斜直线表示的区域中是否存在其他摄像机。
图像选择辅助部8当在上述判定中判定为存在的情况下，在该摄像机 距基准摄像机的距离比该直线涉及的被摄体摄像机与基准摄像机之间的距离长时，判定是被被摄体摄像机遮挡的摄像机。 使用图24简单说明该情况。
图24是表示有无被被摄体摄像机遮挡的摄像机的判定方法的图。 与上述示例相同，把摄像机A作为基准摄像机，把摄像机C作为被摄 体摄像机。
利用实线101表示通过摄像机A的坐标(原点)和摄像机C的坐标的 直线。并且，利用虚线102a和虚线102b表示利用以该直线的斜率为基准 的一定范围内的倾斜直线表示的区域。在利用该虚线102a和102b表示的 区域中，如图所示，存在摄像机G。该情况时，图像选择辅助部8判定摄 像机G被被摄体摄像机(摄像机C)所遮挡。
(显示摄影范围)
并且，也可以在用户界面90中显示各个摄像机的摄影范围。在图23 的示例中，在摄像机间位置关系显示区域92中显示表示摄像机的摄影范围 的摄影范围94。在用户界面90e的示例中，把摄像机A的摄影范围显示为 摄影范围94a，在用户界面90f的示例中，把摄像机B的摄影范围显示为摄 影范围94b。
并且，也可以显示为能够区分摄影范围外的摄像机和摄影范围内的摄 像机。例如，在图23的示例中，显示摄影范围内图像98 (98b、 98c)，该 摄影范围内图像是表示位于摄影范围内这一情况的图像。并且，对于虽然 在摄影范围内但被其他摄像机遮挡的摄像机，也可以显示为能够与未被遮 挡的摄像机区分的状态。在用户界面90e的示例中，例如利用虚线99 (99g) 显示为与摄影范围内图像98不同的状态，由此表示摄像机G是被遮挡的摄 像机。
4实施方式2
(实施方式2)
下面，说明实施方式2。
本发明的实施方式2涉及的显示终端1000是计算机系统，由微处理器、 ROM、 RAM、硬盘单元、显示器单元、键盘、适配器、扬声器等构成。在 所述ROM或所述硬盘单元中存储有计算机程序，所述计算机程序被读出到 RAM中，所述微处理器按照所述计算机程序而动作，从而，显示终端1000
39实现其功能。
显示终端1000的外装如图25所示，由显示器1001、键盘1002和适配 器1003构成。
具体地讲，显示终端1000具有在实施方式1中作为数据处理装置2而 说明的结构。并且，在实施方式1中说明的数据处理装置2和显示部3是 分别独立的单元，但显示终端1000不仅具有数据处理装置2，而且具有显 示部3作为显示器1001。另外，显示终端1000在显示器1001上显示利用 与数据处理装置2相同的结构计算的摄像机间的位置关系，作为佩戴了摄 像机的各个用户的位置关系。并且，利用键盘1002受理用户的指定，在显 示器1001上显示所受理的用户佩戴的摄像机的摄影图像。
在显示器1001上显示有如图20 图23所示的、通过显示终端1000的 内部处理计算的用户彼此的位置关系、和由通过操作键盘1002指定的用户 佩戴的摄像机拍摄的摄影图像等。在此，关于用户的指定，在显示器1001 是触摸屏时，能够指定显示器1001显示的用户彼此的位置关系中的用户位 置、由用户佩戴的摄像机拍摄的摄影图像中的用户位置。
通过操作键盘1002进行以下处理，即设定作为通过显示终端1000 的内部处理计算的用户彼此的位置关系的计算对象的、用户及时间段，或 者从显示在显示器上的用户中指定作为用户彼此的位置关系的计算对象的 用户，或者指示连续显示用户彼此的位置关系或由用户佩戴的摄像机拍摄 的图像，或进行停止连续的显示来加以显示的指示。
适配器1003是因特网适配器或卡槽，显示终端1000通过适配器1003 获取由多个用户佩戴的摄像机拍摄的图像等。显示终端IOOO使用通过适配 器1003获取的由多个用户佩戴的摄像机拍摄的图像，通过内部处理进行计 算用户彼此的位置关系等。
显示终端IOOO通过内部处理，进行在实施方式1中说明的处理。在能 够像动态图像那样以时间上相连续的状态获取由多个用户佩戴的摄像机拍 摄的图像时，提取相同时刻的摄影图像，根据所提取的摄影图像，按照在 上述实施方式1中说明的方法计算多个用户彼此间的位置关系。并且，进 行指示，以便使连续计算的多个用户彼此间的位置关系在时间上连续而显 示在显示器1001上。在此，也可以利用与存在不能算出的用户彼此的位置关系的时刻的之 前或之后时刻的用户彼此的位置关系相关的信息，插补不能算出的用户位 置(相对作为基准的其他用户的相对位置)。
插补方法可以是获取能够算出的之前和之后时刻的用户位置的中心点 的方法，根据之前或之后的用户位置通过曲线近似求出的方法等。
并且，也可以使用加速度传感器或速度传感器等测试用户的移动的其 他传感器的传感数据，插补不能算出的用户位置。
另外，在上述说明中，示出了显示器1001利用一个画面构成的示例， 但也可以利用多个画面构成。例如，可以利用两个画面构成，在该情况时， 在一个画面上显示用户彼此的位置关系，在另一个画面上显示由所指定的
用户佩戴的摄像机拍摄的图像。并且，该情况时，显示终端1000的内部处
理指示将显示对象分配为多个画面来显示。
另外，在上述说明中，使用图25所示的示例说明了显示终端1000的 外装，但不限于此。例如，也可以是个人电脑或PDA、电子记事本等那种 形式的终端。
另外，在上述说明中，显示终端1000的构成方式为安装了以下单元 获取由用户佩戴的摄像机拍摄的图像的适配器1003;负责计算用户彼此的 位置关系的内部处理的部分；用于操作终端的处理的键盘1002;显示所计 算的用户彼此的位置关系、或由所指定的用户佩戴的摄像机拍摄的图像等 的显示器1001，但也可以是显示终端1000搭载其中一部分，由其他装置搭 载其他部分的系统。例如图26所示的结构。
图26所示的系统由STB (Set Top Box:机顶盒)装置2001、 TV装置 2002和未图示的控制器构成。
STB装置2001是HDD记录器、DVD记录器、组合音响等，搭载了所 述显示终端1000中的、获取由用户佩戴的摄像机拍摄的图像的适配器1003 和负责计算用户彼此的位置关系的内部处理的部分。
TV装置2002是PDP、 LCD等，其与所述STB连接，搭载了所述显示 终端1000中的显示器1001，用于显示所计算的用户彼此的位置关系、或由 所指定的用户佩戴的摄像机拍摄的图像等。
操作所述STB或所述TV装置的控制器搭载了用于操作终端的处理的键盘1002。 5变形例
(1) 被摄体摄像机识别部15 (l一O识别方法
在上述实施方式的说明中，为了识别摄入到摄影图像中的被摄体摄像 机，采用了二维代码，但被摄体摄像机的识别方法不限于此。例如，可以 考虑颜色或二维标记30的形状及文字及图案等各种方法。总之，只要对每 个摄像机分配固有的信息即可。
例如，对各个摄像机分配颜色，以便能够识别各个摄像机。并且，也 可以判别二维标记30 (或摄像机识别区域31)的颜色，识别附带有二维标 记30的摄像机。关于形状也同样，如果对各个摄像机分配各个摄像机固有 的二维标记30的形状，则通过判别该形状即可识别各个摄像机。
(l一2)图像识别的对象
并且，通过图像识别部14的图像识别来检测附加给摄像机的二维标记 30，但不必局限于使用二维标记30的方法。总之，只要能够识别被摄体摄 像机即可，所以图像识别的对象除二维标记30之外，也可以是被摄体摄像 机自身、与佩戴了被摄体摄像机的用户相关的信息等。
例如，可以通过图像识别来识别被摄入到摄影图像中的被摄体摄像机 自身，还可以通过对佩戴了被摄体摄像机的用户的脸或服装等用户的特征 部分进行图像识别，从而识别被摄体摄像机。具体地讲，例如可以对用户 的服装附加识别用的标记。该情况时，在摄影图像中，即使被摄体摄像机 被佩戴该摄像机的用户自身遮挡，也能够利用上述识别用的标记来识别被 摄体摄像机。
(2) 被摄体摄像机信息计算部16
在上述实施方式的说明中，说明了计算被摄体摄像机和摄影侧摄像机 之间的位置关系的情况。
在此，关于位置关系说明了以某个摄像机为基准时的其他摄像机的坐 标和朝向的情况，但也可以指坐标和朝向中任一方。例如，也存在各个摄 像机不怎么移动而只改变摄像机的朝向(摄影方向)的情况等、不需要计 算其他摄像机的坐标的情况，还存在摄像机被固定的情况等。
42因此，在本发明中，位置关系计算部7也可以不把其他摄像机的坐标 作为计算的对象，而只计算其他摄像机的朝向。
并且，也可以与此相反，位置关系计算部7只计算其他摄像机的坐标， 并计算各个摄像机的相对位置关系。例如，有可能存在各个摄像机面向的 方向被固定为相同方向的情况等。
(3) 基准摄像机设定部52
基准摄像机由基准摄像机设定部52设定，但除上述实施方式之外，也 可以按照下面所述进行设定。
(3 — 1)根据计算量来设定基准摄像机
例如，参照登记在队列中的各个相对信息，在把各个相对信息中包含 的各个摄影侧摄像机或各个被摄体摄像机作为基准时，估算生成相对位置 信息60所需要的计算量，根据估算的计算量来设定基准摄像机。例如，可 以把计算量最小的摄像机作为基准摄像机。 (3—2)根据指定来设定基准摄像机 除此之外，也可以把基准摄像机固定为某个摄像机。 并且，也可以通过用户的指定来设定基准摄像机。还可以在每当用户 进行指定时，生成相对位置信息60。
(4) 相对信息的生成方法
在上述实施方式中，说明了相对信息计算部6获取各个摄像机的摄影 图像，对所获取的各个摄影图像生成相对信息的情况。
不限于此，相对信息也可以在数据处理装置2的外部生成。例如，可 以由各个摄像机生成相对信息，数据处理装置2从各个摄像机接收摄影图 像和相对信息。即，相对信息计算部6也可以设置在数据处理装置2的外 部。
(5) 摄影图像
在上述实施方式中，各个摄像机以预定时间间隔进行静态图像的摄影， 但摄像机拍摄的内容不限于静态图像，也可以是动态图像。
一般，相比静态图像摄影，动态图像摄影的图像分辨率变低。并且， 存在以下情况， 一般来说，图像的分辨率越高，越能够高精度地计算相对 信息，例如越能够从摄影图像中检测出比较远距离的二维标记等。但是，根据摄像机间的距离，在分辨率更低的动态图像摄影中，也能 够以足够高的精度计算摄像机间的相对位置关系、以及把一个摄像机作为 基准时的其他摄像机的相对位置和朝向。
(6) 被摄体摄像机信息计算部16
在上述实施方式的说明中，被摄体摄像机信息计算部16计算把摄影侧
摄像机的摄像机坐标系作为基准时的、摄影侧摄像机和被摄体摄像机之间
的位置关系。但不限于此，被摄体摄像机信息计算部16也可以计算在把被 摄体摄像机的摄像机坐标系作为基准时的、摄影侧摄像机和被摄体摄像机 之间的位置关系。即，使相对信息表示摄影侧摄像机的相对朝向和坐标。 该情况时，相对信息表示以被摄体摄像机为基准的坐标系中的摄影侧摄像 机的相对朝向和坐标，所以在上述数据判定部54或相对信息转换运算部56 等的说明中，替换"摄影侧摄像机"和"被摄体摄像机"。
并且，在上述实施方式中，在"2.5.6.2被摄体摄像机识别部15的具体 内容"中，使用图7说明了将摄影侧摄像机和被摄体摄像机的相对位置表 示为二维坐标，而忽视摄像机坐标系中的Y轴的值"Y"的情况，但不限 于此，也可以包含Y轴的值。gp，也可以利用三维坐标值表示相对位置。
(7) 设定时刻的更新和相对位置信息60的生成
在上述实施方式1的说明中，根据预定的设定时刻的相对信息，来生 成相对位置信息60，但也可以更新设定时刻，生成各个设定时刻的相对位 置信息60。这样，如果在各个时刻生成相对位置信息60，则当具有在某个 设定时刻相对基准摄像机的坐标等不明确的不明摄像机时，参照其前后时 刻的相对位置信息60等，以前后时刻的坐标值为基础，例如把中间点的坐 标推测为上述设定时刻时的不明摄像机的坐标，由此，能够插补上述设定 时刻时的该不明摄像机的坐标。
并且，在上述实施方式1的说明中，数据判定部54通过步骤S101废 弃相对信息，但也可以不废弃。该情况时，在相对位置信息60通过上述插 补被更新时，以没有废弃的相对信息和更新后的相对位置信息60为基础， 可重新更新相对位置信息60。
(8) 其他
并且，也可以把多个摄像机作为基准摄像机，对每个摄像机生成相对
44位置信息60并且保存。
并且，还可以根据利用本发明的位置关系计算方法计算的3个用户佩 戴的摄像机彼此的位置关系，同时搭载测距传感器等，把计算的3个位置 作为基准，按照三点测量的要领来计算其他摄像机的位置。
还可以根据利用本发明的位置关系计算方法计算的用户佩戴的摄像机 彼此的位置关系，同时搭载加速度传感器等，计算相对所计算的位置关系 的移动路径，并计算摄像机彼此的位置关系。
6补充
以上根据实施方式说明了本发明涉及的数据处理装置和数据处理系 统，但也可以进行以下变形，本发明当然不限于上述实施方式示出的数据 处理装置等。
(1) 上述各个装置具体地讲是由微处理器、ROM、 RAM、硬盘单元、 显示器单元、键盘、鼠标等构成的计算机系统。在所述RAM或所述硬盘单 元中存储有计算机程序。所述微处理器按照所述计算机程序而动作，从而 各个装置实现其功能。在此，计算机程序是为了实现预定的功能，组合了 多个表示针对计算机的指令的命令代码而构成的。另外，各个装置不限于 包含微处理器、ROM、 RAM、硬盘单元、显示器单元、键盘、鼠标等全部 单元的计算机系统，也可以是由其中一部分构成的计算机系统。
(2) 构成上述各个装置的构成要素的一部分或全部可以利用一个系统 LSI (Large Scale Integration:大规模集成电路)构成。系统LSI是在一个芯 片上集成多个构成要素而制得的超多功能LSI，具体地讲是包括微处理器、 ROM、 RAM等构成的计算机系统。在所述RAM中存储有计算机程序。所 述微处理器按照所述计算机程序而动作，从而系统LSI实现其功能。
另外，此处是形成为系统LSI,但根据集成程度的不同，有时也称为IC、 LSI、超级(super)LSI、特级(ultra)LSI。并且，集成电路化的方法不限于LSI， 也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编 程的FPGA (Field Programmable Gate Array:现场可编程门阵列)、能够再 构成LSI内部的电路单元的连接和设定的可重构处理器。
另外，如果利用伴随半导体技术的发展或派生的其他技术来替换LSI 的集成电路化的技术问世，当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。
(3) 构成上述各个装置的构成要素的一部分或全部也可以利用能够在 各个装置上插拔的IC卡或单体模块构成。所述IC卡或所述模块是利用微
处理器、ROM、 RAM等构成的计算机系统。所述IC卡或所述模块也可以 包括上述的超多功能LSI。通过微处理器按照计算机程序而动作，所述IC 卡或所述模块实现其功能。该IC卡或该模块也可以具有耐篡改性。
(4) 本发明也可以是上述披露的方法。并且，也可以是利用计算机实 现这些方法的计算机程序，还可以是利用所述计算机程序构成的数字信号。
并且，本发明也可以构成为将所述计算机程序或所述数字信号记录在 计算机可以读取的记录介质中，例如记录在软盘、硬盘、CD-ROM、 MO、 DVD、 DVD-ROM、 DVD-RAM、 BD (Blu-ray Disc:蓝光光盘)、半导体存 储器等中。并且，还可以构成为记录在这些记录介质中的所述计算机程序 或所述数字信号。
并且，本发明也可以构成为经由电气通信线路、无线或有线通信线路、 以因特网为代表的网络、数据广播等，传输所述计算机程序或所述数字信 号。
并且，本发明也可以构成为具有微处理器和存储器的计算机系统，所 述存储器存储所述计算机程序，所述微处理器按照所述计算机而动作。
并且，本发明也可以构成为将所述程序或所述数字信号记录在所述记 录介质中并移送，或者经由所述网络等移送所述程序或所述数字信号，从 而利用独立的其他计算机来实施。
(5) 还可以分别组合上述实施方式和上述变形例。 产业上的可利用性
本发明涉及的数据处理装置例如作为构建界面的技术比较有用，该界 面运用由多个用户佩戴摄像机这一特征，检测佩戴了摄像机的用户彼此的 位置关系，根据所检测的用户彼此的位置关系，选择用户佩戴的摄像机的 摄影图像。
权利要求
1.一种数据处理装置，管理多个摄像机的位置关系，其特征在于，具有摄影图像获取部，获取由所述多个摄像机拍摄的多个不同的摄影图像数据；图像识别部，通过对每个所述摄影图像数据实施图像识别处理，检测用于确定被摄体摄像机的预定的检测对象数据；计算部，根据检测到的每个检测对象数据，计算相对信息，该相对信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐标系为基准时的、另一方摄像机的坐标和摄影方向；判定部，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；相对信息转换运算部，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理部，通过将所算出的各个相对信息中、在相对信息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影方向。
2. 根据权利要求l所述的数据处理装置，其特征在于， 所述判定部判定在所述相对信息中成为坐标系的基准的原点摄像机是否是基准摄像机，在判定为不是基准摄像机、而且所述相对信息的摄影侧 摄像机或被摄体摄像机满足预定的条件时，判定为进行所述转换。
3. 根据权利要求2所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和 摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部包括保存所算出的各个相对信息的数据管理部， 所述判定部顺序读出保存在所述数据管理部中的各个相对信息，在所读出的相对信息的摄影侧摄像机和被摄体摄像机都不是基准摄像机、而且 都不是在所述相对位置信息中登记了基准信息的摄像机时，将该读出的相 对信息返回给所述数据管理部。
4. 根据权利要求1所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和 摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下， 当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方 向的摄像机，是在所述相对位置信息中没有登记基准信息的摄像机时，将 该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系作为所 述基准信息，登记在所述相对位置信息中。
5. 根据权利要求4所述的数据处理装置，其特征在于， 所述判定部，在所述相对信息的原点摄像机是基准摄像机的情况下，当在该相对信息中示出了以原点摄像机的坐标系为基准时的坐标和摄影方 向的摄像机，是在所述相对位置信息中登记了基准信息的摄像机时，将该 相对信息废弃，而不追加在所述相对位置信息中。
6. 根据权利要求2所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和 摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中 登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像 机的坐标系为基准时的坐标和摄影方向的摄像机不是基准摄像机时，判定 为进行所述转换。
7. 根据权利要求6所述的数据处理装置，其特征在于， 所述相对信息转换运算部，使用所述基准信息所表示的、基准摄像机与所述判定涉及的相对信息的原点摄像机之间的位置关系，将该相对信息 转换为表示以基准摄像机的坐标系为基准时的、在该相对信息中示出了以 原点摄像机的坐标系为基准的位置关系的摄像机的坐标及/或摄影方向的信息。
8. 根据权利要求6所述的数据处理装置，其特征在于， 所述判定部，在所述相对信息的原点摄像机是在所述相对位置信息中登记了基准信息的摄像机的情况下，当在该相对信息中示出了以原点摄像 机的坐标系为基准时的坐标和摄影方向的摄像机是基准摄像机时，将该相 对信息废弃，而不追加在所述相对位置信息中。
9. 根据权利要求2所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和 摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息中示出了以原点摄像机为基准时的坐标 系中的位置关系的摄像机是基准摄像机的情况下，当该相对信息的原点摄 像机是在所述相对位置信息中没有登记基准信息的摄像机时，判定为进行 所述转换。
10. 根据权利要求9所述的数据处理装置，其特征在于， 所述相对信息转换运算部计算所述相对信息所表示的摄像机之间的位置关系的逆矢量，从而进行转换为表示以基准摄像机的坐标系为基准时的 原点摄像机的坐标及/或摄影方向的信息的所述转换。
11. 根据权利要求2所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和 摄影方向的基准信息，从而更新所保存的相对位置信息，所述判定部，在所述相对信息的原点摄像机不是基准摄像机的情况下， 当在该相对信息中示出了以原点摄像机的坐标系为基准时的位置关系的摄 像机，是在所述相对位置信息中登记了基准信息的摄像机时，判定为进行 所述转换。
12. 根据权利要求11所述的数据处理装置，其特征在于， 所述相对信息转换运算部，使用所述基准信息所表示的、与所述判定涉及的相对信息的原点摄像机的位置关系被示出的摄像机与基准摄像机之 间的位置关系以及该相对信息所表示的摄影侧摄像机与被摄体摄像机之间的位置关系，进行矢量运算，从而进行转换为表示以基准摄像机的坐标系 为基准时的摄影侧摄像机的坐标及摄影方向的信息的所述转换。
13. 根据权利要求1所述的数据处理装置，其特征在于， 所述数据处理装置还具有图像选择辅助部，该图像选择辅助部根据所述生成的相对位置信息，生成表示以所述多个摄像机中的基准摄像机的坐 标系为基准时的、各个摄像机的坐标和朝向的图像数据，并使显示部显示 用于使用所生成的图像数据来选择各个摄影图像数据的用户界面。
14. 根据权利要求12所述的数据处理装置，其特征在于，所述用户界面包括摄像机间位置关系显示区域，显示所生成的所述图像数据；以及 摄影图像显示区域，显示被选择的摄像机的摄影图像数据，所述图像选择辅助部包括位置确定部，确定进入到在所述摄影图像显示区域中显示的摄影图像数据的摄影侧摄像机的摄影范围中的摄像机在该摄影图像数据中的位置； 以及叠加显示部，在基于由所述位置确定部确定的位置的位置上，将作为 用于识别摄像机的图像的被摄体识别图像，叠加显示在该摄影图像数据上。
15. 根据权利要求14所述的数据处理装置，其特征在于， 所述图像选择辅助部在受理了对由所述叠加显示部叠加显示的被摄体识别图像进行选择的操作时，将由被选择的被摄体识别图像所识别的摄像 机的摄影图像，显示在所述摄影图像显示区域中。
16. 根据权利要求14所述的数据处理装置，其特征在于， 所述叠加显示部对各个摄像机分配颜色，利用分配给各个摄像机的颜色叠加显示该摄像机的被摄体识别图像，所述图像选择辅助部生成所述图像数据，以便利用分配给各个摄像机 的颜色从视觉上区分显示表示各个摄像机的图像。
17. 根据权利要求14所述的数据处理装置，其特征在于， 所述叠加显示部，根据从拍摄了摄影图像数据的摄影侧摄像机到由所述被摄体识别图像表示的摄像机的距离，以分别不同的状态显示所述被摄 体识别图像，以便能够从视觉上区分所述距离。
18. 根据权利要求14所述的数据处理装置，其特征在于， 所述位置确定部，根据以所显示的摄影图像数据的摄影侧摄像机为基准摄像机时的所述相对位置信息所表示的各个摄像机的坐标、或者以所述 摄影侧摄像机为原点摄像机的相对信息中的至少任一方，以及表示该摄影 侧摄像机的摄影范围的摄影范围信息，进行所述确定。
19. 根据权利要求18所述的数据处理装置，其特征在于， 所述位置确定部，对于进入到所述摄影范围中的各个摄像机，根据所述相对位置信息所表示的各个摄像机的坐标，判定是作为被摄体而被摄入 到所述摄影图像数据中的被摄体摄像机、还是被遮挡的摄像机，所述叠加显示部以能够从视觉上区分进入到摄影范围中的摄像机是被 摄体摄像机还是被遮挡的摄像机的方式，叠加显示所述被摄体识别图像。
20. 根据权利要求1所述的数据处理装置，其特征在于， 所述相对位置信息管理部保存所述相对位置信息，对于各个摄像机逐次受理关于一个摄像机的、表示以基准摄像机的坐标系为基准时的坐标和摄影方向的基准信息，从而更新所保存的相对位置信息，所述数据处理装置在每个预定时刻生成所述相对位置信息， 在预定时刻的相对位置信息中，当存在没有所述基准信息的不定摄像机时，根据该预定时刻的前后时刻的相对位置信息所表示的不定摄像机的坐标和摄影方向，对以基准摄像机的坐标系为基准时的所述预定时刻的所述不定摄像机的坐标和摄影方向进行插补。
21. —种数据处理方法，管理多个摄像机的位置关系，其特征在于， 包括摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图 像数据；图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检 测用于确定被摄体摄像机的预定的检测对象数据；计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对 信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐 标系为基准时的、另一方摄像机的坐标和摄影方向；判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、其他摄像机的坐标和摄影方向的信息；相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换-,以及相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信 息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信 息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信 息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影 方向。
22. —种计算机可读取的记录介质，记录了控制程序，该控制程序使数 据处理装置执行用于管理多个摄像机的位置关系的各个步骤，其特征在于， 所述控制程序包括摄影图像获取步骤，获取由所述多个摄像机拍摄的多个不同的摄影图 像数据；图像识别步骤，通过对每个所述摄影图像数据实施图像识别处理，检 测用于确定被摄体摄像机的预定的检测对象数据；计算步骤，根据检测到的每个检测对象数据，计算相对信息，该相对 信息表示以摄影图像数据的摄影侧摄像机或被摄体摄像机中的任一方的坐 标系为基准时的、另一方摄像机的坐标和摄影方向；判定步骤，对于由所述计算部算出的各个相对信息，判定是否将相对 信息转换为表示以所述多个摄像机中的基准摄像机的坐标系为基准时的、 其他摄像机的坐标和摄影方向的信息；相对信息转换运算步骤，根据所述判定部的判定结果进行所述转换；以及相对位置信息管理步骤，通过将所算出的各个相对信息中、在相对信 息中成为坐标系的基准的原点摄像机是基准摄像机的信息和由所述相对信 息转换运算部转换后的信息汇集，从而生成相对位置信息，该相对位置信 息表示以所述基准摄像机的坐标系为基准时的、各个摄像机的坐标和摄影 方向。
全文摘要
本发明提供数据处理装置、方法、记录介质。数据处理装置获取各个摄像机拍摄的各个摄影图像。数据处理装置(2)通过对摄影图像进行图像识别，计算拍摄了摄影图像的摄影侧摄像机与作为被摄体被摄入到摄影图像中的被摄体摄像机之间的相对位置关系。数据处理装置(2)汇集对各个摄影图像计算的位置关系，计算以一个摄像机为基准时的其他摄像机的相对位置和朝向。根据计算结果，生成用于辅助用户选择摄影图像的用户界面。
文档编号G06T1/00GK101583969SQ20088000242
公开日2009年11月18日 申请日期2008年1月16日 优先权日2007年1月16日
发明者三崎正之, 大宫淳, 川西亮一, 河村岳, 矶贝邦昭, 西山弘道, 银杏圭司 申请人:松下电器产业株式会社