图像处理装置、图像处理系统以及图像处理方法_4

文档序号:9618974阅读:来源:国知局
410,但 是本发明不限于此,也可以在重放视频数据期间按动分析开始键410,开始分析动作。在这 种情况下,帧取得部307提取分析开始键410被按动的时刻的视频数据的拍摄时间,取得从 被提取的拍摄时间开始,到之前由设定部304设定的分析时间的期间中的帧。
[0077] 此外,图生成部309如图6所示,将从视频数据取得的帧中位于最前的帧所对应的 摄像时间显示到开始时间显示部605上,并将位于最后的帧所对应的的摄像时间显示到开 始时间显示部604上。
[0078] 辅助信息生成部310从差分计算部308求出的由帧取得部307取得的各个帧的差 分的信息中,检测最大差分,生成表示最大差分的辅助线。辅助信息生成部310还求出占最 大差分的规定比例的比值,将该比值作为阈值,生成表示阈值的辅助线。而后,辅助信息生 成部310在图显示部402显示的差分图601上,重叠显示表示最大差分的辅助线即最大差 分值线602以及表示阈值的辅助线即阈值线603。这样如图6所示,在图显示部402显示 的差分图601上重叠最大差分值线602以及阈值线603,便于确定视频数据的分析区域501 中发生某个动作的时间。阈值线603的阈值如上所述,为占最大差分值线602的最大差分 值规定比例的比值,因而差分图601中的某个部分超越阈值线603。这样,通过寻找超过阈 值线603的部分,能够提高确定分析区域501中发生某个动作的时间的效率。
[0079] 在将制造设备中元件掉落的预想部位指定为上述分析区域501的例子中,用差分 图601、最大差分值线602以及阈值线603容易确定动作发生即元件掉落的时间。在将上述 制造设备具备的信号塔上蓝灯的视频部分指定为分析区域501的例子中,用差分图601、最 大差分值线602以及阈值线603容易确定动作发生即蓝灯点灯的时间。
[0080] 图7所示的应用软件画面400的显示状态如下,即视频显示部401上显示用户在 图显示部402上操作输入装置303,例如用鼠标108移动光标701,在显示差分图601的图 显示部402上点击操作,该点击操作时的光标701的箭头对应的摄像时间即指定时刻T1的 帧(或者光标箭头对应页数的视频数据的帧)。图7所示的应用软件画面400还显示以下 状态,即视频显示部401上显示用户操作输入装置303,移动滑块405,视频显示部401上显 示指定时刻T1之后经过一分钟的帧,且该帧的分析区域501内显示掉落物件。进而,图7 所示的应用软件画面400还显示用户操作输入装置303,按动印记键403f后,在拖动条404 上被按动时间,滑块404正上方部分显示标记801的状态。
[0081] 具体如下。首先,用户操作输入装置303即鼠标108,移动光标701,在显示差分图 601的图显示部402上点击后,重放部305在视频显示部401上显示用户点击时的光标701 的箭头对应的摄像时间即指定时刻T1的帧。另外,在视频显示部401上显示指定时刻T1 的帧时,时间显示部408上显示指定时刻T1。进而,在视频显示部401上显示指定时刻T1 的帧时,将滑块405移动到拖动条404的正中即"0 :00"的部分。也就是说,拖动条404上 的"0 :00"对应时间显示部408上现实的指定时刻T1。
[0082] 其次,用户操作输入装置303,使得滑块405在拖动条404上滑动后,重放部305在 视频显示部401上显示指定时刻T1加上滑块405在拖动条404上的位置所对应的时间得 到的时刻所对应的帧。在图7所示的应用软件画面400上显示的例子为,用户将滑块405 移动到拖动条404上" 1 :00"的位置上,也就是在视频显示部401上显示从指定时刻T1 (在 此为17 :59 :11 :28)开始经过1分钟后的时刻(图7所示的例中为"18 :11 :11 :28")所对 应的帧。而后,此时如图7所示,视频显示部401上显示的帧的分析区域501中示出掉落物 件,从而能够找到分析区域501内发生动作的帧。可以设想该帧的分析区域501具有较大 差分值,即设想该帧对应于图显示部402上显示的差分图601中达到最大差分值线602的 山峰部分周围。
[0083] 在指定制造设备中元件掉落的预想部位为上述分析区域501的例子中,通过点击 差分图601中超过阈值线603的部分,在视频显示部401上显示该时刻的帧,而后移动滑块 405,确认该时刻前后的视频,能够容易地找出元件掉落的原因,确认元件是如何掉落以及 为何掉落。而在指定上述制造设备具备的信号塔上蓝灯的视频部分为分析区域501的例子 中,同样可以通过点击差分图601中超过阈值线603的部分,在视频显示部401上显示该时 刻的帧,而后移动滑块405,确认该时刻前后的视频,容易地找出异常的发生原因,分析在怎 样的状态和环境下发生异常。
[0084] 如图7所示,在分析区域501中显示出掉落物件的状态下,也就是说在分析区域 501中发生动作的状态下,用户操作输入装置303,按动印记键403f后,辅助信息生成部310 在拖动条404上的滑块正上方部分显示印记801。通过显示该印记801,能够在拖动条404 上标注发生动作的时刻,用于作为分析动作发生原因的线索。
[0085] 如上所述,差分计算部308接受帧取得部307取得的与分析时间对应的份量的帧, 计算对象帧与比较对象帧之间的像素值的特征量(差分等),图形成部309用差分计算部 308求出的特征量的信息来生成特征量的图(例如差分图601),并在显示装置312上显示 该特征量的图,这样便于确定特征量增大时的时间,有利于确定视频数据中发生某个动作 的时间。
[0086] 进而,辅助信息生成部310用来将表示最大特征量的最大值线(例如最大差分值 线602)重叠在图显示部402显示的差分图601上显示,并显示表示阈值的辅助线即阈值线 (例如阈值线603)。这样便于确定差分图601中发生动作的时间。
[0087] 区域指定部306用来在视频数据的显示区域(视频显示部401)中指定分析区域, 差分计算部308用来对帧取得部307取得的帧,计算对象帧中的分析区域和比较对象帧中 的分析区域之间像素值的特征量。这样便能够将被认为发生动作的部位指定为分析区域, 并且由于发生动作时差分计算部308求出的特征量变化显著,便于确定特征量发生较大变 化的时间,进而便于确定视频数据中发生某个动作的时间。例如,在将整个帧设定为差分 计算部308计算特征量的计算对象的情况下,如果视频数据的整个显示区域始终有动作发 生,则该整体动作的特征量变化将被反映到图上。为此,在视频数据的显示区域中,即便在 用户认为发生动作(例如掉落物体等)而需要进行分析的部分上发生动作,图中也有可能 不会出现作为该动作的特征量变化。而如果区域指定部306将上述部位指定为分析区域, 则分析区域内发生的动作便有可能作为特征量变化而在图中凸显出来,从而更容易掌握该 动作发生状态。
[0088] 通过操作输入装置303 (例如用鼠标点击),指定显示特征量的图的图显示部402 区域中的特定部分,重放部305在视频显示部401上显示被指定的特定部分的帧,据此,能 够快速显示用户需要的摄像时刻的帧,便于确定动作的发生原因或伴随该动作发生的事件 的原因。
[0089] 如上所述,用重放部305在视频显示部401上显示指定的特定部分所对应的摄像 时刻的帧之后,移动拖动条404上的滑块405,用户能够以该摄像时间为基准确认该时间前 后的视频,以便于确定动作的发生原因或伴随该动作发生的事件的原因。
[0090] 《显示差分图的图像处理动作》
[0091] 图8是本实施方式的图像处理系统中显示差分图的图像处理动作的一例处理流 程图。以下参考图8简单描述显示差分图的图像处理(分析)动作流程。
[0092] 步骤 S11
[0093] 重放部305在应用软件画面400的视频显示部401上重放从存储部302取得的摄 像装置2的视频数据。而后移动到步骤S12。
[0094] 步骤 12
[0095] 区域指定部306根据用户操作输入装置303 (例如点击操作)指定用来计算视频 显示部401上帧的差分的区域,即指定分析区域501,并将制定的分析区域501的信息保存 到存储部302。而后移动到步骤S13。
[0096]步骤 13
[0097] 用户操作输入装置303,按动分析开始键410后,帧取得部307取得从分析开始键 410收到按动时在视频显示部410上重放显示的视频数据所对应的摄像时间开始,经过设 定部设定的分析时间期间的帧。而后移动到步骤S14。移动到S14的时间并不需要在检测 区域指定部307取得所有设定的分析时间期间中的帧之后,也可以在帧取得期间中移动。
[0098] 步骤
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1