| 講演名 | 2020-03-17 深層距離学習に基づく機械作業映像の半教師あり分節化 河森 大樹(阪大), 中村 和晃(阪大), 新田 直子(阪大), 馬場口 登(阪大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 工場等の生産現場で行われる機械作業について，その映像を分節化し各分節で行われている作業を自動的に認識できれば，作業履歴の記録やそれに基づく作業計画の策定等に役立つ．この処理を精度良く行うためには認識に適した特徴量を各分節から抽出することが必要であるが，これを教師なし学習で実現することは困難である一方，教師あり学習では人手による教師データ収集の負荷が問題となる．そこで本稿では，機械作業映像を対象に，映像中のごく一部のフレームにのみ教師ラベルが付与されているという条件の下，半教師あり距離学習に基づいて適切な特徴量を取得し，それにより高精度な分節化を実現する手法を提案する．一般に，任意の作業を認識可能な特徴量を一種類のみ得ることは容易ではない．そこで提案手法では，認識対象の作業集合を自動的に階層化し，各階層ごとに有効な特徴量を個別に得ることにより分節化精度の向上を図る．実験の結果，教師ラベルの付与されているフレームが入力映像中の全フレームの3%に満たない場合でも，F尺度にして0.956という非常に良好な分節化を達成した． |
| 抄録(英) | Today, cameras are often installed in many production sites for various purposes. However, untrimmed raw videos captured by the cameras are hard to use. Hence, it is desired to automatically segment the videos along the time axis and recognize which kind of operation is performed in each segment. We call this task ``temporal segmentation,'' which is useful for making an operational record and building a new plan. To achieve high performance of temporal segmentation, we have to use effective video features. Such features can hardly be obtained by unsupervised learning, whereas supervised learning has a drawback that collecting a lot of training data is labor-intensive. From these backgrounds, in this paper, we propose a method of obtaining effective features based on semi-supervised distance metric learning, under the assumption that only a few frames in input industrial operation videos are labeled and given as training data. To achieve high performance, the proposed method automatically build a tree structure that represents hierarchal relationship between class labels, and separately obtain an effective feature for each branch in the tree. In our experimental results, we achieved the temporal segmentation performance of 0.956 on the F measure, even when less than 3% of all frames in the input videos are labeled. |
| キーワード(和) | 機械作業映像 / 深層距離学習 / 分節化 / 半教師ありクラスタリング / ラベル分類木 |
| キーワード(英) | industrial operation video / deep metric learning / temporal segmentation / semi-supervised clustering / label hierarchy tree |
| 資料番号 | PRMU2019-92 |
| 発行日 | 2020-03-09 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2020/3/16(から2日開催) |
| 開催地（和） | 京都大学 |
| 開催地（英） | |
| テーマ（和） | 安全安心、セキュリティ・防災 |
| テーマ（英） | |
| 委員長氏名（和） | 佐藤 洋一(東大) |
| 委員長氏名（英） | Yoichi Sato(Univ. of Tokyo) |
| 副委員長氏名（和） | 玉木 徹(広島大) / 木村 昭悟(NTT) |
| 副委員長氏名（英） | Toru Tamaki(Hiroshima Univ.) / Akisato Kimura(NTT) |
| 幹事氏名（和） | 入江 豪(NTT) / 牛久 祥孝(オムロンサイニックエックス) |
| 幹事氏名（英） | Go Irie(NTT) / Yoshitaka Ushiku(OMRON SINICX) |
| 幹事補佐氏名（和） | 内田 祐介(DeNA) / 山下 隆義(中部大) |
| 幹事補佐氏名（英） | Yusuke Uchida(DeNA) / Takayoshi Yamashita(Chubu Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 深層距離学習に基づく機械作業映像の半教師あり分節化 |
| サブタイトル（和） | |
| タイトル（英） | Semi-Supervised Temporal Segmentation of Industrial Operation Video based on Deep Metric Learning |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械作業映像 / industrial operation video |
| キーワード(2)（和/英） | 深層距離学習 / deep metric learning |
| キーワード(3)（和/英） | 分節化 / temporal segmentation |
| キーワード(4)（和/英） | 半教師ありクラスタリング / semi-supervised clustering |
| キーワード(5)（和/英） | ラベル分類木 / label hierarchy tree |
| 第 1 著者 氏名（和/英） | 河森 大樹 / Daiki Kawamori |
| 第 1 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 2 著者 氏名（和/英） | 中村 和晃 / Kazuaki Nakamura |
| 第 2 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 3 著者 氏名（和/英） | 新田 直子 / Naoko Nitta |
| 第 3 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 第 4 著者 氏名（和/英） | 馬場口 登 / Noboru Babaguchi |
| 第 4 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ.) |
| 発表年月日 | 2020-03-17 |
| 資料番号 | PRMU2019-92 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | PRMU-481 |
| ページ範囲 | pp.139-144(PRMU), |
| ページ数 | 6 |
| 発行日 | 2020-03-09 (PRMU) |