| 講演名 | 2023-05-18 動画フレーム補間に特化した教師オプティカルフローの作成 宮田 陸(豊田工大), 近藤 佑樹(豊田工大), 浮田 宗伯(豊田工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 動画フレーム補間とは，連続する2つの動画フレームから中間のフレームを生成する技術である．本研究では，知識蒸留という学習戦略を利用し，高品質な動画フレーム補間を実現することを目指す．知識蒸留は，教師モデルから生徒モデルへの知識の伝達を促す手法である．この研究で扱う従来手法はRIFEであり，動画フレーム補間タスクで高い性能を示している．RIFEとは異なり，本研究ではより大きな教師モデルを使用することを提案する．具体的には，オプティカルフローの推定において，SOTA（State-Of-The-Art）性能を持つFlowFormerモデルを教師モデルとして採用する．そうして得られたオプティカルフローを複数回U-Netに通すことによってさらに，精度の良いオプティカルフローを作成すること期待する．実験ではまず，教師モデルを作成し，オプティカルフローを推定する．その後，教師モデルの推定オプティカルフローを疑似GT（Ground Truth）として利用し，生徒モデルを学習させる．実験の結果，提案手法とRIFEを精度で比較したが，予想に反して提案手法の精度はRIFEよりも低かった．これは，教師モデルを単純に巨大化するだけでは，必ずしも生徒モデルの精度向上につながらないことを示している．この結果から，動画フレーム補間タスクにおいて，さらなる工夫が必要であることが明らかとなった． |
| 抄録(英) | Video frame interpolation is a technique for generating intermediate frames from two consecutive video frames. In this study, we aim to achieve high-quality video frame interpolation using a learning strategy called knowledge distillation. Knowledge distillation is a method to promote the transfer of knowledge from a teacher model to a student model. The conventional method used in this study is RIFE, which demonstrates high performance in video frame interpolation tasks. Unlike RIFE, this study proposes to use a larger teacher model. Specifically, we adopt the FlowFormer model, which has State-Of-The-Art (SOTA) performance in optical flow estimation, as the teacher model. We then expect to create a more accurate optical flow by passing the obtained optical flow through U-Net multiple times. In the experiments, we first create a teacher model and estimate the optical flow. Then, we use the estimated optical flow from the teacher model as the pseudo Ground Truth (GT) and train the student model. As a result of the experiments, we compared the accuracy of the proposed method and RIFE, but contrary to our expectations, the accuracy of the proposed method was lower than that of RIFE. This indicates that simply enlarging the teacher model does not necessarily lead to an improvement in the student model's accuracy. From these results, it has become clear that further ingenuity is required in the video frame interpolation task. |
| キーワード(和) | 動画フレーム補間 / 知識蒸留 |
| キーワード(英) | Video Frame Interpolation / knowledge distillation |
| 資料番号 | PRMU2023-3 |
| 発行日 | 2023-05-11 (PRMU) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM |
|---|---|
| 開催期間 | 2023/5/18(から2日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | |
| テーマ（和） | NeRF等のニューラルシーン表現 |
| テーマ（英） | |
| 委員長氏名（和） | 内田 誠一(九大) |
| 委員長氏名（英） | Seiichi Uchida(Kyushu Univ.) |
| 副委員長氏名（和） | 舩冨 卓哉(奈良先端大) / 安倍 満(デンソーアイティーラボラトリ) |
| 副委員長氏名（英） | Takuya Funatomi(NAIST) / Mitsuru Anpai(Denso IT Lab.) |
| 幹事氏名（和） | 山口 光太(サイバーエージェント) / 松井 勇佑(東大) |
| 幹事氏名（英） | Kouta Yamaguchi(CyberAgent) / Yusuke Matsui(Univ. of Tokyo) |
| 幹事補佐氏名（和） | 井上 中順(東工大) / 川西 康友(理研) |
| 幹事補佐氏名（英） | Nakamasa Inoue(Tokyo Inst. of Tech.) / Yasutomo Kawanishi(Riken) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 動画フレーム補間に特化した教師オプティカルフローの作成 |
| サブタイトル（和） | |
| タイトル（英） | Creation of Teacher Optical Flow specialized for Video Frame Interpolation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 動画フレーム補間 / Video Frame Interpolation |
| キーワード(2)（和/英） | 知識蒸留 / knowledge distillation |
| 第 1 著者 氏名（和/英） | 宮田 陸 / Riku Miyata |
| 第 1 著者 所属（和/英） | 豊田工業大学(略称：豊田工大) Toyota Technological Institute(略称：TTI) |
| 第 2 著者 氏名（和/英） | 近藤 佑樹 / Yuki Kondo |
| 第 2 著者 所属（和/英） | 豊田工業大学(略称：豊田工大) Toyota Technological Institute(略称：TTI) |
| 第 3 著者 氏名（和/英） | 浮田 宗伯 / Norimichi Ukita |
| 第 3 著者 所属（和/英） | 豊田工業大学(略称：豊田工大) Toyota Technological Institute(略称：TTI) |
| 発表年月日 | 2023-05-18 |
| 資料番号 | PRMU2023-3 |
| 巻番号（vol） | vol.123 |
| 号番号（no） | PRMU-30 |
| ページ範囲 | pp.12-15(PRMU), |
| ページ数 | 4 |
| 発行日 | 2023-05-11 (PRMU) |