講演抄録/キーワード |
講演名 |
2019-10-18 13:55
[フェロー記念講演]クロスモーダル情報処理に基づく知識獲得とメディア探索 ○柏野邦夫(NTT) PRMU2019-36 |
抄録 |
(和) |
音,画像,動画などのメディアコンテンツが膨大に蓄積されるのに伴い,的確かつ高速に目的とする対象を検出,探索する技術が求められている。本講演ではこの課題をメディア探索と呼ぶ。メディア探索は,メディアコンテンツの断片を問合せとし,コンテンツの外見上の一致や類似に基づいて該当箇所を探索する方法と,クラスラベルや属性情報を問合せとし,メディアコンテンツに付随するタグの一致や類似に基づいて該当箇所を探索する方法とに大別される.それぞれの方法が有効に活用される一方で,前者では,探索の高速性やロバスト性のほかに,いわゆるセマンティックギャップが課題とされてきた.また後者では,大量のコンテンツに対してタグをいかに精度良く低コストで付与するかが課題となるほか,どのような問合せがなされるかを網羅的に予期して予めタグを付与しておくことが困難であることも多い.このような問題に対して,筆者らの研究チームでは,メディアコンテンツを写像する潜在空間の活用を提案している。潜在空間における特徴表現は,音,画像などといった特定のモダリティに依存しない点でコンテンツの外見を直接表現する特徴とは異なり,コンテンツを連続的な数値の組で表現する点で従来のタグとは異なる特徴をもつ.本講演では,特にクロスモーダルな情報処理に着目しながらこれまでの研究事例を紹介し,今後の可能性を展望する。 |
(英) |
Media search can be roughly divided into two methods: a method in which fragments of media content are used as queries and corresponding parts are searched based on apparent matches and similarities of the content, and a method in which class labels and attribute information are used as queries and corresponding parts are searched based on matches and similarities of tags attached to media content. While each method is effectively utilized, so-called semantic gap has been a problem in the former in addition to speed and robustness of the search. And, in the latter, it has been a problem how to add tags to a large amount of content, and it is often difficult to add tags in advance comprehensively expecting what kind of queries will be made. To solve these problem, our research team has proposed the utilization of latent space mapping media content. In this talk, we review some of our research cases, especially focusing on crossmodal information processing, and discuss future possibilities with this approach. |
キーワード |
(和) |
メディア探索 / クロスモーダル情報処理 / 知識獲得 / セマンティックギャップ / / / / |
(英) |
media search / crossmodal information processing / knowledge acquisition / semantic gap / / / / |
文献情報 |
信学技報, vol. 119, no. 235, PRMU2019-36, pp. 27-27, 2019年10月. |
資料番号 |
PRMU2019-36 |
発行日 |
2019-10-11 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2019-36 |