講演抄録/キーワード |
講演名 |
2004-10-22 11:30
音声・画像入力からの概念獲得のためのインターモーダル学習 ○石黒勝彦(東大)・大津展之(東大/産総研)・國吉康夫(東大) |
抄録 |
(和) |
音声、画像などの複数モダリティの情報を利用したインターモーダルな学習によって、物体の形、色といった概念を獲得するシステムを提案する。物体の画像、および物体を表す音声を組み合わせたマルチモーダル情報をシステムに入力する。システムは特徴抽出を行った後に、多変量解析手法(正準相関分析など)と情報理論的な基準を利用して、複数モダリティ間の特徴の対応関係としての概念を獲得する。実験において、システムは物体の形状や色の概念を獲得した。また、獲得された概念の一部を一般化するなど、提案したシステムは柔軟な概念の取扱が可能である事を示した。 |
(英) |
We propose an inter-modal learning system which acquires concepts
from auditory and visual information. The system extracts features from the input of spoken words and images and infers the statistical correlation of auditory and visual modalities. We use kernel-based multi-variate analysis methods and information theoretic criteria. In the experiment, our system acquired concepts about shapes and colors properly, and also showed ``concept generalization'' spontaneously. This shows its capabilities of flexible treatments of concepts. |
キーワード |
(和) |
インターモーダル学習 / 概念獲得 / マルチモーダル情報 / カーネル法 / 情報理論 / / / |
(英) |
inter-modal learning / concept acquisition / multimodal information / kernel methods / information theory / / / |
文献情報 |
信学技報, vol. 104, no. 370, PRMU2004-92, pp. 17-24, 2004年10月. |
資料番号 |
PRMU2004-92 |
発行日 |
2004-10-15 (PRMU) |
ISSN |
Print edition: ISSN 0913-5685 |
PDFダウンロード |
|