| 講演名 | 2006-10-19 RNNPBによる視聴覚情報変換を利用したロボットの身体・音声表現(ヒューマンインタラクションとパターン認識・メディア解理・言語理解,ヒューマンインタラクションとパターン認識・メディア解理・言語理解,一般) 尾形 哲也, 小嶋 秀樹, 駒谷 和範, 奥乃 博, |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本論文は,神経回路モデルを利用したマルチモーダル変換手法を提案し,これを用いた映像からの音響信号生成と音響信号からのロボットジェスチャ生成の結果について報告する.マルチモーダル変換実現に際し,実環境の視聴覚信号全て構造的に保有するデータベースを作ることは不可能であるため,情報の汎化能力が不可欠となる.そこで我々は高い汎化能力を有するRNNPBと呼ばれる神経回路モデルを採用した.本手法を小型ロボットKeeponに導入し,実験を行った.箱状物体を用いて摩擦音・衝突音を生じる,4種類のイベントをKeeponに学習させた結果,既知イベントの映像・音響信号の変換だけでなく,未知イベントの映像・音響信号変換も実現した. |
| 抄録(英) | This paper proposes cross-modal mapping for a robot system to generate motions expressing auditory signals caused by the movements of objects and vice-versa. Since all correspondences between auditory signals and visual signals in the world are hard to memorize, the ability to generalize is indispensable. We adopted a neural circuit model called RNNPB, which has good generalization ability, for the learning model. We implemented the proposed system on the robot "Keepon." We taught it four kinds of events with the sounds of collision by manipulating a box object. Keepon behaved not only from learned events but also from unknown events. It could also generate various sounds according to observed motions. |
| キーワード(和) | モダリティ情報変換 / 共感覚 / キーボン / パラメータ付リカレントニューラルネットワーク |
| キーワード(英) | Modality Translation / Keepon / Recurrent Neural Network with Parametric Bias |
| 資料番号 | TL2006-22,NLC2006-18,PRMU2006-99 |
| 発行日 |
| 研究会情報 | |
| 研究会 | PRMU |
|---|---|
| 開催期間 | 2006/10/12(から1日開催) |
| 開催地（和） | |
| 開催地（英） | |
| テーマ（和） | |
| テーマ（英） | |
| 委員長氏名（和） | |
| 委員長氏名（英） | |
| 副委員長氏名（和） | |
| 副委員長氏名（英） | |
| 幹事氏名（和） | |
| 幹事氏名（英） | |
| 幹事補佐氏名（和） | |
| 幹事補佐氏名（英） | |
| 講演論文情報詳細 | |
| 申込み研究会 | Pattern Recognition and Media Understanding (PRMU) |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | RNNPBによる視聴覚情報変換を利用したロボットの身体・音声表現(ヒューマンインタラクションとパターン認識・メディア解理・言語理解,ヒューマンインタラクションとパターン認識・メディア解理・言語理解,一般) |
| サブタイトル（和） | |
| タイトル（英） | Gesture and Sound Generation of Robot based on Cross-Modal Translation using Recurrent Neural Network with Parametric Bias |
| サブタイトル（和） | |
| キーワード(1)（和/英） | モダリティ情報変換 / Modality Translation |
| キーワード(2)（和/英） | 共感覚 / Keepon |
| キーワード(3)（和/英） | キーボン / Recurrent Neural Network with Parametric Bias |
| キーワード(4)（和/英） | パラメータ付リカレントニューラルネットワーク |
| 第 1 著者 氏名（和/英） | 尾形 哲也 / Tetsuya OGATA |
| 第 1 著者 所属（和/英） | 京都大学情報学研究科 Graduate School of Informatics, Kyoto University |
| 第 2 著者 氏名（和/英） | 小嶋 秀樹 / Hideki KOZIMA |
| 第 2 著者 所属（和/英） | 情報通信研究機構 NICT |
| 第 3 著者 氏名（和/英） | 駒谷 和範 / Kazunori KOMATANI |
| 第 3 著者 所属（和/英） | 京都大学情報学研究科 Graduate School of Informatics, Kyoto University |
| 第 4 著者 氏名（和/英） | 奥乃 博 / Hiroshi G. OKUNO |
| 第 4 著者 所属（和/英） | 京都大学情報学研究科 Graduate School of Informatics, Kyoto University |
| 発表年月日 | 2006-10-19 |
| 資料番号 | TL2006-22,NLC2006-18,PRMU2006-99 |
| 巻番号（vol） | vol.106 |
| 号番号（no） | 300 |
| ページ範囲 | pp.- |
| ページ数 | 6 |
| 発行日 | |