| 電子情報通信学会 研究会発表申込システム 講演論文 詳細 |
技報閲覧サービス [ログイン] 技報アーカイブ |
| トップに戻る | 前のページに戻る | [Japanese] / [English] |
| 講演抄録／キーワード | ||
| 講演名 | 2008-01-16 10:10 他者の内部状態推定と行動予測を用いた意思決定モデル ○佐藤友美（奈良先端大）・大塩立華（京大）・吉田和子（UCL）・石井 信（京大）  NC2007-99 |
|
| 抄録 | （和） | マルチエージェント環境では，他者の内部状態の変化を相手モデルを用いて推定し, それに基づいて行動を決定することが重要である．近年，マルチエージェント課題遂行中のサルやヒトの行動に対して，相手モデルを含まないモデルフリー強化学習による説明が試みられている．これらの実験では自身の行動・報酬履歴のみから他者の行動が一意に決まる課題設定が用いられているために，自身の意思決定において他者の内部状態変化を 明に推定する必要のない課題となっていた．本研究では，他者の行動観測から他者の行動価値を推定可能であり，また行動価値を考慮することにより最適な行動がとれる課題を開発した．被験者の意思決定過程を，相手モデルを考慮したモデル同定強化学習として定式化した．また，本課題を用いてfMRI実験を行うことにより，提案モデルが被験者の行動をよく説明し，さらにモデルに基づく脳活動解析により相手モデルの推定に前頭前野が関わることを検証した． |
| （英） | In multi-agent environments, it may be useful to predict other agent's actions by estimating some sort of internal state of the opponent model. In recent years, model-free reinforcement learning has been used to capture both monkey's and human's behaviors in multi-agent tasks, but such success is attributed to the simple task setting, in which the other agent's action can be determined by the history of subject's own actions and rewards.In this study, we propose a new behavioral task which substantially increases the advantage of estimating the other agent's internal state from action observations. Subjects can select optimal actions based on prediction employing an action-value function.We introduce a model-based reinforcement learning model that well reproduces subject's behaviors in the task. Concurrent evaluation of brain activity using fMRI, in which the cognitive loads are evaluated as regression functions, highlights the role of the prefrontal cortex in the prediction of the other agent. |
|
| キーワード | （和） | マルチエージェント環境 / 相手モデル / 機能的核磁気共鳴画像法（ｆMRI） / 前頭前野 / / / / |
| （英） | multi-agent environment / opponent model / functional MRI / Prefrontal cortex / / / / | |
| 文献情報 | 信学技報, vol. 107, no. 413, NC2007-99, pp. 73-78, 2008年1月. | |
| 資料番号 | NC2007-99 | |
| 発行日 | 2008-01-08 (NC) | |
| ISSN | Print edition: ISSN 0913-5685 Online edition: ISSN 2432-6380 | |
| 著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します．(許諾番号：10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) | |
| PDFダウンロード | NC2007-99 |
|
| 研究会情報 | |
| 研究会 | NC |
| 開催期間 | 2008-01-15 - 2008-01-16 |
| 開催地（和） | 北海道大学（１００年記念会館） |
| 開催地（英） | Centennial Hall, Hokkaido Univ. |
| テーマ（和） | 機械学習、一般 |
| テーマ（英） | Machine Learning, etc. |
| 講演論文情報の詳細 | |
| 申込み研究会 | NC |
| 会議コード | 2008-01-NC |
| 本文の言語 | 日本語 |
| タイトル（和） | 他者の内部状態推定と行動予測を用いた意思決定モデル |
| サブタイトル（和） | |
| タイトル（英） | A model of decision-making with estimation of other agent's internal state and actions |
| サブタイトル（英） | |
| キーワード(1)（和/英） | マルチエージェント環境 / multi-agent environment |
| キーワード(2)（和/英） | 相手モデル / opponent model |
| キーワード(3)（和/英） | 機能的核磁気共鳴画像法（ｆMRI） / functional MRI |
| キーワード(4)（和/英） | 前頭前野 / Prefrontal cortex |
| キーワード(5)（和/英） | / |
| キーワード(6)（和/英） | / |
| キーワード(7)（和/英） | / |
| キーワード(8)（和/英） | / |
| 第1著者 氏名（和/英/ヨミ） | 佐藤 友美 / Yumi Satoh / サトウ ユミ |
| 第1著者 所属（和/英） | 奈良先端科学技術大学院大学 (略称： 奈良先端大) Nara Institute of Science and Technology (略称： NAIST) |
| 第2著者 氏名（和/英/ヨミ） | 大塩 立華 / Ritz Oshio / オオシオ リツ |
| 第2著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第3著者 氏名（和/英/ヨミ） | 吉田 和子 / Wako Yoshida / ヨシダ ワコ |
| 第3著者 所属（和/英） | ロンドン大学 (略称： UCL) University College London (略称： UCL) |
| 第4著者 氏名（和/英/ヨミ） | 石井 信 / Shin Ishii / イシイ シン |
| 第4著者 所属（和/英） | 京都大学 (略称： 京大) Kyoto University (略称： Kyoto Univ.) |
| 第5著者 氏名（和/英/ヨミ） | / / |
| 第5著者 所属（和/英） | (略称： ) (略称： ) |
| 第6著者 氏名（和/英/ヨミ） | / / |
| 第6著者 所属（和/英） | (略称： ) (略称： ) |
| 第7著者 氏名（和/英/ヨミ） | / / |
| 第7著者 所属（和/英） | (略称： ) (略称： ) |
| 第8著者 氏名（和/英/ヨミ） | / / |
| 第8著者 所属（和/英） | (略称： ) (略称： ) |
| 第9著者 氏名（和/英/ヨミ） | / / |
| 第9著者 所属（和/英） | (略称： ) (略称： ) |
| 第10著者 氏名（和/英/ヨミ） | / / |
| 第10著者 所属（和/英） | (略称： ) (略称： ) |
| 第11著者 氏名（和/英/ヨミ） | / / |
| 第11著者 所属（和/英） | (略称： ) (略称： ) |
| 第12著者 氏名（和/英/ヨミ） | / / |
| 第12著者 所属（和/英） | (略称： ) (略称： ) |
| 第13著者 氏名（和/英/ヨミ） | / / |
| 第13著者 所属（和/英） | (略称： ) (略称： ) |
| 第14著者 氏名（和/英/ヨミ） | / / |
| 第14著者 所属（和/英） | (略称： ) (略称： ) |
| 第15著者 氏名（和/英/ヨミ） | / / |
| 第15著者 所属（和/英） | (略称： ) (略称： ) |
| 第16著者 氏名（和/英/ヨミ） | / / |
| 第16著者 所属（和/英） | (略称： ) (略称： ) |
| 第17著者 氏名（和/英/ヨミ） | / / |
| 第17著者 所属（和/英） | (略称： ) (略称： ) |
| 第18著者 氏名（和/英/ヨミ） | / / |
| 第18著者 所属（和/英） | (略称： ) (略称： ) |
| 講演者 | 第1著者 |
| 発表日時 | 2008-01-16 10:10:00 |
| 発表時間 | 20分 |
| 申込先研究会 | NC |
| 資料番号 | NC2007-99 |
| 巻番号（vol） | vol.107 |
| 号番号（no） | no.413 |
| ページ範囲 | pp.73-78 |
| ページ数 | 6 |
| 発行日 | 2008-01-08 (NC) |
[研究会発表申込システムのトップページに戻る]