| 講演名 | 2016-03-10 条件付きShannonエントロピーとノルムの期待値との関係とその応用 阪井 祐太(福井大), 岩田 賢一(福井大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 確率変数に対する情報測度は，確率論や情報理論，統計学，パターン認識，暗号理論，機械学習などの分野にて幅広く利用されている．これら情報測度を用いる研究において，情報測度に対する不等式は，様々な形で応用されている．情報理論においてよく議論される情報測度として，公理的に定義されたエントロピーは，一般にノルムと深い関係がある．本研究では，Shannonエントロピーとノルムとの間の厳密な界を示し，ノルムによって定まる情報測度とShannonエントロピーとの間の関係を調べる．さらに本研究では，この議論を条件付きの情報測度へ拡張した結果も示す．本結果の応用として，Gallager形式の通信路符号化定理に対して，ある種の定理の精密化を行う． |
| 抄録(英) | The paper investigates the extremal relations between the Shannon entropy and the $ell_{alpha}$-norm. More precisely, the exact ranges between the Shannon entropy and the $ell_{alpha}$-norm are examined for probability distributions on a finite alphabet. Furthermore, we extend the above results from unconditional information measures to conditional information measures. Then, we reveal the exact ranges between the conditional Shannon entropy and the expectation of ell_{alpha}-norm for joint probability distributions. As applications, we examine the tight bounds of reliability functions for discrete memoryless channels. |
| キーワード(和) | Shannonエントロピー / ノルム / R'{e}nyiエントロピー / 条件付きエントロピー / Gallagerの$E_{0}$関数 |
| キーワード(英) | Shannon entropy / $ell_{alpha}$-norm / R'{e}nyi entropy / conditional entropy / Gallager's $E_{0}$ function |
| 資料番号 | IT2015-109,ISEC2015-68,WBS2015-92 |
| 発行日 | 2016-03-03 (IT, ISEC, WBS) |
| 研究会情報 | |
| 研究会 | IT / ISEC / WBS |
|---|---|
| 開催期間 | 2016/3/10(から2日開催) |
| 開催地（和） | 電気通信大学 |
| 開催地（英） | The University of Electro-Communications |
| テーマ（和） | IT・ISEC・WBS合同研究会 |
| テーマ（英） | joint meeting of IT, ISEC, and WBS |
| 委員長氏名（和） | 大濱 靖匡(電通大) / 角尾 幸保(NEC) / 羽渕 裕真(茨城大) |
| 委員長氏名（英） | Yasutada Oohama(Univ. of Electro-Comm.) / Yukiyasu Tsunoo(NEC) / Hiromasa Habuchi(Ibaraki Univ.) |
| 副委員長氏名（和） | 和田山 正(名工大) / 満保 雅浩(金沢大) / 小川 一人(NHK) / 前原 文明(早大) / 岡田 実(奈良先端大) |
| 副委員長氏名（英） | Tadashi Wadayama(Nagoya Inst. of Tech.) / Masahiro Mambo(Kanazawa Univ.) / Kazuto Ogawa(NHK) / Fumiaki Maehara(Waseda Univ.) / Minoru Okada(NAIST) |
| 幹事氏名（和） | 岩本 貢(電通大) / 葛岡 成晃(和歌山大) / 花岡 悟一郎(産総研) / 駒野 雄一(東芝) / 松波 勲(北九州市大) / 佐藤 正知(東京都市大) |
| 幹事氏名（英） | Mitsugu Iwamoto(Univ. of Electro-Comm.) / Shigeaki Kuzuoka(Wakayama Univ.) / Goichiro Hanaoka(AIST) / Yuichi Komano(Toshiba) / Isao Matsunami(Univ. of Kitakyushu) / Masatomo Sato(Tokyo City Univ.) |
| 幹事補佐氏名（和） | 日下 卓也(岡山大) / 伊豆 哲也(欧州富士通研) / 水木 敬明(東北大) / 山下 哲孝(NEC) / 小澤 佑介(東京理科大) / 中村 聡(東京理科大) / 中村 僚兵(防衛大) |
| 幹事補佐氏名（英） | Takuya Kusaka(Okayama Univ.) / Tetsuya Izu(Fujitsu Lab.) / Takaaki Mizuki(Tohoku Univ.) / Noritaka Yamashita(NEC) / Yusuke Kozawa(Tokyo Univ. of Science) / Akira Nakamura(Tokyo Univ. of Science) / Ryohei Nakamura(National Defense Academy) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Information Theory / Technical Committee on Information Security / Technical Committee on Wideband System |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | 条件付きShannonエントロピーとノルムの期待値との関係とその応用 |
| サブタイトル（和） | |
| タイトル（英） | Relations Between Conditional Shannon Entropy and Expectation of Norm and Their Applications |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Shannonエントロピー / Shannon entropy |
| キーワード(2)（和/英） | ノルム / $ell_{alpha}$-norm |
| キーワード(3)（和/英） | R'{e}nyiエントロピー / R'{e}nyi entropy |
| キーワード(4)（和/英） | 条件付きエントロピー / conditional entropy |
| キーワード(5)（和/英） | Gallagerの$E_{0}$関数 / Gallager's $E_{0}$ function |
| 第 1 著者 氏名（和/英） | 阪井 祐太 / Yuta Sakai |
| 第 1 著者 所属（和/英） | 福井大学(略称：福井大) University of Fukui(略称：Univ. of Fukui) |
| 第 2 著者 氏名（和/英） | 岩田 賢一 / Ken-ichi Iwata |
| 第 2 著者 所属（和/英） | 福井大学(略称：福井大) University of Fukui(略称：Univ. of Fukui) |
| 発表年月日 | 2016-03-10 |
| 資料番号 | IT2015-109,ISEC2015-68,WBS2015-92 |
| 巻番号（vol） | vol.115 |
| 号番号（no） | IT-500,ISEC-501,WBS-502 |
| ページ範囲 | pp.49-54(IT), pp.49-54(ISEC), pp.49-54(WBS), |
| ページ数 | 6 |
| 発行日 | 2016-03-03 (IT, ISEC, WBS) |