| 講演名 | 2026-03-25 算術計算学習における自己回帰生成のための生成順序の最適化 細川 明日紀(千葉大), 内藤 煌瑛(千葉大), 佐藤 裕太(千葉大), 計良 宥志(千葉大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Transformer による自己回帰生成は，推論過程をトークン列として逐次的に生成する枠組みであり，算術のような多段推論を含む課題にも応用されている．このとき，デコーダが生成する中間過程（連鎖的推論）の順序は学習の難易度に影響しうる．佐藤らは，順序探索により算術タスクで学習しやすい順序を同定した一方で，置換行列を実数値に緩和して混合する方法では，将来トークンの情報が混入する（情報漏洩）可能性を指摘し，探索に基づく手法を提案した．本研究では，佐藤らの回避した置換行列を実数値に緩和によるアプローチを改めて検証する．具体的にはSinkhorn アルゴリズムと Straight Through Estimator (STE) を用いて，置換の学習を情報漏洩なしで行う場合を検証する．順序感度の高い二つの算術タスクで実験し，本アプローチを検証した．実験の結果，上述の最適化手法は部分的な系列の予測の精度を向上させるが，全トークンが完全に一致する割合（完全一致率）をむしろ減少させた．このことから，勾配法を用いた最適化による順序学習が困難であることが改めて確認された． |
| 抄録(英) | Auto-regressive generation with Transformers enables sequential generation of reasoning processes as token sequences, and has been applied to tasks involving multi-step reasoning such as arithmetic. The order of intermediate steps (chain of thought) generated by the decoder can affect learning difficulty. Sato et al. identified learning-friendly orders for arithmetic tasks through order search, while pointing out that relaxing permutation matrices to real values and mixing them can cause information leakage from future tokens, and proposed a search-based approach. This study re-examines the approach of relaxing permutation matrices to real values that Sato et al. avoided. Specifically, we verify the case of learning permutations without information leakage using the Sinkhorn algorithm and Straight Through Estimator (STE). We experiment on two arithmetic tasks with high order sensitivity and investigate the effectiveness and limitations of this method. The results showed that the proposed optimization improves the accuracy of partial sequence prediction but rather reduces the complete match rate (the proportion of all tokens matching exactly). This reaffirms that learning the order through gradient-based optimization is difficult with the proposed method. |
| キーワード(和) | Transformer / 自己回帰生成 / 順序最適化 / 算術計算学習 |
| キーワード(英) | Transformer / Autoregressive Generation / Order Optimization / Arithmetic Learning |
| 資料番号 | IBISML2025-49 |
| 発行日 | 2026-03-17 (IBISML) |
| 研究会情報 | |
| 研究会 | PRMU / IPSJ-CVIM / IBISML / ITE-SIP |
|---|---|
| 開催期間 | 2026/3/24(から2日開催) |
| 開催地（和） | あわぎんホール |
| 開催地（英） | |
| テーマ（和） | 人や動物の行動解析、マルチメディア認識技術 |
| テーマ（英） | |
| 委員長氏名（和） | 斎藤 英雄(慶應大) / / 神嶌 敏弘(独立研究者) / 角田 貢(日体大) |
| 委員長氏名（英） | Hideo Saito(Keio Univ.) / / Toshihiro Kamishima(independent researcher) / Mitsugu Kakuta(Nippon Sport Science Univ.) |
| 副委員長氏名（和） | 石井 雅人(Sony AI) / 西山 正志(鳥取大) / / 中村 篤祥(北大) / 津田 宏治(東大) / 三上 弾(工学院大) |
| 副委員長氏名（英） | Masato Ishii(Sony AI) / Masashi Nishiyama(Tottori Univ.) / / Atsuyoshi Nakamura(Hokkaido Univ.) / Koji Tsuda(Univ. of Tokyo) / Dan Mikami(Kogakuin Univ.) |
| 幹事氏名（和） | 金子 直史(東京電機大) / 住吉 信一(（株）デンソーアイティーラボラトリ) / / 河原 吉伸(阪大) / 鈴木 大慈(東大) |
| 幹事氏名（英） | Naoshi Kaneko(Tokyo Denki Univ..) / Shinichi Sumiyoshi(Denso IT Laboratory.) / / Yoshinobu Kawahara(Osaka Univ.) / Taiji Suzuki(Univ.of Tokyo) |
| 幹事補佐氏名（和） | 川上 玲(科学大) / 望月 義彦(埼玉工大) / / 杉山 麿人(NII) / 佐久間 淳(科学大) |
| 幹事補佐氏名（英） | Rei Kawakami(Science Tokyo) / Yoshihiko Mochizuki(SIT) / / Mahito Sugiyama(NII) / SAKUMA JUN(Science Tokyo) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Pattern Recognition and Media Understanding / Special Interest Group on Computer Vision and Image Media / Technical Committee on Information-Based Induction Sciences and Machine Learning / Technical Group on Sport Information Processing |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 算術計算学習における自己回帰生成のための生成順序の最適化 |
| サブタイトル（和） | |
| タイトル（英） | Optimizing the Ordering in the Chain of Thought for Arithmetic |
| サブタイトル（和） | |
| キーワード(1)（和/英） | Transformer / Transformer |
| キーワード(2)（和/英） | 自己回帰生成 / Autoregressive Generation |
| キーワード(3)（和/英） | 順序最適化 / Order Optimization |
| キーワード(4)（和/英） | 算術計算学習 / Arithmetic Learning |
| 第 1 著者 氏名（和/英） | 細川 明日紀 / Asuki Hosokawa |
| 第 1 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba U) |
| 第 2 著者 氏名（和/英） | 内藤 煌瑛 / Koei Naito |
| 第 2 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba U) |
| 第 3 著者 氏名（和/英） | 佐藤 裕太 / Yuta Sato |
| 第 3 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba U) |
| 第 4 著者 氏名（和/英） | 計良 宥志 / Hiroshi Kera |
| 第 4 著者 所属（和/英） | 千葉大学(略称：千葉大) Chiba University(略称：Chiba U) |
| 発表年月日 | 2026-03-25 |
| 資料番号 | IBISML2025-49 |
| 巻番号（vol） | vol.125 |
| 号番号（no） | IBISML-425 |
| ページ範囲 | pp.60-66(IBISML), |
| ページ数 | 7 |
| 発行日 | 2026-03-17 (IBISML) |