| 講演名 | 2022-01-29 非手指動作の学習を促進する手話学習支援システムの検討 松丸 和暉(芝浦工大), 筒口 拳(崇城大), 米村 俊一(芝浦工大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 日本手話や中間型手話では，手指の形・手指の動き・手指の位置といった手指動作と口型・頭の動き・表情といった非手指動作を連携することで言語的な表現が行われる．手指動作は主に手形による単語表現であり，非手指動作は程度を表す副詞や文節といった文法構造を表出するために用いられる．非手指動作は，その音韻すなわち手話表現のタイミングによって意味が変化するため，初学者にとって非手指動作の音韻を学習することは容易ではない．そのため，多くの初学者は手指動作のみの学習に重点を置く傾向があり，副詞や文法構造を表出する上で重要な非手指動作の学習が不十分となる．我々は，初学者が手指動作と非手指動作を適切に同期させ，正しく手話表現を行うために，手話映像に含まれる手指動作の軌跡が大きく変化する画像フレームをキーフレームとして抽出し，そのキーフレームに含まれる頭部軌跡の変化量を可視化することで手指動作と非手指動作の連携やタイミングのずれなどの理解を促進する手話学習支援システムを検討している．本稿では，まず，頷きや首振りと行った頭部動作に着目し，頭の動きを強調表示する方法について検討をおこなった．この手話学習支援システムのプロトタイプを用いて実験的な検証を行った結果，頭部動作に関する学習について，初学者自身による自己評価および手話上級者による他者評価の両方において，有意な学習効果が得られたので報告する． |
| 抄録(英) | Japanese sign language and Pidgin sign Japanese express themselves by coordinating manual signals such as hand shapes，movements and positions with non-manual signals such as mouth gesture，facial expressions and head movements．Manual signals are mainly used to express words，and non-manual signals are used to express grammatical structures such as adverbs and clauses．It is difficult for novice to learn phoneme of non-manual signals because non-manual signals change their meaning depending on the timing of sign language expression．So，many novice neglect learning of non-manual signals． We extract keyframes in which the locus of manual signals in a sign language video changes significantly for novice to synchronize manual signals and non-manual signals appropriately and to express sign language correctly．Then，by visualizing the amount of change in the head movements included in the keyframes, we are investigating a sign language learning support system that promotes understanding of the coordination and timing gap between manual signals and non-manual signals．In this paper，we focus on head movements such as nodding and shaking head，and investigated how to highlight head movements．As a result of experimental verification using a prototype of this sign language learning support system, we report that significant learning effects were obtained for learning of head movements in both self-assessment by novice learners themselves and assessment by advanced sign language learners． |
| キーワード(和) | 日本手話 / 手指動作 / 非手指動作 / キーフレーム / 頭部動作 |
| キーワード(英) | Japanese sign language / manual signal / non-manual signal / keyframe / head movement |
| 資料番号 | HCS2021-56 |
| 発行日 | 2022-01-21 (HCS) |
| 研究会情報 | |
| 研究会 | HCS |
|---|---|
| 開催期間 | 2022/1/28(から2日開催) |
| 開催地（和） | オンライン開催 |
| 開催地（英） | Online |
| テーマ（和） | 食とコミュニケーション，および一般 |
| テーマ（英） | Food and Communication, and other general topics |
| 委員長氏名（和） | 井上 智雄(筑波大) |
| 委員長氏名（英） | Tomoo Inoue(Univ. of Tsukuba) |
| 副委員長氏名（和） | 林 勇吾(立命館大) / 神田 智子(大阪工業大学) |
| 副委員長氏名（英） | Yugo Hayashi(Ritsumeikan Univ.) / Tomoko Kanda(Osaka Inst. of Tech.) |
| 幹事氏名（和） | 吉田 悠(日大) / 藤原 健(台湾国立中正大) / 小森 政嗣(阪電通大) |
| 幹事氏名（英） | Haruka Yoshida(Nihon Univ.) / Ken Fujiwara(National Chung Cheng Univ) / Masashi Komori(Osaka Electro-Comm. Univ.) |
| 幹事補佐氏名（和） | 黄 宏軒(福知山公立大) / 飯塚 重善(神奈川大) / 高嶋 和毅(東北大) / 斎藤 博人(東京電機大) / 石井 亮(NTT) |
| 幹事補佐氏名（英） | HUANG HUNGHSUAN(Univ. of Fukuchiyama) / Shigeyoshi Iizuka(Kanagawa Univ.) / Kazuki Takashima(Tohoku Univ.) / Hiroto Saito(Tokyo Denki Univ.) / Ryo Ishii(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Human Communication Science |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 非手指動作の学習を促進する手話学習支援システムの検討 |
| サブタイトル（和） | |
| タイトル（英） | Basic study of sign language learning support system: Facilitate learning of Non-Manual Signals |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 日本手話 / Japanese sign language |
| キーワード(2)（和/英） | 手指動作 / manual signal |
| キーワード(3)（和/英） | 非手指動作 / non-manual signal |
| キーワード(4)（和/英） | キーフレーム / keyframe |
| キーワード(5)（和/英） | 頭部動作 / head movement |
| 第 1 著者 氏名（和/英） | 松丸 和暉 / Kazuki Matsumaru |
| 第 1 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute Of Technology(略称：SIT) |
| 第 2 著者 氏名（和/英） | 筒口 拳 / Ken Tsutsuguchi |
| 第 2 著者 所属（和/英） | 崇城大学(略称：崇城大) Sojo University(略称：Sojo Univ.) |
| 第 3 著者 氏名（和/英） | 米村 俊一 / Shun-ichi Yonemura |
| 第 3 著者 所属（和/英） | 芝浦工業大学(略称：芝浦工大) Shibaura Institute Of Technology(略称：SIT) |
| 発表年月日 | 2022-01-29 |
| 資料番号 | HCS2021-56 |
| 巻番号（vol） | vol.121 |
| 号番号（no） | HCS-363 |
| ページ範囲 | pp.75-80(HCS), |
| ページ数 | 6 |
| 発行日 | 2022-01-21 (HCS) |