| 講演抄録／キーワード |
| 講演名 |
2021-02-18 11:35
Attention Mapを用いた道路構造物の変状画像分類におけるテキストデータ導入による高精度化の検討
○小川直輝・前田圭介・小川貴弘・長谷山美紀（北大） |
| 抄録 |
（和） |
本稿では，attention map を用いた道路構造物の変状画像分類におけるテキストデータの導入に基づく高精度化に関する検討を行う．具体的に，本論文では，マルチモーダルなデータを用いた変状画像の劣化レベル推定のため，correlation-aware attention branch network（CorABN）を提案する．CorABN では，変状画像から得られる画像特徴と，検査時に記録されたテキストデータから得られるテキスト特徴を協調利用することで，劣化レベル推定の高精度化を実現する．提案手法では，画像特徴と劣化レベル推定に有用な情報を有するテキスト特徴との相関を最大化することで，これらの相関を考慮した attention map を生成可能とする．また，最終的な推定では，アテンションメカニズムによって改良された画像特徴とともにテキスト特徴を利用することで，精度の向上を可能にする．CorABN は，推定精度と相関の両方に基づく損失を用いて，モデル全体を end-to-end に学習させることが可能である．本文の最後では，変状画像とそれに対応するテキストデータを用いた実験により，提案手法の有効性を確認する． |
| （英） |
This paper presents a correlation-aware attention branch network (CorABN) using multi-modal data for deterioration level estimation of infrastructures. CorABN can collaboratively use visual features from distress images and text features from text data recorded at the inspection to improve the estimation accuracy. Specifically, by maximizing the correlation between the visual and text features that provide useful information for the deterioration level estimation, a correlation-aware attention map can be generated. Besides, the text features are also utilized in the final estimation along with visual features improved by the attention mechanism. With the losses based on both the estimation accuracy and the correlation, CorABN can train the entire model in an end-to-end manner. Experiments using distress images and their corresponding text data show the effectiveness of the proposed method. |
| キーワード |
（和） |
変状画像 / 劣化レベル推定 / 深層学習 / 相関最大化 / attention map / / / |
| （英） |
Distress image / deterioration level estimation / deep learning / correlation maximization / attention map / / / |
| 文献情報 |
信学技報 |
| 資料番号 |
|
| 発行日 |
|
| ISSN |
|
| PDFダウンロード |
|