| 講演名 | 2022-11-18 部分X線画像の外挿による全身筋骨格系構造の予測 チョウ ウェイキ(奈良先端大), 谷 懿(奈良先端大), 大竹 義人(奈良先端大), 崇風 まあぜん(奈良先端大), 上村 圭亮(阪大), 高尾 正樹(愛媛大), 明石 敏昭(順天堂大), 森 健策(名大/NII), 合田 憲人(NII), 菅野 伸彦(阪大), 佐藤 嘉伸(奈良先端大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | Image defects and partial disorders are common problems in medical imaging. Image inpainting and extrapolation are helpful techniques to restore missing image information for many clinical applications, including analyzing organs or tissues that are not scanned during imaging processing. Many image restoration algorithms have been proposed for general images. However, numerous challenges still exist in restoring medical images, such as domain shifting and limited datasets. Conventional methods for medical image restoration only focused on recovering small regions within a given image, ignoring clinical demands for extrapolation. In this study, we proposed a method based on the transformer for restoring an X-ray image with large regions, which supports whole-body restoration from a partial region, using mutual conversion between an X-ray image and a digitally reconstructed radiograph. Our method combined an extrapolation network and a style transfer network, simultaneously achieving the inpainting and extrapolating of an X-ray image under a limited dataset. To the best of our knowledge, we are the first to achieve whole-body restoration from an X-ray image. We conducted 1) quantitative and qualitative experiments on the extrapolation and style transfer models and 2) bone mineral density (BMD) estimation experiments from extrapolated X-ray images generated by the proposed method. We used the predicted and ground-truth BMD correlation to evaluate our model's effectiveness, which achieved PCC of 0.374 and 0.534 in DXA-measured and QCT-measured BMD, respectively, demonstrating the high clinical potential of analyzing missing regions using the proposed method. |
| 抄録(英) | Image defects and partial disorders are common problems in medical imaging. Image inpainting and extrapolation are helpful techniques to restore missing image information for many clinical applications, including analyzing organs or tissues that are not scanned during imaging processing. Many image restoration algorithms have been proposed for general images. However, numerous challenges still exist in restoring medical images, such as domain shifting and limited datasets. Conventional methods for medical image restoration only focused on recovering small regions within a given image, ignoring clinical demands for extrapolation. In this study, we proposed a method based on the transformer for restoring an X-ray image with large regions, which supports whole-body restoration from a partial region, using mutual conversion between an X-ray image and a digitally reconstructed radiograph. Our method combined an extrapolation network and a style transfer network, simultaneously achieving the inpainting and extrapolating of an X-ray image under a limited dataset. To the best of our knowledge, we are the first to achieve whole-body restoration from an X-ray image. We conducted 1) quantitative and qualitative experiments on the extrapolation and style transfer models and 2) bone mineral density (BMD) estimation experiments from extrapolated X-ray images generated by the proposed method. We used the predicted and ground-truth BMD correlation to evaluate our model's effectiveness, which achieved PCC of 0.374 and 0.534 in DXA-measured and QCT-measured BMD, respectively, demonstrating the high clinical potential of analyzing missing regions using the proposed method. |
| キーワード(和) | 画像の外挿 / X線画像 / トランスフォーマー / 骨密度(BMD)推定値 |
| キーワード(英) | Image Extrapolation / X-ray Image / Transformer / Bone Mineral Density (BMD) Estimation |
| 資料番号 | MICT2022-38,MI2022-67 |
| 発行日 | 2022-11-11 (MICT, MI) |
| 研究会情報 | |
| 研究会 | MICT / MI |
|---|---|
| 開催期間 | 2022/11/18(から1日開催) |
| 開催地（和） | 名古屋工業大学 |
| 開催地（英） | Nagoya Institute of Technology |
| テーマ（和） | 医用画像工学一般，ヘルスケア・医療情報通信技術，一般 |
| テーマ（英） | Medical imaging technology, healthcare and medical information communication technology, etc. |
| 委員長氏名（和） | 田中 宏和(広島市大) / 本谷 秀堅(名工大) |
| 委員長氏名（英） | Hirokazu Tanaka(Hiroshima City Univ.) / Hidekata Hontani(Nagoya Inst. of Tech.) |
| 副委員長氏名（和） | 杉本 千佳(横浜国大) / 安在 大祐(名工大) / 羽石 秀昭(千葉大) / 北坂 孝幸(愛知工大) |
| 副委員長氏名（英） | Chika Sugimoto(Yokohama National Univ.) / Daisuke Anzai(Nagoya Inst. of Tech.) / Hideaki Haneishi(Chiba Univ.) / Takayuki Kitasaka(Aichi Inst. of Tech.) |
| 幹事氏名（和） | 高林 健人(岡山県立大) / 石田 開(神奈川県立産業技術総研) / 平野 靖(山口大) / 原口 亮(兵庫県立大) |
| 幹事氏名（英） | Kento Takabayashi(Okayama Pref. Univ.) / Kai Ishida(KISTEC) / Yasushi Hirano(Yamaguchi Univ.) / Ryo Haraguchi(Univ. of Hyogo) |
| 幹事補佐氏名（和） | 伊藤 孝弘(広島市立大) / 中山 奈津紀(名大) / 西川 拓也(国立循環器病研究センター) / 原 武史(岐阜大) / 大竹 義人(奈良先端大) |
| 幹事補佐氏名（英） | Takahiro Ito(Hiroshima City Univ) / Natsuki Nakayama(Nagoya Univ.) / Takuya Nishikawa(National Cerebral and Cardiovascular Center Hospital) / Takeshi Hara(Gifu Univ.) / Yoshito Otake(NAIST) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Healthcare and Medical Information Communication Technology / Technical Committee on Medical Imaging |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | 部分X線画像の外挿による全身筋骨格系構造の予測 |
| サブタイトル（和） | |
| タイトル（英） | Extrapolation of partial X-ray image for prediction of whole body musculoskeletal structure |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 画像の外挿 / Image Extrapolation |
| キーワード(2)（和/英） | X線画像 / X-ray Image |
| キーワード(3)（和/英） | トランスフォーマー / Transformer |
| キーワード(4)（和/英） | 骨密度(BMD)推定値 / Bone Mineral Density (BMD) Estimation |
| 第 1 著者 氏名（和/英） | チョウ ウェイキ / Weiqi Zhang |
| 第 1 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 2 著者 氏名（和/英） | 谷 懿 / Yi Gu |
| 第 2 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 3 著者 氏名（和/英） | 大竹 義人 / Yoshito Otake |
| 第 3 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 4 著者 氏名（和/英） | 崇風 まあぜん / Soufi Mazen |
| 第 4 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 第 5 著者 氏名（和/英） | 上村 圭亮 / Keisuke Uemura |
| 第 5 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ) |
| 第 6 著者 氏名（和/英） | 高尾 正樹 / Masaki Takao |
| 第 6 著者 所属（和/英） | 愛媛大学(略称：愛媛大) Ehime University(略称：Ehime Univ) |
| 第 7 著者 氏名（和/英） | 明石 敏昭 / Toshiaki Akashi |
| 第 7 著者 所属（和/英） | 順天堂大学(略称：順天堂大) Juntendo University(略称：Juntendo Univ) |
| 第 8 著者 氏名（和/英） | 森 健策 / Kensaku Mori |
| 第 8 著者 所属（和/英） | 名古屋大学/大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(略称：名大/NII) Nagoya University/National Institute of Informatics(略称：Nagoya Univ/NII) |
| 第 9 著者 氏名（和/英） | 合田 憲人 / Kento Aida |
| 第 9 著者 所属（和/英） | 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所(略称：NII) National Institute of Informatics(略称：NII) |
| 第 10 著者 氏名（和/英） | 菅野 伸彦 / Nobuhiko Sugano |
| 第 10 著者 所属（和/英） | 大阪大学(略称：阪大) Osaka University(略称：Osaka Univ) |
| 第 11 著者 氏名（和/英） | 佐藤 嘉伸 / Yoshinobu Sato |
| 第 11 著者 所属（和/英） | 奈良先端科学技術大学院大学(略称：奈良先端大) Nara Institute of Science and Technology(略称：NAIST) |
| 発表年月日 | 2022-11-18 |
| 資料番号 | MICT2022-38,MI2022-67 |
| 巻番号（vol） | vol.122 |
| 号番号（no） | MICT-264,MI-265 |
| ページ範囲 | pp.24-28(MICT), pp.24-28(MI), |
| ページ数 | 5 |
| 発行日 | 2022-11-11 (MICT, MI) |