| 講演名 | 2018-03-09 意味領域分割に基づく効率的かつインタラクティブな画像検索 古田 諒佑(東大), 井上 直人(東大), 山崎 俊彦(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 本稿では効率的でインタラクティブな画像検索システムを提案する．既存の画像検索システムでは，意味的な制約と位置的な制約（例えば，画像の中央に馬が写っており，その上に人が乗っている）の両方を考慮した画像を検索することは困難である．それに対して，提案システムはFully convolutional networks (FCN)を用いた意味領域分割をもとに画像を検索するため，その両方の制約を考慮することができる．提案システムでは，(i)ユーザーによって描かれたセグメンテーションマップ，(ii)自然画像，(iii)それらの組み合わせ，の３つの種類の画像をクエリとして扱うことができ，インタラクティブな検索が可能である．クエリとデータベース中の画像との距離は，FCNの出力である確率マップをもとに計算される．また，直積量子化(Product Quantization: PQ)と呼ばれる手法を用いることで，計算時間とメモリ使用量の両方の面に関して効率化する．実験では，提案システムがテキストに基づく画像検索よりも高い性能を発揮することを示す． |
| 抄録(英) | This paper proposes an efficient image retrieval system. When users wish to retrieve images with semantic and spatial constraints (eg, a horse is located at the center of the image, and a person is riding on the horse), it is difficult for conventional text-based retrieval systems to retrieve such images exactly. In contrast, the proposed system can consider both semantic and spatial information, because it is based on semantic segmentation using fully convolutional networks (FCN). The proposed system can accept three types of images as queries: a segmentation map sketched by the user, a natural image, or a combination of the two. The distance between the query and each image in the database is calculated based on the output probability maps from the FCN. In order to make the system efficient in terms of both the computation time and memory usage, we employ the product quantization technique (PQ). The experimental results show that the PQ is compatible with the FCN-based image retrieval system, and that the quantization process results in little information loss. It is also shown that our method outperforms a conventional text-based search system. |
| キーワード(和) | 画像検索 / 全畳み込みネットワーク / 意味領域分割 / 直積量子化 |
| キーワード(英) | Image retrieval / Fully convolutional networks / Semantic segmentation / Product quantization |
| 資料番号 | IMQ2017-59,IE2017-151,MVE2017-101 |
| 発行日 | 2018-03-01 (IMQ, IE, MVE) |
| 研究会情報 | |
| 研究会 | CQ / MVE / IE / IMQ |
|---|---|
| 開催期間 | 2018/3/8(から2日開催) |
| 開催地（和） | 沖縄産業支援センター |
| 開催地（英） | Okinawa Industry Support Center |
| テーマ（和） | 五感メディア，食メディア，マルチメディア， メディアエクスペリエンス，映像符号化， イメージメディアの品質，ネットワークの品質および信頼性，一般（食メディア（CEA）研究会,魅力工学（AC）研究会協賛） |
| テーマ（英） | Five Senses Media, Cooking and Eating Activities Media, Multimedia, Media Experience, Video Encoding, Image Media Quality, Network Quality and Reliability, etc. (Co-sponsor: Technical Committee on Multimedia on Cooking and Eating Activities (CEA)) |
| 委員長氏名（和） | 林 孝典(広島工大) / 亀田 能成(筑波大) / 浜本 隆之(東京理科大) / 杉山 賢二(成蹊大) |
| 委員長氏名（英） | Takanori Hayashi(Hiroshima Inst. of Tech.) / Yoshinari Kameda(Univ. of Tsukuba) / Takayuki Hamamoto(Tokyo Univ. of Science) / Kenji Sugiyama(Seikei Univ.) |
| 副委員長氏名（和） | 下西 英之(NEC) / 岡本 淳(NTT) / 間瀬 健二(名大) / 児玉 和也(NII) / 木全 英明(NTT) / 中口 俊哉(千葉大) / 前田 充(キヤノン) |
| 副委員長氏名（英） | Hideyuki Shimonishi(NEC) / Jun Okamoto(NTT) / Kenji Mase(Nagoya Univ.) / Kazuya Kodama(NII) / Hideaki Kimata(NTT) / Toshiya Nakaguchi(Chiba Univ.) / Mitsuru Maeda(Canon) |
| 幹事氏名（和） | 池上 大介(NTT) / 久保 亮吾(慶大) / 飯山 将晃(京大) / 木村 篤信(NTT) / 内山 英昭(九大) / 高橋 桂太(名大) / 河村 圭(KDDI総合研究所) / 工藤 博章(名大) / 齊藤 新一郎(ソニー) |
| 幹事氏名（英） | Daisuke Ikegami(NTT) / Ryogo Kubo(Keio Univ.) / Masaaki Iiyama(Kyoto Univ.) / Atsunobu Kimura(NTT) / Hideaki Uchiyama(Kyushu Univ.) / Keita Takahashi(Nagoya Univ.) / Kei Kawamura(KDDI Research) / Hiroaki Kudo(Nagoya Univ.) / Shinichiro Saito(Sony) |
| 幹事補佐氏名（和） | 大田 健紘(日本工大) / 福元 徳広(KDDI総合研究所) / 山本 嶺(電通大) / 平山 高嗣(名大) / 青木 良輔(NTT) / 松尾 康孝(NHK) / 早瀬 和也(NTT) / 土田 勝(NTT) / 大橋 剛介(静岡大) |
| 幹事補佐氏名（英） | Kenko Ota(Nippon Inst. of Tech.) / Norihiro Fukumoto(KDDI Research Inc.) / Ryo Yamamoto(UEC) / Takatsugu Hirayama(Nagoya Univ.) / Ryosuke Aoki(NTT) / Yasutaka Matsuo(NHK) / Kazuya Hayase(NTT) / Masaru Tsuchida(NTT) / Gosuke Ohashi(Shizuoka Univ.) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Communication Quality / Technical Committee on Media Experience and Virtual Environment / Technical Committee on Image Engineering / Technical Committee on Image Media Quality |
|---|---|
| 本文の言語 | ENG-JTITLE |
| タイトル（和） | 意味領域分割に基づく効率的かつインタラクティブな画像検索 |
| サブタイトル（和） | |
| タイトル（英） | Efficient and Interactive Image Retrieval Based on Semantic Segmentation |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 画像検索 / Image retrieval |
| キーワード(2)（和/英） | 全畳み込みネットワーク / Fully convolutional networks |
| キーワード(3)（和/英） | 意味領域分割 / Semantic segmentation |
| キーワード(4)（和/英） | 直積量子化 / Product quantization |
| 第 1 著者 氏名（和/英） | 古田 諒佑 / Ryosuke Furuta |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 第 2 著者 氏名（和/英） | 井上 直人 / Naoto Inoue |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 第 3 著者 氏名（和/英） | 山崎 俊彦 / Toshihiko Yamasaki |
| 第 3 著者 所属（和/英） | 東京大学(略称：東大) The University of Tokyo(略称：Univ. of Tokyo) |
| 発表年月日 | 2018-03-09 |
| 資料番号 | IMQ2017-59,IE2017-151,MVE2017-101 |
| 巻番号（vol） | vol.117 |
| 号番号（no） | IMQ-483,IE-484,MVE-485 |
| ページ範囲 | pp.189-194(IMQ), pp.189-194(IE), pp.189-194(MVE), |
| ページ数 | 6 |
| 発行日 | 2018-03-01 (IMQ, IE, MVE) |