講演抄録/キーワード |
講演名 |
2021-03-04 10:30
空間周波数損失を用いた畳み込みニューラルネットワークの学習 ○市村直幸(産総研) PRMU2020-73 |
抄録 |
(和) |
画像生成を行う畳み込みニューラルネットワーク(CNNs)の学習では,画像間の一致度を測るために,画素値毎の差異を計算するL2損失およびL1損失(pixel-wise L2 loss and pixel-wise L1 loss)が用いられている.しかし,
これらの損失を用いると,ボケた画像が生成されるという問題がある.本論文では,この問題を解決するために,空間周波数損失(Spatial Frequency Loss:SFL)を用いたCNNsの学習方法を提案する.生成された画像のボケは高い空間周波数成分が失われていることを表し,その欠落の度合いはCNNsの周波数応答に依存する.CNNsの周波数応答を解析するために,バンドパス特性をもつラプラシアンフィルタバンクをCNNsに付加し,画像のサブバンドに属する特徴を抽出する.そして,全てのサブバンドにわたる特徴のL2損失の総和としてSFLを定義し,学習においては高周波成分に対応する損失を重み付けて強調する.CNNsを用いたimage inpaintingの実験により,SFLを用いた学習は,ボケが少なく,かつ,詳細なテクスチャをもつ画像の生成に有効であることを示した. |
(英) |
The pixel-wise L2 and pixel-wise L1 losses have been commonly used to measure the consistency between images in learning convolutional neural networks~(CNNs) for image generation tasks. However, using the losses poses the well-known problem of producing blurry images. This paper presents a learning method using a novel loss called the spatial frequency loss~(SFL) to mitigate the problem. The blurs in generated images show the lack of high spatial frequency components and the degree of deficiency depends on the frequency response of CNNs. In order to analyze the frequency response of CNNs, a Laplacian filter bank that has a band-pass property is added to CNNs to extract features in subbands of images. Then the SFL is defined by the sum of the L2 losses of the features over subbands and the losses corresponding to high spatial frequency components are emphasized by weighting in learning. Experimental results for image inpainting using CNNs demonstrate that learning with the SFL is fairly useful to reduce the blurs and produce the fine texture details in generated images. |
キーワード |
(和) |
畳み込みニューラルネットワーク / 損失関数 / 空間周波数 / Image inpainting / / / / |
(英) |
Convolutional neural networks / Loss function / Spatial frequency / Image inpainting / / / / |
文献情報 |
信学技報, vol. 120, no. 409, PRMU2020-73, pp. 25-30, 2021年3月. |
資料番号 |
PRMU2020-73 |
発行日 |
2021-02-25 (PRMU) |
ISSN |
Online edition: ISSN 2432-6380 |
著作権に ついて |
技術研究報告に掲載された論文の著作権は電子情報通信学会に帰属します.(許諾番号:10GA0019/12GB0052/13GB0056/17GB0034/18GB0034) |
PDFダウンロード |
PRMU2020-73 |