| 講演名 | 2020-01-30 NI Vision Assistantによる画像処理の方法について 上遠野 拓実(湘南工科大), 岡崎 秀晃(湘南工科大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | NI Vision Assistantによる画像処理の方法について上遠野 拓実1) 岡崎 秀晃2) 湘南工科大学〒251?8511 神奈川県藤沢市辻堂西海岸1?1?25E-mail: 1) 17A6026@sit.shonan-it.ac.jp, 2) okazaki@sc.shonan-it.ac.jpあらまし 本報告では、NI myRIOとUSBカメラを用いた画像の集録、そして、NI Vision Assistantを用いた画像処理の方法について述べる。最初に、使用したハードウェアとソフトウェアに関する説明と画像集録方法について解説する。次に、集録した画像を画像処理する手順と、画像処理に使用した「処理関数」について説明し、さらにこれらの方法の応用について、現在考えられる応用方法を紹介していく。最後に、本報告の主な結果についてまとめ、今後の展望について述べる。キーワード NI Vision Assistant, 画像処理, LabVIEW, NI myRIO １．はじめに 湘南工科大学コンピュータ応用学科の特色といえるTPL(チームプロジェクトラーニング)は、少数の学生と一人の教員によるプロジェクトの考案、実験を行う授業となっている。平成30年度および令和元年度の岡崎TPL画像処理研究チームでは、NI myRIOとUSBカメラを用いた画像の集録並びに、NI Vision Assistantを用いた画像処理を行う研究を行ってきた。本報告では、最初に、使用したハードウェアとソフトウェアに関する説明と画像集録方法について解説する。次に、集録した画像を画像処理する手順と、画像処理に使用した「処理関数」について説明する。さらに、これらの方法の応用について、現在考えられる応用方法を紹介していく。最後に、本報告の主な結果についてまとめ、今後の展望について述べる。２．NI myRIOとNI Vision Assistantとは NI myRIO（以下、myRIO）とは、学生向けに設計された制御デバイスでNI LabVIEWやC++などの複数の環境でプログラミングが可能である。(図1) 岡崎研究室では、myRIOのプログラミングではNI LabVIEWを使用しており、今回の研究ではmyRIOにUSBカメラを接続し、撮影し取得した画像に画像処理を行うことを目的とした。 NI Vision Assistant(以下VA)はカメラの映像から画像を取得し、それに色の変化や明るさ、バイナリ変換などの処理を行う関数を使い画像処理を施すソフトウェアである。起動には1152*864の画面サイズが必要だが、タスクバーの設定から対応するマシンの「タスクバーを自動的に隠す」をオンにすることで画面サイズを拡大し、起動できるようになるケースもある。今回は前述のmyRIOと組み合わせ、myRIOに接続したUSBカメラから画像を集録、VAで関数を利用し画像処理を行った。３． 画像の集録 まず、画像の集録とはどのような作業なのか。これはUSBカメラなどのリアルタイムで映像を撮影する器具で映像を取得し、その映像のとあるシーンを画像化して取り出すことである。 VAではUSBカメラの映像をリアルタイムで取得できる。ここで図2のボタンを押すことで、その瞬間の映像を画像化して集録できる。４．手順 ここでは、実際に画像処理するまでの手順を説明する。本報告で使用したカメラはLogical HD Webcam C270である。 4-1. USBカメラをmyRIOに接続 USBカメラをmyRIOに接続し、コンピュータと接続した状態にする。この時画面にはmyRIOの情報がウィンドウに出てくるので、そのうちのIPアドレスだけ覚えておく。 4-2. VAを起動 VAを起動する。前述の通り1152*884の画面サイズが無いと起動そのものができないので要注意である。最初にスクリプトの選択を要求されるが、今回はプログラムの作成を行わないためすぐ横のメニューから「画像を集録」を選択。 4-3. ターゲットの選択 USBカメラを使用する集録は上から2番目の「1394、GigE、またはUSB」で、これをクリックすると使用するデバイスを選択するウィンドウになる。そこから「ターゲット」の欄を「ネットワークターゲットを選択」に変更し、画面中央に出てきたウィンドウへ先ほどのIPアドレスを入力することでリアルタイムの映像取得が可能となる。 なお、USBカメラを直接接続する場合はそのまま「デバイス」の欄にカメラの名前が出てくるので、それを選んで再生ボタンを押せばよい(ターゲット変更は不要)。 4-4. 集録 図2のボタンを押すことで画像が集録され、左上のライブラリに格納される。集録した画像は保存をしなかった場合すべて破棄される。５．処理関数 ここまでにできたことは「画像の集録」である。では次に画像処理に使用する”処理関数”について説明する。 処理関数は色の調節やモフォロジーなど6種類に分類され、中には特定の画像タイプを要求するものもある。左から「画像」、「カラー」、「グレースケール」、「バイナリ」、「マシンビジョン」、「識別」に分かれ、ここから関数を組み合わせることで画像処理を行うことになる。以下の画像2つは実際に画像処理を施したものだ(図7 および図8)。 図7ではホワイトボードを撮影した画像のガンマ値を下げ、その上でカラー演算子で赤の論理和を追加してある。図8では画像の二値化(バイナリ化)を行っていて、ルックアップテーブルで1/x乗の後フィルタを使いエッジ部分のみを線表示するようにしている。関数を合わせることでこのような画像処理が可能だ。 ただしRGBとバイナリでは使用できる関数が異なり、カラー関係の関数はバイナリ画像で使用できず、反対にバイナリ及びグレースケールはRGBだと使用できない。今の画像タイプで使用できない関数を選択すると、以下のように注意される(図9)。６．主に使用した関数 6-1 カラー演算子 カラー演算子は選択した色を画像に加算乗除したり、論理計算を行ったりする。これにより画像全体の色を変化させられる。 6-2 カラープレーン抽出 この関数を使用すると、RGBまたはHSL(色相、彩度、輝度から成る色空間)、HSVの明度、HISの輝度からどれかを画像から除去できる。 この画像では光源が黒くなり、暗い場所が白で表されている。6-3 輝度 輝度は「輝度」「コントラスト」「ガンマ」の3つで構成される。輝度はそのまま明るさ、コントラストは最も明るいところと暗いところの対比のことで、バーを右に動かす(上げる)と明るいところと暗いところの差がはっきりと表れるようになる。ガンマは画像にかかっている補正のことで、これにより着目したいもの以外を粒子単位でなくすことが可能(下げると特に暗い場所を、上げると光源をはっきりと映し出す)。6-4 カラー2値化 この関数により、暗い場所や黒い線・点などを赤色(変更可能)の領域で調べることができる。以下のメニュー部では、表示されるヒストグラムのうち黒い波部分に赤の線を合わせることが必要になる。この部分で領域は調整可能。7, 用途について ここまでVAを用いた画像処理の方法について述べてきた。では、用途として考えられる事は何があるのか。 私が考えるのは、人工知能のディープラーニングだ。1000や2万といった膨大な量のデータを必要とするが、その中に画像処理を施した画像を混ぜることで集める手間を減らすことができ、人工知能の判別力を試すこともできる。ただ色調補正をかけた画像だけでなく、本報告内で紹介した関数達を利用することで同じ基画像から全く違うような画像が作成可能で、これによりディープラーニングへの利用が可能と考える。本当は同じ画像だが画像処理により別の画像にし、それを人工知能が正しく判別できるか、ここが一番のポイントだろう。8. まとめ myRIOとUSBカメラを利用し、画像を映像から収集し、VAおよび関数を利用して画像に変化を与えることができる。関数の使い方によって変化のしかたは変わり、同じ元の画像からそれぞれ違う様子の画像へ変化させられる。ただし関数には適した画像タイプがあるので適さない画像タイプの場合使用不可。 こうした画像処理を、ディープラーニングへと利用できないかと考える。画像の収集の手間が減り、使用した関数にもよるが本当は同じ画像をどこまで正確に判別できるか人工知能を試すことが可能になる。 VAに関しては大半の機能を使用できていないが、最低限の機能と関数を使用した画像処理を行った。複数の関数を合わせることで同じ基画像から全く異なる処理画像を作成でき、ディープラーニングの実験に使用する画像の集録・処理に適していると考えた。さらに他の機能を使用できるようにし、更なる利用方法の発掘を目指したい。 |
| 抄録(英) | |
| キーワード(和) | NI Vision Assistant / 画像処理 / Labview / NI myRIO |
| キーワード(英) | |
| 資料番号 | CAS2019-64,ICTSSL2019-33 |
| 発行日 | 2020-01-23 (CAS, ICTSSL) |
| 研究会情報 | |
| 研究会 | ICTSSL / CAS |
|---|---|
| 開催期間 | 2020/1/30(から2日開催) |
| 開催地（和） | 機械振興会館 |
| 開催地（英） | |
| テーマ（和） | 学生セッション，一般 |
| テーマ（英） | |
| 委員長氏名（和） | 不破 泰(信州大) / 山脇 大造(日立) |
| 委員長氏名（英） | Yasushi Fuwa(Sinshu Univ.) / Taizo Yamawaki(Hitachi) |
| 副委員長氏名（和） | 田村 裕(中大) / 和田 友孝(関西大) / 高島 康裕(北九州市大) |
| 副委員長氏名（英） | Hiroshi Tamura(Chuo Univ.) / Tomotaka Wada(Kansai Univ.) / Yasuhiro Takashima(Univ. of Kitakyushu) |
| 幹事氏名（和） | 佐藤 大輔(NTT) / 大塚 晃(事業創造大) / 中村 洋平(日立) / 佐藤 隆英(山梨大) |
| 幹事氏名（英） | Daisuke Sato(NTT) / Akira Otsuka(Jigyo) / Yohei Nakamura(Hitachi) / Takahide Sato(Yamanashi Univ.) |
| 幹事補佐氏名（和） | 横山 俊一(防災科学技術研) / 佐藤 弘樹(ソニーLSIデザイン) / 山口 基(ルネサスエレクトロニクス) |
| 幹事補佐氏名（英） | Shunichi Yokoyama(NIED) / Hiroki Sato(Sony LSI Design) / Motoi Yamaguchi(Renesas Electronics) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Information and Communication Technologies for Safe and Secure Life / Technical Committee on Circuits and Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | NI Vision Assistantによる画像処理の方法について |
| サブタイトル（和） | |
| タイトル（英） | How to do image processing by NI Vision Assistant |
| サブタイトル（和） | |
| キーワード(1)（和/英） | NI Vision Assistant |
| キーワード(2)（和/英） | 画像処理 |
| キーワード(3)（和/英） | Labview |
| キーワード(4)（和/英） | NI myRIO |
| 第 1 著者 氏名（和/英） | 上遠野 拓実 / Katohno Takumi |
| 第 1 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) Shonan Institute of Technology(略称：Shonan Inst. Tech) |
| 第 2 著者 氏名（和/英） | 岡崎 秀晃 / Hideaki Okazaki |
| 第 2 著者 所属（和/英） | 湘南工科大学(略称：湘南工科大) InstituteShonan Institute of Technology(略称：Shonan Inst. Tech) |
| 発表年月日 | 2020-01-30 |
| 資料番号 | CAS2019-64,ICTSSL2019-33 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | CAS-400,ICTSSL-401 |
| ページ範囲 | pp.7-11(CAS), pp.7-11(ICTSSL), |
| ページ数 | 5 |
| 発行日 | 2020-01-23 (CAS, ICTSSL) |