| 講演名 | 2019-06-21 機械学習によるモバイルアプリケーション判定の検証方法と問題点 岩井 貴充(東大), 中尾 彰宏(東大), |
|---|---|
| PDFダウンロードページ |  PDFダウンロードページへ |
| 抄録(和) | 機械学習によるアプリケーション判定は、アプリケーションごとのスライシングやゼロレーティングサービスに応用できるため、多くの研究が行われている。このアプリケーション判定の研究においては、収集したフローデータに含まれるデータのうち新しいデータを検証データとして分割し評価を行うケースが一般的である。しかし、そのような検証データの分割方法では、同じユーザ端末から発するフローが訓練データと検証データの両方に含まれることになるため、新規ユーザのフローを判定するという本来の目的からデータセットの性質が乖離する。さらに、データセットに含まれる特定ユーザに依存するパターンに対して過学習した結果、未知のユーザを対象にしたときと比較して検証データにおける精度が高くなる可能性がある。本研究では訓練データと検証データで生成元となる端末を分けるために、端末の識別子であるIMEIを用いることを提案する。IMEIを用いた検証手法と既存の検証手法と出力されるモデル性能がどの程度異なるかを、アプリケーション判定の識別タスクにて評価した結果、既存の検証手法では4%程度、訓練用端末と検証用端末の組み合わせによっては最大10%モデルの性能を過大評価していることを示す。さらに、モバイルトラフィックでは端末との結びつきが変化するソースIPによる分割が既存の検証手法と同等の結果を生じることを通じて、ユーザの分離には端末との紐付きが厳密なIMEIが必要であることを示す。 |
| 抄録(英) | Machine Learning based application identification has been intensively studied for applications such as application specific network slicing and zero-rating services. In machine learning, a test dataset, which is usually divided chronologically in the collected dataset, is used to evaluate a trained model. We advocate that it is often the case with mobile network analysis that this way of training and validation is irrelevant because overestimation of a trained model may occur when the data from one user is included both in training and in test dataset. In this paper, we propose to use IMEI to identify users and isolate test set from the dataset. We observe that conventional method overestimates by about 4% of accuracy on average and by 10% in the worst case compared to our evaluation using IMEI-based split method. In addition, our evaluation also shows the necessity of the IMEI instead of source IP for data isolation, as a single UE may be assign to multiple source IPs over time and thus source IP may not be a substitute for IMEI. |
| キーワード(和) | 機械学習 / アプリケーション判定 |
| キーワード(英) | Machine Learning / Application Identification |
| 資料番号 | NS2019-40 |
| 発行日 | 2019-06-13 (NS) |
| 研究会情報 | |
| 研究会 | OCS / PN / NS |
|---|---|
| 開催期間 | 2019/6/20(から2日開催) |
| 開催地（和） | MALIOS（盛岡） |
| 開催地（英） | MALIOS（Morioka） |
| テーマ（和） | フォトニックネットワーク・システム，光ネットワーク運用管理，光ネットワーク設計，トラヒックエンジニアリング，シグナリング，GMPLS，ドメイン間経路制御，ネットワーク監視，光増幅器・光中継装置，光／電気クロスコネクト・OADM，光／電気多重・分離，光送受信機，光端局装置，ディジタル信号処理・誤り訂正，光通信計測，データコム用光通信機器，コア・メトロシステム，海底伝送システム，光アクセスシステム・次世代PON，イーサネット，光伝達網(OTN)，伝送監視制御，光伝送システム設計・ツール，モバイル光連携，一般 |
| テーマ（英） | Photonic network system, Optical network operation and administration, Optical network design, Traffic engineering, Signaling, GMPLS, Inter-domain route control, Network monitoring, Optical amplifier and Optical repeater, Optical crossconect (OXC) and Optical add/drop multiplexer (OADM), Optical multiplexing/demultiplexing equipment, Optical signal processing, Optical terminal equipment, Digital signal processing and error correction, Optical communication measurement, Core/metro system, Seafloor transmission system, Optical access system and NG-PON, Ethernet, Optical transport network (OTN), Transmission monitoring and control, Optical transmission system design and tool, Mobile and Mobile-optical cooperation, etc. |
| 委員長氏名（和） | 前田 譲治(東京理科大) / 釣谷 剛宏(KDDI総合研究所) / 岡崎 義勝(NTT) |
| 委員長氏名（英） | Joji Maeda(Tokyo Univ. of Science) / Takehiro Tsuritani(KDDI Research) / Yoshikatsu Okazaki(NTT) |
| 副委員長氏名（和） | / 大越 春喜(古河電工) / 古川 英昭(NICT) / 塩本 公平(東京都市大) / 中尾 彰宏(東大) |
| 副委員長氏名（英） | / Haruki Ogoshi(Furukawa Electric) / Hideaki Furukawa(NICT) / Kohei Shiomoto(Tokyo City Univ.) / Akihiro Nakao(Univ. of Tokyo) |
| 幹事氏名（和） | 大原 拓也(NTT) / 高橋 正典(古河電工) / 中川 雅弘(NTT) / 松浦 基晴(電通大) / 谷川 陽祐(阪府大) / 水野 志郎(NTT) |
| 幹事氏名（英） | Takuya Ohara(NTT) / Masanori Takahashi(Furukawa Electric) / Masahiro Nakagawa(NTT) / Motoharu Matsuura(Univ. of Electr-Comm.) / Yosuke tanigawa(Osaka Pref Univ.) / Shiro Mizuno(NTT) |
| 幹事補佐氏名（和） | / 鈴木 恵治郎(産総研) / 小玉 崇宏(香川大) / 河野 伸也(NTT) |
| 幹事補佐氏名（英） | / Keijiro Suzuki(AIST) / Takahiro Kodama(Kagawa Univ) / Shinya Kawano(NTT) |
| 講演論文情報詳細 | |
| 申込み研究会 | Technical Committee on Optical Communication Systems / Technical Committee on Photonic Network / Technical Committee on Network Systems |
|---|---|
| 本文の言語 | JPN |
| タイトル（和） | 機械学習によるモバイルアプリケーション判定の検証方法と問題点 |
| サブタイトル（和） | |
| タイトル（英） | Rethinking the Test Dataset Construction of Machine Learning for Mobile Application Identification |
| サブタイトル（和） | |
| キーワード(1)（和/英） | 機械学習 / Machine Learning |
| キーワード(2)（和/英） | アプリケーション判定 / Application Identification |
| 第 1 著者 氏名（和/英） | 岩井 貴充 / Takamitsu Iwai |
| 第 1 著者 所属（和/英） | 東京大学(略称：東大) University of Tokyo(略称：UTokyo) |
| 第 2 著者 氏名（和/英） | 中尾 彰宏 / Akihiro Nakao |
| 第 2 著者 所属（和/英） | 東京大学(略称：東大) University of Tokyo(略称：UTokyo) |
| 発表年月日 | 2019-06-21 |
| 資料番号 | NS2019-40 |
| 巻番号（vol） | vol.119 |
| 号番号（no） | NS-92 |
| ページ範囲 | pp.29-34(NS), |
| ページ数 | 6 |
| 発行日 | 2019-06-13 (NS) |