ITU
AI/ML in 5G Challenge

5Gモバイルネットワークには、安定した高品質のインターネットコネクティビティが必要とされるが、予期せぬ事態が発生すると、その不具合による影響がきわめて深刻である。 また、インターネットは事業者間で相互に運用されているため、あるドメインで障害が発生すると、その障害は急速に世界中に拡がっていく。 このような世界的に影響をおよぼすネットワーク障害に対応できるのは経験豊富な事業者だけであり、AI/MLによる異常検知を自動的かつ迅速に行うことが望まれている。 各事業者はモバイルコアネットワークに接続された少なくとも1つのIPバックボーンネットワークを有している。 IPバックボーンネットワークは、ボーダーゲートウェイルータを介して他の事業者のバックボーンネットワークと相互接続している。 ボーダーゲートウェイルータは、受信した内部/外部経路情報からの経路情報を継続的に更新し、これらを適切にフィードバックする必要がある。 このように、これらのルータは5Gサービスにおいて非常に重要な役割を果たしており、一定のサービスレベルを維持するためには、ハードウェアやソフトウェアの欠陥や誤作動を即座に検出することが望まれている。

本課題では、ボーダーゲートウェイルータのデータセットを提供する。データセットでは正常、障害、誤作動等のネットワーク状態情報を正常/異常ラベルとして提供する。 参加者には、これらのデータセットを用いて、障害や誤作動等、ネットワークの状態をピンポイントで特定するモデルを作成し、作成したモデルの性能を評価してもらう。

参加者は、課題の解決方法とその評価結果を示すために、デモ映像を含むプレゼンテーションファイルを提出すること。評価は、使用するAI/MLに適した方法で行うこと。

参加者は自身で計算機環境を用意すること。利用するツールは、他の人が追加実験を行うために、オープンソース・ソフトウェア（OSS）ベースのものを利用することが望ましい。

提出物は以下のアドレスにメールでお送り下さい。

メールの件名に [ITU-JP-Theme1] を記載してください。

OVID-19パンデミックの影響により、Web カメラを利用したテレワークシステムなど、インタラクティブな動画のストリーミングサービスの重要性が高まっている。しかし、インターネットはこのような帯域消費型の動画ストリーミングサービスから生じる膨大なトラヒックを収容する必要があり、結果として極度の輻輳状態が発生する。Netflix、YouTube、Amazon などの OTT (Over-the-Top) サービスプロバイダによる動画配信サービスの場合、サービスのトラヒック負荷に基づいて標準解像度を低く設定することで、COVID-19パンデミックの問題に対処している。同様に、Web カメラを使用したインタラクティブな動画ストリーミングサービスの場合も、ネットワークの状態に基づいて動画品質を最適化する必要がある。 このような状況は、生の動画データを解析してパッシブにネットワークの状態を推定するという挑戦的な課題を生み出している。従来、動画ストリーミングの分野では、再生バッファの状態を用いてネットワークの状態を推定する研究が盛んに行われてきた。しかし、テレワークシステムのような実用的なユースケースでは、動画の再生レートや解像度などの KPI ではなく、生の映像を解析することが重要である。近年では、深層学習などの人工知能 (AI) 技術が映像解析の領域にブレイクスルーを起こすという新たなトレンドが生じている。本課題は、生の映像とネットワーク状態との関係を明らかにするための第一段階としてのチャレンジである。

本テーマでは、ウェブカメラを用いたライブ動画ストリーミングサービスに適したプロトコルである RTP[2-1] を使用する。Fig. 2-1 のように、映像の画質 (ノイズなど) は、ネットワークの状態に依存する。

[2-1] H. Schulzrinne, et al., ``RTP: A Transport Protocol for Real-Time Applications," Request for Comments 3550, July 2003, https://tools.ietf.org/html/rfc3550.

本テーマの目標は、与えられた生の動画のデータセットから、ネットワークの状態、すなわちスループットとロス率を推定することである。参加者は、ネットワーク状態のラベルが付与された動画データを用いて、Fig. 2-2 のように AI モデルの訓練とテストを行うことが期待されている。

全ての提出物は、性能評価指標 ($MAE$) および、技術的な卓越性の観点から評価される。

以下の式で定義される平均絶対誤差($MAE$）を指標とする。データ数を $n$、$i$ 番目の推定値を $Estimation[i]$ とした場合、スループットとロス率のそれぞれについて、以下の式で $MAE$ を算出すること。 \[ MAE = \frac{1}{n}\sum_{i=1}^{n} | Estimation[i] - Answer | \]

参加者はレポートを提出すること。
-レポートには少なくとも、手法もしくはアプローチの説明、提供されたデータセットに対する評価結果（MAE、「評価」を参照）、及び、考察、を記載すること。
-レポートのフォーマット: A4 サイズ、pdf、最大 4 ページ
提出物は以下のアドレスにメールでお送り下さい。

メールの件名に [ITU-JP-Theme2] を記載してください。

スマートフォンの地図アプリや拡張現実(AR: Augumented Reality)など、位置情報の社会での重要性が高まっている。一方、位置測位の主流として用いられているGPS(Global Positioning System)は、観測可能なGPS衛星数が減少した場合や、構造物による反射の影響などで位置推定精度が劣化する。そのため、GPSの単体使用では、高精度な位置測位を普遍的に提供することは難しい。その代用として、携帯電話や無線LANの基地局から受信される信号を活用した位置測位が検討されている。しかしながら一般的三点測位などによる手法はマルチパスフェージングなどの影響を受け高い精度が得られない。そこで、本チャレンジでは、高精度の位置測位をAI/ML技術を用いることで、端末で観測可能なRSSI(Reseived Signal Strength Indicatior)情報のみを用いてGPSと同程度の位置測位精度を実現できるかどうかを検証する。従来のRSSIに基づく位置測位では、伝搬損失などをモデル化する必要があり、位置測位精度は利用する伝搬損失モデルと実際の伝搬特性がどの程度合っているかに大きく依存してきた。本チャレンジでは、RSSIと実際の位置情報間に存在する隠れた関係性を見出すことのできるAI/MLを用いることで、モデルに基づく位置測位ではなく、データに基づく位置測位の実現可能性を探る。

本課題では、複数のWi-Fiアクセスポイント(AP: Access Point)からの受信信号を観測することにより得られるRSSI値とGPSから得られた位置情報を用いてAI/MLの学習を行う。その後、GPS情報が得られない位置において、RSSI情報のみによるAI/ML技術を活用することにより高精度な2次元位置推定を行うことを目的とする。

○ 電波観測には市販のAndroid端末で実行できるアプリケーションが利用可能（Raspberry PiにGPSを備えるなどで自作した機器、SSIDを分離してRSSIを求められる測定器などで観測しても構わない）

○ 各チームが以下の要件を満たす「トレーニング用データセット・検証用データセット」を用意

○ 要件
■ 観測エリア：50m×50m四方の建物外の場所
■ 観測する高さ：1～1.5m程度
■ AP数：3台～10台（設置位置は建物内外どちらでも可能）
■ AP位置：AP設置位置のわかるものを使うこと
■ データセット数：訓練用5000以上、検証用5000以上
■ 訓練用データセット、検証用データセットは時間連続したものを各々最低2セット準備（訓練用2セット以上、検証用2セット以上）
■ 訓練用データセット、検証用データセット共になるべくエリア全体をカバーするようにデータを取得すること。
■ 直接位置を求める機器（GPSなど）を用いなければ、地図情報などの外部情報の利用は可能
■ 測定は自らの管理する場所で他人に迷惑をかけない範囲で行うこと（大学敷地内など）
■ コロナウィルス感染症対策を行って活動すること

○ データセットフォーマット（以下の「データセット例」からサンプルをダウンロード可能）
■ 時刻情報（UNIX時刻に統一すること）
■ 位置情報（GPS情報：緯度情報、経度情報）
■ APのID（001からの連番で匿名化すること）
■ APの位置情報（緯度情報、経度情報、RSSI観測エリアとの相対高度、建物内外の違いも明記）
■ 使用周波数チャネル情報（WiFi規格のチャネル番号で記述）
■ RSSI値（dBmとすること）
■ GPS精度検証を可能とする情報（取得衛星数など、本項目はオプションで必須とはしない）

1. 自チームが用意した「トレーニング用データ・検証用データ」組を用いてAI/ML構成・アルゴリズム・パラメータのチューニング、提出物一式を10月15日までに提出
2. 運営者が提供する他チームが用意した「トレーニング用データ・検証用データ」組を用いての交叉検証を実施、提出物一式を10月中旬（後日正式な日程は提示します）までに提出（チーム数が多い場合は運営側で評価に用いるデータセットを指定する場合があり）
3. チーム間の交差検証により得られた平均位置誤差、最大誤差を指標にして評価、上位3チームがワークショップで最終対決

○ データセット(csv形式)
○ ソースコード
■ 使用する開発環境は検証のために、オープンソースが望ましい
■ 提出されたソースコードが検証不可能な場合は、表彰権を失う可能性があります
■ ソースコードの著作権は著者本人に帰属します

○ 推定結果

○ レポート（etc：ppt, docx, pdf）

次の通りに提出してください。

１．すべてのデータを1つのフォルダに収め、そのフォルダをZip形式で圧縮する。

２．圧縮ファイルの名前は「大学名_代表者名.zip」とする。

３．指定されたURLに、圧縮ファイルをアップロードする。
（URLは代表者のメールに通知します。）

４．アップロード完了後に、下記アドレスにアップロート完了の連絡をする。
メールの件名に [ITU-JP-Theme3] を記載してください。