オープンイノベーション【オープンイノベーション】vol.2：マルチアングル検索システム

【オープンイノベーション】vol.2：マルチアングル検索システム

今回の記事では、今現在で開発中のマルチアングル検索システムのユーザインタフェースと機能を、先出しでご紹介します。
この検索システムのプロトタイプは、2021年の3月に実物をお見せできるようになる予定です。
（当社企画、設計・開発：株式会社コネクティボ）

地図から検索する

マルチアングル検索システムを起動すると最初に、前回終了時の位置を中心に表示します。ここから検索条件を入力して対象を検索するか、もしくは、後述のブックマーク機能によって、直接注目している場所にジャンプすることもできます。

検索で絞り込む

検索キーワードとして、画面の例では、路線名、上下、KP（キロ程）など、良く使用する項目の他、このデータベースに特有の"損傷あり""チェック済"の箇所のみを抽出することもできます。　

ディープラーニングが自動的に検出した損傷箇所や、利用者がマークした注意箇所、もしくは目視点検者が"要注意"としてマークした箇所のみを効率よく抽出する機能があります。

ヒートマップでおおよその確認

ディープラーニングが検出した損傷箇所の情報を元に、損傷の区分や検出数を、予め定めたルールによって"損傷ランク"として評価した結果を、地図上でヒートマップとして閲覧できます。空間的に、どの箇所がどの程度痛んでいるのかを視覚的に把握できます。　

地図の拡大縮小操作と連動したヒートマップで大域的な損傷把握ができます。例えば、路面であればクラックやポットホール、壁高欄のクラック、剥落、路面印字のカスレなど、複数の損傷区分がある場合、どの損傷を見たいのかをレイヤで選択できます。

クラスタ表示

多すぎる検索結果のポイント表示を、地図のズームレベルと連動した省略表示（クラスタ表示）ですっきりと見ることが出来ます。

検索結果が多すぎてクリックできない！なんていうことはもうありません

目標物名で検索

ジオコーディング機能によって、住所や目標物名称を使った検索にも対応します。
外部の方から住所や目標物で問い合わせを受けた際にも、指定箇所をピンポイントで検索できます。

画像の表示

検索条件で抽出した対象を個別に見ていく方法を記します。（該当する検索条件を、現在運用しているシステムからのWebAPIで直接呼び出しも可能です。）

サムネールで選択

地図上の撮影箇所ポイントをクリックすると、サムネール（縮小画像）が現れるので、それをクリックするとマルチアングルビューアが起動します。

マルチアングルビューア

本システムの顔とも言うべき"マルチアングルビューア"をご紹介します。このビューアは、撮影地点に紐づく前後左右上下のマルチアングルの高精細静止画を閲覧するために開発します。
選択した地点に対する利用者の注記や、ディープラーニングによって検出された損傷の情報がオーバレイ表示されており、同一地点の過去の情報も参照できます。
他のシステムからの直接呼出しや、このビューアから二画面ビューア、360ビューア、長尺ビューア、動画プレイヤーなどの呼び出しも行います。

マルチアングルビューアでその地点のすべてのアングル、現在から過去への参照が可能です。WebAPIによって他のシステムからの参照も考慮されており、施設・設備管理に従事するすべての人々の知見がコメントとして履歴管理されています。使えば使うほどにノウハウが蓄積していく"損傷に関するコンテンツマネージメントシステム"です。

損傷箇所やコメントの確認

損傷箇所の情報は、ディープラーニングの損傷検出によって撮影後、当社の一括処理によって追記されます。
目視点検中にコメント記載した情報も同時に登録されています。
またこれを参照した有識者、検査員がコメントをした結果が逐次追記されていきます。　

損傷箇所の追加・修正・削除（オンラインアノテーションエディタ）

ディープラーニングによって検出された損傷箇所情報に誤りがあれば修正・削除したり、検出漏れを発見した場合には追加も可能です。同じ写真に対して、区分の異なる別の損傷情報を追加したい場合も新規にディープラーニングの学習データとして作成できます。

ディープラーニングが検出した結果を、利用者自らが修正・削除・追加をしていくことで、さらにディープラーニングの検出精度が上がっていく仕組みです。使い込むほどにプロフェッショナルになっていくディープラーニングモデルは、貴社の知的財産と言うべき宝物になります。

損傷箇所の新旧2画面表示

損傷箇所を発見した場合、知りたいのは「それがいつからこうなっているのか？」です。同一地点の現在と、任意の時点での状態を二画面で比較することが出来ます。　

「どこがどのように変わったのか？」は二画面横に並べることで顕著に知ることが出来ます。任意の撮影地点と任意の撮影日時を移動しながら、損傷箇所に周辺環境を確認できます。

ブックマーク機能

集中的に監視をする箇所にはブックマークを付けておくことで、ダイレクトにその地点にジャンプできます。　ログインユーザ事に設定できるほか、共有ブックマークにしておけば複数人で同じ箇所を共有できます。また本システムのすべての画面にはユニークなURLが付与されていますので、標準のブックマーク登録機能の他、WEBブラウザへのブックマークも可能です。

その他のビューア機能

標準のマルチアングルビューア、二画面ビューアの他に、目的に応じて360ビューアや、長尺ビューア、動画プレイヤーの追加も可能です。（WEBブラウザが対応していればどのようなデータでも閲覧可能です）。現在の開発予定にはありませんが、別記事で記載しているようなギガピクセル画像をリンクすることも可能です。　

360ビューア

WEBブラウザに対応した360ビューア（KRPANO）は、高精細360画像のシームレスな拡大縮小や、軽快な視点移動が可能です。　

長尺ビューア

WEBブラウザに対応した長尺ビューアで、損傷箇所付近の前後を確認できます。4K動画から抽出した高精細静止画を、長く繋げた高精細長尺画像の詳細については、別の記事をご参考下さい。　

動画プレイヤー

WEBブラウザで再生可能な動画フォーマットであれば、どのような動画でも参照できます。動画で前後を確認したい場合や、流しチェックしたい場合には、動画が便利です。損傷箇所付近の直前から動画が再生されます。　（本機能は動画ストリーミングではありませんので、重たい動画データをネットワーク越しにダウンロード再生する形式になります。オンプレミス環境以外ではお奨めしません）