【機械の目 Vol.4】4K動画から生成した静止画をディープラーニングに利用する

ディープラーニングによる画像認識技術には、画像に何が写っているのかを分類する"分類（Classification）"や全体として何を表しているのかを認識する"認識（Recognition）"とどこに何が写っているのかを抽出する"物体検出（Detection）"があります。

弊社では、「何が写っているのかを分類した上で、それがどこに写っているのかを提示する」仕組みとして、Tensorflow+KerasのSSD（SingleshotMultiDetector※）を検証しています。

※SSD：1枚の画像から複数の物体を検出する。

技術開発の目的（ゴール）

• 人が巡視しなければいけない場面を映像撮影で代用したい
• 映像の中身を人が実時間で確認する行為を減らしたい
• 映像に何が写っているのかを自動的に抽出、判定したい
• 撮影日の異なる同一地点の変化を知りたい

ディープラーニングモデルの作成

画像、映像に何が写っているのかの定義を、人間がコンピュータ（ディープラーニングモデル）に教えることを、 "学習させる"と言います。学習に使うデータを、教師データと言い、これらをどれだけ用意して、何回学習させるか？によってモデルの抽出率※、認識精度※や、汎化性能※が高まります。

• 0：画像、映像データの準備
• 1：区分の決定
• 2：アノテーションデータの作成
• 3：モデルの学習
• 4：モデルの評価

※抽出率：対象をどれだけ漏れなく抽出できるか
※認識精度：認識した結果がどれくらい合っているか（どれくらい間違いなく認識したか）
※汎化性能：学習させた画像、映像以外の同対象を認識できるかどうか？（自分が見たもの以外の特徴をどれだけ認識できるか）

当社のルール

1区分最低100枚。学習回数は50回実行する。Accuracyが0.7以上得られれば成功。それ以下は失敗。
SSD300（VGG16派生モデル）のモデルを転移学習。

教師データに4K動画からの静止画を活用する

SSDによる高速道路設備の一般物体認識モデル

高速道路上を走行する車両から撮影した前方映像を使って、案内標識、キロポスト、クッションポール、跨道橋、 クッションドラム等の高速道路設備の物体認識をします。
GPSによる位置情報と、画像/映像に何が写っているのかの情報を合わせて、データベースの検索情報として活用できます。

• 跨道橋



• 案内標識



• ジョイント



• クッションポール



• クッションドラム



• 非常電話



• キロポスト

SSDによる土木設備の変状モデル

高速道路設備・施設コンクリート部の剥落、ガードレール等金属部分の錆、付近植生の変化を認識します。
異常個所の特徴をうまくモデル化できれば、変状箇所と位置情報を紐づけたデータベースを自動的に作成できます。

• 剥落
• 植生

物体認識の結果をデータベースの検索キーワードとして活用する例

• μファイルジオでキーワード指定した検索結果（地図表示）

物体認識の結果と位置情報から、同一地点の映像を特定する例

• μファイルジオで位置情報、フレーム位置、物体認識タグを指定して、類似画像を検索した結果（比較表示）

　

 ▼この記事を書いたひと

おすすめの関連記事

• 【機械の目 Vol.1】4K動画で構造物を撮影する
• 【機械の目 Vol.2】4K動画から生成した静止画に位置情報を付ける
• 【機械の目 Vol.3】4K動画から長尺写真を生成する