機械学習・AI【物体検出】vol.8 ：YOLOv3で360パノラマの"全方位物体検出"を実現!（特許第6704134号）

始めに...
今回の記事に書かれている360パノラマを使った全方位物体検出の手法と、その手法を用いた全方位検索の仕組みは、「特願2019-148266　全方位動画像処理装置及び方法」として特許出願中です。→"情報処理装置及び方法（特許第6704134号）"として特許を取得しました。　

　

全方位で物体検出をしたい！

弊社のページ（例えば、360°パノラマ映像コンテンツやAR/VR・画像処理）をご覧の方は、弊社で以前より360°パノラマを扱っていることをご存知と思います。

他記事ですでに書いたことの繰り返しになりますが、360°パノラマ写真の素晴らしい点は：

• 死角のない、撮りもれのない記録ができる
• 空間的な配置、繋がりを直感的に理解できる

の2点です。

これに加えて、この機械学習・AIで追及しているように、「そこに映っているものの検出や状態の検知」が出来たら、"機械の目が人間の能力を超える瞬間"だと思いませんか？

　

今回狙うのは、「全方位何が写っているのかを自動的に検知する機械の目の実現」です。

特徴

高精細、高速な360°映像処理部

• ～11K解像度に対応
• 処理が高速（1枚あたり17.1秒）※
• 一括変換が可能（1000枚処理した場合：280分）
• 動画から静止画の切り出しが自動
• 緯度経度情報の付与も可能

※注意：現在のPCによる一括処理は、リアルタイム変換ではありません。将来、強力なGPUや並列処理を活用した方法でリアルタイム処理を実現可能の見込みです。

　

柔軟な物体検出部

• 高速な処理（YOLOv3+COCOモデルで360°画像1枚辺り2.3秒）
• 物体検出部分は、オープンソースの最新成果を流用可能（YOLOv3、Mask-RCNNで動作検証済）（※1）
• 物体検出モデルに、公開されている既存モデルを流用可能（COCO一般物体モデルなど）（※2）
• オリジナルモデルの利用も可能。（※3）
• 学習データは通常画角の画像でOK（Equirectangler形式特有の歪を意識しなくても良い）
• 検出方向を表示や検索キーワードとして取り出し可能（※4）

※1：Pythonから起動引数を与えてコマンド実行できればOK

※2：自動運転で用いられる車両、人物、信号検出モデルや、路面損傷検出モデル、顔検出モデルなど

※3：当社オリジナル学習モデル検証済み

※4：上下左右前後や検出矩形の座標値、検出物体名称、確からしさ

　

実現したもの

加工処理

• 物体検出の設定を確認（変更）する
• 360°動画をフォルダに置く
• コマンドを入力する
• （360°動画→360°静止画変換の実行）
• （360°物体検出の実行）
• （検出結果をjson形式で書き出す）
• 360°静止画とjsonログを取り出す

　

360°静止画をdata/360に置いて、コマンドを打つだけで、result_360フォルダ内に、物体検出結果を書き込んだ360画像がモリモリが出来上がって行きます。
result.jsonには、どの画像に何が写っているのか？のログが残っているので、検索に使えば、どの360°写真のどのアングル（上下左右前後）にどんな物体が写っているのを探せますね。

　

全方位物体検出

弊社でこれまで撮影してきた11K、8K、4Kの360°画像を使って、YOLOv3-SPP（COCOデータセットで事前学習済）で一般物体検出を行った結果を示します。

　

ドローンで撮影した全方位映像からの物体検出

交差点で撮影した全方位映像からの人物検出

交差点で撮影した全方位映像からの人物検出（上）

交差点で撮影した全方位映像からの車両・信号検出

道路で撮影した全方位映像からの車両検出

今後も360°カメラは、さらなる高解像度やフォーカスの性能も上がってくると想定されるので、検出できる対象もどんどん高精細化してくる見込みです。

　

（360°映像　+　ディープラーニング物体検出）x　貴社の課題　→　イノベーション

　

▼この記事を書いたひと

　

機械学習・AIの最新記事

• 【オープンイノベーション】vol.26：何がどう変わった？Ultralytics YOLOv8のレビュー
• 特許を取得しました　"分布図作成装置、分布図作成方法、及び、プログラム"（特許6970946）"
• 特許を取得しました　"物体情報処理装置"（特許6975483）"
• 【物体検出】vol.19 : Jetson Xavier NXの検出性能（PythonからYOLOv3,v4）

AR/VR/画像処理の最新記事

• 特許を取得しました　"情報処理装置及び方法（特許第6704134号）"　
• 【360°映像技術の活かし方・ノウハウ vol.9】プロ用360カメラInsta360 TITANを試す！
• 【物体検出】vol.8 ：YOLOv3で360パノラマの"全方位物体検出"を実現!（特許第6704134号）
• 【360°映像技術の活かし方・ノウハウ vol.8】膨大な360°パノラマをキーワード検索するμファイル

お問い合わせ

ご意見・ご質問などお気軽にお問い合わせ下さい。
ナカシャクリエイテブ株式会社

●富士見事務所　TEL : 052-228-8733　FAX : 052-323-3337
〒460-0014 愛知県名古屋市中区富士見町13−22 ファミール富士見711　 地図
交通部　R&Dセンター

Email：メールでのお問い合わせ