AR/VR/画像処理【機械の目 Vol.3】4K動画から長尺写真を生成する

【機械の目 Vol.3】4K動画から長尺写真を生成する

一枚の写真に写っている範囲を広くしたい時、衛星（航空）写真、パノラマ写真、360パノラマなどで使われる"スティッチ（接合）"という手法があります。
すでにこのWebサイトの360VRの記事では、360VRやギガピクセルといった"スティッチ技術の賜物"を取り上げています。

レンズ位置を固定して全方向をワンショット撮影する360パノラマも、レンズ位置を雲台で回転させながら撮影するギガピクセルも、空間内を自らが移動することで連続写真を得る動画撮影も、異なるシーンの静止画を空間的に接合するという意味では同じことです。

実は、当社も以前から関係していますが、衛星写真や航空写真の世界では、飛行ルートに沿って、異なる角度から撮影された写真をオルソ化した上で接合するといった作業で、フォトスティッチの技術は存在していました。
※今は、接合する点を決めるのもデジタルで、特徴点抽出という技術があり、ほとんどの処理がソフトウェアで自動化されています。

今回は、4Kビデオカメラで撮影した美麗な静止画一枚一枚を、すべて繋げて長尺写真とする技術や活用方法を紹介してみようと思います。

しかし、本題に入る前に、気づかれた方もいるかと思います。
「なぜ、高精細な4K動画をわざわざ静止画にする必要があるのか？」
「動画を動画のまま再生するのではなぜいけないのか？」

まずはその理由を説明します。

なぜ4k動画を静止画にするのか？

動画のままでは活用しづらい色々な理由があります。

じっくり見たい

構造物の巡視点検が目的ですから、細かなところ、気になるところを見つけたらじっくりと観察したいのです。

比較したい

前回の同地点を横に並べて比較するときに、片方の動画の何フレーム目ともう片方の動画の何フレーム目と、動画プレイヤーの2枚起動して比較するわけにはいきません。静止画を検索して、二枚並べて違う部分を探したいはずです。

計測したい

コンクリート壁の剥落部分や金属の錆面積がどれくらい広がっているか？剥落の大きさや、必要な塗料や防腐剤の面積が知りたいのです。必要ならCADに持っていって、サイズを測りたいです。

位置情報と連動したい

どの地点の何と空間上（GIS）で固定したい場合、動画よりは静止画です。ここでは動きや時間軸に意味があるのではなく、空間情報として写真を扱うので、静止画化した方がメリットがあります。

分析したい

画像を解析したり、テンプレートマッチングにかけて何かをカウントしたい、異常かどうかを判定したい、ディープラーニングで一般物体認識、特定物体認識したい・・といった用途のためには、動画そのものであるよりも、静止画化した方が有利です。
（解析には通常、多大なコンピュータパワーを必要としますので、動画の再生スペックである30fpsという速度では処理が出来ません）

サイズが大きく、再生にはPCやネットワーク帯域のスペックを要求するから

4K 30fps動画では40分の動画のサイズが15GBにもなります。（ビットレート：52,840kbpsの場合）これだけ大きな動画ファイルは、ノートPCやオフィスで使用するデスクトップPCでもなかなかずっしりと重いデータだと思います。
ネットワークで再生というのはキツいですし、Wi-Fiで流すなんて言うことも現実的ではありません。

以上の様々な理由から、4K動画を静止画化するメリットが出てくるわけです。

長尺（広域）で見たい理由

4Kという解像度を生かすため、対象物の詳細が映るくらいに寄って撮影すると、結果的に画角が狭くなります。
ましてやローリングシャッターを抑制するために縦方向で撮影すると、横幅はさらに狭くなります。
細かなところを見たいからと拡大しておきながら、全体も見たいだなんて、相反する贅沢な要求があるものです。

動画のまま閲覧する場合には、VLCなどの優れたビューアのおかげで、インタラクティブにズームをしたり、コマ送りで時間軸を自由自在に操れます。しかし動画から静止画に切り出した後では、「もう少し前が見たい」「もう少し後ろが見たい」...と思っても前後のファイルを開いて確認しなければなりません。
（ビューアによっては、同じフォルダ内であれば連続で前後できるものもあります）

引いた視点で全体を確認したいかもしれません。

長尺写真の例

高速道路上を70-80キロ/時で移動しながら、側方を撮影した4K30fps動画を静止画に切り出し、長尺画像にしました。

49585 x 2300 ピクセル、jpeg、12.4MB
62枚の画像を1枚にスティッチし、約72メートル分の長さになっています。
元画像が3840x2160ピクセルの2.42MB、62枚で総容量は150.14MB。長尺の場合は、縦を50%に縮めましたが容量は8.25%になりました。

長尺写真の活用

長大な土木構造物や、数量が多い設備を巡視点検をするのは大変はことです。
しかし、誰か一人が4K動画を撮影して、後で長尺加工した写真を複数人でじっくりと見られるのであれば、時間制約を気にせず、列車や車の流れを止めることなく、また自らの身の安全を気にしなくても巡視点検が出来ます。

高速道路構造物・設備

防音壁、ガードレール、壁高欄、中央分離帯、路面、法面

鉄道土木構造物・設備

防音壁、防護柵、高架橋、法面、軌道、枕木（締結器）

長尺画像を作成できるソフトウェアの紹介

横方向の長尺写真を簡単に作成できるソフトウェアとして、Microsoft Image Composite Editor(ICE)を無償で利用できます。
他に、360パノラマ用のスティッチソフトウェアであるAutopanoGigaやPTGui、ギガピクセルパノラマ作成用のGigapan Stitchなどもあります。

※実は、MicrosoftのICEが最も後発で、ユーザインタフェースがシンプルかつ目的に対して最短に出来ています。おすすめです