一枚の写真に写っている範囲を広くしたい時、衛星(航空)写真、パノラマ写真、360パノラマなどで使われる"スティッチ(接合)"という手法があります。
すでにこのWebサイトの360VRの記事では、360VRやギガピクセルといった"スティッチ技術の賜物"を取り上げています。
レンズ位置を固定して全方向をワンショット撮影する360パノラマも、レンズ位置を雲台で回転させながら撮影するギガピクセルも、空間内を自らが移動することで連続写真を得る動画撮影も、異なるシーンの静止画を空間的に接合するという意味では同じことです。
実は、当社も以前から関係していますが、衛星写真や航空写真の世界では、飛行ルートに沿って、異なる角度から撮影された写真をオルソ化した上で接合するといった作業で、フォトスティッチの技術は存在していました。
※今は、接合する点を決めるのもデジタルで、特徴点抽出という技術があり、ほとんどの処理がソフトウェアで自動化されています。
今回は、4Kビデオカメラで撮影した美麗な静止画一枚一枚を、すべて繋げて長尺写真とする技術や活用方法を紹介してみようと思います。
しかし、本題に入る前に、気づかれた方もいるかと思います。
「なぜ、高精細な4K動画をわざわざ静止画にする必要があるのか?」
「動画を動画のまま再生するのではなぜいけないのか?」
まずはその理由を説明します。
動画のままでは活用しづらい色々な理由があります。
構造物の巡視点検が目的ですから、細かなところ、気になるところを見つけたらじっくりと観察したいのです。
前回の同地点を横に並べて比較するときに、片方の動画の何フレーム目ともう片方の動画の何フレーム目と、動画プレイヤーの2枚起動して比較するわけにはいきません。静止画を検索して、二枚並べて違う部分を探したいはずです。
コンクリート壁の剥落部分や金属の錆面積がどれくらい広がっているか?剥落の大きさや、必要な塗料や防腐剤の面積が知りたいのです。必要ならCADに持っていって、サイズを測りたいです。
どの地点の何と空間上(GIS)で固定したい場合、動画よりは静止画です。ここでは動きや時間軸に意味があるのではなく、空間情報として写真を扱うので、静止画化した方がメリットがあります。
画像を解析したり、テンプレートマッチングにかけて何かをカウントしたい、異常かどうかを判定したい、ディープラーニングで一般物体認識、特定物体認識したい・・といった用途のためには、動画そのものであるよりも、静止画化した方が有利です。
(解析には通常、多大なコンピュータパワーを必要としますので、動画の再生スペックである30fpsという速度では処理が出来ません)
4K 30fps動画では40分の動画のサイズが15GBにもなります。(ビットレート:52,840kbpsの場合)これだけ大きな動画ファイルは、ノートPCやオフィスで使用するデスクトップPCでもなかなかずっしりと重いデータだと思います。
ネットワークで再生というのはキツいですし、Wi-Fiで流すなんて言うことも現実的ではありません。
以上の様々な理由から、4K動画を静止画化するメリットが出てくるわけです。
4Kという解像度を生かすため、対象物の詳細が映るくらいに寄って撮影すると、結果的に画角が狭くなります。
ましてやローリングシャッターを抑制するために縦方向で撮影すると、横幅はさらに狭くなります。
細かなところを見たいからと拡大しておきながら、全体も見たいだなんて、相反する贅沢な要求があるものです。
動画のまま閲覧する場合には、VLCなどの優れたビューアのおかげで、インタラクティブにズームをしたり、コマ送りで時間軸を自由自在に操れます。しかし動画から静止画に切り出した後では、「もう少し前が見たい」「もう少し後ろが見たい」...と思っても前後のファイルを開いて確認しなければなりません。
(ビューアによっては、同じフォルダ内であれば連続で前後できるものもあります)
引いた視点で全体を確認したいかもしれません。
高速道路上を70-80キロ/時で移動しながら、側方を撮影した4K30fps動画を静止画に切り出し、長尺画像にしました。
49585 x 2300 ピクセル、jpeg、12.4MB長大な土木構造物や、数量が多い設備を巡視点検をするのは大変はことです。
しかし、誰か一人が4K動画を撮影して、後で長尺加工した写真を複数人でじっくりと見られるのであれば、時間制約を気にせず、列車や車の流れを止めることなく、また自らの身の安全を気にしなくても巡視点検が出来ます。
防音壁、ガードレール、壁高欄、中央分離帯、路面、法面
防音壁、防護柵、高架橋、法面、軌道、枕木(締結器)
横方向の長尺写真を簡単に作成できるソフトウェアとして、Microsoft Image Composite Editor(ICE)を無償で利用できます。
他に、360パノラマ用のスティッチソフトウェアであるAutopanoGigaやPTGui、ギガピクセルパノラマ作成用のGigapan Stitchなどもあります。
※実は、MicrosoftのICEが最も後発で、ユーザインタフェースがシンプルかつ目的に対して最短に出来ています。おすすめです
移動体から撮影した4K動画を使って、3Dモデルを作成できます。
フォトグラメトリ(Photogrammetry:写真測量)では、複数の撮影点から撮影して得た2次元画像から、視差情報を解析して点群を生成し、3Dサーフェスモデルを作成できます。
▼この記事を書いたひと
R&Dセンター 松井 良行
R&Dセンター 室長。コンピュータと共に35年。そしてこれからも!
●富士見事務所 TEL : 052-228-8733 FAX : 052-323-3337
〒460-0014 愛知県名古屋市中区富士見町13−22 ファミール富士見711 地図
交通部 R&Dセンター