オープンイノベーション【オープンイノベーション】vol.5：マルチカメラでGPS-映像同期を実現する手法

今回の記事では、現在開発しているシステム全体のうち、最も核心となる重要な技術についてご紹介します。

紹介する手法は、当社が取得した"特許第6618163号"に基づいて開発されています。同手法でソフトウェアやハードウェアの実装を検討される方は、特許ライセンスについて下記の問い合わせ先より個別に問い合わせください。

　

開発に至った動機

　

目的：

「GPSの時刻・緯度経度情報等と、カメラ映像の各フレームを如何に正確に合わせるか？（移動撮影の動画で正確な位置情報を付与する）」

　

現状：

• 従来はSONYのハンディカム等動画を撮影しながらGPSデータを埋め込む仕組みがあったが、近年発売される機種では省かれている。
• 静止画のデジタルカメラでは、みちびきに対応したGPSモジュールをオプションで接続して、静止画に位置情報を埋め込むことが出来るが、動画（＝連続静止画）でこれを実現したい。
• GoProなどのアクションカメラや業務用360カメラでGPS搭載の機種があるが、みちびきに対応していない。GPS情報を独自のバイナリとしてを埋め込んでいて、GoProの提供するソフトウェアに依存している。カメラに手を加えない限り独自の情報を埋め込むことが出来ない。
• 放送機器に使用される業務用ビデオカメラを中心に、マルチカメラ撮影時、複数ビデオカメラ間でTC（タイムコード）をそろえて、同期撮影できる仕組みがあるが、GPSや他のセンサー機器との同時記録は考慮されていない。
• GPSロガーとビデオカメラの時刻を正確に一致させる手法がない（ビデオカメラの時刻をms単位で正確に世界標準時と合わせる方法がない）

　

ニーズ：

• 撮影に使用するカメラを限定したくない（カメラ選択の自由度や汎用性を確保したい）
• 常に最高の精度のGPSセンサーを活用したい（QZSSは必須）
• センサーやユーザ入力など拡張可能な構成としたい
• オープンで汎用的な仕組みとしたい

　

解決手段：

• 同期信号にカメラの音声入力を使うことで撮影に使用するカメラを限定しない
• デジタルデータの音声変換に汎用的なモデム技術を用いる
• アナログ音声の分配によってマルチチャンネル同期に対応する
• GPSログ内に拡張領域を準備しセンサーやユーザ入力にも対応する

　

　

関連特許：

特許を取得しました　"撮像システム（特許第6618163号）"

　

　

具体的な手法

　

同期信号の生成

　

同期用信号は、システム起動後、一意のシリアル番号を1000ms毎に発行し、下記の情報を出力する。

GPSデータ情報	データ量[byte]
シーケンス番号	10byte
経度	11byte
緯度	11byte
日時情報(JST)	24byte
区切りの半角スペース	3byte
改行コード	1byte
合計	60byte

　

同期音声には、GPSから取得した正確な日付時刻と、緯度経度情報が含まれているため、GPSロガーが無くても、動画データ単体で映像のフレームと時刻、緯度経度を持たせられる。
ビューア上の字幕としてこれらの情報をオーバーレイすることもできる。

　

データの音声化（エンコード）

　

GPS-映像同期BOXソフトウェアで、テキストデータを音声データとして出力し、LINEOUTから音として出力する。

GPS-映像同期BOXのLINEOUTとビデオカメラのMIC-IN端子を抵抗入りケーブルで接続し、出力レベルと録音レベルを調整する。

　

アナログの音声をミキサーで多チャンネル化することで、複数台のカメラに対して、時刻、緯度経度情報を付与できる。LRで同期信号とその他の音声を振り分けることも出来る。

　

同期音声と共に撮影

　

ビデオカメラで通常通りに撮影する。

録画ボタンを押す→Start信号を発呼する→決まった時間周期で同期信号が出力される→Stopを指示する→録画を終了する。

　

撮影時の音声をLRどちらかのチャンネルに記録しておいても良い。

　

録画された動画を、動画編集ソフトで確認すると、音声トラックに正確な時間で音声を確認できる。

（この画面では正確に1秒ごとに同期音声が録音されている）

　

録画音声の取り出し

　

録画された動画から音声トラックのみを抽出する。

　

音声の復号化

　

抽出した音声データを復号して、同期信号を取り出す。

　

同期ソフトウェア内で、録画データからの音声抜き出しと復号化、映像フレームとの対応付けが行われる。

　

GPXデータとのマッチング

　

start信号、シリアル番号をGPSデータとマッチングする。

　

　

GPSデータを元に正確に同期信号を送出するGPS-映像同期BOXと、動画に埋め込まれた同期信号と映像のフレーム、GPSデータを同期させる後処理ソフトウェアによって、任意のGPS受信機と任意のビデオカメラを使った、汎用的で拡張性の高いGPS・映像同期システムを構成できます。アナログの音声信号を分配し、複数のビデオカメラで同時に撮影、全方位で撮影されたマルチカメラ映像のフレーム合せも同時に行えます。

　

　

パンフレット（PDF）

※2022年3月完成を予定しているGV-Sync®（GNSS-映像同期処理＆データベース登録ツール）のコンセプトパンフレットを制作しました。
実際の製品・サービスのリリース方法や価格は未定です。一部仕様等異なる可能性があります。

画像をクリックするとPDF版パンフレットをダウンロード（表示）します。

パンフレット表

パンフレット裏

　

▼この記事を書いたひと

　

おすすめの関連記事

• 【機械の目 Vol.1】4K動画で構造物を撮影する
• 【機械の目 Vol.2】4K動画から生成した静止画に位置情報を付ける
• 【機械の目 Vol.3】4K動画から長尺写真を生成する
• 【機械の目 Vol.5】撮影日の異なる同一地点の映像から差分抽出は可能か？

お問い合わせ

ご意見・ご質問などお気軽にお問い合わせ下さい。
ナカシャクリエイテブ株式会社

●富士見事務所　TEL : 052-228-8744（交通部営業課）　FAX : 052-323-3337（交通部共通）
〒460-0014 愛知県名古屋市中区富士見町13−22 ファミール富士見711　 地図

PoCのお問い合わせ：交通部営業課
技術的なお問い合わせ：R&Dセンター

Email：メールでのお問い合わせ