オープンイノベーション【オープンイノベーション】vol.33：てんかく忍者AWS環境で登録時間爆速の術！？

【オープンイノベーション】vol.33：てんかく忍者AWS環境で登録時間爆速の術！？

この記事は、てんかく忍者サービスをAWS（EC2,EFS）上に構築したら、撮影から4D-db閲覧までの時間を大幅に短縮できたというお話をします。

前記事"【オープンイノベーション】vol.22：てんかく忍者サービスをAWS上に構築してみた"の続きになります。

また、ストレージが容量無制限の"BOX"から、安価とはいえ従量課金や転送量が発生する"EFS"であることによるコストについても気になってきますので、その点も検証してみました。

時間やコストについてのお話になるため少し細かいお話を理解していただく必要が出てくるのですが、"撮影したらすぐにでも4D-dbで閲覧する必要がある"、"他の業務システムもAWSで構築しているので4D-dbもAWS上に構築したい"とお考えのお客様に、ぜひ読んで頂きたい内容になっています。

（毎回の決まり事ですが）まず今回の結論です。

　　AWS上にてんかく忍者（4D-db、GV-Sync）を構築できます
　　DB登録時間が短縮され、撮影→登録→閲覧まで約1週間を要していた時間が半日になりました。
　　負荷状況に合わせてAWSのインスタンスを細かくスケールアップできます（使わない機能は止めておくことが出来ます）
　　GV-Syncを稼働して登録する際には転送料、その後の運用ではストレージコスト（保管料）が掛かります。

既存運用環境での4D-db反映時間

まず先に既存運用環境での撮影してから4D-dbに反映されるまでの時間についてですが、1週間ほどお待ちいただく必要がありました。

結構待つ必要あるんだな～と思われるかもしれませんが、次のような事情があります。

1時間（4K画質30fps）の動画を登録する場合、当社内のGV-Syncを使用して動画から静止画に変換するのに2時間、データベースに情報を登録するのに5.5時間かかります。

そこから静止画をBoxへアップロードに2.5時間、4D-dbからBox上の静止画ファイルインデックスを作成に48時間かかります。

全工程を単純に合計すると、およそ2.5日になります。

実際に動画が当社環境に届くまでの時間や動画が複数ある場合なども考えると、1週間程度が現実的な反映時間です。

AWS環境での4D-db反映時間

いっぽうのAWS環境では、半日程度で登録が完了できることがわかりました。
「AWS環境にしただけなのに、この差はいったい何故なのか？」
少し掘り下げて説明していきます。

まず、AWS上のGV-Syncで1時間程度の動画（4K 30fps）を登録するのに要した時間は11時間でした。

下表は当社内のGV-Sync環境（上4つ）とAWSのGV-Sync環境（最下部 AWS ECS CPU1 Memory4GB EFS）を比較したものです。

データベースとGV-Syncが同リージョンに存在しているためネットワークレイテンシが低くなり、データベース登録時間が5時間以上も短縮されました。

画像変換処理（動画から静止画に変換する処理）については、AWS上のGV-Syncインスタンスのマシンパワーを調整することで大幅に短縮することができます。

さらにBoxにファイルをアップロードする工程が不要であることや、Boxのファイルキャッシング処理も不要であることなども、有利な点です。

動画が複数あっても、AWS内で必要な時だけGV-Syncインスタンスを立て、並行して登録処理を進めることができます。

その結果、お客様から直接AWS上に動画をアップロードして頂けると仮定すると、アップロードされた動画に対して半日とかからず登録が完了できる計算になります。

ストレージの課金額

今回構築したAWS環境では、ストレージとしてAmazon EFSを採用しています。

AWS環境で使われる前提の設計になっているだけあり、アクセス速度やマウントしやすさなど、使い勝手はいいのですが、アクセスと保管それぞれで課金が発生する、いわゆる従量課金型である点には注意が必要です。

今回の検証で、1時間（4K画質30fps）の動画を最高画質で登録したところ、登録データ量は500GBになりました。Amazon EFS課金額として、書き込み料11,745円、月間保管コスト951円が発生しました。（1ドル=145円時点の計算）※

画質を少し下げて登録した場合、500GBだったデータ量を86GBまで抑えることができます。味をしめてここから解像度も半分にすると、データ量は29GBになりました。

※2024/11/26現在では155円/ドル

データ量と課金額をプロットしたものが上図ですが、きれいに比例関係であることがわかります。（従量課金モデルとしては当然と言えば当然なのですが）

あまり画質を下げすぎて業務に支障が出てしまっては本末転倒ですが、てんかく忍者ご利用の際には「自社にとって必要な画質はどの程度か」についても営業へ相談して頂けると、コストについての具体的なお話が捗ると思います。

ちなみに当社では現在、画質を犠牲にせずコストも大幅に削減できる取り組みも進めており、実験では9割以上のストレージコスト削減に成功しています。時期は未定ですが、この取り組みについては別の機会にご報告できればと考えています。

AWS環境でのサービス提供までの道のり

「自社システムと同じインフラにてんかく忍者のシステムを構築できないか」といった声をお聞きしたことがきっかけで、てんかく忍者環境をAWS上に構築してみたところ、動作可能であることが確認できました。

それだけでなく追加の収穫として、ストレージにAmazon EFSを採用すると登録時間を半日程度に短縮できることがわかりました。

いっぽうで、データ量に応じ課金額が高額になる可能性についての課題が浮上しましたが、画質調整の提案やコスト削減の取り組みにより、解決の見通しが立ちつつあります。

AWS環境の可能性を感じさせてくれる結果が得られたものの、てんかく忍者のAWS対応は、てんかく忍者クラウドサービスのラインナップには含まれていません。

まだまだAWSに特化した作りへの変更や、運用周りの調整、コストダウン追求などやらなければいけないことが多数あり、サービス提供までにはしばらく時間が必要です。

もし、AWSで積極的にご検討されている企業様、「プロトでも良いので使ってみたい」といったお客様がおられましたら、是非お問い合せ頂き、ご意見お聞かせ下さい。

後日、AWS評価ユーザの募集をするかもしれません。

※本記事中の、Docker、BOX、AWS、Amazon EFS、Amazon ECR、Amazon ECSなどは各社、各団体の登録商標です。

▼この記事を書いたひと

R&Dセンター長尾　賢志

Pythonistaですが、Java、C#、Rubyなども経験があり、オブジェクト指向を得意とします。Djangoを使用したWeb開発をしたことがあるほか、データ解析・可視化なども行なっています。R&Dセンターではエッジコンピューティング、IoT関連を担当しています。保有資格：ソフトウェア開発技術者