動画自動生成パイプライン

毎回同じ作業をやり直さないための土台

動画を1本作るたびに、スライドを書き出し、ナレーションを録り、尺を合わせ、テロップを入れる——という同じ作業が発生します。ここを手作業で回している限り、本数は増やせません。

そこでReactで動画を記述できるRemotionを土台にして、スライド画像・生成イラスト・ナレーション音声・テロップをプログラムから組み立てられるようにしました。映像の内容がコードなので、同じ構成の動画を別の台本で作り直すことも、後から一括で直すこともできます。

用途ごとに3系統を用意した

1つの万能な構成にまとめるより、入口ごとに分けたほうが実際には早く作れました。

• スライド動画: テキストからスライドを組み、書き出した画像にナレーションを載せる構成
• 解説動画: 台本だけを入力し、シーン分割と挿絵の生成まで自動で行う構成
• 縦型ショート: 短尺の動画を量産するための構成

尺合わせは音声を基準にする

動画が破綻するいちばんの原因は、ナレーションとスライドの切り替えがずれることです。想定の秒数を先に決めてしまうと、読み上げが長かった分だけ後続が全部ずれます。

そのため、先にナレーション音声を作って実際の長さを測り、その実尺からシーンの長さを決める順序にしました。音声を作り直せば尺は自動で合い直します。合成音声の前後に入る無音も、そのままだと尺の計算が狂うので取り除いています。

外部ツールの癖は、パイプライン側で吸収する

組み合わせている外部サービスには、それぞれ想定外の挙動があります。こうした癖は毎回ハマると時間を取られるので、気付いた時点でパイプライン側に手順として埋め込み、ドキュメントに残しています。

• デザインツールのAPIが座標を一般的な順序と逆で受け取る点
• ページの削除に相当する操作が用意されておらず、別の手順で代替する必要がある点
• 画像生成APIに欲しい縦横比のサイズが無く、生成後に調整が要る点
• 画像は生成ごとに課金されるため、作り直しの回数がそのまま費用になる点
• 音声合成の話者を名前から引く必要がある点、英語をそのまま渡すと読み上げが崩れるためカタカナに直して渡す点