Lyric motion music video with generated shots and tracked lyrics

リリックモーションMV検証 『マグネティカ』 852話（@8co28)さんのJIZURAと かし子（@Kashiko_AIart）さんのモーションコンテをJevで判断させ使いMVを作ってみました。 Opus5.5でJIZURAとモーションコンテを繋ぐJEV MV Director で組んだ演出プランを、そのままシームレスにGoogeColabのL4で動かしてるMiniMax H3に渡して23ショットを生成。その後、曲のカット割りどおりに並べ、JIZURA の歌詞を合成しています。 生成の流れ ① キャラシート2枚と背景デザインを参照画像にする ② Director が書き出したショットごとのプロンプトで、MiniMax H3（Colab の L4）で参照つき生成 ③曲のカット割りどおりに並べる 仕上げは歌詞の合成 ・生成した映像をトラッキングして、歌詞を壁や床に貼り、カメラと一緒に動かす ・人物を切り抜いて、文字は二人の後ろに入れる ・読めなくなる所は自動で画面貼りに切り替え ・背景に溶ける所は白抜きと縁取り カット割り・歌詞の演出（Jevの判断）・文字の置き場所は JEV MV Director の設計図をそのまま使い、生成した映像に合わせて貼り付けています。 全てOpus5.5とのやり取りで完結。 クラウドGPUの生成なので正直動画のクオリティは今一つでデモの域ですが、そこはAI動画生成サイトなどでクレジット使いSeedance2.5やWan3.0でよりブラッシュアップさせるとよいかもしれません。 ただ、リリックモーションと簡易アニメーションでのMVから簡易アニメーションを動画に置き換えたものが クレジット消費（CloudeとGoogleAiProの月額プランは必要ですが）を気にせず作れるようなるというのはありがたいです。 AIによるツール作成と制作補助は とくにMV制作で詰まっていた ボカロPの方々には朗報かもしれません。

— WTR (@wtry1102) Sep 27, 2026