AI で漫画ドラマやアニメのショート動画を一本作ろうとすると、シナリオのコマ割り、キャラクターの一貫性維持、フレーム画像の生成、動画補間、字幕の焼き付け――その間に複数のモデルの API 呼び出しとプロンプトの微調整も挟まってくる。これがかなり面倒な作業だった。
このたび、それらの工程を1本の完全なパイプラインにまとめたオープンソースプロジェクトを見つけた。TXT ファイルを放り込めば、字幕付きのアニメ動画が出てくる。
シナリオから動画まで、全工程を自動化
AIComicBuilder（GitHub）の売りは、特定の一点が突出して優れていることではなく、パイプライン全体を通しで回せることだ。
TXT / DOCX / PDF のアップロード → AI によるシナリオ解析 → キャラクター抽出とビジュアル記述の生成 → 各キャラクターの四方向ビュー（正面 / 横顔 / 背面 / 斜め前方）の描画 → インテリジェントなコマ割り分割 → 最初と最後のフレームのキー画像生成 → AI による動画プロンプト生成 → 最初と最後のフレーム間の補間による動画クリップ生成 → 結合合成 ＋ 字幕焼き付け。
各フェーズは個別に実行できるし、一括実行も可能だ。コマ割りページにはリストビューとカンバンビューがあり、カンバンは生成進捗に応じて自動的に列分けされる。Trello のワークフロー管理に近い。
キャラクターの一貫性――これが真の難関
AI 動画を作ったことがある人なら皆知っている通り、最大の落とし穴は「いい絵を一枚描く」ことではなく「同じキャラクターが別のカットでも同じ見た目であること」だ。
AIComicBuilder のアプローチは比較的シンプルだ。まず各キャラクターに四方向ビューの参照画像を生成し、以降の全フレーム画像および最初と最後のフレーム生成時にこれらの参照画像をすべて添付する。画像モデルに「記憶の外部モジュール」を追加して、「この見た目の人は張三という名前で、次のフレームでも同じ見た目である」と教えているようなものだ。
実際の効果を見ると、プロンプトだけでキャラクターの外見を描写するよりもはるかに信頼性が高い。
複数のモデルベンダー、どこか1社に縛られない
技術スタックは実用的だ。
- テキストモデル：OpenAI、Gemini
- 画像モデル：DALL-E、Gemini Imagen、Kling、通義万相
- 動画モデル：Seedance（ByteDance）、Kling（Kuaishou）、Veo（Google）、UCloud Seedance
各フェーズで異なるベンダーを設定できる。たとえばテキストに Gemini、画像に通義万相、動画に Seedance という組み合わせが可能だ。混ぜて使って、効果のいいものを選べばいい。
フロントエンドは Next.js 16 + React 19 + Tailwind CSS 4、データベースは SQLite + Drizzle ORM、パッケージ管理は pnpm。コミット数は 417 回、3 週間前もアクティブに更新されていた。
デプロイのハードルは高くない
Docker でワンコマンドで起動できる。
docker run -d \
--name ai-comic-builder \
-p 3000:3000 \
-v ./data:/app/data \
-v ./uploads:/app/uploads \
--platform linux/amd64 \
twwch/aicomicbuilder:latest
起動後、設定ページで AI モデルの API キーを構成すれば使えるようになる。データはローカルの SQLite に保存され、./data と ./uploads の2つのボリュームをマウントするだけでよい。
実際に使ってみての所感
手元に持ってきて動かしてみたが、インストールとデプロイは順調だった（pnpm install でネイティブモジュールのビルド問題に遭遇したが、pnpm-workspace.yaml の allowBuilds 設定を修正すれば解決した）。ローカルの localhost:3000 で UI を立ち上げると、かなりすっきりした中国語インターフェースで、プロジェクト作成からエピソード管理、キャラクター管理、コマ割り編集まで一通り揃っている。
ただし、生成パイプラインを完全に回すには、少なくとも1つの画像モデルと1つの動画モデルの API キーを構成する必要がある。Seedance と通義万相は中国国内ユーザーにとって比較的使いやすく、DashScope のキーだけで通義万相と Wan 動画モデルの両方をカバーできる。
何に使えるか
プロフェッショナルなアニメ制作を置き換えるものではなく、次のような用途に向いている。
- ショートドラマ / ストーリーアカウントの量産：小説やストーリーテキストがあれば、自動的に漫画ドラマ動画に分割生成
- 教育 / サイエンスアニメーション：知識ポイントをシナリオに書いて、批量でアニメーションを生成
- 迅速なプロトタイプ検証：あるストーリーシーンのアニメーション効果を確認したいとき、イラストレーターや編集者を待つ必要なし
Bilibili にはすでに複数のデモ動画が投稿されており、Seedance 2.0 で生成された「拳魂・最後のラウンド」などは効果を確認できる。
出典：AIComicBuilder GitHub · Apache 2.0 ライセンス