
Code2Video 是由 新加坡國立大學 Show Lab 開發的前沿研究專案,提出一種「以程式為中心(Code-Centric)」的影片生成架構,能將知識點轉換成高品質、可重現的教育影片。
核心概念
不同於一般的「文字轉影片(text-to-video)」模型,Code2Video 使用 可執行的 Manim 程式碼 來生成影片。這不僅確保了內容的邏輯性與一致性,也讓影片具備可重製、可編輯與可解釋的特性。
架構設計:Tri-Agent 智慧協作系統
Code2Video 採用三代理架構(Planner、Coder、Critic):
-
Planner:將知識主題展開成影片分鏡與腳本。
-
Coder:生成並除錯可執行的 Manim 程式碼,負責動畫細節。
-
Critic:進行版面與畫面美學優化,確保視覺清晰與教育表達完整。
此結構讓 AI 能像導演與動畫師一樣協作,產出具有教學邏輯與視覺美感的影片。
MMMC Benchmark
研究團隊也推出了 MMMC(Manim-based Multi-Modal Curriculum) 基準資料集,包含 117 個知識主題(靈感來自 YouTube 頻道 3Blue1Brown),用於評估 AI 教育影片生成的品質與效率。
使用方式
1. 安裝依賴套件:
cd src/
pip install -r requirements.txt
2. 設定 LLM 與 VLM API Key(支援 Claude 4、Gemini 2.5 Pro)。
3. 執行生成腳本:
bash run_agent_single.sh "Explain Fourier Series"
4. 系統將自動生成影片腳本、Manim 程式碼與最終動畫影片。
適合族群
-
教育內容創作者:希望用 AI 自動產生高品質教學影片。
-
研究人員:關注多模態生成與 AI 教育應用。
-
開發者與 AI 工程師:想結合 LLM 與視覺模型開發教育科技工具。
Code2Video 重新定義了「AI 影片生成」的概念 —— 不只是產出畫面,而是用程式邏輯驅動影片內容。
這項技術不僅提升了教學影片的生成效率,也開啟了 AI 自動化教育內容製作 的新篇章。