Storyboard AI

前言 如果你曾經用過 VideoScribe 或 Doodly 做過白板動畫，你就知道這套視覺語言有多麼強大——手繪線條在白色背景上一筆一筆出現，搭配旁白，能把複雜概念講得連阿公阿嬤都聽得懂。但問題也很明顯：手動選素材、排時間軸、錄旁白，一支兩分鐘的影片花個半天是常有的事。 現在，一位開發者 Yogendra Yatnalkar 推出了一個開源專案 Storyboard AI ，主打「輸入一段文字，自動產出一支完整的白板動畫影片」，從腳本、分鏡、插圖生成、動畫到配音字幕，全流程 AI 驅動。這個專案在 Reddit 的 r/SideProject 上引發了不少討論，目前已經獲得超過 59 個讚。 這篇文章帶你深入認識這個工具，看看它到底能做到什麼程度，以及跟市面上其他方案相比，有什麼優勢和限制。 Storyboard AI 到底是什麼？ 簡單來說，Storyboard AI 是一套 Agentic Pipeline（智能代理管線），它的核心概念是用一個「導演代理（Director Agent）」來統籌整個影片製作流程。你只需要提供一個主題或一段文字描述，它就會自動完成以下步驟： 研究與腳本撰寫：根據你給的主題，自動生成一段有吸引力的敘事腳本。 分鏡規劃：把腳本拆解成多個場景，規劃每個場景的視覺呈現方式。 素材生成：為每個場景生成白畫風格的插圖。 動畫製作：模擬手繪過程，讓畫面以「邊畫邊出現」的效果呈現。 配音與字幕：合成語音旁白，並精準對齊字幕。 整個過程你幾乎不需要插手，這就是它被稱為「E2E（End-to-End）」的原因。 技術架構：它怎麼做到的？ Storyboard AI 的技術堆疊相當紮實，我們來拆解它的核心組件： 1. Director Agent 與子代理架構 Director Agent 是整個管線的大腦。它會將你輸入的高階主題拆解成多個場景，然後將每個場景的任務委派給專門的子代理： 腳本代理：負責根據主題生成敘事腳本。 分鏡代理：規劃每個場景的視覺結構。 素材代理：生成白畫風格的插圖。 動畫代理：處理繪畫動畫效果。 音訊代理：合成旁白語音並對齊字幕。 這種「一個大代理帶一群小代理」的架構，在當前 AI Agent 應用中是非常主流且有效的设计模式。 2. 關鍵模型配置 專案的 config.py 中定義了幾個核心模型，目前使用的是 Google 的 Gemini 系列： MODEL_NAME = "gemini-2.5-pro" IMAGE_GEN_MODEL = "gemini-3-pro-image" VEO_MODEL = "veo-3.1-generate-preview" gemini-2.5-pro：負責腳本生成、分鏡規劃等文字與邏輯任務。 gemini-3-pro-image：生成白畫風格的插圖素材。 veo-3.1-generate-preview：處理影片動畫生成。 3. SAM 3 分割引擎 Storyboard AI 用到了 Segment Anything Model 3（SAM 3） 來做實例分割（instance segmentation）。這讓它能精確地從生成的插圖中提取出需要動畫化的元素，確保繪畫效果準確到位。 ...