影音創作

前言 如果你最近混 AI 影片圈，一定聽過「HappyHorse」這個名字。阿里雲在 2026 年初推出的 HappyHorse 1.0 以「神祕黑馬」之姿橫空出世，短短幾個月內就衝上全球 AI 影片模型排行榜第二名——而且它的競爭對手正在一個接一個倒下：OpenAI 的 Sora 因為每天 100 萬美元的營運成本宣布停產，字節跳動的 Seedance 2.0 也因版權爭議無限期擱置。 而在這個節骨眼上，阿里雲丟出了 HappyHorse 1.1。這次升級不再只是炫技 demo，而是直指商業生產場景：多角色一致性、原生音訊同步、電影級鏡頭語言。這篇文章我會把 HappyHorse 1.1 的核心能力、技術架構、與市場定位一次講清楚，幫你判斷它值不值得進到你的工作流。 技術架構：150 億參數的統一 Transformer HappyHorse 1.1 的底層架構是基於一個 150 億參數的統一自注意力 Transformer。它最特別的地方在於——文字、影像、影片、音訊 token 全部塞進同一個 token sequence 裡處理。 這意味著什麼？傳統影片生成管线通常需要：先跑一個影片生成模型，再用另一個 TTS 模型產語音，最後用唇形同步工具把嘴型對上。HappyHorse 1.1 因為所有模態共享同一個架構，可以在單一步驟內同時生成影片和音訊，並且做到「零漂移唇形同步」（zero-drift lip sync）。 簡單來說：以前你要用三套工具才能完成的流程，HappyHorse 1.1 一個模型就搞定了。 1.1 版本五大核心升級 阿里雲在發布說明中強調了五個生產級別的改進，我們逐個拆解： 1. 動態表現力：動作不再僵硬 1.0 版本最大的槽點是角色動作僵硬、表情呆板。1.1 版透過改進幀對齊算法，大幅提升了動作流暢度。實測結果是：同樣的提示詞，1.1 生成的角色眨眼、手部動作、服裝擺動都自然了至少一個等級。 2. 多圖參考：最多九張輸入圖 這是 1.1 最讓電商和品牌團隊興奮的功能。你可以上傳最多 9 張參考圖片——同一個角色的不同角度、產品的多個視角、場景的不同光線條件——模型會精確保留這些輸入細節，不會出現角色臉部融合或產品特徵丟失的問題。 3. 多角色可靠性 以往多角色影片生成最大的痛點是：角色 A 和角色 B 在鏡頭切換時會互相「串臉」。1.1 版透過改進的角色隔離機制，讓每個角色在不同場景切換時保持固定的外貌特徵。阿里雲的說法是：「提供角色與場景作為獨立輸入，角色在場景切換時保持不變。」 ...

前幾天在 r/comfyui 上看到一則貼文，標題平平無奇——「LTX 2.3 Video Builder UI for ComfyUI - High Level Beta Overview」，點進去看完整個 Demo 影片後，我第一個念頭是：AI 影片生成工具終於要從「極客的玩具」變成「創作者的武器」了。 這篇文章不只是想介紹這個工具，我想帶你從 LTX 2.3 模型本身聊到 ComfyUI 上的 Video Builder 工作流程，再聊聊它對整個 AI 影片生態的意義。如果你曾經用過 Runway、Pika 或 Sora，但苦於不夠靈活；或者你已經在用 ComfyUI 做影像生成，卻覺得影片流程太零散——這篇文章應該會讓你眼睛一亮。 LTX 2.3 是什麼？為什麼它值得關注？ LTX 2.3 是以色列公司 Lightricks 推出的開源影片生成模型，架構上採用 Diffusion Transformer（DiT），是目前高階生成式影片的主流架構。它的最大賣點可以用一句話概括：「一個模型，搞定影片＋同步音訊。」 核心規格亮點 能力 說明 最高解析度 4K（4096×2160） 最高幀率 50 FPS 影片長度 最長 20 秒 畫幅比例 16:9、9:16（原生支援）、1:1 音訊 原生同步生成 授權 年營收低於 1000 萬美元的企業可免費商用 這裡有幾個關鍵升級值得注意： 1. 重新設計的潛在空間（Latent Space） LTX 2.3 訓練了一個更高品質的 Video VAE，意味著細部表現（髮絲、文字、邊緣）比前代 LTX-2 更銳利。簡單來說，生成的畫面不會再有一層「AI 糊感」。 ...

前言 如果你曾經用過 VideoScribe 或 Doodly 做過白板動畫，你就知道這套視覺語言有多麼強大——手繪線條在白色背景上一筆一筆出現，搭配旁白，能把複雜概念講得連阿公阿嬤都聽得懂。但問題也很明顯：手動選素材、排時間軸、錄旁白，一支兩分鐘的影片花個半天是常有的事。 現在，一位開發者 Yogendra Yatnalkar 推出了一個開源專案 Storyboard AI ，主打「輸入一段文字，自動產出一支完整的白板動畫影片」，從腳本、分鏡、插圖生成、動畫到配音字幕，全流程 AI 驅動。這個專案在 Reddit 的 r/SideProject 上引發了不少討論，目前已經獲得超過 59 個讚。 這篇文章帶你深入認識這個工具，看看它到底能做到什麼程度，以及跟市面上其他方案相比，有什麼優勢和限制。 Storyboard AI 到底是什麼？ 簡單來說，Storyboard AI 是一套 Agentic Pipeline（智能代理管線），它的核心概念是用一個「導演代理（Director Agent）」來統籌整個影片製作流程。你只需要提供一個主題或一段文字描述，它就會自動完成以下步驟： 研究與腳本撰寫：根據你給的主題，自動生成一段有吸引力的敘事腳本。 分鏡規劃：把腳本拆解成多個場景，規劃每個場景的視覺呈現方式。 素材生成：為每個場景生成白畫風格的插圖。 動畫製作：模擬手繪過程，讓畫面以「邊畫邊出現」的效果呈現。 配音與字幕：合成語音旁白，並精準對齊字幕。 整個過程你幾乎不需要插手，這就是它被稱為「E2E（End-to-End）」的原因。 技術架構：它怎麼做到的？ Storyboard AI 的技術堆疊相當紮實，我們來拆解它的核心組件： 1. Director Agent 與子代理架構 Director Agent 是整個管線的大腦。它會將你輸入的高階主題拆解成多個場景，然後將每個場景的任務委派給專門的子代理： 腳本代理：負責根據主題生成敘事腳本。 分鏡代理：規劃每個場景的視覺結構。 素材代理：生成白畫風格的插圖。 動畫代理：處理繪畫動畫效果。 音訊代理：合成旁白語音並對齊字幕。 這種「一個大代理帶一群小代理」的架構，在當前 AI Agent 應用中是非常主流且有效的设计模式。 2. 關鍵模型配置 專案的 config.py 中定義了幾個核心模型，目前使用的是 Google 的 Gemini 系列： MODEL_NAME = "gemini-2.5-pro" IMAGE_GEN_MODEL = "gemini-3-pro-image" VEO_MODEL = "veo-3.1-generate-preview" gemini-2.5-pro：負責腳本生成、分鏡規劃等文字與邏輯任務。 gemini-3-pro-image：生成白畫風格的插圖素材。 veo-3.1-generate-preview：處理影片動畫生成。 3. SAM 3 分割引擎 Storyboard AI 用到了 Segment Anything Model 3（SAM 3） 來做實例分割（instance segmentation）。這讓它能精確地從生成的插圖中提取出需要動畫化的元素，確保繪畫效果準確到位。 ...

前陣子在 r/comfyui 上看到一則讓社群瞬間沸騰的貼文——VNCCS 3.0 正式發布了。這個由開發者 V-chan（AHEKOT）打造的視覺小說角色創建套件，從去年 9 月推出 V1.0 以來，短短不到一年就跳到了 3.0，迭代速度之快令人咋舌。 這篇文章來好好聊聊 VNCCS 3.0 到底更新了什麼、為什麼它能在眾多角色一致性工具中脫穎而出，以及對一般 AI 繪圖玩家來說，VNCCS 3.0 有什麼值得關注的地方。 什麼是 VNCCS？先搞懂角色一致性這個痛點 在深入 VNCCS 3.0 之前，先來理解它要解決的核心問題：角色一致性（Character Consistency）。 你用 AI 繪圖工具（Midjourney、Stable Diffusion、Flux 等等）生成角色時，最頭痛的是什麼？同一個角色，換個提示詞、換個姿勢、換個服裝，長得就不像了。眼睛顏色不對、髮型走樣、連臉型都變了。這對單張插畫來說還好，但如果你要做視覺小說（Visual Novel）、遊戲角色、或是需要同一角色出現在多個場景的系列作品，一致性就是生死關鍵。 VNCCS 的全名是 Visual Novel Character Creation Suite，直譯就是「視覺小說角色創建套件」。它的核心思路很直接：先建立一個「角色基準表（Character Sheet）」，然後基於這個基準表，在所有後續的生成中保持角色外觀一致。 可以想成先畫一張角色設定圖（正臉、側臉、全身），然後所有後續的表情、動作、服裝都參考這張設定圖來生成。這聽起來不難，但要做到「自動化」且「高品質」，背後需要一套完整的 pipeline。 VNCCS 3.0 的重大更新 V-chan 在 GitHub 上宣布 3.0 時用了這樣一句話： “We got a BIIIIIIG update, and now everything is completely new.” 確實，3.0 幾乎是把整個架構重寫了一遍。以下是幾個最重要的更新： 1. 全面整合 Qwen 模型 3.0 最大的改變之一是全面採用 Qwen 模型作為核心引擎。之前的版本主要依賴 SDXL 系列模型，而 3.0 引入了基於 Qwen 的角色編碼器（VNCCS_QWEN_Encoder），這讓角色特徵的提取和保持更加精準。 ...

前言 前陣子在社群上瘋傳的「AI 角色替換動畫」，你應該也看過了——一張靜態照片配上參考影片，就能讓照片裡的角色做出跟原片一模一樣的动作。效果驚人到讓人懷疑人生。 這項技術背後的主力，就是阿里巴巴旗下通義千問團隊開發的 Wan2.2 Animate。跟之前只能做「圖轉影片」或「文轉影片」的模型不同，Wan2.2 Animate 專攻「角色動畫」與「角色替換」兩個場景，而且完全開源、Apache 2.0 授權、本地就能跑。 這就引出一個很實際的問題：如果你是個經常需要產出 AI 動畫內容的創作者或團隊，「自己架 GPU 跑 Wan2.2」跟「訂閱 Runway Gen-3 / Gen-4」，到底哪個更划算？ 這篇文章就來好好算一筆帳。 Wan2.2 Animate 是什麼？技術亮點一次看 Wan2.2 是 Wan 系列視頻生成模型的第二次重大升級，2025 年 7 月正式發布。它在架構上從 Dense Transformer 升級為 Mixture-of-Experts (MoE) 架構，這是它最核心的技術突破。 MoE 架構：一次推理，兩個專家 簡單來說，Wan2.2 的 14B 模型總共有 270 億個參數，但每一步推理只激活其中 140 億個參數。它的運作方式很聰明： 高噪音專家（High-Noise Expert）：負責影片初始佈局，決定整體構圖和運動方向 低噪音專家（Low-Noise Expert）：負責後期細節精煉，讓畫面更清晰、動作更流暢 這個設計讓 Wan2.2 在不增加推理成本的前提下，大幅提升了處理複雜運動、美學控制和語義理解的能力。官方數據顯示，相比 Wan2.1，Wan2.2 的訓練數據增加了 65.6% 的圖片和 83.2% 的影片。 模型家族一覽 Wan2.2 不只有一個模型，而是一整個家族，涵蓋不同任務： 模型 任務 特色 T2V-A14B 文字轉影片 MoE 架構，支援 480P/720P I2V-A14B 圖像轉影片 MoE 架構，支援 480P/720P TI2V-5B 文/圖轉影片 高壓縮 VAE，RTX 4090 就能跑 720P@24fps S2V-14B 語音轉影片 音訊驅動，支援姿勢驅動 Animate-14B 角色動畫 動畫模式 + 替換模式 我們今天的主角就是最後這個 Animate-14B，它支援兩種模式： ...

前言 最近 GitHub 上有一個名為 MoneyPrinterTurbo 的專案迅速竄升，短短時間內星數暴增超過一千顆。這個專案號稱能讓你「一鍵生成高清短片」，從腳本、旁白、字幕到素材全自動處理。 但它的名字雖然叫「印鈔機」，實際上真的能幫你印鈔嗎？本地部署和雲端部署各適合什麼人？有哪些隱藏的限制？今天我們就來深入拆解這個熱門專案。 什麼是 MoneyPrinterTurbo？ MoneyPrinterTurbo 是一個開源（MIT 授權）的 Python 應用程式，核心功能是將一個主題或關鍵字轉換成完整的短片。它的架構採用 MVC 模式，同時提供 WebUI（基於 Streamlit）和 API（基於 FastAPI）兩種介面。 整個工作流可以簡化為以下五個步驟： 輸入主題/關鍵字 → LLM 自動生成腳本和搜尋詞彙 TTS 語音合成 → 將腳本轉成旁白音檔 字幕對齊 → 自動生成並對齊時間戳記 素材獲取 → 從 Pexels、Pixabay、Coverr 等免費素材庫抓取相關影片片段 組裝渲染 → 用 MoviePy 組裝、FFmpeg 輸出最終影片 支援的輸出比例包含 9:16（直式，適合 TikTok、Reels）和 16:9（橫式，適合 YouTube），解析度最高到 1080p。 本地部署 vs 雲端部署：差別在哪？ 本地部署 本地部署有兩種主要方式：使用 uv 安裝或使用 Docker Compose。 # uv 安裝方式 git clone https://github.com/harry0703/MoneyPrinterTurbo.git cd MoneyPrinterTurbo uv python install 3.11 uv sync --frozen cp config.example.toml config.toml uv run streamlit run ./webui/Main.py # Docker 方式（更省事） docker compose up # 瀏覽器開啟 http://127.0.0.1:8501 本地部署的優點： ...

在 AI 生成音訊的領域中，Stability AI 推出的 Stable Audio 3.0 無疑是一個里程碑。這套全新家族式的音訊生成模型，不僅支援從短促音效到長達六分多鐘的完整音樂作品，更重要的是——它採用完全授權的音樂數據集訓練，意味著你生成的作品可以直接商用。 而 ComfyUI 作為目前最靈活的 AI 創作平台，已經在 Stable Audio 3.0 發布當天就提供了首日支援（Day-0 Support）。這篇文章將帶你從零開始，了解 Stable Audio 3.0 的模型差異、ComfyUI 中的部署流程，以及實際使用技巧。 Stable Audio 3.0 模型家族概覽 Stable Audio 3.0 並非單一模型，而是一個針對不同使用場景設計的模型家族。理解這些差異，能幫助你選擇最適合的方案。 模型變體 主要用途 最大長度 硬體需求 3.0 Small SFX 音效、環境音 ≤ 2 分鐘 CPU 即可運行 3.0 Small 完整音樂創作 ≤ 2 分鐘 CPU 即可運行 3.0 Medium 高音樂性、長曲目 ~6 分 20 秒 需要 GPU 3.0 Large 進階音樂性、低延遲 ~6 分 20 秒 API / 企業部署 幾個值得注意的亮點： ...

前言 最近 Z-Image-Turbo 在社群中掀起了一波熱潮——這個由阿里通義實驗室推出的影像生成模型，以極低的推理步數（僅 8 步）就能產生媲美競爭對手的品質，而且推理速度在 H800 上可達毫秒級。但對於想訓練角色 LoRA 的玩家來說，如何從零開始準備高品質的訓練素材，一直是個痛點。 這篇文章整合了 Reddit、HuggingFace Blog 以及多個 GitHub 社群的最新實測經驗，整理出一套完整的 Z-Image-Turbo + IP-Adapter FaceID 工作流，幫你從參考圖到訓練素材一次搞定。 IP-Adapter 對 Z-Image-Turbo 的支援現況 首先，我們需要釐清一個關鍵事實：Z-Image-Turbo 目前沒有專屬的 IP-Adapter FaceID 模型。但這不代表不能用 IP-Adapter，只是需要透過幾種替代方案來達成面部一致性。 方案一：SD3 IP-Adapter 轉換法（開發中） 研究人員 DragonDiffusionbyBoyo 發現，SD3 的 IP-Adapter 經過修改後可以跟 Z-Image-Turbo 相容。這個實作已經包含在 Boyonodes 中，檔案包括 zimage_ip_adapter_nodes.py 和 zimage_attention_wrapper.py。截至 2026 年 3 月仍在持續開發，是未來最有潛力的方案。 方案二：ControlNet Union（目前最穩定） Z-Image-Turbo 官方提供了 Z-Image-Turbo-Fun-Controlnet-Union.safetensors，支援 Canny（邊緣）、Depth（空間構圖）和 DWPose（人物姿勢）三種模式。對於角色一致性來說，DWPose 特別好用——你可以用一張角色參考圖控制姿勢，再搭配 prompt 來控制表情和服裝。 方案三：傳統 IP-Adapter FaceID（SDXL/SD1.5） 直接插入 SDXL 或 SD1.5 的 IP-Adapter FaceID 模型也能跑，但面部相似度偏低。適合用來做「風格和構圖參考」，而不是精確的面部復現。 ...

前言 每次要剪個影片、轉個格式，第一個浮現的畫面是什麼？ 打開 DaVinci Resolve 等三分鐘、開啟 Premiere 等五分鐘、或者打開某個線上工具、上傳檔案、等進度條、等伺服器處理、然後下載——整套流程下來，一杯咖啡都涼了。 如果你曾經受夠了這種流程，這篇文章就是為你寫的。 今天介紹一個叫 ffmpeg-webCLI 的開源專案，它把整個 FFmpeg 塞進你的瀏覽器裡。沒有伺服器上傳、不需要安裝軟體、甚至離線也能跑。30 多種影片操作，從格式轉換到浮水印疊加，全部在本地完成。 重點是：你看完這篇文章的時候，應該已經會用了。 先搞懂一個問題：FFmpeg 怎麼跑在瀏覽器裡？ FFmpeg 原本是命令列工具，Linux 伺服器上的常客。但 FFmpeg 團隊做了件很酷的事——把核心編譯成 WebAssembly（WASM），讓它能在瀏覽器裡跑。 ffmpeg-webCLI 的背後就是 ffmpeg.wasm 這個庫。簡單說，你第一次打開網頁時，會下載約 31 MB 的 WASM 檔案（之後瀏覽器會快取，下次幾乎秒開）。之後所有影片處理都在你的裝置上完成，檔案不離開你的電腦。 這意味著什麼？ 隱私：你的影片不會上傳到任何伺服器 速度：不走網路傳輸，直接處理本地檔案 離線：首次載入後，關掉網路照樣能用 第一步：打開它，花 30 秒上手 直接到 ffmpeg-webCLI 的官方網站 （或把原始碼 clone 下來用 npx serve docs 在本機跑）。 畫面很乾淨，就三個步驟： 點 Load ffmpeg（首次會下載 WASM 檔案，等個幾秒） 拖入或選擇你的影片檔案 選操作、調整參數、點 Process Video 就這三步。沒有選單、沒有面板堆疊、沒有學不完的功能表。 小提醒：COOP / COEP Headers 如果你自己在本機部署，需要設定兩個 HTTP Headers： C C r r o o s s s s - - O O r r i i g g i i n n - - O E p m e b n e e d r d - e P r o - l P i o c l y i : c y s : a m r e e - q o u r i i r g e i - n c o r p 這是因為 ffmpeg.wasm 用到了 SharedArrayBuffer，瀏覽器需要這兩個 Header 才能啟動。專案自帶的 server.js 或 npx serve 都會自動幫你設定好。 ...