影音創作 on 凱凱的技術筆記

HappyHorse 1.1 深度評測：阿里影業級 AI 影片模型，音訊原生時代的來臨

Tue, 30 Jun 2026 18:30:00 +0800

前言

如果你最近混 AI 影片圈，一定聽過「HappyHorse」這個名字。阿里雲在 2026 年初推出的 HappyHorse 1.0 以「神祕黑馬」之姿橫空出世，短短幾個月內就衝上全球 AI 影片模型排行榜第二名——而且它的競爭對手正在一個接一個倒下：OpenAI 的 Sora 因為每天 100 萬美元的營運成本宣布停產，字節跳動的 Seedance 2.0 也因版權爭議無限期擱置。

而在這個節骨眼上，阿里雲丟出了 HappyHorse 1.1。這次升級不再只是炫技 demo，而是直指商業生產場景：多角色一致性、原生音訊同步、電影級鏡頭語言。這篇文章我會把 HappyHorse 1.1 的核心能力、技術架構、與市場定位一次講清楚，幫你判斷它值不值得進到你的工作流。

技術架構：150 億參數的統一 Transformer

HappyHorse 1.1 的底層架構是基於一個 150 億參數的統一自注意力 Transformer。它最特別的地方在於——文字、影像、影片、音訊 token 全部塞進同一個 token sequence 裡處理。

這意味著什麼？傳統影片生成管线通常需要：先跑一個影片生成模型，再用另一個 TTS 模型產語音，最後用唇形同步工具把嘴型對上。HappyHorse 1.1 因為所有模態共享同一個架構，可以在單一步驟內同時生成影片和音訊，並且做到「零漂移唇形同步」（zero-drift lip sync）。

LTX 2.3 + ComfyUI Video Builder：從極客玩具到專業工具，AI 影片生成的下一波浪潮

Tue, 30 Jun 2026 14:30:00 +0800

前幾天在 r/comfyui 上看到一則貼文，標題平平無奇——「LTX 2.3 Video Builder UI for ComfyUI - High Level Beta Overview」，點進去看完整個 Demo 影片後，我第一個念頭是：AI 影片生成工具終於要從「極客的玩具」變成「創作者的武器」了。

這篇文章不只是想介紹這個工具，我想帶你從 LTX 2.3 模型本身聊到 ComfyUI 上的 Video Builder 工作流程，再聊聊它對整個 AI 影片生態的意義。如果你曾經用過 Runway、Pika 或 Sora，但苦於不夠靈活；或者你已經在用 ComfyUI 做影像生成，卻覺得影片流程太零散——這篇文章應該會讓你眼睛一亮。

LTX 2.3 是什麼？為什麼它值得關注？

LTX 2.3 是以色列公司 Lightricks 推出的開源影片生成模型，架構上採用 Diffusion Transformer（DiT），是目前高階生成式影片的主流架構。它的最大賣點可以用一句話概括：「一個模型，搞定影片＋同步音訊。」

核心規格亮點

能力	說明
最高解析度	4K（4096×2160）
最高幀率	50 FPS
影片長度	最長 20 秒
畫幅比例	16:9、9:16（原生支援）、1:1
音訊	原生同步生成
授權	年營收低於 1000 萬美元的企業可免費商用

這裡有幾個關鍵升級值得注意：

Storyboard AI：從文字到白板動畫影片，一個開源的 AI 全自動製作流程

Tue, 30 Jun 2026 14:30:00 +0800

前言

如果你曾經用過 VideoScribe 或 Doodly 做過白板動畫，你就知道這套視覺語言有多麼強大——手繪線條在白色背景上一筆一筆出現，搭配旁白，能把複雜概念講得連阿公阿嬤都聽得懂。但問題也很明顯：手動選素材、排時間軸、錄旁白，一支兩分鐘的影片花個半天是常有的事。

現在，一位開發者 Yogendra Yatnalkar 推出了一個開源專案 Storyboard AI ，主打「輸入一段文字，自動產出一支完整的白板動畫影片」，從腳本、分鏡、插圖生成、動畫到配音字幕，全流程 AI 驅動。這個專案在 Reddit 的 r/SideProject 上引發了不少討論，目前已經獲得超過 59 個讚。

這篇文章帶你深入認識這個工具，看看它到底能做到什麼程度，以及跟市面上其他方案相比，有什麼優勢和限制。

Storyboard AI 到底是什麼？

簡單來說，Storyboard AI 是一套 Agentic Pipeline（智能代理管線），它的核心概念是用一個「導演代理（Director Agent）」來統籌整個影片製作流程。你只需要提供一個主題或一段文字描述，它就會自動完成以下步驟：

研究與腳本撰寫：根據你給的主題，自動生成一段有吸引力的敘事腳本。
分鏡規劃：把腳本拆解成多個場景，規劃每個場景的視覺呈現方式。
素材生成：為每個場景生成白畫風格的插圖。
動畫製作：模擬手繪過程，讓畫面以「邊畫邊出現」的效果呈現。
配音與字幕：合成語音旁白，並精準對齊字幕。

整個過程你幾乎不需要插手，這就是它被稱為「E2E（End-to-End）」的原因。

技術架構：它怎麼做到的？

Storyboard AI 的技術堆疊相當紮實，我們來拆解它的核心組件：

1. Director Agent 與子代理架構

Director Agent 是整個管線的大腦。它會將你輸入的高階主題拆解成多個場景，然後將每個場景的任務委派給專門的子代理：

VNCCS 3.0 發布：用 ComfyUI 打造一致角色，視覺小說開發者的新殺手鐧

Tue, 30 Jun 2026 10:30:00 +0800

前陣子在 r/comfyui 上看到一則讓社群瞬間沸騰的貼文——VNCCS 3.0 正式發布了。這個由開發者 V-chan（AHEKOT）打造的視覺小說角色創建套件，從去年 9 月推出 V1.0 以來，短短不到一年就跳到了 3.0，迭代速度之快令人咋舌。

這篇文章來好好聊聊 VNCCS 3.0 到底更新了什麼、為什麼它能在眾多角色一致性工具中脫穎而出，以及對一般 AI 繪圖玩家來說，VNCCS 3.0 有什麼值得關注的地方。

什麼是 VNCCS？先搞懂角色一致性這個痛點

在深入 VNCCS 3.0 之前，先來理解它要解決的核心問題：角色一致性（Character Consistency）。

你用 AI 繪圖工具（Midjourney、Stable Diffusion、Flux 等等）生成角色時，最頭痛的是什麼？同一個角色，換個提示詞、換個姿勢、換個服裝，長得就不像了。眼睛顏色不對、髮型走樣、連臉型都變了。這對單張插畫來說還好，但如果你要做視覺小說（Visual Novel）、遊戲角色、或是需要同一角色出現在多個場景的系列作品，一致性就是生死關鍵。

VNCCS 的全名是 Visual Novel Character Creation Suite，直譯就是「視覺小說角色創建套件」。它的核心思路很直接：先建立一個「角色基準表（Character Sheet）」，然後基於這個基準表，在所有後續的生成中保持角色外觀一致。

可以想成先畫一張角色設定圖（正臉、側臉、全身），然後所有後續的表情、動作、服裝都參考這張設定圖來生成。這聽起來不難，但要做到「自動化」且「高品質」，背後需要一套完整的 pipeline。

VNCCS 3.0 的重大更新

V-chan 在 GitHub 上宣布 3.0 時用了這樣一句話：

Wan2.2 Animate 本地部署：用開源模型做 AI 動畫，比 Runway 省多少錢？

Sat, 13 Jun 2026 13:30:00 +0800

前言

前陣子在社群上瘋傳的「AI 角色替換動畫」，你應該也看過了——一張靜態照片配上參考影片，就能讓照片裡的角色做出跟原片一模一樣的动作。效果驚人到讓人懷疑人生。

這項技術背後的主力，就是阿里巴巴旗下通義千問團隊開發的 Wan2.2 Animate。跟之前只能做「圖轉影片」或「文轉影片」的模型不同，Wan2.2 Animate 專攻「角色動畫」與「角色替換」兩個場景，而且完全開源、Apache 2.0 授權、本地就能跑。

這就引出一個很實際的問題：如果你是個經常需要產出 AI 動畫內容的創作者或團隊，「自己架 GPU 跑 Wan2.2」跟「訂閱 Runway Gen-3 / Gen-4」，到底哪個更划算？

這篇文章就來好好算一筆帳。

Wan2.2 Animate 是什麼？技術亮點一次看

Wan2.2 是 Wan 系列視頻生成模型的第二次重大升級，2025 年 7 月正式發布。它在架構上從 Dense Transformer 升級為 Mixture-of-Experts (MoE) 架構，這是它最核心的技術突破。

MoE 架構：一次推理，兩個專家

簡單來說，Wan2.2 的 14B 模型總共有 270 億個參數，但每一步推理只激活其中 140 億個參數。它的運作方式很聰明：

MoneyPrinterTurbo 深度解析：一鍵生成短片的 AI 工廠，本地還是雲端？

Thu, 11 Jun 2026 00:30:00 +0800

前言

最近 GitHub 上有一個名為 MoneyPrinterTurbo 的專案迅速竄升，短短時間內星數暴增超過一千顆。這個專案號稱能讓你「一鍵生成高清短片」，從腳本、旁白、字幕到素材全自動處理。

但它的名字雖然叫「印鈔機」，實際上真的能幫你印鈔嗎？本地部署和雲端部署各適合什麼人？有哪些隱藏的限制？今天我們就來深入拆解這個熱門專案。

什麼是 MoneyPrinterTurbo？

MoneyPrinterTurbo 是一個開源（MIT 授權）的 Python 應用程式，核心功能是將一個主題或關鍵字轉換成完整的短片。它的架構採用 MVC 模式，同時提供 WebUI（基於 Streamlit）和 API（基於 FastAPI）兩種介面。

整個工作流可以簡化為以下五個步驟：

輸入主題/關鍵字 → LLM 自動生成腳本和搜尋詞彙
TTS 語音合成 → 將腳本轉成旁白音檔
字幕對齊 → 自動生成並對齊時間戳記
素材獲取 → 從 Pexels、Pixabay、Coverr 等免費素材庫抓取相關影片片段
組裝渲染 → 用 MoviePy 組裝、FFmpeg 輸出最終影片

支援的輸出比例包含 9:16（直式，適合 TikTok、Reels）和 16:9（橫式，適合 YouTube），解析度最高到 1080p。

Stable Audio 3.0 在 ComfyUI 中的部署與使用：高品質音樂生成

Wed, 10 Jun 2026 09:30:00 +0800

在 AI 生成音訊的領域中，Stability AI 推出的 Stable Audio 3.0 無疑是一個里程碑。這套全新家族式的音訊生成模型，不僅支援從短促音效到長達六分多鐘的完整音樂作品，更重要的是——它採用完全授權的音樂數據集訓練，意味著你生成的作品可以直接商用。

而 ComfyUI 作為目前最靈活的 AI 創作平台，已經在 Stable Audio 3.0 發布當天就提供了首日支援（Day-0 Support）。這篇文章將帶你從零開始，了解 Stable Audio 3.0 的模型差異、ComfyUI 中的部署流程，以及實際使用技巧。

Stable Audio 3.0 模型家族概覽

Stable Audio 3.0 並非單一模型，而是一個針對不同使用場景設計的模型家族。理解這些差異，能幫助你選擇最適合的方案。

模型變體	主要用途	最大長度	硬體需求
3.0 Small SFX	音效、環境音	≤ 2 分鐘	CPU 即可運行
3.0 Small	完整音樂創作	≤ 2 分鐘	CPU 即可運行
3.0 Medium	高音樂性、長曲目	~6 分 20 秒	需要 GPU
3.0 Large	進階音樂性、低延遲	~6 分 20 秒	API / 企業部署

幾個值得注意的亮點：

Z-Image-Turbo + IP-Adapter FaceID：最新 ComfyUI 工作流與 LoRA 訓練素材準備指南

Tue, 09 Jun 2026 17:30:00 +0800

前言

最近 Z-Image-Turbo 在社群中掀起了一波熱潮——這個由阿里通義實驗室推出的影像生成模型，以極低的推理步數（僅 8 步）就能產生媲美競爭對手的品質，而且推理速度在 H800 上可達毫秒級。但對於想訓練角色 LoRA 的玩家來說，如何從零開始準備高品質的訓練素材，一直是個痛點。

這篇文章整合了 Reddit、HuggingFace Blog 以及多個 GitHub 社群的最新實測經驗，整理出一套完整的 Z-Image-Turbo + IP-Adapter FaceID 工作流，幫你從參考圖到訓練素材一次搞定。

IP-Adapter 對 Z-Image-Turbo 的支援現況

首先，我們需要釐清一個關鍵事實：Z-Image-Turbo 目前沒有專屬的 IP-Adapter FaceID 模型。但這不代表不能用 IP-Adapter，只是需要透過幾種替代方案來達成面部一致性。

方案一：SD3 IP-Adapter 轉換法（開發中）

研究人員 DragonDiffusionbyBoyo 發現，SD3 的 IP-Adapter 經過修改後可以跟 Z-Image-Turbo 相容。這個實作已經包含在 Boyonodes 中，檔案包括 zimage_ip_adapter_nodes.py 和 zimage_attention_wrapper.py。截至 2026 年 3 月仍在持續開發，是未來最有潛力的方案。

瀏覽器裡的 FFmpeg：零上傳、離線跑的影片編輯器，30 種操作一次看完

Fri, 05 Jun 2026 18:16:43 +0800

前言

每次要剪個影片、轉個格式，第一個浮現的畫面是什麼？

打開 DaVinci Resolve 等三分鐘、開啟 Premiere 等五分鐘、或者打開某個線上工具、上傳檔案、等進度條、等伺服器處理、然後下載——整套流程下來，一杯咖啡都涼了。

如果你曾經受夠了這種流程，這篇文章就是為你寫的。

今天介紹一個叫 ffmpeg-webCLI 的開源專案，它把整個 FFmpeg 塞進你的瀏覽器裡。沒有伺服器上傳、不需要安裝軟體、甚至離線也能跑。30 多種影片操作，從格式轉換到浮水印疊加，全部在本地完成。

重點是：你看完這篇文章的時候，應該已經會用了。

先搞懂一個問題：FFmpeg 怎麼跑在瀏覽器裡？

FFmpeg 原本是命令列工具，Linux 伺服器上的常客。但 FFmpeg 團隊做了件很酷的事——把核心編譯成 WebAssembly（WASM），讓它能在瀏覽器裡跑。

ffmpeg-webCLI 的背後就是 ffmpeg.wasm 這個庫。簡單說，你第一次打開網頁時，會下載約 31 MB 的 WASM 檔案（之後瀏覽器會快取，下次幾乎秒開）。之後所有影片處理都在你的裝置上完成，檔案不離開你的電腦。

這意味著什麼？

隱私：你的影片不會上傳到任何伺服器
速度：不走網路傳輸，直接處理本地檔案
離線：首次載入後，關掉網路照樣能用

第一步：打開它，花 30 秒上手

直接到 ffmpeg-webCLI 的官方網站（或把原始碼 clone 下來用 npx serve docs 在本機跑）。