Voicebox:整合聲音複製、全域聽寫與 AI Agent 語音輸出的本機開源工具

Voicebox 是一款本機優先(Local-first)的開源 AI 語音工具,將聲音複製、文字轉語音、語音輸入、長篇內容製作與 AI Agent 語音輸出整合在同一套桌面應用程式中。官方將它定位為 ElevenLabs 與 WisprFlow 的免費開源替代方案:前者主要處理文字轉語音與聲音複製,後者著重語音輸入與聽寫,而 Voicebox 希望同時處理完整的語音輸入與輸出流程。

這也代表 Voicebox 不只是一套 TTS 模型操作介面,更不是單純供開發者串接服務的 Voice AI Framework。使用者可以從幾秒鐘的參考音訊複製聲音、選擇預設聲線產生語音,也能按下全域快捷鍵直接對任何應用程式聽寫,再讓支援 MCP 的 AI Agent 使用指定聲音回覆。整套流程可在使用者自己的電腦上執行,模型、錄音、語音資料、逐字稿與本機 LLM 的處理結果不必送往雲端。

Voicebox 的市場定位相當明確。ElevenLabs 解決的是 AI 語音輸出,WisprFlow 解決的是語音輸入,但兩者分別位於語音互動迴路的不同端點。Voicebox 則把語音合成、聽寫、文字修整與 Agent 回覆串在一起,再透過內建的本機 LLM 清理逐字稿、調整內容,或依照不同聲音設定檔套用角色個性。這使它從一般聲音複製工具,進一步發展成涵蓋人類與 AI Agent 的完整 Voice I/O 工作環境。

在語音輸出方面,Voicebox 支援多種定位不同的 TTS 引擎,使用者可依硬體、語言、品質及生成速度切換。官方目前列出的七套引擎包括:

  • Qwen3-TTS
  • Qwen CustomVoice
  • LuxTTS
  • Chatterbox Multilingual
  • Chatterbox Turbo
  • HumeAI TADA
  • Kokoro

這些引擎並非全部提供相同能力。Qwen3-TTS、LuxTTS、Chatterbox 與 TADA 可用於聲音複製;Qwen CustomVoice 與 Kokoro 則提供整理好的預設聲音。部分模型適合高品質輸出,部分著重 CPU 即時效能,也有模型專門支援多語言或更具表現力的說話方式。

Voicebox 支援以短音訊進行零樣本聲音複製,也提供超過 50 款整理好的預設聲音。使用者不一定要準備自己的參考錄音,即可直接挑選聲線產生內容;需要建立個人化聲音時,則能匯入一段參考音訊建立 Voice Profile。語言方面,專案整體可處理最多 23 種語言,包括英文、中文、日文、阿拉伯文、印地文與史瓦希里文等,不過實際支援範圍會因所選 TTS 引擎而有所差異。

除了基本的文字轉語音,Voicebox 也提供多項偏向內容製作的功能:

  • 調整音高,並加入混響、延遲、合唱、壓縮與濾波效果。
  • 使用 [laugh][sigh][gasp] 等標記控制笑聲、嘆氣與吸氣等語氣。
  • 透過自然語言描述說話方式,控制部分模型的情緒與表達。
  • 自動將長篇文字切分生成,再以 Crossfade 銜接不同片段。
  • 利用 Stories Editor 的多軌時間軸製作對話、Podcast 與敘事內容。

因此,它不只適合輸出短句或旁白,也能處理文章、故事、章節及多人對話等較長內容。相較於只有文字輸入框與音訊下載按鈕的 TTS 工具,Voicebox 更接近一套精簡的 AI 語音製作環境。

語音輸入是 Voicebox 從聲音複製工具發展為完整 AI 語音工具的重要功能。使用者可設定全域快捷鍵,在任何應用程式中使用 Push-to-talk 或切換式錄音;錄音完成後,Whisper 會在本機將語音轉換成文字,再由本機 LLM 處理標點、語助詞與自我修正,最後自動貼入原本取得焦點的文字欄位。Voicebox 也會保存錄音與逐字稿,方便搜尋、重新轉錄、再次修整,或直接將某次錄音轉為新的聲音複製樣本。

對於使用 Claude Code、Cursor、Cline 等 AI 開發工具的人,Voicebox 還提供 MCP Server。支援 MCP 的 Agent 可透過 voicebox.speak 工具呼叫指定聲音,將原本只會顯示在畫面上的文字回應直接朗讀出來。這項整合的重點不是另外建立一個語音 Agent,而是替既有 Agent 補上可自由選擇、甚至自行複製的聲音。

Voice Profile 也不只保存聲音本身。使用者可以為不同聲音附加自由格式的 Persona,描述角色的個性、語氣與表達方式,再透過內建本機 LLM 執行 Compose、Rewrite 或 Respond。如此一來,同一段資訊可依不同角色設定重新組織,再交由對應聲音朗讀;透過 MCP 連接的 Agent 也能使用相同模式。這讓 Voicebox 的「聲音」不只是音色設定,而能同時包含可重複使用的角色表達方式。

在技術架構上,Voicebox 使用 Tauri 建立桌面程式,核心桌面層採用 Rust,而不是 Electron。專案同時提供 REST API、WebSocket API 與 MCP Server,讓使用者除了操作圖形介面,也能把語音輸入與輸出能力整合進自己的應用程式、自動化流程或 AI Agent。平台方面則涵蓋 macOS、Windows 與 Linux,並針對 Apple Silicon 的 MLX/Metal、NVIDIA CUDA、AMD ROCm、Intel Arc、CPU 及 Docker 等不同環境提供支援;不過,實際可使用的模型與效能仍會受到作業系統、顯示卡及記憶體容量影響。

從實際使用情境來看,Voicebox 適合的對象包括:

  • 想在本機複製聲音與產生 AI 配音的內容創作者。
  • 需要製作 Podcast、角色對話或長篇有聲內容的使用者。
  • 希望以全域快捷鍵取代鍵盤輸入的語音聽寫使用者。
  • 重視錄音、逐字稿及聲音資料隱私的個人與團隊。
  • 想讓 Claude Code、Cursor 或其他 MCP Agent 開口回應的開發者。
  • 希望透過 API 將本機語音能力整合進應用程式的工程師。

與 ElevenLabs 相比,Voicebox 的優勢在於開源、本機執行、沒有依字數計價的雲端生成模式,並提供多種可替換的 TTS 引擎;與 WisprFlow 相比,它除了語音聽寫,也涵蓋聲音複製、語音合成與 Agent 語音回覆。不過,本機執行也代表使用者需要自行下載模型、準備儲存空間,生成速度與可用功能則取決於電腦硬體。它並不是以雲端便利性取勝,而是以資料自主、模型選擇與完整語音工作流程作為主要差異。

整體而言,Voicebox 是一款整合語音輸入與輸出的本機 AI 語音工具。它一方面提供多引擎文字轉語音、聲音複製、效果處理及多軌故事編輯,另一方面加入全域聽寫、本機 LLM 修整、Voice Persona 與 MCP Agent 語音輸出。對於希望減少對雲端語音平台依賴,同時把配音、聽寫與 AI Agent 語音互動集中在同一個應用程式中的使用者而言,Voicebox 提供了一套完整且具高度擴充性的開源方案。

如果您喜歡我們的網站,並且希望支持我們的工作,您可以考慮捐款。我們接受各種形式的捐款,包括一次性捐款和定期捐款。您的捐款將幫助我們維護和改進網站,並為用戶提供更好的體驗。

課程推薦

AI虛擬角色生成實戰班

AI虛擬角色生成實戰班

本課程將帶你從 AI 虛擬角色的概念出發,認識 AI Persona 的生成流程與應用方式,學會打造專屬自己的 AI 分身。課程中會學習 Prompt 提示詞撰寫、真人感人像生成、固定角色模板建立,並延伸出同一角色的多場景、多服裝與多情境照片。

OpenClaw 龍蝦 AI 代理人實作課:零基礎打造 AI 辦公代理人

OpenClaw 龍蝦 AI 代理人實作課:零基礎打造 AI 辦公代理人

本課程從安裝部署、身份設定、技能安裝到實戰應用,帶你從零建立一個專屬的 AI 工作助手-OpenClaw 龍蝦,這個 AI 助手可以替你蒐集情報、摘要文件、整理郵件、生成內容、定時提醒,全部自動完成。

輸入折扣碼 TC1625FR 還可以額外獲得 NT$500 優惠喔。

Google Gemini AI 多媒體生成工具應用實戰:從 Imagen 4、Veo 3、Chirp、Lyria 到 nano-banana

Google Gemini AI 多媒體生成工具應用實戰:從 Imagen 4、Veo 3、Chirp、Lyria 到 nano-banana

如何只用文字說明提示就生成不同的圖像結果?亦或是會議上的語音檔轉文字?這是一堂通盤性、全面性的Google Gemini AI多媒體生成工具應用實戰!

輸入折扣碼 TC1609EW 還可以額外獲得 NT$500 優惠喔。

AI 數據自動化工具實戰班:Google Sheet x Apps Script x NotebookLM 暨資料處理函數

AI 數據自動化工具實戰班:Google Sheet x Apps Script x NotebookLM 暨資料處理函數

本門課將教你如何善用 AI 功能與工具,進行自動分析數據提供有幫助的建議與洞察,以及使用 AI 驅動的公式自動化計算。

輸入折扣碼 TC1615VU 還可以額外獲得 NT$500 優惠喔。

3 小時掌握自動化工作新手應用實作 – n8n AI Agent

3 小時掌握自動化工作新手應用實作 – n8n AI Agent

這門課程將帶你循序漸進掌握 n8n 的自動化技巧,從基礎認識與操作入門,到進階節點應用與流程控制,再到 Google 服務的整合實作,最後延伸至部署思維與 OpenAI API 的智慧化串接。

輸入折扣碼 TC1600UY 還可以額外獲得 NT$500 優惠喔。

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

利用 AI 提升網站設計效率與 SEO 排名!了解如何透過 ChatGPT 等工具快速建立 HTML 架構,優化關鍵字與用戶體驗,讓網站更具競爭力。

輸入折扣碼 TC1533SL 還可以額外獲得 NT$500 優惠喔。

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

《PChome雜誌》攜手 5 位在 AI 領域的專業講師,打造上述 6 堂實用課程,教你學會時下最好用的 AI 工具,導入生成式 AI 來產製工作內容,改造並升級你的工作流程。

輸入折扣碼 ZERO2024 還可以額外獲得 NT$400 優惠喔。

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

本課程專為希望深入了解 HTML 並有效結合 SEO 策略的學員設計。我們將重點放在 HTML 的深度學習與應用上,同時穿插介紹如何透過搜索引擎優化提升網站能見度。透過即時互動式的直播教學,加上 ChatGPT 的輔助,您將學習到如何建立一個結構優良、美觀且符合 SEO 標準的網站。這不僅會提升網站的用戶體驗,還會大幅提高網站的搜索引擎排名,進而增加訪客流量和潛在客戶。
用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

在快速變遷的職場中,提升競爭力成為關鍵。透過引領潮流的AI技術,ChatGPT和Midjourney將助您勇攀高峰。無論您是AI新手還是專家,這個課程將引導您從入門到精通,解密AI的奧秘,並學習如何運用於職場。
GitHub Copilot AI 程式碼編輯工具應用實務班

GitHub Copilot AI 程式碼編輯工具應用實務班

讓學員瞭解有效地使用該工具來加速開發流程、提高程式碼品質和生產力。課程重點放在以 JavaScript 程式語言為例,介紹 Copilot 的基本原理、使用方法和最佳實踐。

輸入折扣碼 TC1456JA 還可以額外獲得 NT$500 優惠喔。

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

掌握Clipchamp AI的操作技巧,靈活運用Clipchamp AI進行影片編輯和創作,實現創意表達和傳播目的。

輸入折扣碼 TC1451JAN 還可以額外獲得 NT$500 優惠喔。

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

Looker Studio除了可協助使用者監控網站流量、廣告成效、選擇匯入資源的管道之外,還可以將數據資料多平台整合、數據報表即時更新、數據範本可重複套用的效益,透過自動化系統,將數據全部匯入同一個報表平台,是企業不可或缺的重要工具。

輸入折扣碼 TC1270JIA 還可以額外獲得 NT$500 優惠喔。

和我們交流

加入我們的社群,裡面會有一些技術的內容、有趣的技術梗,以及職缺的分享,歡迎和我們一起討論。