VoxCPM2:用一段語音打造專屬配音,零成本AI聲音克隆開源專案

在語音 AI 技術快速演進的背景下,由 OpenBMB 與清華大學合作推出的 VoxCPM2,定位為一款主打「高品質聲音克隆與語音生成」的開源模型。其核心特色在於:只需一段短音訊,甚至僅用文字描述,就能生成具備特定音色、情緒與語速的語音,並支援多語言與高擬真輸出。相較於多數商業語音平台,VoxCPM2 強調完全開源、本地運行與零訂閱成本,讓語音生成技術的門檻大幅降低。

與市面上如 ElevenLabs 這類採訂閱制的服務相比,VoxCPM2 的最大差異在於其「免費且可完全掌控」。ElevenLabs 每月費用約從 5 美元到 99 美元不等,商業方案甚至高達 1,320 美元;而 VoxCPM2 則可直接在本地 GPU 上運行,沒有 API 呼叫費用、沒有按字計費,也不需長期訂閱。這使其在成本與彈性上具有明顯優勢,特別適合開發者與內容創作者。

在功能與技術面上,VoxCPM2 並不只是傳統 TTS(文字轉語音)模型,而是一個整合「聲音設計 + 聲音克隆 + 情境語音生成」的完整語音系統。模型約 20 億參數,並基於約 200 萬小時語音資料訓練,在語音自然度與細節還原上具有不錯表現,甚至在部分語音相似度測試中超越商業服務。

以下整理其主要功能與特色:

  • 聲音設計(Text-to-Voice)
    可直接用文字描述聲音特徵(如性別、年齡、語氣),AI 從零生成對應聲音,無需參考音訊。
  • 聲音克隆(Voice Cloning)
    上傳一段短音訊,即可複製該聲音的音色、口音、節奏與語速。
  • 可控語音生成
    可調整情緒與語速,例如「語氣更歡快、語速更快」,提升應用彈性。
  • 高精度克隆(Audio + Transcript)
    搭配音訊與逐字稿,可更精準還原語音細節。
  • 多語言支援
    支援約 30 種語言(含中文、英文、日文、韓文等),且可自動適應語言情境。
  • 上下文感知能力
    能根據文本內容自動調整語氣,例如新聞、故事會呈現不同語感。
  • 即時生成效能
    在高階顯卡(如 RTX 4090)上可達低延遲生成,甚至快於播放速度。
  • 本地部署與低門檻
    約 8GB 顯存即可運行,並支援 pip install voxcpm 快速安裝。
  • LoRA 微調能力
    可用 5~10 分鐘個人音訊訓練專屬聲音模型。
  • 48kHz 錄音室級輸出
    提供高品質語音,無需額外後處理。

從實際應用情境來看,VoxCPM2 特別適合以下幾類使用者:AI 開發者(建立語音產品)、內容創作者(影片配音、有聲書)、以及需要大量語音生成的企業(客服、自動播報)。實務上會發現,其最大優勢在於「可控性與成本結構」,尤其是在長期使用或大量生成語音的情境下,本地部署能顯著降低支出。

值得注意的是,在 Minimax-MLS 語音相似度測試中,VoxCPM2 在英語、中文與阿拉伯語等語言的表現,皆優於 ElevenLabs,顯示其在聲音還原度上的競爭力。對比傳統配音產業(每個專案約 250~1000 美元)與錄音室成本(每小時約 200 美元),這類模型也正在重新定義語音製作的成本結構。

整體而言,VoxCPM2 不僅是一個技術展示,更代表語音 AI 正從「雲端服務」走向「本地可控工具」。對於希望建立自有語音系統、降低長期成本,或探索語音生成應用的開發者與創作者而言,這是一個具備高度潛力的開源解決方案。

 

如果您喜歡我們的網站,並且希望支持我們的工作,您可以考慮捐款。我們接受各種形式的捐款,包括一次性捐款和定期捐款。您的捐款將幫助我們維護和改進網站,並為用戶提供更好的體驗。

課程推薦

AI虛擬角色生成實戰班

AI虛擬角色生成實戰班

本課程將帶你從 AI 虛擬角色的概念出發,認識 AI Persona 的生成流程與應用方式,學會打造專屬自己的 AI 分身。課程中會學習 Prompt 提示詞撰寫、真人感人像生成、固定角色模板建立,並延伸出同一角色的多場景、多服裝與多情境照片。

OpenClaw 龍蝦 AI 代理人實作課:零基礎打造 AI 辦公代理人

OpenClaw 龍蝦 AI 代理人實作課:零基礎打造 AI 辦公代理人

本課程從安裝部署、身份設定、技能安裝到實戰應用,帶你從零建立一個專屬的 AI 工作助手-OpenClaw 龍蝦,這個 AI 助手可以替你蒐集情報、摘要文件、整理郵件、生成內容、定時提醒,全部自動完成。

輸入折扣碼 TC1625FR 還可以額外獲得 NT$500 優惠喔。

Google Gemini AI 多媒體生成工具應用實戰:從 Imagen 4、Veo 3、Chirp、Lyria 到 nano-banana

Google Gemini AI 多媒體生成工具應用實戰:從 Imagen 4、Veo 3、Chirp、Lyria 到 nano-banana

如何只用文字說明提示就生成不同的圖像結果?亦或是會議上的語音檔轉文字?這是一堂通盤性、全面性的Google Gemini AI多媒體生成工具應用實戰!

輸入折扣碼 TC1609EW 還可以額外獲得 NT$500 優惠喔。

AI 數據自動化工具實戰班:Google Sheet x Apps Script x NotebookLM 暨資料處理函數

AI 數據自動化工具實戰班:Google Sheet x Apps Script x NotebookLM 暨資料處理函數

本門課將教你如何善用 AI 功能與工具,進行自動分析數據提供有幫助的建議與洞察,以及使用 AI 驅動的公式自動化計算。

輸入折扣碼 TC1615VU 還可以額外獲得 NT$500 優惠喔。

3 小時掌握自動化工作新手應用實作 – n8n AI Agent

3 小時掌握自動化工作新手應用實作 – n8n AI Agent

這門課程將帶你循序漸進掌握 n8n 的自動化技巧,從基礎認識與操作入門,到進階節點應用與流程控制,再到 Google 服務的整合實作,最後延伸至部署思維與 OpenAI API 的智慧化串接。

輸入折扣碼 TC1600UY 還可以額外獲得 NT$500 優惠喔。

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

利用 AI 提升網站設計效率與 SEO 排名!了解如何透過 ChatGPT 等工具快速建立 HTML 架構,優化關鍵字與用戶體驗,讓網站更具競爭力。

輸入折扣碼 TC1533SL 還可以額外獲得 NT$500 優惠喔。

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

《PChome雜誌》攜手 5 位在 AI 領域的專業講師,打造上述 6 堂實用課程,教你學會時下最好用的 AI 工具,導入生成式 AI 來產製工作內容,改造並升級你的工作流程。

輸入折扣碼 ZERO2024 還可以額外獲得 NT$400 優惠喔。

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

本課程專為希望深入了解 HTML 並有效結合 SEO 策略的學員設計。我們將重點放在 HTML 的深度學習與應用上,同時穿插介紹如何透過搜索引擎優化提升網站能見度。透過即時互動式的直播教學,加上 ChatGPT 的輔助,您將學習到如何建立一個結構優良、美觀且符合 SEO 標準的網站。這不僅會提升網站的用戶體驗,還會大幅提高網站的搜索引擎排名,進而增加訪客流量和潛在客戶。
用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

在快速變遷的職場中,提升競爭力成為關鍵。透過引領潮流的AI技術,ChatGPT和Midjourney將助您勇攀高峰。無論您是AI新手還是專家,這個課程將引導您從入門到精通,解密AI的奧秘,並學習如何運用於職場。
GitHub Copilot AI 程式碼編輯工具應用實務班

GitHub Copilot AI 程式碼編輯工具應用實務班

讓學員瞭解有效地使用該工具來加速開發流程、提高程式碼品質和生產力。課程重點放在以 JavaScript 程式語言為例,介紹 Copilot 的基本原理、使用方法和最佳實踐。

輸入折扣碼 TC1456JA 還可以額外獲得 NT$500 優惠喔。

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

掌握Clipchamp AI的操作技巧,靈活運用Clipchamp AI進行影片編輯和創作,實現創意表達和傳播目的。

輸入折扣碼 TC1451JAN 還可以額外獲得 NT$500 優惠喔。

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

Looker Studio除了可協助使用者監控網站流量、廣告成效、選擇匯入資源的管道之外,還可以將數據資料多平台整合、數據報表即時更新、數據範本可重複套用的效益,透過自動化系統,將數據全部匯入同一個報表平台,是企業不可或缺的重要工具。

輸入折扣碼 TC1270JIA 還可以額外獲得 NT$500 優惠喔。

和我們交流

加入我們的社群,裡面會有一些技術的內容、有趣的技術梗,以及職缺的分享,歡迎和我們一起討論。