該系統透過對OpenAI的Whisper語音識別模型進行逆向工程來實現。

經由這種逆向過程，WhisperSpeech能夠接受文字輸入，並利用經過改良的Whisper模型產生聽起來自然的語音輸出。

輸出的語音在發音準確度與自然度上均表現出色。

WhisperSpeech 項目的路線圖：

  • 聲學標記提取：改善聲學標記的提取過程。
  • 語義標記提取：利用Whisper模型生成並量化語義標記。
  • S->A 模型轉換：開發將語義標記轉換為聲學標記的模型。
  • T->S 模型轉換：實現從文字標記到語義標記的轉換。
  • 提升EnCodec語音品質：優化EnCodec模型以提高語音合成品質。
  • 短句推理優化：增強系統處理短句的能力。
  • 擴展情感語音資料集：收集更大規模的情感語音數據。
  • 文件化LibriLight資料集：在HuggingFace上詳細記錄資料集。
  • 多語言語音收集：集結社群資源，收集多種語言的語音。
  • 訓練多語言模型：開發支援多種語言的文字轉語音模型。

網站