AI Edge Gallery 是 Google 為開發者與提供的一個全新的平台,讓使用者能夠在 Android 裝置上離線運行先進的生成式 AI 模型,實現即時、私密且高效的 AI 應用。
離線運行的生成式 AI 平台
AI Edge Gallery 是一款實驗性應用程式,允許使用者在 Android 裝置上離線運行各種生成式 AI 模型,未來也將支援 iOS 裝置。透過這個平台,使用者可以探索多種創意與實用的 AI 應用案例,所有處理皆在本地裝置上完成,無需依賴網路連線 。
主要功能特色
-
完全離線運行:一旦模型載入,所有 AI 處理皆在本地裝置上進行,確保資料隱私與低延遲。
-
模型選擇與比較:輕鬆切換並比較來自 Hugging Face 的不同模型效能。
-
影像問答功能:上傳圖片並提出問題,獲得描述、解答或物體識別等資訊。
-
Prompt Lab:進行摘要、重寫、程式碼生成等單輪對話任務。
-
AI 聊天:進行多輪對話,體驗進階的語言模型互動。
-
效能指標:提供即時的效能基準,如首次回應時間、解碼速度與延遲。
-
自帶模型測試:支援測試本地的 LiteRT
.task
模型。 -
開發者資源:快速連結至模型卡與原始碼,方便開發與學習。
技術亮點
AI Edge Gallery 建立在 Google 的 AI Edge 平台上,結合了 LiteRT(前身為 TensorFlow Lite)與 MediaPipe,專為資源受限的裝置優化 AI 運行。該平台支援來自 Hugging Face 的開源模型,包括 Google 的 Gemma 3n——一款小型多模態語言模型,能處理文字與圖片,未來將支援音訊與影片 。
此外,平台還提供:
-
Prompt Lab:進行單輪任務,如摘要、程式碼生成與圖片查詢,並可調整溫度、top-k 等參數。
-
RAG(檢索增強生成)庫:允許模型參考本地文件或圖片,無需微調。
-
Function Calling 庫:實現 API 呼叫或表單填寫等自動化功能。
透過 Int4 量化技術,模型大小可比 bf16 減少最多 4 倍,降低記憶體使用與延遲。開發者可利用 Colab 筆記本進行模型量化、微調與轉換,以部署至邊緣裝置。
實用性與應用場景
AI Edge Gallery 特別適合需要處理敏感資料的場景,如醫療與金融產業,因為所有資料皆保留在本地裝置上,符合隱私與合規需求。其離線能力也支援現場應用,如設備診斷與零售製造業的 IoT 部署。Function Calling 庫則可實現語音驅動的表單填寫與文件摘要等自動化功能。
快速開始
-
下載應用程式:從 GitHub 取得最新的 APK。
-
安裝與探索:啟用 Android 裝置的開發人員模式,並依照 Project Wiki 的詳細安裝指南進行安裝與使用。
總結
Google AI Edge Gallery 為生成式 AI 的應用開啟了全新可能,不僅讓裝置能在完全離線的狀態下運行複雜模型,也提供了靈活的測試與開發環境。這樣的設計不僅提升了使用效率與反應速度,更符合現代對資料隱私的高標準需求。無論你是 AI 開發者、技術研究人員,或是對 AI 技術應用有高度興趣的創作者,AI Edge Gallery 都是一個值得深入探索的平台。