Google AI Edge Gallery：打造在 Android 上離線運行的生成式 AI 服務

AI Edge Gallery 是 Google 為開發者與提供的一個全新的平台，讓使用者能夠在 Android 裝置上離線運行先進的生成式 AI 模型，實現即時、私密且高效的 AI 應用。

離線運行的生成式 AI 平台

AI Edge Gallery 是一款實驗性應用程式，允許使用者在 Android 裝置上離線運行各種生成式 AI 模型，未來也將支援 iOS 裝置。透過這個平台，使用者可以探索多種創意與實用的 AI 應用案例，所有處理皆在本地裝置上完成，無需依賴網路連線 。

主要功能特色

• 完全離線運行：一旦模型載入，所有 AI 處理皆在本地裝置上進行，確保資料隱私與低延遲。

• 模型選擇與比較：輕鬆切換並比較來自 Hugging Face 的不同模型效能。

• 影像問答功能：上傳圖片並提出問題，獲得描述、解答或物體識別等資訊。

• Prompt Lab：進行摘要、重寫、程式碼生成等單輪對話任務。

• AI 聊天：進行多輪對話，體驗進階的語言模型互動。

• 效能指標：提供即時的效能基準，如首次回應時間、解碼速度與延遲。

• 自帶模型測試：支援測試本地的 LiteRT .task 模型。

• 開發者資源：快速連結至模型卡與原始碼，方便開發與學習。

技術亮點

AI Edge Gallery 建立在 Google 的 AI Edge 平台上，結合了 LiteRT（前身為 TensorFlow Lite）與 MediaPipe，專為資源受限的裝置優化 AI 運行。該平台支援來自 Hugging Face 的開源模型，包括 Google 的 Gemma 3n——一款小型多模態語言模型，能處理文字與圖片，未來將支援音訊與影片 。

此外，平台還提供：

• Prompt Lab：進行單輪任務，如摘要、程式碼生成與圖片查詢，並可調整溫度、top-k 等參數。

• RAG（檢索增強生成）庫：允許模型參考本地文件或圖片，無需微調。

• Function Calling 庫：實現 API 呼叫或表單填寫等自動化功能。

透過 Int4 量化技術，模型大小可比 bf16 減少最多 4 倍，降低記憶體使用與延遲。開發者可利用 Colab 筆記本進行模型量化、微調與轉換，以部署至邊緣裝置。

實用性與應用場景

AI Edge Gallery 特別適合需要處理敏感資料的場景，如醫療與金融產業，因為所有資料皆保留在本地裝置上，符合隱私與合規需求。其離線能力也支援現場應用，如設備診斷與零售製造業的 IoT 部署。Function Calling 庫則可實現語音驅動的表單填寫與文件摘要等自動化功能。

快速開始

1. 下載應用程式：從 GitHub 取得最新的 APK。

2. 安裝與探索：啟用 Android 裝置的開發人員模式，並依照 Project Wiki 的詳細安裝指南進行安裝與使用。

總結

Google AI Edge Gallery 為生成式 AI 的應用開啟了全新可能，不僅讓裝置能在完全離線的狀態下運行複雜模型，也提供了靈活的測試與開發環境。這樣的設計不僅提升了使用效率與反應速度，更符合現代對資料隱私的高標準需求。無論你是 AI 開發者、技術研究人員，或是對 AI 技術應用有高度興趣的創作者，AI Edge Gallery 都是一個值得深入探索的平台。