Google AI Edge Gallery:打造在 Android 上離線運行的生成式 AI 服務

AI Edge Gallery 是 Google 為開發者與提供的一個全新的平台,讓使用者能夠在 Android 裝置上離線運行先進的生成式 AI 模型,實現即時、私密且高效的 AI 應用。

離線運行的生成式 AI 平台

AI Edge Gallery 是一款實驗性應用程式,允許使用者在 Android 裝置上離線運行各種生成式 AI 模型,未來也將支援 iOS 裝置。透過這個平台,使用者可以探索多種創意與實用的 AI 應用案例,所有處理皆在本地裝置上完成,無需依賴網路連線 。

主要功能特色

  • 完全離線運行:一旦模型載入,所有 AI 處理皆在本地裝置上進行,確保資料隱私與低延遲。

  • 模型選擇與比較:輕鬆切換並比較來自 Hugging Face 的不同模型效能。

  • 影像問答功能:上傳圖片並提出問題,獲得描述、解答或物體識別等資訊。

  • Prompt Lab:進行摘要、重寫、程式碼生成等單輪對話任務。

  • AI 聊天:進行多輪對話,體驗進階的語言模型互動。

  • 效能指標:提供即時的效能基準,如首次回應時間、解碼速度與延遲。

  • 自帶模型測試:支援測試本地的 LiteRT .task 模型。

  • 開發者資源:快速連結至模型卡與原始碼,方便開發與學習。

技術亮點

AI Edge Gallery 建立在 Google 的 AI Edge 平台上,結合了 LiteRT(前身為 TensorFlow Lite)與 MediaPipe,專為資源受限的裝置優化 AI 運行。該平台支援來自 Hugging Face 的開源模型,包括 Google 的 Gemma 3n——一款小型多模態語言模型,能處理文字與圖片,未來將支援音訊與影片 。

此外,平台還提供:

  • Prompt Lab:進行單輪任務,如摘要、程式碼生成與圖片查詢,並可調整溫度、top-k 等參數。

  • RAG(檢索增強生成)庫:允許模型參考本地文件或圖片,無需微調。

  • Function Calling 庫:實現 API 呼叫或表單填寫等自動化功能。

透過 Int4 量化技術,模型大小可比 bf16 減少最多 4 倍,降低記憶體使用與延遲。開發者可利用 Colab 筆記本進行模型量化、微調與轉換,以部署至邊緣裝置。

實用性與應用場景

AI Edge Gallery 特別適合需要處理敏感資料的場景,如醫療與金融產業,因為所有資料皆保留在本地裝置上,符合隱私與合規需求。其離線能力也支援現場應用,如設備診斷與零售製造業的 IoT 部署。Function Calling 庫則可實現語音驅動的表單填寫與文件摘要等自動化功能。

快速開始

  1. 下載應用程式:從 GitHub 取得最新的 APK。

  2. 安裝與探索:啟用 Android 裝置的開發人員模式,並依照 Project Wiki 的詳細安裝指南進行安裝與使用。

總結

Google AI Edge Gallery 為生成式 AI 的應用開啟了全新可能,不僅讓裝置能在完全離線的狀態下運行複雜模型,也提供了靈活的測試與開發環境。這樣的設計不僅提升了使用效率與反應速度,更符合現代對資料隱私的高標準需求。無論你是 AI 開發者、技術研究人員,或是對 AI 技術應用有高度興趣的創作者,AI Edge Gallery 都是一個值得深入探索的平台。

課程推薦

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

用 AI 生成網站? AI 高效網站設計實戰課:ChatGPT X HTML X SEO

利用 AI 提升網站設計效率與 SEO 排名!了解如何透過 ChatGPT 等工具快速建立 HTML 架構,優化關鍵字與用戶體驗,讓網站更具競爭力。

輸入折扣碼 TC1533SL 還可以額外獲得 NT$500 優惠喔。

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

AI工作術全面學習實戰營:6 堂精選課程,學會最好用 AI 工具,翻轉你的人生

《PChome雜誌》攜手 5 位在 AI 領域的專業講師,打造上述 6 堂實用課程,教你學會時下最好用的 AI 工具,導入生成式 AI 來產製工作內容,改造並升級你的工作流程。

輸入折扣碼 ZERO2024 還可以額外獲得 NT$400 優惠喔。

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

HTML與SEO實戰應用—並以ChatGPT助力提升網站品質與流量

本課程專為希望深入了解 HTML 並有效結合 SEO 策略的學員設計。我們將重點放在 HTML 的深度學習與應用上,同時穿插介紹如何透過搜索引擎優化提升網站能見度。透過即時互動式的直播教學,加上 ChatGPT 的輔助,您將學習到如何建立一個結構優良、美觀且符合 SEO 標準的網站。這不僅會提升網站的用戶體驗,還會大幅提高網站的搜索引擎排名,進而增加訪客流量和潛在客戶。
用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

用AI強化職場競爭力 ChatGPT、Midjourney從入門到精通

在快速變遷的職場中,提升競爭力成為關鍵。透過引領潮流的AI技術,ChatGPT和Midjourney將助您勇攀高峰。無論您是AI新手還是專家,這個課程將引導您從入門到精通,解密AI的奧秘,並學習如何運用於職場。
GitHub Copilot AI 程式碼編輯工具應用實務班

GitHub Copilot AI 程式碼編輯工具應用實務班

讓學員瞭解有效地使用該工具來加速開發流程、提高程式碼品質和生產力。課程重點放在以 JavaScript 程式語言為例,介紹 Copilot 的基本原理、使用方法和最佳實踐。

輸入折扣碼 TC1456JA 還可以額外獲得 NT$500 優惠喔。

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

ChatGPT X Clipchamp AI 生成影片、配音與字幕應用實戰班

掌握Clipchamp AI的操作技巧,靈活運用Clipchamp AI進行影片編輯和創作,實現創意表達和傳播目的。

輸入折扣碼 TC1451JAN 還可以額外獲得 NT$500 優惠喔。

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

如何串接多種數位工具資訊?Looker Studio 資料視覺化實戰班|GoogleAds x FB廣告 x GA流量數據

Looker Studio除了可協助使用者監控網站流量、廣告成效、選擇匯入資源的管道之外,還可以將數據資料多平台整合、數據報表即時更新、數據範本可重複套用的效益,透過自動化系統,將數據全部匯入同一個報表平台,是企業不可或缺的重要工具。

輸入折扣碼 TC1270JIA 還可以額外獲得 NT$500 優惠喔。

和我們交流

加入我們的社群,裡面會有一些技術的內容、有趣的技術梗,以及職缺的分享,歡迎和我們一起討論。