新版 Chrome 內建 AI 技術，透過 Google Gemini Nano 將大型模型帶入瀏覽器

在使用 AI 模型進行網頁建構時，通常依賴伺服器端解決方案來處理大型模型，這對於生成式 AI 尤其重要。即使是最小的模型，其規模也遠超過普通網頁的大小，通常是其千倍以上。其他 AI 應用也需要 10 至 100 MB 的模型，因此這些模型不能跨網站共用，每個網站在載入時都需下載這些模型，對開發人員和使用者而言，這是一個相當不便的方案。

伺服器端 AI 的限制與挑戰

雖然伺服器端 AI 是處理大型模型的絕佳選擇，但裝置端和混合型方法各有其限制。為了讓這些方法更可行，需要解決模型大小和模型提供的問題。因此，Google 開發了網路平台 API 和瀏覽器功能，專為將 AI 模型（包括大型語言模型，LLM）直接整合至瀏覽器。

內建 AI 技術的創新

Google 推出了最有效率的 Gemini LLM 系列中的 Gemini Nano，這些模型可以在大多數新型桌上型電腦和筆記型電腦上執行。通過內建 AI，網站或應用程式能夠執行採用 AI 技術的工作，無需部署或管理自己的 AI 模型。

搶先體驗計畫

Google 邀請開發者參與搶先體驗計畫，提供輸入內容來打造 API，確保其符合需求，並與其他瀏覽器供應商討論以進行標準化。加入 Chrome AI 開發人員公開公告群組，即可在新的 API 推出時收到通知，並針對初期內建 AI 構想提供意見。

內建 AI 的優勢

易於部署：瀏覽器在發布模型時會考慮裝置的功能與模型更新的管理，無需負責透過網路下載或更新大型模型，亦無需解決儲存空間、執行階段記憶體預算、服務成本等問題。

硬體加速存取權：瀏覽器的 AI 執行環境經過最佳化處理，能充分利用可用硬體（GPU、NPU 或 CPU），確保應用程式在各種裝置上發揮最佳效能。

在裝置端執行的好處：

• 本地處理機密資料：裝置端 AI 可提升隱私保護，處理機密資料時提供端對端加密。
• 快速的用戶體驗：在本地處理 AI 任務時，可提供近乎即時的結果，提升用戶體驗。
• 增加 AI 使用率：使用者的裝置可以分擔部分處理負載，展示更多功能，減少您的額外費用。
• 離線 AI 用量：即使沒有網路連接，使用者仍可使用 AI 功能，確保網站和應用程式在離線或連接不穩定時依然運作。

混合式 AI：裝置端與伺服器端的平衡

雖然裝置端 AI 可以處理大量用途，但某些用途仍需伺服器端支援，例如使用較大模型或支援更多平台和裝置。混合型做法可根據具體需求提供彈性和安全備用機制。

瀏覽器架構和 API 支援

Google 為 Chrome 內建 AI 技術打造了基礎架構，用於存取裝置端執行的基礎和專家模型。這些 API 的設計目的是透過微調或專家模型，在本地執行推論，特別是 Gemini Nano 模型，適合語言相關用途。

使用內建 AI 技術的應用

Google 希望內建 AI 技術能為開發者和使用者帶來以下好處：

• 增強內容使用功能：包括摘要、翻譯、回答問題、分類和特性分析。
• AI 支援的內容創作：例如寫作協助、校對、文法校正和改寫。

加入 Google 的計畫

Google 歡迎加入早期搶先體驗計畫，試用內建 AI API，並參閱 Google AI JavaScript SDK 快速入門導覽課程，了解如何在 Google 的伺服器和網站上使用 Gemini Pro。探索內建 AI 技術的未來，讓您的網站和應用程式更智能、更高效。

原文：內建 AI