Google發佈 Gemma 3 QAT AI 模型，RTX 3090 顯示卡可運行 (2025年4月19日)

 https://www.ithome.com/0/846/425.htm

Google發佈了量化感知訓練（QAT）最佳化版的Gemma 3模型，通過降低模型參數的數值精度（如從BF16降至int4），大幅降低了模型所需的視訊記憶體。例如，Gemma 3 27B模型的視訊記憶體需求從54GB降至14.1GB。該技術使得Gemma 3可以在消費級硬體上運行，例如RTX 3090和筆記型電腦，甚至手機也可以支援小型模型。為保證性能，採用了QAT技術。主流平台已整合該模型，使用者可以輕鬆獲取並在各種裝置上運行。

Google 這次發佈的 Gemma 3 QAT 模型最佳化版本意義重大。它成功地將大型語言模型推向了更廣泛的使用者群體。以往，運行這些模型需要昂貴的專業硬體，現在普通的桌面電腦甚至筆記型電腦也能勝任，極大地降低了 AI 應用的門檻。 QAT 技術的應用是關鍵，它在保證模型精度的前提下實現了顯著的壓縮效果。這表明模型最佳化技術正在不斷進步，未來我們可能會看到更多高效、輕量級的 AI 模型出現。 此外，Google 將 Gemma 3 模型整合到 Ollama、LM Studio 等主流平台，並開放模型下載，體現了其開源精神，有利於社區的發展和創新。總而言之，這不僅是技術上的進步，更是 AI 普及道路上的一大步。