Tether 開源 TurboQuant，本地 AI 設備 KV 快取壓縮比最高可達 5 倍

ChainCatcher 消息，Tether AI 研究團隊宣布開源 TurboQuant 生產版本，並將其整合至 QVAC SDK 0.12.0。

TurboQuant 源自 Google Research 的內存壓縮算法，可將 AI 運行時的 KV 快取壓縮最高 5 倍，同時保持接近未壓縮模型的輸出質量。

這意味著筆記本電腦、手機及邊緣設備在無需將數據上傳至雲端的情況下，可處理更長的對話、更大的文件及更複雜的任務。

此次開源發布包含完整量化流水線、主流推理框架適配器及開發者文檔，面向在消費級硬體、邊緣設備及點對點網絡上部署 AI 的開發者和初創團隊。