1/
🧵深入探討我們在 zkGPT 上的新工作：使用零知識證明快速證明 LLM 推理的正確性。
為什麼？服務提供商可能會部署比承諾的更小/更便宜的模型。ZK 讓他們在不透露模型參數的情況下證明正確性。
📄
2/
問題：
- LLMs = 強大但昂貴。
- 供應商可能會通過運行較小的模型來作弊。
- 用戶無法驗證使用了哪個模型。
ZK 證明解決了這個問題，但當前的 zkML 系統在真實的 LLM 上表現不佳：
- 不支持變壓器架構。
- 證明時間長（幾分鐘→幾小時）。
3/
先前的工作：
- ZKML (Eurosys’24)：通用的機器學習驗證框架。適合小型模型，但對於大型語言模型來說速度太慢。
- Hao 等人 (USENIX Security’24)：早期的 zkLLM 嘗試，仍然相當慢（數千秒）。
- 兩者都受到大量非線性層開銷 + 不良的並行化影響。
4/
我們的貢獻：
1. 為 LLM（例如 GPT-2）量身定制的線性和非線性層的高效證明。
2. 約束融合 → 減少非線性層（如 GeLU）的開銷。
3. 電路擠壓 → 提升證明生成的並行性。
4. 針對變壓器塊優化的全棧實現。
5/
結果：
- 證明 GPT-2 推理在 <25 秒內完成。
- 比 Hao 等人（USENIX'24）快 279 倍。
- 比 ZKML（Eurosys'24）快 185 倍。
- 相較於天真的 zk-transformer 實現，開銷少了數個量級。
6/
為什麼這很重要：
- 使實用的 zkLLM 部署成為可能——您現在可以在幾秒鐘內驗證 LLM 的輸出。
- 保持模型權重的秘密。
- 為具有加密可審計性的隱私保護 AI 服務開啟大門。
7/
關鍵見解：
不要天真地將 LLM 編譯成電路。
利用結構：
- 線性操作（MatMul, LayerNorm）→ 自定義高效約束。
- 非線性操作（GELU）→ 融合約束以降低複雜性。
- 友好的佈局以最大化現代證明器硬體的效能。
2.39萬
537
本頁面內容由第三方提供。除非另有說明，OKX 不是所引用文章的作者，也不對此類材料主張任何版權。該內容僅供參考，並不代表 OKX 觀點，不作為任何形式的認可，也不應被視為投資建議或購買或出售數字資產的招攬。在使用生成式人工智能提供摘要或其他信息的情況下，此類人工智能生成的內容可能不準確或不一致。請閱讀鏈接文章，瞭解更多詳情和信息。OKX 不對第三方網站上的內容負責。包含穩定幣、NFTs 等在內的數字資產涉及較高程度的風險，其價值可能會產生較大波動。請根據自身財務狀況，仔細考慮交易或持有數字資產是否適合您。