1/
🧵ponoříme se hlouběji do naší nové práce na zkGPT: Rychlé dokazování inference LLM pomocí důkazů s nulovými znalostmi.
Proč? Poskytovatelé služeb mohou nasadit menší/levnější model, než slíbili. ZK jim umožňuje prokázat správnost bez prozrazení parametrů modelu.
📄
2/
Problém:
- LLM = výkonné, ale nákladné.
- Poskytovatelé by mohli podvádět provozováním menších modelů.
- Uživatelé nemohou ověřit, který model byl použit.
ZK Proofy to řeší, ale současné systémy zkML se dusí na reálných LLM:
- Žádná podpora pro architektury transformátorů.
- Obrovské doby zkoušení (minuty→hodiny).
3/
Předchozí práce:
- ZKML (Eurosys'24): Obecný rámec pro ověřování ML. Dobré pro malé modely, ale příliš pomalé pro LLM.
- Hao et al. (USENIX Security'24): Raný pokus o zkLLM, stále dost pomalý (tisíce sekund).
- Oba trpí masivní nelineární režií vrstvy + špatnou paralelizací.
4/
Naše příspěvky:
1. Efektivní důkazy pro lineární a nelineární vrstvy přizpůsobené LLM (např. GPT-2).
2. Fúze vazeb → snížení režie v nelineárních vrstvách (jako je GeLU).
3. Stlačení obvodu → zvyšuje paralelismus při generování důkazů.
4. Implementace full-stack optimalizovaná pro transformátorové bloky.
5/
Výsledky:
- Prokáže odvození GPT-2 za <25 sekund.
- 279× rychlejší než Hao et al. (USENIX'24).
- 185× rychlejší než ZKML (Eurosys'24).
- Řádově menší režie než naivní implementace zk-transformátoru.
6/
Proč je to důležité:
- Umožňuje praktické nasazení zkLLM — výstup LLM nyní můžete ověřit během několika sekund.
- Udržuje hmotnosti modelů v tajnosti.
- Otevírá dveře službám umělé inteligence se zachováním soukromí s kryptografickou auditovatelností.
7/
Klíčové poznatky:
Nekompilujte LLM jen naivně do obvodu.
Struktura exploitu:
- Lineární operace (MatMul, LayerNorm) → vlastní efektivní omezení.
- Nelineární operace (GELU) → sloučené omezení pro snížení složitosti.
- Paralelní uspořádání pro maximální využití moderního hardwaru prover.
24,67 tis.
552
Obsah na této stránce poskytují třetí strany. Není-li uvedeno jinak, společnost OKX není autorem těchto informací a nenárokuje si u těchto materiálů žádná autorská práva. Obsah je poskytován pouze pro informativní účely a nevyjadřuje názory společnosti OKX. Nejedná se o doporučení jakéhokoli druhu a nemělo by být považováno za investiční poradenství ani nabádání k nákupu nebo prodeji digitálních aktiv. Tam, kde se k poskytování souhrnů a dalších informací používá generativní AI, může být vygenerovaný obsah nepřesný nebo nekonzistentní. Další podrobnosti a informace naleznete v připojeném článku. Společnost OKX neodpovídá za obsah, jehož hostitelem jsou externí weby. Držená digitální aktiva, včetně stablecoinů a tokenů NFT, zahrnují vysokou míru rizika a mohou značně kolísat. Měli byste pečlivě zvážit, zde je pro vás obchodování s digitálními aktivy nebo jejich držení vhodné z hlediska vaší finanční situace.