1/
🧵approfondendo il nostro nuovo lavoro su zkGPT: Dimostrare l'inferenza LLM in modo rapido con le Prove a Conoscenza Zero.
Perché? I fornitori di servizi potrebbero implementare un modello più piccolo/economico di quanto promesso. ZK consente loro di dimostrare la correttezza senza rivelare i parametri del modello.
📄
2/
Il Problema:
- LLM = potenti ma costosi.
- I fornitori potrebbero imbrogliare utilizzando modelli più piccoli.
- Gli utenti non possono verificare quale modello è stato utilizzato.
Le ZK Proofs risolvono questo, ma i sistemi zkML attuali si bloccano con i veri LLM:
- Nessun supporto per architetture transformer.
- Tempi di prova enormi (minuti→ore).
3/
Lavoro precedente:
- ZKML (Eurosys’24): Framework generale per la verifica del ML. Buono per modelli piccoli, ma troppo lento per LLM.
- Hao et al. (USENIX Security’24): Primo tentativo di zkLLM, ancora piuttosto lento (migliaia di secondi).
- Entrambi soffrono di un enorme sovraccarico di strati non lineari + scarsa parallelizzazione.
4/
I nostri contributi:
1. Prove efficienti per strati lineari e non lineari su misura per LLM (ad es., GPT-2).
2. Fusione dei vincoli → riduce il sovraccarico negli strati non lineari (come GeLU).
3. Compressione del circuito → aumenta il parallelismo nella generazione delle prove.
4. Implementazione full-stack ottimizzata per i blocchi transformer.
5/
Risultati:
- Dimostra l'inferenza di GPT-2 in <25 secondi.
- 279× più veloce di Hao et al. (USENIX'24).
- 185× più veloce di ZKML (Eurosys'24).
- Ordini di grandezza di overhead in meno rispetto alle implementazioni naive di zk-transformer.
6/
Perché è importante:
- Abilita il deployment pratico di zkLLM: ora puoi verificare l'output di un LLM in pochi secondi.
- Mantiene segreti i pesi del modello.
- Apre le porte a servizi di intelligenza artificiale che preservano la privacy con auditabilità crittografica.
7/
Osservazione chiave:
Non limitarti a compilare un LLM in un circuito in modo naif.
Sfrutta la struttura:
- Operazioni lineari (MatMul, LayerNorm) → vincoli personalizzati ed efficienti.
- Operazioni non lineari (GELU) → vincoli fusi per ridurre la complessità.
- Layout favorevole al parallelismo per sfruttare al massimo l'hardware moderno dei prover.
24.784
552
Il contenuto di questa pagina è fornito da terze parti. Salvo diversa indicazione, OKX non è l'autore degli articoli citati e non rivendica alcun copyright sui materiali. Il contenuto è fornito solo a scopo informativo e non rappresenta le opinioni di OKX. Non intende essere un'approvazione di alcun tipo e non deve essere considerato un consiglio di investimento o una sollecitazione all'acquisto o alla vendita di asset digitali. Nella misura in cui l'IA generativa viene utilizzata per fornire riepiloghi o altre informazioni, tale contenuto generato dall'IA potrebbe essere impreciso o incoerente. Leggi l'articolo collegato per ulteriori dettagli e informazioni. OKX non è responsabile per i contenuti ospitati su siti di terze parti. Gli holding di asset digitali, tra cui stablecoin e NFT, comportano un elevato grado di rischio e possono fluttuare notevolmente. Dovresti valutare attentamente se effettuare il trading o detenere asset digitali è adatto a te alla luce della tua situazione finanziaria.