· 4 minuti di lettura
Che computer serve per l'intelligenza artificiale in locale
IN BREVE
- Conta soprattutto la memoria: deve contenere tutto il modello.
- A spanne servono circa 0,6 GB di memoria ogni miliardo di parametri del modello, più un margine.
- Uno studio parte con un mini computer; un'azienda con più reparti con un server.
Glitch è la nostra mascotte. Illustrazioni generate con intelligenza artificiale.
La regola della memoria
Un modello di intelligenza artificiale si misura in miliardi di «parametri». Più è grande, più è bravo, e più memoria vuole.
| Modello | Memoria indicativa | Che computer |
|---|---|---|
| Piccolo · 7-8 miliardi | 6-8 GB | Un computer recente con 16 GB |
| Medio · 25-35 miliardi | 20-24 GB | Mac con 32-64 GB di memoria unificata, o scheda grafica da 24 GB |
| Grande · circa 70 miliardi | 40-48 GB | Mac con 64-128 GB, o schede grafiche da 48 GB in su |
Da dove vengono questi numeri
Sono valori indicativi per modelli «compressi» a 4 bit (quantizzati), il formato più usato per farli girare in locale: circa mezzo gigabyte, poco più, per ogni miliardo di parametri. A questo va aggiunto un margine per i testi che il modello legge mentre risponde: più documenti gli dai in una volta, più memoria serve. Con modelli non compressi i numeri raddoppiano o quadruplicano.
Tre casi tipici
Studio di 3-5 persone
Mini computer o Mac mini. Domande sulle pratiche, lettura delle scansioni.
Ufficio di 10-20 persone
Workstation con scheda grafica o tanta memoria condivisa.
Azienda con più reparti
Server dedicato, in armadio o sala server, sempre acceso.
Tre errori da evitare
Comprare prima di provare. Fai una demo sui tuoi documenti, poi scegli.
Guardare solo il processore. Conta la memoria, molto più dei gigahertz.
Dimenticare la manutenzione. Va tenuto acceso, aggiornato e con copie di riserva.
Vuoi l'intelligenza artificiale sui tuoi documenti senza farli uscire dall'ufficio? Guarda come lavoriamo sull'intelligenza artificiale in locale: demo in 7-14 giorni, prima di comprare l'hardware.