L’idea era semplice, sulla carta: ho un homelab, ho letto in giro che far girare un modello linguistico in locale non è più fantascienza, perché non provarci? Niente API, niente dati che escono di casa, solo io e una macchina che macina token per conto mio. Ho iniziato con Qwen 3, versione da 8 miliardi di parametri, una taglia che sulla carta dovrebbe essere gestibile anche senza una scheda video dedicata a quel lavoro.
“Sulla carta” è la parola chiave. Il problema è che nella mia VM gira tutto su CPU, e su CPU un modello da 8B è lentissimo. Ma il vero problema non è nemmeno la velocità — è il rumore. Quando andavo a lavorare tutti i giorni un ufficio ero abituato ad avere accanto dei server urlanti tutto il giorno. Ora nel mio “ufficio” il silenzio è totale. Appena ho mandato la prima richiesta, la ventola del processore è partita come se stessi facendo un render di un video in 4K, ed è restata lì a ululare per tutto il tempo che il modello ha impiegato a rispondere. In un homelab in un angolo di casa, questo si traduce in un rumore costante e fastidioso ogni volta che voglio fare una domanda banale.
Ho provato anche un paio di modelli più piccoli, pensati apposta per girare leggeri — incluse un paio di versioni “uncensored”, di quelle che passano dal trattamento Heretic per togliere i rifiuti di sistema più aggressivi. La speranza era che, essendo più piccoli, fossero anche più silenziosi. Non è cambiato granché: appena parte l’inferenza, parte anche la ventola, e il sollievo di avere i miei dati e le mie conversazioni in locale.. non compensano il fastidio di sentire le ventole che urlano, come se dovesse il pc decollare.
Non è un problema di intelligenza del modello. È un problema di quanto sono disposto a tollerare una ventola impazzita solo per farmi rispondere a una domanda che un’API cloud liquiderebbe in due secondi, in silenzio.
Quello che mi porto a casa, per ora: far girare modelli in locale su CPU è perfettamente possibile, ma “possibile” e “vivibile tutti i giorni” sono due cose diverse. Per la privacy e la curiosità di capire come funziona davvero uno stack di inferenza vale comunque la pena tenerselo lì, pronto per quando serve — ma per l’uso quotidiano, quello dove voglio solo una risposta rapida senza svegliare tutto il piano, resto sul cloud. Il prossimo esperimento (quando sarò ricco) sarà capire se una GPU dedicata cambia davvero le cose, o se sto solo spostando il rumore da un componente all’altro.
Stay tuned