La domanda su un LLM locale arriva in due momenti. Il primo è all’inizio, quando il responsabile IT o il legale dicono che i documenti dell’azienda non possono finire sui server di un fornitore americano. Il secondo è dopo, quando qualcuno ha provato un modello in casa sul proprio portatile ed è rimasto colpito. In tutti e due i casi la decisione si prende troppo presto, sul principio, prima di aver guardato quali dati servono a quale processo.
Martes AI sviluppa agenti e soluzioni AI per aziende italiane e fa formazione in sede. Qui mettiamo in fila cos’è un LLM locale, quando conviene, cosa costa in macchine e in lavoro e cosa si perde rispetto a un assistente come Claude.
LLM locale: cos’è e come funziona
Un modello linguistico è un file molto grande di parametri più il programma che lo fa girare. I modelli dei servizi in cloud come Claude non si scaricano: si usano attraverso il fornitore. I modelli a pesi aperti invece si scaricano e si fanno girare dove si vuole.
Servono due pezzi:
- Il modello. Per esempio gpt-oss, due modelli a pesi aperti pubblicati da OpenAI con licenza Apache 2.0, pensati per ragionamento e compiti da agente. Ne esistono molti altri di produttori diversi, di dimensioni diverse.
- Il programma che lo fa girare. Ollama, con licenza MIT, si installa su macOS, Windows e Linux oppure come immagine Docker ed è il modo più semplice per provare. LM Studio è un’altra applicazione per scaricare un modello e farlo girare su un computer. vLLM serve a mettere il modello su un server, raggiungibile dagli altri programmi dell’azienda con la stessa interfaccia usata per i servizi in cloud.
La parte che conta per chi decide: “locale” vuol dire che il calcolo avviene su macchine dell’azienda. Può essere il portatile di una persona, un server in sala macchine o un server dedicato in un data center scelto dall’azienda.
Quando ha senso un LLM locale in azienda
Ci sono tre situazioni in cui la risposta è sì. O almeno vale la pena fare il conto.
Dati che non possono uscire. Un contratto con un cliente che vieta servizi esterni, informazioni classificate, segreti industriali su cui l’azienda non accetta compromessi. Qui il piano aziendale in cloud non basta per definizione.
Grandi volumi di compiti semplici. Classificare documenti in arrivo, estrarre sempre gli stessi campi da migliaia di moduli, smistare richieste. Sono compiti stretti, sempre uguali, dove un modello piccolo regge e il costo a consumo di un servizio in cloud cresce con il volume.
Ambienti senza rete. Impianti, mezzi, sedi dove la connessione non c’è o non è affidabile.
E ci sono due situazioni in cui di solito è la scelta sbagliata.
L’assistente di tutti i giorni per un team. Scrivere, riassumere, analizzare file, lavorare sui documenti di un reparto. Qui contano qualità del modello, connettori verso posta e cartelle, funzioni come progetti e skill. Un modello in casa parte indietro su tutte e tre.
La prima prova. Comprare hardware prima di sapere quali processi funzionano con l’AI vuol dire pagare un’infrastruttura per un uso che ancora non esiste.
Locale o cloud: il confronto
| LLM locale | Assistente in cloud con piano aziendale | |
|---|---|---|
| Dove vanno i dati | Restano sulle macchine dell’azienda | Sui server del fornitore, con contratto e addestramento escluso |
| Qualità del modello | Dipende dalla macchina: più potenza, modelli più grandi | Accesso ai modelli più capaci del fornitore |
| Costo iniziale | Hardware, installazione, configurazione | Nessuno: un posto per persona o un consumo |
| Costo nel tempo | Energia, manutenzione, aggiornamenti, una persona che lo segue | Abbonamento o consumo |
| Strumenti intorno | Da costruire: interfaccia, accessi, registri, collegamenti | Connettori, progetti, skill, console di amministrazione già pronti |
| Aggiornamenti | Si scarica e si collauda ogni nuovo modello | Li fa il fornitore |
Cosa serve come macchina
La risposta dipende dal modello. Le dimensioni si leggono nella documentazione di ogni modello. Due riferimenti concreti dalla pagina ufficiale di gpt-oss: la versione più piccola, grazie a una forma compressa dei parametri, gira con 16 GB di memoria. La versione più grande è pensata per stare su una sola GPU da 80 GB, il tipo di scheda che si trova nei server per l’intelligenza artificiale.
In pratica ci sono tre livelli:
- Il portatile di una persona. Modelli piccoli, per prove e uso individuale. Utile per capire se un compito si può fare in casa.
- Un server con GPU per un reparto. Un modello più grande, raggiungibile da più persone attraverso un’interfaccia interna. Qui entrano accessi, registri e qualcuno che risponde quando non funziona.
- Più server per l’azienda intera. Un progetto di infrastruttura vero, con i tempi e i costi di un progetto di infrastruttura.
Il costo che si sottovaluta non è la macchina. È la persona che la tiene in piedi, aggiorna il modello, controlla chi ha accesso a cosa e collauda la versione nuova prima di metterla in uso.
Cosa si perde rispetto a Claude
Capacità. Su compiti lunghi, documenti complessi e ragionamenti con molti passaggi i modelli più capaci dei fornitori restano avanti rispetto a quello che gira su una macchina aziendale di dimensioni normali.
Tutto quello che sta intorno al modello. Un piano aziendale di Claude porta con sé connettori, progetti, skill, Cowork, una console da cui l’amministratore gestisce accessi e funzioni. Con un LLM locale queste cose vanno costruite. Una parte si recupera con standard aperti come il Model Context Protocol, che collega un assistente ai sistemi aziendali. Il lavoro però resta.
La sicurezza non arriva da sola. “I dati non escono” è un vantaggio vero. Permessi, registri di chi ha chiesto cosa, protezione del server e aggiornamenti diventano però responsabilità dell’azienda. Un modello in casa con accesso libero a tutte le cartelle condivise non è più sicuro di un servizio in cloud ben configurato.
La via di mezzo che usano quasi tutti
Per la maggior parte delle aziende la soluzione non è tutto in casa né tutto fuori. È decidere documento per documento.
Sui piani aziendali di Claude i contenuti non vengono usati per addestrare i modelli di default. Con il contratto di responsabile del trattamento firmato, il fornitore diventa un fornitore come gli altri, con le cautele che spieghiamo nella guida su intelligenza artificiale e GDPR in azienda. Quello che resta fuori si decide prima, con una classificazione semplice: cosa entra com’è, cosa entra dopo averlo mascherato, cosa non entra.
All’Autorità di Sistema Portuale del Mare di Sardegna siamo partiti da lì, prima ancora della formazione: l’elenco dei documenti che l’ente tratta davvero, ufficio per ufficio, oltre centocinquanta voci validate con loro. Solo dopo si è deciso cosa caricare e cosa no. Quando una categoria di documenti rossi va comunque elaborata in automatico, quello è il punto in cui un modello in casa entra nel discorso, solo per quel flusso.
Come lo valutiamo noi
Nei progetti di sviluppo AI per aziende la domanda “locale o cloud” la facciamo dopo aver visto il processo, non prima. Le domande sono sempre queste. Valgono con qualsiasi fornitore:
- 01
Quali dati deve leggere il sistema?
Non tutti i documenti dell'azienda: quelli del processo da automatizzare. Spesso sono meno sensibili di quanto si teme.
- 02
Cosa vieta di mandarli fuori?
Un contratto, una legge, una scelta interna. Va scritto: se il divieto non c'è, il cloud con piano aziendale è quasi sempre la via più rapida.
- 03
Quanto è difficile il compito?
Estrarre campi da un modulo si fa con un modello piccolo. Ragionare su un contratto di cinquanta pagine no.
- 04
Quanti compiti al giorno?
Con volumi alti e compiti semplici il conto fra consumo in cloud e macchina in casa va fatto davvero.
- 05
Chi lo tiene in piedi?
Se in azienda non c'è nessuno che possa seguire un server con GPU, il costo vero è quello del fornitore che lo farà.
Martes AI non vende hardware e non spinge una soluzione sull’altra. Quando i dati devono restare in casa progettiamo il flusso perché ci restino. Quando non serve, lo diciamo prima che l’azienda compri una macchina. Se l’obiettivo è far rispondere l’AI sui documenti interni, il funzionamento di un sistema che cerca nei documenti prima di rispondere è nella guida sul retrieval augmented generation.