GUIDA 8 min

LLM locale in azienda: quando conviene un modello AI in casa

Un LLM locale gira su computer o server dell'azienda e i dati non escono. Quando conviene davvero, che macchina serve, cosa si perde rispetto a un assistente in cloud e le domande da farsi prima di comprare hardware.

La domanda su un LLM locale arriva in due momenti. Il primo è all’inizio, quando il responsabile IT o il legale dicono che i documenti dell’azienda non possono finire sui server di un fornitore americano. Il secondo è dopo, quando qualcuno ha provato un modello in casa sul proprio portatile ed è rimasto colpito. In tutti e due i casi la decisione si prende troppo presto, sul principio, prima di aver guardato quali dati servono a quale processo.

Martes AI sviluppa agenti e soluzioni AI per aziende italiane e fa formazione in sede. Qui mettiamo in fila cos’è un LLM locale, quando conviene, cosa costa in macchine e in lavoro e cosa si perde rispetto a un assistente come Claude.

LLM locale: cos’è e come funziona

Un modello linguistico è un file molto grande di parametri più il programma che lo fa girare. I modelli dei servizi in cloud come Claude non si scaricano: si usano attraverso il fornitore. I modelli a pesi aperti invece si scaricano e si fanno girare dove si vuole.

Servono due pezzi:

  • Il modello. Per esempio gpt-oss, due modelli a pesi aperti pubblicati da OpenAI con licenza Apache 2.0, pensati per ragionamento e compiti da agente. Ne esistono molti altri di produttori diversi, di dimensioni diverse.
  • Il programma che lo fa girare. Ollama, con licenza MIT, si installa su macOS, Windows e Linux oppure come immagine Docker ed è il modo più semplice per provare. LM Studio è un’altra applicazione per scaricare un modello e farlo girare su un computer. vLLM serve a mettere il modello su un server, raggiungibile dagli altri programmi dell’azienda con la stessa interfaccia usata per i servizi in cloud.

La parte che conta per chi decide: “locale” vuol dire che il calcolo avviene su macchine dell’azienda. Può essere il portatile di una persona, un server in sala macchine o un server dedicato in un data center scelto dall’azienda.

Quando ha senso un LLM locale in azienda

Ci sono tre situazioni in cui la risposta è sì. O almeno vale la pena fare il conto.

Dati che non possono uscire. Un contratto con un cliente che vieta servizi esterni, informazioni classificate, segreti industriali su cui l’azienda non accetta compromessi. Qui il piano aziendale in cloud non basta per definizione.

Grandi volumi di compiti semplici. Classificare documenti in arrivo, estrarre sempre gli stessi campi da migliaia di moduli, smistare richieste. Sono compiti stretti, sempre uguali, dove un modello piccolo regge e il costo a consumo di un servizio in cloud cresce con il volume.

Ambienti senza rete. Impianti, mezzi, sedi dove la connessione non c’è o non è affidabile.

E ci sono due situazioni in cui di solito è la scelta sbagliata.

L’assistente di tutti i giorni per un team. Scrivere, riassumere, analizzare file, lavorare sui documenti di un reparto. Qui contano qualità del modello, connettori verso posta e cartelle, funzioni come progetti e skill. Un modello in casa parte indietro su tutte e tre.

La prima prova. Comprare hardware prima di sapere quali processi funzionano con l’AI vuol dire pagare un’infrastruttura per un uso che ancora non esiste.

Locale o cloud: il confronto

LLM localeAssistente in cloud con piano aziendale
Dove vanno i datiRestano sulle macchine dell’aziendaSui server del fornitore, con contratto e addestramento escluso
Qualità del modelloDipende dalla macchina: più potenza, modelli più grandiAccesso ai modelli più capaci del fornitore
Costo inizialeHardware, installazione, configurazioneNessuno: un posto per persona o un consumo
Costo nel tempoEnergia, manutenzione, aggiornamenti, una persona che lo segueAbbonamento o consumo
Strumenti intornoDa costruire: interfaccia, accessi, registri, collegamentiConnettori, progetti, skill, console di amministrazione già pronti
AggiornamentiSi scarica e si collauda ogni nuovo modelloLi fa il fornitore

Cosa serve come macchina

La risposta dipende dal modello. Le dimensioni si leggono nella documentazione di ogni modello. Due riferimenti concreti dalla pagina ufficiale di gpt-oss: la versione più piccola, grazie a una forma compressa dei parametri, gira con 16 GB di memoria. La versione più grande è pensata per stare su una sola GPU da 80 GB, il tipo di scheda che si trova nei server per l’intelligenza artificiale.

In pratica ci sono tre livelli:

  1. Il portatile di una persona. Modelli piccoli, per prove e uso individuale. Utile per capire se un compito si può fare in casa.
  2. Un server con GPU per un reparto. Un modello più grande, raggiungibile da più persone attraverso un’interfaccia interna. Qui entrano accessi, registri e qualcuno che risponde quando non funziona.
  3. Più server per l’azienda intera. Un progetto di infrastruttura vero, con i tempi e i costi di un progetto di infrastruttura.

Il costo che si sottovaluta non è la macchina. È la persona che la tiene in piedi, aggiorna il modello, controlla chi ha accesso a cosa e collauda la versione nuova prima di metterla in uso.

Cosa si perde rispetto a Claude

Capacità. Su compiti lunghi, documenti complessi e ragionamenti con molti passaggi i modelli più capaci dei fornitori restano avanti rispetto a quello che gira su una macchina aziendale di dimensioni normali.

Tutto quello che sta intorno al modello. Un piano aziendale di Claude porta con sé connettori, progetti, skill, Cowork, una console da cui l’amministratore gestisce accessi e funzioni. Con un LLM locale queste cose vanno costruite. Una parte si recupera con standard aperti come il Model Context Protocol, che collega un assistente ai sistemi aziendali. Il lavoro però resta.

La sicurezza non arriva da sola. “I dati non escono” è un vantaggio vero. Permessi, registri di chi ha chiesto cosa, protezione del server e aggiornamenti diventano però responsabilità dell’azienda. Un modello in casa con accesso libero a tutte le cartelle condivise non è più sicuro di un servizio in cloud ben configurato.

La via di mezzo che usano quasi tutti

Per la maggior parte delle aziende la soluzione non è tutto in casa né tutto fuori. È decidere documento per documento.

Sui piani aziendali di Claude i contenuti non vengono usati per addestrare i modelli di default. Con il contratto di responsabile del trattamento firmato, il fornitore diventa un fornitore come gli altri, con le cautele che spieghiamo nella guida su intelligenza artificiale e GDPR in azienda. Quello che resta fuori si decide prima, con una classificazione semplice: cosa entra com’è, cosa entra dopo averlo mascherato, cosa non entra.

All’Autorità di Sistema Portuale del Mare di Sardegna siamo partiti da lì, prima ancora della formazione: l’elenco dei documenti che l’ente tratta davvero, ufficio per ufficio, oltre centocinquanta voci validate con loro. Solo dopo si è deciso cosa caricare e cosa no. Quando una categoria di documenti rossi va comunque elaborata in automatico, quello è il punto in cui un modello in casa entra nel discorso, solo per quel flusso.

Come lo valutiamo noi

Nei progetti di sviluppo AI per aziende la domanda “locale o cloud” la facciamo dopo aver visto il processo, non prima. Le domande sono sempre queste. Valgono con qualsiasi fornitore:

  1. 01

    Quali dati deve leggere il sistema?

    Non tutti i documenti dell'azienda: quelli del processo da automatizzare. Spesso sono meno sensibili di quanto si teme.

  2. 02

    Cosa vieta di mandarli fuori?

    Un contratto, una legge, una scelta interna. Va scritto: se il divieto non c'è, il cloud con piano aziendale è quasi sempre la via più rapida.

  3. 03

    Quanto è difficile il compito?

    Estrarre campi da un modulo si fa con un modello piccolo. Ragionare su un contratto di cinquanta pagine no.

  4. 04

    Quanti compiti al giorno?

    Con volumi alti e compiti semplici il conto fra consumo in cloud e macchina in casa va fatto davvero.

  5. 05

    Chi lo tiene in piedi?

    Se in azienda non c'è nessuno che possa seguire un server con GPU, il costo vero è quello del fornitore che lo farà.

Martes AI non vende hardware e non spinge una soluzione sull’altra. Quando i dati devono restare in casa progettiamo il flusso perché ci restino. Quando non serve, lo diciamo prima che l’azienda compri una macchina. Se l’obiettivo è far rispondere l’AI sui documenti interni, il funzionamento di un sistema che cerca nei documenti prima di rispondere è nella guida sul retrieval augmented generation.

Domande frequenti

Cos'è un LLM locale?

È un modello linguistico che gira su un computer o su un server dell'azienda invece che sui server del fornitore. Si usano modelli a pesi aperti, cioè scaricabili, con programmi come Ollama, LM Studio o vLLM. I testi e i documenti elaborati non escono dalla rete aziendale.

Quando conviene un LLM locale in azienda?

Quando ci sono dati che per contratto, per legge o per scelta non possono andare su un servizio esterno nemmeno con un piano aziendale. Oppure quando c'è un volume molto alto di compiti semplici e ripetitivi, sempre uguali, dove un modello piccolo basta. Per il lavoro quotidiano di un team un assistente in cloud con piano aziendale è quasi sempre più capace e più semplice da tenere.

Che computer serve per un LLM locale?

Dipende dal modello. Per i modelli a pesi aperti gpt-oss di OpenAI la documentazione indica 16 GB di memoria per la versione più piccola e una sola GPU da 80 GB per quella più grande. Un portatile recente fa girare modelli piccoli per prove individuali. Un servizio per un reparto richiede un server con GPU e qualcuno che lo gestisca.

Un LLM locale è più sicuro di Claude o ChatGPT?

I dati non escono: questo è il vantaggio. Il resto della sicurezza non arriva da solo: permessi, registri di chi ha chiesto cosa, aggiornamenti e protezione del server diventano lavoro dell'azienda. Un piano aziendale in cloud che esclude l'addestramento e ha un contratto di responsabile del trattamento è una scelta difendibile per la maggior parte dei dati.

Chi installa un LLM locale in azienda in Italia?

Lo fanno i system integrator, i fornitori di infrastruttura e le società che sviluppano soluzioni AI su misura. Martes AI sviluppa agenti e soluzioni AI per aziende italiane e parte dal processo: prima si decide quali dati devono restare in casa, poi dove far girare il modello.

Guide collegate